Лучшая локальная модель на 48 ГБ
Для 2× RTX 3090 (48 GB), 2× RTX 4090 (48 GB), RTX 6000 Ada (48 GB), Mac, 64 GB и L40S (48 GB). Метод
Отставание от лидеров10 мес.Впервые достигла GPT-5.2-Codex, дек. 2025 г.
Модели, которые помещаются в 48 ГБ
Топ 10#МодельИндексФорматПамятьДешевле всего по APIСамая низкая цена вывода за 1M.
Лучшая модель по объёму памяти
Сначала самый высокий индексПамятьСамая умнаяИндексФорматОтставаниеТот же по API
Метод
- Модели: модели с индексом, открытыми весами, официальным репозиторием на Hugging Face и средней или высокой уверенностью. Одна строка на один набор весов.
- Нужная память: веса при данном числе бит на вес (4-bit 4.85, 8-bit 8.5, 16-bit 16) плюс 5% и 1 ГБ на короткий контекст.
- Формат: наибольшее число бит, которое помещается. Индекс указан для полной модели; 4-bit копия может набрать немного меньше.
- Общая память (Mac, DGX Spark, Ryzen AI Max): модели достаётся около двух третей памяти до 36 ГБ и около трёх четвертей выше.
- Отставание от лидеров: месяцы с первого релиза модели с тем же индексом или выше, среди моделей со средней или высокой уверенностью.
- Тот же по API: самая низкая средняя цена (3 части ввода : 1 часть вывода) за 1M токенов при том же индексе или выше, среди тех же моделей.