Лучшая локальная модель на 24 ГБ
Для RTX 3090 (24 GB), RTX 4090 (24 GB) и Radeon RX 7900 XTX (24 GB). Метод
Отставание от лидеров10 мес.Впервые достигла GPT-5.2-Codex, дек. 2025 г.
Модели, которые помещаются в 24 ГБ
Топ 10#МодельИндексФорматПамятьДешевле всего по APIСамая низкая цена вывода за 1M.
Лучшая модель по объёму памяти
Сначала самый высокий индексПамятьСамая умнаяИндексФорматОтставаниеТот же по API
Метод
- Модели: модели с индексом, открытыми весами, официальным репозиторием на Hugging Face и средней или высокой уверенностью. Одна строка на один набор весов.
- Нужная память: веса при данном числе бит на вес (4-bit 4.85, 8-bit 8.5, 16-bit 16) плюс 5% и 1 ГБ на короткий контекст.
- Формат: наибольшее число бит, которое помещается. Индекс указан для полной модели; 4-bit копия может набрать немного меньше.
- Общая память (Mac, DGX Spark, Ryzen AI Max): модели достаётся около двух третей памяти до 36 ГБ и около трёх четвертей выше.
- Отставание от лидеров: месяцы с первого релиза модели с тем же индексом или выше, среди моделей со средней или высокой уверенностью.
- Тот же по API: самая низкая средняя цена (3 части ввода : 1 часть вывода) за 1M токенов при том же индексе или выше, среди тех же моделей.