16 GB 显存最佳本地大模型
适用于 RTX 4060 Ti (16 GB), RTX 4080 Super (16 GB), RTX 5060 Ti (16 GB), RTX 5070 Ti (16 GB), RTX 5080 (16 GB), Radeon RX 9070 XT (16 GB), Mac, 24 GB 和 Mac, 32 GB。 方法
落后前沿23 个月最早达到 o1, 2024年12月
可放进 16 GB 的模型
前 10#模型指数格式内存最便宜 API每 1M 输出的最低价格。
各档内存的最佳模型
按指数从高到低内存最强可用指数格式落后同等 API
方法
- 模型：有指数、开放权重、在 Hugging Face 有官方仓库且置信度为中或高的模型。同一套权重只列一行。
- 所需内存：按格式的每权重位数计算权重（4-bit 4.85，8-bit 8.5，16-bit 16），再加 5% 和 1 GB 用于短上下文。
- 格式：能放下的最高位数。指数针对完整模型；4-bit 版本得分可能略低。
- 统一内存（Mac、DGX Spark、Ryzen AI Max）：36 GB 及以下约三分之二给模型，以上约四分之三。
- 落后前沿：从首个达到相同或更高指数的模型发布至今的月数，仅计中或高置信度模型。
- 同等 API：相同或更高指数的模型中最低的混合价格（输入 3 : 输出 1），每 1M token，范围同上。