版本 13

Llama 4:只有 Scout 支持 10M,长上下文不等于低显存

新增 Scout 与 Maverick 的 Meta 原生缓存参考曲线,说明 iRoPE、chunked attention 与优化后端的存储差异;Behemoth 未核实到开放权重,不生成猜测曲线。

本次更新

  • Scout:109B 总参数 / 17B 激活、16 experts;官方宣传 10M,配置上限 10,485,760 tokens(10Mi)。Maverick:400B 总参数 / 17B 激活、128 experts,上限 1,048,576(1Mi),不是 10M。
  • Behemoth:官方预览约 2T 总参数、288B 激活、16 experts,定位教师模型。截至核验日未找到官方已开放权重和可核实缓存配置;只在此说明,不加入开放权重目录、不推算 KV。
  • Scout / Maverick 均为 48 层 GQA,8 个 KV heads、head dim 128;iRoPE 交替 36 个 8192-token 分块 RoPE 层与 12 个全局 NoPE 层。NoPE 是不使用位置编码,不是不保存 KV。
  • 10M 的能力来源包括交错 RoPE / NoPE、推理时 attention temperature scaling、长上下文 mid-training 和长度泛化。Meta 披露 Scout 预训练及后训练长度为 256K;10M 检索/代码 NLL 测试不等于任意任务在全长上都同样可靠。
  • 本图遵循 Meta 原生参考默认 BF16(不支持时 FP16,同为 2 bytes):全部 48 层仍保存全历史 K/V。每 token 196,608 B;128Ki=24 GiB,1Mi=192 GiB,Scout 10Mi=1,920 GiB。实际初始化还按配置上限预分配,不是仅按已用 token 申请。
  • 启用受支持的 hybrid KV 管理后,优化 vLLM 才会回收局部层过期 chunk;BF16 单块缓存 payload 上包络是 4096×[12T+36min(T,8192)]。128Ki≈7.125 GiB,1Mi≈49.125 GiB,10Mi≈481.125 GiB。局部缓存实际随块边界起伏,另有在途 tokens、分页对齐与工作区,因此这些数字不是实际分配峰值。
  • 按十进制 10,000,000 tokens:Meta 全历史参考约 1,831.055 GiB,优化单块包络约 458.889 GiB;需与配置的 10,485,760 tokens 区分。
  • MoE 的 17B 激活降低计算量,不代表只需装载 17B 权重,也不压缩 KV。单 H100 装入 INT4 Scout 权重,不代表单卡能运行满 10M。
  • 目录新增两个可计算开放权重条目,总数 55;新增 10Mi 上下文预设和本篇解释入口,保持逐模型缓存格式,不统一拉平 KV 精度。
  • 配置溯源:上下文上限来自 Meta 公开 SKU;Maverick 几何用 Red Hat 官方公开转换配置交叉核对,未读取受限的 Meta HF config。转换权重的 FP8 不用于推断本参考 KV 类型。