版本 14
收录 Kimi K3.1 Pro:Gated DSA 与 KDA,缓存布局待核验
新增官方已公开权重的 Kimi K3.1 Pro,核对 69 KDA + 24 Gated DSA 与 1M 上下文;保留主 KV、索引和固定状态的区别,完整存储布局未核实前不生成猜测曲线。
本次更新
- 新增 moonshotai/Kimi-K3.1-Pro 独立条目。官方文件树已列出可下载的 safetensors 权重分片,不是仅凭开放权重预告收录;保留原 Kimi K3 条目,不覆盖旧型号。
- 官方配置为 93 个主 decoder 层:69 个 KDA 线性注意力层与 24 个 Gated DSA 稀疏注意力层;DSA 位于第 4、8、…、92、93 层。原生上下文为 1,048,576 tokens,即本站的 1M。
- K3.1 Pro 的 Gated DSA 替换了 K3 的 Gated MLA。配置保留 512 维 latent 与 64 维位置分量,并增加 128 维 index key、32 个 index query heads,top-k 为 2048。query heads 不是 KV 副本数,top-k 也不意味着只保留 2048 tokens 的历史缓存。
- vLLM 此型号配方明确 FP8 latent 行为 576 B/token/layer,并提供 352 B/token/layer 的 NVFP4 可选路径;两者的 index keys 都保持 FP8。权重精度与主 KV、index 精度分别处理,不把权重量化直接代入缓存公式。
- 完整缓存布局仍标为待核验:尚未直接核实此型号 index 的 scale、packing 以及实际缓存实现接线。通用 DSA 的 132 B 行布局或 SGLang 文档的约 18.9 KB/token,均不足以替代该路径的精确证据,因此不生成数值曲线,不把缺失项当作零或统一 BF16。
- KDA 的 96 heads × 128 维、卷积宽度 4 来自官方配置。循环状态和短卷积状态不随历史 tokens 线性累积,但仍占用内存;未来完整估算必须同时计入,不能只计算 DSA 主缓存。
- TP 下 latent KV 与 index cache 可能复制,DCP 才是另一种分片路径。不能用总缓存简单除以 TP 来宣称实际每卡占用;权重、工作区、分页对齐、额外 prefix / speculative 状态也不属于纯缓存 payload。
- 目录共 56 个模型条目:52 个可计算,4 个待核验。新模型可搜索、查看来源和加入比较,结果明确显示待核实;同步本条 RSS 与独立更新落地页。
- 本条日期是本站收录与核验日期,不冒充模型最早发布日期。配置固定到 6d0a0202956796543364d666ab19c6ad1a494ee1;权重核验针对公开文件元数据,未下载全部权重检查完整性。