版本 15
ERNIE 5.5 Flash Base:加入 HCA 压缩缓存曲线
核实 43 层主干的 37 HCA + 6 MLA/DSA,按官方 FP8 serving 配方计算 KV 与索引,并明确加入 18.5 MiB 压缩器容量预算;补充 BF16 对照、压缩边界与 1M 上下文限制。
本次更新
- 新增 Baidu 分组与 ERNIE 5.5 Flash Base 独立条目,参考官方已公开权重 checkpoint。主干 num_hidden_layers=43:37 个 HCA 层与 6 个 MLA/DSA 层;config 的第 44 个 compress_ratios 项属于 1 个 nextn/MTP 层,不计入主干。原生上下文上限为 1,048,576 tokens。
- 主曲线选择官方 vLLM-ERNIE 命令的 --kv-cache-dtype fp8,逐组件计算混合存储。即使使用 BF16 权重,官方 serving 命令仍指定 FP8 KV;权重 dtype 不直接决定缓存 dtype。
- HCA 每层保留 min(T,128) 个滑窗 token,同时保存 floor(T/128) 个完成压缩行。压缩器处理到第 128、256…个 token 才输出新行,所以采用 floor,不用 ceil,也不先从 T 中减去滑窗。
- FP8 mixed 布局:HCA 每行 584 B = 448 FP8 NoPE + 64 BF16 RoPE + 7 个 UE8M0 scale + 1 B padding;MLA 每行 656 B = 512 FP8 + 4 个 FP32 scale + 64 BF16 RoPE。HCA 页内 data 与 scale 分区存放,584 B 是逻辑摊销,不代表所有数据连续交错。
- 6 个 DSA 层各保留一条 128 维 index-K:FP8 values 加 FP32 scale 合计 132 B/token/layer。64 个 index query heads 不等于 64 份缓存;top-k=2048 只影响访问数量,不把持久索引截断为 2048 tokens。未套用可选 MXFP4 index。
- 精确 KV/index 逻辑 payload:令 R(T)=min(T,128)+floor(T/128),FP8 路径为 37×584×R(T)+4728T B;BF16 主 cache + FP8 index 为 37×1024×R(T)+7704T B。T≥128 且为 128 的倍数时,分别化简为 4896.8125T+2,765,824 B 与 8000T+4,849,664 B,不能把简式用于任意长度。
- 曲线另加 compressor rolling-state 满窗口容量预算:37×128×2×512×4 = 19,398,656 B,即每序列 18.5 MiB,覆盖 KV/score 两份 FP32 状态。T>0 保守加入该预算,T=0 记零;这不是短序列精确活跃状态,也不是物理分页分配量。
- 主图“FP8 KV/index payload + 压缩状态容量预算”在 Batch 1、TP 1 下:128K≈0.618 GiB,256K≈1.216 GiB,1M≈4.803 GiB。BF16 主 cache 且 FP8 index、同样加入状态预算的 1M 对照约 7.835 GiB。
- 结果不含模型权重、激活、临时 workspace、物理 page/TMA 对齐、主 KV 预留空闲、额外 prefix 状态与 ECHO/MTP。官方完整示例启用 ECHO,不能把本站 43 层主干结果等同于完整部署显存;TP 仍仅为理想均分,不保证真实单卡容量。
- 目录共 57 个模型、14 个提供方,53 个可计算、4 个待核验。新增压缩边界、短上下文、batch/TP、原生范围及 RSS 回归测试,并保留此前 Kimi K3.1 Pro 的待核验状态。