KVCache 曲线计算器
COMPARISON WORKBENCH

把上下文成本,看清楚。

同一场景,比较各模型原生缓存配置的估算占用。

只计算文本主模型 KV / 已建模状态;不含模型权重与运行时开销。缓存格式按模型分别标注,不统一换算精度。

统一复核:限定实现证据、修正 MiMo,并公开仍需补齐的证据 ↗

缓存增长曲线

GiB · 当前场景

实线:原生 / 所选配方范围 · 虚线:公式外推(需主动开启)。悬停或聚焦图表后按 ← → 查看;点击图例单独查看。

所选模型

原生上限
数字仅代表缓存估算,不表示模型可装入某张 GPU。点击模型名查看缓存格式、排除项与资料。
计算口径与限制

1K = 1,024 tokens,1M = 1,048,576 tokens;1 GiB = 2³⁰ bytes。输入长度应用于每个并发序列,Batch 按相同长度线性放大。模型使用自身的公开缓存配置;“实现已核实”表示已核对详情指定的版本、后端、配置和计算范围,不表示所有部署通用或显存实测;“含假设”保留明确的容量预算、近似或证据缺口;“信息不足”不生成数值。

TP > 1 仅显示总缓存除以分片数的理想化估算。实际 KV heads 复制、MLA/recurrent state 复制与后端分片策略可能不同,不能当作实测单卡占用。分页取整、临时张量、显存碎片、激活、权重及未建模的编码器/MTP 状态不在估算内。

超过原生上限或所选配方已核实范围时默认停止曲线、隐藏该点数值;主动开启外推后才按公式继续。外推不是模型支持该长度的承诺。对数坐标只绘制正数,并明确显示轴刻度。

选择比较模型