华为开源 KVarN 实现 vLLM KV 缓存 3-5 倍增容且不损精度
华为中央软件实验室（CSL）开源了 KVarN——一个深度集成于 vLLM 的原生 KV 缓存量化后端，专为智能体长上下文和高并发推理场景优化。
KV 缓存是 LLM 推理中内存消耗的核心瓶颈。现有量化方案虽然能扩展上下文容量，但往往以牺牲吞吐量和精度为代价。例如 vLLM 官方 TurboQuant 在提供 2.3-3.7 倍增容时，吞吐量下降了 40-52%，这也是大多数生产部署仍选择 FP16 的原因。
KVarN 的突破在于同时做到了三点：3-5 倍 KV 缓存容量提升、FP16 级别的推理精度、以及吞吐量超越 FP16 约 1.3 倍。其核心技术路径包括 Hadamard 旋转通道混合、迭代方差归一化、以及非对称低比特量化——密钥采用 4 位、值采用 2 位的非对称配比，在精度和压缩率之间取得最佳平衡。
对智能体经济而言，这项工作的意义在于：更长的上下文窗口直接意味着更复杂的记忆管理和更持久的推理链，而更高的吞吐量意味着更低的服务成本。KVarN 无需校准、即插即用（只需一个启动参数），降低了生产部署的工程门槛。这是华为在 AI 基础设施层的一次重要技术贡献。