Kimi Linear

Kimi Linear 是月之暗面推出的新型混合线性注意力架构，专为提升大型语言模型（LLMs）在长序列任务中的效率和性能设计。核心组件 Kimi Delta Attention（KDA）通过精细化的通道级门控机制和高效的块处理算法，显著提升模型的表达能力和硬件效率。Kimi Linear 采用 3:1 的 KDA 与全注意力层（MLA）混合设计，大幅减少 KV 缓存的使用量（降低 75%），在处理百万级长文本时实现了 6.3 倍的解码速度提升。Kimi Linear 架构在短序列和长序列任务中均优于传统的全注意力机制，在强化学习任务中表现出色。