近日，月之暗面发布了一种全新的混合线性注意力架构，名为 “Kimi Linear”。这一架构据称在处理短距​月离、长距离信息以及强化学习（RL）等多种场景中，性能优于传统的全注意力方法。其核心技术 Kimi Delt之暗a Attention(KDA)是对 Gated DeltaNet 的一次优化，特别引入了一种更高效的门控机制，以更面推好地管理有限状态 RNN 的记忆使用。

Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局出新 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆，使得模型在处理信息时更加高效。官方指出，在处理1型混M token 的数据场景中，Kimi Linear 的 KV cache 占用降低了75%，而解码吞吐量最高可提升6合线倍，TPOT 相较于传统 MLA 加速了6.3倍。

这种新的架构为各种 AI 应用场景提供了更强的支持，无论是在信息性注密集型的自然语言处理任务还是在动态环境中的强化学习，Kimi Linear 都有着显著的优势。随着 AI 技术意力的不断发展，这种高效的注意力机制可能会为未来的智能应用带来新的突破。

更多技术细节可以在 Kimi Linear 的架构技术报告中找到，https://github.com/MoonshotAI/Kimi-Linear/blo “b/master/tech_report.pdf。

划重点:  

Kimi Linear 是一种新型Ki的混合线性注意力架构，优化了信息处理性能。  

该架构在1M token 场景下，KV cache 占mi用减少75%，解码吞吐量提升6倍。  

Kimi Delta Attention 是其核心技术， L通过细粒度门控优化了 RNN 的记忆管理。

• ·标签: 蔚来 财报 毛利率 现金储备
• ·标签: Meta Manus 肖弘 真格基金
• ·字节跳动发布新一代3D生成大模型Seed3D 2.0，技术精度与真实感实现跨越式提升
• ·标签: 滴滴 春运保障 司机补贴 安全出行
• ·混元推出国内首个交互式AI播客，用户可随时提问
• ·消息称微软非洲数据中心遭遇延期，肯尼亚政府款项分歧成主因
• ·Sora 2横扫App Store，中信建投持续看好AI产业链
• ·云计算核心技术Docker教程：Docker Swarm 模式管理在将节点加入集群
• ·亚马逊在印度推出Prime移动视频订阅服务
• ·瑞士科技新突破:Apertus开源模型挑战AI“黑箱”，全面公开训练细节
• ·​AI 聊天机器人引发 用户“心理错乱” 潮，投资者表示担忧
• ·2万美元买个“家务替身”？OpenAI投资的1X Neo人形机器人开启预售，明年进美国家庭
• ·网宿科技2022年报：营收净利润双增长，业绩拐点可期
• ·亚马逊因第三方销售缺陷产品遭美国商品安全部门起诉
• ·标签: 小米 李创奇 AI眼镜 雷军
• ·腾讯云下调DeepSeek-V4系列模型价格，全面对齐DeepSeek官方定价