DeepSeek V4 为什么用 CSA 和 HCA 替换 MLA？ 沉默王二 原创 AI 面试 AI Agent 面试题 DeepSeek V4 MLA CSA 约 1180 字 大约 4 分钟 AI的药，绝不能停 #041 面试官问你：“DeepSeek V4 把用了两代的 MLA 注意力机制换掉了，换成了 CSA 和 HCA。MLA 在 V2、V3 上立了大功，你知道 V4 为什么要换吗？” AI Agent 面试题 DeepSeek V4 MLA CSA WATCH / 抖音视频 在抖音打开 王二讲Agent 每天3分钟，带你吃透Agent。 如果你回答“因为有更好的技术了呗”，恭喜你，出门右拐回家等通知吧。 为什么？ 因为面试官真正想让你回答的是：MLA 压缩的是每份笔记的长度——每个 token 要存的 KV 数据变小了，但每个 token 还是要存一份。V4 的上下文窗口从 128K 扩容到了 1M，token 数翻了 8 倍，笔记再短，一百万份的总量仍然很大，意味着 GPU 显存仍然很吃紧。 于是 V4 换了新思路：不再计较单个 token 的 KV，直接从 token 的总份数上下手。

我翻了 DeepSeek V2 到 V4 的技术报告、vLLM 的推理优化博客，可以自信地、大方地、光明磊落地帮你搞清楚三件事： MLA 在 V2/V3 上做对了什么？ 上下文窗口扩容到百万级，MLA 为什么顶不住了？ V4 换了什么新思路？ 哈喽大家好，我是二哥呀。今天用 3 分钟，给你讲清楚 DeepSeek 为什么要把多头潜在注意力机制 MLA 换掉。 先说第一件事，MLA 做对了什么。 大模型每生成一个词元，都要回头看前面所有的输入。但它不是每次都重新读一遍原文，而是在第一次读的时候，给每个词元记一份笔记——这就是 KV Cache 里的 K 和 V。后面再回头看的时候，直接翻笔记就行。 问题是，传统的多头注意力 MHA（Multi-Head Attention）给每个词都记了一份笔记。模型有上百个注意力头，每个头都要单独记一份 K 和一份 V。上下文越长，笔记越多，显存就撑不下了。 MLA（Multi-head Latent Attention，多头隐式注意力）做了一个优化：把每个词的笔记压缩成了一份更薄的笔记。 怎么压缩的？ 用一个投影矩阵，把高维的 K 和 V 映射到一个低维的 latent 向量里。你可以理解成：原来每个词要用一整页纸记笔记，MLA 发明了一种速记法，一行就够了。需要查阅的时候，再用另一个矩阵把这行速记展开还原。

笔记薄了，显存占用自然就小了。这就是 V2 和 V3 能在 128K 上下文上跑得又快又省钱的关键因素。 那聪明的你肯定想到了：既然 MLA 这么好使，V4 为什么要换掉？ 因为上下文窗口从 128K 扩展到了 1M。 MLA 压缩的是每份笔记的长度或者叫厚度，但每个词还是要记一份。128K 的时候是 128K 份笔记，1M 就是 100 万份。翻了 8 倍。 笔记再薄或者再短，100 万份的总量还是太大了。一个百万 token 的请求，光 KV Cache 就能吃掉一整张顶配 GPU 卡的显存。意味着一张卡只能服务一个请求，没法同时服务其他请求了。

并发上不去，单个请求的分摊成本就很高。成本高，API 就贵。 那聪明的你肯定又要问了：V4 怎么解决这个问题的？ MLA 的思路是“把每份笔记压薄”——每个词的数据量小了，但词有多少份，笔记就有多少份。V4 的思路是“减少要记的份数”——不再给每个词单独记笔记，而是把相邻的好几个词合并在一起，记一份共享笔记。 打个比方。MLA 是给班上每个学生都发一张学霸笔记。学生越多，笔记越多。V4 的做法是不再按人头发了，按小组发——把几个学生编成一组，一组一张。学生数量没变，但笔记的份数大幅减少。 V4 用来实现这个思路的，是两个全新的注意力机制：CSA 和 HCA。一个负责精细地合并少量词，一个负责大刀阔斧地合并大量词。

最后简单总结下。 MLA 的贡献是把每份笔记压薄了，让 V2 和 V3 在 128K 上下文上又快又省。但到了百万上下文时代，瓶颈不再是每份笔记的厚度，而是笔记的份数。 这个知识点你学废了吗？想解锁更多 AI 硬核知识，点赞关注，我是二哥，咱们下期见！

在 GitHub 上编辑此页 上次编辑于: 贡献者: 沉默王二 上一页 CSA HCA 与缓存 下一页 什么是 Cordis