开场：AI 的"短期记忆"也有天花板

大模型的上下文窗口（Context Window）再大，也有上限——GPT 系列从 4K、8K、32K，一路涨到 128K、200K，但终归是有限内存。当聊天记录、长文档、工具返回的结果越堆越多，总有一天会顶到窗口上限，这就是上下文溢出（Context Overflow）。

溢出的直接后果有两种：

• 报错/失效：直接超出上限，请求失败或被迫丢弃后半段。
• 悄悄丢信息：很多框架会"自作主张"裁掉最早的内容，导致模型忘了前面的关键信息。

所以，怎么处理溢出，本质是回答一个问题：窗口装不下时，哪些信息该被留下？ 主流方案有三类：直接截断、摘要压缩、选择性保留。下面逐一拆解优缺点。

一、直接截断：最粗暴，也最省事

思路很简单：窗口满了，就把最早的内容（或超过阈值的内容）直接删掉，保住最近的信息。

优点

• 实现极简：一个"删前面的"操作，几行代码搞定，几乎零开发成本。
• 零额外计算：不调模型、不跑摘要，不增加任何推理延迟和费用。
• 确定性高：行为可预测——"超出多少删多少"，不会出错。

缺点

• 信息永久丢失：被截断的内容是硬删除，后面再也找不回来。如果关键约定、重要上下文在前半段，直接"失忆"。
• 打断上下文连贯性：删着删着，前后文对不上，模型可能答非所问。
• 对"头重脚轻"的对话尤其致命：系统提示、初始任务、早期用户的明确要求，全都在最前面，一截全没了。

一句话：直接截断是"删聊天记录"——省事，但容易删掉关键信息。

二、摘要压缩：把历史"浓缩"成几句话

思路：窗口快满时，把前面的对话交给模型压缩成一段摘要，用摘要替换原文继续对话。

实现上通常配合"滚动窗口"：每当消息数或 Token 数超过阈值，就把最旧的一批消息调用一次"总结"操作，替换成一行摘要。

优点

• 信息留存率高：与硬删不同，摘要保留了历史的核心语义，模型不会"完全失忆"。
• 适合长对话：聊天助手、客服系统这类"对话永续"场景，摘要让会话可以无限续下去。
• 成本可控：只在窗口快满时才触发压缩，平时不增加开销。

缺点

• 有压缩损耗：摘要本质是"有损压缩"，细节、数字、具体措辞会被丢掉，甚至可能概括出错（模型自己也可能幻觉）。
• 额外延迟与成本：每次压缩都要调用一次模型，多一跳推理，且压缩本身的 Token 也要算钱。
• 摘要越滚越"稀"：多轮压缩后，早期信息被"摘要的摘要"稀释，越来越模糊。
• 上下文漂移风险：摘要丢失的细节，可能正是后来某个问题的答案依据。

一句话：摘要压缩是"写会议纪要"——保住大意，但细节和准确性打折。

三、选择性保留：只留"重要"的部分

思路：不删、不缩，而是先判断每条消息的"重要性"，只把重要的留下，或者结合检索，按需找回。

常见做法：

• 重要性打分：给每条消息打分（关键词命中、与当前任务的相似度、角色/时间权重等），窗口满时淘汰低分内容。
• 结构化存储 + 按需检索：把历史消息存入外部存储（向量库），需要时用检索"捞回"相关的几条（本质上是给对话加了个 RAG 记忆）。
• 角色/类型优先：保留 system 指令、用户明确要求、工具返回的关键结果，优先丢弃寒暄、冗余输出。

优点

• 信息利用最充分：重要的内容长期在位，系统指令和关键要求不会丢。
• 与检索/记忆体系天然衔接：选择性保留 + 向量检索，就是 Agent 的"长期记忆"雏形，可扩展性强。
• 针对性最强：能保住"直接截断会删掉、摘要压缩会模糊"的关键细节。

缺点

• 实现复杂度最高：要设计打分规则、维护存储结构，工程量不小。
• "重要性"难定义：打分规则有主观性，可能误判——把当前不重要、以后重要的话删了。
• 检索也可能漏：按需召回依赖检索质量，召回不到一样"失忆"。
• 调试与维护成本高：规则多了之后，出问题不好排查。

一句话：选择性保留是"给记忆做分级管理"——最聪明，但也最费功夫。

四、三招怎么选：一张对比表

实际落地建议

• 最省事：短对话、工具型应用，直接截断够用（优先保 system + 最近的 user）。
• 最通用：长对话助手用摘要压缩，性价比最高，注意给摘要留"重要细节回写"机制。
• 最可靠：复杂 Agent 用选择性保留 + 检索记忆，虽然贵，但值得。
• 混合才是常态：工业级方案通常是"截断兜底 + 摘要压缩历史 + 检索捞回关键"，层层配合。

结语：没有银弹，只有权衡

• 直接截断：最便宜，但删了就没了。
• 摘要压缩：中庸之选，保大意、丢细节。
• 选择性保留：最聪明，但最难做对。

上下文溢出没有"完美解"，本质是在成本、实现复杂度、信息保留度三者之间做权衡。理解这三招的优缺点，你就能针对自己的场景选对策略——这也是把大模型从"玩具"推向"生产"的关键一步。