03. 会话状态和上下文应该怎么管理?

整理对话系统中的上下文管理思路。

简单回答

上下文管理的目标不是把历史消息无限堆积,而是在成本、时延和效果之间,保留真正有用的信息。

详细解析

  • 短会话可以直接滑动窗口保留最近几轮消息。
  • 长会话通常需要摘要记忆、关键事实提取或外部存储,否则 prompt 会越来越大。
  • 不同用户、不同会话、不同工具状态需要明确隔离,避免串上下文。
  • 好的上下文管理既是性能问题,也是回答质量问题。

面试时可以这样答

面试时可以从“保什么、丢什么、怎么恢复”这三个问题来答。

常见追问

  • 会话摘要什么时候生成?
  • 长期偏好和短期上下文怎么区分?