05. 生成效果差时你会怎么判断问题在 Prompt、模型还是上下文?

整理生成效果问题的定位框架。

简单回答

判断生成问题时,核心是看正确证据有没有被取到、有没有被放进去、模型有没有遵循,以及输出有没有被后处理影响。

详细解析

  • 如果召回结果本身就错,后面再怎么调 prompt 都是治标不治本。
  • 如果证据对但组织混乱,要优先调整上下文拼装和指令约束。
  • 如果 prompt 和上下文都没问题,但模型仍频繁答偏,才更值得考虑模型选择或微调。
  • 有些问题其实出在输出模板、截断策略或后处理逻辑,不一定是模型本身。

面试时可以这样答

一个高分回答通常会说:先看证据,再看组织,再看模型。

常见追问

  • 如何做最小化实验定位问题?
  • 什么时候该换模型?