05. 生成效果差时你会怎么判断问题在 Prompt、模型还是上下文?
整理生成效果问题的定位框架。
简单回答
判断生成问题时,核心是看正确证据有没有被取到、有没有被放进去、模型有没有遵循,以及输出有没有被后处理影响。
详细解析
- 如果召回结果本身就错,后面再怎么调 prompt 都是治标不治本。
- 如果证据对但组织混乱,要优先调整上下文拼装和指令约束。
- 如果 prompt 和上下文都没问题,但模型仍频繁答偏,才更值得考虑模型选择或微调。
- 有些问题其实出在输出模板、截断策略或后处理逻辑,不一定是模型本身。
面试时可以这样答
一个高分回答通常会说:先看证据,再看组织,再看模型。
常见追问
- 如何做最小化实验定位问题?
- 什么时候该换模型?