07. 成本高时你一般有哪些优化思路？
整理大模型项目中的常见成本优化手段。
简单回答
成本优化通常从三处入手：减少不必要请求、减少单次请求消耗、把高成本模型只留给关键场景。
详细解析
- 先看能否通过缓存、检索前置和规则过滤减少模型调用次数。
- 再看能否缩短上下文、减少输出长度、优化提示词和使用更小模型。
- 如果系统里有多级策略，可以把高价值请求路由到更强模型，普通请求走轻量方案。
- 成本优化不只是省钱，还经常能顺带降低时延和提升系统稳定性。
面试时可以这样答
回答时要体现你知道成本来自哪里，而不是只说“换便宜模型”。
常见追问
- 如何评估降本是否影响效果？
- 哪些请求最适合做缓存？