05. 限流、熔断、降级在大模型系统里分别起什么作用？
整理稳定性治理的三类基础机制。
简单回答
限流用于控制流量上限，熔断用于在依赖异常时快速失败，降级用于在资源紧张或依赖失效时保住核心功能。
详细解析
- 大模型调用成本高、时延长、外部依赖多，因此比普通接口更容易在高峰期出问题。
- 限流可以防止系统被突发流量压垮，熔断可以避免故障在下游持续放大。
- 降级可以表现为切换更小模型、关闭重排、缩短上下文或只返回检索结果。
- 这些机制的目标都是让系统在坏情况下仍然可控。
面试时可以这样答
回答时最好顺手举一个降级例子，这样更像生产经验。
常见追问
- 什么情况下该触发降级？
- 降级会影响哪些指标？