03. 为什么很多项目不做全量微调,而优先考虑参数高效微调?
整理全量微调与参数高效微调的工程取舍。
简单回答
因为全量微调成本高、显存要求大、训练和部署链路重,而很多业务并不需要把整个基座模型都改动一遍。
详细解析
- 全量微调需要更新全部参数,对显存、训练时长、模型管理和版本回滚都更重。
- 很多业务目标只是让模型适应某类任务或风格,此时 LoRA 这类参数高效方法通常已经够用。
- 参数高效微调更便于多租户、多场景管理,不同业务可以挂不同 adapter。
- 只有在任务差异极大、数据量很足或必须深度改写模型能力时,才更可能考虑全量微调。
面试时可以这样答
回答时不要绝对化,最好说成“先看目标、数据和资源,再决定是否做全量微调”。
常见追问
- 什么情况下全量微调值得做?
- 参数高效微调对线上部署有什么好处?