03. 为什么很多项目不做全量微调,而优先考虑参数高效微调?

整理全量微调与参数高效微调的工程取舍。

简单回答

因为全量微调成本高、显存要求大、训练和部署链路重,而很多业务并不需要把整个基座模型都改动一遍。

详细解析

  • 全量微调需要更新全部参数,对显存、训练时长、模型管理和版本回滚都更重。
  • 很多业务目标只是让模型适应某类任务或风格,此时 LoRA 这类参数高效方法通常已经够用。
  • 参数高效微调更便于多租户、多场景管理,不同业务可以挂不同 adapter。
  • 只有在任务差异极大、数据量很足或必须深度改写模型能力时,才更可能考虑全量微调。

面试时可以这样答

回答时不要绝对化,最好说成“先看目标、数据和资源,再决定是否做全量微调”。

常见追问

  • 什么情况下全量微调值得做?
  • 参数高效微调对线上部署有什么好处?