01. 预训练、继续预训练和 SFT 有什么区别？

简单回答

三者的区别在于训练目标和数据形态不同：预训练偏通用语言建模，继续预训练偏领域适配，SFT 偏任务指令对齐。

详细解析

• 预训练通常使用海量通用语料，让模型学会语言规律、知识模式和基础能力。
• 继续预训练常用于行业语料补充，比如金融、法律、医疗或公司内部知识，使模型更懂特定领域表达。
• SFT 通常使用指令-回答或问答数据，目标是让模型更符合任务格式和对话习惯。
• 从面试表达上，最好讲成“通用能力 → 领域能力 → 任务行为”三层递进关系。

面试时可以这样答

回答时把三种阶段放进同一条训练流水线里讲，通常比孤立定义更容易打动面试官。

常见追问

• 继续预训练和知识注入有什么关系？
• SFT 能替代继续预训练吗？