【字节】-大模型开发-抖音电商多模态大模型面经
字节大模型岗面经
- 自我介绍
- sft阶段用的什么模型，数据来源，如何做数据处理，用的什么框架
- ppo如何做的详细介绍，包括数据，怎么训练奖励模型，每个模型的损失什么样子的，在几张卡上做的训练
- dpo训练流程，为什么 ppo 和 dpo 你都用了，有什么区别，有没有做对比试验
- 怎么评估你微调之后模型有提升
- ppo为什么效果会比 dpo 强，怎么理解多轮 dpo 会有提升
- 项目中创新点外代码中怎么实现的，详细讲讲，消融实验怎么做的
- clip训练原理
- 深度学习相关知识，讲几种优化器
- 讲 MHA 原理
- GRPO原理
- Lora原理， r 大小对模型训练的影响
- vit训练原理
- swin transformer 的原理
- qwen3快思考和慢思考的原理
- 手撕