百度大模型开发-多模态大模型算法实习，横向挂
百度大模型岗面经
- 讲一下主要的多模态模型的模型结构
- 对多模态的数据有什么了解，我回答之前看了一些多模态cot的工作构造的dpo数据，以及毕设做的多模态数据增强
- 之前的工作的多模态数据有什么特点和创新点，觉得还可以有什么改进
- 统一生成理解模型下游微调各个任务的数据是怎么构造的
- dpo算法是怎么实现的，和其他强化学习有什么区别
- 看项目有目标检测任务，问了IoU是怎么算的，目标检测一般有哪些损失优化
code：
- 实现dpo损失，按照想法能写多少是多少，不要求跑通
- 手写IoU损失，要求跑通