【阿里】-大模型开发-多模态大模型 搜推事业部春招一面
阿里大模型岗面经
- 过项目
- 介绍一下CLIP
- 了解LoRA吗，LoRA微调的原理是什么
- 了解哪些多模态大模型，简要介绍几个
- BLIP的三个损失函数分别是什么，数据是怎样清洗的
- BLIP2相对于BLIP有哪些改进，BLIP3又有哪些改进
- Qwen-VL的三个训练流程分别是什么，有什么作用
- 视觉编码器和LLM连接时，使用BLIP2中Q-Former那种复杂的Adaptor好还是LLaVA中简单的MLP好，说说各自的优缺点
- 代码：实现多头自注意力
阿里大模型岗面经