【阿里】-大模型开发-春招一二面-搜推产品部
阿里大模型岗面经
一面
- 项目介绍
- 介绍实习
- 数据集使用的是公开数据集还在有自己构造数据集
大模型相关八股提问
- 分别讲一下 Dense 模型和 MoE 模型以及二者的区别
- 讲一下MoE的 路由机制是如何做的
- 训练完验证使用的是什么数据集
- 做这个工作的过程中的难点在哪
- 如何做的 SFT
- 介绍一下 PPO
- 讲一下 RAG 项目
- 分类任务常用的评测指标有哪些
- 讲一下 LoRA 微调的原理
- A、B 矩阵怎么初始化的
- LoRA 微调秩设置的是多少
- coding：最小生成树
二面
- 项目拷打
- 后来有哪些比较经典的基于Transformer的语言模型，Qwen相比于原始Transformer有哪些结构上的改动
- 了解RLHF吗，DPO和PPO有什么区别，Loss是什么样的，各自的优缺点是什么
- 介绍一下CLIP，还了解什么其他的对比学习方法
- 开放题 ：了解哪些多模态大模型，目前多模态大模型最大的问题是什么
- coding ：1143.最长公共子序列