百度大模型开发-超详细文心一言大模型面经

百度大模型岗面经

一面：

  1. 首先是自我介绍和项目介绍，期间会有简单的互动，面试官会问一些项目的实现细节
  2. 介绍一下了解的大模型有哪些，这些模型在结构上有什么差异
  3. 说一下大模型常用的位置编码有哪些，各有什么优缺点
  4. 介绍一下大模型的预训练→后训练→推理是怎么做的，并且详细问了 RLHF 的做法，包括 PPO 算法的原理，以及 DPO 和 PPO 的区别
  5. 大模型的超长上下文是怎么做的，比如说 KIMI
  6. 大模型智能体是怎么工作的，有哪些组件
  7. 场景题：如何训练一个大模型，可以做到精确的提取摘要
  8. 代码：股票的四个题
    1. 买卖股票的最佳时机 I
    2. 买卖股票的最佳时机 II
    3. 买卖股票的最佳时机 III
    4. 买卖股票的最佳时机 IV

二面：

  1. 刚开始还是自我介绍和项目介绍，介绍项目时面试官问得更深刻一些，比如做某个操作或改进的动机是什么，有什么好处
  2. 因为之前是做 CV 的，所以面试官问了 CV 和 NLP 的区别和联系，在 Transformer 的大背景下，CV、NLP（包括语音等）能否实现大一统
  3. 训练大模型的时候数据怎么清洗，怎么处理，怎么配比，怎样操作能更容易使模型达到更好的性能
  4. 什么是大模型的幻觉，如何减轻幻觉问题
  5. 大模型的复读问题是怎么产生的，业内一般有什么解决办法
  6. 大模型的工具调用怎么实现
  7. Agent 有哪几部分构成，了解哪些具体的实现方法
  8. 开放题：之前训练大模型的时候遇到过什么困难，你是怎么解决的
  9. 代码：实现一个 Tokenizer，只能用 PyTorch 基础语法

三面：

  1. 首先还是过项目，但是问得特别细致，尤其是一个 Agent 的项目，从背景，到动机，再到做法，最后的结果，都问得非常细，大概有半个小时的时间
  2. 开放题：你觉得当前大模型还存在怎样的问题，有什么解决办法吗
  3. 开放题：让你自己设计一个 Agent，会怎么做，为什么这样做
  4. 找工作比较在意的点是什么，除了薪资还有什么
  5. 对文心一言这个产品了解吗，有哪些优点和值得改进的点
  6. 如果给你发 Offer，你到这个团队能做出什么贡献
【阿里】-大模型开发-一面分享，给我面的没招了
百度大模型开发-多模态大模型算法实习，横向挂