Token 与 Embedding

理解文本切分、向量表示与上下文编码。

大模型基础：Token 与 Embedding

理解文本切分、向量表示与上下文编码。

本页规划

  • 分词方式
  • 向量表示
  • 常见误区
Transformer
理解自注意力、编码器/解码器与整体结构。
训练与推理
区分训练流程、推理流程及各自关注点。