核心概念

大模型的核心概念,包括 Token、Prompt、上下文等。

在进入实战之前,你需要掌握以下关键概念。


1️⃣ 什么是大模型

  • 基于 Transformer 架构
  • 通过大量数据训练
  • 能理解和生成自然语言

2️⃣ Token

  • 文本被拆分成 Token
  • 模型以 Token 为单位处理信息
  • 计费和上下文长度都与 Token 相关

3️⃣ Prompt

Prompt 是你给模型的“指令”。

包括:

  • 指令(Instruction)
  • 上下文(Context)
  • 示例(Few-shot)

4️⃣ 上下文(Context)

  • 决定模型“记住什么”
  • 长度有限(如 8k / 32k / 128k)
  • 需要合理管理

5️⃣ Embedding(简单理解)

  • 把文本转成向量
  • 用于搜索、相似度计算(RAG)

👉 掌握这些后即可进入实战