03. 为什么 Attention 里要有 Q、K、V？能不能只用一个矩阵？

简单回答

Q、K、V 三个矩阵分别承担不同的角色：Q 表示"我在找什么信息"，K 表示"我有什么信息可以被匹配"，V 表示"如果匹配上了，实际传递什么内容"。如果只用一个矩阵，"检索"和"传递"耦合在一起，模型的表达能力会大幅下降。三个独立投影让模型可以在不同子空间里做匹配和信息聚合，灵活性更强。

详细解释

Q、K、V 的分工：一个直觉类比

把 Attention 想象成一个信息检索系统：你去图书馆找书，Q 是你的"搜索需求"（我想找关于 X 的书），K 是每本书的"标签/索引"（这本书讲 Y），V 是书的"实际内容"。Q 和 K 的点积决定匹配程度（相关性打分），V 是匹配后真正取回的信息。

如果只用一个矩阵，就相当于书的"标签"和"内容"是同一个东西，而且你的"搜索需求"也得用同一个表示——这会让系统失去灵活性。

从数学角度看 Q、K、V 的必要性

如果不做任何投影，直接用原始输入 X 做 self-attention：

$X{X}^T$ 的第 (i,j) 个元素就是第 i 个和第 j 个 token 原始向量的点积。这个相似度完全由输入向量的原始空间决定，模型没有任何能力去调整"什么算相似"、"什么该被关注"。

加上 $W_Q$ 和 $W_K$ 后，相似度变成了 $(X{W}_Q)(X{W}_K{)}^T=X{W}_Q{W}_K^T{X}^T$。$W_Q{W}_K^T$ 本质上定义了一个可学习的相似度度量——模型可以学到在什么子空间里做匹配。不同的 head 可以学到不同的匹配模式（比如一个 head 关注语法关系，另一个关注语义相似度）。

$W_V$ 的必要性在于：匹配和传递可以解耦。两个 token "很相似"（K 角度）并不意味着要传递的信息（V 角度）就是原始输入。$W_V$ 让模型可以学习"匹配上了以后，应该传递什么信息"。

如果 Q = K 会怎样？

这其实就是 Symmetric Attention。Q 和 K 用同一个投影矩阵 $W$，注意力分数变成 $(XW)(XW{)}^T=XW{W}^T{X}^T$，相似度矩阵是对称的（$S_{ij}=S_{ji}$）。这意味着"A 关注 B 的程度"和"B 关注 A 的程度"完全一样。

但在真实语言中这不合理。比如代词 "it" 应该强烈关注它指代的名词，但名词不一定要同等程度地关注 "it"。非对称的注意力分数对建模语言结构非常重要。所以 Q 和 K 需要不同的投影。

如果 K = V 会怎样？

这意味着用来匹配的表示和最终传递的信息是同一个东西。这会损失灵活性——有时候我们想"根据语法结构匹配"，但传递的是"语义内容"。把 K 和 V 分开，模型就能独立学习"怎么匹配"和"传递什么"。

不过在某些效率优化的变体中（比如 MQA、GQA），确实会让多个 head 共享 K 和 V。这说明 K 和 V 的共享在一定程度上是可以接受的，但完全不区分 K 和 V 仍然会损失表达能力。

多个投影 vs 单个投影的对比

可以这样总结：单矩阵方案让"查询"、"索引"、"内容"三者耦合，所有功能在同一个空间完成，表达能力受限。三矩阵方案让三者解耦到各自的子空间，模型可以分别学习"怎么提问"、"怎么被匹配"、"传递什么信息"。这种解耦在工程上增加的参数量很小（只是三个线性投影），但带来的表达能力提升很大。

面试时可以这样答

Q、K、V 三个矩阵各有明确的分工。Q 表示"当前 token 在找什么信息"，K 表示"每个 token 能提供什么样的匹配信号"，V 表示"匹配上以后实际要传递的内容"。

如果只用一个矩阵，等于不做任何投影直接在原始空间算相似度，模型没有能力学习"什么算相似"。加了 Q 和 K 两个投影后，$W_Q{W}_K^T$ 本质上定义了一个可学习的相似度度量，不同的 head 可以学到完全不同的匹配模式。而且 Q 和 K 分开保证了注意力是非对称的——"A 关注 B"和"B 关注 A"可以有不同的程度，这对建模语言结构很重要。

V 的独立投影让"匹配"和"传递"解耦——怎么算相似度是一回事，匹配上以后传什么信息是另一回事。两者在不同子空间独立学习，表达能力更强。

虽然后来 MQA 和 GQA 让多个 head 共享 K 和 V，但那是效率和表达能力之间的权衡，不是说 K 和 V 不重要。

常见追问

1. Q 和 K 投影到相同维度空间，那它们的权重矩阵实际学到的有什么不同？
2. 为什么 MQA 选择共享 K 和 V 而不是共享 Q？这说明了什么？
3. 如果把 Attention 替换成简单的 MLP Mixer，效果会差多少？为什么？