ChatGPT、文心一言、通义千问…它们的"大脑"都是 Transformer。 没有循环、没有卷积，全靠一个叫 自注意力（Self-Attention） 的机制。 下面用动画把它拆开给你看。
传统模型（RNN）像"读书逐字读"，前面忘了后面； Transformer 像"一眼扫全段"，谁和谁相关当场算出来 —— 这就是它能理解长句子、又能并行加速的根本原因。
原始 Transformer 分左右两半。编码器读入句子、抽取含义； 解码器根据含义一个词一个词地生成输出。现在的"只 decoder"大模型（如 GPT）只保留右边一半，但核心机制完全一样。
模型不认识字，只认识向量。要经过三道转换：
句子切成 token（词 / 子词）。
"小猫"→ 小 猫
每个 token 变成一串数（向量），如 512 维。含义相近的词，向量也相近。
注意力本身"无顺序感"，必须额外加上"第几个词"的位置信号。
位置编码常用"不同频率的正弦/余弦波"叠加到向量上，让模型既能知道绝对位置，也能算出相对距离。
这是 Transformer 的灵魂。每个词都会和句子里所有词两两计算"相关度"， 然后按相关度把别人身上的信息"加权汇总"到自己这里。于是"它"这个词就能知道自己指的是"猫"还是"老鼠"。
每个词用自己原来的向量，乘三个不同的矩阵，变出三个角色：
Q·Kᵀ 算出"我和你有多相关" → Softmax 归一化成注意力权重（加起来=1）→ 乘 V 按权重汇总别人的内容。
一个头只能关注一种关系。模型会并行开好几组 Q/K/V（如 8 个头）， 有的头看语法、有的头看指代、有的头看远距离搭配，最后拼起来 —— 就像好几个人从不同角度同时读同一句话。
对每个词独立做两次线性变换（中间放大再压回）。 注意力负责"交换信息"，FFN 负责"消化加工"每个词学到的东西。
输出 = 输入 + 子层结果。让信息有"直通路"，深层网络才训得动、梯度不消失。
把向量数值拉回稳定范围，训练更稳、更快。顺序通常是 Norm → 子层 → Add（Pre-LN）。
最后一层出来后：
Transformer 本质是个 "加权信息搬运机"： 把每个词变成向量，让向量之间按"注意力权重"互相交换信息，叠很多层后， 模型就"理解"了上下文，从而能预测、能生成、能翻译、能问答。 所谓"大模型"，不过是把这套结构做得很深、很宽、喂了海量数据而已。