三种架构范式：BERT / GPT / T5 怎么选

一句话回答

三种范式由注意力掩码决定：Encoder-only 双向看全句（理解型）、Decoder-only 只能看过去（生成型）、Encoder-Decoder 编码器双向 + 解码器因果 + cross-attention（Seq2Seq）。LLM 时代 Decoder-only 几乎通吃。

双向自注意力：每个 token 能看前后所有 token。适合「给一段文本，抽信息」的理解型任务。

擅长：分类、NER、抽取式问答、语义相似度、检索召回。
代表：BERT、RoBERTa、DeBERTa。
不擅长：自由生成（它没有「续写」的训练目标）。

因果注意力（causal mask）：位置 i 只能看 ≤ i 的 token，看不到未来。天然适配「自回归生成」——这正是 LLM 的本职。

擅长：文本生成、对话、代码、推理、Few-shot/ICL/CoT 全建立在这之上。
代表：GPT 系列、Llama、Qwen、DeepSeek、Claude、Gemini。

编码器双向理解源文本，解码器因果生成，两者通过 cross-attention 连接（解码器 query 去查编码器输出）。适合「输入一段、输出一段」的转化任务。

擅长：翻译、摘要、改写、问答生成。
代表：T5、BART、mT5、FLAN-T5。

生成统一：对话/代码/推理全是「续写」，Decoder-only 天生适配，不必为每种任务切换结构。
Scaling 友好：单一目标（next-token）最简单，海量文本直接训，规模上去能力涌现。
KV Cache 简单：因果掩码下缓存天然有序，配合 GQA/FlashAttention 高效。
ICL/CoT 载体：Few-shot、思维链都依赖「在上下文里续写」，只有 Decoder-only 顺。Encoder-Decoder 的 cross-attn 在这些范式上反而别扭。

理解型任务（如检索召回、分类）仍常用 BERT 类小模型，便宜又快；但「通用对话大模型」几乎全是 Decoder-only。