解码与采样：temperature / top-k / top-p 怎么调

一句话回答

LLM 是自回归的：每生成一个 token，都从 softmax 出的概率分布里「采一个」出来，再喂回去。解码策略决定怎么从这个分布里选——greedy/beam 偏确定、偏保守；temperature/top-k/top-p 控制多样性。代码/事实要低随机，创意要高随机。

模型输出的是「下一个 token 的 logits」，过 softmax 变成概率分布 p。生成第 t 个 token 就是从这个分布里挑一个：

p(token | 前文) = softmax(W · h_t)

token = argmax(p)

完全确定、可复现；适合「有标准答案」的场景（代码补全、抽取、分类标签）。

缺点：单调、易陷入重复循环（"好的好的好的…"），缺乏多样性，开放生成很"无聊"。

不只要一条最优，而是每步保留 b 条（beam width）当前累计概率最高的候选序列，最后选整体最优。

翻译、摘要、语音识别等「有唯一较优解」的任务效果好，输出流畅不跑偏。

开放对话/创意里 beam search 反而「太安全」、句式雷同；且 b 越大算力越贵。LLM 对话一般不默认用它。

在 softmax 前把 logits 除以温度 T：

p = softmax(logits / T)

不想让极小概率的"胡说"token 被采到，就在采样前先截断：

Top-k
只保留概率最高的 k 个 token，其余置零后再采样。k 小更稳，k 大更多样。但 k 固定，可能对"本来就很确定"的分布也硬塞 k 个。

Top-p（nucleus）
按概率从高到低累加，取到总和 ≥ p 就停（如 p=0.9）。动态决定候选集大小，更自适应，比 top-k 常用。

实战常组合：temperature 调"发散度" + top-p 控"候选范围"，两者一起用。top-k 常与 top-p 二选一或叠加。

默认值心智模型：OpenAI 系默认 temperature≈0.7~1.0、top-p≈1；但"严谨任务"应调低到 0~0.3。别在要"唯一正确答案"的任务上用高 T。