LLM 能力与机制

思维链 CoT:让模型先想再答

Chain-of-Thought 通过让模型把推理步骤写出来,显著提升复杂推理准确率。从 Few-shot CoT、Zero-shot CoT 到自洽性(Self-Consistency)、思维树(ToT),本文理清演进与应用边界。

一句话回答

CoT(Chain-of-Thought)就是让模型在给最终答案前,先把中间推理步骤写出来。这一步"显式思考"能把多步推理准确率拉高一大截,是推理型大模型(数学/逻辑/代码)的标配技巧。

什么是 CoT

标准 prompt
问:"小明有 3 个苹果,又买 2 袋每袋 4 个,共几个?"
答:"11"(直接蹦答案,易错)
CoT prompt
"…我们一步步想:原有 3 个,买了 2×4=8 个,共 3+8=11 个。答案:11"(中间步骤可见)
关键:模型在生成答案的同一段自回归序列里先产出推理,这些中间 token 反过来改善了对最终答案的表示——"把思考写下来"帮助"算对"。

Few-shot CoT

Wei 2022 原始做法:在 few-shot 示例里,不只给"问→答",而是给"问→推理步骤→答"。模型照猫画虎,对新问题也生成推理链。

示例格式:
Q: …
A: 让我们一步步想:… 所以答案 X。
(新题同理)

Zero-shot CoT

Kojima 2022 发现:连示例都不用,只要在问题后加一句 "Let's think step by step."(中文"让我们一步步思考"),模型就会自发写出推理链。

极低门槛、零示例成本,是日常用 LLM 解推理题最实用的咒语之一。

进阶变体

Self-Consistency(自洽性)
同一题采样多条 CoT 路径,对最终答案投票取多数。多条路里"碰巧都对"的概率远高于"一条对",准确率再涨。
ToT(Tree of Thoughts)
把推理建成树:每步生成多个候选"想法",评估后回溯/剪枝,适合需要搜索/规划的难题(24 点、走迷宫)。
还有 GoT(图)、CoT-SC 等。本质都在"给模型更多推理计算 + 探索空间"。

为什么有效

局限与适用

  • 不是万能:简单题加 CoT 反而更慢更啰嗦,甚至可能"想歪"。
  • 会编造步骤:推理链看起来合理,但某步是模型编的,需要校验。
  • 延迟/成本:输出变长,token 消耗与延迟上升;Self-Consistency 更要多次采样。
  • 强依赖模型本身有推理能力,小模型 CoT 收益有限。

总结