第3讲：提示词
从 Zero/Few-shot 到 CoT、ToT、DSPy、TextGrad——把 prompt 作为可优化的一等公民
从"写 prompt"到"编译 pipeline"
本讲的主线是提示工程（Prompt Engineering）的范式迁移：从 2020 年 GPT-3 开启的手工少样本提示，到 2022 年链式思维（Chain-of-Thought, CoT）解锁推理能力，再到 2023–2025 年 DSPy、TextGrad 等框架把 prompt 当作可编译、可优化的程序组件。这条主线既是工程实践的演进，也是我们理解大语言模型（Large Language Model, LLM）行为的窗口。
一个实用的判断标准是：如果你还在手搓 prompt 字符串，就像在手动调分类器的权重。当流水线只有一两步时手工可行；一旦涉及多模块协同（Retrieval → Reason → Tool Call → Synthesize），手工维护几乎必然崩溃。DSPy 和 TextGrad 给出的答案是——引入"编译器"与"文本梯度（Textual Gradient）"，让 prompt 的迭代自动化。
学习目标
完成本讲后，你将能够：
- 区分 Zero-shot / Few-shot / Instruction-following 的基本范式，并解释示例选择与顺序敏感性
- 掌握 CoT、Self-Consistency、Program-of-Thoughts（PoT）的触发条件与失效模式
- 理解 Tree of Thoughts（ToT）与 Graph of Thoughts（GoT）中的"评估器 + 搜索"结构
- 运用 DSPy 的 Signature / Module / Teleprompter 三层抽象搭建可编译 pipeline
- 理解 TextGrad 如何通过自然语言反馈作为"梯度"反向传播来优化任意变量
- 判断 何时应当升级到 RAG 或微调，而不是继续在 prompt 层打补丁
学时分配
| 环节 | 时长 | 内容 |
|---|---|---|
| 讲授 | ~80 分钟 | 基础范式 / CoT / ToT / DSPy / TextGrad |
| 上机实验 | ~60 分钟 | 用 DSPy 在中文任务上对比手写 prompt 与 BootstrapFewShot 编译 |
本讲规划
3.1 Zero-shot 与 Few-shot
指令跟随、示例选择、顺序敏感性、格式化对性能的影响
3.2 Chain-of-Thought
CoT、Zero-shot CoT、Self-Consistency、Program-of-Thoughts，以及 CoT 何时失效
3.3 Tree of Thoughts
ToT 与 Graph of Thoughts；评估器 + 搜索（DFS/BFS/MCTS）；成本-收益权衡
3.4 DSPy：把 prompt 当程序
Signature / Module / Predict / ChainOfThought / ReAct；Compiler 与 BootstrapFewShot / MIPRO
3.5 TextGrad：文本梯度
Textual Gradient 的数学直觉；LLM 作为反馈源；与 DSPy 的对比
上机实验
DSPy 在中文分类/QA 任务上的 pipeline：手写 vs. 自动编译
参考材料
按主题分组的核心论文与内部译本
参考材料
- 课程内部综述：
prompt-engineering-literature-review-zh.md - 课程内部译本：
DSPy论文中文翻译_Khattab2023.md - 课程内部译本：
TextGrad论文中文翻译.md - 外延阅读：Wei et al.（2022）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
- 外延阅读：Yao et al.（2023）Tree of Thoughts: Deliberate Problem Solving with Large Language Models
关键词
Zero-shot · Few-shot · Instruction Following · CoT · Self-Consistency · PoT · Tree of Thoughts · Graph of Thoughts · DSPy · Signature · Teleprompter · TextGrad · Textual Gradient