从大模型到智能体 · 讲座笔记

斯坦福课程 · 讲座实录

从大模型
到智能体

缩放定律、涌现推理与 Agentic Workflow —— 一次讲座讲清大模型为什么变强，以及它接下来要去哪里。

讲师 Azalia Mirhusseini 等，背景涉及 Google Brain、Google DeepMind 与 Anthropic Cloud；本课程为第二次开设，讲义与论文清单均已更新。

关于原帖的引流主张

原帖标题声称「18 岁用 Opus 5 做出年入 240 万美元的自动化生意」「一个智能体替代 50 名 Anthropic 工程师」「Claude Code 里一个文件启动月入 12 万美元的业务」。这些具体主张在下方讲座文字稿中并未出现，本笔记只忠实整理文字稿本身的内容。

导读

这场讲座想回答三个问题

模型变强的底层规律是什么？——缩放定律与它的边际变化
「会推理」为什么成了分水岭？——涌现能力与思维链
智能体和聊天机器人差在哪？——目标、工具、反馈与闭环

缩放定律：把模型越做越大

GPT-3 之后最令人震撼的一点是：只要把规模推上去，模型就会变好。三条曲线同时成立——计算量、数据量、参数量增加，测试损失都会下降。

3.4 亿BERT 参数量

15 亿GPT-2 参数量

1750 亿GPT-3 参数量

5400 亿PaLM 参数量

GPT-4 的参数量据估计已进入万亿量级，模型规模呈现指数级增长。
但这条路在 2024 年前后开始出现接近饱和的迹象——单靠堆参数，收益不再像过去那样线性。

涌现能力：少样本与思维链

零样本 / 少样本：给出任务描述，再给几个例子，模型就能照着模板完成新问题，不必为每个领域单独微调。这让原型验证变得极其容易。
思维链：不只给答案，还把推理过程写出来。模型于是学会「怎么一步步想」，这份能力一直延续到今天的推理模型与思考模型。
关键细节：思维链不是所有模型都吃得下。约 70–80 亿参数的模型几乎无法从中获益，模型够大才会出现明显跃升。

示例：Roger 有 5 个网球，又买了 2 罐、每罐 3 个。推理链写成「2 罐 × 3 个 = 6 个，5 + 6 = 11」，模型便能把这套流程迁移到新题目上。

ChatGPT 为什么不一样：三级跳

2022 年 11 月上线，5 天达到 100 万用户。真正拉开差距的不是单纯放大参数，而是三段训练流程。

预训练

预测下一个 token，喂进互联网与书籍的海量文本。这是「最容易的一步」，模型只是统计式地知道世界的样貌，并不懂对错。

指令微调

用高质量指令与问答对训练，包含思维链式样本，让模型学会理解问题并给出过程。数据质量与覆盖面，直接决定这一阶段的天花板。

RLHF 人类反馈强化学习

让人类对模型的多份回答打分，训练出奖励模型，再用奖励模型去引导模型输出。正确性、有用性、具体性、无害性都可以作为奖励维度加权。

推理成为新的前沿

过去一年半，除了训练，推理阶段本身也成了提升能力的前沿。模型参数不动，只在生成方式上做文章。

受「无限猴子定理」启发的实验项目 Large Language Monkeys：让模型对同一道题反复并行采样，再用验证器挑出正确答案。
采样次数从 1 次加到 10000 次，Llama 3 8B / 70B 这类小模型的解题覆盖率反超单次调用的 GPT-4o。
有些题目，一万个解里可能只有三四个是对的——模型知道的远比它一次说出来的多。
代价是算力成本上升；并行采样对延迟影响相对较小，温度过高则会产生乱码，通常超过 1.2 就不理想。
难点在于验证器：有单元测试这类客观校验就好办，没有验证器的开放任务则困难得多。

推理模型：想得更久，答得更准

OpenAI 在 2024 年 9 月发布 o1 时展示：随测试时计算量增加（对数坐标），在极难数学基准上的 pass@1 准确率稳步上升。
训练时扩展与测试时扩展开始合流：测试阶段生成的大量高质量数据，又能反哺训练，形成自我改进的循环。

推理模型更强

数学计算、数据分析、编程等推理任务，普遍优于非推理模型。

未必更强

个人化写作、文本编辑等任务，并不必然从推理中获益。

推理过程通常包含这些环节：问题分析 → 任务分解 → 自我修正 → 回溯与替代方案。模型会自己说「等等，这里可能有问题」，然后换个思路。

重复采样提升的是覆盖率（pass@k）；推理模型真正学到的，是判断哪一个答案是对的（pass@1）。

从聊天到智能体

聊天机器人有趣，但它不替你完成一件事。智能体拿到了目标之后，会自己规划步骤、与环境交互、根据反馈修正，直至达成目标，或者回来告诉你做不到——中间还有明确的「何时停止」判断。这需要工具调用、记忆，以及验证机制。

▸

提示链

把任务拆成串行的子任务，一步步推进到总目标。

▸

路由

任务复杂就走复杂流程，简单就走简单流程，避免过度调用。

▸

并行化

多个调用同时处理不同关键词或独立子任务，最后聚合结果。

▸

编排器

一个中心模型负责规划，再据此发起后续调用。

▸

评估器与验证器

用模型当裁判，或直接跑单元测试来校验输出——后者在数学、代码等可验证领域尤其有效。

已经跑通的四类场景

编程智能体

用自然语言下指令，就能导航仓库、搜索文件、编辑代码、在终端执行命令，并根据输出决定下一步。代码迁移、版本升级、代码库重构、数据清洗与数仓迁移这类重复性工作最适合外包出去。

客户支持

实时转写留下记录、知识辅助让坐席不必记住一切、智能回复、通话摘要——多个环节都能被模型串起来改善体验。

深度研究

识别该看哪些文献 → 搭出大纲判断相关性 → 逐篇总结 → 合成一篇完整长文，读得可能比人还多。

AI 科学家

参与想法生成、实验迭代、论文撰写。尽管会幻觉，但它能提供跳出既有框架的头脑风暴角度。

课程信息速览

课程网站：seniors3to9a.stanford.edu，讲义通常在每次课前上传。
本季度共 三次作业，占总成绩 50%；项目占另外 50%。
项目可组队 2–4 人，课程提供 API 额度；组队也意味着能跑更多实验。
项目提案约在 10 月初，中期展示需已有实际进展，最终海报展示在 12 月 12 日 16:00–18:00。
通知看 Canvas，提问用 EdStem 并尽量公开，提交走 Gradescope；迟交政策相对宽松，但课程体量大，不设例外。
受认可的项目：新评测数据集或新基准、已有智能体系统的可靠性分析、在现有基准上爬分、质疑并验证某篇论文的设计决策。
不接受的项目：综述论文，或只是拼出来的一个应用。

金句

值得记住的两句话

「模型已经知道的，比你只问一次所能拿到的多得多。」

「训练时扩展和测试时扩展，最终都指向同一件事：让模型学会判断哪一个答案是对的。」

行动

可以立刻用上的五件事

面对难题时，别只问一次。先做多次采样，再挑出最好的那个答案。

追求可靠性之前，先设计验证方式：单元测试、规则校验，或者一个当裁判的模型。

把重复性最高的工作挑出来——代码迁移、数据清洗、版本升级，交给编程智能体。

做研究型项目时，先写下假设、要回答的问题、以及想观察的指标，再动手。

梳理一条你日常中「给目标—拿结果」的完整流程，看看哪里适合让智能体接手。

小结

一句话收束

缩放定律让模型变大，涌现能力让模型会想，推理扩展让模型学会选对——而当模型能被赋予目标、调用工具、接收反馈并自我修正时，它才真正从「会聊天」走向「会干活」。