Agent Infra · 隐秘战场

导读

嘉宾：王彦鹏 · 百度智能云 AI 计算首席科学家
对话主持：施杰

我们正站在从模型时代到 Agent 时代的过渡期。基础设施正在发生什么变化？中国与硅谷有何不同趋势？为什么说这是工程师最好的时代？本文试图拆解 Agent Infra 的底层逻辑。

核心洞察 KEY INSIGHTS

“模型的能力边界在哪里，
就决定了你最终的那个基建。”

—— Agent 时代的基建边界，由模型能力的版图牵引

三个阶段论：AI 的应用演进

Chat 阶段
模型能帮人获取信息、解决生活中的问题。

Agent 阶段
模型能帮助完成真实世界的任务，但还停留在 demo 层面。

生产阶段（尚未到达）
需要进入严肃任务的环节，成为稳定运行的线上系统。当前 agent 可用但不够好用、不够安全放心。

核心判断：Agent 能够替代岗位、形成新组织工作流——这件事一定会发生。但目前尚未到“蓬勃”的临界点。

“拿现在的 agent 去做 demo 很容易，但做一个线上系统（稳定、覆盖边界条件、可放心用）会发现大家还比较少。”

基建之变 WHY INFRA SHIFTS

CPU 时代 → GPU 时代

CPU 是“能跑任何应用的芯片”，通用性极强；而 GPU “极大的释放了算力，却牺牲了通用性”。

因此，原本纯软件的 Infra 转变为软硬一体的 Infra。这要求 Infra 从业者从芯片体系结构开始理解。

"原来的 AI Infra 软件是主角，现在的 AI Infra 以 GPU 为核心构建——从偏软件走向软硬一体。"

Agent 对 Infra 的冲击

完成一个真实任务，意味着人操作的所有基础设施与软件，都要被 AI 使用。对 Infra 产生三个层面的挑战：

算力支持更多元化的芯片。国内需在多芯、异构环境下把性能发挥出来。消耗的 token 大量增加，单位 token 成本成为主线。

网络 “超节点”将片内高速总线扩展到集群级，通信带宽提升 10~100 倍。这个趋势在 Agent 时代之前就存在，并非因 Agent 而改变范式。

存储上下文从短对话变为超长上下文，高端内存（HBM）需求陡增。存储行业周期长，扩产周期约 2 年，加剧供需缺口。

Agent 时代的核心特征：上下文特别长，输入输出 token 消耗爆炸。先训练出模型，再进入多轮迭代的 Agent 执行，每一次迭代都在消耗模型的输入与输出。模型趋势已支持到百万级（1M）上下文。

一个关键观察：CPU 消耗量是 Agent 落地的信号

人用的系统是 CPU 架构，Agent 也是。当 Agent 真正大量在真实环境中执行任务时，CPU 的消耗会大幅增加。“不要老是思考，调用工具的指标和 CPU 是强关联关系”——如果 CPU 消耗量大增，说明 Agent 在生产环境有了高速落地。

范式进化 PARADIGM EVOLUTION

从 Claude Code 到 Agent OS

Agent 设计的三件套：主循环 Loop + 工具调用 + Memory 系统。

OpenAI 的 Codex 等 coding 产品跑通了这套范式：大模型自主驱动下一步行动、调用工具、积累结果。

Claude Code 把这套范式产品化了，引发了程序员的“震撼”。而 OpenAI o1（"Open Cloud" 指代） 的价值在于 —— 让不懂技术的人都感受到了：

“AI 是可以成为一个人的。”
它可以像人一样完成所有任务，不再局限于 coding，而是全场景 + 能力提取 + 泛化任务。

而第二波爆火的产品（可理解为 Claude 系后续）在“自动进化 skills”上做了加强：定期反思、清洗无效 skill、沉淀有效经验——让 Agent 越用越聪明。

下一代基建=操作系统?

判断：大模型不是一切，而是类似“OS + 大脑”的存在。

大模型吸收的是思维方式与工作范式；但每一项具体任务，有自己的 workflow、记忆、踩坑记录、数据和专业 skill——这些将沉淀在各种 Agent 系统之上。

因此，Agent 不会收敛到少数几个，而是会越来越多，形成庞大的生态。生产力井喷的前提就是：Agent 的边界趋于清晰，底层平台足够稳健。

“像一个青春期的孩子不停在长身体，
你没办法为他量身定做一套合身的衣服。”

—— 底层技术仍在快速迭代，Infra 难以过早定型

巨头路径 BIG TECH STRATEGIES

为什么巨头都在做垂直整合？

AI 时代，算力就是生产资源。从软件到硬件再到上游，越往下越重资产。芯片要流片，算力需要电力，电力要建发电站。中美竞争最终都在谈电力，因为算力=电力。

凡是模型为核心的玩家（Google、OpenAI、Anthropic、NVIDIA），都在试图做垂直整合。但真正的难点是：“我今天的模型定义这颗芯片，两年半之后这颗芯片出来，模型需求可能已经变了。”

几大路径

Google 垂直整合派：TPU + 自研系统 + 自研模型 + 全栈协同，持续 10 年积累。Gemini 3 出来之前备受质疑，但深厚的全栈能力让它保持在第一梯队。

OpenAI 生态平台派：从骨子里想做生态型公司，曾用 GPT Store 对标 App Store。对算力高度重视，采取“自己掌握生产资源”的战略，投入星际之门等重大项目，与博通合作定制芯片。

Anthropic 聚焦高价值任务派：Claude Code 目前领先。聚焦 Coding 这个高价值入口——因为 Coding 是 Agent 时代的高价值底层能力。不自研芯片，采用轻资产生态合作模式，与云厂商（亚马逊、Google 等）绑定算力供给。

NVIDIA：系统公司

它早已不是一家芯片公司，而是系统公司：软件栈（CUDA）+ 互联 + 网络 + 存储 + 超节点整机柜 + 模型优化 + 算子库，构建了庞大的系统壁垒。最先进的模型都运行在它定义的系统之上，形成闭环生态。

它收购 Groq（LPU）的目的之一是在推理系统上做出更大变化。另一个重要信号是其自研 CPU 的推出——为 Agent 时代更高频的 CPU 负载做准备。

“你的模型是在我的系统上做出来的，由不得你去定义系统。”——这是 NVIDIA 强大的核心原因，也是创业公司很难绕开它的原因。

推理系统：巨头的下一站

训练系统比较难打破 NVIDIA 的生态；但推理系统存在窗口——模型已训练好后再做边缘优化，场景更确定。包括自研推理芯片、混合推理方案、更高效的推理 Infra 等，都是创业公司和巨头在发力的方向。

Agent Infra 拆解 STRUCTURE

运行时沙箱环境，快速启停，安全边界清晰。

编排把记忆系统、沙箱执行系统、大模型思考系统编排在一起，稳定、高效、可复现。

记忆存储和抽取信息；是否能成为“新时代的数据库”仍在探索期，尚未定型。

目前行业产品化方向：记忆存储 Infra（如 Pikong）、运行时环境、记忆抽取、自动工具调用、结果可复现等。

指标变革 NEW METRICS

OpenAI 等过去追求 DAU，现在转向 token 消耗量；但 token 很快会被“玩坏”——为了消耗而消耗没有价值。

百度提出新指标：DAA — Daily Active Agents，衡量的是真实完成的任务及其产生的价值总数。

DAA 每日活跃 Agent 数 × 任务价值

token效率 单位 token 成本能否持续下降

从“卖水”逻辑转向“创造真实价值”逻辑

中国 Infra 的路径

芯片生态更分散，需支持国产多芯适配。但中国开源生态远领先于美国，开源让模型架构走得更透明，芯片设计有更清晰的方向，有望走出一条自己的路径。

“在有更多芯片、更开放模型开源的背景下，中国 Infra 会走出自己的路，也能实现更低的 token 成本。”

“现在是 Infra 的探险乐园时代。”

做工程的人，传统上被分为做算法和做工程两类；而在 Transformers 之后，算法也在以工程化方式实现。这是一个属于工程师的时代。

行动启示 WHAT TO WATCH

观察未来的关键信号

推理系统：是否出现真正能挑战 NVIDIA 推理主导权的玩家或路径
Agent 运行时安全与确定性：能否做到可复现、可靠、大规模运行
CPU 消耗量：或许是最直接的 Agent 落地指标
开源生态与芯片适配：中国路径的核心变量
Memory 系统：是否成为 AI 时代的“新数据库”

由 CuteNote.app 颜值笔记生成

Agent Infra隐秘战场

Agent Infra
隐秘战场