Dwarkesh Patel：下一代AI，可能是干活干出来的 - 世界杯赛程

硅谷知名播客主持人 Dwarkesh Patel 近期提出了一个关于人工智能下一代训练范式的问题。这位年仅 25 岁的播客主持人和写作者，凭借其 Dwarkesh Podcast 迅速在 AI 领域崭露头角，采访了 Ilya Sutskever、Andrej Karpathy 等多位行业领袖，并被 TIME 杂志列入 2024 年 TIME100 AI 名单。

在最新一期的播客中，Patel 总结了当前前沿 AI 实验室普遍采用的训练路线，即“可验证奖励强化学习”（RLVR）。简而言之，RLVR 旨在通过让模型在大量能够自动判断对错的任务中反复试错，来培养其规划、纠错、迭代及长期执行的能力。当前代码和数学等领域的显著进展，很大程度上便得益于此思路。

然而，Dwarkesh Patel 深入探讨的是，仅依靠这种“可验证任务训练”是否足以支撑下一代 AI 的发展。他认为，仅仅“可验证”是不够的，任务还必须具备“可刷性”，即“可反复练习性”或“可大规模部署能力”。代码和数学任务便是典型的“可刷”范例，它们易于复制训练环境，允许大规模并行试错。

Patel 进一步提出疑问：为何 AI 在“使用电脑”这一任务上的进展相对缓慢？尽管电脑操作的结果（如订单是否成功、场地是否预订）可以验证，但其大规模复制和回放的难度较大，真实网站的限制和高昂的模拟器开发成本阻碍了其成为 RLVR 的理想训练场。他指出，AI 在特定领域进步神速，不仅因为结果可验证，更在于这些领域能被封装成可复制、可回放、可并行试错的训练环境。

Patel 将讨论引向更复杂的现实世界任务，如创业、赢得官司、市场盈利或赢得选举。这些任务虽有最终结果可判断，但反馈周期长、变量多、环境不可重置且难以在数据中心大规模复制。这类环境在强化学习中属于“不可重置、非平稳”的范畴。因此，他质疑 RLVR 训练出的智能体能否有效泛化到这些真实世界场景。

尽管乐观者认为，充足且复杂的 RLVR 环境能使模型习得通用智能体能力，并迁移至更广泛的领域，但 Patel 对此持保留态度。他强调，现实世界中最有价值的知识往往是非结构化、难以验证和重复的，例如模糊的客户反馈或组织内部的隐性流程。模型要掌握这些，需要更高的样本效率，而不仅仅是“刷题”。

这引出了他认为下一代训练范式必须解决的核心问题：“将学习重新写回权重”（learning back to the weights）。当前大模型擅长“上下文学习”，能在一次对话中适应需求，但这种学习往往停留在临时性。Patel 认为，模型在真实部署中与用户互动、参与真实任务时产生的经验，才是最有价值的训练信号。如果这些经验无法沉淀为模型权重的长期能力，那么仅是短暂的适应，而非真正的能力增长。

他以人类学习为例，指出员工的成长并非源于对琐事的记忆，而是通过经验提炼出判断力、直觉和流程理解。模型也应如此，实现真正的持续学习，即从真实经验中提取关键知识并压缩进权重，而非简单扩大上下文窗口。

为此，他提出了两个潜在方向。一是“同步自蒸馏”（on-policy self-distillation, OPSD），让已在长对话中积累经验的模型充当“教师”，训练基础模型在无完整上下文的情况下也能做出类似判断，将一次真实任务中学到的东西蒸馏回模型权重。这不同于普通 SFT，它侧重提炼关键洞见而非复述细节，且不一定需要外部可验证奖励。

二是“梦境模拟”（dreaming），即 AI 根据真实世界观察构建模拟环境，并在其中反复练习和强化有效行为。这类似于模型基强化学习，但置于大模型和真实部署的语境下。例如，AI 在观察公司业务流程后，自行构造该流程的“游戏版模拟环境”，并在其中测试不同策略，然后将学到的经验压缩回模型。

Patel 设想，这可能成为 AI 扩展的第四条轴线——“测试时训练”（test-time training），或称“梦境”。模型在推理和任务执行过程中，为特定用户或项目构建模拟环境并自我训练。这与 David Silver 和 Richard Sutton 提出的“从与环境互动中获取经验”的观点不谋而合。

他预测，到 2027 或 2028 年，训练流程可能演变为：首先，通过 RLVR 训练出基本能力的 agent；接着，该 agent 被部署到真实世界进行工作，与用户连续互动，参与非原始训练分布的项目；一周后，用户反馈将促使模型将所学经验（通过 OPSD 或 dreaming 等技术）蒸馏回基础模型。

若此路径成功，AI 的能力边界将不再局限于最初的“可验证任务”。通过 RLVR 掌握基础技能，再通过真实部署学习复杂协作，AI 将能不断扩展到相邻领域。AI 能力提升的主要来源也将从发布前的训练，转向发布后的持续学习。每一次与用户的交互、每一次真实项目的执行、每一次失败与修正，都可能成为下一轮能力提升的素材。

因此，Dwarkesh Patel 所述的“下一代训练范式”，并非仅仅追求更大的模型或更多的数据，而是指向 AI 从“发布前训练”走向“发布后学习”，从“人类数据”转向“环境经验”，从“上下文中的临时适应”迈向“权重中的长期能力”。未来最重要的 AI 训练数据，将不再仅仅是互联网文本或实验室任务，而是 AI 在真实世界中完成任务时自身积累的宝贵经验。