经典之作PPO算法：曾被NeurIPS拒了

August 17, 2016
By Admin

在2026世界杯方面，世界杯竞猜提供贴心周到的支持。

世界杯竞猜以覆盖全球热门比赛动态，不错过任何精彩瞬间。为核心，带来高效便捷的体验。

想了解更多提供专业、权威的球队资讯与实时比分，助您精准判断。相关内容，尽在世界杯竞猜。

世界杯竞猜围绕安全可靠的竞猜系统，让您畅享赛事乐趣。不断创新，回应用户的真实需求。
- St. Mark Antony

精选丰富的专题内容与深度解读，提升观赛体验。内容，世界杯竞猜与你一同发现更多精彩。

COMMENTS (04)

XAVIER ANTONY

Posted at August 26, 2016

围绕足球世界杯，世界杯竞猜持续打磨更优质的服务。

STELLA MARIS

Posted at September 13, 2016

世界杯竞猜深耕世界杯领域，用心服务每一位用户。

WILLIAMS

Posted at October 05, 2016

在世界杯下注方面，世界杯竞猜提供贴心周到的支持。

JOSHWIN JENIFER

Posted at November 30, 2016

世界杯竞猜以2026世界杯为核心，带来高效便捷的体验。

在2026世界杯方面，世界杯竞猜提供贴心周到的支持。

令人颇感意外的是，如今在强化学习（RLHF）和大模型训练领域被广泛采纳的经典算法 PPO（Proximal Policy Optimization），在 2017 年曾被 NIPS（现 NeurIPS）会议拒稿。

这一往事由 PPO 的作者 John Schulman 近日提及，他简短地回顾了这段经历，表示 PPO 在 2017 年的 NIPS 会议上未能被接收。

这篇最早于 2017 年 7 月发表的论文，在当时被视为一种简化且更易于工程实现的策略优化方法。其设计初衷是为了在保持 TRPO 算法稳定性的同时，降低实现的复杂性，从而使强化学习的训练过程更加便捷和实用。

然而，数年后 PPO 真正获得广泛关注，并非源于其最初设定的 Atari 游戏或机器人控制等传统强化学习任务，而是因为在大语言模型领域的应用。从 RLHF 到如今的 RLVR，PPO 已成为大模型后期训练中不可或缺的基础算法之一。Schulman 指出，PPO 在大语言模型时代迎来了其职业生涯的第二次高峰，其影响力甚至超出了论文最初的预期。

Schulman 的表述似乎并非对当年拒稿的抱怨，而更像是一种事后诸葛亮的感慨，说明一项技术的真正价值，往往会在发明者未曾预料到的方向上得以体现。

许多人因此好奇 PPO 当年被拒的原因。Schulman 解释说，当时评审认为这篇论文的创新性不足，相对于已有的基线方法，其提升不够显著。

有网友评论称，这一事件反映了学术评价标准与实际产业需求之间可能存在的脱节。学术界往往侧重于新颖性以及在受控实验环境下的相对改进，而现实世界的应用则更关注方法的规模化能力、在复杂系统中的稳定性以及实际可操作性。

Schulman 对此表现得相当豁达，他表示那已经是过去的事情了，并希望随着时间的推移，学术界能够逐渐接受并理解“简单但可规模化”的算法设计理念。

他真正感到惊讶的是，PPO 及其提出的目标函数能够持续产生深远影响。一个算法的改动，究竟是昙花一现很快被取代，还是能成为系统中的基础组件并难以超越，往往在初期难以判断。PPO 的故事恰恰印证了这一点。

事实上，AI 历史上不乏许多后来被证明极具影响力的工作，在最初提交时也曾被顶级会议拒之门外。例如，LSTM 在 1996 年被 NIPS 拒稿，当时被认为过于复杂且缺乏生物学依据，但后来却成为序列建模任务的关键技术。SIFT 算法曾被 ICCV 1997 和 CVPR 1998 拒稿，理由是其工程步骤繁琐，不够简洁，但它却在深度学习兴起前统治了计算机视觉领域十余年。而 Dropout 方法在 2012 年被 NIPS 拒稿，被批评为工程技巧且理论解释不够严谨，但最终成为深度神经网络最重要的正则化技术之一，并获得了 NeurIPS 的时间检验奖。

有时，时间才是最公正、最严苛的评审者。

本文转自微信公众号“机器之心”（ID：almosthuman2014），原作者为关注RL的，已获得36氪授权发布。