新智元报道
编辑:桃子 乔杨
【新智元导读】o1诞生,对于OpenAI团队来说,是最具革命性的时刻。在22分钟完整版采访视频中,他们分享了自己对新模型的思考,以及背后的开发故事。
OpenAI o1团队采访的完整版视频,终于上线了!
全程22分钟,o1研发团队在项目Bob McGrew组织下,一起分享了「啊哈」时刻。
有的人提到,全新o1模型相当于多个博士「合体」而成,往往比人类表现更好。还有的人称,o1发布之后,明显感受到了AGI到来。
「当模型在数学、编码、围棋、国际象棋等领域的表现超过人类时,AGI的未来变得更加明朗」。
来自艾伦研究所的科学家Nathan Lambert对这个视频,做了一个精彩亮点的总结。
一共有8点:
1 强化学习加持的o1,比人类更善于发现新的CoT推理步骤
2 自我批评的涌现,是o1最强有力的时刻
3 让o1「超时」前完成回答,然后突然有了「啊哈」时刻
4 scaling参数规模的挑战,以及继续沿着强化学习算法进步之路
5 许多人提到,相对于算法而言,基础设施显得多么重要
6 通过规划、纠错,o1能够解决世界上的新问题
7 新的训练范式是一种全新的方法,可以将更多的算力投入到模型中
8 o1编写代码时,当其输出要使用的代码时,需要通过单元测试
接下来,具体来看下o1模型背后的故事。
强化学习+思考,o1开启新范式
o1作为OpenAI全新系列,与GPT模型最大不同,就在于推理。
它本质上,是一个推理模型,也就是会比以往「思考」得更多。
在OpenAI研究人员看来,「思考」就是推理的一种最直观的方式。
有时候,当被问及意大利首都是什么问题时,我们几乎不用思考,即刻就能得出答案。但有时候,涉及商业企划书、写小说等人物时,便需要长时间的思考过程。
毋庸置疑,思考时间越久,结果就越好。
因此,推理是将思考时间,转化为最优结果的能力。
用Mark Chen的话来说,推理是一种「原语」,是实现任何可靠思考过程的必经之路。
关于推理的研究,OpenAI内部其实很早就开始了。成立初期,他们看到了AlphaGo通过RL算法战胜人类的潜力,并进行了大量的研究。
比如,他们曾在2016年开放游戏测试平台「Universe」,是一个训练AI通用智能水平的开源平台。
2018年打造出名为OpenAI Five的游戏AI,成功击败了两届DOTA2国际邀请赛的世界冠军OG战队。
与此同时,数据和机器人领域,取得了重大的scaling进展。
OpenAI团队便开始思考:如何在通用领域做到强化学习,实现一个非常有力的AI?
那便是,GPT系列开启的全新范式。它在扩展无监督学习方面,取得了惊人的成果。
而且,也就是从那时起,研究人员便开始探索,如何将这两种范式相结合——强化学习和无监督学习。
研究人员称,这项努力开始的确切时间点,很难说,但这件事已经进行了很长时间。
「啊哈」时刻
在视频中,有人表示,自己觉得研究中最酷的就是那个「啊哈」时刻了。
在某个特定的时间点,研究发生了意想不到的突破,一切忽然就变得很明了,仿佛顿悟一般灵光乍现。
所以,团队成员们分别经历了怎样的「啊哈」时刻呢?
有人说,他感觉到在训练模型的过程中,有一个关键的时刻,就是当他们投入了比以前更多的算力,首次生成了非常连贯的CoT。
就在这一刻,所有人都惊喜交加:很明显,这个模型跟以前的有着明显的区别。
还有人表示,当考虑到训练一个具备推理能力的模型时,首先会想到的,是让人类记录其思维过程,据此进行训练。
对他来说,啊哈时刻就是当他发现通过强化学习训练模型生成、优化CoT,效果甚至比人类写的CoT还好的那一刻。
这一时刻表明,我们可以通过这种方式扩展和探索模型的推理能力。
这一位研究者说,自己一直在努力提升模型解决数学问题的能力。
让他很沮丧的是,每次生成结果后,模型似乎从不质疑自己做错了什么。
然而,当训练其中一个早期的o1模型时,他们惊奇地发现,模型在数学测试中的得分忽然有了显著提升。
而且,研究者们可以看到模型的研究过程了——它开始自我反思、质疑自己。
他惊叹道:我们终于做出了不一样的东西!
这种感受极其强烈,那一瞬间,仿佛所有东西都汇聚到了一起。
还有一位研究人员表示,当你要求模型在「超时」前,完成思考,过程非常有趣。
这就像自己在参加数学竞赛一样,任何思考都是有时限的。
他表示,这也是自己进入AI领域主要原因,而现在,对于自己来说,也算是实现了「闭环」时刻。
另外,o1模型让人惊艳的是,在推动科学发现和工程进步,有巨大的帮助。
对于很多人而言,AGI似乎是一个很抽象、很遥不可及的概念,直到亲眼看见AI在人类擅长的事情上做得更好,才能相信AGI的到来。
对专业的国际象棋和围棋手而言,IBM的Deep Blue,以及DeepMind AlphaGo和AlphaZero,让他们早在几年前就意识到了这一点。
而对OpenAI的这群擅长数学和编码的科学家,o1模型就有类似的意义。更有趣的是,他们的工作相当于是亲手制造了一个可以碾压自己能力的AI。
项目中,遇到哪些困难?
关于过程中遇到的障碍,研究人员们直接表示,训练LLM从根本上来讲就是一件非常困难的事情。
类似于从地球发射一枚飞往月球的火箭,成功的路只有很窄的一条,但有数不清的失败之路,稍微偏离一个角度就无法到达目标。
训练过程出问题的方式可以有上千种,即使在这群才华横溢的研究科学家们手中,每轮训练也会遇到数百个问题。
此外,随着模型变得越来越智能,比如像o1一样相当于手握几个phd学位的人类,评估也变得越发困难。
有时,他们需要花很长的时间来确定模型做的事情是否正确,而且最后很多常用的行业基准也趋于饱和,需要重新找到适合o1能力的基准测试。
除了模型的开发历程,研究人员们还被问到了自己最喜欢的o1模型用例。
Hyung Won Chung表示,o1可以成为很好的编码助手。
他自己在工作时通常遵循TDD(Test-Driven Development)的开发方式,有了o1的帮助可以免去自己编写单元测试的工作,而是直接指定需求,让模型自动编写。
此外,遇到的报错信息也可以直接扔给o1,虽然有时不能直接解决问题,但它可以比编译器提出一个更好的问题,帮助你解决错误。
Jason Wei则表示,自己经常把o1当成头脑风暴的伙伴,而且可以讨论的问题范围相当之广,大到如何解决一个机器学习问题,小到如何起草一篇博客或推文。
他今年5月撰写的一篇关于LLM评估的博客,就借鉴了o1的意见,比如文章的结构、各种评估基准的优缺点以及行文风格等等方面。
在OpenAI工作是一种什么样的体验?
关于这个问题,很多人都谈到了大家的聪明才智,以及团队氛围的融洽。
比如自己吭哧吭哧调试了一周的代码,被路过的同事瞬间解决了;每天和极其聪明的同事共处,让自己逐渐变得谦卑。
Mark Chen形容「草莓」项目是一个非常「有机」(organic)的项目,因为在专业问题上大家都有自己的看法和主见,都有满怀热情想要推动的想法。
当这些想法聚集在一起,就会迸发出火花,像滚雪球一样越滚越大。
然而,有主见的另一面,就是所有人都很坚持自己的看法,但并不固执。如果看到反驳自己主张的客观结果,他们也会随之改变想法。
更值得赞叹的是,这群绝顶聪明的人,同时也很nice,乐于帮助别人解决问题,同事之间一起吃饭、一起出去玩,让采访中的很多研究者都直言,「在这里工作是非常好的经历」。
o1-mini背后的故事
o1-mini发布的动机是,为更多研究人员提供预算较低,但推理能力依旧很强的模型。
它可以称得上是「推理专家」,比以往OpenAI最佳模型还要聪明。
而且,成本和延迟都非常低。
或许,它可能不一定知道一位名人,以其出生日期,但确具备了如何进行有效推理,和大量智慧的能力。
OpenAI研究人员表示,将进一步改进算法,使之能够媲美最好的小模型。
除此之外,全世界的研究人员一直以来,都在投入更多的计算和硬件,使得模型成本在很长一段时间内,呈指数级下降。
然而,一个缺陷是,我们没有去花费更多时间,寻找一种新的方法扭转局面。
o1新范式,便是我们的发现——推理scaling,也能很好优化算力效率。
做研究的动力是什么?
这批「智慧大脑」能够聚在一起,究竟是什么原因,激励着他们去做研究?
一位研究人员称,一想到自己通过不同方式,让模型实现推理,这个过程简直太迷人了。
还有人表示,「好事多磨」。
o1能够回答如此神速,这是朝着能够长时间思考问题的模型,迈出的第一步。未来,还将需要进行数月、甚至数年的研究,让其迈向下一个征程。
「一想到我们少数人能够产生改变世界的影响,就非常兴奋,有意义」。
最抓人的一点是,新范式解锁了模型以前无法完成的任务,这不仅仅是回答某些查询,而实际上已经通过规划、纠正错误,泛化出新的能力。
甚至,o1能够产生新的知识,对于科学发现来说,这是最令人兴奋的部分。
研究者表示,在短时间内,模型将成为自身发展,越来越强大的贡献者。
最后,当o1负责人问道,「还有什么其他观察值得一提吗」?
Jason Wei分享道,「一个有趣的观察是,每个训练出来的模型都略有不同,有自己的怪癖,就像一件手工艺品。这种独特性为每个模型增添了一丝个性之处」。
完整版视频如下:
参考资料:
https://x.com/OpenAI/status/1837194684428345474