李飞飞,现在是AI圈内外一个人尽皆知的名字。
她是斯坦福大学终身教授,HAI(以人为本AI研究院)院长,新晋独角兽World Labs创办者,具身智能、空间智能多项前沿AI技术引领者,以及改变深度学习命运的ImageNet的创造者。
她(可能)也是AI领域地位最高的华人,不论是从学术,还是产业影响力,她的门生桃李,正在全面影响着AI的进程,包括她没那么正面评价的“AGI”……很多人关注李飞飞的过去,更多人则期望这个从成都走出的华人女性未来有更大的成功,甚至给了她“AI教母”的称谓。
即便她跟Hinton一样,不是AI“科班出身”。
被物理学迷妹改写的AI进程
李飞飞最开始学习的专业是物理学,她的偶像是爱因斯坦。
在2024年诺奖影响下,物理学和AI之间的关系变得奇妙,但在1995年不是如此。
1990年代,Hinton的反向传播算法为神经网络补全最后一块拼图,LeCun在卷积神经网络上的突破证实演算法能在现实世界中运作。
但是人工智能依旧处于寒冬时代。在计算、数据等方面的制约下,神经网络的能力无法完全释放。
李飞飞与人工智能的第一次直接接触,是大二暑假去UC伯克利分校担任一项实验的项目助理。
这是一项探索大脑运作机制的实验。在去之前,李飞飞一直担心自己没有生物学背景,不能被研究团队所接纳。
但意料之外,这是一项要从计算角度研究大脑的实验。希望通过截取猫大脑的信号,来重建猫看到的影片。最终这项研究被发表在了《神经科学期刊》上。
这为李飞飞人生中几乎最重要的选择埋下伏笔。
1999年,当李飞飞从普林斯顿大学物理系毕业后,面对来自华尔街诸多诱人的offer,在家人的支持下李飞飞遵循本心,选择做科学家。
但是做什么样的科学家?
在UC伯克利的实验让她看到了智能的奥秘,也让她意识到,钻研视觉或许是解开智能奥秘的关键。
因此在硕士阶段,李飞飞奔赴加州理工学院,师从计算机视觉专家Pietro Perona教授和Christof Koch教授,并行研究神经科学和计算机科学。
如果一定要计算,2001年,李飞飞才正式开始学习人工智能。
这时距离她人生中影响力最大的工作——ImageNet被提出,只有5年。
2009年6月,至今仍是世界上最大的图像标记数据集ImageNet发布,让李飞飞和她的团队一跃成为CV领域最耀眼的明星。
简单理解,这是一个精选的互联网图像数据集,共计1500张图片,涵盖22000个概念、对象类别概念。
如此规模与形式,放在当下不足为奇。但是在演算法占据AI领域主导地位的2006年,ImageNet更像是一个怪想法。
一方面,当时的人工智能领域尚处于寒冬之中。演算法是主流方向,大家都在做一些复杂的网络,数据被认为不过是一种训练工具。
如果把机器智能比作生物智能,演算法就像是突触,或者说是大脑里错综复杂的线路。因此,最重要的莫过于使这种线路变得更好、更快、更强大。
另一方面,ImageNet从被提出开始,就是冲着大规模去的。李飞飞从WordNet上找到灵感,参考这个大型词汇数据库,她希望从图像维度建立起一个“人类意义地图”,那么ImageNet将拥有几万个类别。
这个规模放在当时是不可思议的。彼时,一个模型能辨认一、两个类别就已经很了不起了。
这么做有必要吗?用这么多图像训练一个模型要花费多少时间?会有人用吗?以及背后巨大的工作量,给每一张图像加上标注又需要多少时间?
因此,当李飞飞带着ImageNet的想法与同事讨论时,往往孤掌难鸣。
以及这个计划对李飞飞自己的前途也将产生颇多影响。被她尊称为“学术祖父”的Jitendra Malik就曾劝导她,尽管ImageNet是电脑视觉所需要的,但是科学的窍门是跟着领域一起成长,而不是跑在领域的前头。
他说如果我这样做,可能很难获得终身教职。
但从最纯粹的学术角度来看。李飞飞意识到,当时的机器学习有些停滞不前,大家都在做更复杂的模型,却没有足够的数据来驱动机器学习。用更行业内的话来说,泛化上存在问题。
她在自传中写道:生物智能不像演算法那样是被设计出来的,而是演化的结果。而演化不就是环境对生物的影响?现代人类的认知,不是承载了无数代祖先生活、死亡与不断适应的印记?
现在人类能够立刻辨认出一种物体,得益于此前的感官刺激。对应来看,自然图像就是数据。
所幸,这种认知还是有人认同。
在普林斯顿,李飞飞遇到了“第一位知音”——李凯教授。
李凯教授是1980年代的留美高材生,拿到了耶鲁大学全奖录取通知书。师从世界上第一位图灵奖获得者Alan·Perlis,博士毕业后来到普林斯顿大学任教并成为计算机系终身教授,也是当时普林斯顿计算机系教职员工中仅有的华人面孔。
遇见李飞飞时,李凯已是微处理器架构的顶级专家,他擅长把数百万个纳米级电晶体组成全世界最精密的装置,是高效廉洁微处理器与大容量存储装置的先驱。也曾在硅谷创业,研制出世界上首款商用重复数据删除产品,并在后来被易安信收购。
李飞飞自述中说,李凯教授即像她的母亲,很知性;又像她的父亲,很会自我解嘲。是个看上去不苟言笑、衣着朴素,但实则又温暖慷慨的人。
他成为了当时极少数看好李飞飞的人之一。
李教授比大多数人都了解指数思维的威力。他相信我正在追求某个重要目标。
由于所在领域的交集不多等因素,李凯没有直接参与ImageNet计划。但他为李飞飞提供了两项重要帮助:捐赠一组初始工作站;引荐得意门生邓嘉,后来他更为人熟知的身份是ImageNet第一作者。
由此,在2007年的普林斯顿,ImageNet正式启动了。
此后大约3年时间里,李飞飞师徒二人都投身于此。其中面临的困难自不必说,工作量巨大、鲜有人看好、烧钱……
2009年,李飞飞已经带着邓嘉和绝大部分学生来到了西海岸的斯坦福后,ImageNet才终于完成第一版,并在CVPR上正式亮相。
之后为了进一步推广ImageNet,李飞飞开始举办ImageNet挑战赛。这个比赛邀请全球学者通过ImageNet进行对象识别,让不同的算法能够在同一基准下进行比较。
即便如此,ImageNet产生的影响也还很有限。
直到2012年,时间线开始收紧,Hinton与李飞飞的故事终于发生交集。
有一天夜里,邓嘉突然给李飞飞打来电话。一向内敛冷静的学生,语气激动:我们看到了一份与众不同的作品。
这就是AlexNet。
后面的故事开始变得更为人熟知。凭借着惊人的准确率,AlexNet重新证明了神经网络,也开启了人工智能第二轮浪潮。
再后来,Hinton带着Ilya、Alex完成拍卖,自己加入谷歌;Ilya加入OpenAI担任首席科学家,推动了GPT早期版本、DALL·E系列、CodeX、ChatGPT等技术诞生。
变革的齿轮加速转动。
那么,李飞飞呢?
在ImageNet大获成功后,李飞飞的AI之路变得顺畅。
2012年,她拿到斯坦福终身教职,晋升为副教授。于2013年开始领导斯坦福人工智能实验室。
期间,她还利用学术假期加入谷歌云人工智能暨机器学习的中国中心团队。这时是2016年,深度学习革命开启之年。
之后,2017年1月-2018年9月,她出任谷歌副总裁,并兼任谷歌云AI/ML首席科学家。
2018年9月,李飞飞宣布返回斯坦福任教,并任斯坦福以人为本人工智能研究院(HAI)院长,同年晋升为终身教授。
2020年,李飞飞当选为美国国家工程院院士、美国国家医学院院士;2021年当选为美国文理科学院(艺术与科学院)院士;2021年11月当选为IEEE Fellow。
与此同时,从李飞飞实验室走出了数十位学生弟子。他们中诸多人物,亦为AI发展带来深刻影响。
高徒群星闪耀
执教快20年,李飞飞带出了一大批高徒,宛如群星闪耀——
其中我们熟知的,有OpenAI创始成员Andrej Karpathy、英伟达科学家Jim Fan和朱玉可,以及上海交大教授卢策吾、前Google AI中国中心总裁李佳、前阿里自动驾驶掌舵人王刚……
带卡帕西时,当时他正读研二,李飞飞对这位身材欣长、说话速度颇快的学生评价是:
他有工程师般的勇气和毅力,不论是在白板上写满方程式,还是拆解电晶体收音机,对他来说都轻轻松松。
如果说爱因斯坦、波尔是宇宙的梦想家,那么卡帕西属于爱迪生或莱特兄弟一类的人。
她给团队和卡帕西布置的任务是:输入一张图片,最终能自动输出文字说明。
卡帕西第一次交的作业,看起来确实完成了。但是她指出,这项作业主要靠“匹配”已有数据来完成,无法应对新情况,也就是不具备泛化能力。
遭受挫折的卡帕西,整个人瘫倒在座位上。看到他如此,李飞飞还插空提醒:
卡帕西和许多学生都有种常见的问题:一心在意自己的模型是否有效,却忘了去问它为什么有效。
不过好在沮丧过后,卡帕西身上的“工程师特质”开始发挥作用。
虽然这时候没人知道他实际应该如何达成目标,但我知道,他心里那个工程师跟我一样会坚持下去。
他肯定做得到。
果然,他最后成功了……
读博期间,他还亲自设计并主讲了一门名为「CS231n:用于视觉识别的卷积神经网络」的课程,成为斯坦福授课深度学习的讲师。
这门课一直广受好评,非常火爆。
拿到博士后,卡帕西面对多种职业选择(当时普林斯顿大学愿意直接给他一个位子),最终却选择跳出学术界,毅然加入当时还名不见经传的OpenAI。
对此李飞飞还劝了一番,不过卡帕西一心认准了OpenAI:
这真的跟其他地方都不一样。
后来的事大家都很熟悉了,他曾二进二出OpenAI,看起来颇有量子纠缠内味儿了(doge)。
2016年,他作为研究员加入OpenAI(也是联合创始人),领导早期GPT系列、Dall·E系列以及ChatGPT等模型开发。工作1年零6个月后,被马斯克挖去了特斯拉,领导自动驾驶的计算机视觉团队。
而特斯拉也在卡帕西和另一位负责硬件的Pete Bannon领导下,最终推出了FSD。
直到2023年2月,他再次回归OpenAI,当时Sam Altman还发推表示欢迎。在近1年时间里,他建立了一个小团队,负责改进GPT-4,然后就又离职了……
而他的下一站,也是创业。
今年7月,他宣布创办Eureka Labs,一家AI原生的新型学校。
其首个产品,也是首门课程LLM101n(老本行了)。
手把手带你构建一个类似ChatGPT的故事生成大模型,以及配套的Web应用程序。
除了卡帕西,李飞飞的自传新书中,斯隆奖得主邓嘉更是被多次提及。
邓嘉于2006年本科毕业于清华大学计算机系,随后赴美国普林斯顿大学师从李凯教授攻读博士学位。
2007年,他被导师李凯推荐给李飞飞,辅助ImageNet的研究。
2009年,当ImageNet发表时,邓嘉为第一作者。
对于邓嘉,李飞飞评价他含蓄内敛:
从来没有见过头脑这么好,却完全不露锋芒的人。
直到2017年李飞飞宣布停办ImageNet之前,邓嘉一直在帮忙运营ImageNet项目。
博士毕业后(2012年毕业),他于2014年开始担任密歇根大学计算机科学与工程系助理教授。
仅干了4年,他又回到了普林斯顿大学。目前是该校计算机科学副教授,领导普林斯顿视觉与学习实验室。
值得一提的是,他还获得过2018年斯隆研究奖 (Sloan Research Fellowships)。
该奖代表了当今(美国和加拿大地区)最有前途的科学研究人员,自1955年设立以来诞生过众多诺贝尔、菲尔兹奖获得者。
当然了,在李飞飞执教早期,还有两位学生不得不提:前Google AI中国中心总裁李佳、前阿里自动驾驶掌舵人王刚。
李佳,1998年进入中国科大自动化系学习,曾获得新加坡南洋理工大学硕士学位。
2016-2010年,李佳师从李飞飞攻读博士,在此期间还有一段师徒佳话。
因为李飞飞先后在UIUC、普林斯顿和斯坦福任教,所以李佳也跟着3换学校、3考博士(每一次都成功了),是李飞飞最自豪的学生。
毕业后,她于2011年加入雅虎,两三年后成为资深研究员,开始领导雅虎实验室的视觉计算和机器学习部门。在此期间,她获得LEAP、Master Inventor等公司内部奖项,并获得雅虎公司最高奖Super Star奖。
2015年2月,她新加入了Snapchat,成为公司研发负责人,职责是开发核心CV/AI技术并为产品提供创新支持。
此时的Snapchat,已明确了IPO计划,一旦成功,将是Facebook上市以来,美国科技公司最大的一桩。
按理说没有人会在此时选择离开。
但导师李飞飞一召唤,李佳就在2016年9月离职了,师徒二人前后脚加盟谷歌。
谷歌期间,她们发布了多个AutoML新产品和Contact Center AI集虚拟助理,并推动谷歌AI中国中心建立。李佳也出任谷歌AI中国中心总裁,帮助提升谷歌在中国的影响力。
结束在谷歌的使命后,师徒二人再次前后脚离职,中间仅相隔50天。
这一边,李飞飞重返斯坦福,而李佳则考虑在AI方向上创业。
她先是在StartX担任联创&创始CEO,为斯坦福校友的创业活动提供非营利“加速”支持。
同时也在斯坦福教授AI医疗方面的课程,课程全名《AI助力医疗保健》——
主要运用计算机视觉等AI技术,解决当前医疗保健行业的问题,比如家庭护理、外科辅助分析、AI辅助育儿、烧伤评估等等。
最新情况是,她选择了面向企业的“AI解决方案”这条创业路线。
2023年3月,联合创立LiveX AI,为企业提供聊天机器人、AI搜索、语音智能体等各类产品,帮助企业增加付费转化并降低客户流失率。
这下,师徒二人又都走上了创业之路,看起来依旧默契十足(doge)。
另一位学生王刚,身上也是buff叠满:南洋理工大学终身教授、阿里无人车的开创者、达摩院自动驾驶实验室负责人、小蛮驴物流机器人之父……
王刚,2005年本科毕业于哈尔滨工业大学,其后于2010年在伊利诺伊大学香槟分校获博士学位,读博期间的导师正是李飞飞。
28岁博士毕业时,他已手握10篇顶会论文,引用量过千,是AI领域的新生代代表。
2017年加盟阿里前,34岁的王刚已是南洋理工大学的终身教授。
加盟阿里后,王刚出任阿里巴巴人工智能实验室首席科学家,后成为达摩院自动驾驶实验室负责人。
他在阿里内部率先开启了自动驾驶探索,并确定了商用落地业务方向——完全无人驾驶的物流机器人。
阿里由此成立小蛮驴智能科技,王刚出任总经理。在2020年云栖大会上,小蛮驴正式对外亮相,进入量产和商用运营阶段,这是达摩院成立以来,最具感知力和话题性的创新产品之一。
2022年1月,王刚被曝离职阿里,开启创业。其创办的新生纪智能科技,方向为有大模型加持的商用清洁机器人。
据天眼查显示,这家公司今年进行了2轮融资,投资方包括天堂硅谷、普华资本和柏泉资本。
除了自动驾驶,AI领域的另一大热门——具身智能,也有李飞飞高徒的身影。
上海交大教授卢策吾,2015-2016博士后期间,指导导师也是李飞飞。
2013年,他获得了港中文大学计算机博士学位,导师为贾佳亚。
随后又在香港科技大学,跟着邓智强教授做了2年博士后研究。
2015年,他拿到了李飞飞的推荐信,并最终受邀加入李飞飞实验室继续攻读博士后。
当时正处于具身智能萌芽期,李飞飞和学生们正讨论开始研究机器人。
在这期间,卢策吾认识了同门朱玉可。
朱玉可,2013年本科毕业于浙江大学计算机系,随后在斯坦福攻读硕博学位。
加入李飞飞组后,朱玉可最初做的是视觉知识库,2015年才和卢策吾一起转机器人。
后来二人在机器人领域均大有成就。
卢策吾回国后加入上海交大计算机系,目前是该校教授。
2018年,他被《麻省理工科技评论》选为“35岁以下科技创新35人”,且基于其在具身智能领域的杰出贡献,获得了2023年科学探索奖。
截至目前,他以通讯作者或第一作者在Nature、Nature Machine Intelligence、TPAMI等高水平期刊和会议发表论文100多篇。
除了学术研究,他还横跨产业界:于2023年联合创立了穹彻智能(兼首席科学家),致力于研发具身智能系统及其相关工具与平台。
最新消息,就在今年9月,这家公司完成了数亿元Pre-A轮融资。
此轮融资由Prosperity7 Ventures与广发信德联合领投,泽羽资本、创新工场、奇绩创坛、璞跃中国(Plug and Play China)以及MFund魔量资本等机构参投。
而朱玉可,2019年8月取得斯坦福大学博士学位后,目前也是产学两开花:
一边在德克萨斯大学奥斯汀分校担任计算机科学系助理教授,也是机器人感知与学习(RPL)实验室主任;
一边和另一同门Jim Fan(范麟熙)共同领导英伟达GEAR实验室(研究通用具身智能体)。
没错,英伟达科学家Jim Fan也是李飞飞的学生。
Jim Fan,本科毕业于哥伦比亚大学,是当年的优秀毕业生代表,获哥大Illig Medal。
2016-2021年,他在斯坦福大学读博期间,就是在李飞飞的指导下开展深度强化学习、机器人学、CV等领域的研究。
有意思的是,期间他还成为了OpenAI第一位实习生(与Ilya Sutskever和Andrej Karpathy合作)。
一毕业,他就加入英伟达,一路干到高级研究科学家,期间主导了多个具身智能项目:
- Eureka:用GPT-4生成奖励函数,教会机器人完成三十多个复杂任务,被评为“2023年英伟达十大项目”之一;
- Voyager:第一个由大模型驱动,能熟练玩《我的世界》的智能体;
- VIMA:第一个带有机械臂的多模态LLM,为机器人学习引入了“多模态提示”;
- MineDojo:将《我的世界》变成AGI研究游乐场的开放框架,斩获了NeurIPS 2022最佳论文;
直到今年2月,老黄安排他和朱玉可(两位90后)共同负责GEAR实验室。
至此,可以看出李飞飞高徒遍布AI各领域,且都有一股创业精神。
而李飞飞本人,也在今年9月正式官宣创办World Labs,瞄准空间智能。
这家公司成立不到4个月时间,估值已突破10亿美元。
有意思的是,这家公司的联合创始人之一也是李飞飞高徒。
Justin Johnson,本科就读于加州理工,后于斯坦福大学获得计算机博士学位。
读博期间,他和卡帕西还是论文搭子,两人一起在斯坦福度过了一段同门时光。
同时,他和李飞飞一起构思了初版cs231n,并在2016-2019年间,成为这门课的主要讲师之一。
毕业之后,他获得了密歇根大学的教职,担任计算机科学与工程专业助理教授。
同一时间还曾是Meta FAIR的研究科学家。
除此之外,通过查看斯坦福视觉实验室人员名单,我们还发现了更多华人面孔。
De-An Huang(黃德安),2020年获得了斯坦福大学计算机科学博士学位,师从李飞飞和Juan Carlos Niebles。
硕士毕业于卡内基梅隆大学机器人专业。
读博期间,曾在微软、Facebook和英伟达实习,毕业至今,一直在英伟达担任研究科学家。
Alan Zelun Luo,目前是斯坦福大学计算机科学系五年级博士生。
本科就读于伊利诺伊大学香槟分校计算机专业,后赴斯坦福大学攻读硕博。
虽然还没毕业,但实习经历颇丰,曾在Nvidia、Facebook、Google、Amazon、Yahoo等机构实习。
Yanan Sui(眭亚楠),目前是清华大学副教授,研究领域为机器学习、神经工程和机器人。
2010年本科毕业于清华生物医学工程专业,后在加州理工攻读计算机和神经系统博士、博士后。
2020年,他被MIT TechReview列为中国“35岁以下创新者之一”,目前任国际会议NeurIPS、ICLR领域主席、期刊《生物医学工程学杂志》编委。
Serena Yeung,目前是斯坦福大学助理教授,研究重点为视觉AI在医疗保健方面的应用。
她领导着该校医学人工智能和计算机视觉实验室(MARVL),并担任医学与影像人工智能中心 (AIMI) 数据科学副主任。
从2006年开始,本硕博均为斯坦福大学电气工程专业,还去哈佛大学做了1年博士后。
One more thing
在自传中,李飞飞提到,一直以来她都对科学的力量保持乐观态度。
但是这几年的风风雨雨告诉我,守株待兔无法获得乐观主义的果实。
未来确实光明璀璨,但不是靠运气,而是必须一起透过努力、付出心血才能得到的——只不过我们还不清楚要怎么做。
这一定程度上解释了为何在大模型浪潮饱受热议时,李飞飞选择开启首次创业。
当然,这可能与这位成都女生身上始终的爱智求真追求息息相关。
在她今年出版的第一本自传《我看见的世界》中,她完完整整讲述了自己从一个成都七中女生辗转美国,一度需要在洗衣店打工补贴家用,最后站上AI时代浪潮之巅的过程,解释了始终指引她前行的“北极星”。
这本传记成为了外界更了解她的一扇窗,同时也看到了更多AI复兴前后的趣闻往事,以及,李飞飞背后了不起的中国父亲母亲。
如果你想了解更多,不妨直接通过《我看见的世界》认识李飞飞。