文章转载于新智元
创业一年半后,前谷歌大脑高级研究科学家、Reka首席科学家兼联合创始人Yi Tay宣布已重返谷歌!
他回到了谷歌DeepMind,回到了他的前经理Quoc Le手下工作,职位为高级资深研究科学家,继续从事人工智能和大语言模型(LLM)的研究。
这是他回归的第一周。
在他创立Reka的1年9个月里,Yi Tay说他经历了非常激动人心的时光,并从这段全新的经历中学到了很多。
他还写了一篇博客,分享了他的经历和这次转型——
博客地址:https://www.yitay.net/blog/returning-to-google-deepmind
1
在Reka的639天
在Reka的时光里,Yi Tay学到了很多关于谷歌外部基础设施的知识,包括使用PyTorch、GPU等外部资源。
此外,他还学会了如何应对不稳定的GPU、供应商和计算资源(相关博客文章见下)。
博客地址:https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的创始团队成员一起,以成本最优的方式构建了一些出色的模型。
今年5月,Reka Core的表现跻身Lmsys的前五名,模型本身排名第七,并成功超越了GPT-4的早期版本。
在资源(资金、算力和人力)远少于其他实验室的情况下,他们取得了这一成绩,Yi Tay为此感到十分骄傲。
要知道,他们的技术团队总共不到15人。
在这段日子里,Yi Tay也参与了许多技术分享。
包括在WebConf的LLM日做主题演讲、越南的GenAI峰会、swyx的Latent Space播客节目,以及受TechInAsia邀请进行的一场炉边谈话。
与此同时,作为创业者,他学到了许多关于创业、商业和从零开始建立公司的知识。
对他来说,这是一段极为紧张的时期。
就在他离开谷歌开始创业时,得知妻子怀上了他们的第一个孩子。
为了同时处理这么多事情,他的身心健康受到了严重影响,由于高强度的工作和不健康的生活方式,他的体重增加了15公斤。
今年3月,Yi Tay还写了一篇长帖,回顾了创业一年并兼任「奶爸」的艰难过程,并分享了全天24小时的日程。
[下午3:00] 正式起床。 [下午3:30] 摇摇晃晃走到书桌前,检查睡前跑的任务。没有收到任务挂掉的消息提示(Clustermon安静无事),谢天谢地!和妻子、宝宝说声「早安」。喝杯咖啡提神。 [下午4:00] 和另一家公司开线上会议,他们有意与我们合作。 [下午4:30] 边写代码边吃家人帮我买的外卖午餐。欧洲的同事开始上线。 [下午4:30] 给宝宝洗澡。 [下午5:00] 回到书桌继续写代码,再来一杯咖啡。 [下午6:00] 和几位同事临时线上讨论技术问题。 [下午7:00] 查看妻子和宝宝是否一切安好。妻子给宝宝换尿布,我帮忙准备她的晚餐。 [晚上8:00] 再次检查任务,继续写代码。感受Cuda和GPU的痛苦。两个任务挂掉了。真是绝了! [晚上9:00] 躺在床上休息片刻,刷X。用匿名小号@agihippo发个辛辣观点。 [晚上9:30] 有点疲惫地继续写代码,同时在Reka的Slack随机频道发几条搞笑消息。 [晚上10:00] 吃家里的晚饭。虽然有点凉,但无所谓了。 [晚上10:30] 团队全员同步会议,跨时区的大家都上线了! [晚上11:30] 妻子睡觉,我接管哄娃任务。 [午夜12:00] 喂宝宝,让她重新入睡(希望她这次能睡久一点!) [凌晨1:00] 和@DaniYogatama聊天一个小时。 [凌晨2:00] 检查任务,继续写代码和调试。不能再喝咖啡了:( 亚洲同事们大多下线了,只剩下我和美国的同事在Slack上聊天。 [凌晨3:00] 有点饿了,点了一份照烧鸡肉饭外卖。 [凌晨3:30] 喂宝宝!她开始闹腾,不肯入睡。我抱着她走了半小时。 [凌晨4:30] 终于回到书桌前。外卖到了,开吃!边吃边用Reka Flash和Reka Core做一些测试。又一次感受到「为人父母」的奇妙体验。 [凌晨5:00] 感到疲惫和被Bug折磨的挫败感。跑去另一间房,看看宝宝睡得是否安稳。 [凌晨6:00] 回到Slack回复消息,检查任务。又有一个任务挂了☠️☠️,重启任务。 [早晨7:00] 刷X和TikTok,思考要不要睡觉。反思人生。再发一条@agihippo的辛辣观点。 [早晨7:30] 天开始亮了,我在家里随便走走,向已经醒着的家人道「早安」。 [早晨8:00] 上床睡觉。今天的班结束了。妻子起床接着带宝宝。把宝宝交到她的手中,感到心安☺️。 [早晨8:30] 手机忘了静音,被消息吵醒,深感疲惫,想到还有不到4小时就得起来参加下午1点的线下工作会议,倍感压力。 [早晨9:00] 好了,这次是真的睡觉了(希望能睡着)。
不过,Ti Tay仍对这一阶段的经历感到满意,并觉得这是一次宝贵的「学术假期」与学习经历。
经过创业的尝试后,他认为自己还是更像一名科学家/研究员,而不是其他身份,因此他决定回归他的研究本职,回到谷歌投身研究。
1
明星联创纷纷卖身大厂
Reka成立于2022年,团队由谷歌和Meta的研究人员组成。
截至2023年6月,该公司已成功筹集5750万美元,估值达到3亿美元。
然而,今年几乎没有什么重大进展——唯一值得注意的是,今年5月,Reka与Snowflake的10亿美元收购谈判破裂,交易最终流产。
今年,前谷歌员工创办的初创企业几乎都在面临一个艰难的「寒冬」时刻。许多创始人纷纷跳船。
3月,Inflection的CEO Mustafa Suleyman离开公司,转投微软;
6月,Adept的CEO David Luan跳槽到了亚马逊;
8月,Character.AI的CEO Naom Shazeer携总裁Daniel De Freitas集体跑路,重返老东家谷歌;
可见,这一年大家都不好过。
或许你也会忍不住问,初创们的生存为何如此艰难?
毕竟,这些出走谷歌的大佬们,基本上在创业前一直都在埋头搞研究。
谷歌部门更像是「学术研究机构」,并非迫切需要产生现金流,专注研究是核心。
而商业化策略,是决策者的事。
一旦出门创业,两种环境所需的技能截然不同。
对于学术界的研究者来说,擅长研究,往往并不意味着擅长管理/经营一家公司。
其次,人员也是一大难题。
即使最好的初创公司,往往也面临内部混乱,创始人出现分歧的事并不罕见。
再加上,「学者出身」的创始人,可能并不适应企业的管理结构,增加了冲突的可能性。
此外,AI开发的高昂成本,以及现有公司激烈竞争,这些因素使得这些初创公司,从一开始就面临艰难的处境。
而且,即使是最优秀的AI初创,如果没有像谷歌、亚马逊、微软等大公司提供财务支持和云服务,也难以独立生存。
参考资料:
https://www.yitay.net/blog/returning-to-google-deepmind