内容来自：背个毛豆
Dario Amodei 曾在谷歌、OpenAI 这两个全球领先的人工智能（AI）实验室工作。在 OpenAI，Amodei 推动公司的核心研究战略，在 5 年时间里建立了 GPT 模型，一直待到 2021 年——也就是 ChatGPT 推出的前一年。
因对技术的未来存在分歧而辞职后，Amodei 与妹妹 Daniela 共同创办了 Anthropic，之后发布了对标 ChatGPT 的聊天机器人 Claude。
今年早些时候，Anthropic 的估值已经超过了 180 亿美元。上个月，亚马逊又投资了 40 亿美元，使其投资总额达到 80 亿美元，这是其有史以来最大的风险投资。当前，亚马逊正在努力将 Claude 嵌入其下一代智能助理 Alexa 中。
在与英国《金融时报》记者 Madhumita Murgia 的对话中，Amodei 谈到了：
Anthropic 在 2025 年要解决的两大问题；
人们使用更强大模型的新方式；
Artifacts；
以及为何不以产品的形式推出 Computer Use，或者说对智能体的担忧；
全文如下：
Madhumita Murgia：我想先谈谈您的文章《仁慈的机器》（Machines of Loving Grace），这篇文章深入浅出地描述了人工智能造福社会的方式。为什么现在选择如此详细地概述这些好处？
Dario Amodei：从某种意义上说，这并不是新鲜事了，因为人工智能的风险和好处之间的对立，在过去两三年里一直在世界范围内讨论。没有人比我更厌倦这种对立。在风险方面......我试着说得具体一点。在利益方面，技术乐观主义是非常积极的，对吗？你会在推特上看到开发者在谈论“build、build、build”，他们会分享一些例子。但是，这些积极的好处确实不够具体。
MM：当人们谈论好处时，有很多假设。你是否觉得人们有点疲劳？他们从未被[告知]这实际上会是什么样子？
DA：是的，正面的解释要么非常模糊，情绪化，要么非常极端。整个奇点论述是......“我们都将把自己上传到云端，无论你遇到什么问题，人工智能当然会立即解决”。我认为这太极端了，而且缺乏细节。
我们能否真正设想出一个美好的、人们愿意生活在其中的世界？哪些具体事物会变得更好？围绕它们的挑战又是什么？
如果我们看看癌症和阿兹海默病等疾病，它们并非不可解决的神秘现象。尽管它们的复杂程度令人难以置信，但人工智能擅长解决复杂问题。这不会立马发生。但是，我们会一点一点地解开我们以前无法解决的复杂问题。
MM：是什么吸引你选择生物学、神经科学、经济发展等领域？
DA：我关注的是那些能给人类生活带来最大改变的领域。对我来说，生物学和经济发展就是这样的领域。世界上有很多地方，没有我们在发达国家开发的这些发明。我想针对我立即想到的一些能预测和决定人类生活好坏的最大因素进行研究。
MM：在一个理想的世界里，你希望 Anthropic 在 2025 年解决什么问题？
DA：有两件事：一是机理可解释性（mechanistic interpretability），即观察模型内部，打开黑盒子，了解其中的奥秘。我认为这是目前人工智能研究中最令人兴奋的领域，或许也是对社会最重要的领域。
第二个是人工智能在生物学中的应用。我从生物科学转向人工智能的一个原因是，我研究了生物学的问题和......。它们似乎几乎超出了人类的理解能力——并不是说它们在智力要求上有多高，而是信息量太大，太复杂了。
我和该领域的其他一些人一样——我认为 Demis Hassabis 也也有这样的动机——希望利用人工智能来解决科学问题，特别是生物学问题，从而让人类生活得更好。
Anthropic 正在与制药公司和生物技术初创公司合作，但这在很大程度上还停留在“我们现在如何应用 Claude 模型”的层面。我希望我们能在 2025 年开始，与公司、研究人员和学者一起，真正开展更具更具长远宏伟蓝图和长期抱负的工作。
MM：你在推动人工智能技术前沿发展方面发挥了重要作用。Sonnet 3.5 已经发布 5 个月了。与一些之前的模型相比，人们是否在以新的方式使用它？
DA：我举个编码领域的例子。我见过很多编码能力很强的用户，包括 Anthropic 内部一些最有才华的人，他们说以前的模型对[他们]根本没用。他们正在解决一些难题，一些非常困难和技术性的问题，而他们从来没有感觉到以前的模型实际上会帮他们节省时间。
这就像你与他人合作：如果对方甚至不具备你所具备的技能，那么与他们合作可能就没有用处。
但我看到，越来越多的极具天赋的研究人员、程序员、员工......对他们来说，Sonnet 3.5 是第一次真正对他们有帮助的模型。
我想说的另一件事是 Artifacts：Claude 消费者端的工具。[有了它，]你可以进行反复开发。你可以告诉模型：“给我做一个主角长这样、环境长这样的电子游戏”。然后，Claude 就会帮你做出来。[但]你可以回去和它谈谈，说：“我觉得我的主角看起来不对，他看起来像马里奥。我希望他更像路易吉”。你可以和人工智能系统合作开发一些东西。
MM：这是否带来了令你兴奋的收入流或商业模式？你认为在这些新功能的基础上，会有新的产品出现吗？
DA：是的。虽然我们有一个消费者产品，但 Anthropic 的大部分业务都是通过 API 向其他企业销售我们的模型，他们在此基础上构建这些产品。因此，我认为我们在生态系统中的总体定位是，我们正在帮助其他公司打造这些令人惊叹的产品，我们已经看到了很多令人兴奋的产品。
例如，上个月，我们向开发者发布了一项名为“Computer Use”的功能。开发者可以在这项功能的基础上进行开发：你可以告诉它“为我预订这家餐厅”或“计划这一天的旅行”，然后模型就会直接使用你的电脑。它会看着屏幕，点击鼠标的不同位置，还会用键盘输入内容。
它不是实体机器人，但能输入......为你自动控制电脑。在我们发布后的几天内，就有人发布了可控制 iPhone 屏幕、安卓屏幕、Linux、Mac 的版本。
MM：你会把它作为自己的产品发行吗？现在到处都在说智能体（agent）这个词。你也可以有自己的智能体，对吗？
DA：是的，我可以想象我们可以直接制造出这样的产品。实际上，我认为智能体最具挑战性的一点是确保它们安全、可靠和可预测。与聊天机器人交谈是一回事，它可能会说错话，可能冒犯某人，可能会误导别人。当然，我们应该认真对待这些事情。但是，当我们开始与智能体合作时，确保模型完全按照我们的要求去做就变得更加重要了。
MM：有哪些挑战？
DA：作为一个思想实验，想象一下我有一个智能体，我说“帮我在互联网上做一些研究，形成一个假设，然后去买一些材料来制造[一些]东西，或者按照我的交易策略做一些交易”。一旦模型在外面的世界做了几个小时的事情，它们就有可能做一些我不想让它们做的事情。
也许它们正在以某种方式更改我电脑上的设置。也许它们在代表我与人交谈时，说了一些我根本不会赞同的话。也许它们正在对另一组服务器采取某些行动。甚至可能是恶意操作。
因此，我们需要驯服这种「难以驾驭性」和「不可预测性」。我们已经取得了很大进展。它所使用的方法与我们用来控制普通系统安全的方法相同，但所需的可预测性水平要高得多。
我知道这就是阻碍它的原因。这不是模型的能力问题。我们要做的是，让人们相信，我们可以放心地发布这样的产品，它能可靠地完成人们想要它做的事情；让人们真正信任它。
一旦我们达到这个目标，我们就会发布这些系统。
MM：是的，从告诉你一些你可以采取行动的事情，到为你采取行动，这其中的利害关系要大得多。
DA：你想让电脑内部的“小精灵”随意改变一些东西吗？你可能永远都不会知道是什么改变了这些东西。说白了，我认为所有这些问题都是可以解决的。但这些都是我们在设计这样的系统时所面临的实际挑战。
MM：那么，你认为我们什么时候才能对这些智能体有足够的可预测性和习以为常，让你能够推出一些东西呢？
DA：这是一款早期产品。它的可靠性并不高。不要把关键任务交给它。我认为，到 2025 年，我们会在这方面取得很大进展。因此，我预测 2025 年将会有产品大致做到这一点，但这并不是“非黑即白”。总会有一些任务，你不太信任人工智能系统，因为它不够聪明、不够自主或不够可靠。
我希望我们能达到这样的程度：你只需给人工智能系统布置几小时的任务——类似于你给人类实习生或员工布置的任务。每隔一段时间，它就会回到你身边，询问你的意见，然后完成任务。如果我想有一个虚拟员工，我可以让它去做几个小时的研究，写一份报告——想想管理顾问或程序员——人们[必须]相信，它真的会完成你说的任务，而不是其他疯狂的事情。
MM：最近有人谈到，这些能力可能正在趋于稳定，我们开始看到当前技术的极限，这就是所谓的“缩放定律”（scaling law）。你是否看到了这种迹象，并在寻找其他方法来提升这些模型的智能？
DA：我在这一领域工作了 10 年，在这期间的大部分时间里，我一直在关注 scaling law。我认为，我们看到的情况在很多方面都很普通，在这个领域的历史上也发生过很多次。只是，由于该领域是一桩更大的交易，会产生更多的经济后果，所以[现在]有更多的人在关注它。而且对非常模糊的数据进行了过度解读。
如果我们回顾历史，scaling law 并不是说只要训练出一个更大的模型，它就会表现得更好。scaling law 的意思是，如果你根据模型大小与数据的比例对模型进行 scale up，如果所有的工程流程都能很好地训练模型，如果数据质量保持不变，当你对模型进行 scale up 时，[那么]......模型会越来越好。
MM：正如你所说，这不是一个数学常数，对吗？
DA：这是一个观察到的现象，我没有看到任何反对这一现象的证据。我们没有看到任何东西可以反驳我们在过去几年里看到的模式。我所看到的情况是，由于第一次没有以正确的方式 scale up，所以看起来好像事情正在趋于平稳。但在第四、五次后情况就会不同了。
MM：那么在当前，当你查看当前模型的训练运行时，是否存在任何限制？
DA：我曾多次谈到合成数据。随着自然数据的耗尽，我们开始增加合成数据的数量。例如，AlphaGo Zero 就是用合成数据训练出来的。此外，还有推理方法，让模型进行自我反思。因此，有很多方法可以绕过数据墙。
MM：当我们谈到扩展时，最大的问题就是成本。成本似乎在急剧上升。成本如此上涨，像 Anthropic 这样的公司如何生存？未来一年左右，这些钱从哪里来？
DA：我认为人们会继续理解这项技术的价值和潜力。所以我很有信心，一些资助过我们的大公司和其他公司，以及投资生态系统，都会支持这项技术。
而且收入增长非常快。我认为这个数学计算是可行的。我非常有信心，从模型成本的角度来说，100 亿美元的水平是 Anthropic 能够负担得起的。
就盈利能力而言，这是很多人都弄错的一件事。人们通常会看：某一年你花了多少钱，某件事花了多少钱。但实际上，研究特定的模型更有启发性。
让我们假设一家公司。假设你在 2023 年训练了一个模型。该模型耗资 1 亿美元。然后，在 2024 年，这个模型产生了比如说 3 亿美元的收入。然后，在 2024 年，你要训练下一个模型，这个模型的成本是 10 亿美元。而这个模型还没有完成，或者在 2024 年底才发布。当然，它要到 2025 年才能产生收入。
所以，如果你问“2024 年公司是否盈利”，那么，你赚了 3 亿美元，花了 10 亿美元，所以看起来并不盈利。如果问每个模型都盈利吗？那么，2023 的模型的成本是 1 亿美元，而收入是几亿美元。因此，2023 的模型是盈利的。
这些数字不是 Anthropic 的数字。但我在这里要说的是：模型的成本在上升，但每个模型的收入也在上升，这在时间上是不匹配的，因为模型的部署大大晚于它们的训练。
MM：你认为包括 Anthropic 在内的公司有可能在没有超级金主（如亚马逊或谷歌）的情况下做到这一点吗？你是否担心他们的权力集中，因为没有他们的资金，没有他们的基础设施，建立 LLM 的初创公司实际上无法开展工作？
DA：我认为与大公司的交易对双方都很有意义，因为投资是将未来带入现在的一种方式。我们主要需要用这笔钱购买芯片。公司和超级金主都要在云上部署产品，而云也是由他们运行的。因此，这在经济上是合理的。
我当然担心超大型企业的影响，但我们在做交易时非常谨慎。
对 Anthropic 而言，最重要的是我们负责任的扩展政策，其基本原则是：当模型的能力达到一定水平时，就必须对其能力进行衡量，并在使用时采取保障措施。
在我们与超级金主达成的每一笔交易中，他们在部署我们的技术时，都必须遵守我们的扩展策略规则。这与我们在什么地方部署模型无关。它们必须经过我们负责任的扩展所要求的测试和监控。
另一件事是，我们的长期利益信托基金。这是一个最终监督 Anthropic 的机构。它拥有任命 Anthropic 董事会许多席位的权力。同时，超大规模企业在 Anthropic 董事会中没有代表。因此，公司的最终控制权仍然掌握在长期利益信托基金手中，而长期利益信托基金是财务上无利害关系的行为者，对 Anthropic 拥有最终权力。
MM：你认为，在没有亚马逊、谷歌或微软的情况下，今天的 LLM 公司还能继续在所生产的产品及其对人们的影响方面掌握权力吗？
DA：我认为在保持对公司控制的同时，这样做在经济上是可行的。同时保持你的价值观。我认为，这样做需要从某个地方获得大量资源。这些资源可以来自超级金主。理论上，也可以来自风险投资系统。甚至可以来自政府。
我们已经看到一些案例，无论好坏，[其中]像 Elon Musk 这样的人正在利用他们庞大的私人财富。我确实认为，要建立这些非常庞大的基础模型，需要一些非常庞大的资金来源，但也有许多不同的资金来源。我认为，在坚持自己价值观的同时，也可以做到这一点。
MM：展望通用人工智能（AGI）或超级智能，你如何设想这些系统？我们需要新的想法来实现下一个突破吗？还是会不断迭代？
DA：我认为，创新将与产业升级并存。要实现非常强大的人工智能，我认为不存在某一个点。随着时间的推移，我们的系统会越来越强大。我的看法是，我们基本上已经步入正轨，不太可能需要很久了。是的，这将是持续的，但速度很快。
