10月28日消息，近日，由声网和 RTE 开发者社区联合主办的 RTE2024第十届实时互联网大会在京举行。声网创始人兼 CEO 赵斌、Lepton AI 创始人兼 CEO 贾扬清、声网首席科学家、CTO 钟声分别带来主题演讲。
赵斌分享了声网十年以来专注实时互动行业的深刻洞察，以及他对 RTE 在生成式 AI 时代下未来发展的趋势判断。贾扬清则站在 AI 基础设施的视角下，分享了他对 AI 应用、云、和 GPU 算力云技术的独到观点。钟声的主题演讲聚焦在对实时 AI 基础设施的探讨上，并分享了 AI 与 RTE 结合的前沿技术实践。
赵斌认为，这一趋势主要体现在四个层面：终端、软件、云和人机界面。在终端上，大模型能力将驱动 PC 和 Phone 往 AI PC 和 AI Phone 的方向进化。在软件上，所有的软件都可以、也将会通过大模型重新实现，并从 Software with AI 发展至 AI Native Software 。在云的层面，所有云都需要具备对大模型训练和推理的能力，AI Native Cloud 将成为主流。此外，人机界面的主流交互方式也将从键盘、鼠标、触屏变成自然语言对话界面（LUI）。
随着生成式 AI 成为下个时代 IT 行业进化的主题，RTE 也成为了多模态应用和基础设施中一个关键的部分。10月初，声网的兄弟公司 Agora 作为语音 API 合作者，出现在了OpenAI 发布的 Realtime API 公开测试版中。
在此次大会中，赵斌表示，声网与 MiniMax 正在打磨中国第一个Realtime API。赵斌也展示了声网基于 MiniMax Realtime API 打造的人工智能体。在演示视频中，人与智能体轻松流畅的进行实时语音对话。当人类打断智能体并提出新的疑问时，智能体也能够非常灵敏的快速反应，实现了与人类自然流畅的对话。
赵斌也在分享中宣布，声网正式发布了 RTE+AI 能力全景图。在全景图中，声网从实时 AI 基础设施、RTE+AI 生态能力、声网 AI Agent、实时多模态对话式 AI 解决方案、RTE+AI 应用场景五个维度，清晰呈现了当下 RTE 与 AI 相结合的技术能力与应用方案。生成式 AI 与RTE 结合带来的场景创新，将成为下一个十年的主题。
针对 AI 应用，贾扬清指出，今天是最容易建设 AI 应用的时代，越是简洁的 AI 模型思路越容易产生优秀的效果。AI 能力加持后，应用本身的开发范式也在从数据、模型、应用构建三个维度发生变化，未来的应用开发将从“以流程为中心” 转化为“以模型为中心”。
除了 AI 应用层面，传统的云架构也在大模型、GPU 优化等需求的催化下发生了翻天覆地的变化。贾扬清认为，AI 是云的第三次浪潮，继 Web 云、数据云之后，AI 将成为第三朵云。
企业在构建自己的大模型自主性上，到底该如何决策？贾扬清强调，企业应该将开源和闭源大模型都纳入考虑范畴。采用开源模型+定制化的优势不仅仅是具备更强的可定制性，还有更低的成本以及更高的速度，开源+定制化能够达到比闭源模型更好的效果。
在已经到来的 AI 时代，现代化基础设施应该是什么样？声网首席科学家、CTO钟声提到，大量用户设备往往会先接入边缘节点、并在需要的时候再接入云端，数据将在端设备、边缘节点和云之间往返传递。AI 时代的数据中心会包含以大量异构算力组成的超级计算集群（SuperScaler）。但是，停留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所造成的高昂计算成本、缺乏机制约束的数据隐私保护、几秒钟的延时都将阻碍大模型的普惠，极大地限制其在很多场景下的应用。
钟声认为，分布式端边云结合的 AI 系统将有效解决这些痛点。这个系统将把计算和传输在各节点做合理地配置，系统会智能地以自适应的方式把任务编排到端与边上执行，非常有效地降低了成本，同时提供了更低延时（低于1秒级的响应速度）、更高网络抖动容忍度、优秀的抗噪声能力，并且完整的用户数据只会保留在端上。
分享过程中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI智能体。大会现场观众规模超过千人，面临复杂的噪声、回声、麦克风延迟等困难，但智能体与钟声的互动仍然表现出了优秀的对话能力，在普通5G网络环境下实现了流畅、自然、有趣的双向实时对话，对话模型的极快响应速度、及时打断与被打断的自然程度、对抗噪声能力、遵循语音指令做等待能力都非常突出。
最后，Lepton AI 创始人兼 CEO 贾扬清、MiniMax 合伙人魏伟、面壁智能联合创始人＆CTO 曾国洋、Hugging Face 工程师王铁震、Agora 联合创始人 Tony Wang 五位嘉宾一起探讨了从 AI 基础设施到 AI 商业化落地的机会与挑战。（定西）
本文来自网易科技报道，更多资讯和深度内容，关注我们。
