“2024骁龙峰会即将到来，新一轮的行业AI创新即将开始，我们应该期待什么？”
作者 | 包永刚
编辑 | 王 川
金秋十月，各大消费电子公司轮番登场，展示最新的产品和技术，智能体成为了新主角。
vivo展示了手机智能体 PhoneGPT可以在了解需求后自动在餐厅订座，联想AI智能体联想AI Now可以化身老师给学生出题。
随后，荣耀跨应用开放生态智能体的个人化全场景AI操作系统MagicOS 9.0将推出，OPPO ColorOS 15系统也将AI从单点功能升级到系统集成。
手机和PC普及智能体的趋势越来越明显，对于强大AI处理器的需求也越来越高。
作为端侧AI的领导者，高通也为端侧智能体的落地做好了技术和产品的准备。
2023年高通骁龙峰会，高通展示了一系列基于第三代骁龙8的手机AI应用，结合手机摄像头和位置信息的前瞻应用终端侧AI助手让人眼前一亮。
今年2月份，高通在MWC巴塞罗那演示了全球首个在Android手机上运行的多模态大模型（LMM），以及基于骁龙X Elite平台运行的70亿参数的多模态大模型(LMM)，为智能体在手机和PC上的落地奠定了基础。
10月22日将举办的2024骁龙峰会，高通将展示最前沿的终端侧AI新应用。让人期待的是，高通将发布首款集成了定制高通Oryon CPU的新一代骁龙8系旗舰移动平台，CPU和AI性能的提升会有多惊人？基于更强大的AI性能和不断进化的AI软件栈，高通将激发出包括智能体在内的新一轮AI应用创新。
01
混合AI已成共识，智能体时代到来
在进一步探讨智能体以及未来端侧AI的发展前，不要忽略混合AI已经成为行业共识，以及轻量级的生成式AI模型性能足够好的前提。
以ChatGPT为代表的生成式AI是在2022年后迎来爆发，生成式AI一系列超越想象的功能，最初都是基于云端千亿参数的大模型的能力。
《高通AI白皮书》中提到，每一次基于生成式AI的网络搜索查询，成本是传统搜索的10倍。
生成式AI要普及，需要成本能被大众接受，并且体验不差，混合AI是理想的选择。
所谓混合AI，就是在需要即时感知即时处理的情况下使用设备上的AI模型，在需要更多计算能力、任务更复杂时使用云端的AI模型。这让混合AI兼具性能、成本、时延、隐私等优势，已经成为巨头押注的方向。
无论是今年微软Build大会推出的全新的PC品类Copilot+ PC（Windows 11 AI+ PC），还是谷歌I/O宣布将AI嵌入到了安卓操作系统，以及苹果Apple Intelligence重视使用户数据在本地完成处理，减少对云端的依赖，都表明混合AI已经成为行业共识。
高通早在2007年就启动首个AI研究项目，一直主张以终端为中心的混合AI，也就是让终端充当锚点，云端仅用于分流处理终端无法充分执行的任务。
大谈智能体的手机和PC厂商进一步利用和延展以终端为中心的混合AI，用智能体为终端AI带来体验的革新。
荣耀以用户日常“取消APP自动续费”需要经过7步人工操作的步骤为例，展示了拥有荣耀AI智能体的MagicOS 9.0后，用户只需要一句话即可完成复杂操作。
荣耀CEO赵明将荣耀AI智能体形象地比喻为手机内的“自动驾驶”，并表示最大化实现用户价值呈现的AI智能体，应具有自然语义理解和计算机视觉、用户行为习惯学习和场景环境感知、意图识别及决策能力、应用内及跨应用操作四大核心能力。
联想也有相似的AI智能体核心理念，联想表示要实现横跨多个设备、横跨多个生态系统的无缝、安全的AI体验。
基于这一核心理念，联想发布了联想AI Now智能体。
要实现跨应用、跨设备甚至跨生态的智能体，多模态大模型是基础。
就像人类需要利用各种感官学习，多模态生成式AI模型可基于一系列模态进行训练，包括文本、图像、语音、音频、视频、激光雷达等传感器数据，让生成式AI模型更加智能。
多模态大模型已经成为AI发展的方向，行业领先的OpenAI GPT-4V、谷歌Gemini在云端使用不同模态的数据训练多模态大模型。
集成了各种传感器和丰富本地情境信息的手机和PC是理想的多模态大模型落地的载体。搭载高通高性能AI骁龙平台的终端设备，能够带来更高的隐私、安全性和更好的个性化体验，以及对多模态大模型的支持。
02
高通的多模态AI先行一步
高通AI研究在今年2月演示的全球首个在Android手机上运行的多模态大模型，展示的是一个超过 70 亿参数的大语言和视觉助理大模型 (LLaVA) ，可以接受包括文本和图像在内的多种类型的数据输入，并生成关于图像的多轮对话。
通过全栈AI优化，LLaVA能够在搭载第三代骁龙8移动平台的参考设计上以实时响应的速度在终端侧生成token。
高通同时演示了搭载骁龙X Elite的Windows PC上运行超70亿参数的多模态大模型，可接受文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容生成多轮对话。
能够率先支持多模态生成式AI模型，离不开高通在AI领域的持续投入以及领先的技术和产品。
生成式AI爆发后不久的2023年初的MWC，高通就展示了全球首个运行在Android手机上的Stable Diffusion终端侧演示。
2023年底，骁龙移动平台运行的AI大模型的参数从10亿陡增至100亿，运行Stable Diffusion模型的速度从年初的不到15秒缩短至1秒以内，提升幅度和速度惊人。
2024年初，高通推出高通AI Hub，为骁龙和高通平台提供丰富的经过优化的AI模型，开发者只需通过几行代码即可在搭载高通平台的云托管终端上自行运行这些模型。
高通也已经先行一步，推出了高通AI规划器（Qualcomm AI Orchestrator），为智能体未来成为手机和PC上的亮点奠定基础。
高通AI规划器利用存储在终端侧的用户情境信息，如喜欢的饮食、锻炼习惯、常用联系人和消息、过往偏好历史等作为个人知识图谱，以更好地理解用户意图。
通过理解与本地情境信息相融合的个人偏好，高通AI规划器能够将这些知识整合进生成式AI助手中，为用户提供有意义的个性化回复和行动，提供更快响应速度的同时还能增强隐私性。
借助多模态模型，高通AI规划器支持多种终端交互模态，包括文本、视觉和语音。
雷峰网了解到，高通AI规划器将成为高通AI软件栈的重要组成部分，位于应用和AI框架及runtime之间。
集成高通AI规划器的高通AI软件栈将更将强大，能够最大化降低AI开发的门槛，更关键的是高通AI软件栈支持一次开发多终端部署。
完整且易用的高通AI软件栈运行在高通强大的AI硬件之上。
去年发布的第三代骁龙8搭载的高通AI引擎，CPU性能提升高达30%，GPU性能提升25%，Hexagon NPU性能更是翻倍。而拥有高通定制Oryon CPU的骁龙X Elite的NPU性能高达45TOPS，树立了AI PC的标杆。
高通AI引擎是高通多年全栈AI优化的结晶，自2015年高通推出第一代AI引擎之后每年更新，如今搭载包含CPU、GPU、NPU等异构架构的高通AI引擎的产品出货量已经超过25亿，涵盖手机、XR、汽车、平板、PC、机器人等，是高通推动端侧AI发展独特的优势。
小米14 Pro、OPPO Find X7 Ultra、荣耀Magic6等一系列搭载第三代骁龙8的旗舰手机，发挥了高通AI引擎的能力，率先落地了图像扩充、智慧成片和智慧创建日程、AI消除等A I功能，这些手机的热销充分说明了消费者的认可。
骁龙X系列平台是支持包括微软Surface Pro和Surface Laptop在内首批Windows 11 AI+ PC的独家平台，这让高通成为移动计算领域领导者的同时，其NPU的强大实力也得到了认可。
将于10月22日-24日举办的2024骁龙峰会，新一代旗舰移动平台将再次焕新，CPU和AI是最值得关注的焦点。
03
全新一代骁龙8，会带来哪些AI新玩法？
高通一直是全球为数不多兼具连接和计算领导力的公司。去年，骁龙峰会上骁龙X Elite一亮相就惊艳全场，凭借着高通的自研Oryon CPU，以及包含NPU的异构AI引擎，性能超越同级别的苹果M系列处理器以及x86处理器。
今年即将发布的新一代骁龙8移动平台，将首次搭载高通Oryon CPU。以去年骁龙X Elite上Oyron CPU的惊艳表现预计，新一代骁龙8移动平台的CPU性能或将实现飞跃式进步。
加之可能进一步升级的GPU和NPU，新一代骁龙8的AI性能将令人瞩目。此外，结合集成有高通AI规划器的高通AI软件栈，未来手机和PC厂商的智能体应用将有望获得更好体验。
但更让人期待的是，在轻量级生成式AI模型快速迭代时代，结合对AI技术发展敏锐和准确的洞察，高通能够充分利用基于强大骁龙8平台以及全球领先的5G Advanced、Wi-Fi、蓝牙连接技术，带来一系列前瞻的端侧AI应用，这将包含哪些惊喜？
这是一个即将揭晓的答案，从高通即将展示的前沿、新鲜用例中将可以窥见AI手机和AI PC新一轮的应用创新。
汽车、XR等业务也是高通重要的产品线，高通去年介绍了Snapdragon Seamless功能，展示了搭载骁龙平台的安卓手机和PC间进行协作和文件传输，这一功能今年是否会进一步拓展到汽车和XR等更多终端，带来全新的智能体体验？
从高通战略的前瞻性、AI技术的领导力和产品业务的广泛布局，可以看到高通在生成式AI时代保持领先，未来高通将会把AI带到更广泛的终端中，成为混合AI时代的重要推动者。
PC新格局形成，高通+Windows 11 的AI PC如何领先苹果？
高通CEO罕见与英特尔、AMD同台，AI或将重塑PC市场
面向中国 XR 开发者，高通的「秘密武器」不止芯片
