▲安谋科技销售及商务执行副总裁徐亚涛
一、端侧AI落地，一场模型与算力的“双向奔赴”，本土AI新势力走向前台
就在昨天凌晨，OpenAI正式发布了Sora视频大模型，AI大模型的迭代再进一步，从文本到图像、从多模态到视频，大模型的发展快得令人不敢眨眼。一个不留神，可能就会掉队。
随着超大规模的基座大语言模型不再持续狂飙，大模型向着边缘和端侧下沉的趋势日益明显，AI OS、AI智能体等概念逐渐成为行业共识，产业的关注焦点已经转向了真正赋能行业、实现落地。
大家不再单纯地看TOPS（算力），而是更关注FPS（帧数性能）和tokens（生词速度），也就是更关注实际在应用场景中的表现。
智源人工智能研究院副院长、总工程师林咏华提到，大模型的技术发展如今更加聚焦模态的多样性、模型结构算法的多样性以及生产部署的优化，大模型发展呈现出“两极分化”的态势：更强更大和更小更精。
▲紫光展锐执行副总裁兼市场部部长黄宇宁
从手机AI到真正的AI手机，一个能够自动执行复杂任务、真正懂我们的智能设备，AI手机的发展正迈入AI OS、AI智能体时代。在AI落地手机的过程中，很多厂商都明确提出了“端云协同”的混合AI模式。
简言之，混合AI就是将云端的强算力与端侧的个性化、低时延、高数据安全性等特点相结合，真正实现优秀的端侧AI体验。
据黄宇宁介绍，目前紫光展锐的芯片已经在三个AI典型场景中应用：全场景通用AI算力（端侧AI智能体）、多媒体专用AI算力和低功耗轻量AI算力。
基于Arm架构和生态，紫光展锐可以提供CPU、GPU、NPU以及整合的SoC这些底层算力平台，而整个生态的构建则需要产业合作伙伴的共同努力。
黄宇宁特别提到，在端侧AI落地过程中，统一生态是非常重要的，其最直接受益的就是开发者，而开发者则可以利用统一生态，把最新的算法、模型在芯片上快速实现落地，让用户最终享受到好的服务。
除了AI手机，另一个端侧AI落地的重要领域就是AI PC。
此芯科技生态战略总经理周杰提到，生成式AI正在推动PC产业的第三次革命，AI给PC产业注入了新的活力，包括异构AI算力、内存、SLMs（小模型）、智能体化，国内厂商都在积极拥抱端侧AI。
▲vivo AI规划高级总监孟祥育
系统级总结摘要、全局书写工具、多模态理解、vivo手机智能体PhoneGPT（自主拆解需求、主动规划路径、实时环境识别、动态反馈决策）这些端侧AI能力都落地在了vivo的旗舰手机中。
目前手机端侧大模型发展面临的主要挑战，是内存、性能、功耗与模型效果之间的平衡，在vivo看来，3B大模型是端侧模型的黄金尺寸。未来如何更高效地更充分地利用芯片算力，在小参数模型上实现更好的端侧AI体验，是手机厂商们努力的方向。
3、MNN提升大模型部署效率，ODM大厂重点布局软件做好“连接”
在芯片和大模型之间，推理框架层面的技术迭代也十分关键，可以说起到了大模型在端侧落地的“催化剂”作用。
阿里巴巴端侧AI技术专家邢世稳重点分享了其在MNN开源框架端侧大模型部署方面的探索。
▲安谋科技NPU产品总监鲍敏祺
端侧AI的迭代非常快，从高频度的算法更新、计算模式优化、容量需求提升到算力要求提升，算力需求随着大模型多模态应用而持续增加，而大模型对NPU IP硬件也提出了新的需求。
针对这些需求和挑战，安谋科技新一代“周易”NPU专门对transformer进行了优化，其涵盖了软硬件方案以及深入的系统考量，在功耗、面积、性能方面形成优势，可以说是基于软硬协同来应对未来应用场景。
正如前文所说，在端侧AI的发展过程中，算力和模型呈现双向奔赴的趋势，而在这个过程中，挑战也很多，异构计算与混合AI的方式，可以更充分地利用端侧算力，已经成为业内公认的最优解。
三、既懂技术又懂市场，本土AI生态圈的“扛把子”不是一天炼成的
可以看到，从手机、PC、汽车到整个物联网AIoT，包括智慧家庭、无人机、智慧工厂、机器人、智慧监控、智能零售、智能穿戴，几乎各个产业都可以为AI所赋能。
芯片企业、大模型企业、终端巨头，产业链上下游各方也都在积极行动，探索合作共建的端侧AI生态之道。在这一确定的方向上，安谋科技的产业价值不言自明。
一方面，安谋科技在NPU、软件、异构计算平台等方面做好了解决方案级的技术布局，另一边其成为联合国内本土客户构建端侧AI生态的最核心推手。
就在今天的研讨会上，“AIPC和EdgeAI联合实验室”正式揭牌，这是一个由安谋科技牵头发起，联合产业多方共同搭建的AI平台，核心就是要做本土的AI生态建设、社区发展和技术运营，进而给端侧AI的落地添柴。
实验室会聚焦PC与Edge领域，探索AI生态和应用场景，跟产业链合作伙伴一起去构建本土的技术生态。当然，这也是国内厂商对接Arm全球生态的一个关键平台。
其实，通过现场与会者的发言，在笔者看来安谋科技牵头来组这场端侧AI的交流分享局的立足点可以用以下几个关键词概括：
一是“连接”。一边是完整的自研业务产品和本土市场服务能力，一边是Arm成熟技术标准和生态体系，从Arm通用IP到自研产品，让其可以通过更灵活的产品组合和形式去对接、赋能产业。
二是“上游”。作为本土AI产业链上游的独特视角是其有别于其他端侧AI组局者的另一个核心标签，可以站得更高看得更远，对技术趋势的判断也更加前瞻和精准。
三是“本土”。作为一家本土企业，对于本土AI市场的实际需求、关键痛点都有着更精准的把握，所进行的本土技术创新也更有针对性。
这些都是安谋科技在今天国内AI产业中的不可替代之处。
正如安谋科技市场及生态副总裁梁泉所说，在端侧AI的落地过程中，很多问题往往需要既懂模型、又懂底层软硬件的人才能解决，这对于厂商来说挑战很大。
但同时这些问题又有着共性，建立一套统一的软件生态，意义十分重大，安谋科技的一系列动作恰恰就是要帮助企业解决这些挑战。
据了解，目前已有智源人工智能研究院、紫光展锐、爱芯元智、六联智能、系微软件、此芯科技、亿道数码、辉羲智能、面壁智能、零一万物、中科加禾、瑞莎计算机等十几家正式加入AIPC和EdgeAI联合实验室，上海漕河泾开发区则为该实验室提供相关产业支撑。
安谋科技在推动端侧AI生态建设方面，无疑又迈出了关键一步。
结语：瞄准未来万亿市场，本土AI产业有望持续引领
从2018年成立至今，从承接Arm技术和生态赋能产业，到多条自研产品线的持续迭代。通过一手连接Arm生态，一手耕耘国内市场的独特站位，安谋科技持续致力于给本土AI发展提供更具针对性的软硬生态协同的一体化解决方案。
而伴随着Arm计算平台面对AI时代的稳步深耕，Arm架构成为未来AI计算的基础，已经成为必然趋势。我们也期待看到在本土端侧AI产业链上下游玩家们的通力协作下，本土AI产业在产品研发、技术创新和市场培育上多元发力，以更加迅猛的加速度，朝着万亿规模持续进发。
