11月19日消息， LiveBench 官网公布了最新的语言大模型测评结果，阶跃星辰自研的万亿参数语言大模型 Step-2的技术表现位列中国基座大模型第一，成绩逼近 OpenAI 的 o1-mini-2024-09-12，超越 gpt-4o-2024-08-06 、gemini-1.5-pro-002等国际主流模型，是唯一进入榜单前十名的中国语言大模型，位列全球第五。另外，同时上榜的中国大模型公司还有通义千问和DeepSeek。
据悉，LiveBench 是由图灵奖得主、Meta 首席 AI 科学家杨立昆（Yann LeCun）联合 Abacus.AI、纽约大学等机构联合推出的大模型测评基准。LiveBench 从包括数学、推理、编程、语言理解、指令遵循和数据分析在内的多个复杂维度对模型进行评估，采用新颖的数据来源并保持每月更新，被誉为「世界上第一个不可玩弄的 LLM 基准测试」。
值得关注的是，Step-2在 IF Average（Instruction Following）一项表现突出，超越包括 o1-preview-2024-09-12在内的所有国内外语言大模型。这意味着，Step-2在语言生成上对细节有最强的控制力，模型能够更好地理解和遵循人类指令，捕捉到模糊需求背后用户的真实意图，对通用及特定领域知识的覆盖上都有更好的表现。比如当使用 Step-2创作古诗词，模型在发挥创意的同时能够对字数、格律、押韵、意境做到精准把握。
据了解，今年3月，阶跃星辰发布了 Step-2语言大模型预览版，这是国内首个由创业公司发布的万亿参数模型。
目前，阶跃星辰开放平台为开发者提供 Step-2的 API 接口，该公司的 C 端智能助手「跃问」也已经接入了 Step-2万亿参数语言大模型，用户在跃问 App 和跃问官网可体验。(定西)
