滴普科技赵杰辉：生成式AI时代，如何让AI真正进入企业核心生产环节？｜WISE2024 商业之王

环境持续变化，时代总在迭变，“商业之王”们紧随时代浪潮，坚持创造，谋求新动能。立足中国经济大转型的当下，WISE2024 商业之王大会，一同发现真正有韧性的“商业之王”，探寻中国商业浪潮里“正确的事”。 滴普科技赵杰辉：生成式AI时代，如何让AI真正进入企业核心生产环节？｜WISE2024 商业之王 环境持续变化，时代总在迭变，“商业之王”们紧随时代浪潮，坚持创造，谋求新动能。立足中国经济大转型的当下，WISE2024 商业之王大会，一同发现真正有韧性的“商业之王”，探寻中国商业浪潮里“正确的事”。 11月28-29日，为期两日的36氪WISE2024 商业之王大会于北京隆重召开，作为中国商业领域的全明星盛典，WISE大会今年已经是第十二届，在不断变化的时代里见证着中国商业的韧性与潜力。 2024，是有些模糊且变化多于稳定的一年。相比过去十年，大家的脚步正放缓，发展更加理性。2024，也是寻求新的经济动力的一年，新的产业变化对每个主体的适应性提出了更高的要求。今年WISE大会以Hard But Right Thing（正确的事）为主题，在2024，什么是正确的事，成为我们更想交流的话题。 时间来到2024年，中国企业已经经历了从数字化、云化，再到如今的人工智能革命等多个阶段。但这些变革，都离不开最底层的数字化——企业的数字化建设，相当于是这些变革的“地基”。 成立于2018年的滴普科技，就是这样一家，深耕企业数字化转型多年的数据智能基础设施提供商。 在今年的WISE大会上，董事长兼CEO赵杰辉就带来了《产业生成式AI落地与基础平台建设》的主题分享。 “因为生成式AI的产生和应用，原来的整个数据平台市场在变大，”赵杰辉表示，“所有这个行业里的客户和供应商必须要重塑自己的产品组合。” 生成式AI浪潮来临后，大模型如何落地，成为2024年的热议话题。赵杰辉认为，企业只有大模型的通用、基础能力远远不够，必须在这个基础之上，和更小的垂直模型相结合，形成完整技术栈，才能让AI进入到核心的生产环节。 滴普科技CEO赵杰辉 图源：36氪 以下为滴普科技CEO赵杰辉的演讲全文，经36氪整理编辑： 赵杰辉：大家好！ 去年在这个舞台上，给大家分享了去年刚开始关于企业服务这个市场和AI的一些初步思考，经过这一年的发展，我们深刻的感觉到：生成式AI在彻底的重构企业服务这个市场。今天，我也从这个角度分享一些我们的思考。 大家肯定知道在企业服务这个市场，在今年之前其实大家一直在做所谓的数据，实际上经过这一年的发展，整个企业在数字平台的建设上，AI正在深度重塑这个市场。 这里有几个点。 首先，因为生成式AI的产生和应用，原来的整个数据平台市场在变大，因为AI可以更好的发挥整个数据对于企业的价值； 其次，所有这个行业里的客户和供应商必须要重塑自己的产品组合，如果没有跟AI深度的去结合，原来整个的企业数字化以及整个数据平台市场，都将不存在。 今天上午，我还跟一个客户在交流，当时提到了一点：以后所有的数据平台，不管是湖仓的建设，就是一个目的，为了在AI产业里面落地。 今年，IDC刚刚发布了制造业行业里数据平台的市场份额，凡是跟AI结合比较深度的供应商现在都往前靠了，我们也大幅度提升到了前几名。我们创业从2018年开始到现在，这6年时间，整个产品组合也是随着AI发展和落地有了很大的变化。 最早的时候，大家可能知道在企业服务这个市场，从数据中台、数据集成工具、湖仓引擎，我们做了四款产品。 在2020下半年的时候，基于模型的发展，跟数据的结合就已经出现了，我们的产品跟国产算力平台形成一体机的解决方案，最后形成在企业能够落地的AI非常基础的平台。 来源：滴普科技 这个平台长图上这个样子。一个企业要想落地AI在任何场景里面，首先要有一个比较有性价比的算力平台。如果说你只是整理一下文档和知识，可能不需要非常复杂的数据融合平台。一旦想让AI深入到业务本身的推理和决策过程，一定是需要非常完善的企业数据融合平台，和模型服务平台。 模型服务平台不仅仅是大语言模型，企业给你所有的知识和数据之后，你能够在企业里面落地大模型，这里要解决两个非常大的问题。 第一个问题，只有大语言模型是解决不了这个问题的。大家估计现在也感受到，因为只有大语言模型的话，能做一些文档的抽象，很多可能就这回事。但是如果要在企业里面做业务决策辅助和推理，他一定要跟数据去结合，这是第一个问题。 第二个问题，光有大语言模型的话，企业给你一堆的图纸、文档，包括很复杂的数据，你很难把他变成语料，这个过程里面需要模型，跟原来的垂直模型或者小模型形成技术栈，才能完成企业大模型的落地。 所以，企业模型的落地，从语料工程到多个小模型和大模型的协同，形成完整的技术栈是非常重要的事情，这也是我们发行的一些大模型去解决的问题。 我们现在最主要聚焦在几个重要领域，第一是大消费领域、供应链优化，我们有很多公开的PR，包括百丽这些头部的零售企业，基于原有的平台，已经做了非常多的落地。 第二是在生产领域里面，对于图纸辅助设计、工艺参数辅助调整，我们也进行了落地。 另外，我们也跟香港最大的医疗机构深度合作，在做AI for healtcare方面的落地。面对大企业里面的核心场景，从供应链到生产过程，都有非常头部的客户跟我们一起合作。 真正把大模型在场景中落下来，数据融合平台是非常重要的前提。除了大语言模型，一定要和多个垂直模型，比如说做工艺，工艺编制模型以及原有的模型形成完整的工作栈，才能去进行工作。 在基础大模型这个事情上，我一直有个观点，从我们现在实践的情况来看，大家也不要觉得这个门槛有多高，因为可能在媒体也好，在很多创业公司也好，为了证明自己多么强大，其实把这个门槛讲的有点高。 但是，在大企业里面去落地，一个大模型可以真正产生场景价值，目前我们还没有看到72B以下的模型解决不了的场景。 如果在To B的客户那里要去落地大模型，产生场景价值，如果他需要非常大的模型参数，那么会导致一个问题，成本和最后的收益是不成正比。所以说，目前无论是我们做的供应链整个深度的应用还是生产过程的深度应用，以及AI for healthcare的事情，大家在大企业To B端去落地大型场景，目前70B的模型足够用了。 我们现在有两款模型，72B和34B，相对于做To C服务的模型，这两个模型最重要有几个特点： 首先，要对企业经常用到的所有语料进行扩充； 其次，在企业应用无非就是三个重要的能力，要做到100%的精度，第一就是参数，第二就是对原有的各种系统的函数调用能力100%准确，还有就是非常复杂的图纸、文档深度的REG要非常精准。我们在这方面做了非常深度的工作。 还有就是安全，因为在企业里面一定会涉及到信息安全，这方面也是非常重要的。我们跟南方科大共同发布了中文的模型安全审查模型，这个模型他在整个安全上面是不是有漏洞，其实可以用这个工具模型再去做一次审查。同时，我们这个模型通过了各种备案。 回到刚才提到的模型服务平台，我们来看这个服务平台和基础模型之间的关系。你会看到，真正把模型落到企业场景时，大语言模型是在底下那一层，再往上，需要把所用到的小模型和整个大模型，做非常好的深度融合和协同，才能够在企业里面用起来。 比如说如果要做工艺参数优化，要有原来工艺的机理模型，要有图纸设计，垂直专业模型要跟底层的大模型很好地协同，形成基础的企业模型工作栈，技术栈才可以。 当把这个事情部署在客户那里的时候，客户会给你大量的规范文档知识，以及对接客户大量的系统数据。这个时候，你要有非常强的语料工程能力。 比如我们在海城的客户，合作之后，给了我们大几十G的图纸和规范。我们要把对模型进行精调，才能提升精度，所以模型工程也是很重要的。 当你认为这个模型已经调试好了，怎么评估他是不是可以上岗开始干活了？模型评估也是非常重要的。再往上就是大家所知道的应用开发平台，这里没什么太多说的。 另外，我们会面临一个很大的问题。我们可以在海外租很多算力，这是没有限制的，但是在国内，大量企业怎么落地这件事情？ 我们走了两条路，第一条路就是N系列，就是跟英伟达一起出的一体机；S系列是跟华为一起出的一体机。 在大的企业里面其实去落大模型的时候，真正做训练的需求并没有那么大，主要是做SFT（监督式微调SFT, Supervised Fine-Tuning），可能就是训练一体买两三台差不多了。 但是大量算力其实是在推理这一侧，国产的芯片大部分是够用的，英伟达现在4090也禁了，剩下的H20这一款，我们做了一个加速卡。用没有被禁的芯片插上加速卡之后，可以跑更大参数的模型，完成推理的过程，就是我们整个模型加速卡。 另外，还有很多端侧的，像生产线上一些推理的设备，我们会出一些小盒子。 至于在企业落地大模型，到底租用算力中心的算力，还是用云上的，还是自己建一体机？ 我的看法是这样的，在一到两年的初期，能够有预算，能够投入到大模型跟场景结合的公司，一般都是大公司。这种公司在初期尝试的时候，会倾向于自己去买一体机，先把场景做起来。 但AI在产业里面落地越来越成熟之后，大量的企业开始要去做这件事，可能这时会租算力更多一些。 这是非常重要的一个过程，随着客户不同，阶段不同是有变化的。所以说，如果在核心场景中落地大模型，刚开始可以通过一体机的方式，会更快的把这个事情做起来。 基本上，我们软件体系部署在企业之后，开箱即用，两周之内肯定能看到在场景里（能用起来）。 像刚才提到的，如果你只是需要整理一下会议纪要、文档，用基础模型基本上问题不大。但是如果你要在这个企业里面做很多真实的实时业务的推理决策，数据平台的升级是非常重要的。 这里的核心是，原来系统里面的数据，其实是业务实时的状态记录，但是逻辑、知识、文档，包括公司管理规范，文档应该怎么管，这些东西其实是有业务上下文逻辑的。 现在的数据平台，要能够把结构化的数据和非结构化的数据进行统一管理，只有这样，形成企业的实时业务状态数据，以及业务上下文逻辑的结构化，非结构化数据统一管理。形成企业超级数据融合体之后，在模型训练完之后，才可以做深度的推理。 稍微介绍一下我们公司，我们从2018年成立以来，基本上该有的荣誉都已经有了，现在能看到AI的比较重量级的榜单，肯定都有我们。 现在，头部的零售企业都已经在落地（大模型）了，以前可能要给予数据平台开发很多图表、图像，现在表和图就可以用大模型（来处理）。 最后总结一下，在企业和大的行业里面要去落地人工智能和大模型，我们要思考的两个关键问题： 第一，有没有升级整个的结构化、非结构化数据平台？否则，大模型只能处理文档之类的工作。 第二，企业一定需要完整的模型服务平台，能够把多个垂直专业模型基于大语言模型进行整合，才能够去落地很多场景。 谢谢大家！