第二百二十六章 幽灵设备 (第2/2页)
郑晓波看着屏幕,脸上没什么表情。
AI赛道上,鼎盛在国内几家大厂里不算落后,乾元的发布也很成功;可现在的问题是,还没有能在国际上拿得出手的产品。
在AI这件事上,吕云有自己的判断,也和郑晓波分享过:他觉得这是赢家通吃的游戏,为了不被吃掉,鼎盛必须成为赢家;鼎盛的对手不在国内,而在国际。
这也让郑晓波知道,吕云对他现在的成绩还不满意。
他心里也急。在AI赛道上做出成绩,是董事会,也就是吕云,对他的要求。
但他知道,急也没用,事情得一步一步做。
坤元就是第一步。
昨天训练结果出来,几个公开测试集都跑过了,还没去网上发布结果;林绍峰已经私下把结果向郑晓波汇报过。
今天的会,是演示,是告知,不是决策讨论。
“吕总,郑总。”林绍峰开门见山,“坤元的内部测评已经完成。从综合能力看,坤元1.0的各项能力已经进入全球第一梯队。”
开篇先强调成绩。林绍峰环顾听众,重点注意吕云的反应,却没看出什么来。
他按了一下手中的翻页器,大屏幕上出现一张综合数据。
数学、代码、多语言理解、长上下文、逻辑推理、知识问答、意图理解。
每一项都有分数、排名和对标模型。
“如果只看通用能力,坤元1.0目前落后于GPT最新一代旗舰模型,但差距已经不大。”林绍峰说道,“和Gemini、水星的最新版本相比,我们在部分项目上互有胜负;尤其在中文任务、企业场景、复杂指令遵循这几个维度,坤元的表现非常突出。”
随后他切到下一页。
这一页的标题是:中文意图理解专项评测。
屏幕上是一组更夸张的数据。
坤元1.0在中文复杂需求理解、隐含条件识别、业务流程补全、用户真实意图判断这些项目上,全面高于所有对标模型;而且不是小幅领先,而是跨越式的高。
断层碾压。
会议室里响起低声讨论。
大部分人都知道这个结果意味着什么。
大模型研究在国内是后发。如果能做出第一个在单项领域全世界登顶的大模型,对鼎盛的行业地位都有重大意义。
林绍峰紧接着讲了具体测评标准,包括公开测试集、内部自建题库、第三方公开任务集,以及企业真实场景脱敏数据。
“国产大模型最大的问题,是大家做得比较像。真正落到业务场景里,经常听不懂人话。用户说一句“帮我弄一下这个”,模型不知道“这个”是什么;用户说“老板要看”,模型不知道重点该放在风险、结果还是汇报口径上。”
会议室里不少业务线负责人都点了点头,他们对此深有体会。
大部分大模型演示时看起来很强,真正接入业务系统,却像个刚毕业的实习生。
做业务的能力比写代码的能力差多了。
这也不怪大模型:代码本身可验证,对就是对,错就是错;做业务可不是这样,模糊的地方很多。
到了问答环节,市场部负责人先站出来说话。
他知道今天会议的目的,就是给坤元的发布定计划。
刚才林绍峰展示的数据很好看,拿出去说是一回事,但真有几分斤两,不好说。
他得先弄清坤元的真实水平,才好制定相应计划。
“林总,这个成绩很惊人。我不是不信任测评,但咱们能不能搞个演示,看看真实场景的效果?”
市场部负责人这句话一问出来,吕云的目光便转了过来。