第二百二十一章 为之于未有,治之于未乱 (第2/2页)
“另一个更重要的原因。”韩路一顿了顿,还是和姜亦心说了,“主要是数据安全。”
姜亦心突然有种恍然大悟的感觉。
Nexus的水星模型应该能看见御风这边发过去的所有提示词。即使看不见御风本地的源代码,这些提示词也能获得很多信息。
怪不得他们抄得这么快。
“所以,您是怕——”姜亦心没说完。
韩路一却摇了摇头:“我不是怕谁会偷,或者谁不会偷。这不重要。重要的是,我们不该把重要的东西假手他人。你听说过「零信任原则」吗?”
姜亦心摇头。她在网络安全课上学过类似的东西,可这个名词是第一次听说。
韩路一说:“所谓「零信任原则」,就是假设你的系统随时都可能被人入侵。所以不管是谁,都不给默认的信任。每一步通信都要验证,每一个接入点都当成潜在风险点来管理。放到我们这里,就是不管Nexus、鼎盛,还是任何云服务商,不管他们值不值得信任,我们都不把核心数据交给他们处理。”
姜亦心感觉自己对课堂上的网络安全又有了新理解。原来要防的不只是黑客,还有合作方。
这时,外面突然传来敲门声。
“请进。”韩路一扬声说道。
赵文渊推门进来。看到姜亦心也不意外,点了点头,说了声“姜总”,然后转向韩路一,大踏步走过来,边走边说:“韩总,退火已经完成了。公开测试和为源码科技准备的测试集我都跑过了,比预期效果还好!”
韩路一还没反应,姜亦心已兴奋地问:“汤圆能用了?”
韩路一和赵文渊一起看向她。赵文渊不得不泼了盆冷水:“不能用。”
姜亦心一愣:“你刚刚不是说,那个什么,跑过分儿了?”
她是计算机科学本科,本职做编程,平时对AI大模型的了解主要集中在怎么用,对训练流程完全不了解。
赵文渊一听就知道怎么回事,想了想,还是解释了一下。
“现在完成的是预训练,得到的是基座模型(BaseModel)。但想能用,还得再经过一个后训练阶段,得到对话模型(InstructModel)才行。”赵文渊说,“所谓跑分,或者说模型测评,确实是在预训练之后这个阶段进行。这个时候测的是模型的逻辑和知识,你可以理解成理综考试。”
“那这个基座模型和对话模型有什么区别?”姜亦心问。
赵文渊把手里的电脑放在桌上,打开:“正好给你试试。”
这个基座模型连对话框也没有,但在命令行里仍可输入、输出文字。
姜亦心想了想,输入一个问题:“「为之于未有,治之于未乱」是什么意思?”
很快,模型回复显示出来:“「合抱之木,生于毫末」是什么意思?「九层之台,起于累土」是什么意思?「千里之行,始于足下」是什么意思……”
姜亦心看得目瞪口呆。
赵文渊在旁边笑道:“怎么样?是不是和你熟悉的AI大模型不一样?”
确实不一样。姜亦心已习惯ChatGPT那种AI:问一个问题,可以给出一长串回答,不管回答对不对,至少看起来很合理。不少人沉迷和AI聊天,可这个基座模型看起来只能接话,不能对话。
“实际上,这就是Transformer大模型最初的样子。一直到GPT-3时代,人们都是这么调用模型的。”赵文渊说,“你想问一个问题,就得把它包装成特殊格式,让模型去接你的话,根本不好用。”
“一直到InstructGPT横空出世,这一波AI时代才真正到来,从实验室走向大众。人们都说Transformer是划时代的发明,可我觉得,Instruct理论的提出,重要性不亚于Transformer。”
看历史课讲得差不多了,韩路一这才插话:“你说结果比预期好,到底有多好?”
赵文渊反而不着急,对着韩路一缓缓吐出一个词:“SOTA。”
SOTA,stateoftheart。
意思是,当前最强水平。
韩路一自己就是个老装逼犯了,哪会不知道赵文渊现在期待什么。
可惜,现场两个人都不像会为他这一个词震惊。
他也不在意,接着问:“具体数据呢,拿出来看看。”
赵文渊见他反应平淡,在心里默默叹气,乖乖打开一个文档。
各个测评集都和GPT-4不相上下,确实可以说是世界一线。尤其突出的是C-Eval(中文综合)和CMMLU(中文知识)两个测评集:GPT都在70%左右,汤圆base直接达到80%以上。
考虑到这还只是依靠视界制定的数据清洗规则做出的基座模型,韩路一当牛做马标出来的十万条标注数据都还没用。
可以预计,汤圆完成训练后的表现会非常惊人。
韩路一想到这,直接对赵文渊说:“事不宜迟,现在就开始后训练吧。”
当初韩路一决定自己做模型时,开物刚在国内市场做出点成绩,Nexus慕名找上门寻求合作。他当时判断,自有模型将是不可替代的战略资源。没想到短短几个月后,预言就成真了。
模型的训练和部署,成了Kaiwu海外版和御风下一步能否顺利发展的关键。
如果不是韩路一当时果断选择去鼎盛换算力,现在无论如何也做不出来。
即便如此,接下来也得每一步都顺利,才可能在Nexus翻脸前完成迁移。
同时,鼎盛那边也在虎视眈眈,不得不防。
韩路一最后又嘱咐赵文渊:“在鼎盛的集群上训练,只上传之前定好的那85%。”
赵文渊郑重地点了点头:“我知道,剩下的15%才是我们之后致胜的关键。”
姜亦心最后问出自己最关心的问题:“那后训练还要多久?”
赵文渊说:“最快两周,慢的话二十天。后训练我有经验,估算差距不会太大。”
会开完,赵文渊和姜亦心一起往外走。
突然,姜亦心放慢脚步,等赵文渊出去后又折回来,问韩路一:“韩总,刘秘书工资是多少?这个能问吗?”
韩路一秒懂,微微一笑:“差不多是你工资的八成吧。怎么,你也想要个秘书?”
姜亦心一听,脸就垮了:“这么贵啊,那还是算了吧。我自己安排得挺好。”
姜亦心开门出去,韩路一打开视界又看了她一眼。
【姜亦心】
【产品SS|管理B|协作A|稳定S】
【特技:触类旁通】
【词条:好奇心|产品直觉|大局观】
关掉视界,韩路一默默感慨:成长得真快啊。
……
鼎盛大厦,二十三层,鼎盛云VP办公室。
张弛正在看刘勃发过来的进度报告,手机突然震动起来。
他拿起一看,是刘亚光。
看到这个名字,张弛心中一跳。
刘亚光是运维平台主管,张弛的心腹,现在正盯着源智那边的训练数据。
刘亚光平时不常联系他。算算时间,差不多是韩路一的标注数据要开始上传了。
得手了?
张弛不知道,但他有预感,可能是的。
这样想着,他接起电话。
“张总,那批数据到了。”
果然。
微笑爬到张弛脸上。
他整个人往后一倒,靠到老板椅椅背上。
这批数据他等了快两个月。这是郑总现在最看重的东西,自然也是他最看重的东西。
“什么量级?”
“一共八万多条,标注格式完整,质量很高。不像是外包做的,应该是他们内部自己标的。”
张弛心想,要是外包的数据,还用得着我费这个劲吗?
“张总,还是给模型组送过去?”
张弛正要答应,突然停住。
他又想了一会儿,才开口:“你先别动,别往模型组送,给我。”
刘亚光愣了一下:“给您?”
“对。别走网络,放在一个U盘里。”张弛语气平静,没有解释的意思。
“好,我这就整理打包,一会儿给您送过去。”
“不用。”张弛顿了顿,语气放松了些,“这段时间辛苦你了。我之前听你说孩子想去迪士尼?我这正好有朋友送的几张VIP票,一会儿让我秘书给你送过去,顺便把U盘取回来。”
电话那头沉默了一秒,刘亚光的声音变得有些低沉:“张总,您这让我——您还记得这个啊……”
“你跟我这么多年了,说这些干什么。”张弛淡淡地说,“下周末好好带孩子去玩玩。”
挂断电话,张弛在椅子上坐了一会儿,然后拨出一个电话。
“程总,我这边拿到东西了。”
“张总。”程远的声音从电话里传来,压不住的兴奋,“靠谱啊。”