第二百一十七章 说说吧，什么进度？ (第2/2页)

韩路一画完，觉得解释得似乎还不够通俗，于是又加了一句：“如果说一开始的阶段是从小学到高二上课学知识，现在就是高三复习刷真题。不是什么都学，而是只学最经典、最有代表性的题。”
　　
　　然后他把笔记本转回给张彪。
　　
　　张彪接过笔记本，对韩路一举的例子并没有什么感同身受——他没刷过真题。
　　
　　但他感觉自己这一回听两个高材生讨论，已经不像以前那么一头雾水了。
　　
　　“这个阶段一般耗时比较短。”韩路一说完，转向赵文渊，“你预计还需要多久？”
　　
　　赵文渊伸出一只手：“最慢最慢，五天就够了。”
　　
　　然后他把手收回去，端起拿铁喝了一口。
　　
　　“退火数据是我和团队之前就准备好的，三千万条高质量代码片段，一批精选的各领域书籍和学术论文。”
　　
　　“原因呢？”韩路一问，“是大年初一修了那次数据问题之后，曲线更稳了？”
　　
　　“那是一部分。”赵文渊点头，“主要原因是您前面写的那套清洗规则收益比预期高，原始数据质量显著高于业内标准。无效数据少了以后，同样的训练步数，实际有效学习效率高很多。”
　　
　　韩路一点了点头：视哥出品，让人放心。
　　
　　赵文渊说着，拿出手机，调出一张曲线图。
　　
　　“这是修正前后的对比。之前我担心最后阶段会震荡，所以留了比较大的冗余。但现在看，没有必要，可以直接上退火数据。”
　　
　　韩路一看着曲线，没有立刻说话。
　　
　　赵文渊继续说：“退火结束后，我们可以先做一轮基础能力评测，代码、数学、中文理解、长上下文，还有通用知识，都跑一遍。只要底座能力过线，就可以进入后训练，到时候标注数据才开始发力。”
　　
　　“不要只看公开榜单。”韩路一说，“评测集要分开两层：一层是对外可比较的基础能力，另一层是我们自己的产品前置任务。”
　　
　　他说着把身子往前倾了倾：“和一般的研究机构不一样，我们做汤圆不是为了发论文。御风、开物，我们已经有了真实的应用场景，这是我们的优势。一定要确保汤圆有这方面的潜力。”
　　
　　赵文渊一愣。确实，他没考虑到和产品结合的这个方面。
　　
　　他以前在研究院的时候，做研究就是做研究，不用考虑和产品结合的能力，觉得基础能力到位了，自然能找到用途。
　　
　　就像先造锤子，再找钉子。
　　
　　可源智现在的情况不一样。源码科技这边两个应用层产品都已经打开市场，汤圆做出来，根本不用考虑哪些场景可以用到。
　　
　　场景，御风和开物都给准备好了。
　　
　　赵文渊点了点头，在手机上快速记了条备忘录，说道：“好的，韩总，我一开工就安排团队做咱们自己的测评集。”
　　
　　安排完工作，韩路一在心里默默算了算时间：五天退火，那就是二月十五日。
　　
　　比训练开始时预计的二月二十号提前了几天。
　　
　　这样也为Kaiwu海外版后台的迁移又争取出几天时间。
　　
　　江松然那边也要抓紧了。能不能用国产卡集群跑通训练，也是这个计划的重要一环。
　　
　　预训练结束之后，再花二十天做后训练的微调和对齐。算一算，三月初就可以把完全从头开始训练的汤圆做出来了。
　　
　　这和之前用7B开源底座加上八千条标注喂出来的汤圆v0.1可不一样。
　　
　　到那时，用视界级数据清洗标准加视界级标注数据训练出来的大模型，将第一次面世。
　　
　　被全套金手指资源加持的汤圆，成绩会怎么样？他无比期待。
　　
　　想到这儿，韩路一打开视界看了一眼右下角的经验进度。
　　
　　百分之五十。
　　
　　一半了啊。
　　
　　韩路一这么想着，拿起桌上的拿铁喝了一口。
　　
　　……
　　
　　与此同时，在海城的另一端，张弛也刚刚在虹桥落地。
　　
　　他没回家，让司机直接送他去鼎盛大厦。
　　
　　到了鼎盛大厦，秘书已经在楼下等他。
　　
　　他把手里的包交到秘书手上，一边往电梯走一边问：“人都到了吗？”
　　
　　“刘总监和王总监都在会议室等您。”秘书紧跟在后面，快速回答。
　　
　　出了电梯，张弛直奔会议室。
　　
　　门一打开，刘勃和王浩都站着。看见张弛进来，两人一起往前一步，赶紧问好。
　　
　　张弛看着两人紧张的样子，直接在他们对面拉了张椅子坐下，然后摆了摆手，开口：“哎，站着干嘛？坐下说。”
　　
　　于是两人都赶紧拉开椅子坐下。
　　
　　等两人坐定，张弛开口问道：
　　
　　“说说吧，什么进度？”