第一百八十七章 随身老爷爷 (第2/2页)

……
　　
　　十三楼模型组，赵文渊没有独立办公室，和其他同事一样坐在开放办公区。
　　
　　小牛把外卖的生椰拿铁给赵文渊拿过来时，他还盯着屏幕上的日志。
　　
　　他工位旁如今固定加了一把转椅。他和源码科技模型组的其他员工都习惯了——韩路一最近每天都会花几个小时坐在这儿，跟他们一起写国产显卡的软件适配。
　　
　　“文渊，怎么样了？”
　　
　　韩路一的声音传来。
　　
　　赵文渊闻声抬头，看见韩路一正走过来。
　　
　　“韩总，你可来了，快坐。”赵文渊明显激动起来，“这两个算子我卡了半天，你快看看吧。”
　　
　　这是两人最近形成的工作模式。
　　
　　赵文渊带着手下用编程智能体做国产显卡适配。
　　
　　每人分到一个算子，先设计一个通过基准——一般能达到N卡的百分之八十就算达标——再用智能体一轮一轮地试。成功率虽不高，效率却比手写高得多；试得多了，也有一些迁移效果不错。
　　
　　碰上特别重要、特别难的，再汇报给赵文渊。
　　
　　这种情况赵文渊一般也做不了什么，就等着韩路一来。
　　
　　韩路一坐下后，认认真真从上到下看一遍，然后开始写，噼里啪啦输入一串提示词，关键参数和逻辑都写在里面，再回车，等五分钟。
　　
　　难点就攻克了。
　　
　　从最初的震惊、迷茫、怀疑世界，到如今，赵文渊已经适应了这种模式。
　　
　　可能这个世界就是有天才吧。
　　
　　有难题，找韩总。
　　
　　我直接把韩总当随身老爷爷用不就完了？管他怎么做到的呢。
　　
　　像现在，卡了全组两天的两个算子迁移，韩路一坐下十分钟就解决了。
　　
　　第一个是RoPE。
　　
　　这东西说白了，是让模型知道一段文本里每个词所在的位置。短文本里问题不明显，可上下文一旦拉长到十六K，显卡那边的三角函数近似误差就厉害起来。之前测试时，前八K还算正常，往后生成结果就会出现莫名其妙的错位。
　　
　　赵文渊他们试了两天，一直在精度和性能之间来回拉扯：精度压下去，速度掉得厉害；速度提上来，误差又爆。
　　
　　韩路一坐下后只看了一遍日志，就让智能体把sin/cos查表的粒度重新切了一档，又把缓存策略改成按block复用。
　　
　　五分钟后，十六K长上下文测试通过，性能损耗从百分之四十七降到百分之十八。
　　
　　第二个是LayerNorm。
　　
　　这个算子看着简单，可训练里调用频率极高，慢一点，整条训练链路都会被拖住。韩路一改了两个访存顺序，又让智能体补上向量化读写，性能直接从N卡基准的百分之五十二拉到百分之八十一。
　　
　　赵文渊当时看着那两个绿色PASS，心情已经很平静。
　　
　　平静得有点麻木。
　　
　　问题解决完，韩路一拦住赵文渊想接着工作的势头。
　　
　　“停一下，我有别的事要和你商量。”
　　
　　赵文渊看向韩路一。
　　
　　“Nexus那边开始动作了。我预测他们四月起就不会再给我们提供API接口，所以在那之前，我们得把汤圆1.0做出来，确保汤圆能接住Kaiwu海外版迁移过来的流量。”
　　
　　赵文渊听完，在电脑上切了下屏幕，看了看训练进度，对韩路一说：“韩总，时间上有点赶，但应该来得及。只是我比较担心双语适配问题。”
　　
　　赵文渊调整坐姿，面向韩路一，谨慎分析起来。
　　
　　“预训练问题不大，用的是互联网上的原始数据，本身英文居多。关键是后训练——模型的理解能力主要来自后训练的提升。你现在提供的那批标注质量极高，但都是中文，对英文能力的提升恐怕……”
　　
　　赵文渊话没说完，意思却到位了。
　　
　　随即，他用期待的眼神看向韩路一：“韩总，不知道英文标注，你能不能——”
　　
　　这就是赵文渊的新策略。
　　
　　有需求，找韩总。
　　
　　别管他怎么解决，反正他能给你解决。
　　
　　直接问就完了。
　　
　　韩路一看着赵文渊期待的眼神，沉默片刻，才缓缓点头：“……你确保训练进度，标注的事，我来想办法。”
　　
　　说完，他起身走了。
　　
　　赵文渊赶紧投入工作。
　　
　　刚才卡住的难题，韩路一虽然解决了，却是简单粗暴地给出正确答案。至于中间为什么这么做、和其他替代方案比有什么提升，这些都还是空白。
　　
　　赵文渊现在要做的，是拿着问题和正确答案，补全中间的答题过程。这些对将来的研究和开发来说，都是至关重要的资料。
　　
　　他知道，韩路一不做这些繁琐工作，不是因为不会，而是工作繁忙，没时间。
　　
　　把这些资料整理好，就是他赵文渊体现价值的地方。
　　
　　况且，给天才解的题写文档，也不是谁都有机会做的啊。
　　
　　想到这儿，赵文渊突然抬头，看向韩路一离开的方向。
　　
　　奇怪，他刚才的脚步，看起来是不是有点儿沉重？