第五百零五章 庆功宴 (第1/2页)

庆功宴定在一家烤鸭店，是苏念念订的。正是顾司玥过生日时，韩路一和她一起去过的那家。
　　
　　赵文渊听说后还抱怨了一句：“怎么回了海城还吃烤鸭啊？”结果直接被苏念念怼回去：“在京城的时候吃了几次烤鸭？”赵文渊想了想，还真是一次都没吃过。
　　
　　下班后，江松然、薛兆恒、宋嘉宁和苏念念各有司机送过去——毕竟是庆功宴，晚上大概率要喝酒；只有赵文渊蹭了韩路一的车。
　　
　　几人进了包厢才发现，顾司玥到得最早，却还没入座，正在一旁的沙发上等着。
　　
　　韩路一自然坐主位。他眼神一示意，赵文渊便抢先坐了左手边；余下几位男士依次落座，再过去是宋嘉宁，最后只剩韩路一右手边两个空座。
　　
　　苏念念看了看剩下的两个位置，拉开外侧椅子，坐到宋嘉宁旁边。
　　
　　顾司玥也没说什么，走到韩路一旁边坐了下来。
　　
　　韩路一轻咳一声，说道：“今天有了一个阶段性进展，对我们接下来的发展很重要；把大家叫来，就是简单庆祝一下。”
　　
　　薛兆恒感慨道：“韩总，我跟您说，我当时真开始琢磨怎么把HBM去掉了。”
　　
　　江松然饶有兴趣地问：“还真能去掉？你想到了什么好办法？”
　　
　　“哪有什么办法啊，愁得我都睡不着觉。要是没有HBM，这片上的传输速度怕是连片间速度都赶不上。”
　　
　　江松然拍拍他的肩膀，说：“还好韩总给你救回来了。”随即转向赵文渊，问：“文渊，刚才老薛的话倒提醒我了：我们的训练体系有没有机会再改进一下？尽量在内存里多算一点儿，把传输上的浪费避掉。”
　　
　　“江总啊江总，升职之后就脱离一线了吧？你这话说晚了，我们团队早就和老薛一起研究过了。”赵文渊接过话头，说道，“这次我们算是从头做软硬件协同，吸收了不少这些年业内的先进经验，不比当初在谷歌时差。”
　　
　　苏念念出声打断他们：“几位技术专家，咱们今天是庆功宴，技术讨论还是留到办公室里吧，先把菜点了。”
　　
　　在烤鸭店，烤鸭自然必点；另点了几个冷热菜和饮料酒水。苏念念点完，韩路一看了一眼，又添了两个辣菜。
　　
　　既是庆功宴，共同举杯的环节自然少不了。顾司玥自己开车，喝矿泉水；其余几人则喝红酒和白酒。
　　
　　司机和秘书们在隔壁还有一桌，负责送他们回家。
　　
　　菜上来后，韩路一举杯算作开场，大家便各自闲聊起来。
　　
　　江松然和赵文渊这两位从美国回来的高级人才且不论，薛兆恒倒是比较守老派饭局的规矩——只是来到起源后，他专注研发岗位，参加这种饭局的机会也少了。
　　
　　这位芯片部门副总裁起身对韩路一说：“韩总，我敬您一个，感谢您把我们部门这么大的危机给扛了。”说完，一口干了杯中的茅台。
　　
　　江松然和赵文渊这才后知后觉，觉得自己是不是也该表示表示。
　　
　　韩路一看了看几人的反应，有点儿哭笑不得，和老薛把杯中酒喝了，赶紧嘱咐道：“老江、文渊，咱们今天都是自己人，内部庆功，就别搞这些形式主义了；大家想喝就喝，喝不了也不用强求。”
　　
　　真论酒局经验，做过多年合伙人的宋嘉宁或许比薛兆恒还丰富些，只是她仍在观察大老板的风格。如今韩路一发话，她便低头安心吃菜，偶尔和身边的苏念念，以及再旁边的顾司玥说两句话。
　　
　　没了白酒热场，大家到底都是朝夕相处的同事，很快便聊开了。一群人坐在一起，话题又很快转到技术上；尤其L200的研发进度，是江松然和赵文渊共同关心的。
　　
　　江松然半开玩笑地开口：“从现在的进度看，月底把设计敲定，流片应该不会耽误，老赵你那边的算力很快就能富裕起来啦。”
　　
　　赵文渊叹了口气，说：“老江，江总，我知道你筹措算力不容易，可你这饼我吃不下了。别的不说，你现在再多匀我五千张L100，汤圆2.0的训练进度都能快不少。”
　　
　　江松然脸色一变，不吭声了。
　　
　　给你一万张L100已经是榨干了，还要五千张，你可真敢要。
　　
　　韩路一打断两人的互动，问：“文渊，2.0的进度怎么样了？”赵文渊是突然被他从京城叫来的，到现在还没正经汇报过。
　　
　　赵文渊此时已喝了几杯白酒，脸色酡红；说起研究进度，脸上露出些激动神色。
　　
　　“研究团队有些特别的想法，我觉得很有趣，趁这次机会都加进了预训练。最主要的调整在模型架构上——”
　　
　　赵文渊放下筷子，举起双手比划了一个圆，接着说道：“业内不是一直说，模型参数越大，模型能力越强，可需要的算力也越多吗？我们的算力一直不够用，就探索了一个新方向：让参数量继续增长，但每次实际参与计算的参数量不必跟着增长。”
　　
　　“MoE架构？这个你之前不是说过吗？”韩路一问，“汤圆1.0现在已经是MoE架构了吧？”
　　
　　赵文渊露出些许得意，说道：“对，是MoE，但不是普通的MoE。”
　　
　　“讲讲。”
　　
　　赵文渊说：“之前业内通行的混合专家方案，是把前馈网络分成几个专家模型并行参与计算，这中间会造成大量重复知识。我们这次提出了一个共享专家角色：大量共通知识交给共享专家，特定类型的任务再由专门专家模型负责，尽量避免重复学习造成的浪费，专家领域分类也能变得更细。”
　　
　　江松然的注意力也被吸引过来，插嘴问：“那不是还要解决不同专家之间负载均衡的问题？专家变多，这个问题也变得更难了吧？”
　　
　　说到这儿，他意识到了什么；果然，旁边的赵文渊笑道：“我们最近在路由方面可是积累了不少经验啊。”
　　
　　赵文渊之前走基于编码器BERT的路线，做出了豆汁儿模型：参数小、运行快，对给定小范围输出的任务表现很好。这个新模型如今在算力分配的路由任务中承担着重要作用，凭空把算力利用效率提升了一大截。
　　
　　

（本章未完，请点击下一页继续阅读）