第三百八十六章 什么汤圆1.0?我没听说过啊 (第2/2页)
汤圆1.0去哪了?
终于,瑞恩点名了《纽约时报》的记者。他曾经接受过对方的深度采访,合作还算愉快。
金发碧眼的女记者从工作人员手里接过话筒,没有任何寒暄的意思,直接问道:“米勒先生,我们收到资料,显示在AIFoundations本次封闭测评的匿名阶段,汤圆1.0模型以93.5的得分排在第一位,远高于金星2.0的72.3分。现在,它却没有出现在最终榜单上。你知道这是为什么吗?”
附近的记者看到这个问题被别人先问出来,都懊恼地叹了口气。
瑞恩站在台上有点儿懵逼。
什么汤圆1.0?我没听说过啊?
他甚至回头看了一下大屏幕,想看看里面有没有汤圆1.0,虽然排名榜单早就已经不在上面了。
我拿第一不是应该的吗?我们花了那么多钱,那么多算力,还进行了针对性训练。
93分又是什么鬼?怎么可能?那不是比金星领先了二十多分吗?
瑞恩在台上愣了几秒钟没有动作。但他毕竟是明星公司的CEO,见过大场面,很快就反应了过来:“不好意思,这个问题和金星、和NexusAI都没有关系。我怀疑你收到的资料是假的,但这应该是主办方来回答的问题。好了,有请下一位记者。”
瑞恩指了指另一个媒体的记者。话筒几乎是被工作人员从女记者手里抢了过来,递到下一位记者手上。
第二个记者马上提问:“你觉得汤圆1.0真的有这样的能力吗?它比金星2.0高出20分的原因是什么?你是通过什么手段让它下架的?”
瑞恩对第二个记者怒目圆瞪。
什么叫我是通过什么手段让它下架的?
我都没听说过什么汤圆1.0!
此时,轮值主席理查德看出来事情已经压不住了,所有媒体都只会追着这一个问题问。
不得已,他站了出来,走到瑞恩身边接过话筒,说道:“记者朋友们,不管你们是从哪里听到的谣言,请相信我,那都是不准确的。组委会确实收到过一款名为汤圆1.0的模型,但因为它的成绩异常,成绩已经被取消了,这是遵循程序的。”
现场已经有点儿混乱。第二个记者还拿着话筒,接着问道:“什么叫做成绩异常?异常的原因是什么?这次封闭测评的结果还可信吗?”
虽然会场的冷气开得很足,但此时理查德的额头已经开始冒汗了。
如果不能好好解释这件事,那对这次封闭测评,甚至对AIFoundations举办的人工智能大会,都是一次公信力的巨大打击。
但理查德根本拿不出什么证据。他们当时大概调查了一下,没发现什么异常,只是分数太高,就不了了之了。
理查德一边斟酌一边开口:“当然,测评标准是经过我们周密设计的,绝对可信——这个模型可能只是一个例外,也许有人——”
说到这儿,他停了下来。
在这个场合下,没有证据就提出指责,太容易被人驳倒了。
突然,一个声音接过了他的话。
“有人把题偷了出来,让这家公司提前进行了针对性训练?”说话的人正是林伟伦。
作为新加坡国立大学的合作方负责人,连场地都是他联系的,拿到一个话筒自然是轻而易举。
他一边说话一边走上台,站在理查德和瑞恩的对面,停了下来。
“科尔曼教授,你刚才提出的,真的是非常严重的指控。”林伟伦转身看向台下,说道,“训练汤圆1.0的厂商——源智科技——的代表们此时此刻就在现场。请你们上台,和科尔曼教授现场对峙吧。”
早在风波刚起时,就已经有人留意韩路一这边的状况;林伟伦这一番话说完,更多的目光投了过来。
在众多目光的注视下,韩路一站起身。
今天为了这次活动——这场和理查德、瑞恩之间的活动——韩路一特意穿上了顾司玥送给他的一身浅灰色西装。配上他高大帅气的建模和那种宠辱不惊的逼王气质,视觉冲击力很强。
他不疾不徐,一步一步走到台上。
周围越来越多的目光集中在韩路一身上,直到他从林伟伦手中接过话筒。
“作为被AIFoundations主动邀请来参加这次会议的人,我感到非常困惑。”韩路一缓缓说道,“测试是主办方邀请我们参加的,我们只是正常提交了模型的接口,现在却受到这样的指责。”
“从我们接到邀请到最终提交,只有几个星期。如果大家对模型训练有所了解,就应该知道,即使有参考答案,要做训练也来不及。”韩路一转向理查德,说道,“不知道科尔曼教授说我们偷了测试集,有什么证据吗?”
理查德没有回答韩路一的问题,而是向现场观众解释道:“这次封闭测试之所以有效,很大的原因是我们进行了隔离式的沙盒环境,模型不能自己根据考题进行迭代。但鉴于汤圆1.0已经进行过一次测试,如果用同一套测试集让它再做一次,我们就很难保证结果的公平和公正了。”
他其实已经在给自己找台阶下:如果汤圆1.0现在再做出90多的高分,那也不是因为模型强,而是因为上一轮测试中他们已经知道了考题,现在可能已经针对性调整过了。
韩路一站在台上笑了笑。
“我们都知道,想要证明自己的清白有多难。我也不是来自证清白的。”
韩路一看了看台下的观众,说道:“我想,大家之所以来参加人工智能会议,是想看到人工智能有真正解决问题的能力,而不是为了看看几个模型的分数。既然如此,倒不如就在今天,就在现场——”
“让大家体验一下最新一代模型所具有的能力。”
话音刚落,台下已经响起了掌声、尖叫声、起哄声。
两家顶尖模型公司现场Battle,这不比听瑞恩讲什么安全性重要、战略级武器有意思?
理查德站在原地,进退两难。
大会的议程早就定好了,后面还有主会场和各个分会场的演讲。现在横插一个现场体验进来,怎么安排?不是全乱套了吗?
倒是瑞恩,看到现在这个场面之后,信心满满地向前一步。
“韩先生,只是开放接口,让人们现场体验,怎么能直观地分出好坏?”瑞恩说道,“我看倒不如就用之前搭建的沙盒环境,让所有模型都接入,再由现场观众投票选出一个复杂任务。同样的提示词给所有模型,看看谁的完成度最高,如何?”
韩路一看向瑞恩。
虽然两人之前邮件交流过、视频过,更在各种会议中谈论过对方,但这还是两人第一次在现实中见面。
视界打开。
【瑞恩·米勒】
【职位:NexusAI创始人、CEO】
【情绪:自信、激昂】
【核心动机:金星2.0模型能力内部验证极为优秀,一定能在现场测试中取胜】
韩路一心下了然:不管是理查德还是瑞恩,他们是真的不相信汤圆1.0的能力超过了金星2.0,也不信之前测试中93.5的得分是真实成绩。
“好。”韩路一答应了下来。
林伟伦带着几名同事迅速把之前测评中心机房里的沙盒环境拉了过来,让想要参与实时测试的厂商现场就能接入。
而韩路一则把电脑接入了大屏幕,现场用御风写了一个投票程序,GitHub开源,然后部署在鼎盛云上,再把写好的程序运行在大屏幕上。
前后花了不到五分钟。
这是一场给御风智能体工具和鼎盛云的活广告。所有的开发者都能看见,完成这样一个需求的效率有多高。
很快,观众们自主发起的复杂任务提示词被一条一条添加,然后根据点赞数排序。
最终得赞最高的那个提示词,就将成为今天的唯一测试题。
瑞恩拿着话筒,继续细化流程。
“长程任务可能会长达几个小时。为了让大家都能在今天查看到结果,我们将在提示词中添加最长可以运行的时间——”说到这儿,他抬手看了看表,此时已经是上午十一点多,“五个小时。到下午五点必须停止运行,然后运行的结果开放给大家自由查看。”
瑞恩没说评判标准是什么。
在这一点上,他和韩路一不谋而合。
榜单上的分数并不重要,真正重要的是让潜在用户了解到模型所具有的解决问题的能力。
如果你是最强模型这件事已经能够深入人心,那什么榜单都没有必要了。
韩路一听完之后在旁边点了点头。瑞恩提出来的赛制其实还挺公平的。
这更像是一场针对模型的黑客松比赛:统一出题、限制时间,最后的结果由观众们决定。
时间临近十二点,观众们投票选出来的复杂任务此时也已经确定了。
任务只有短短的一句话。
赵文渊看到的时候不禁一笑。
那句话是——
“BuildmeaMinecraft(给我写一个《我的世界》)。”