“遥遥领先”GPT-4?谷歌最强AI大模型Gemini发布一天便引质疑!公司承认6分钟视频经特殊剪辑处理,非实时画面

每经记者:蔡鼎 每经编辑:兰素英

美东时间12月6日,谷歌CEO桑达尔?皮查伊宣布迄今为止规模最大,能力最强的谷歌大模型Gemini 1.0 版正式上线。Gemini是原生多模态大模型,是谷歌大模型新时代的第一步,它包括三种量级:能力最强的 Gemini Ultra,适用于多任务的 Gemini Pro,以及适用于特定任务和端侧的 Gemini Nano。

皮查伊官宣推文发布后,马斯克也在下面评论称,“(Gemini)令人印象深刻”。当天,谷歌还发布了一条约6分钟的延时演示视频,展示Gemini的多模态功能(例如,口语对话提示与图像识别相结合)。截至发稿,该视频在YouTube上已经收获141万次观看。

然而,Gemini发布才一天,外界已开始有声音指控谷歌对Gemini的性能“造假”。

其中,彭博社一篇专栏文章就表示,谷歌在一段演示视频中歪曲了Gemini的AI性能。专栏作家帕米·奥尔森(Parmy Olson)认为,在谷歌发布的这段视频中,Gemini似乎非常强大,但有点过于强大了。对此质疑,谷歌回应时承认,这段关于Gemini性能演示的视频并不是实时的,而是使用了原始镜头中的静止图像帧,然后编写了文本提示,以便让Gemini做出回应。

6分钟演示视频引质疑

奥尔森认为,Gemini的演示视频确实非常令人印象深刻。Gemini能够仅凭一些毫无规则的点就可以推断出绘制内容是一只螃蟹,显示出谷歌DeepMind人工智能实验室多年来训练的大模型推理能力。不过,奥尔森指出,谷歌这段视频中展示的Gemini所具备的一些功能并不是其独有的,ChatGPT Plus也具有类似的推理能力。

图片来源:谷歌

《每日经济新闻》记者注意到,在这6分钟的视频中,Gemini似乎能够快速识别图像,并在几秒钟的时间内做出反应。然而,如果用户点击发布在YouTube上的这段视频的描述,谷歌写了一个重要的“免责声明”,称“为了达到Gemini的演示目的,延迟已经被人为减少,Gemini的输出时长也为了简洁而被缩短。”这意味着,Gemini实际回答每个问题所花费的时间要比视频演示中的更长。

机器学习讲师Santiago Valdarrama在X平台上发文暗示,谷歌上述视频的“免责声明”似乎“展示的是精心挑选的好结果,不是实时录制而是剪辑的。”他直言,“这就是误导,任何参与到其中的人都应该感到尴尬。”

图片来源:X

此外,谷歌公布的MMLU多任务语言理解数据集测试显示,Gemini Ultra不光超越GPT-4,甚至超越了人类专家。然而,不少业内专家发现,在MMLU测试中,Gemini Ultra的结果下面有灰色小字标CoT@32,代表使用了思维链提示技巧、尝试了32次后选取最好结果。而作为对比的GPT-4,却无提示词技巧,且只尝试了5次。

图片来源:谷歌

否认造假,Gemini负责人称只是为了简洁缩短了反应时长

美国科技媒体The Verge报道中称,公平地说,这并不是大型科技公司首次对其产品演示视频进行剪辑处理,除了谷歌外,其他大型科技公司为了避免现场演示带来任何技术性问题,都会稍微对视频进行调整,这也非常普遍。

但对于视频“造假”一说,谷歌坚决予以否认。谷歌DeepMind和深度学习副总裁、Gemini联合负责人奥里奥尔·维亚莱斯(Oriol Vinyals)在一篇博客文章中,解释了Gemini演示视频的制作过程:性能演示视频不是实时的,而是使用了原始镜头中的静止图像帧,然后编写了文本提示,并要求它通过预测来做出回应。

“视频中的所有用户提示和输出都是真实的,只是为了简洁而缩短了(Gemini的反应时长)。这个视频展示了使用Gemini构建的多模式用户体验,我们制作它是为了激励开发者。”维亚莱斯强调。

奥尔森对此却并不买账。她在专栏文章中写道:“这与谷歌描述的完全不同——谷歌称,任何人都可以与Gemini进行流畅的语音对话,因为Gemini可以实时观察周遭世界并做出反应。”

她同时指出,谷歌官方发布的Gemini各模态性能显示,Gemini Ultra(下图中蓝色部分)在9项标准基准测试中的7项都优于GPT-4。这些基准测试往往用于测试人工智能模型在高中物理、专业法律和道德场景等方面的能力。

图片来源:谷歌

然而,在大多数基准测试中,Gemini Ultra只比OpenAI的GPT-4高出几个百分点,有些甚至不到1个百分点。奥尔森认为,换句话说,谷歌这个所谓的顶级人工智能模型只对OpenAI一年前完成的工作进行了有限的改进。

需要指出的是,谷歌的6分钟Gemini演示视频并没有说明演示的模型是Gemini Ultra。

奥尔森认为,一年前,谷歌这个“笨拙的搜索巨头”被OpenAI的ChatGPT打了个措手不及,此后便一直希望赶上生成式人工智能这股浪潮。谷歌希望通过强大的营销让人们记住,它拥有世界上最强大的人工智能研究团队之一,并且比其他任何人都能获得更多的数据。但从技术角度来看,在生成式人工智能方面,谷歌仍然落后于OpenAI。

不过,在科技行业,谁也不能保证一直一帆风顺,屹立不倒。早期的手机霸主诺基亚和黑莓就是例子。在苹果推出功能更强大、更受欢迎的产品iPhone后,诺基亚和黑莓的市场份额便迅速被抢走。而在软件领域,市场的成功则来自于拥有最强大性能的系统。

每日经济新闻

标题:“遥遥领先”GPT-4?谷歌最强AI大模型Gemini发布一天便引质疑!公司承认6分钟视频经特殊剪辑处理,非实时画面

地址:http://www.hmhjcl.com/xiyiji/60415.html