第101章 转型！

作为本次ICCV大会的正式参会作者,杨力昆有一篇关于卷积网络特征提取与无监督预训练的第一作者论文被大会录用了,需要在此后的分论坛上进行宣讲。

因为纽约大学的教学工作以及一些行政事务,他不得不推迟了行程,错过了今天白天的开幕式和ImageNet挑战赛的结果公布。

走到行李提取处,杨力昆掏出手机,取消了飞行模式。

随着信号重新连接,手机开始振动起来,一连串的未读邮件、短信和学术讨论组的提醒如同潮水般涌入屏幕。

他本以为这些只是同行之间例行的问候,或者关于明天报告日程的确认。

然而,当他习惯性地滑开锁屏,看到屏幕顶端挂着的几条来自老友辛顿的未读短信时,眼神不由得顿住了。

“杨,你到巴塞罗那了吗?如果在现场,立刻去ImageNet挑战赛的现场!”

“Qlnet基于CNN,在ImageNet测试集上错误率只有15%!”

“只差两个月,戴维·鲁梅尔哈特就可以听到这个好消息了,可惜了。”

“杨,还有戴维,我们是对的!”

杨力昆停下了脚步,推着行李箱的手不由握紧了。

15%?!

这错误率远低于市面上所有深度学习模型了吧?

杨力非常清楚在ImageNet那上百万张图片,一千个分类的超大规模数据集上,此前学术界用传统的SIFT特征配合支持向量机折腾了数年,错误率也只能艰难地维持在29%左右。

而现在,有人用CNN把这个数字拉到了15%?

杨力昆感到自己的心脏有些失律地跳动起来。

在过去的十几年里,他和辛顿、本吉奥如同三个在黑夜里并肩夜行的朝圣者,固执守着联结主义的阵地。

主流学术界对神经网络避之不及,无数次在经费申请和论文评审中给他们吃闭门羹。

他本人在纽约大学也承受了巨大的压力,不得不经常用层次化特征学习这样更符合主流大众口味的词汇来包装自己的CNN研究。

现在告诉他,居然有人在CNN上取得了成功?

杨力昆立刻拨通了辛顿的电话。

电话几乎被秒接了起来,那头传来了辛顿异常亢奋的声音:“力昆!你看到消息了?”

“辛顿,这消息是真的吗?”杨昆努力保持克制,“15%的错误率,是谁做出来的?是你们实验室的模型吗?”

“不,不是我们。”

“是一个来自华国年轻数学学者,叫漆昊,他带去了一个叫作Qlnet的深层卷积神经网络。

"Qlnet, "

“他是怎么解决深度网络梯度消失问题的?他的计算设备是什么?难道也是GPU ?"

“没错,他不仅用了GPU,而且在网络深度、随机裁剪、数据增强等工程细节上,做了创新,力昆,他用的是你当年创造的卷积网络架构,但他把它的层数加深到了前所未有的高度!”

“他用事实证明了,我们这么多年来坚持的方向是完全正确的,在足够的数据和算力面前,传统的特征工程已经过时了!”

听着电话里辛顿激动的话,杨力昆靠在行李提取处的廊柱上,有些出神。

那一瞬间,过去数年里遭受的所有冷眼,质疑和自我怀疑,似乎都在巴塞罗那温润的夜风中消散了。

他突然感觉到了一股前所未有的动力。

他一直深信CNN的潜力,但由于各方面的限制,他自己的实验室在此前也未能跑出如此惊世骇俗的成绩!

现在,一个华国青年漆吴,用一套名为Qlnet的模型,在ImageNet这个舞台上,当着全世界计算机视觉顶尖学者的面,把传统学派的骄傲击得粉碎。

“力昆,你明天有报告对吧?我打赌,明天的会场会彻底疯狂。”辛顿说道,“我已经准备去巴塞罗那了,我们必须尽快弄清楚QInet在架构设计上的一些细节,如果你见到他,务必代我向他致敬。”

“我会的,辛顿,事实上,我现在就迫不及待想去会场了。”

挂断电话后,杨力推起行李箱,大步朝机场出口走去。

伦敦,DeepMind那间塞满了服务器线缆的临时办公室里,哈萨比斯正盯着屏幕上社交媒体的信息。

有人在上面分享了巴塞罗那ICCV的ImageNet测试结果。

当他看见第一名的成绩后,整个人僵在了原地。

在过去的几个月里,他那支刚刚成立,誓要解决智能问题的团队,正深陷于如何让算法理解高维图像特征的难题中。

为了让强化学习算法学会玩雅达利游戏,他们尝试了无数种手工特征工程,试图从几万像素的画面中提取出边界和小球,但那些自以为聪明的传统数学规则,在动态画面面前脆弱得像纸糊的一样,稍微一有抖动就直接宣告失

败。

而现在,屏幕上那个由华国青年漆吴创造的,名为QInet的深层卷积神经网络,却将imagenet复杂图片分类错误率,降低到了15%?

“这不可能......他怎么做到的?”哈萨比斯疯狂地在网络上查找相关信息。

还试图联系了在ICCV现场的人。

在得知QInet用了CNN模型,并且使用了数据增强和GPU矩阵乘法之后,哈萨比斯突然醒悟了!

如果把这个QInet的架构剥离掉最后的分类输出层,直接作为特征提取器拼接到他们的强化学习算法上,那他们的游戏AI就不再需要人类去教它什么是小球,什么是挡板了!

它自己就有可能用眼睛看懂一切像素!

“这华国人真特么的是个天才。”哈萨比斯顾不上现在的时差,当即抓起手机,跨洋拨通了他们最重要的早期投资人,马斯克的电话。

此时,加州SpaceX总部办公室内。

刚刚熬夜开完猎鹰9号火箭梅林发动机阀门改进会议的马斯克,正瘫在椅子上,喝着红牛,当看到屏幕上跳出哈萨比斯的来电时,他随意地按下了接听键。

“哈萨比斯,如果你的模型还没学会玩游戏,那我建议你长话短说,因为我正忙着阻止特斯拉Model S在量产前夕把我的钱包烧光。”

“埃隆,听着,先别管你的火箭和电动车了。”哈萨比斯忽略掉了马斯克的冷幽默。

“我可能真的找到了让AI学会玩游戏的方法了。”

马斯克直起身子,突然有了兴趣:“哦?是哪个硅谷大厂又搞出了什么能自动过滤垃圾邮件的划时代算法吗?如果是这种无聊的把戏,我可没空。”

“不,不是硅谷,是巴塞罗那的ICCV挑战赛。”

“一个叫漆昊的年轻学者,带着他设计的QInet卷积神经网络,在ImageNet挑战赛上把分类错误率干到了15%,你要知道,第二名那帮自诩精英的施乐欧洲研究中心,用尽了浑身解数,也才跑出26%的成绩。”

马斯克虽然不是人工智能领域的专业学者,但他是一个崇尚第一性原理的疯子,对于断层式领先11%这种数据上的超越,他瞬间抓住了关键。

“15%26%?"

这不合理,传统学术界那帮家伙不是天天在论文里论证,说神经网络在特征提取上有缺陷,叠层数解决不了问题吗?这个漆吴是怎么解决基础算子的空间平移不变性的?”

“这就是他最厉害的地方!”

“本没有在算子层面做任何复杂的几何证明,他只是对数据进行了随机裁剪和镜像翻转,然后用了两张英伟达的显卡,靠着算力,让模型在庞大的数据洪流中自己学会了空间不变性!”

“马斯克,你明白这意味着什么吗?我们一直在做的游戏AI,那个困扰我们许久的视觉输入瓶颈,现在有了解决办法了!”

“等等,哈萨比斯,你确定这个QInet跑出的数据是对的?”

“评测服务器没有作弊的可能,那是李教授的团队多次验证后的结果。”

“这个世界上总有一些怪物,他们能看到我们看不到的盲区,我认为漆吴就是这样的人。”

“有意思,太有意思了。”马斯克想着他的汽车和火箭,心中的火苗逐渐热烈了起来。

加州山景城,谷歌总部的一间实验室里。

这里是刚刚成立不久,被外界寄予厚望的谷歌大脑项目基地。

服务器排气带来的燥热总是围绕着这个地方,此时数十个监控屏幕上正飞快划过一行行数据流。

项目负责人吴恩达正与谷歌架构师杰夫并肩站在一起,看着他们那引以为傲的分布式系统跑出的成果。

为了让神经网络学会从油管视频中自动识别出猫的特征,他们动用了谷歌的服务器资源,拼凑出了一个拥有达2000个CPU核心的庞大集群。

“杰夫,虽然无监督预训练的参数调整非常繁琐,但看着这个拥有十亿级参数的模型开始在庞大的集群上收敛,我真的觉得,我们正在接近真正的人工智能。”吴恩达骄傲地说。

然而,还没等杰夫点头赞同,吴恩达手机震动了起来。

当他滑开锁屏,看到了十几封来自斯坦福大学实验室学生以及谷歌内部AI研究员们相继转发过来的ICCV现场速报。

“怎么了,难道是哪里的分布式节点又发生内存溢出了?”杰夫察觉到了老友的异样,半开玩笑地凑了过来。

“杰夫,不是溢出。”吴恩达将手机屏幕递到了杰夫面前,“刚刚从巴塞罗那传来的消息,今年的ImageNet挑战赛结果出炉了,有人用卷积神经网络,把错误率直接干到了15%。”

“15%?!”

即便是见惯了各种先进技术的杰夫在听到这个数字时,也惊讶了。

“是哪个国家实验室?是BM那帮家伙用超级计算机跑出来的?”杰夫眉头紧锁,脑海里瞬间闪过全球顶尖算力中心的名单。

“不,是一个来自华国的年轻数学学者,叫漆昊,他的模型叫QInet。”

“他没有使用超级计算机集群,甚至没有动用任何大型服务器,他只用了两张英伟达的商用显卡。”

实验室里顿时陷入了死一般的寂静。

吴恩达现在内心复杂极了。

作为早在2008年就撰写论文极力倡导利用GPU进行大规模神经网络训练的先驱,他当初在加入谷歌后,曾极力向高层推荐GPU路线。

然而,在谷歌工程文化中,CPU才是包治百病那个选择。

谷歌拥有世界上最庞大最成熟的CPU闲置集群,在庞大的工程惯性下,谷歌大脑项目最终还是选择了用2000个CPU核心来堆叠参数。

“杰夫,我之前就说过,在处理神经网络这种本质上是高并发高密度矩阵乘法的运算时,CPU那庞大的控制单元就是灾难。”

吴恩达忍不住叹了口气,既有对自己理论被证实的欣慰,又有眼睁睁看着首发红利被旁人夺走的复杂情绪。

“实话说,和QInet相比,我们现在的这个集群,可能更适合放办公室里当冬天的取暖器。”

杰夫·迪恩并没有因为吴恩达的吐槽而生气,他现在已经完全被QInet的系统工程设计所吸引。

杰夫转过头,看着吴恩达:“老伙计,CPU可能在深度学习领域已经宣告结束了,我必须去找拉里,谷歌必须在最短的时间内,不惜一切代价扫货市面上所有的卡,把我们的分布式系统全部重构成GPU架构。”

“我完全赞成。”吴恩达点了点头,“而且,比买显卡更重要的,是人。”

“漆昊。”杰夫缓缓念出那个华国青年的名字。

加州,英伟达。

“我真蠢,真的,我怎么会犯下这种的愚蠢错误......”老黄看着电脑上的信息,后悔极了。

早知道前几天他就飞到巴塞罗那去了。

当时的老黄欣赏漆昊,但满脑子都是新一代GPU的事,至于那个在学术界被唱衰了多年的深度学习领域,在他看来不过是高校实验室里用来骗经费的学术玩具,不值得他拋下工作,浪费时间去巴塞罗那。

可谁能想到,他欣赏的漆昊,就把整个人类计算机视觉领域的纪录,往前大幅度推进了!

“黄总,其实你也不用太自责。”

站在办公桌对面的英伟达CTO首席技术官看着自家老板这副快闷闷不乐的模样,试图安慰道:“至少这个结果证明了,我们的CUDA路线是完全正确的。之前华尔街那帮分析师天天在财报会议上指责我们,说我们每年在CUD

A生态上砸钱和把钱扔进太平洋没区别。”

“现在Qlnet一出来,过不了多久他们就得闭嘴了。”

老黄不满地说:“这帮只知道看财报的华尔街白痴懂什么?!”

“说实话,连吴恩达都不懂我们芯片的重要性。”

“他现在用几千颗CPU做庞大的分布式,我们送过去的几张GPU他有可能都没用,但漆昊不一样,他是在用GPU矩阵乘法,向全世界证明了GPU在深度学习领域的重要。”

“这是我们英伟达有史以来最重要的一支广告,可惜,这支广告的主角,现在却在巴塞罗那!”

CTO微微一愣,显然还没能完全跟上老黄那超前商业嗅觉,有些迟疑地问道:“黄总,如果按照你的看法,既然现在QInet已经把计算机视觉分类的错误率降到了15%,这意味着计算机视觉问题已经在事实上被解决了大半。”

“那么,接下来人们还可以教计算机去做些什么?识别红绿灯?还是在工厂流水线上自动分拣苹果?”

“不,不是分拣苹果,也不是识别红绿灯。”

老黄敏锐地说:“是所有的一切。”

“听着,十到二十年后,神经网络将会改变整个人类社会。”

“不管是医疗、汽车、金融还是航天,而我们要做的,就是通过我们的CUDA,垄断这场变革中所有的硬件基础,也就是说,只要他们想用算法改变世界,就必须向我们购买算力!”

老黄越想越激动,他开始亲自起草一封发给英伟达全体员工的加急邮件。

“......从今天开始,英伟达将不再仅仅是一家图形芯片公司。”

“所有的部门,所有的研发线,所有的资源,必须立刻,无条件地向深度学习和并行计算倾斜,我们必须在整个科技界反应过来之前,完成从游戏显卡商向深度学习算力巨头转型!”

当按下发送键的那一刻,老黄感觉自己仿佛亲手开启了一个全新的时代。

“黄总,邮件已经发出去了。”CTO看着老黄那张因为兴奋而泛红的脸,小心翼翼地开口问道,“那漆昊那边,我们需要怎么接触?是派分公司的负责人去,还是联系他在国内的高校,提供一些赞助?”

“赞助?开什么玩笑!”

“现在肯定有无数的科技巨头在往巴塞罗那送机票,谷歌、微软等等,如果这时候我们还端着架子,等我们反应过来,再想要找漆吴合作就难了。’

老黄说完,站了起来往门外走去。

“黄总你要亲自去?”

走到门口,老黄突然停下脚步,转过头:

“我去巴塞罗那必须亲自了解一件事,这个惊艳了世界的QInet模型,到底是漆昊一个人在实验室里训练出来的,还是他背后其实有一个我们尚未察觉的研发团队?”