CloseAI提示您:看后求收藏(笔趣阁www.biqugie.com),接着再看更方便。
果抛开计算能力去谈论AI算法,完全是空中楼阁。
“谷歌有决心打造世界上最强力的算力平台,我们一定会让优秀智慧的算法最大程度上发挥它们的价值。”
对于杰夫的这个决心,孟繁岐并不怀疑,这正是他初期选择谷歌的原因。
“算力的含义比较纯粹,也好理解。但算法的含义太多,其实我个人倒是觉得,网络结构本身的设计不是什么重点和核心的东西。
真正想要改变世界,需要足够简单易用的框架和平台,要易于部署,在运算的数据类型上做优化加速。”
这个阶段,业界非常关注神经网络的设计,具体哪一层怎么设计,用什么操作比较好。
这个时期,这么做起到的收益也十分巨大,比如去年的AlexNet和今年的DreamNet,都有很恐怖的提升。
不过在孟繁岐看来,AI时代后期的结构就不怎么变化了,最重要的还是大力出奇迹,加上他很清楚什么任务用什么结构比较好,结构设计对他来说太过简单。
“当竞争走到最后,大模型的训练技术,和海量优质资源更为关键一些。”
杰夫和辛顿偷偷交换了一下眼神,感觉怪怪的。
本来是杰夫来给这个还在学校里接触研究的本科生展现一下谷歌的野望,什么多领域开花,最大的计算平台之类的。
怎么感觉这小子对AI工业的主要痛点问题了解的如此清楚,不像是象牙塔里搞研究的样子。
学界研究AI,主要是为了验证某个猜想,提升具体的指标。
工业AI则更加务实一点,怎么实现需要的资源少,怎么做模型的速度更快,怎么样才能部署到不同的设备上。
两边经常彼此看不惯,学界觉得工业界就是干脏活累活的打工仔,没什么创新突破。工业界则觉得学界就会写论文吹牛,做出来的东西大家根本用不到。
杰夫和辛顿可以说是工业界和学界的代表人物了,杰夫就连读书的时候,所写的毕业论文都是工业方向的,大型神经网络的并行训练。
那时候才1990年,杰夫已经开始研究2023年最为核心的技术,大模型的训练方法。
“我不得不说,我本以为连续做出算法方面突破的你会是一个偏学界风格的人。”杰夫表情诧异中带着惊喜,“没想到你看待问题的思维和我们工业界的需求非常符合。”
杰夫接触过的出色学者很多,甚至就连辛顿都带有学界的思维