推广 热搜: 免费网赚论坛  中国网赚  如何网赚  在家上网赚钱  网赚qq群  福缘网赚  酷我网赚  网赚博客  网赚任务平台  外国网赚 

Transformer八子:新硅谷「叛徒」铸就 AI 世界「至尊魔戒」

   日期:2023-05-24 16:20:51     浏览:76    
核心提示:Transformer八子的出现与出走,既是起势,也是顺势。

Transformer八子的出现与出走,既是起势,也是顺势。

编者按:本文来自微信公众号硅兔赛跑(ID:sv_race),作者:椎名,编辑:Zuri,创业邦经授权发布。

“One ring to rule them all”

这是电影《魔戒》中的一句经典台词,用以形容一枚占据绝对统治地位的至尊魔戒。

通用人工智能领域,也曾出现过这样一枚“至尊魔戒”。它的登场,同样有着一个在学术圈来看违背祖训、惊世骇俗的论文标题——“Attention Is All You Need”。

站在AIGC如火如荼、各种类GPT模型层出不穷的2023年回望,当时这篇论文的标题有多“狂妄”,这枚魔戒的影响力就有多大。且与电影中的至尊魔戒带来彻底的毁灭不同,这枚AGI的“至尊魔戒”指向全新的创造。

那么,又是谁创造了这枚“至尊魔戒”?他们如今在何方,是否又在酝酿着新一轮的AI风暴?

图片

现在我们都知道OpenAI开启了GPT时代,但再往前追溯,它是站在巨人的肩膀上才能采摘下来的成果,这个巨人的肩膀就包括了2017年发表的这篇“Attention Is All You Need”。

这篇论文提出了名声大噪的Transformer架构,是谷歌著名算法BERT中最重要的部分,更是ChatGPT 末尾的“T”。

尔后,Transformer 势如破竹,从自然语言处理机器翻译开始,席卷整个 NLP 领域。

如今6年过去,ChatGPT几乎是Transformer结下的最丰厚的果实,而耕种了Transformer架构的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin,大多数现在不在谷歌工作。事实上,其中有七人不再驻足留恋于谷歌这颗苍天大树之下。

我们统计,“Transformer八子”中,“转投小厂派”一人:Lukasz Kaiser则已在2021年加入 OpenAI担任研究员。

图片

Llion Jones是8人中目前唯一还在谷歌工作的,只是工作地点换到了日本。他曾打趣地表示,自己对论文作出了最有意义的贡献,是写下了Attention is all you need这个“大逆不道”的标题。

图片

Llion Jones

其中,创业派6人选择了自立门户,且基本上从谷歌一出来就已经获得了 VC 的支持。

文章链接:http://900614.com/news/show-26617.html 内容来源:
 
 
更多>同类资讯

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报