Transformer八子的出现与出走,既是起势,也是顺势。
编者按:本文来自微信公众号硅兔赛跑(ID:sv_race),作者:椎名,编辑:Zuri,创业邦经授权发布。
“One ring to rule them all”
这是电影《魔戒》中的一句经典台词,用以形容一枚占据绝对统治地位的至尊魔戒。
通用人工智能领域,也曾出现过这样一枚“至尊魔戒”。它的登场,同样有着一个在学术圈来看违背祖训、惊世骇俗的论文标题——“Attention Is All You Need”。
站在AIGC如火如荼、各种类GPT模型层出不穷的2023年回望,当时这篇论文的标题有多“狂妄”,这枚魔戒的影响力就有多大。且与电影中的至尊魔戒带来彻底的毁灭不同,这枚AGI的“至尊魔戒”指向全新的创造。
那么,又是谁创造了这枚“至尊魔戒”?他们如今在何方,是否又在酝酿着新一轮的AI风暴?
现在我们都知道OpenAI开启了GPT时代,但再往前追溯,它是站在巨人的肩膀上才能采摘下来的成果,这个巨人的肩膀就包括了2017年发表的这篇“Attention Is All You Need”。
这篇论文提出了名声大噪的Transformer架构,是谷歌著名算法BERT中最重要的部分,更是ChatGPT 末尾的“T”。
尔后,Transformer 势如破竹,从自然语言处理机器翻译开始,席卷整个 NLP 领域。
如今6年过去,ChatGPT几乎是Transformer结下的最丰厚的果实,而耕种了Transformer架构的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin,大多数现在不在谷歌工作。事实上,其中有七人不再驻足留恋于谷歌这颗苍天大树之下。
我们统计,“Transformer八子”中,“转投小厂派”一人:Lukasz Kaiser则已在2021年加入 OpenAI担任研究员。
Llion Jones是8人中目前唯一还在谷歌工作的,只是工作地点换到了日本。他曾打趣地表示,自己对论文作出了最有意义的贡献,是写下了Attention is all you need这个“大逆不道”的标题。
Llion Jones
其中,创业派6人选择了自立门户,且基本上从谷歌一出来就已经获得了 VC 的支持。