推广 热搜: 免费网赚论坛  中国网赚  如何网赚  在家上网赚钱  网赚qq群  福缘网赚  酷我网赚  网赚博客  网赚任务平台  外国网赚 

IDEA研究院张家兴:预训练大模型成为AI新内核

   日期:2023-11-30 12:15:35     浏览:101    
核心提示:IDEA研究院张家兴:预训练大模型成为AI新内核

11月25日,由创业黑马主办的“第15届创业家年会”在北京举办,年会主题为“AI给世界一个确定性”。会上,IDEA研究院认知计算与自然语言研究中心讲席科学家张家兴出席,以《从大模型的视角看AI价值与落地》为主题发表了演讲,并担任“2023黑马AI创新大赛”总决赛的主评委,在大会现场与大赛年度30强企业进行闭门交流会,共同探讨产业趋势与未来。

张家兴在演讲中表示,“我们正在从以深度学习为中心的AI时代过渡到以预训练大语言模型为中心的新AI时代”。他认为:AI技术总是在重复同样的场景,但AI的内核在不断发生变化。从计算到规则、机器学习到深度学习,到现在的大语言模型。每一次AI内核发生变化,我们就会用新的AI技术再重新去思考这些场景,把这些场景重做一遍。

以下为创业家&i黑马编辑过的演讲节选:

01
预训练大模型成为AI新内核

我的团队来自IDEA研究院认知计算与自然语言研究中心,近两年时间不断构建各种大模型并推进落地,这个过程关键的就是“价值”二字。价值是连接技术和落地的关键点,我们努力通过大模型去找到AI新价值点。

我们正在从以深度学习为中心的AI时代过渡到以预训练大语言模型为中心的新AI时代。深度学习为中心的时代,围绕DNN、CNN、RNN、GNN等,开发智能客服、机器翻译等各种应用。ChatGPT的出现让我们认识到预训练大语言模型成为AI新内核。围绕预训练大语言模型构建的新AI场景,比如文生图、角色扮演、新一代的具身智能,是上一个AI时代是无法实现的。当AI的技术内核发生变化时,我们最值得思考的就是AI的技术本质、价值、以及落地方式。

AI内核的变化也是技术范式的变化,其也带来技术价值链条的重建。新AI时代,价值源头是预训练模型,进一步学习技能、对齐场景、对齐任务,继续训练,形成多模型、多模块的协同的智能体,叠加产品、商业、运营的思考,最终推向落地场景。

02
大语言模型创造了各种价值

过去两年,IDEA研究院认知计算与自然语言研究中心研发各种大语言模型,累计开源110多个模型,下载量超过300万,是中国开源大模型最多的团队;中心也基于ChatGPT技术训练出一系列的通用模型与专业模型,持续开源。

大模型价值如何向外呈现有不同的选择。一种选择是把所有能力压到一个模型里,就是通用模型。另一种选择是专用大模型,举个例子,在代码模型领域,以我们的模型Ziya-Coding为代表的众多专业模型都比ChatGPT4做得好。

大语言模型成为多模态中心,可以帮助其他模态。图像生成技术很久了,为什么最近表现出这么强的能力?部分原因是大模型对人类语言的理解能力大幅度增强,可以指导图像的生成。我们用文生图做建筑室内设计,非常复杂的prompt,通过大语言模型的理解,可以生成专业的设计图像。

03
AI落地的技术信仰变迁

第一个技术信仰变迁是技术信仰来自哪里?我们曾经把AI能力的来源归结为数据,有多少数据,就有多少智能。今天发生了AI技术信仰变迁,有多好的基座模型,就有多少智能。尤其是大模型创业,第一个问题是该选用哪个基座模型、该调哪个API,这是我们AI落地过程中第一个技术信仰的变迁。

第二个技术信仰变迁是如何获得技术信仰?以深度学习为中心的AI时代,我们为任务设计模型结构。以预训练大语言模型为中心的新AI时代,我们为GPT模型寻找一个好的训练方法。

第三个技术信仰变迁是技术信仰产生的技术手段。深度学习要想获得AI能力,一定要训练模型,训练模型就是让模型的参数做改变,无论什么样的学习方法,总而言之参数要改变。今天可以直接激发模型能力,模型参数没有任何更改,但可以让模型通过prompt和in-context learning等方式,呈现出各种各样的能力。

04
不同场景中的两种AI

世界上有两种AI,一种是Data for AI,另一种是AI for Data。

Data for AI是为了获取AI的能力,用数据训练大语言模型,主要用在写作、推理、设计、写代码、角色扮演等场景,是大语言模型的应用领域,使AI具备和人一样的能力。

AI for Data是AI技术挖掘数据的价值,从大数据中产生结果,主要用在搜索、营销、推荐、广告、风控等场景,是大语言模型之外的应用领域。

05
大模型技术落地的三个阶段

大模型落地需要认识到AI所能产生的价值和想象中的AI价值有巨大的gap,只能在交集部分去推动AI落地。

大模型技术落地有三个阶段,第一阶段是示范性突破、基础设施搭建;第二阶段是产业落地,从最简单最有价值的场景开始,后进者被迫跟进;第三阶段是探索扩展领域,困难加剧,收益递减。当下大语言模型落地处于第一阶段,基础设施还处于没有那么的好的状态,包括有没有充足的算力,以及有没有针对当下大语言模型的新的训练框架。

最后,从更长的历史看未来,AI发展几十年,从20世纪50年代开始,AI技术总是在重复同样的场景,但AI的内核在不断发生变化。从计算到规则、到机器学习到深度学习,到现在的大语言模型。每一次AI内核发生变化,我们就会用新的AI技术再重新去思考这些场景,把这些场景重做一遍。

扫描下方二维码
报名参加黑马AIGC产业大课
↓↓↓

文章链接:http://900614.com/news/show-44159.html 内容来源:
 
标签: syb创业计划书
 
更多>同类资讯

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报