人工智能迈向“炼大模型”揭秘全球最大智能模型“悟道2.0”

发布时间:2021-06-07 09:30:06 | 来源:中国网·中国发展门户网 | 作者:王振红 | 责任编辑:王振红

关键词:人工智能,模型,悟道,训练,黄铁军,企业

中国网/中国发展门户网讯 (记者 王振红)6月1日-3日,2021北京智源大会在北京举行。“首届大会于2019年举办,今年是第三届。”北京智源人工智能研究院院长黄铁军在接受记者专访时表示,“和前两届相比,最大的亮点是北京智源研究院在会上发布了全球最大的超大规模智能模型‘悟道2.0’。在今年3月我们发布了‘悟道1.0’,是首个以中文为核心的超大规模预训练模型。”

全球最大的万亿级模型

“悟道1.0”通过研发超大规模信息智能模型和生命模型,推动电子信息、生物医药等基础科学科研范式变革,加速科学研究进程。黄铁军介绍说,“当时有国际评论认为,这代表了中国在人工智能方面的一种新模式和进展,大家联合起来做一个大型的智能模型,为各行各业服务。这样的一个行动他们认为对于团结更多的研究者是很有帮助的。3月发布的‘悟道1.0’不是世界最大的,而这次发布的‘悟道2.0’是世界最大的。”

“悟道2.0”往更强大,更通用的方向上发力,并可以根据文字生成高精度的图片,根据图像去检索文字,实现图像和文字的互相检索。目前,悟道2.0在问答、作诗、配文案、视频、绘画、菜谱多项任务中正逼近图灵测试。“悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。黄铁军认为,“这个模型的发布,某种意义上表明中国是完全开放的态度,全世界合作,但同时中国也是全世界人工智能发展的一个特别重要的力量,中国在一些关键的技术方向上有很大的贡献。”

三要素造就最领先的模型

“悟道2.0”在“悟道1.0”的基础上进行了哪些改进,增加了哪些新功能?

黄铁军解释说,超大规模智能模型的训练主要是三个要素,即数据、算力和算法,是大数据、大算力、强算法这三个要素的结合。“第一个要素大数据意味着要使训练出的模型聪明,数据就要足够丰富。我们现在做的整个数据,特别是中文数据是全世界最大的。这为我们模型的训练提供了一个物质基础。”

第二个要素就是算力。黄铁军表示,简单来说,算力越强,训练的模型越强,但是不仅仅是越大的算力,模型就越强,还要用第三个要素更高效的算法。“对于我个人来说,这是最重要的一个技术突破。我们团队做了一个高效的训练算法和框架。它的效率比国际上其他的同类系统效率提升了40多倍。我觉得训练一个模型所用的方法是特别关键的。国际上有这么一种看法——只有那些很有财力、大型的算力才能做大模型。我们这次实际上是靠训练方法的改进,使得在不需要那么大的算力情况下,可以做出更好的模型。”

黄铁军认为,“这三个要素结合在一起,就做出了全世界最大,也是最领先的模型——‘悟道2.0’。”

解局顶尖人才缺口

“高效的算法背后是人才,有一群处在人工智能研究前沿的顶尖学者来共同设计算法,设计训练模型。”黄铁军说。

如何解局顶尖人才缺口,把人才聚集起来,他表示,“智源最大的优势就是我们是一个开放的机构,团结世界各地、各机构的学者,共同做一件事情,这是一种开放科研的模式。我们希望不管这个人来自哪里,不管他是企业的还是学校的,只要能有自己独到的贡献,他都是解决问题的一员。所以我们更多的是提供了一个机制,让大家能够合作解决重大问题。”

黄铁军强调,“我们作为‘政产学研用’的连接者,不是其中任何一个角色,我们要把这五个方面的力量联合在一起做大事。作为这样的一个连接者,我们也希望能够为他们提供更多的服务。”

据悉,在为期3天的会议中,智源研究院发布了支持AI创业的“源创计划”,以及为海内外青年AI科研人员提供学术交流平台的“青源会”等工作计划。智源研究院与美团、小米、寒武纪等22家“悟道”大模型产业生态战略合作企业进行了签约,涵盖行业应用企业、IT龙头企业、中小创新企业等。同时发出组建“悟道”大模型技术创新生态联盟的倡议,吸引更多企业加入,将以联盟为枢纽,以企业需求为导向推动模型研发,共同开发基于“悟道”大模型的智能应用,以模型研发和应用促进产业集聚。

“人工智能是新一代产业变革的核心驱动力,它的发展已经从‘大炼模型’逐步迈向了‘炼大模型’的阶段,通过设计先进的算法,整合尽可能多的数据,汇聚大量算力,集约化地训练大模型,供大量企业使用,是必然趋势。”黄铁军认为,“悟道2.0”就是这样的一个大的模型,围绕这样的模型,会孵化出很多新创企业,也会有很多以前的人工智能企业,直接从模型的发展中获益。

[打印]

[[收藏]]

[TT]

返回顶部