人工智能网致力于为中国广大企业、企业家和商界、经济界人士,以及全球华人经济圈提供实时、严谨、专业的财经、产业新闻和信息资讯媒体。

当前位置:人工智能网 > 时政要闻 > 全球最大的超大规模智能模型“悟道2.0”发布,助力打造我国人工智能战略基础设施

全球最大的超大规模智能模型“悟道2.0”发布,助力打造我国人工智能战略基础设施

来源:互联网作者:王林更新时间:2021-06-01 19:11:36阅读:

原标题:全球最大的超大规模智能模型“悟道2.0”发布,助力打造我国人工智能战略基础设施

6月1日,在2021北京智源大会开幕式上,北京智源人工智能研究院理事长张宏江、学术副院长唐杰介绍和发布了“悟道”模型。这是全球迄今最大的超大规模智能模型。

目前,“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义,未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”,将数据,也就是“燃料”,转换为智能能力,驱动各种AI应用。如果将大模型和所有的AI应用相连接,为用户提供统一的智能能力,全社会将形成一个智能能力生产和使用的网络,即“智网”。大模型就是下一个AI的基础平台,是未来AI发展的战略基础设施。

张宏江表示,国际主流的大模型主要基于英文语料研发,智源研究院作为AI基础建设的先行者,成立了由智源研究院学术副院长唐杰教授领衔,100多位科研骨干共同参与的“悟道”团队,启动面向中文的大规模智能模型研发工作。“悟道”模型系统将构建“大模型、大平台、大生态”,持续研发超大规模智能模型,围绕大模型研发,构建大规模算力平台,同时对外开放模型能力,“赋智”各行业发展,构建大模型生态。

张宏江介绍“悟道”模型研发的背景

今年3月20日,智源研究院发布了中国首个超大规模智能模型“悟道1.0”,训练出中文、多模态、认知、蛋白质预测等系列模型。经过不到3个月的持续更新迭代,“悟道2.0”实现了更高层面的跨越。

唐杰介绍,“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能,让机器能够像人一样思考,实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作,形成了自主的超大规模智能模型技术创新体系,拥有从预训练理论技术到预训练工具,再到预训练模型构建和最终模型测评的完整链条,从技术上是完整成熟的。通过一系列原始创新和技术突破,本次发布的“悟道2.0”实现了“大而聪明”,具备大规模、高精度、高效率的特点。

唐杰介绍“悟道2.0”模型的具体情况

“悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由国外预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。

“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据,以及Pile数据集的1.2TB英文文本数据。“悟道2.0”模型一统文本与视觉两大阵地,支撑更多任务,更加通用化。

大规模预训练模型的参数规模通常远超传统的专用人工智能模型,在算力资源、训练时间等方面消耗巨大。为了提升大规模预训练模型的产业普适性和易用性,悟道团队搭建高效预训练框架,在高效编码、高效模型、高效训练、高效微调和高效推理等方面进行全链路的原创突破或迭代优化,实现效率的大幅提升。

同时,“悟道”模型研发过程中,智源研究院建设了全球最大的语料数据库WuDaoCorpora2.0,包含全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集,为行业内大规模智能模型的研发提供了丰富的数据支撑。

此外,智源研究院还推动开展“悟道”超大规模智能模型产业生态建设,将面向个人开发者、中小创新企业、行业应用企业、IT领军企业等不同主体,分别提供模型开源、API调用、“专业版”大模型开发、大模型开发许可授权等多种形态的模型能力服务,赋能AI技术研发。

本次大会上,智源研究院与新华社、美团、小米、快手、搜狗、360、寒武纪、第四范式、好未来、智谱华章等22家“悟道”大模型产业生态战略合作单位进行了签约,并发出组建“悟道”大模型技术创新生态联盟的倡议,吸引更多企业加入,将以联盟为枢纽,以企业需求为导向推动模型研发,共同开发基于“悟道”大模型的智能应用,以模型研发和应用促进产业集聚。

版权声明

本文由“全国科技创新中心”公众号编辑,资料来源北京市科学技术委员会、中关村科技园区管理委员会。欲转载请关注公众号后直接回复“转载”,按照要求转载即视为获得授权。

全国科技创新中心

想了解更多资讯,快来加入我们吧~返回搜狐,查看更多

责任编辑:

标题:全球最大的超大规模智能模型“悟道2.0”发布,助力打造我国人工智能战略基础设施

地址:http://ai.rw2015.com/szyw/9092.html

免责声明:人工智能网为网民提供实时、严谨、专业的财经、产业新闻和信息资讯,更新的内容来自于网络,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系站长,本网站将立即予以删除!。

返回顶部