Graphcore：人工智能芯片战场上的一匹黑马

近年来，不断增加的AI应用场景直接促进了CPU和GPU的发展。目前，AI在各行各业均得到广泛应用，IPU可以基于自身优势为世界的智能化进程增添不竭动力。 作为IPU领域的领先企业和人工智能芯片硬件设计公司，Graphcore研发的智能芯片应用范围十分广泛。近日，Graphcore高级副总裁兼中国区总经理卢涛（Jason Lu）、Graphcore中国工程总负责人、AI算法科学家金琛，分享了Graphcore在今年12月的最新动态，及在中国以及全球的业务和业务落地情况、合作伙伴生态建设等。 据了解，今年12月，Graphcore发布了Poplar SDK 1.4和面向IPU的PyTorch产品级版本；公布了IPU-M2000应用测试性能及源码开放；同时加入了MLPerf管理机构MLCommons，并将在2021年上半年正式参与MLPerf性能测试。 一、Graphcore：第二代IPU及IPU-M2000为AI赋能 卢涛表示：IPU-M2000是目前世界上继英伟达GPU、谷歌TPU后，第三个公开发布的能够训练BERT-Large模型的AI处理器产品，并已在官网上发布了Benchmark blog、Performance results table等。 卢涛重点谈到了IPU-POD64，他认为，IPU-POD64是目前市面上唯一可纵向扩展和横向扩展的AI计算系统产品。在纵向扩展上，IPU-POD64可以实现从一台IPU-M2000到IPU-POD16（4台IPU-M2000），再到IPU-POD64（16台IPU-M2000）的软件透明扩展，且无需任何软件修改，单机即可进行集群规模的运算。从横向扩展角度看，IPU-POD64可实现多台IPU-POD64的横向扩展，最大可支持6.4万个IPU组成的AI计算集群。 目前，IPU-POD64目前已在全球范围内发货。 另外用户可以从多种渠道获取IPU。在全球范围内，Graphcore推出了Graphcore全球伙伴计划，以招募更多的伙伴来把IPU产品进行落地。明年Graphcore将在中国重点发力两件事--落地、生态建设。 二、IPU-M2000在不同领域模型训练和推理的性能的优越性 在本次访谈中，金琛主要向大家详细介绍IPU-M2000和IPU-POD在各模型上的训练和推理等相关数据，既包括BERT-Large端到端的训练，还包括CNN模型EfficientNet、语音模型Deep Voice、传统机器学习模型MCMC等。 从BERT-Large端到端的训练时间看，相比1个DGX-A100，BERT-Large能在IPU-POD64上实现5.3倍的提升，相比3个DGX-A100，则能够实现1.8倍的提升。 在EfficientNet-B0的推理上。在PyTorch和TensorFlow两种不同的框架下，EfficientNet-B0在1台IPU-M2000上的吞吐量大概可以达到以 万 为单位的级别，时延远远小于5毫秒。而在最新的GPU上，即使在时延最大化的情况下，它的吞吐量也远远小于以 万 为单位的吞吐量级，充分凸显了IPU所具备的时延优势。 同时，IPU-M2000在面向NLP、语音和金融等不同领域模型训练和推理的性能结果也表现不错。 三、Poplar SDK 1.4支持模型从1个IPU到横向扩展到64个IPU Poplar SDK 1.4基于Poplar SDK 1.3做了进一步的优化，可以支持大的Embedding。同时引入了对于PyTorch GA的支持。在Poplar SDK 1.4中，可视化工具除了支持单机上的性能测写，也支持多机性能测写。 在PyTorch的代码里面，Graphcore引入了PopTorch的轻量级接口。通过这个接口，用户可以基于他们当前的PyTorch的模型做一个轻量级的封装。封装之后就可以无缝的在IPU和CPU上执行这个模型了。在当前的Poplar SDK 1.4版本中，既支持模型并行、也支持数据并行。 四、结语 由于人工智能等新领域强劲增长，利用IPU的大规模处理能力来学习人工智能算法，正在多个行业应用中快速普及。未来希望Graphcore在芯片领域不断创新，实现落地应用的降本增效，更好地瞄准市场，早日 超车 英伟达。 责编：chenjian