iScience特刊：人工智能学习架构

原创 Cell Press CellPress细胞科学 交叉学科InterdisciplinaryiScience（《交叉科学》）是Cell Press细胞出版社旗下交叉学科开放获取期刊。从本月开始，小编将每月为大家带来不同主题的iScience特刊内容，本期主题为Learning Architectures。*以下为翻译内容，仅供参考，请以英文原文为准。目前，人工智能已经在诸多领域得到应用发展，然而其中许多算法都是在传统的计算架构上运行的。受神经科学发现和材料科学创新的启发，学习硬件和软件的融合可能会改变这一局面，例如，将神经形态计算纳入主流。iScience客座编辑普渡大学教授Kaushik Roy联手美国桑地亚国家实验室的Brad Aimone博士组织了本期特刊，希望将所有致力于实现学习架构的研究团队凝聚在一起。以下是本期特刊中部分论文的介绍，扫码免费阅读下载。论文持续上线中，点击文末“阅读原文”查看。神经形态生物杂交系统的可塑性和适应性德累斯顿工业大学Richard George团队发表综述文章。神经形态系统从生物信息处理原理中获得灵感，形成硬件平台，使神经网络的大规模实现成为可能。近年来，神经形态系统在用于分类和控制任务的尖峰神经网络理论，以及电生理方法等方面取得了一系列进展，推动了智能神经接口和信号处理技术的前沿研究。在这些新技术前沿，人工神经网络和生物神经网络紧密耦合，为工程师和神经生理学家提供了一个新颖的“生物混合”实验框架。生物混合系统可以构成一类新的神经假体，为神经疾病的治疗开辟了重要的前景。此外，生物上合理的学习规则的使用允许形成共同开发子系统的整体容错系统。为了识别神经形态生物混合系统的机遇和挑战，研究者从神经生物学、计算神经科学和神经形态工程的角度对该领域进行了讨论。机器学习与人类知识的融合机器学习已在许多学科中得到了深入研究，且应用广泛。然而要实现高精度需要大量数据，而获取这些数据在某些情况下非常困难、成本高昂，甚至根本不可能。将人类知识融入机器学习，可以显著降低对数据的需求，提高机器学习的可靠性和鲁棒性，构建可解释的机器学习系统。将人类知识融入机器学习，能够利用机器学习的大量人类知识和能力来实现以前没有的功能和性能，并将促进人类和机器学习系统之间的交互，使机器学习决策为人类所理解。美国密歇根大学吕炜团队发表综述文章，介绍了可以集成到机器学习和方法论中的知识及其表示。涵盖了这些方法的基本原理、现状和最新进展，且重点放在目前热点和新主题上，并对未来的发展方向进行了展望。用于新兴神经形态器件的二维近原子厚度材料及其应用二维（2D）层状材料及其异质结构最近被认为是未来类脑神经形态计算设备较有前途的构建单元。它们具有如近原子厚度、无悬挂键表面、高机械稳健性，以及电/光可调谐等独特性质。这些传统电子材料无法实现的属性对于高性能人工神经元和突触尤其重要，由此可实现节能操作、高集成密度和出色的可扩展性。美国中佛罗里达大学Yeonwoong Jung团队发表最新综述文章，介绍了石墨烯、过渡金属二卤化物、六方氮化硼和黑磷等多种二维神经形态材料的研究进展。从材料特性、适宜性和设备操作原理等方面充分讨论了它们在神经形态应用方面的前景。此外，还展示了基于2D材料或其异质结构的神经形态器件的最新进展。最后，概述了将2D材料成功应用于大规模器件及其质量控制所面临的挑战，并对这些新兴材料的未来前景进行了展望。▲长按识别二维码阅读论文人工智能中忆阻器和算法的集成与协同设计美国空军研究实验室Joseph Van Nostrand、美国雪城大学Qinru Qiu、米兰理工大学Daniele Ielmini、美国南加利福尼亚大学J. Joshua Yang等团队发表最新观点文章。忆阻器在物理机制水平和单位功能水平上都与生物突触、树突和神经元有显著的相似之处，这使忆阻方法成为在未来人工智能发展中有前途的技术。然而，如果没有设备和算法的共同设计和优化，这些相似之处并不能直接转化为高效计算。现代深度学习算法要求忆阻人工突触理想地具有模拟权重和线性权重更新行为，这需要大量的设备级和电路级优化。这种共同设计和优化一直是忆阻神经形态工程学的主要焦点。忆阻神经形态工程学经常会放弃忆阻器件的“非理想”行为，尽管它们中的许多行为与在生物组件中观察到的行为相似。新的大脑启发式算法正在发展之中，它可利用这种行为作为独特功能，进一步提高神经形态计算的效率和智能性，这需要电气工程师、计算科学家和神经科学家之间的合作。▲长按识别二维码阅读论文神经形态器件和系统的新兴材料神经形态设备和系统因其处理复杂数据的高效率，作为下一代计算吸引了人们的注意。目前，已经可以通过机器学习软件和基于互补金属氧化物半导体的硬件制造出来。然而，这些方法在功耗和学习速度方面存在缺陷。高能效的神经形态计算系统需要能够模仿大脑功能的硬件。因此，各种材料被引入到神经形态装置的开发中。韩国浦项科技大学Jang-Sik Lee团队就神经形态装置的最新进展发表了本综述。首先，本文讨论了生物突触和神经元的功能，还介绍了深度神经网络和尖峰神经网络。然后，介绍了新兴设备的工作机制和神经形态功能。最后，讨论了开发使用新兴材料的神经形态器件的挑战和前景。用于神经形态计算的高度可控、硅兼容的铁电光伏突触使用极化转换（一种纯粹电子转换过程）来诱导模拟电导变化的铁电突触已经引起了学术界的极大兴趣。华南师范大学樊贞研究员团队发表最新研究成果提出了铁电光伏突触（FePV），它使用偏振控制的光电流作为读出，因此对组成铁电材料和电极材料的形式和厚度没有限制。这不仅使FePV突触易于制造，而且降低了去极化效应，从而增强了偏振可控性。研究者在硅衬底上生长了Pt/Pb(Zr0.2Ti0.8)O3/LaNiO3 FePV突触作为概念证明。该突触具有连续的光伏响应调制，并具有良好的可控性（非线性小，写入噪声小），可通过渐进式偏振切换实现。利用光伏反应作为突触权重，该装置显示了多种突触功能，包括长时增强/长时抑制和棘波时序依赖性可塑性。一个基于FePV突触的模拟神经网络实现了高准确率（ 93%）的图像识别。这项研究为神经形态计算的高度可控和硅兼容突触铺平了一条新的道路。大脑启发式计算领域的忆阻器之争信息技术的快速发展导致了人工智能（AI）的兴起。然而，传统的计算系统在实现人工智能时容易波动、功耗高、甚至存在处理器和内存之间的延迟，这被称为冯·诺依曼瓶颈。为了解决这些问题，人们提出了受人脑启发的基于忆阻器的神经形态计算系统。忆阻器可以通过改变电阻来存储许多值，并在大脑启发式计算中模拟人工突触。韩国首尔大学Sang Bum Kim、Ho Won Jang团队发表综述文章，介绍了六种类型的忆阻器，按其工作机理分为：离子迁移型、相变型、自旋型、铁电型、插层型和离子栅型。研究者回顾了基于忆阻器的神经形态计算如何使用各种人工神经网络来学习、推断甚至创造。最后，讨论了用于神经形态计算系统的忆阻器技术所面临的挑战和前景。物理为基、数据驱动，更加深入地研究自然科学近年来，随着机器学习的发展，从实验数据集中收集更多的信息来研究物质成为可能。德国美因茨大学Karin Everschor-Sitte团队从这个角度出发，在本综述中通过讨论一些最先进的数据驱动工具，来分析数据中的潜在效应，并解释它们在自然科学中的适用性。本文重点在于新引入的两个物理驱动的计算工具——latent entropy和latent dimension。研究者通过将其应用于自然科学的几个例子来说明它们的能力，指出它们揭示了迄今为止未被观察到的特征：例如磁性测量中的梯度，以及来自小鼠脑显微镜数据的潜在淋巴通道网络。这些技术的特殊之处在于放开了许多机器学习模型中典型的限制性假设，并以最适合未来动态系统的方面取而代之。用于神经形态实现的尖峰驱动的均衡传播寻找可以在神经形态系统的局部约束内实现的基于脉冲的学习算法，同时保证高精度，仍然是一个艰巨的挑战。均衡传播是反向传播的一种很有前途的选择，因为它只涉及本地计算。但到目前为止，面向硬件的研究主要集中在基于速率的网络上。法国巴黎萨克雷大学Julie Grollier团队发表最新研究成果。研究人员开发了一种称为EqSpike的尖峰神经网络算法，该算法与神经形态系统兼容，通过平衡传播进行学习。通过仿真实验，我们在MNIST上获得了97.6%的测试识别正确率，与基于速率的均衡传播算法相当，并优于尖峰神经网络的其他学习方法。结果表明，在硅神经形态技术中实现的EqSpike与GPU相比，推理和训练的能耗分别降低了三个数量级和两个数量级。最后，本研究还表明，在学习过程中，EqSpike权重更新表现出一种脉冲时间依赖的可塑性，这突出了其与生物学之间可能的联系。