人工智能在“想”什么，算法工程师也想知道

冷泉港实验室开发了一种新方法，通过测试机器学习程序来判断哪些规则是它自己学会的，以及这些规则是否正确。

研究发表在《PLOS计算生物学》上，标题为 Global importance analysis: An interpretability method to quantify importance of genomic features in deep neural networks (全局重要性分析:一种量化深度神经网络中基因组特征重要性的可解释性方法)。

人工智能算法虽然是人类制定的，但是人类制定的算法只是教会它怎么学习解决问题，而怎么解决问题，是人工智能自己 思考 出来的。因此在解决问题上，研究人员往往不知道这些机器为自己制定了什么规则。

研究团队开发了一种名为 全局重要性分析 (Global Importance Analysis)的新方法，用来测试他们分析RNA的深度神经网络算法生成了哪些规则来做出预测。他向经过训练的网络展示了一组精心设计的合成RNA序列，其中包含了科学家们认为可能影响算法评估的不同基序和特征的组合。

他们发现，神经考虑的不仅仅是一个简短的主题的拼写。它决定了RNA链如何折叠并与自身结合，一个基序与另一个基序有多近，以及其他特征。

译/前瞻经济学人APP资讯组

参考资料：

【1】https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1008925

【2】https://www.sciencedaily.com/releases/2021/05/210513142451.htm