阿什顿·卡特：为了在人工智能领域击败中国，美国需要制定新的计划

2021年1月13日，我对前国防部长阿什顿·卡特（Ashton Carter）进行了一次视频采访，他目前在哈佛大学肯尼迪学院贝尔弗科学与国际事务中心（the Belfer Center for Science and International Affairs at the Harvard Kennedy School）担任主任。这次采访是《连线》杂志“2021美国消费电子展”(CES)系列访谈的一部分，策划这一系列访谈的目的在于为大家介绍从医学、无人驾驶到国防科技等对未来趋势有重大影响的技术领域的发展情况。我所问的问题有些是从观众们实时提出的诸多问题中选出的。为了便于读者理解，本文所呈现的采访稿已经过编辑。 美国《连线》（Wired）杂志2021年1月17日刊发了该杂志总编辑尼古拉斯·汤普森对哈佛大学肯尼迪学院贝尔弗科学与国际事务中心主任、美国前国防部长阿什顿·卡特的采访记录：《为了在人工智能领域击败中国，美国需要制定新的计划》 尼古拉斯·汤普森（总编辑）：您在政府部门和私营公司积累了35年非凡的工作经验，作为一位在共和党政府和民主党政府都工作过的高级官员，您总是很清晰地指出我们这个时代最关键的问题，您不但为此提出了极具智慧的解决方案而且还向大家介绍了自己成熟的思考过程。 在担任国防部长期间，您曾经非常明智地规定：在做出任何与击毙敌人有关的决定时都必须有人参与其中（in every kill decision,a human would have to be involved）。因此，对于一个人工智能武器系统来说，它是没有权限向无人机下达攻击指令的。不过在这方面，我还有一个疑问，防御性武器系统是否可以由人工智能来控制呢？也就是说，未来是否可能出现一种能够比人更精确地识别来袭导弹、更精准地进行瞄准响应、更快速地下达发射命令的反导系统呢？攻击性武器必须由人来操作，而在进行防御时，是否也必须由人来操作呢？ 阿什顿·卡特：从道德角度来说，防御比进攻时的顾虑更少，这是毫无疑问的。顺便提一下，尼古拉斯，你刚才说“由人来操作”，我认为这并不符合事实。这是绝对不可能的，而且很早以前人就已经不在武器系统的决策环里面了（it's not literally possible, and hasn't been for quite some time, to have a human in the decision loop）。你的意思或者说我们实际上在谈论的问题是：我们该如何确保人工智能技术在应用时能够受到道德判断的干预。或者换一种说法：如果人工智能把问题搞砸了，你该如何为自己辩解呢？当你站在法庭上，站在股东面前，站在记者面前，你该如何解释“人工智能把事情搞砸不应被视为人类的一种犯罪”呢？这是一个非常实际的问题。 如果你是一个采用了人工智能技术的广告商，那当然问题不大。一个从不买东西的人可能收到了你推送的广告，或者一个经常购物的人没有收到你的广告，这些都不是很严重的问题。可是在涉及国家安全时，在军事、法律或者医疗领域，人工智能犯下错误就会造成很严重的后果。 在军事领域，相较于防御，进攻行为所担负的责任更加重大。例如，发射核武器的决策就是严重依赖人类意志的，发射核武器的命令必须由美利坚合众国总统亲自下达。我曾担任国防部长，但是我本人和我所有的部下都没有按下核按钮的权力。我们绕过总统自行决定使用核武器的可能性是不存在的，我们必须获得总统的核武密码才能发射。而且我自己也有一组核武密码以证明我就是国防部长本人，毕竟发射核武器是最高层级的军事行为。 当然，也有层级不是那么高的军事行为，比如拦截来袭导弹。如果反导系统犯了错误，它在美国没有受到攻击时向空中发射了一颗导弹，这颗导弹在空中爆炸了，导弹很贵，损失了很多钱，军方会出丑，可问题不大，毕竟没有死人。总统把实施这一军事行为的权力给了我，而我把这个权力又给了美国北方司令部的洛里·罗宾逊(Lori Robinson)将军。她当然也可以把这个权力再下放给更低层级的军官，因为这种军事行为没有发射核武器那么事关重大。 此外，在发射核武和反导这两者之间还有一个居中的层级，比如击落民航客机，这也是一个后果非常严重的军事行为。不过总统把这一权力下放给了国防部长，我在任期间每天都是肩负这一责任的。你也许不知道，此类事件曾多次发生。有时候是民航客机偏离了航线，有时候是无线电应答出了问题，有时候甚至一架飞机直接冲着国会大厦飞过来，有时候悲剧是难以避免的。如何应对，还要看具体情况。 我想我们今天谈论的问题是观众们日常在使用大数据和人工智能时都会遇到的，那就是——我们该如何让技术行为也符合伦理道德标准？向人们进行说教是意义不大的，大家需要很实际的建议。所以我希望把这个问题进行简化，也就是说：我们该怎么做才能让技术行为符合伦理道德标准？我要讲的是具体的做法而不是原因，因为我们每个人都想做一个有道德的人。我们必须做一个有道德的人，否则我们的事业就会失败，我们的名誉就会丧失。对于任何一个有良心的人来说，做不道德的事是会令其内心崩溃的。 尼古拉斯·汤普森（总编辑）：是的，我们应该好好讨论一下您说的问题，不过首先我们还是先谈一谈您刚才提到的击落民航客机的话题。当一架飞机向白宫或五角大楼飞去的时候，您作为国防部长会收到关于飞机时速、方向等信息的报告。不过在未来，自动化的防空系统可能会比现在更加高效，它可以追踪每一架飞机，对其信号进行分析以判断该飞机是否应被视为恐怖威胁。您认为未来有一天是否会出现一种工作效率极高、极可信赖且工作原理可被人类理解的人工智能系统能够在无需高级军官授权的情况下自动执行击落飞机的任务呢？ 阿什顿·卡特：我希望这一天最好不要到来。担任国防部长时，我的工作日程表是排得满满的。要知道，我在夜里12点还没有睡。保密电话就在我旁边，联邦航空局、联邦调查局和中央情报局都有人在电话线的那一边待命，军队的指挥官们也在待命，大家的神经都是紧绷的。有时候留给我们采取行动的时间只有几分钟。几分钟时间还是有的，并不是几个毫秒那么危急。 不过也有另外一种情况，就是必须对局势作出极为快速的反应，快到不容人类介入的程度。如果局势要求我们作出如此快速的反应，我们又该如何确保道德因素能够参与其中呢？答案就要在算法、数据集、武器系统设计过程以及设计标准中去寻找了，而且要确保最终拿出的武器系统在道德层面是站得住脚的。我们无法参与武器系统的分析决策，不过我们必须确保系统所采取的行动在道德上是站得住脚的。它未必完美，但必须在道德层面体现出其正当性。 该怎样做到这一点呢？这就要靠算法了。机器学习算法是如何实现那些设计意图的呢？这个问题是不太容易搞明白的。你需要把那些设计目标进行分解，你需要让设计团队认识到算法须满足一定的设计标准，否则最终生产出来的武器系统是无法投入实际使用的。设计团队要很严格地对数据集进行审查。数据集并不是越大越好，质量始终是第一位的。待一切都完成之后，你需要从头到尾进行检查，整个工作流程并非是全自动的，其中有些环节会涉及人工，而只要是人就会犯错。在整个工作过程中，你要有一套设计协议和测试协议。飞行器的飞行软件设计就是一个比较相似的例子。波音737MAX机型搞砸了，虽然不属于人工智能系统，但这个机型的飞行软件设计也是非常复杂的。根据设计，该软件在飞机飞行时将发挥极为重要的作用，但软件设计团队还是把这个工作搞砸了。他们是怎么搞砸的？该如何进行正确的设计？最典型的办法就是在设计团队A之外还要组建一个与之有竞争关系的设计团队B，此外还要有专门的审查团队对设计团队的工作成果进行全面的测试。 采取这些措施并不能确保一定不出问题，不过它会让人工智能在应用时满足道德标准。我们至少需要做到一点，那就是即便人工智能会犯错，我们也要确保自己在道德层面是无懈可击的。这一点非常重要。作为美国的国防部长，我必须让自己的行为符合道德标准。为了保护美国民众的安全，有时我们会使用很暴力的手段，但暴力的使用也要符合道德标准。就人工智能武器来说，如果你无法在武器实际运行时做到这一点，那么你就要在设计时把它考虑进去。 无论如何，我们不能对记者说出这样的话：“昨晚有人被炸死了，是误炸，是自动化的武器系统进行的误炸；我现在还无法告诉你具体原因，不过的确不是人的操作，而是机器进行的误炸”。如果出现这样的情况，我这个国防部长会被人们钉在十字架上的。实际上，从技术角度来说，避免出现这样的情况还是可以操作的。你在算法、数据集、武器系统设计过程这几个方面把好关，这样出了问题时你就能在法官面前、在公众面前、在记者面前拿出说得过去的理由。其实这种情况非常普遍，每天都在发生。如果车祸中死了人，肇事者就会对法官说：“发生这样的车祸非常不幸，我并没有酒驾，我也没有超速，可事情还是发生了”。只要是机器就会发生故障，我们对这一点也都能接受，只有道德层面的错误是我们不能接受的。 尼古拉斯·汤普森（总编辑）：如果我没理解错的话，您的意思是，人工智能和机器学习技术未来在软件设计过程中是极为重要的；这些技术会更多地在防御性而非进攻性武器系统中获得应用；这些技术在战场快速决策时极为关键；作为该技术的基础，经人类研究得出的算法应该是可理解的，而且从法律角度来说也应该是可解释的；此外，作为该技术基础的数据集也应该是经过仔细审查并值得信任的。您大概是这样一个意思对吗？ 阿什顿·卡特：是的。一个优秀的工程师在这个问题上会说，“不要只是空谈道德原则，我们应该用技术把它加以落实”。你的上述说法很言简意赅。 尼古拉斯·汤普森（总编辑）：下面我们聊一个更大的话题。您曾经指出，如果美国无所作为的话，那些专制国家就会通过人工智能技术重塑我们这个世界的诸多规则。您认为在未来几年里美国在人工智能政策方面有哪些很大、很危险的疏漏需要弥补呢？ 阿什顿·卡特：曾有人问我，“互联网会分裂吗？”其实中国已经做出了选择，中国已经公开宣称他们要独立自主，他们要活在由自己制定规则的体系里，不过这种做法并不符合我们美国的价值观。我们不会去改变他们，但我们也无需改变自己的价值观。所以，其实没什么可争的。就像刚才我们谈论的话题，我们干我们的。不过除了美中两国，这个世界上还有好多其他国家。要知道，仅中国一个国家就相当于半个亚洲。如果亚洲的另一半以及欧洲国家等世界各国都能留在我们这个尊重法治的体系里，那么这个体系里的公司就能够继续赢利，他们的合同就能得到执行，人员的自由流动、信息的自由传播、技术进步和社会公正等近来受到威胁的价值观就能获得有力维护。我们的体系仍然可以在世界上发挥榜样的作用，世界各国仍然可以在我们的技术生态体系里发展。