很多人之所以害怕人工智能，是因为他们不相信人工智能会一直听话顺从。已经有太多描写机器人反抗人类主人，在大街上四处乱窜、恣意屠杀的科幻小说和电影。然而，机器人可能带来的问题其实恰恰相反。我们是该害怕机器人，但原因是它们永远只会服从主人，绝不反抗。
当然，盲目听从没有什么问题，但前提是主人得是个好人。在战场上，如果交战双方全用杀手机器人上场，就能确保这是历史上第一次真正遵守战争法的战役。人类士兵可能一时受到情绪影响，就犯下谋杀、强盗、强奸等违犯战争法的罪行。讲到情绪，我们通常想到的是爱心、同情心和同理心，但在战场上，控制着人的情绪的往往是残酷、仇恨和恐惧。由于机器人没有情绪，就能放心地相信它们会一字一句遵守所有军事规章，永远不受个人恐惧和仇恨的影响。
1968年3月16日，一群美国士兵在越南南部的美莱村的行动变调，他们陷入疯狂，屠杀了大约400名平民。这起战争罪行的起源，是当时士兵已经打了好几个月的丛林游击战，他们自行在当地做了这个决定。这个行动没有任何战略目的，同时违犯了美国的法律规定与军事政策。这是一场出于人类情绪影响的错误。如果美国当时在越南派的是机器人杀手，美莱村大屠杀就绝不可能发生。
但也先别急着研发和部署机器人杀手。我们不能忘记，机器人的表现一定是其内置程序代码的反映及放大。如果程序代码规定要有所克制、立意良善，机器人的表现就会远远优于一般人类士兵；然而，如果程序代码规定要冷酷无情、赶尽杀绝，结果就会是一场灾难。机器人真正的问题并不在于它们的人工智能，而是那些人类主人天生的愚蠢和残酷。
1995年7月，前波斯尼亚的塞尔维亚族 部队在斯雷布雷尼察镇周围屠杀超过8000名信奉伊斯兰教的波斯尼亚人。美莱村大屠杀属于无计划屠杀，斯雷布雷尼察屠杀则历时持久，组织严密，反映出塞军的政策是对波斯尼亚境内的穆斯林进行种族清洗。如果塞军在1995年便拥有机器人杀手，整场暴行只会更糟，因为任何机器人都只会毫不犹豫地执行接到的命令，也绝不会因为同情、对自己的行为感到厌恶，或者单纯因为过于疲累，就饶过哪个儿童穆斯林的性命。
冷酷狠心的独裁者有了这样的机器人杀手，不管下了多无情、多疯狂的命令，都不用担心士兵起而反抗。如果有了机器人军队，1789年的法国大革命可能还没开始就遭到扼杀；如果2011年埃及总统穆巴拉克 手中有一群机器人杀手，用来对付民众的时候就不用担心它们倒戈相向。同样，有了机器人军队的帝国主义政府也可以发动各种没有民意支持的战争，而不用担心机器人无心作战或机器人的家人会站出来抗议。要是美国在越战时有机器人杀手，虽然可能不会发生美莱村大屠杀，但越战本身却可能要再拖上更多年，因为美国政府不用再烦恼士兵士气低落、国内出现大规模反战游行，或者“退役机器人反对战争”活动。（虽然部分美国公民仍然可能反对战争，但既然不用担心自己被征召，自己没有犯下暴行的记忆，也无须承受失去亲人的痛苦，反战游行的人数大概会锐减，反战决心也不会那么坚定。）
此类问题当然和民用的自动驾驶汽车关系不那么大，毕竟没有任何汽车制造商会蓄意设计车辆去撞死人。然而，由于太多政权道德有缺失，甚至根本就是图谋不轨，自主武器系统带来灾难也只是时间的问题。
会造成危险的不只是机器人杀手，监控系统同样有风险。在好政府的手中，强大的监控算法可以是人类历史上发生过的最大的好事。然而，同样一套大数据算法也可能养出未来的“老大哥”，最后出现奥威尔 笔下的那种监控政权，所有人无时无刻不遭到监控。
事实上，我们最后可能会得到连奥威尔都难以想象的结果：完全的监控政权，不但追踪所有人的一切行为和话语，甚至还能进入我们体内，掌握我们内心的感受。举例来说，如果某国领导人拿到这项新技术，想想看他会怎么运用？在未来，可能该国所有公民都会被要求佩戴生物统计手环，不仅监控他们的一言一行，还掌握他们的血压和大脑活动。而且，随着科学越来越了解大脑，并运用机器学习的庞大力量，该国政权可能会有史以来第一次真正知道每个公民在每个时刻想些什么。如果你看到一张该国领导人的照片，而生物传感器发现你出现愤怒的迹象（血压升高、杏仁核活动增加），大概明早你就会被抓进监狱。
当然，由于该国政权与外界相对隔绝，光靠自己可能很难研发出所需科技。但相关科技可能会由科技较先进的国家研发完成，而它可以复制或者购买。某些国家不断改良其监控工具，许多民主国家（从美国到我的祖国以色列）也在做同样的事情。以色列有“新创企业之国”的美名，高科技产业部门极度活跃，还有尖端的网络安全产业。但与此同时，以色列与巴勒斯坦处于致命的冲突局面，一旦真的研发出必要的科技，至少有部分领导人、将军和国民会很乐意立刻在约旦河西岸布下全面的监控系统。
就算在今日，只要巴勒斯坦人一打电话、发了脸谱网文章或前往另一个城市，就很可能已经被以色列的麦克风、照相机、无人机或间谍软件监控。由此收集到的数据会再用大数据算法进行分析，使得以色列安全部队无须真正动用太多人力，就能找出并消灭潜在威胁。巴勒斯坦人看起来好像占有约旦河西岸的一些城镇和村庄，但其实以色列人控制着那里的天空、电波和网络空间。所以虽然西岸巴勒斯坦人口有大约250万，但只要用少得惊人的以色列士兵，就可以有效控制那里。
2017年10月曾有一起悲哀而荒谬的事件，一名巴勒斯坦工人在自己的脸谱网账号发了一张在工地的自拍照，就站在一台推土机前面。在照片旁边，他用阿拉伯文写了——“早安！”但算法自动翻译这些阿拉伯文字的时候出了错，把意为“早安”的“Ysabechhum”误判成“Ydbachhum”，意思就成了“杀光他们”。以色列安全部队怀疑这名男子是恐怖分子，打算用推土机冲撞碾压人群，于是立刻将他逮捕。直到他们发现是算法出错，这名男子才得到释放。然而，那则叫人紧张的脸谱网发文还是被删除了，毕竟小心驶得万年船啊。巴勒斯坦人今天在西岸的状况大概只是个简单预告，未来或许全球几十亿人终将出现同样的局面。
在20世纪后期，民主国家的表现通常优于专制国家，是因为民主国家更善于处理数据。民主制度采用分布式的信息处理，由许多人和机构来做出决定，而专制制度则是把所有信息和权力都集中在一处。鉴于20世纪的科技水平，把太多信息和权力都集中在一个地方并不是有效率的做法。在当时，没有人能够及时处理完所有信息，并做出正确决定。这也就成了苏联做出的决策水平远低于美国，苏联经济远远落后于美国经济的部分原因。
然而，人工智能很快就会让钟摆摆向相反的方向。有了人工智能，就能集中处理大量的信息，甚至因为机器学习在分析越多信息之后效果越好，所以人工智能可能会让集中式系统比分布式系统效率更高。在不考虑任何隐私问题的前提下，在一个数据库里就拥有10亿人的完整信息，绝对会比只有100万人的部分信息更能训练出优秀的算法。举例来说，如果有某个专制政府要求所有公民进行DNA扫描，再将所有医疗数据提供给中央机构，这时比起那些医疗数据需要严格保密的社会，专制政府就能掌握遗传学和医学研究的巨大优势。一心想把信息集中，在20世纪曾是专制政权的主要弱点，但到了21世纪却可能成为决定性的优势。
随着算法变得如此了解我们，某些政权能够对公民进行绝对的控制，程度甚至超过纳粹德国，而且公民可能完全无力抵抗。这种政权不仅能明确掌握你的感受，甚至还能控制你的感受。
我们并不会回归到希特勒的时代。数字独裁和纳粹德国之间的差异，可能就像纳粹德国与法国旧制度的差异一样巨大。路易十四也是个集权的独裁者，但当时并没有足以建立现代极权主义国家的科技。虽然他的统治并未受到抵抗，但当时既没有收音机，也没有电话和火车，他也就很难掌控布列塔尼某个偏远乡村的农民甚至巴黎市 中心市民的日常生活。当时不论在意愿还是能力上，他都不可能建立群众政党、全国青年运动组织或国家教育体系。是因为20世纪出现了新科技，才让希特勒有了做这些事的动机和能力。我们无法预测2084年的数字独裁政权会有怎样的动机和能力，但要说他们想成为另一个希特勒，是不太可能的。如果有人打算用20世纪30年代的方式来重新打这场仗，有可能会遇到完全出乎意料的攻击，令他们措手不及。
就算民主制度成功适应调整而生存下来，人民也可能遭受到新形态的压迫和歧视。现在，已经有越来越多的银行、企业和机构运用算法来分析数据，做出与我们相关的决定。你向银行申请贷款的时候，申请单很可能是由算法处理的，而不是由人类审核的。算法分析你的大量资料和其他几百万人的统计数据，据以决定你是否可靠，该不该给你提供贷款。一般来说，算法此时会比人类银行职员表现更佳。但问题在于，如果算法里藏着某种不公，我们将很难察觉。如果银行拒绝给你贷款，你问：“为什么？”银行会说：“算法说不行。”但你再问：“为什么算法说不行？我哪里有问题？”银行会说：“我们也不知道。没人知道这套算法背后的道理，总之就是一套先进机器学习的结果。我们相信我们的算法，所以不会贷款给你。”
如果被歧视的是某个群体（例如妇女或黑人），这些群体能够组织起来，抗议他们集体遭到歧视。然而，现在算法歧视的有可能就是你这个人，而你完全不知道原因。有可能是你的DNA、你的过去或者脸谱网账号上有些什么，引起了算法的注意。算法歧视你，并非因为你是个女性或黑人，而是因为你就是你。就是有些什么关于你的特质，算法不喜欢。你不知道究竟是什么特质，就算你知道，也找不到人和你一起大声抗议，因为没有其他人会遇到与你一样的偏见，只有你。到了21世纪，除了过去的集体歧视之外，我们可能还要面临日益严重的个人歧视问题。
在最高的权力阶层可能还会有几个人类，这让我们有个错觉，以为算法只是顾问，最终的权威还是掌握在人类手中。我们不会任命某个人工智能来担任德国总理或谷歌的首席执行官，但那位总理和首席执行官的决策会由人工智能制定。总理手中会有几个不同的选项，但所有选项都会是大数据分析的结果，反映的也是人工智能看世界的方式，而非人类看世界的方式。
让我们举个类似的例子：今天世界各地的政治家似乎可以在各种不同的经济政策之间做选择，政治家有种以为自己可以选的错觉，但真正重要的决定早就由经济学家、金融专家和商人在提出选项时就做完了。也就是说，是他们为政治家定下了选择的方向。而再过几十年，就可能是由人工智能来提出选项，供政治家进行挑选了。
