编者按：对于技术的好坏永无定论，一些人进一步而成为激进主义者，一些人退一步而成为保守主义者。本文作者James Bridle在“Rise of the machines: has technology evolved beyond our control?”一文中通过有条有理分析，用以说明技术的迅速发展已经令其开始进入到人类所无法完全掌控的阶段。
你有没有这样的经历，卧室角落里的声控智能小家具突然间咯咯大笑，并将你的私房密语发给同事；你的孩子正在YouTube上看《小猪佩奇》，不过视频画面却显示着流血与死亡的情节；你用来与老朋友保持联系的社会网络，摇身一变成为政客们用来影响选举和煽动政变的工具。
我们进行思考的方式发生了一些奇怪变化，结果是，一些无法追根溯源的事正在世界范围内发生。我们落入了思维定式中，即开始相信一切都能够进行机器运算，并且任何问题在技术发展的巨大潜力面前都将迎刃而解。但是，技术并非中立：它们具象化了我们的政治偏见，它们超越了国家法律的管辖范围越来越脱离创造者的控制。结果可想而知，我们对于这个世界了解的越来越少，这些强大技术将逐渐掌管我们的日常生活。
无论是在科学与社会领域、还是政治与教育领域、抑或是战争与商业领域，新技术并不仅仅能够增强我们的能力，而且也在积极塑造和指导着人类的行为，而我们却无法预测这些结果是好是坏。如果我们无法理解复杂技术如何运作的逻辑，那么其潜在的可能性就更容易被自私自利的公司和权力精英所掌控。当一切为时已晚，我们终将自食其果。这一复杂且不透明的系统与全球范围内的不平等、暴力、民粹主义和原教旨主义之间存在因果关系。
与其说技术进步给人类带来了令人炫目的解放之光，以及对于乌托邦的浪漫想象，不如说我们似乎进入了一个充满着离奇和未知事件的新黑暗时代。致力于大范围传播知识的启蒙运动并没有使我们更加深刻地理解与发展和平，相反我们正在经历着社会分裂、彼此不信任、阴谋论和后真相时代。因此，为了了解那些正在发生之事，我们有必要去了解技术是如何形成，以及我们到底经历了什么才对它赋予了如此之多的信任。
***
20世纪50年代，一个新符号进入电气工程师所绘制的图表中，用以描述所构建的系统：它看起来像是一个模糊的圆圈、一个膨胀球或者是一个思想泡泡。最终，其形状变成云的模样。工程师不论做些什么，都可以将其连接至这个云上。我们也可以称其为一个电力系统、一个数据交换系统，或者是一个计算机网络。我们如何描述它并不重要。云是一种降低复杂性的方法，其能够使人们专注于手头的工作。随着技术的发展，网络的关联度越来越紧密，云也变得越来越重要，进而成为被反复贩卖的商业术语和卖点。它不仅仅指涉工程速记，而是成为了一种比喻。
今天，云是互联网的核心隐喻：一个拥有巨大可能，却依然保持着神秘光环且人类无法掌控的全球系统。我们在云上工作，我们搜索和储存东西，它成为我们日常生活的一部分，但却没有人能够真正理解其到底是什么。其实这个比喻也存在不恰当之处：这个云并不是由水蒸气和无线电波构成的运转良好的遥远之物。它是一个物理基础设施，一个放满电话线、光纤、卫星、海底电缆和计算机且需要消耗大量水和能量的巨大仓库。被吸收进云里的是之前甚为重要的公民领域大厦：购物、交易、社交、借书和投票的地方。因此，它因为太过寻常而不怎么打眼，也就更不容易受到批评、调查、保护和监管。
在过去几十年里，世界各地的交易大厅越来越门庭冷落，柜台职员被电脑银行所取代。同时，数字化也意味着股票交易的速度也越来越快。人们将交易过程放置于机器手中，其几乎立刻就能做出反应。高频交易算法是由前物理学博士所设计，其目的是利用毫秒级优势抢先进入市场，交易员为其冠以“尖刀”之类的名称。
在这些快速变化的不透明市场中，一些奇怪之事发生了。2010年5月6日，道琼斯指数开盘就下跌，在接下来的几个小时里，为了应对希腊债务危机，道琼斯指数缓慢下跌。至下午2时42分，该指数迅速下跌。在不到五分钟的时间里，交易市场下跌超过600个百分点。至最低点，该指数比前一天的平均数据低了近1000点，其几乎是总市值的10%，创新了交易历史上单日跌幅最大的记录。而至下午3时07分，在短短25分钟内，又近乎恢复了600点，这也是有史以来涨幅最大也最快的一次。
在这混乱的25分钟时间内，20亿股价值56亿美元的股票成功易手。更令人担忧的是，许多交易是在被美国证券交易委员会称为“非理性价格”（低至1美分，或高达10万美元）的前提下执行的。这一事件被人们称为“闪电崩盘”，这么多年过去了，有关它的调查和争论仍在进行。
一份监管机构的报告指出，高频交易程序加剧了价格波动的情况。各种各样的高频交易程序中都设有硬编码抛售点：指需要立即出售股票的价格。随着股票市场逐渐下跌，一些软件同时触发这一机制进而同时进行抛售。而价格的持续下跌也将继续触发另一批算法，进而自动出售股票，带来多米诺效应。其后果是，股票市场价格下跌的速度比交易员能够作出反映的时间还要快。虽然经验丰富的市场操盘手能够通过长线计划来稳定崩溃局面，但是面临着众多不确定性的机器却在第一时间选择了离开。
也有一些人认为是算法引发了此次危机。通过查看数据发现一项技术，其通过高频交易程序向交易所发送了大量的“不可执行”交易，也即是说，机器将会忽略那些超常情况下购买或抛售股票的命令。这些命令目的并不是为了真正帮助人类沟通情况和赚钱，而是故意通过让系统变得不甚清醒，而方便其他更有价值的交易在混乱中执行。许多未曾打算执行的命令被启动，进而导致股市的剧烈波动。
闪电崩盘已被视为市场的一个特征，但是人们对其的了解一直一知半解。2016年10月，算法对于英国退欧的负面报道做出反应，两分钟内英镑兑换美元汇率下跌6%，随后立即恢复。但是人们若想要查明是哪个标题，哪个算法导致了此次下跌则不太不可能。2012年10月，当一种算法开始失控的操作和取消交易时，美国股市4%的交易被吃掉了，一位评论人士挖苦地评论道“该算法的触发动机尚不得知”。
2013年4月23日下午1时07分，美联社向其200万关注者发送了一条推文：“突然事件：白宫发生两起爆炸，巴拉克·奥巴马受伤。”这一虚假新闻后来被隶属于叙利亚总统巴沙尔·阿萨德的叙利亚电子军声称是其一次黑客攻击的结果。美联社与其他新闻网站迅速回应道，这是条假新闻。然而，算法却并没有应对这些突发事件的洞察力。下午1时08分，道琼斯指数暴跌。在假新闻还未大规模普及开来的时候，该指数已在两分钟内下跌了150点，并接着发生反弹。在此期间，股票市值蒸发了136亿。
***
计算程序的设计越来越精细化，并隐藏在我们所接触的所有物体中。技术的普及速度也进一步增加了算法的不透明度和未可预测性。三星于2015年推出的“智能冰箱”系列产品的一个卖点就是其能够与谷歌日历服务相整合，以方便用户安排厨房里的杂货配送。这也意味着，当黑客获取了这些安全系数不高的机器的访问权限时，也就能够读取所有者的Gmail密码。德国的研究人员发现，通过将恶意代码插入飞利浦支持WiFi的Hue灯泡中，就能使得一个灯泡感染另一个灯泡，一栋建筑物感染另一栋建筑物，甚至造成整座城市的瘫痪，最终控制大量灯泡的快速打开与关闭，引发光敏性癫痫。这是托马斯·品钦的《万有引力之虹》一书中灯泡拜伦所喜爱的一种方法，一种由小机器反抗其制造者的暴动大起义。曾经虚构的技术暴力的可能性正在被物联网实现。
金·斯坦利·罗宾逊的小说《奥罗拉》（Aurora）讲述了一艘智能宇宙飞船将人类宇航员从地球带到遥远恒星的故事。这段旅程需要耗费极长的时间，所以这艘船的工作之一就是确保人类能够好好照顾自己。当其脆弱的社会关系崩溃，并威胁到任务的完成时，这艘船通过部署安全系统以作为控制手段：它可以通过传感器观察到每个角落的情况，能够打开和关闭密封门，通过通讯设备大声说话进而引起人们的身体痛感，使用灭火系统来降低特定空间的氧气水平。
这与Google Home及其联合工具的操作逻辑大致相同：一套联网的家庭安全摄像头网络、一把智能门锁、一个能够提高或是降低单个房间温度的恒温器，以及一个能发出尖锐紧急警报的火灾和入侵检测系统。任何一名黑客都将拥有和奥罗拉一样的力量，或者是做些拜伦对其憎恶的主人所做之事。
在将这些场景仅仅视为科幻小说家的狂热幻想之前，我们可以再度回顾一下股票交易所的流氓算法。这些事件并非彼此孤立，而是发生在复杂系统之中的寻常之事。那么接下来的问题是，如果我们将其嵌入进更为广泛的世界中，流氓算法或者是闪电崩盘将会导致什么样的后果？
它们会不会像恶意软件Mirai一样，在2016年10月21日使全球网络瘫痪几个小时？事后，研究人员对Mirai进行了深入研究，发现其目标是那些安全系数较低的网络连接设备，比如安全摄像头，比如数字视频录像机。在短短几周内，Mirai就感染了50万台设备，其只需要感染10%的数量就能致使主要网络瘫痪几个小时。
从事实来看，Stuxnet与Mirai则不同，其是于2010年在水电站和工厂生产线的工业控制系统中发现的一种病毒。Stuxnet是一种级别达军事程度的网络武器：经调查发现，其专门针对西门子的离心机所设计，当其遇到特定数量的机器设备时就会触发爆炸命令。这一数字与一个特定的设备相对应：伊朗的纳坦兹核设备。程序一旦激发，该病毒将悄无声息地破坏离心机的关键部件，使其瓦解并破坏伊朗的铀浓缩能力。
这次袭击的确取得了部分成功，但是目前对其他受感染设备的影响情况尚不可知。即便事情已经发生了这么长时间，即便已经有了明显的怀疑对象，但是没有人确切知道Stuxnet从哪里来，由谁制造。没有人知道是谁开发了Mirai，它的优化版本将在哪里出现，而它也许就在某个地方虎视眈眈，可能在你办公室的闭路电视摄像头里，也可能在你厨房角落的无线电水壶里。
又或者，这些事件看起来就像是一系列大片，比之类法西斯的超级英雄（《美国队长》和《蝙蝠侠》系列）比之酷刑和暗杀的理由（《刺杀本·拉登》和《美国狙击手》），其迎合了右翼的阴谋论与生存主义者的幻想。在好莱坞，众多电影工作室通过剧本语义分析公司 Epagogix分析其剧本，通过分析几十年里数百万电影观众的不确定性偏好，以鉴别哪些情节能够充分调动观众情感，而获得最佳的市场回报。算法引擎拿到Netflix、Hulu、YouTube等网站的数据，通过对数以百万计的视频用户的收看偏好进行分析，从而获得之前的权力精英们所无法想象的认知洞察。通过直接向疲劳且沉迷于其中的消费者填塞内容，算法系统自动启动、反映、强化并加剧着这一系统逻辑的固有偏执。
游戏开发者通过A/B测试和对玩家行为的实时监控专注于无穷无尽的应用更新和应用内购买行为。他们精准掌握着多巴胺产生的神经通路，以至于青少年在电脑前疲惫致死，也无法将其从中抽离。
又或者，这是不是像那种所有人都将经历的网络噩梦？2015年夏天，雅典一家医院的睡眠障碍诊所比任何时候都要忙碌，当时该国的债务危机正处在最动荡时期。这些病人中有高级政客和公务员，而那些在其就诊期间所记录的呼吸、动作信息，甚至是在睡梦中大声说话的信息，这些信息连同个人医疗信息一并被发送到欧洲北部的诊断数据制造商那里。这些“偷溜”出来的声音中有多少劲爆消息呢？
***
我们希望让技术设备记录生活的点点滴滴，并说服自己相信人类能够像设备一样进行优化和升级。智能手环和智能手机应用能够记录我们的步行数据和皮电反应，不仅追踪着我们的位置，还追踪着我们的每一次呼吸和心跳，甚至是我们的脑波信息。用户们都被鼓励将手机放到床上，以便记录他们的睡眠信息。这些数据都到哪里去了？有关我们的梦境、我们的半夜惊坐与清晨流汗的数据，我们无意识的自我行为，成为使这些系统变得冷酷无情又难以理解的助燃剂。
又或者，所有这一切与我们现在正在经历的变化得以彼此关联：日益加剧的经济不平等、民族国家的崩溃和边境之地的军事化、日益密切的全球监督与个人自由的缩减、跨国公司与神经认知资本主义的胜利、极右团体与本土主义意识形态的兴起，以及自然环境的恶化。虽然新技术并非上述一切现象的直接诱因，但是这一切都是那些企业与个人所作所为所带来的影响的产物，而人类无法准确感知，那些不透明的复杂技术正在加速这些影响。
1997年，纽约，国际象棋世界冠军加里·卡斯帕罗夫第二次与深蓝对战，深蓝是一款由IBM公司设计专门用来击败卡斯帕罗夫的电脑。卡斯帕罗夫在输了比赛后，声称深蓝的一些行为是如此聪明且富有创造力，以至于其一定存在人类的干预。但是我们都已经了解深蓝的逻辑：它的决定过程从始至终是一种“蛮力”，其依靠一种有着14000自定义的平行结构，芯片能够每秒分析2亿种可能。
至2016年，由AlphaGo驱动的谷歌大脑战胜了韩国专业围棋选手李世石，情况又有了改变。在第二场比赛中，AlphaGo的举动震惊了李世石，其选择将棋子放在棋盘的另一边。“这是一个非常奇怪的举动，”一位评论人士表示。“我觉得这是一次失误，”另一个人如此说道。一位经验丰富的围棋选手范辉，其在六个月前与AlphaGo对战时输掉了，认为：“这不是人类的举动。我从来没有见过有人这么做。”
AlphaGo一路高歌凯进，赢得了一系列比赛。AlphaGo的设计师们为这一神经网络注入了数以百万计的围棋专家的棋路来开发这一软件，通过令其与自己对战几百万次，进而发展出超越人类玩家的策略。但是我们却难以捉摸清楚这些行为的缘由：我们能够看到AlphaGo做出的决定，但是却无法知晓其之所以如此做的逻辑是什么。
已故的伊恩·M.班克斯将这些事情称为“无限的乐趣空间”。在班克斯的科幻小说中，其建构的文明是由仁慈的、超智能的人工智能“Minds”管理。虽然Minds最初是由人类创造，但是其早已能够重新设计与重建自己，以让自己变得更加全能。Minds除了能够控制船只与行星，指挥战争并照顾数十亿人类，也会生出自己的快乐。因为其拥有在自己的想象中模拟整个宇宙的能力，一些Minds会退回到“无限的乐趣空间”，这是一个只有超人类的人工智能才能进入的元数字可行性空间。
许多人都熟悉谷歌翻译，其是于2006年推出的一种统计语言推断技术。这种技术通过吸收大量现有翻译，而非试图理解语言的翻译逻辑进行运作：在不同语言中调用内容相同的并行文本。通过这种单词之间的简单映射，其不再需要自己理解待翻译的两种语言，而是将其替换为由数据驱动的相关性内容。
这些翻译以其滑稽的错误被人们津津乐道。但在2017年，谷歌翻译开始使用由谷歌大脑开发的神经网络，从而极大优化了翻译质量。翻译网络在自己世界中建构起一种模型，其不再是简单大量交叉引用本文，翻译结果也不再是一组二维单词之间的连接，而是一种能够映射整个世界的地图。在这个新模型中，单词由彼此之间的意义之网来编码，而这个网络也只有计算机自己才能理解运行逻辑。
虽然人类能够明确区分“坦克”与“水”所代表的意义，但是却不能轻易否定“坦克”与“革命”之间，“水”与“流动性”之间存在的一些联系，以及从这些联系中产生的情感与推论。这张地图是多维的，其能够延伸的方向比人类大脑的可能性要多得多。正如一位谷歌工程师所评论道，当一位记者试图阐明这么一种系统形象时：“我无法在三维空间中想象出千维的可能。”我们无法触碰到机器学习在此空间的意义。我们无法想象那些自己无法理解的东西。
同年，谷歌大脑的其他研究人员建立了三个网络，分别叫做Alice、Bob和Eve。它们的任务是学习如何加密信息。Alice与Bob共同知道一个数字密码，而Eve却不知道。Alice会在一串文本上执行一些操作，然后将其发送给Bob和Eve。如果Bob能够解码信息，那么Alice就会得分。而如果Eve解码成功，Alice的分数就会下降。
历经数千次的迭代，Alice和Bob找到了不受Eve破坏的通信方法：它们开发了一种私有的加密形式。这些操作过程被深层网络所咬合。而Eve不得而知的东西我们也不得而知。机器正在学习如何保守秘密。
***
人类如何思考和理解自己在这个世界上的位置，以及我们与机器之间的关系，将最终决定技术会将我们带往何处。我们无法不做思考，我们只能在其中思考。这些为我们提供信息并塑造我们对现实看法的技术不会消失，在大多数情况下我们也不希望结局如此。世界上75亿人口都在依靠这些系统，且对它们的依赖与日俱增。我们对于这些系统的理解，以及我们在基于此做出的有意义决定都尚在自己的能力范围内。我们并非没有手握实权，也并非能够脱离这些技术代理。我们需要思考，思考，继续思考。
作为工具的计算系统加强了人类的强大一面：我们使其塑造成我们想象中的样子，并帮助我们在世界上完成愿望。但是，揭露与阐明这些欲望，并确保它们不会退化、统治、消磨并消除他人的欲望的特权依然掌握在人类手中。
当卡斯帕罗夫在1997年被击败时，他并没有放弃比赛。一年后，他又以一种全新面貌回到竞赛中：高级的半人马国际象棋。在高级象棋中，人类与机器合作，而不是与机器竞争。很显然，在这个过程中产生了非常有趣的结果。如今，即使是一个中等水平的国际象棋计算机也足以击败大多数大师级人物，普通电脑与普通电脑的配对足以打败最复杂的超级计算机。这种思维的结合使这个游戏产生了革命性的变化。
在机器与基础设施的编码中、在知识与行动的既定框架中，技术成为人的延伸。计算机不能解答我们所有的问题，而是让我们用新方式向宇宙提出新问题。
原文链接：https://www.theguardian.com/books/2018/jun/15/rise-of-the-machines-has-technology-evolved-beyond-our-control-
编译组出品。编辑：郝鹏程
