暂且不谈我的个人品位，先讨论一下另一个关于人类大脑的类比。我们可以原谅自身对大脑工作机制的肤浅理解，但我们仍然可以与其他人交流，向其他人学习或指导其他人，以及以我们自己的因果语言来激励其他人。之所以我们可以这样做，是因为人类的大脑是以一种相同的方式工作的。而如果机器人都像AlphaGo一样不透明，我们就无法与它们进行有意义的对话，这就太遗憾了。
如果在我睡觉的时候，我的家庭机器人打开了吸尘器（见图10.3），我会告诉它：“你不该吵醒我。”我想让它明白，在此时打开吸尘器是错的，但我又不希望它将我的抱怨理解为永远不要在楼上使用吸尘器。我们对真正的智能机器人的期望是，它们应该明白你我都能完全理解的事：吸尘器会制造噪音，噪音会吵醒睡觉的人，而这会让被吵醒的人不高兴。换句话说，我认为智能机器人必须理解这种因果关系——事实上是反事实关系，例如那些被编码为“你不该……”的短语。
图10.3 一个聪明的机器人会考虑它的行为的因果影响（资料来源：马雅·哈雷尔绘图）
是的，这句简短的指令具有非常丰富的内涵。这个指令同样适用于它在楼下或家里其他地方吸尘的情况，但对于我醒着或不在家，或吸尘器装有消音装置等情况，该指令就不适用。我认为我们没必要告诉机器人所有这些内容，它应该能够自行理解这些。而一个深度学习程序真的能理解这一指令的丰富内涵吗？我对此表示怀疑。这就是我对给出了出色表现的模糊系统感到不满意的原因——透明性才能确保有效的沟通。
不过，我确实对深度学习的一个方面感兴趣，即其系统的理论局限性，其中最主要的局限体现在其无法超越因果关系之梯的第一层级。这一局限并不妨碍AlphaGo在狭隘的围棋世界中给出出色的表现，因为棋盘形式与游戏规则已经构成了关于围棋世界的一个充分的因果模型。然而，这一局限性阻碍了学习系统在由诸多因果力控制的环境中给出一个出色的表现，使其只能接触到这些力量的浅表影响。此类环境的典型实例有很多，包括医学、经济、教育、气候学和社会事务等。如同柏拉图那个关于洞穴中的囚徒的著名隐喻，深度学习系统探索的是洞穴壁上的那些阴影，学习的是准确预测阴影的活动。深度学习系统不能理解它观察到的阴影仅仅是三维物体的空间运动在二维平面上的投影，而强人工智能必须具备这种理解力。
深度学习的研究者和使用者并非没有意识到这些基本的理论局限。例如，使用机器学习的经济学家注意到，这一方法不能帮助他们回答他们真正感兴趣的关键问题，例如估计尚未实施的策略和行动的影响。典型的例子包括预测推行新的价格结构、补贴政策或调整最低工资的影响。从技术的角度看，今天的机器学习的确是一种有效方法，它让我们得以通过有限的样本估计总体的概率分布，但我们仍然需要在此基础上根据分布推测因果关系。
当我们开始谈论强人工智能时，因果模型就从奢侈品变成了必需品。对我来说，强人工智能应该是能反思其行为，并能从过去的错误中吸取教训的机器。它应该能够理解“我本应该采取不同的行为”这句话，无论这句话是由人类告诉它的还是由它自己分析得出的。这个说法的反事实解释是：“我做了X=x，得到的结果是Y=y。然而，假如我之前采取了不同的行动，比如说X=x'，那么结果本应该会更好，也许是Y=y'。”正如我们看到的那样，当我们有足够的数据和一个充分且具体的因果模型时，对这些概率的估计就实现了完全的自动化。
事实上，我认为机器学习的一个非常重要的目标就是得到更简单的概率P（YX = x ' ）=y'|X=x），其中机器观察到事件X=x，而结果是Y，在此前提下，机器需要学会求解在另一个事件X=x'发生的情况下的结果。如果机器能计算出这个概率的数值，它就可以将它自己的某个计划执行（但还未执行）的行动视为一个观察到的事件（X=x），同时提出问题：“如果我改变主意，取而代之做出X=x'的行动会怎样？”这个表达式在数学上等同于被处理对象的处理效应（在第八章提到过），我们能找到很多的例子来表明应该如何估计它。
意图是个人决策的重要组成部分。倘若一个已经戒烟的人突然想点上一支烟，他应该非常认真地考虑这一意图背后的原因，并自问相反的行动是否会产生更好的结果。理解自己的意图，并用它作为因果推理的证据，具备这一能力就说明行为主体的智能已经达到了自我觉察的水平（但尚未达到自我意识的水平，如果这种分级是正确的话）。据我所知，目前还没有任何一个智能机器能达到这个水平。我希望有一天我能带领智能机器进入这个迷人的领域，让它自己说“不”。
任何关于意图的讨论都将涉及强人工智能的另一个重要问题：自由意志。如果我们要求机器首先产生做X=x的意图，然后在觉察到自己的这个意图之后，反而选择去做X=x'，我们就相当于是在要求机器拥有自由意志。但是，如果机器人只会遵循存储在程序中的指令，那么它如何才能有自由意志呢？
伯克利大学的哲学家约翰·塞尔将自由意志问题称为“哲学上的丑闻”，一是因为自古以来对这个问题的论述毫无进展，二是因为即便如此我们仍然不能把它当作一种视觉幻象避而不谈。我们关于“自我”的整个概念都是以我们有选择为前提的。例如，我有一个选择（比如，是否触摸我的鼻子），我做出这个选择之后所体验到的生动清晰的感觉与我们建立在因果决定论之上的现实理解似乎存在无法调和的矛盾，其中后者具体指的是：我的所有行动都是由大脑释放的神经信号引发的。
