本节核心论点：人类同科技的关系正在发生重大的变化，将由现在的人类控制着科技变成机器将逐步取得主控制地位。当机器运行正常时一切都很好，但当它们失灵时，人类却不得不修理和维护机器。
“我的车差一点害得我出车祸”，Jim跟我说。
“你的车？这怎么可能呢？”我问道。
“那次我在高速路上行驶，我启用了自适应巡航控制系统。你知道的，这种巡航控制系统可以让汽车在路上保持恒定速度，当前方有车时它会降低车速从而保持一定的车距。当时我行驶了一会儿，路上车开始多了起来，所以我的车也慢了下来。后来，我到了出口，于是我手动驾驶并转到右侧车道，然后我准备驶出高速路。到这个时候，我的车已经处于自适应巡航状态很长时间了，但由于前方总有车，行驶得很慢，因此我完全忘了这回事。但是我的车可没有忘记，它还是处于巡航状态，我猜它当时一定在自言自语地说：‘哇塞，太爽了，终于前面没有车了！’，于是它开始加速到高速路的速度，根本不考虑这是必须减速行驶的驶出匝道。好在我当时反应很快，及时踩了刹车，不然很有可能就出车祸了。”
我们人类同科技的关系正在发生重大的变化，我们身处其中。直到最近，还是人类在控制着科技。我们可以启用或者关闭科技，告诉它进行某项操作，并引导它进行一系列的操作。当科技变得越来越强大、越来越复杂的时候，我们则越来越难以理解它是如何运转的，越来越难以预测它的行为。一旦计算机和微处理芯片登上舞台，我们便时常发现自己处于迷失、困惑、懊恼、生气的状态中。不过，我们仍然觉得我们处于主控地位。然而，事情不再是这样了，现在，机器正在逐步取得主控地位。它们的行为似乎在表示它们有了智慧和意志，尽管实际上它们并不具备。
当然，机器监控我们的初衷是好的，这是为了安全、方便、或者准确。当一切都正常的时候，这些聪明的机器的确对我们很有帮助，它们提高了安全度，减少了枯燥无聊的工作，让我们的生活更便利，执行任务比人类更加准确。比如，你驾驶汽车时，当前方突然有车离你太近时，你的汽车可以自动减速，并且平滑安静地换挡，这的确很方便；或者在家中，我们的微波炉知道在什么时候去加热土豆。但是，当科技出现故障时，怎么办？如果它做错了事情，或者要和我们争夺控制权怎么办？Jim的车驶离高速路，前方没有车，但已经不是高速路了，汽车仍然要加速到高速路上的速度，这又该怎么办？这些机器在工作正常时对我们非常有帮助，但一旦出现意想不到的情况，同样是这些机器，它们同样也可能降低安全度、舒适度，以及准确度。对于我们来说，一旦涉及其中，就有可能导致危险、不适、挫折、愤怒。
今天，当机器遇到麻烦的时候，它们主要通过发出警告和警报来通知我们。当机器失灵时，就需要有人来接管，但经常都没有预先警告，经常没有足够的时间来让我们采取适当的措施。还好当时Jim能够及时地纠正了汽车的行为，可是如果他当时不能够纠正呢？这可能会造成一个交通事故，而他就成了肇事者。很可笑吧，当所谓的智能设备导致了事故时，而错误很有可能会归咎于人。
要想让人类和智能设备的交互关系变得平滑，我们需要采取适当的方式，这就是要增强人和机器这两方面的协调和合作。但设计这些系统的人们却往往不知道这一点。机器怎么去判断哪件事情是重要的？哪件是不重要的呢？尤其是，在一些场合下某件事情是重要的，但到了另一些场合同样的事情就可能是不重要的了。
我跟几个汽车公司都讲过关于Jim和他的那辆“充满热情”的汽车的故事。他们对此的反映几乎是一样的，都包含有两个观点。首先，他们责怪驾驶者。为什么不在驶出高速路的时候关闭巡航控制呢？我解释说他当时忘记了。他们则回答道：“那么他的驾驶水平有问题。”这种“先责备、再教育”的方式总是会让责备者、保险公司、立法团体，以及社会感觉良好：如果有人犯了错误，就要加以惩罚。但这并没有解决根本问题。拙劣的设计，以及通常是拙劣的工艺规程、拙劣的基础设施、拙劣的运行实践才是真正的罪犯：人仅仅是这个复杂过程中的最后一步。
汽车公司认为驾驶者应该记得住汽车自动驾驶的状态，这虽然在技术层面上无可非议，但那也不是拙劣设计的借口。我们设计系统的时候应该按照人们实际行为的方式，而不是我们想让它们怎么样就怎么样。而且，Jim的汽车也没有帮助Jim去记忆当时的状态，实际上它的设计反而让Jim容易忘记！行驶控制系统的状态如何，根本就没有任何提示；关于行驶控制系统的状态，汽车本来是可以给驾驶者更好提示的。
当我和工程师们谈及此问题时，他们立即道出了第二个观点：“是的，这的确是个问题，但别担心，我们会纠正它。你说得对，汽车的导航系统应该意识到它现在已经离开了高速路，因此它应该自动关闭行驶控制，或者，起码也应该把车速降低到安全的范围。”
这就说明了一个根本的问题，该机器并不具备智能：这个智能存在于设计者的脑中。设计者坐在办公室里，试图对发生在汽车和驾驶者之间的一切情景进行想像，之后再想出解决办法。可是，设计者如何去处理一件根本没有想到的事情呢？当这件没有预期到的事情发生在一个人身上的时候，我们可以想像这个人是可以采用具有创造性的、富于想像力的解决方法来处理这个事情的。但由于机器的“智能”并不存在于机器中，而是存在于设计者的大脑中；因此，当意外事件发生时，由于设计者并不在场，所以机器往往就不灵了。
关于意外事件，我们知道两点：第一，它们总是会发生；第二，当发生时，它们总是在意料之外的。
关于Jim的经历，某家汽车公司的一位工程师给了我第三种回答。他羞怯地承认他也曾亲身经历过这个高速路出口的问题，但他也提起另一个问题：变道。在繁忙的高速路上，如果某辆车要变道，驾驶者必须等待，直到旁边的车道拉开足够长的空隙，然后快速地驶入进去。变道后，这辆车离前面和后面的汽车都很近，而此时自适应行驶控制系统很有可能认为距离前面的车太近，因此会触发刹车动作。
“这又有什么问题呢？”我问道，“的确有点讨厌，但是听起来这样很安全。”
“不，这样并不安全。”这位工程师说道。“这样是危险的，因为后面车里的驾驶员不会想到你在快速地驶入进去之后会突然来个刹车。如果后面的驾驶员当时注意力不集中，他就很有可能撞到你。就算他没撞到你，你这样的驾驶行为也会让他很生气。”
“或许，”那位工程师笑着说，“应该在车上安装一个专用的刹车灯，如果是汽车触发的刹车，而不是驾驶者踩的刹车，这个灯便亮起来，把实际情况告诉后面的车辆：‘哎，可别责怪我驾驶员啊，不是我干的，是我的车干的。’”
当然这位工程师是在开玩笑，但他的这番谈话揭示了人与机器行为之间的紧张关系。人类会因为种种原因采取行动，这些原因有善有恶，有深思熟虑的，也有鲁莽轻率的。相比之下，机器的行为则更加始终如一，前后一致，按照其内部预先设定的规则和逻辑来评估事态。但是，机器具有其本质的局限性：它们无法按照人类的方式去感知世界，它们缺乏较高层次的目标，它们也无法理解与之交互的人们的目标和动机。换言之，机器，在本质上是不同的：某些方面非常优秀，尤其在速度、力量和一致性方面；而某些方面非常拙劣，尤其在社交技能、创造力和想像力方面。在考虑其行为对周边的影响时，机器缺乏所需要的同情心（empathy）。这些不同之处，尤其是在我们称之为社交技能和同理心的方面，就是产生问题的根源。而且，这些不同，以及这些不同带来的冲突，是必然存在的，改变某个部件的逻辑或者在什么位置上再添加一个传感器是不可能快速解决这些问题的。
因此，机器的行为和人类的行为会发生抵触。在很多情况下，这样也相安无事：我家里的洗衣机和我洗衣服的方式非常地不同，但只要最终的结果都是把衣服洗干净了，我便不会在意这种不同。在这个例子中，机器自动化运行没有问题，因为一旦洗衣机开始工作，它就是一个封闭的系统。一旦启动，机器处于控制地位，只要我不介入，一切都运转自如。
但如果是在人和机器需要一起配合工作的环境中，情况会是怎么样的呢？或者，即使是上面提到的洗衣机的情形中，在洗衣机的工作启动之后，如果我改变主意了怎么办？当一个洗衣过程已经开始了，我怎么告诉洗衣机我想改成不同的设置呢，这些改变是否将立即生效，还是在下一次放衣服进去的时候生效呢？这里，人的反应和机器的反应是不同的，这种不同是很重要的。有的时候，机器的行为似乎是彻底的随心所欲，好像机器真的可以思考和说话一样，从这个角度来说，我都怀疑它是不是也可以解释一下它的行为，因为只有人才可以随心所欲。对于当事人来说，这非常折磨人，这简直就是持久的意志斗争。对于旁观者来说，这可能让人感到很困惑，因为永远也看不出来到底是谁说了算，看不出来为什么要采取某项行动。这时，机器与人到底孰是孰非，这并不要紧：要紧的是这种不协调，因为这会让事情受到阻碍、让情形变坏甚至恶化，在某些情况下，甚至可能造成财产损失或者生命伤害。
人与机器的行为冲突在本质上是存在的，无论机器的能力怎样，它们都无法充分了解所处的环境，无法充分了解人的目标和动机，以及特定机器在被控制的环境下可以工作自如，因为那里不存在因为人介入的麻烦，那里也不存在意料之外的事件，那里的一切都可以非常精准地预料到。那里才是自动化系统可以出色发挥作用的地方。
但是，当机器处于控制地位时，就算它可以运行良好，它的行为也可能和我们人类的行为是不一样的。拿智能微波炉举例，它知道应该对食物施加多大功率、以及食物该加工多长时间。
当智能微波炉工作正常的时候，一切都很好：比如你要烹饪三文鱼，你只要把鱼放入其中，然后告诉微波炉你烹饪的是鱼就可以了。等时间到了之后，就可以从微波炉中将烹饪好的鱼拿出来了。这种鱼的微波炉烹饪做法，介于水煮和清蒸之间，却也自有其妙处。说明书中写道：“传感器可以感知到在烹饪过程中产生的湿气，”之后，微波炉会根据湿气的量，以及食物的种类和多少，来相应地自动调节烹饪时间。我们可以注意到，这里微波炉的烹饪过程是有别于人类的。人在烹饪鱼的时候，会感觉鱼肉的软硬变化，看颜色的变化，可能还会用温度计测量鱼肉内部的温度。微波炉不会上述的这些，因此它按照它会的东西来烹饪：也就是湿度。
微波炉通过湿度来判断烹饪的程度。对于鱼或者蔬菜等，这种方法没有问题，但对于某些食品就不行了。而且，目前的传感技术还不完美。如果食物拿出来的时候尚未完全熟透，这个时候，按照说明书说的方法，则不能再度使用传感器的模式：对于同一份食物，传感器的模式不能连续使用两次，否则可能会导致加热过度，甚至烧焦食物。这就是所谓的智能微波炉。
这些机器对我们的日常生活有帮助吗？有，也没有。如果机器可以说话，它们会显得有些傲慢，不会告诉我们某件事它们是如何做的、为什么这么做，不会告诉我们它们在做什么，也不会告诉我们它们根据传感器推断出来的食物几成熟了、衣服洗得有多干净了、衣服烘干到什么程度了，当事情出现异常时它们也不知道该怎么处理。有很多人，在我看来，他们会避免使用这些机器。“为什么它要这么做？”有些好奇的人想知道为什么，但机器不会告诉你，使用手册基本上也是只字不提。
目前在世界上的很多研究所里，科学家们正在辛勤的工作，他们在想更多的办法让机器的智能走入我们的生活中。比如，一些实验住宅可以感知到其居住者的各种行动，从而自动地控制照明、调节房间的温度，还可以挑选居住者喜欢的音乐进行播放。
在科学家们正在研究的项目中，有一些很特别；比如，冰箱可以阻止你吃不适合的食物，告密马桶会偷偷地把你体液的数据告诉给你的医生。冰箱和马桶这个组合看起来有点奇怪，但它们可以一起合作来监控人的饮食行为，冰箱可以控制吃进身体的东西，马桶则可以测量和评估从身体中排出来的东西。另外，其他的一些特别的东西还包括会责骂人的体重秤，会要求你使用的健身机，甚至茶壶也可以发出尖锐的哨音，以立即引起人的注意。
当我们在日常生活中加入了越来越多的智能设备，我们的生活既变得更好了，也变得更糟了。当设备运行正常时一切都很好，但当它们失灵时，或者它们把具有创造力和生产力的人类变成仆人时，事情就变得糟糕了，人类不得不始终照顾机器、排除机器的故障、修理和维护它们。这可不是我们所希望的，但现在的情况的确是这样。现在是不是太晚了？对此，我们可以做些什么呢？
