本节核心论点：如果某个系统或设备无法实现完全的自动化，那么我们就必须要非常小心地对待这种自动化，甚至在有些情况下干脆不要采用，或者需要投入更多的人工参与，这样才能让人们了解当前的状况并做好准备。
前面我曾经说过，目前自动化的情况从根本上说尚不健全，因为它处在危险不高不低的状况——既不是全自动的，也不是全人工的。我认为完全不自动没有问题，或者完全自动也没有问题，但今天我们的自动化处于从人工到自动的半途中。这更糟糕，当一切都顺利的时候，系统接管过来，全自动运转；而事情变得复杂的时候，它就撂挑子不干了，事先一点警告和通知都没有——往往带给你最不想要的结果。
如果飞行员或者驾驶员能够了解到飞机或者汽车的状态、周边环境以及当时所处的位置和其他飞机或汽车的状况，而且更为重要的是，飞行员和驾驶员能够始终理解这些信息并作出相应的反应，这个时候，这个人就是操纵环中的必要组成部分：了解情况，决定采取适当的动作，执行该动作，然后监视动作的结果。每当你小心驾驶汽车，对发生在周边的事情全神贯注时，你便“处于操纵环中”。同样道理，当你在厨房烹饪、在洗衣服、甚至在玩电子游戏时，只要你始终都参与其中，并判断形势、决定行动、并评估结果，那么你同样也“处于操纵环中”。
另外一个紧密相关的概念是“情景认知”，是指一个人对周边环境、事物当前的状态、以及即将发生什么等情况的了解和认识。理论上，即使是在全自动行驶的车辆中，人们也可以通过监控车辆的行为评估当前的状况，这样人们便处于操纵环中，全面地了解情况，并且在必要时还可以介入，以采取必要的措施。然而，让人处于这种被动的观察状态，效果并不太好，对于飞机上的飞行员和汽车驾驶者尤其如此，在长途旅行中，他们必须要保持这种状态长达数个小时。在实验心理学中，这种状况被称之为“警觉”（vigilance），无论是试验还是理论的研究都表明，随着时间增加，人们维持警觉的效果会越来越差。对于不用脑子的工作，人们的注意力将无法保持长时间的集中。
当人们“不在操纵环中”时，他们就无法得到任何消息。一旦出现异常情况，需要采取立即的行动时，他们将无法提供有效的帮助。实际上，要重新返回到“操纵环”中，需要相当多的时间和精力，因此即使返回到操纵环中，还可能已经太晚了。
自动设备的第二个问题是人们对自动化产生依赖感，即使在自动化出现问题的时候也是如此。英国布鲁内尔大学（Brunel University）的两位心理学家Neville Stanton和Mark Young，曾经研究过驾驶者在汽车模拟器中使用自适应巡航控制系统的行为。通过研究他们发现，当自动系统都正常运转时，其他的一切也都很好；然而当自适应巡航系统无法正常工作时，驾驶者会比在没有该巡航系统时出现更多的事故。这个研究的发现是具有共性的，比如安全设备的确会给人增加安全，但一旦该设备出现问题，则不再增加安全。一旦人们逐渐地依赖自动化设备，他们不仅不在操纵环内，而且通常也会过于信任这种自动化。而且还带来一个有意思的现象，一旦自动化设备出现故障，人们将不会像以前没有自动化设备的时候一样去热心地处理并解决问题。这个现象在所研究过的每个领域中都存在，这包括飞行员、火车司机、汽车驾驶员。
人们不仅会依赖自动化设备，而且还会形成遵从自动化设备指示的习惯。英国维尔特郡（Wiltshire）的居民们发现了一桩赚钱的生意：在埃文河畔拖车。有不少汽车因驾驶者过分相信并遵从他们的导航系统，即使他们自己也感觉到了即将驶入河中，但还是义无反顾地按照导航系统提供的信息驾驶，最终误入埃文河。类似地，即使最有经验飞行员有时候也会过分地相信机载设备。“皇家陛下号”邮轮也曾因为船员过分相信其智能导航系统而搁浅过。
所有的汽车制造商都非常关心这些问题，因为除了要满足现代社会中各种法律法规的对安全要求之外，他们也非常担心出现细微的问题可能会引来巨额的法律官司。那么，他们怎么办呢？谨慎，再谨慎。
在拥挤的公路上高速行驶是非常危险的：每年全世界都有一百二十万人因此丧生，五千万人受伤或致残。我们依赖的这种自动化设备——汽车，让我们暴露于不必要的风险中。汽车这种给人类带来极大方便的工具，同样也是致命的。
的确，我们可以加强对驾驶者的培训，但问题的关键在于，驾驶本身就是危险的。驾驶中一旦问题发生，就是在瞬间发生的，驾驶者几乎没有时间去反应。每个驾驶者都曾有过注意力分散的经历——人出现这种状况是很自然的。即便在最好的情况下，驾驶仍然是一项危险的活动。
如果某个系统或设备无法实现完全的自动化，那么我们就必须要非常小心地对待这种自动化，要谨慎使用，甚至在有些情况下干脆不要采用，或者需要投入更多的人工参与，这样才能够让驾驶者始终都可以了解当前的状况并做好准备。
汽车若完全采用人工控制也是危险的，而完全自动控制则要安全一些。当由部分自动转换到完全自动时，当只有一部分东西自动化时，当每个车辆的自动化水平不一致时，当自动化程度有限的时候，都会遇到困难。我担心部分自动驾驶虽然可能会降低事故的发生次数，但是可能事故的严重性会增加，涉及事故的车辆也会增多，伤亡人数可能也会上升。因此，我们必须谨慎处理这种机器和驾驭机器的人类之间的关系。
