作
，他们关心只是程序所做事情，即对其所关注其他事情可理解影响。
然而，为
实现这
目标，
们必须发明并学会使用新技术来“表达意图”。为做到这点，们将不得不放弃只能描述过程旧编程语言，尽管它仍在发展之中。这可能比听起来要难得多。因为，们很容易就会说，们想做只是用更熟悉表达方式来说明们想要发生事情。但这带来些非常严重风险。
第个风险是，这让们,bao露自欺欺人后果。当人们编写程序、写文章或者做任何事情时候，他们总是容易对自己说：“知道想要什
，但无法完全表达清楚。”然而，这个概念本身就反映个过于简单化自形象，它认为“自”以简单纯粹实体形式存在于个人思维中心某处（打个比方），并且有着简单纯粹愿望、意图和目标。这种前弗洛伊德式形象为们经常出现矛盾心理提供借口。们说服自己，澄清们意图仅仅是把内在自与外在自之间输入输出通道弄清楚而已。问题是，无论们多希望自己是这样做，但实际上们都绝非如此。
当们试图逃避理解自己愿望如何实现这个责任时，们就会面临另种风险。无论们是否进行编程，们都可以选择任何们可以选择方法，这总是很危险。因为，们得到期许结果，可使用方法选择范围越大，们就越容易遭遇潜在事故。们可能没有意识到，或许意识到时候已经为时已晚，们目标被曲解，甚至可能被恶意曲解，就像经典故事《浮士德命运》《魔法师学徒》或《猴爪》（W.W.雅各布斯）所描述那样。
然而，当们这些贪婪、懒惰、善于思考人最终迈出最后步时，终极风险就到来：设计目标导向程序，它会通过学习和自进化来增强自身能力，从而使自己变得越来越强大。这样做是很诱人，不仅仅是为获得力量，也是为在考虑和制定目标过程中减少自身努力。如果个精灵给你三个愿望，你第个愿望不会是“请告诉，最需要是什”！问题是，有如此强大机器，哪怕是因粗心设计导致最轻微事故也需要他们把自己目标放在们之前，或许是出于保护们免受自己攻击善意目，如杰克·威廉森《束手无策》（WithFoldedHand）；或许是保护们免受未知敌人攻击，如D.H.琼斯《巨无霸》（Colossus）；或如
请关闭浏览器阅读模式后查看本章节，否则可能部分章节内容会丢失。
