图书在版编目(CIP)数据

    科技失控(美)瓦拉赫(Wallach，W.)著；萧黎黎译.--南京：江苏凤凰文艺出版

    社，2017.1

    书名原文：A Dangerous Master：How to keep Technology from Slipping Beyond Our

    Control ISBN 978-7-5399-8616-6

    Ⅰ.①科… Ⅱ.①瓦… ②萧… Ⅲ.①科学技术-普及读物 Ⅳ.①N49

    中国版本图书馆CIP数据核字(2015)第190017号

    A DANGEROUS MASTER：How to Keep Technology from Slipping Beyond Our Control by

    Wendell Wallach Copyright ? 2015 by Wendell Wallach Simplified Chinese translation

    copyright ? 2017 by Beijing Mediatime Books Co.，Ltd.

    Published by arrangement with Basic Books，an imprint of Perseus Books，LLC，a subsidiary of Hachette Book Group，Inc.，New York，New York，USA.

    through Bardon-Chinese Media Agency

    ALL RIGHTS RESERVED

    书名 科技失控

    作者 (美)温德尔·瓦拉赫(Wendell Wallach)著

    译者 萧黎黎

    责任编辑 邹晓燕 黄孝阳

    出版发行 凤凰出版传媒股份有限公司

    江苏凤凰文艺出版社

    出版社地址 南京市中央路165号，邮编：210009

    出版社网址 http:www.jswenyi.com 发行 北京时代华语图书股份有限公司 010-

    83670231

    经销 凤凰出版传媒股份有限公司

    印刷 北京富达印务有限公司

    开本 700×1000毫米 116

    印张 18

    字数 250千字

    版次 2017年2月第1版 2017年2月第1次印刷

    标准书号 ISBN 978-7-5399-8616-6

    定价 39.80元

    (江苏文艺版图书凡印刷、装订错误可随时向承印厂调换)

    温德尔·瓦拉赫似乎总是比我们超前几年。他这本了不起的书将我们带到了科技前

    沿，向我们展示了最卓著的技术发明如何、为什么以及在哪些地方改变人类的生活。瓦拉

    赫思维敏锐入微，完美地将他新兴技术的渊博知识与对历史的把握、对人性的尊重结合起

    来。《科技失控》是一本引人入胜、意义非凡的书，话题本身耐人寻味，但读起来却妙趣

    横生。

    ——哈佛大学道德与认知实验室主任、《道德部落》作者乔舒亚·格林(Joshua Greene)

    这本恰逢其时的书对于大量快速发展的科学技术的利弊进行了不偏不倚的评价。这是

    一本值得广泛阅读的书。

    ——剑桥大学宇宙学和天体物理学教授、《宇宙》和《仅有六个数》的作者马丁·李斯(Martin Rees)

    权衡新技术的利弊越来越难。当新的技术问世，《科技失控》为我们如何淌过险滩作

    出英明决策提供了平衡且及时的导航。读这本书吧——也许你的不确定感不会因此减少，但至少应对的能力会提升。

    ——纽约大学郎格尼医学中心生物伦理学教授亚瑟·卡普兰(ArthurCaplan)

    在新兴技术的领地艰难跋涉时，很难找到一个比温德尔·瓦拉赫考虑更周到、准备更

    充分的向导了，这一点他通过这本内容全面、浩瀚博学、可读性非常高的书展露得淋漓尽

    致。这是一本必读书!

    ——亚利桑那州立大学土木与环境工程教授布莱登·艾伦比(Braden Allenby)

    “温德尔·瓦拉赫为我们所有人做了一件事。他提醒和警告我们，我们与创新技术的浪

    漫故事中风险和收益并存。他对于我们所面临的风险做了很好的陈述，这也是我们需要听

    到的声音。”

    ——黑斯廷斯中心名誉主席丹尼尔·卡拉汉(Daniel Callahan)

    《科技失控》以平易近人却精确得当的语言，以大师级的手法展示了新兴技术及其对

    伦理和社会带来的深远影响。

    ——桑德拉·戴·奥康纳法律学院教授加里·马钱特(Gary Marchant)

    致哥特(Gert)，他本希望他的孩子跟随他学医或成为科学家，但是，我们在餐桌上

    的时光都用来讨论历史、政治和道德。

    致耶鲁大学生物伦理学跨学科中心技术和伦理研究小组的成员和老师们。

    你们是我的导师。

    我们不会停止进步，或刻意逆转。所以我们必须认识到进步的风险并控制它。

    ——史蒂芬·霍金(Stephen William Hawking)

    科技是很好的仆人但也是危险的主人。

    ——卢斯·兰奇(Lous Lange)

    我们如果还不立刻调整方向，结局注定是不知所终。

    ——欧文·科里(Irwin Corey)

    第一章 谁真正掌控我们的未来

    技术风暴

    转折点

    航向修正

    必然、不安和沉默

    进攻计划

    第二章 预测

    难以预知的危机

    对未知的恐惧

    第三章 越来越复杂

    复杂系统和混沌系统

    复杂意味着更容易出问题

    复杂的技术系统

    复杂建模能否解决问题

    全力应对不确定性

    人体是一个复杂系统

    无法预测的命运

    第四章 变化的速度

    3D打印

    互联网前和互联网后

    加速、智慧以及奇点

    技术发展的失控

    我们是否有能力控制

    技术变化的获益和风险

    第五章 权衡

    DDT和氟利昂

    纳米技术

    环境风险：合成石油和水力压裂

    核电和能源

    第六章 生物工程和转基因

    基因学简史

    自上而下和自下而上

    基因科技的前沿

    ****

    黄金大米事件

    第七章 掌控人类基因

    设计人类？

    基因与环境

    个性化药物

    从试管婴儿到设计婴儿

    基因研究的转折点

    第八章 超越生命极限

    超级人类

    假如可以长生不老

    有智慧的机器

    第九章 半机器人和技术智人

    关于未来的战争

    关于增能之争

    我们身边的半机器人

    符合伦理的研究

    认知增能

    第十章 病态的人性

    用药物提升道德？

    生物化和机械化

    修复设计缺陷

    透过黑暗的玻璃

    第十一章 超级武器与技术风暴

    如果我们不采取行动，他们会的

    保健广告的荒谬

    我们还有多少时间

    第十二章 终止终结者

    自动驾驶汽车和责任

    服务型机器人

    计算法决定生死

    未来战争的红线

    电脑无处不在

    第十三章 工程灾难

    绝育和抑制

    为责任设计

    道德机器

    弹性系统

    第十四章 社会应变落后于技术发展

    社会和技术的节奏问题

    胡萝卜加大棒

    执行中的挑战

    第十五章 我们的未来

    人类可掌握的节奏

    每个人都是参与者

    第一章 谁真正掌控我们的未来

    奥托·罗斯勒(Otto Rossler)，这位说话轻柔的知名生物化学家看起来一点也不像说

    出惊世骇俗言论的人，他曾在公开场合声称大型强子对撞机(LHC)的启动运行之日就是

    地球末日。2008年1月在德国柏林的一次会议上，他指出世界上最大的强子对撞机运行后

    将形成一个微小的黑洞，地球会从中消失。

    罗斯勒并非孤军奋战，为数不少的科学家加入他的行列企图制止LHC投入运行。他们

    是令人瞩目的少数派。

    当然我们可以认为罗斯勒只是一个疯子科学家，哗众取宠，危言耸听，不愿接受绝大

    多数人已达成的共识。但是，在他批评CERN(欧洲核子研究组织)之后过了几年，我在

    德国巴登州举行的一次学术大会上亲眼见到他，他实际上非常温和、审慎、认真，不是那

    种你能忽略他意见的人。罗斯勒提出的一些担心是值得关注的，至少是值得倾听的。

    物理学家在描述黑洞的时候，通常会应用坍缩星的例子，坍缩星被压缩成一个非常小

    且密度大的物质，产生了极大的重力，连光都无法逃脱它的引力。从理论上来说，粒子对

    撞机中高能粒子的碰撞能产生微黑洞，因此罗斯勒要求物理学家开展更多基础性的研究证

    明粒子对撞机运行不会产生危险级的黑洞，在此之前CERN应当暂停启动粒子对撞机。

    2008年8月26日，就在粒子对撞机计划启动前10天，欧盟公民向位于斯特拉堡的欧洲人权

    法院提出法律诉讼，要求终止LHC的使用。

    大型科研项目特别是像粒子对撞机这样由公共资金支持的项目经常成为众矢之的。几

    乎人人——不管是科学毁谤者、怪人还是那些认为这笔钱可以有更好用途的人都对是否值

    得开展此类项目心存意见，对于理论物理实验尤其如此，因其实验结果并非立竿见影带来

    应用价值。但是即使这些有关物理的理论艰深晦涩、常人难以理解，参与LHC项目的物理

    学家们还是成功地说服了政府部门官员理解这项研究的重要价值。

    20多个国家以及欧盟为CERN提供了主要资金。此外，包括美国在内的6个国家为

    LHC的建设提供了资金支持。在2008年法律诉讼时，该项目已花费了60亿美元。正因为这

    项理论研究花费了如此多的公共资金，我们可以很容易想象，CERN的领衔科学家面临着

    证明其研究价值合法性的巨大压力，CERN的官员做出任何终止后续工作的决定都需要十

    足的勇气。

    所提及的危险是值得慎重对待的，知名专家也发声表示他们的担忧。CERN如果完全

    忽略这种危险则是完全不负责任的。因此，一个物理学家组成的委员会成立了，专门研究

    罗斯勒对于粒子对撞机安全性理论是否具有合理性的质疑。这样的做法也广为科学家所接

    受。但是这类委员会的成立，所基于的方法是广大普通公众难以理解的，因此其命运也存

    在一定的风险。

    委员会认为粒子对撞机不会带来危险，其中一个重要原因是，他们认为粒子对撞机运

    行后产生的任何微黑洞都是不稳定的，转瞬即逝。瞬间消失的黑洞不会产生实质性的威

    胁。黑洞解体是由于释放了一种霍金辐射形式的能量(霍金辐射由斯蒂芬·霍金提出并以

    他名字命名)。

    大部分物理学家相信霍金辐射的存在，但是霍金辐射尚未得到证实，目前还没有如此

    敏感的设备足以对之进行实验验证。换句话说，根据某些理论(罗斯勒的理论)，对有些

    理论进行实验验证是危险的，比如说证明难以捉摸的希格斯玻色子(Higgs boson)是否

    存在，然而有些理论却因为科学家广为接受某个未经证实的理论(比如霍金辐射)而被放

    弃研究。

    CERN对要求其终止研究一事进行了应诉。欧洲人权法院很快就驳回了诉讼。粒子对

    撞机随后启动运行。

    2008年9月13日，物理学家和畅销书作者米凯奥·卡库(Michio Kaku)在《华尔街日

    报》上撰文称，“如果你能读到下面这句话，恭喜你!你在大型强子对撞机正式启动之日

    成功存活”，因为很多人都批评该对撞机的启动会产生吞噬地球的微黑洞。

    科学家开展此类据称可能导致人类灭绝的实验已经不是第一次了。早在1945年7月，美国在新墨西哥州沙漠开展的首次“三位一体”核试验就是最知名的例子。试验之前，参与

    曼哈顿工程的重要科学家推测大爆炸是否会引发地球大气层的链式反应，计算表明人类灭

    绝这个等级的事件不可能发生，但也不能绝对排除这种可怕情况的出现。

    据报道，诺贝尔物理学奖获得者恩里克·费米(Enrico Fermi)先生(他的幽默感实在

    是有点令人毛骨悚然)打赌核试验是否会造成大气层大火，如果会，那将吞噬新墨西哥州

    还是整个地球？当然，核试验并没有摧毁新墨西哥州更谈不上整个地球，但是即使是这次

    核试验是成功的，后续研究还是要完全排除威力更大的原子弹爆炸引燃大气层的可能性。

    奥托·罗斯勒仍坚持说粒子对撞机产生稳定微黑洞的可能性是存在的，尽管可能性很

    小。此外，他还批评CERN并未采取任何预防措施。虽然粒子对撞机至启动以来一直处于

    安全运行的状态，但是有没有一种可能性就是粒子对撞机仍然会产生让地球消失的黑洞

    呢？粒子对撞机有一个周长为17英里的环形隧道，其设计理念是让高能粒子进行碰撞。

    两束高能粒子相互碰撞，是为了模拟138亿年前宇宙大爆炸后微时刻的情形。过去3年

    里，CERN运行的粒子对撞机内部有6000万亿个粒子在碰撞。但是只有少数的碰撞提供了

    希格斯粒子存在迹象的重要数据证明，2012年7月对外发布了这一突破性发现。但是，鉴

    于每年碰撞的粒子数量，即使是一个粒子出了偏差，可能性极低也会让人们忧心忡忡。

    罗斯勒还谴责CERN启动粒子对撞机运行后至今没有及时更新官方安全报告，6000万

    亿个粒子的碰撞到底有没有产生稳定的微黑洞，或是告诉大家永远不会出现此类黑洞，这

    或许会让人放心些。但是同时罗斯勒指出，CERN或许没有办法知悉是否产生了黑洞，除

    非黑洞吞噬了相当数目的物质，但这是需要一定的时间。

    此外，对于优秀的科学家而言，“永不”是难以接受的词，因为他们永远对任何可能推

    翻当前物理法则的现象持开放态度。比如说，如果在某些尚未观察到的情况下，苹果可能

    会漂浮到树上，而非落到地面上，因此就可以质疑目前适用于绝大多数情况的重力法则。

    物理学家讲求的是可能性和不确定性，而非绝对性。在量子物理的世界里，主要描述

    的是次原子粒子的行为，各种可能性为理论提供了基础，从而对结果进行预测。但是

    CERN的安全报告充满了不确定性，将难以让公众安心，并且招来各种批评。虽然报告可

    能会带来误解，但是CERN也不能贬低安全的重要性，或掩盖评估的结果。

    2013年2月，历经3年成功运行后，CERN关停了粒子对撞机进行重大维修，计划于

    2015年重启。我相信CERN的科学家都是勤勉认真的人，不会有意置人类的风险于不顾。

    但是我非常不满意的是，这些科学家和法院的人做出了影响我们每一个人生活的决定。

    不管怎样，在粒子对撞机这个问题上，科学专家做出的判断的分量要重于其他研究领

    域。因为物理学是一门规律性很强的科学，对于试验安全与否可以通过数学计算才能决

    策，前提是我们已经充分了解了相关物理系统法则或规律。虽然在某些情况下，即使是合

    乎规律的活动也会带来不可预见的事件。

    但现在的情况是，这个问题已超出了物理学的范畴，在计算机科学、基因学、神经科

    学、地理工程学等领域我们碰到的问题更大。我们越来越难以理解新兴科学研究以及创新

    技术应用中所隐含的风险。科学调查与人类行为、环境问题交织缠绕。对日后用于日常生

    活的技术和工具可能带来的广泛社会影响，单从科学角度进行安全评估已远远不够。

    此外，在对几十亿甚至千万亿的事件进行分析时，即使结果表明发生的可能性极低，我们也不能排除风险存在的可能性。我们在对计算机计算的数据，对不同基因组成的变

    种，对神经元发射形式的多样性或者是天气受大气变化影响等问题进行分析时，都应当持

    有如此谨慎的态度。

    新兴技术的发展、进步以及社会影响存在不确定性，这并非新鲜事。但问题是我们对

    一些复杂体系的依赖程度日益加大，其中的风险无法计算。科学发现和技术创新的速度远

    远超过了政府对之进行监管的能力。此外，新兴技术不仅带来了人体健康、环境威胁等常

    规风险，也带来一些独特的社会问题。比如，运动用的生长激素会刺激铤而走险的尝试

    者，助长欺骗，加剧不公平，以及破坏行业发展。总之，所有这些问题都增加了悲剧发生

    的可能性，其中新技术的采用难辞其咎。

    不仅仅是评估新兴技术的风险越来越有难度，连开展一场开诚布公的现实对话都成了

    挑战。在新兴技术研究领域，无穷无尽的猜测和炒作让我们幻想我们必须在前沿科学领域

    取得进展，不管这些领域到底是我们期待的，还是令人忧虑的。但是即使是在广为人知、耳熟能详的领域，比如对个性化药物、设计婴儿、大脑模拟，以及超智能计算机和机器人

    等进行评估也是极其难以实现的。

    从现实中去伪存真本身就是件复杂的任务。对于普通人而言，几乎不可能分辨设计周

    详的试验、推测性理论、经得住考验的假说以及证实的事实之间的区别。因此，很难知道

    哪些风险真正值得注意。

    罗斯勒关于粒子对撞机研究存在风险的论断遭到了否定。但是最近，两位法学教授对

    于纽约布鲁克海文的相对论重离子碰撞加速器(RHIC)开展的新研究提出了类似的担

    忧。他们没有罗斯勒那样知名的科学背景，因此更难引起人们认真对待他们所提的问题。

    2014年，埃里克·强森(Eric Johnson)和迈克尔·巴拉姆(Michael Baram)发表了一

    篇文章，要求成立委员会专门研究运行15年的RHIC是否安全。RHIC的规模仅次于粒子对

    撞机，目前正在进行升级，以开展比它原有设计承载的能量范围更大的实验。

    强森和巴拉姆担心新实验可能会产生一种次原子物质“奇异微子”，在某些情况下，奇

    异微子将引发链式反应。英国皇家天文学家马丁·里斯(Martin Rees)爵士说，链式反应

    会将地球变成一个直径为100米(109英尺)的惰性高密度球体。

    早在RHIC投运之前，就有人提出奇异微子的问题。1999年7月，在媒体关注之后，布

    鲁克海文实验室主任任命了一个4人委员会研究这一问题。2个月之后委员会报告称RHIC

    是安全的。之后包括《灾难：风险和应对》的作者理查德·波斯纳(Richard Posner)法官

    在内的批评人士指责该委员会的成员要么是该项研究的参与者，要么是既得利益者。

    马丁·里斯写到，该委员会“的目的似乎就是让公众安心……而不是做出客观分析”。

    不管怎样，1999年原本的研究是基于假定RHIC只能运行10年，且在最近的一次升级之后

    只能开展比以前功率更小的实验。

    强森和巴拉姆关于成立一个委员会调查RHIC开展的新实验是否安全的呼声基本上被

    忽略了。有人批评律师们不应该质疑科学专家的判断。但问题是，在与安全攸关的问题

    上，科研人员一开始可能只顾推动研究的开展，从而忽视甚或不顾风险的存在。除非马上

    就能确定风险所在，不然许多科研人员会如同井底之蛙，对于所从事的研究产生的社会影

    响不感兴趣或是漠不关心。

    即使某位专家深切认识到其中的深远影响，光凭一己之力也不具备足够的权威做出能

    够影响到我们每一个人的决定。另一方面，一些对于新技术可能产生的社会影响十分敏感

    的非专家人士却可能缺乏专业的知识去分析评估他们的担忧是否站得住脚。

    一些有责任感的公民所持的观点可能是短视的——他们经常会将科学实践政治化，这

    本身也是有其危险性的。因此责任不仅仅在于科研人员，非专家人士和普通公民都负有责

    任。专家和非专家之间很少有动力进行相互沟通以弥合其中认识的鸿沟。即使他们想要实

    现某种形式的相互理解，也没有蓝图或计划指导他们实现这一目标。

    决定什么时候听从专家的判断，什么时候对新技术的采用予以干涉的确不容易。政府

    领导或是知情公民如何有效地洞察哪些领域的研究前途光明，哪些又风险重重？我们是否

    有这样的智慧和手段缓解可预见的严重风险？我们如何对不曾预料的风险未雨绸缪？

    粒子对撞机或是RHIC开展的实验引起人们恐惧，是因为从理论上说这些技术可能导

    致人类灭绝。而另一些技术，比如核战争，或是类似于科幻小说情节中终结者式的超智能

    机器人，其存在目的就在于灭绝人类。

    当然，采用创新工具和技术所带来的危险和破坏，大部分都不会威胁人类生存。这些

    风险影响范围非常广泛，比如世界范围内的流行疾病可能会造成数百万人死亡，或是一场

    足以使政府倒台的经济危机。

    大部分的风险相对比较小，比如机器出现故障对个体造成的伤害。但是，为数不少的

    创新技术有可能造成广泛的社会影响。其中大部分会使人类受益，有一些的影响存在争

    议，还有一些可能会造成破坏。也有可能某一种技术同时具备上述三个特点，即有用，有

    争议及具有破坏性。比如，侦察相机和数据库极大地提升了安全，同时也损害了自由和隐

    私。

    本杰明·富兰克林曾经警告我们，那些愿意牺牲自由以换取安全的人将会双手空空，与之背道而驰的是，美国人和英国人显然愿意接受在二者之中做出权衡。权衡之下，考虑

    到巨大的好处，即使是存在破坏性风险的技术也常常为大众接受。但是我们判断这种权衡

    是否是合理的之前应征求哪些利益相关者的意见呢？谁又是最终拍板的呢？

    《科技失控》一书讨论了新技术的采用所带来的潜在危害，以及预测和管理这些危害

    时所面临的挑战，并将其与预计带来的好处进行衡量。我们的讨论将提到人类生存面临的

    威胁，但重点还是在一些与人类生存休戚相关但是尚不存在的风险。

    风险类型不同则要求不同的利益相关者参与决策过程。而且不同程度的风险需要不同

    形式的监管。为未来技术发展指出航向是一项危险的事业，首先要学会问正确的问题，这

    些问题能够揭示任其发展、无所作为所带来的隐患，更重要的是找到通向安全避风港的航

    道并为其描画出蓝图。

    技术风暴

    意识从时间的面庞划过，先照亮了生命的一面，而后是另一面。在我们当今所处的历

    史篇章中，焦点聚集在技术和信息上。时间飞逝，千兆字节的信息阻塞了数字和神经元的

    高速公路。不管是单个人还是作为一个整体，人类面临着前所未有的压力去消化、吸收、试验、参与，以及做出选择，对于不明智的选择可能带来的影响和付出的代价可能都没有

    机会进行反复思量。

    基因工程、情绪和性格转换药物、纳米技术、高级形式的人工智能，这令人应接不暇

    的可怕变化可能重新设计人类的思想和身体，重新对人类进行定义。我们开始采用自动化

    的计算机和机器人取代具有缺陷的人类决策，采用生物工程燃料作为新能源来源，这都在

    集聚越来越大的压力。

    层出不穷的新装置以及近期的各种可能性都在改变我们的日常生活，也许还会改变人

    类的命运。每项发明能够带来实质性的好处，比如治疗某种疾病，或是新的通讯方式。但

    是，即使最有益的发明也可能被滥用，从而造成不良影响，或是破坏体制、制度以及传统

    价值。

    创新工具和技术的使用永远会有好坏权衡。如果无人驾驶汽车能够真正减少公路死亡

    率当然是好的，但是，从另一方面说，是否意味着人类将失去驾驶的权利。这种权衡当然

    无法与灭绝人类的技术相提并论，但是也会以悄然无息的方式改变人类的行为。

    健康地多活几年当然不错，但是如果人类平均寿命延长到150岁，对于个人以及社会

    而言则有喜有忧。能帮人类承担繁重工作的机器人当然受欢迎，但是现在智能机器人越来

    越多地取代人类的工作，有可能某一天超越人类智力，造成一系列的经济、社会问题。

    未来几十年里新技术的累积影响是难以想象的，且很可能令人不安。我把开创性发明

    和工具不断涌现比作技术风暴。雨水润泽生命，但是永不停歇的暴风骤雨则会暴殄生灵。

    技术发展与经济类似，有可能陷于停滞也可能过热。支持技术带来回报的人呼吁政府

    出台越来越多的政策为研究提供资金支持，减少产品责任以刺激创新。但是少数领域的发

    展不断加速推进以至达到失控的危险速度。可以说，信息技术的扩展就是如此，而且凭借

    其迅速发展获得了侵犯隐私和财产的机会。潘多拉的魔盒已经打开。

    我们的时代并非第一个经历新技术不断喷涌的年代。促成工业革命的新工具和技术影

    响更加深远，其造成的破坏作用远胜当今。拥挤的城市，肮脏、危险的工作条件，长时间

    的工作，童工等都是工业革命风暴最突出的负面特征。但是，对于那些居住在脏乱拥挤的

    贫民窟的人来说，刚一开始感受并不明显，生活水平的确是大大改善了。通常，新技术破

    坏性作用的产生要早于其带来的益处。

    信息时代仍处于婴儿期，而且与工业革命时期有着天壤之别的差异，所以很难对二者

    做出有意义的比较。未来几十年中，基因学和纳米技术的进步将获得比信息技术更多的关

    注。这些领域不仅将改变我们的世界，还会改变我们的身体，促使我们的感官与外部装置

    之间联系更加紧密。多领域创新的融合效应不断累积形成技术风暴，人们得不断去适应变

    化以跟上时代步伐，趋利并避害。

    对新技术总体影响进行衡量至少还需等待30或50年。同时，只有我们所采取的行动具

    有远见，才能确定信息时代真正促进人类进步和思想进步。技术进步带来的好处是不言而

    喻的。《科技失控》将解决可能出现问题的方面，对于减少风险的各种方法进行探讨。最

    重要的是，这种探讨应当与社会目标有关，不仅是可能实现什么，更是我们希望领袖们以

    及我们的社会应关注哪些重点。

    在技术和社会变革过程中，会经历风暴或是倾盆大雨。基因工程的试验可能出错。看

    似有前途的理论也可能将投资人带入死胡同。我们在看到基因学和纳米技术预期中的好处

    之前，有可能看到实验室因事故或恶意目的导致大量有毒物质泄露。

    负面后果会令人们质疑之前的判断，也会令人怀疑为了所谓的好处是否值得付出。批

    评者会争辩说，短期的利益和预测的好处就能证明当前出现的问题或是未来的风险是正当

    合理的。但是，新技术可能带来的好处可以解决当今如此多的问题，以至于没人希望放弃

    研究。

    即使过滤掉猜测性的好处，在不久的未来很可能实现的技术进步带来的潜在好处是巨

    大的。但是如果我们对于预料中的问题不去解决，那么继续开展这些领域的研究，将带来

    危害，并危及公众对此的支持。如果没有明确的手段缓解某项技术带来的风险，批评人士

    以及公民团体会反对进一步的研究。

    顺从经济和政治上的当务之急是不够的，听任技术机械式地展开也是不可接受的。在

    民主社会里，公众应当对开创一个怎样的未来负责。在历史的关键点上，在我们恰如其分

    地同意或反对之前，应当进行一次开明的对话。

    转折点

    现在衡量新技术的广泛影响为时尚早，我们仍有各种机会去害存利。但是为了充分利

    用这些机会，或“转折点”，我们首先必须认识他们。转折点是指历史上带来正面或负面后

    果的转折时刻。这些时刻提供的机会窗口让我们能够在一定程度上控制所要开创的未来。

    机会窗口可能保持长期开启的状态，但很多时候，开启和关闭都很快。一项技术一旦

    根植于社会结构之中，要改弦更张极其困难。如果对于转瞬即逝的机会没有采取行动，那

    未来将屈从于人类不能掌控的力量。

    消除灾难发生的可能性或降低灾难的严重程度通常需要提前采取预防措施。很多关于

    转折点的例子证明，通过及早响应预料中的危险，避免了灾难发生或限制灾难的影响。最

    近的一个例子是，全球实质性地提升了预防流行性感冒爆发的能力。大范围流行病是极其

    可怕的。1918年西班牙爆发的流感导致5亿人感染，5000万到1亿人死亡(占世界人口的

    3%～5%)。

    两种不同的流感爆发后，全球卫生官员抓住机会加强了流行病的预防工作。2002-

    2013年间，根据世界卫生组织的统计，630个确诊感染禽流感(H5N1)的病人中60%死

    亡。H5N1是从家禽传染给人类的病毒，迄今为止，只有极少的证据表明该病毒能在人与

    人之间传染。

    2009年，一种神秘的新型病毒株“猪流感”(H1N1)在墨西哥爆发。至当年11月份，世界卫生组织宣布实验室确认了482300例感染了H1N1病毒，其中6071人死亡。卫生官员

    们担心致命的禽流感病毒可能会变异成人与人之间也能传播的形式，其传播速度将加快，或是H1N1病毒可能会变异成极端致命的类型。

    如果感染禽流感的人很少，那么变异成人与人之间传播的病菌类型的可能性会降低。

    因此，刚开始的重点应当放在宰杀已感染禽流感的禽类防止传染；为家禽从业人员提供防

    护服和采取其他安全措施；为可能吃过受感染的鸡或其他禽类的社区开展有关卫生和食品

    制备方面的教育。

    在抗击任何新发疾病性病毒时，开发有效疫苗，生产充足数量的疫苗为相当数量的人

    口接种，需要一定的时间，而这会造成严重的瓶颈问题。争分夺秒就是治病救人，节省这

    部分时间意味着抓住了拯救数百万人的机会。为应对禽流感和猪流感爆发，世界卫生主管

    机构采取了加速疫苗研发和生产的重要措施，加强世界各国公共卫生官员之间的沟通，增

    加了研究设施，支持开发更好的诊断设备，储备已知流感种类的疫苗，以及对只有流行疾

    病发生时才启用的疫苗生产厂家提供日常运营的支持。

    卫生主管部门将这两起流感引起的担忧转变成预防疾病发生的机会。再次发生与1918

    年西班牙流感同等或更大规模的流行疾病仍有可能。幸运的是，全球卫生官员近年来采取

    的措施将大幅度减少流行病灾难发生的可能性。

    改变基因，更具体而言，改变人类基因将成为人类历史上的重要转折点。而次一级的

    转折点可以理解为目前正在开展的研究路线进行了调整，或者说进展速度发生了变化。比

    如说，解码人类基因本来可以历经数十年缓慢向前推进，但是因大量公共和私有资金的注

    入而加速前行。

    2013年6月13日，美国最高法院判决不能为人类基因申请专利，从而改变了人类基因

    学的研究进程。这次判决澄清并修订了1980年Diamond V.Chakrabarty案中的决定，当时实

    际上允许公司持有基因的所有权，引发了基因专利申请的“淘金潮”(gold rush)。截至

    2013年法院做出此判决时，41%的人类基因已注册了专利。对许多批评人士而言，对人类

    基因申请专利简直难以容忍，他们认为专利法的颁布是为了保护创新性发明而非申明对自

    然现象的所有权。

    此次法庭判决的案件与米利亚德遗传基因公司(Myriad Genetics)有关，这家公司持

    有两种基因BRCA1和BRCA2(BRCA：Breast Cancer，乳腺癌)的专利权。通过其专利

    权，米利亚德公司拥有广泛的权利，不仅包括将确认存在BRCA1和BRCA2基因变异的产

    品推向市场，也包括垄断该基因的研究和相关的治疗。

    携带变异BRCA1和BRCA2基因的妇女患乳腺癌的可能性很大。基因治疗师通常会建

    议进行预防性的切乳手术。2013年，新闻媒体广泛报道了美国演员安吉丽娜·朱莉

    (Angelina Jolie)双侧乳腺切除的事情，她体内携带BRCA1的缺陷基因，患乳腺癌的概

    率为87%，此外存在50%患卵巢癌的风险。朱莉的母亲56岁死于卵巢癌，她的姨妈61岁死

    于乳腺癌。

    美国最高法院的法官一致决定判决米利亚德公司败诉，并宣布单独的人类基因不可授

    予专利。理智获得了胜利。这起判决避免了将来可能出现的负面影响，比如对于基因治疗

    的漫天要价，或是对能够开展基因研究的人予以限制等。矛盾的是，基因研究因此既放慢

    了步伐，也加快了脚步。私人公司可能难以筹集到投资，但是独立的研究人员可以自由开

    展基因方面的研究而无须经过已获取基因专利的公司的同意。

    米利亚德公司案是基因研究发展过程中大家公认的转折点。法庭对以前的判决做出澄

    清或者说推翻了以前的判决，证明新技术的发展进程并非完全脱离人类的控制。调整进程

    的机会偶尔会出现。但是法院做出判决以后，这个具体的转折点就消失了，再次开启有关

    人类基因专利申请问题的讨论将是非常困难的。

    航向修正

    在采用新工具和技术的时候，哪些风险是合理的，哪些冒险是值得的，哪些是鲁莽冲

    动的？当前的模式是欢迎任何一项只要能想到的新工具和技术，只要有人愿意买，有人愿

    意卖。允许国内空域飞行无人机就属于这种情况。

    开发军用无人机的公司想要扩大市场，而美国国会更关心的是，指示美国联邦航空局

    制定国内空域无人机飞行的飞行规则，而不是支持在全国范围内开展有关无人机利弊的讨

    论。无人机具有可协助搜救、方便警察监视、支持某些研究的开展，以及一日内送达亚马

    逊公司的快递等好处，但是否能证明侵犯隐私、空域拥挤、空难、财产损失、头顶上一群

    装有摄像头的机械昆虫嗡嗡作响是正当合理的？

    公众全面讨论的结果很可能是有些人支持在空域飞行无人机，但要加以限制，这会大

    幅度减少无人机的数量。不幸的是，这种讨论并未出现。

    本书中，我倡导的是在创新技术的开发和部署过程中更加慎重、负责和认真。对将会

    产生深远和不确定的社会影响的新技术采取漫不经心的态度是文明迷失的标志。放缓已加

    速前进的新技术，应当采用负责任的方式确保人类的基本安全以及支持广泛的共同价值理

    念。

    虽然，每一个项目的放缓都会付出代价：节能设备的投放会停滞，武器系统未经完善

    和部署，还有一些创造不了的财富。那些梦想未实现的人会失望；有些将要离世的人认为

    他们的病本可在有生之年治好，将会很愤怒。但我们必须做出艰难的抉择。

    我们踏上的航程危机四伏，修正航向非常必要。我们可以微调航向，只要我们认清一

    些转折点，认真地选择需要维护和加强的价值理念，坚定地开展好的研究和工程实践，设

    置一些能全面监督、管理、调整技术发展的机构。《科技失控》将就人类如何在危险重重

    的未来成功航向彼岸提出一些建议。

    必然、不安和沉默

    我的担心并不是在于某些具体的创新技术的应用，而是科学发现的过程。历史证明，政府对科学研究的干预在无数层面上损害科研自由。即便如此，在很多方面政府都应当更

    加关心他们需要资助哪些领域，以及要求科学家采取怎样的保障措施。

    将科学发现活动与新技术应用区分开可能有些武断。大部分研究的目的在于开发新工

    具，比如更精确的诊断扫描系统，既能用于促进科学发现，也可用于治疗目的。大型强子

    对撞机(LHC)不仅仅是一个研究项目，也是部署一种新技术。如果没有大规模的粒子加

    速器，就没办法对一些重要理论进行测试。实验室创造的新物种通常也被接受为科学发

    现，但是将这种物种释放到实验室以外的环境中则完全是另一个问题。

    区分科学发现和不应当开发或部署的技术需要工程师、政府官员、行业领袖以及军事

    规划者具备一定程度的认知成熟。至今为止，令人遗憾的是，这些人经常缺乏这种成熟，而且说来容易做起来难。

    自由和开放的科学发明自然会带来新技术发明。当一种新型武器看起来可行时，可能

    在军事规划者认识到它的战略价值之前，早就获得了必要的开发资金。科学人员和工程师

    在“想到就要做到”这件事上很容易迷失，都在努力回答这个问题：“我们做不做得到？”很

    少人会问：“我们应不应该去做？”

    过去10年来，我担任耶鲁大学生物伦理多学科中心技术和伦理(TE)研究小组主

    席。该研究小组成立于2002年，是运行时间最长的调查新兴技术带来的伦理、法律以及社

    会等方面挑战的论坛。通过这个研究小组以及其他数不清的机制，我有机会认识了许多创

    造未来的科学家和工程师，开发和推销创新技术的企业家，部署新武器的军队领袖，以及

    宣扬改变人类进化方式有好处的未来主义者，我与他们还成了朋友。几乎所有的案例都证

    明这些善良的人都致力于让人类的生存条件更好，救死扶伤，济贫扶弱。

    此外，我还结识了国际上不少政策规划者、生物伦理学家、社会科学家、法律学者、理论家、科幻小说家、批评人士，以及只关注新技术社会影响的“讨厌之人”。

    对于新兴技术的社会影响每个人都只是从七零八碎的片面角度去理解。学术界倾向于

    囚禁于各自学科的窠臼。决策者深受政治和经济方面考量的影响，尤其是一旦出现问题则

    一心躲避批评。新兴技术的支持者或是批评者也通常用一个宏大的确定性观念来看待争

    议。我们真的需要就新兴技术的发展轨迹、影响以及管理开展更全面和跨学科的讨论。

    TE研究小组会议中所开展的讨论虽然很有意思，但也非常令人担心。要么是政策规

    划者完全没有认识到存在如此多的风险，或是没有人去解决这些风险。认为所有人类的问

    题都将从技术上很快得到解决办法的人实在是很天真、很危险。

    技术发烧友则沉迷其中，肤浅地轻视历史的教训。这种轻视论调自圆其说，认为技术

    创造的工具足以超越所有加之于后代的限制。因此，历史的教训不适用于今天的挑战，总

    能找到技术方案解决任何一个问题。这种思维方式令人不安，因为它认为任何能够想到的

    技术解决方案都应去实现。

    技术乐观主义者认为科学发现和技术发展不可分开。只要可行就能实现。在他们眼

    中，根据技术创新的必然路线，将在不远的未来实现设计婴儿和超人类智能机器人。但

    是，即使是不可避免也可以迅速减速。放慢发展的脚步可以有更多的机会用心设计安全机

    制，也能改变各种目标的重要性。如果有充足的时间，人们就会关注转折点，并延长做出

    航线修正的时机。

    我8岁的时候，华特·迪士尼以及当时的美国太空项目主任维纳·凡·布朗恩(Werner

    Von Braun)承诺说可以去国际空间站度假，还可以顺便去趟月球。我一直在等待这一天

    的到来。布朗恩的大型太空站并没有建成，但是美国公众已经不允许政府出资支持一个超

    出目前需求的项目。60年后，美国公民仍然希望有机会去太空度假，但是很少有人愿意将

    此设为国家的头等大事。

    几千年以来，创新技术为人类的渴望和追求服务。大部分人都认为技术是推动理想和

    生产力的引擎，但仍有许多人普遍对具体的研究领域感到忧虑，对于技术发展的整体趋势

    感到困惑。这种忧虑，以及打消忧虑的各种努力很容易找到证明，比如世界各国都禁止克

    隆人类，禁止运动员使用生长激素，欧盟限制生产和进口转基因食物，美国国内对于胚胎

    干细胞研究激烈争辩等。国际上正在讨论有关禁止致命自主化武器(杀人机器人)的提

    议，也有人提议禁止旨在减轻全球气候变化影响的大气层实验。

    如果有人能够将真正的前景与猜测区分开来，那么源自科幻小说和炒作的忧虑则能被

    驱散，有一些担忧可以当作是对于未知的正常恐惧而不予理会。但是通常这种敏感伴随着

    一种直觉智慧，我们穿过繁忙的街道时，不安的作用是作为身体中的一种工具，提醒我们

    对周围情况保持高度注意。同样，普遍的社会不安也能说明这是一个需要解决的问题。

    当然，分辨恰当措施的智慧很难顺手拈来。在生物安全和网络安全上投入巨额资金也

    并没有消除这些新威胁所带来的忧虑。对于网络犯罪、网络情报以及网络战争等威胁的应

    对看起来似乎是技术螺旋式升级中的下一步而已。换句话说，对于这些新威胁所做出的响

    应只是看到了问题的一部分，不可能作为长期的解决办法发挥有效作用。

    无人驾驶的车辆给我们提供了一个有关理解和感受技术发展轨迹不可避免的最恰当的

    比喻。难道是技术悄悄地开始掌舵了吗——无论是实际上还是象征意义上？上千年以来，技术为人类的愿望服务，而现在我们需要改变生活方式和愿望以适应新技术所创造的生活

    吗？科学的可能性和技术上的当务之急已经成为人类未来的主要决定因素？难道我们都将

    成为技术的“好仆人”吗？

    我和大家一样对科学发现和技术发展的趋向很是忧虑。但是我也很感兴趣究竟能够发

    现些什么，也急切地想了解科学家和工程师能够有哪些发明。这两种态度内在的矛盾可以

    成为一种指导力量。我因为在技术和伦理学领域的工作，有幸有时间去探索防止技术脱离

    人类控制的创新性战略。的确，其他的一些矛盾，比如说专家之间的冲突通常都热火朝

    天，而不是专家的人则一般沉溺于对猜测的担心，当然这也可以作为寻找未来解决路径的

    素材。

    大部分的忧虑之所以浮出水面是因为旷日持久地争辩通过技术方式提升人类的能力究

    竟是人类的机会还是败坏了人类的天性。对于沉湎于辩论之中的人来说，这证明了在揭露

    错误或肤浅的论据方面取得了一些进步。

    但是，从大的方面说，我们的社会仍不能就哪些是实际创造的与哪些才是我们真正应

    当追求的目标进行一场令人满意的讨论。一些人急切地欢迎那些可以提升或改变人类能力

    的技术，而另一些人则对此深恶痛绝，而这之间的对抗，目前来说，仍是平局。僵持的局

    面对于项目投资人来说是有利的，但也导致一些有发展势头的技术研究戛然而止。但是有

    些事，比如克隆人类或是认知提升类药物引起意料之外的神经损伤，可能会改变事情的发

    展进程。

    大众对于克隆人类和转基因的忧虑程度让人很难理解为什么对于因特网、智能手机以

    及其他的信息技术接受起来相对顺利很多。毫无疑问，不同技术引起人们的担心程度是不

    一样的，但是即使大众对于数码系统或装置的欣然接受也带来一些令人困扰的问题。

    比如，一位母亲只顾着看电脑，对孩子一天在学校的表现不闻不问，这种骇人故事也

    许看起来不足为信，但是一个孩子在讲述一天中发生的事情，而他的母亲时不时点个头，手却仍然敲着键盘，这种情形恐怕屡见不鲜。带屏幕的电子设备总让人着迷；玩智能电子

    设备的乐趣超越了与周围人相处的乐趣；社交媒体无疑给我们提供了不一样的社交方式；

    短信来时的哔哔声或是打赢《接龙》《糖果粉碎传奇》《愤怒的小鸟》等游戏不断带来的

    多巴胺分泌进一步强化了这一类似于上瘾的行为，计算机将我们训练成了他们的奴仆。

    技术奇迹引人敬畏和顺从。这种顺从有更广泛的意义，有人说技术的进步已踏上了不

    归路，还有一种表述是，这条路一直走下去，人类将变得无用。的确，各种技术预言家声

    称，我们已经进入了必然趋势的第一阶段，在这个过程中，人类这个物种将会因各种技术

    发明而消失。未来的主宰将是半机器人、电子智人、超智能计算机。如果我们对于驱动技

    术进步的经济、政治以及社会力量不当作无所不能的话，这些言论的影响力可能会削减。

    这本书起源于2011年与好朋友的一次谈话。他对于基因学和人工智能研究方向不可避

    免感到困扰。他的沮丧和无奈也让我困扰。他提到技术发展的未来路径已经确定了。为什

    么人们相信技术发展的进程已经被确定，也许是技术奇迹带来的小恩小惠转移了注意力，或是掩盖了面对业已失控局面时的无助和沉默。

    幸运的是，技术发展的路线并非已成定局。本书中，我将探讨技术发展必然性有关的

    各种问题。必然性的说法贬低了跨越重大技术门槛的难度，任何理论上的解决方案并不一

    定都能带来实际成果。未来主义者认为，高级人工智能发展的必然性将不利于人类对危险

    系统薄弱性进行探索。随着科学知识的累积，很有可能实现新的可能，但是我们是否接受

    这些可能，倾听内心的不安，或是抓住转折点的机遇，这些选择仍在人类手中。

    虽然我们已走上不可避免的征程，但是目前还没有人制订新技术部署的管理计划。没

    人能真正了解人类历史上这一重大时刻。我们从不缺乏掌握特殊知识的专家。有特别目的

    的支持者通过网络、媒体以及电视、广播访谈放大自己的声音。少数有思想的人与大家分

    享对于基因学、神经学以及纳米技术的看法；夸夸其谈者打得不可开交，还四处宣扬自

    由、安全、平等以及责任等个人价值；“预言大师”做出无数预测；在任的政府官员忙于应

    对各种危机，勉强应对一两件大事。

    正在徐徐掀开面纱的技术风景画卷令人困惑——相当于现代版本的大西部，在此间探

    寻宝藏的工程师发现了以新的应用程序或社交网络方案为形式的黄金。一旦这些探宝人被

    授勋封爵，他们就加入了商人的阶层保护自己的经济利益，而对影响他们利润、自由以及

    特权的规定嗤之以鼻。

    一方面，需要对正在发挥作用的力量和可能性有更深、更全面的了解。另一方面，任

    何设想都存在偶然性。就好像我们正在拼一个技术风景画拼图，有一些拼图块不停地变化

    形状，还有一些找不到了。

    找不到的拼图中最重要的那些区块的原因也是大部分有公知的公民并没有参与讨论，没有一群致力于全面了解问题的学者，也缺乏有公知的公民以及学者能够发出声音从而纳

    入政策规划者决策中去的论坛。没有这些，技术可能性的发展只能是以机械式的发展为主

    导。

    年轻学者当然更愿意更全面地处理问题，但是他们也承受着在现存的学术生态环境

    下，在某一特别领域中建立专业地位以证明自身存在合理的压力。大学对于跨学科了解问

    题的需要只是口头说说而已，很少有学者因此追求而收到报酬。

    鉴于这种不确定性，以及认识到必须做出有重大意义的决定，学者和政策规划者都在

    呼吁公众更多地参与到讨论中来。对于科学方面思想自由的公民，他们能问出好问题，能

    认真倾听，分享他们的看法、观点以及直觉等，他们是能发挥作用的。但是公民们有效参

    与讨论、表达关切的渠道十分有限。如果没有建设性参与的方式，知晓情况的价值则削弱

    了，权利也会被转移到已知情的公民手中。

    本书的最后两章将介绍培养知情公民和跨学科学者的做法，就是建立一些能够倾听他

    们声音的论坛。但是，首先要为广泛了解具有极大吸引力的新兴技术图景奠定基础。

    进攻计划

    我是从美国的角度来看问题，但是我们面临的挑战涉及每个国家、所有的人。我们需

    要在国内和国际开展有关创新技术采用相关目标和关切的讨论。在有些领域和范围符合公

    共政策，且有些国家处于领先地位。比如日本和韩国在开发人工智能和机器人方面发挥了

    重要作用。欧盟在制定跨学科办法管理新兴技术社会影响方面比其他地区更积极主动。历

    史上，中国人一直善于放眼长远。随着中国的政治、经济影响力在世界舞台上日益上升，这一点也尤其重要。

    所有文化的共同点在于对技术发展的速度和轨迹的思考。无论是个人还是作为一个整

    体，我们必须决定什么时候去接受、管理或是摒弃这些技术的发展。在联系愈加紧密的世

    界里，一个国家对于新技术的限制只有得到国际共识的支持才能真正实现。这对于那些只

    希望促进地方性价值发展的团体来说也许不算好消息。但是对于那些更加关注普世性价值

    的人来说则是莫大的鼓励。

    国际社会统一技术政策必将遇到重大挑战。国家之间不同的管理形式和价值结构让许

    多对此关注的学者认为无法对新技术进行有效监管。一个国家限制的在另一个国家可能被

    允许。同时还存在开发人员将研究工作搬至限制最少的国家的风险。一些政府首脑急于想

    成为新领域的领头羊以收获经济利益，他们会对别的地区尚有争议的研究予以支持。

    一些工具性价值观(instrumental values)比如安全和责任在很多文化中都被广泛认

    同。其他一些更加人性化的价值理念比如同情、扶弱济贫、个人的尊严等经常与宗教传统

    混淆不清。不幸的是，有些宗教对于挑战传统信仰的科学观念并不宽容。

    多元文化中难道只有一些工具性价值观能够最后幸存吗？幸运的是，还有一些其他的

    方式可选择，比如用《世界人权宣言》来加强价值观。但是这样够吗？或者我们必须建立

    一个新的平衡以确保新技术产生的压力不会削弱对个人的尊重。

    各种杂志以及网络媒体充满了对于未来几十年技术发展前景的预测。本书第二章开头

    将做出一个大胆的预测以供读者评价。这部分描述了我们已经走上的危险旅程，以及重新

    引导技术发展轨迹的必要性。

    第三章和第七章概述了为什么新兴技术会带来灾难和悲剧的三大核心原因。对不可预

    料的复杂系统的日益依赖、发展速度不断加快、个别领域的创新研究产生的相关损害都带

    来了新的危险。全球气候变化和对新能源资源的需求螺旋式上升要求我们寻找不同的解决

    方案，这也引起了利与弊的权衡。使用基因技术创造生物产品、植物以及非人类的动物物

    种带来了与基因技术应用于人类基因完全不同的问题。

    第八章至第十章简述了人类寿命大幅度延长和人类增能所带来的社会影响。研究伦理

    会延缓甚至是终止某些危及人类物种的科学实验。人类的能力能够并应当通过提高人类能

    力的技术得以提升的论点支撑了一个更宽泛的论述，即身和心都被视作生物机器。

    生物医学行业以及军工大集团仍然是推动大型科学研究和技术创新的领衔力量。在医

    疗和先进军事系统领域的大量预算花费基于一些重要的考虑，第十一章将对此提出质疑。

    第十二章至第十五章提出了一些能够且应当实施的政策，一些必须加强的价值理念，应当重视并因此采取行动的转折点，以及支持一些机构和个人对新兴技术进行监督。第十

    二章通过建议禁止杀人机器人的例子详细解释转折点的深远意义。第十三章简述如何将道

    德因素注入新技术设计和工程。第十四章提出应进行体制改革，以协调参与技术创新监管

    的不同管理部门、专业协会以及非政府机构。最后一章简述对新兴技术所产生的社会影响

    敏感的科学界人士所能发挥的作用。

    我们的调查只能提供建议并描绘前方路径。想法和认识只有付诸行动才有意义。本书

    的最后一部分必定是关于以我们个人和集体的首创精神支撑的世界。我们是屈从于这股已

    经发力的神秘力量，还是学会如何做出有意识的、负责任的变化。

    第二章 预测

    未来20年中，新技术的采用可能导致社会动乱、公共卫生和经济危机、环境破坏以及

    个人悲剧。有些事件可能会造成很多人失去生命。这样的预测并非为了制造恐慌或耸人听

    闻。我也无意阻止能够改善我们生活的科学研究发展。

    我提出警告的目的在于，希望通过一点远见和规划，以及做出艰难选择的意愿，能够

    解决很多危险。不幸的是，我们以及我们的政府没有表现出太多的意愿、智慧以及打算去

    做出艰难的抉择。的确，有理由相信这样的危机是不可避免的，涉及新技术的灾难发生的

    速度会加快，为人类未来指出方向的机会瞬间即逝。

    难以预知的危机

    萨力多胺(一种安眠药，曾引起西欧几千名婴儿出生缺陷)婴儿、切尔诺贝利核泄漏

    事故、印度博帕尔美国联合碳化物公司的化工厂毒气泄漏事件、挑战者号航天飞机失事、英国石油公司原油泄漏等，在这些悲剧性的事件中，技术难辞其咎。还有一些事件是有意

    使用有害技术用于破坏性的目的，比如奥斯维辛集中营毒气室、德累斯顿大轰炸、广岛和

    长崎原子弹爆炸、美军在越南战争中使用橙色脱叶剂、东京地铁站沙林毒气袭击，以及巡

    航导弹和生物武器扩散带来的危险。

    正在开发的很多技术也带来许多新风险。关键信息系统失灵或网络攻击可以造成严重

    金融危机或持续停电。今后有可能发现许多正在使用的纳米材料的消费品是致癌产品。学

    生们服用了多种药物以增加学习竞争力，但是可能因为混合使用引起脑部损伤。一个心存

    愤恨的少年可能会用价值275美元的3D打印机造出塑料枪支伤害自己的父亲。一个精神病

    人或恐怖分子可能在自家实验室炮制出特制病原体，引发一场世界范围的流行瘟疫。自主

    武器系统会伤害平民，引发新的战争。受到不断上涨的潮水威胁的岛国可能采用新技术改

    变该国气候，造成邻国遭受旱灾。

    在2009年出版的《道德机器：教会机器人分辨对错》中，我和另一位作者科林·艾伦

    (Colin Allen)做过类似的预测，即没有人类直接监督的情况下，计算机采取了行动引起

    了灾难性的后果。我们模拟了计算机引起的灾难如何展开的场景。这个场景是根据当前以

    及近期计算机技术发展基础上设想的一系列可信的事件。在各种力量综合作用下，这些事

    件引起了油价飙升、电网故障、国土安全警报以及不必要的人员死亡等。

    2010年5月6日下午2：45发生了现实版的由计算机引起的事件。道琼斯指数暴跌，几

    分钟后恢复上涨。这次事件被命名为“闪电暴跌”，这是道琼斯指数历史上一天之内最大的

    跌幅(下跌9%，998.5点)。计算机高度自动化买入卖出是最重要的原因。在暴跌当时，高频交易至少占所有交易的60%。

    有一些研究表明，现在基本上半数的交易都是由计算机自动进行的，当行情变化跨过

    用户设定的数值时，计算机会以数字算法自动买入和卖出。但60%这一比例还是夸大了高

    频交易中计算机化市场活动的整体重要性，高频交易一般有两种交易形式——几分钟进行

    一次买入和卖出，或是不到一秒就进行一次买卖。

    “闪电暴跌”导致一些投资者身无分文而另一些人获利丰厚，损害了人们对于股票交易

    运作的信心。为了防止闪电暴跌再次发生，人们在股票交易市场引入了熔断机制，一旦有

    不正当交易发生则开始启动。但是，2012年8月1日，在熔断机制切断交易之前，一家从事

    计算机交易的“骑士”公司开发的“流氓”算法已经买入和卖出了148家公司的上百万只股

    票。最大的受害者其实是骑士公司和他们的客户，他们在不到一个小时内损失4.4亿美

    元。这一系列的事件让小投资者确信，计算机已经控制了金融市场，投资游戏已成定局。

    金融市场对于计算机的依赖不仅仅是高频交易系统。计算机在2008年房地产市场崩溃

    中也发挥了作用。计算机帮助好的和坏的债务产品组合在一起构成复杂的金融衍生品。一

    旦房地产市场崩溃，人们很难对银行持有的衍生品进行评估。即使是银行巨头也无法确定

    其承受力。

    有意思的是，计算机在金融衍生品危机中并没有发生故障，反而是作为关键的基础设

    施支撑着存在问题的银行体系。计算机的存在使得造成危机的金融衍生品市场得以成功运

    行，同时也加剧了危机的影响。下一章，我们将进一步探讨依赖无法充分预测其行为和影

    响的复杂系统所导致的内在危险。

    一些分析者注意到了计算机在房地产崩溃危机中所起的作用，但是他们的注意力更多

    放在批评那些贪婪的银行家，以及揭发莫多夫(Bernie Madoff)等骗子之流的违法行径。

    人们将“闪电崩溃”和“流氓”算法归罪于人类的错误。

    从我们当前掌握的信息出发，很难知晓所有潜在的危险。有意使用技术追求破坏性和

    非法目标的坏人应为大部分的风险负责。这些风险涉及的范围包括个人的悲剧、公共卫生

    危机，能够提高人类能力的技术所带来的社会和伦理影响，隐私、财产以及自由丧失，关

    键基础设施崩溃以及反乌托邦社会等。

    前沿技术的倡导者因追求研究成果的热情掩盖了潜在的风险。他们夸口说只要在摄像

    头的帮助下，以及将机械假肢装入神经系统，失明者将重见光明，跛足者能健步前行；高

    科技武器装备的军队定能战无不胜；破解人类基因就能对遗传性疾病进行个性化治疗；无

    人驾驶车辆能减少交通事故发生，在开车上班路上时能解放双手发短信；如果我们每日清

    晨饮用一杯含有认知提升药物的鸡尾酒，将会变得更快乐、聪明，甚至品行更加端正。

    当然，我们知道一些投资银行家、风投家、企业家以及少数的投资人会因此更加富

    有。政客们将获得权贵的赞助，他们选区的企业将获得更多订单，找到工作的选民也会更

    支持他们。科学家和工程师将获得终身教授身份，他们将拥有资金充足的实验室和聪明的

    研究助理，偶尔还能得个诺贝尔奖或其他享有盛名的奖项。

    最大的挑战并非是一场危及人类生存的大灾难，而是短时间内各方面的问题不断汇

    集。技术发展自然与医疗、环境以及经济等领域面临的挑战密不可分。通常技术能够解决

    这些问题，但是也会造成医疗危机，破坏环境，引起经济危机。如果各种灾难集中爆发，技术也不可能解决问题。许多学者和新闻记者已经将未能妥善解决挑战而造成的后果归因

    于其他的方面，本书则主要分析技术在这些问题中的作用。

    社会系统只能承担这么多压力。对同时发生的多种灾难做出响应，即使是最强健的机

    制也难以应付。政府可以，也可以不为危机直接负责，但是一旦它没有做出有效应对，则

    会失去民众的信任。在民主国家中，政府治理的小失误通常会导致执政党下台。大的危机

    或多种危机可能会引起主要社会机制崩溃甚至政府垮台。

    问题刚发生时及时得到解决是避免同时出现多种危机的最好方式，这通常需要采取成

    本较高的预防性措施。但是，由于并不能对于预防的灾难举出实例，很难明确预防措施是

    否奏效，因为预防的灾难尚未发生。

    此外，以监管和政府监督形式的预防措施会延缓研究进度，这些研究总体上对社会是

    有益的。因此，立法者不愿意要求企业和公民做出牺牲。近年来，政客们甚至更进了一

    步，他们假装认为全球气候变化以及高频交易带来的问题要么不存在要么难以驯服。

    如果不能采取预防手段，我们只能在悲剧发生以后采取一些差强人意的补救措施。灾

    难的确能引起关注。牛海绵状脑病(俗称疯牛病)就给欧洲敲醒了警钟。2011年3月11日

    海啸之后发生的福岛核电站泄漏事故提醒了日本人，他们发现这一存在潜在危险的技术在

    管理方面存在普遍问题。不幸的是，对于灾难的响应通常只是应急之举而非未雨绸缪、思

    虑周全。为了遏制疯牛病蔓延，英国屠宰了440万头牛。日本是一个十分依赖核能发电的

    国家，截至2012年5月，不得不关停了所有反应堆。在大量检测之后，少数几座核电站有

    待2015年重启。

    灾难管理的成本高昂。究竟是在灾难发生之后付出的代价高还是在灾难发生之前采取

    大量上游措施引发的成本高，政策计划者对此仍存争议。但是，时间会给出最终的答案。

    如果多种危机集中爆发，其中有些危机源自之前未能解决的和未预见的问题，那么其结果

    可能是很快进入一个反乌托邦的未来。

    对未知的恐惧

    长期以来，反乌托邦的未来愿景激发了许多科幻小说家和电影导演的想象力。奥尔德

    斯·赫胥黎(Aldous Huxley)的《美丽新世界》(1931)以及乔治·奥维尔(George

    Orwell)的《1984》(1949)都是警示性的小说，提醒读者我们应当避免的未来。

    赛博朋克流派经典作品威廉·吉布森(William Gibson)的《神经漫游者》，以及尼尔

    ·斯蒂芬森(Neal Stephenson)的《雪崩》(1992)，这些书中描绘的未来社会只有进行

    技术增能才能占据上风，这也让公众开始认识了“网络空间”的概念，以及“虚拟现实”的可

    能性。

    在《终结者》(1984)和《黑客帝国》(1999)的未来世界中，人工智能有意灭绝人

    类。电影中的计算机合成形象十分逼真，对预测的可能性大肆炒作，公众和媒体很难去辨

    别哪些技术可能实现，哪些不可能。即使是专家，也对于哪些预测可靠、哪些存在潜在的

    危害需要注意存在争议。

    警示性的科幻小说助长了“潘多拉盒子直觉”——人们认为最好不去探索未知的路——

    那些聪明的游客避免选择的路。这种直觉常见表现形式是判断不应该去摆弄人类基因或是

    不应当制造杀人机器人。潘多拉盒子直觉常用于支持非理性的反科学行动，比如不愿意为

    孩子接种可以预防严重疾病的疫苗。如何将这种对伪问题担心的直觉引向真正能够且应当

    解决的问题上是一件困难的事情。

    对于技术引发的事故，人们普遍持有一种态度，这在美国尤其如此，即任何新技术带

    来的问题都能从技术上找到解决办法。人们对于用技术解决问题持有近乎宗教崇拜的热

    忱，且称之为“技术解决主义”(technological solutionism)。技术反乌托邦主义将对科技

    政策产生阻碍作用。

    如果公众认为，科幻小说的场景可能发生，那么即使对于极不可能出现问题的技术也

    会有人要求予以限制。回顾过去，20世纪50年代人们担心会被机器人取代以及遭受基因突

    变的硕大蝗虫攻击，但是也没有人会因此而放弃过去60多年来在计算机科学以及基因学领

    域研究所取得的成果。

    认识到这一现象，技术乐观主义者竭力想描画出乌托邦的未来愿景。这一吸引人的愿

    景描述了如何去战胜疾病，结束贫穷，恢复环境。但是，这一愿景依赖的是能力增强的人

    类或是超人机器人，这听起来和带来20世纪灾难的破坏性的乌托邦意识一样空洞无物。

    技术发展的脚步不受任何制衡向前迈进，其中隐含的风险是我许多朋友和同事所不愿

    明言的，他们是一些科学家和工程师，希望通过技术找到不治之症的治疗办法，或是希望

    提高人类心智和身体机能的超人类主义者，以及一些希望从前沿技术研究中获益的人。

    他们特别担心任何关于科技危险的讨论会进一步增强反科学联盟的势力，这些反科学

    人士出于意识形态、政治、宗教等目的已经对进化论，以及有实证的全球气候变化现象拒

    不承认。大学和学院派学者认为开放和自由地探究事实真相是一个脆弱的事业，会因政治

    和经济的压力而妥协。

    对于经历过20世纪50年代参议员麦卡锡反共运动的大学教授、管理人员来说，对于这

    点感受更为深刻，当时很多大学校园因此蒙上了恐怖的阴影。的确，因为担心不理智的反

    科学运动扩大，研究人员以及那些渴望获得科学研究好处的人加倍努力消除批判主义的负

    面影响。换句话说，这些批判主义反而进一步加剧了技术的破坏力量。

    我对挑战的看法有所不同。新技术的推动者有必要与对新兴研究领域发展轨迹感到不

    安的人直接对话。此外，他们应当停止对一些秘密研究遮遮掩掩，比如这些研究可能会导

    致新武器系统诞生，而这些武器的危险直到投入使用后才为不持怀疑的公众所知晓。在新

    技术投入使用或市场之前，广大公众、政策规划者、学者必须有机会对这些技术所能带来

    的社会影响进行思考。

    近年来，科学界内部有很多呼声要求研究人员发挥作用，将他们所从事的创新研究带

    来的社会影响介绍给公众。令人遗憾的是，很多科学家和工程人员并不认为他们的工作带

    来的伦理和政策方面的挑战是自己的问题。对于与公众对话，他们觉得准备不足，或是不

    感兴趣，他们把责任推卸给了别人。但是谁是“别人”呢？是政客，行业领袖，生物伦理学

    者，原教旨主义传教士，沉湎于新潮电子设备的技术达人，还是关心这些问题的公民？我

    们所需要的不是对这个问题一知半解的官员做出影响人类未来的决定。

    即便是所罗门，倾其所有智慧，也很难从科技创新带来的积极成果中分析出可能存在

    潜在的破坏。不管怎样，我们每一个人都无形中默认技术进步的光辉成果和不懈进步。不

    幸的是，大多数人对于将会改变我们未来的想法和发现只有最基本的了解。

    新的科学成果层出不穷。即使是那些制定公共政策，提供资金支持研究发展的人也高

    度地依赖专家们的意见。困难在于不知道该问什么问题，从何处寻求一个平衡的视角。很

    多时候，科学家的推断超出了他们的专业背景和理解。获得研究资金支持的渴望蒙蔽了他

    们的判断。

    来自科学家的炒作，通常是对于实现下一个技术突破的时间框架过于乐观，助长了不

    切实际的希望也引起了对于科学进步的恐惧。最有说服力的声音大多来自坚定支持和坚决

    反对发展某一具体技术的人群。

    依靠具备专门领域知识或有特殊兴趣的个人做出的决定并不能满意地解决可能改变成

    千上万人生活的一些问题。新兴技术的复杂性单靠个人智慧无法应对，但这并不是说这个

    问题不可解决。不同见解的人可以分享真知灼见，找到重点问题，关注薄弱环节，聚焦现

    有治理机制中的缺陷，以解决一些问题。

    所罗门对于他所面对要解决的问题没有现成的答案。两个妇女在他面前都说自己是孩

    子的母亲，他也不知道谁说的是真话。但是他知道怎样设计一个场景，让真相自己浮出水

    面。他提议说把孩子砍成两半，这两个女人的反应使得真相立现。

    优秀的记者和律师知道怎样问问题能够让事实真相大白于天下。有时候，一个人如果

    不诚实，躲躲闪闪，或谎称知情，一个微妙的手势和动作就能暴露他的本色。阐明难题的

    智慧形式是多样的。睿智的长者、善良的父母，抑或是街头混混都可能对专家并未注意的

    细枝末节更加敏感。

    评估各种建议的一种比较好的方式是成立一个论坛，邀请专家用朴素易懂的语言解释

    艰深晦涩的理论，以便陪审员、记者以及感兴趣的公民都能听得懂。这种有取有予的方式

    可以一直持续下去，直到前进的道路最终出现在眼前。

    成立这种论坛，或是任何讨论新技术挑战的机制，都需要培养一些热衷于技术发展前

    景的学者和关心此事的公民。一定数量的知情公民对于平衡那些对于特定结果拥有既定利

    益的利益相关者的影响具有一定的帮助作用。出于这个目的，本书绘制了一个框架，以帮

    助大家从跨学科的角度更广泛地理解新技术对社会产生的影响。

    我做的任何预测都无法保证立法者采取行动制定更加严格的技术创新管理机制。毕

    竟，历史上很多预测也并不靠谱。只有通过全面地审视新兴技术才能找到担心的原因究竟

    是什么。这种审视首先要讨论一些核心问题和具体的危险，这正是促使我写这本书的原

    因。

    一旦所关注的领域得以阐明，我们就可能发现转折点，并找到解决潜在危险的通用的

    或针对性的办法。只有我们携手努力，才能在技术发展的海洋上扬帆远航。

    第三章 越来越复杂

    1999年12月6日，一架“全球鹰”无人侦察机在成功降落之后，在滑行过程中突然加速

    到155节(每小时178英里)，在拐弯处滑离了跑道。它的前起落架撞到了附近的沙漠，造

    成了530万美元的损失。

    事故发生时，操作无人机的操作员在控制室里完全不知为什么会发生事故。空军调查

    结果认为，突然加速是因为软件问题以及“监督不力”等复杂因素。

    “全球鹰”制造商诺斯洛普·格鲁曼(Northrop Grumman)公司发言人将超速完全归罪

    于操作员。操作员确实在认清无人机意外行为上有所延误。即使是他们发现了一些异常，也不明白飞行器遵循的是哪项程序。飞行器对于他们发出的补偿性指令要么没能接收到，要么是不匹配。操作员无法理解这个半自动的设备打算做什么，从而提供合理的有效指

    令。

    已有案例中有迹象表明无人机能够明白自己在做什么，或是飞行员打算让其做什么，这说明它具有一定形式的“意识”。当然，在上述的例子中并非如此。无人机只是根据软件

    编程的子程序进行运作。

    “全球鹰”无人机只是依赖复杂计算机系统运行的无数新技术中的一个。现在已经部署

    和正在开发的大多数系统并非全自动，但也不是完全依靠人运行。无人机，就像有飞行员

    驾驶的飞机或是外科大夫用来做精细手术的机械手，是非常复杂且部分智能的装置，它是

    作为团队的一部分开展工作。这种团队会展示出人类与非人类行为者的复杂互动，以及相

    互学习对方的聪明才智。在正确操作下，无人机能够独立开展任务，也能够执行由人类操

    作员发出的指令。

    复杂系统的成功运行取决于协调计算机和人所做的决定，一般认为，人应当在其中发

    挥作用，使系统适应预料之外的情况。像“全球鹰”滑离跑道这样的问题刚开始大家判断是

    人的因素造成的，其中一个解决办法是让智能系统有更高的自主性。但是，这并不能解决

    问题。

    对智能系统的行为做出预测对于人类操作者来说越来越困难，因为智能系统以及它所

    运行的环境日益复杂。要让操作人员了解复杂的计算机在想什么，以及预测计算机的行为

    以协调人机团队的行动，实际上是增加了操作人员的责任。设计出具有高度适应性，独立

    于人控制的计算机和机械零件是工程师的长远目标。但是，这个目标是否能完全实现仍是

    个问题，因此也不清楚人类是否会被大型复杂系统运行排除在外。同时，当意外情况出现

    时，仍需要人类帮助机器做出响应。

    复杂系统本质上说是不可预测的，一旦碰到意外情况容易出现各种问题。即使是设计

    精妙的复杂系统也会出现未曾预料到的问题。概率很低的事件一般为人所忽视，且没有做

    过计划，但是这种事件的确会发生。

    设计一个能够协调人和机器行为的复杂系统是一个很困难的工程问题。同样棘手的问

    题是如何确保复杂系统在出现问题的情况下具有足够的韧性，从而恢复正常。计算机系统

    的行为是十分脆弱的，想想Windows计算机只要出现一点信息错位就会死机，所以它们几

    乎不能适应新的意外情况。意外情况，不管是纯粹的机械故障，还是计算机自身的问题、人的错误，或是突如其来的风暴，都会破坏那些真正复杂系统的运行，比如机场。

    我的结论是没有人真正了解复杂系统。

    麻省理工学院教授、畅销书作者谢利·托克(Sherry Turkle)提到管理复杂系统时这样

    说：“也许我们人类就是不善此道。”我们是否可以获得必要的知识以了解如何管理复杂系

    统呢？某种程度上，答案是肯定的。但是对于如何控制好复杂系统，却存在着内在的限

    制。

    这并不是一个新问题。过去半个世纪以来，人们一直在争辩政府和能源公司到底能否

    很好地管理核电站。当危险已为人所知，我们通常会花费更多的精力和注意力去管理风

    险。但是尽管如此，大部分(当然并非全部)的核泄漏事故的发生都是由于缺乏足够的认

    真，或是出于愚蠢，或是二者都有。少数核泄漏事故是由于意料之外的或无法解决的情况

    造成的。日本福岛核电站泄漏事故就是因为千年不遇的海啸引起的。

    “复杂”一词的基本意思很容易掌握，但很难理解为什么“复杂性”竟然起到决定成败的

    作用。本章将介绍复杂性，包括目前已经显而易见的复杂系统、正在开发的复杂系统，以

    及认识哪些形式的复杂性带来风险。在澄清监督和管理复杂系统的难点过程中，也将阐明

    相应的C开头词语：“混沌”(Chaos)。

    从我们的目的出发，弄清楚“复杂性”和“混沌”对于了解其中可能被忽视的挑战、难点

    以及危险是非常重要的。如果我们要安全地采用和监管新技术，复杂性不应被视作障碍，而应给予重视。

    现在已经有一些科学研究领域专门研究“复杂性”和“混沌”是如何工作的。“二战”以

    后，对系统以及系统内各个组成部分如何表现的跨学科研究，变得日益重要，最终发展成

    一个领域，即系统理论。自我管理的系统是天然存在的，比如人的身体；社会系统，比如

    政府或一种文化；或是技术创新系统，比如汽车或者合成生物等。

    在日常语言中，“复杂性”“混沌”这些词的用法比较宽泛。但在系统理论中，这些词的

    用法更加精确，以便为两个相关领域——复杂性科学和混沌科学，奠定基础。但是这些新

    兴的科学研究领域对于应对不可预测性以及控制突发灾难方面到底有没有用呢？

    气象模型很复杂，经济市场的行为也很复杂，迄今在预测二者行为方面并没取得多少

    成功。复杂系统科学在建立模型方面取得了一些进展，多方数据输入相互作用形成了一些

    模型。大部分的进展依靠计算机模拟。但是未预料到的因素使得对市场和天气的预测兼具

    可能性和运气。对我们所创造的很多技术的行为进行预测也是如此。这令人十分困扰，因

    为当今社会日益依赖计算机网络和能源网络等复杂技术系统。

    要了解这个问题的广度，很重要的一点是要认识到技术系统不仅仅是由技术的部件组

    成。以无人机为例，复杂的系统包括了制造、维护、改善、运行以及与技术进行互动的人

    类。总体来说，技术部件、人、机制、环境、社会价值观以及支撑系统运行的社会实践共

    同构成了所谓的“社会技术系统”。水净化设施、化工厂、意愿和政府都是社会技术系统。

    换句话说，一项具体的技术——不论是计算机、药品，还是合成生物等，都是更大的

    社会技术系统的零部件。问题在于整个系统是否运转良好，并不完全取决于其中的技术零

    部件。本书将聚焦技术零部件或流程，因为问题往往源自社会系统中零部件的相互作用。

    我们是否能够充分了解或完全驯服复杂系统？工程师努力使他们开发的工具具有可预

    测性，从而能够安全使用。如果我们开发的工具不可预测，有时候用起来并不安全，那我

    们还依靠这些工具管理关键的基础设施则是愚蠢鲁莽的。

    目前迫在眉睫的是投入必要的资源(时间、人力和金钱)制定控制复杂技术的新战

    略，并了解这些战略的边界。如果规划者和工程师不能限制危害，那我们所在的社会不应

    再依赖日益复杂的技术系统。本章选取的例子旨在阐明复杂适应性系统哪些方面更容易为

    我们所理解。

    复杂系统和混沌系统

    复杂系统的单个部件如同计算机网络中的节点，大脑中的神经元，市场中的买家和卖

    家。当许多部件对相互之间的行动做出响应时，并没有十拿九稳的方法预测系统的整体行

    为。了解一个复杂系统的行为，有必要观察这个系统每一步如何展开。就像下棋，每一步

    可用的走法是有限的，尽管如此，也很难预测5步、10步或是20步之后会发生什么。

    1997年IBM计算机“深蓝”打败国际象棋世界冠军盖里·卡斯帕罗夫(Garry

    Kasparov)，“深蓝”需要巨大的计算能力计算后续走法。即使在当时，它也只能预测出5

    步或10步之后的走法，每一步都生出新的枝节。卡斯帕罗夫走的每一步棋都砍掉了一些枝

    节，同时也制造了新的可能性。

    数学公式通过解题得出结果，但是计算机技术的核心所在——演算法，则是确定一步

    一步展开的流程。随着事件按顺序展开产生一个模式，但这个模式也可能无法告知我们如

    何预测后续事件。

    与“全球鹰”无人机故障的例子类似，复杂机器人将根据演算程序开展行动，当新情况

    输入时，我们很难或者说不可能对它的行为进行预测。当然考虑到在仓库里运送亚马逊快

    递订单的半自动机器人所带来的好处，我们对它可能造成的危害是可以接受的。但是，作

    为武器平台的机器人，其行动可能会出人意料地，但也是可以想象的，造成很多人死亡。

    引用一句格言：“烤一个蛋糕很容易，造一辆车很难，养一个孩子很复杂。”复杂机械

    装置中零部件相互作用的方式基本上容易理解。复杂系统的行为可以进行预测。一个部件

    损坏，复杂系统会出现故障，但是工程师已经很善于预测多长时间以后系统出现故障。

    我还年轻时，难以预测汽车的零部件比如轮胎什么时候会出问题，过上一段时间总会

    碰到意外爆胎。随着汽车技术发展，汽车越来越复杂同时可靠性也在提升。非常复杂的技

    术能够很好地预测事故。可以说，过去的一个世纪，汽车从复杂、不可预测的系统不断发

    展成可预测性更好，但也越来越复杂的系统。

    不管怎样，不断有汽车召回说明现在的汽车零部件还是会出现问题。而且，计算机化

    的车辆对软件错误很敏感。换句话说，因为有些问题在车辆上市之前就无法预料，所以事

    故仍会发生。

    并非所有技术创新都是复杂的。但是即使是简单的技术，一旦对现有复杂系统的行为

    进行干预，比如气候、自然环境、人体等，后果也将是非常危险的。气溶胶罐及氯氟化碳

    (俗称：氟利昂)推进剂是十分简单的技术，但却出人意料地改变了大气臭氧层。从另一

    个角度来看，氯氟化碳使得已经很复杂且难以预测的气象模式更加复杂。

    系统的不可预测性不在于部件数量的多少。1887年法国数学家、物理学家亨利·庞加

    莱(Henri Poincaré，1854—1912)研究了三体的经典难题。三体问题是去发现太空中三

    个大的天体之间的重力如何影响各自的轨道。彭加勒证明其中并没有可辨识的模式。换句

    话说，三个天体的轨道并不是一再重复其轨道。他证明即使在所有行为都受制于物理法则

    的机械宇宙中，所有的活动也是混沌和不可预测的。

    复杂和混沌是相互关联的，且有时是交叉的概念。二者所指的系统行为是不可预测

    的，能因小事件而改变。二者不同之处在于，混沌学或混沌理论研究系统部件的活动如何

    在遵守简单物理法则的同时，既是充满活力的，又似乎是随意的。复杂学研究的是一个系

    统中大部分的部件或单元之间互相影响的动态行为。在混沌系统中，单个元素不必以明显

    的方式影响其他元素的行为。相比之下，复杂系统中的节点、部件或是个人是耦合的，并

    且要适应各自的行为。

    复杂系统是强健的，能够进行自我组织。如果股市中某一大公司破产(想一想2008年

    金融危机雷曼兄弟公司倒闭)，市场中的其他公司会做出调整，就算没有这个公司市场也

    能继续运行。设计关键基础设施时，比如说发电厂，工程师会考虑备用系统和冗余度以提

    高系统的强健性，以及系统承受故障及迅速恢复的能力。

    混沌或复杂系统中某一个或多个元素的行为带来的影响可能在整个系统中回弹，有时

    也会造成灾难性的大事件。在混沌理论中，通常称之为蝴蝶效应，即墨西哥的一只蝴蝶扇

    动一下翅膀，在恰当的情况下，将发展成得克萨斯州的一场龙卷风。“恰当的情况”在此非

    常关键，初始条件的任何微妙变化都将改变扇动翅膀所带来的影响。

    我们通常称因一个简单变动导致复杂系统重组的事件为“引爆点”。引爆点与物理学中

    的相变类似，比如当温度在0摄氏度(32华氏度)，液态水凝结成冰。要理解小事件如何

    改变复杂系统引起灾难性后果，其最好的例子并非来自科学界，而是政治历史事件。

    1914年6月28日，奥地利大公斐迪南和他的妻子在萨拉热窝遇刺，引发了系列事件，成为第一次世界大战的导火索。1914年，欧洲大国之间的政治和军事联盟错综复杂共同构

    成一个复杂的政治和军事系统。塞尔维亚人行刺的动机是将斯拉夫省份从奥匈帝国分离。

    奥匈帝国与塞尔维亚一旦开战，欧洲所有的国家都因为各自的联盟关系拖入战争。

    政治领袖从一战爆发原因中充分认识到国家联盟的紧密耦合关系，但是这些认识并没

    有传递到商界领袖那里，其实跨国集团技术系统之间也关联密切。

    疾病的扩散或是某种狂热的出现都存在引爆点，在此点上只要增加几个人就能迅速导

    致大范围的流行病。新技术的扩散，比如手机的使用，刚开始只是几个人用，一旦过了引

    爆点，社会大部分人都开始使用。一种新的病毒引发世界范围流行病，在世界卫生组织开

    发有效疫苗之前已经过了临界点。

    复杂系统的任何改变都需要在整个系统内进行调整，并造成一系列的问题。一个公司

    或是大学管理层新来一位经理人，他的风格和思路与前任大有不同，迫使该系统内的上百

    名员工都要调整他们的活动。荷兰特文特(Twente)大学的技术哲学家埃米·凡·文斯伯格

    (Aimee van Wynsberghe)指出，一家医院引进一台只从事简单护理工作的机器人都会改

    变该医院各种职员的作用和责任。

    几年前，我搭乘航班从康涅狄格州前往加利福尼亚，途中经停美联航的枢纽达拉斯沃

    斯堡(Fort Worth)机场。因为突然遇到短时强降雨，我们被请出了飞机。重新登机之

    后，还有上百架飞机排队等待起飞。我们等了三个小时才起飞，这次各个航班的延误，导

    致美国和加拿大所有航班都得重新排时间。

    幸运的是，民航管理部门已经从过去的经验以及对复杂系统的研究中学会如何应对这

    样的突发事件。航空运输行业系统设计已很完善，能够自我组织对任何挑战做出响应。一

    场暴风雨、撞击、恐怖主义袭击本身打不垮民用航空系统。但是，即使是这种自我组织的

    过程也会导致航班延误和严重破坏，还有个人不幸，以及灾难。

    飞机延迟不仅仅是对那些误机的人来说造成了不便，也会让人们误认为混乱无序是生

    活的本质。更让人担心的是，有些情况下不可预测的事件导致灾难发生，甚至对整个系统

    造成灾难性的后果。

    复杂意味着更容易出问题

    复杂系统酿成灾难主要有四个原因(或四个原因的综合体)，如果我们无法避免这几

    个原因同时发生，预防其中某一个原因也不容易。

    管理人员或实际操作人员的无能或错误操作是第一个原因。切尔诺贝利核电站事故发

    生之前及过程中出现了一连串的错误决策。管理层和操作人员都没有受过良好的训练，为

    防止电站停堆采取了不当的补救措施。切尔诺贝利核事故发生只是迟早的问题。

    一些追逐利润的管理层不愿意采取昂贵的安全系统，也是系统出现故障，导致危害发

    生的其中一个原因。2010年4月至7月，位于墨西哥湾的“深水地平线”离岸油井爆炸，导致

    11名工人死亡，490万桶原油泄露。如果英国石油公司和越洋公司(负主要责任的企业)

    的高管不急于完工，并不在安全措施方面大打折扣，这场事故本可以避免或者说后果不会

    如此严重。

    设计缺陷或薄弱环节是复杂系统发生故障的第二个原因。反应堆设计缺陷是切尔诺贝

    利核泄漏事故发生的原因之一，程序错误或故障十分常见。通常情况下，用户并不会注意

    到软件的薄弱环节，除非各种事件同时发生。比如，像Windows操作系统的新版本有几百

    万条代码行，在对外开放使用的时候，就有成千个已知的故障，还有些故障直到终端用户

    报告才为人所知。

    消除复杂系统的故障是一个持续不断的过程，因为每次故障维修都会遗留新的薄弱环

    节。正如第二章中提到的骑士贸易公司不到一个小时就在华尔街损失了4.4亿美元，主要

    原因是用了一个尚未成熟的新软件。关键软件在投入使用之前一定要进行严格的测试。很

    多情况下，软件没有得到充分测试，并且再严密的检测也会遗漏一些薄弱环节。

    此外，每一个薄弱环节都可能遭到不当利用，比如黑客制造计算机病毒，或是出于非

    法目的侵入系统。在网络犯罪和网络情报等蓬勃兴起的领域，带有非法目的的黑客已发展

    成一门高端艺术。我们对于阻挡破坏性病毒和阻止利用计算机薄弱点从事犯罪活动的各种

    反计算机病毒程序、防火墙、密码等都已非常熟悉。但不幸的是，这些安全措施增加了复

    杂性，导致诸多不便，更重要的是，增加了复杂系统的不可预测性。

    第三，对社会技术系统的关键特征缺乏关注往往导致灾难发生。1984年12月2日，印

    度博帕尔联合碳化物公司农药厂异氰酸甲酯毒气泄漏导致3700人死亡，事故发生前该化工

    厂已经发生了很多小事故。但没有发出警示提醒周边居民，当天晚上泄漏发生后，风速缓

    慢以及毒气扩散的方向都是造成严重事故的原因。上述因素如有任何变化都会减少死亡的

    人数，当然悲剧还是发生了，并造成那么多人死亡。

    博帕尔事件发生后30年里，再没有发生如此严重的化工厂事故。耶鲁大学退休的社会

    学家查尔斯·佩罗(Charles Perrow)认为：“这并非因为我们采取了更多的安全措施；实际

    上，自博帕尔事件后，严重的化学事故发生概率是上升的，但是我们已没有如此规模的大

    厂和环境条件可供酿成一起灾难性事故。”

    佩罗认为1979年宾夕法尼亚州三里岛核事故就是常态化事故的典型范例。该事故是因

    为三个方面同时出现问题造成的。反应堆设计者为每一种部件失灵制定了后备措施，但是

    他们并没有或许是无法解决多方面问题同时出现的情况。要为此类紧急情况做出预案，需

    要设计人员分析各个方面都出现问题时可能造成的影响。考虑到复杂的核反应堆中零部件

    如此之多，各种组合情况浩如繁沙。也许设计者可以对关键部件同时失灵的情况进行认真

    研究，但是这需要花费大量的时间和金钱。

    工程师不会把全部精力都放在考量各种可能性的存在。1996年畅销书作家麦肯姆·格

    拉德维尔(Malcolm Gladwell)发表了一篇分析三里岛核事故以及1986年挑战者号航天飞

    机爆炸的文章。挑战者号上的所有机组人员和乘客都殉难了，包括首次受邀参与飞行的来

    自新罕布什尔的教师克里斯塔·麦考利夫(Christa McAuliffe)。

    挑战者号失事原因最终追溯到一个环形密封套垫——O形环，因为一向阳光普照的佛

    罗里达有一段时间寒冷天气增多，导致O形环脆化。格拉德维尔得出结论，一般的理解是

    这些事故是因为各色人等没有很好地履职才导致这些不正常的事故发生，像三里岛核电站

    事故，有些处理程序抓住了多种因素产生的故障问题，但还是会忽视某些可能性。格拉德

    维尔写道：“我们所构建的世界发生高科技灾难的潜在可能性已经深植于日常生活之中。”

    考虑到重大事故并非经常发生，管理不善、糟糕设计以及一般性的事故都可以看成是

    低概率事件。问题在于，认为此类事件不太可能发生正是问题所在，这也是复杂系统出现

    故障的第四个原因。

    通常，一些不幸事故发生的可能性被低估了，因此没有提前采取预防措施。这些事件

    被称为“黑天鹅”，因为人们看到黑天鹅通常会感到惊讶。黎巴嫩裔美国人纳西姆·塔勒布

    (Nsaasim Taleb)是一位统计学家和畅销书作家，他支持黑天鹅理论，强调为什么人们对

    低概率事故发生的不可避免性视而不见，以及为什么这种事件一旦发生会产生大范围的影

    响。

    塔来指出对于很多情况，钟形曲线(bell curve)并不能充分反映可能性分布概率。有

    些情况下，异常值发生的概率更高，标准的钟形曲线无法表现这一点。异常值发生的高概

    率性可以在分布曲线的末端加上一个“厚尾”或“长尾”进行视觉化表现。

    更糟糕的是，在许多真实情况下，我们并不清楚实际可能性究竟是怎样的，而是不合

    理地消除了异常值，直至真的发生了异常事故。个人以及机构的行为比我们所理解的要危

    险得多。一家投资公司的战略可能多年来十分有效，但是突然某一天股票狂跌，这一战略

    导致公司倒闭。从多年来公司持续盈利的角度来看，该公司的战略看起来是成功的，但是

    从公司最终不可避免倒闭的角度看，该战略是失败的。

    复杂技术系统，特别是计算机系统的行为大多被看成是低概率事件。就像赌场里的老

    虎机，所有标志排成一条线才能中头奖，但是这种情况并不常发生。低概率的事件并非完

    全无法预测，但是什么时候、在哪发生很难预测。此外，我们对于计算机系统可能的行动

    方案以及采取某些行动的可能性了解甚少。这是因为我们往计算机的计算程序中添加了数

    不清的信息节，而这些计算程序决定计算机采取何种行动。在某一既定时刻，输入的信息

    是具有独特性的。我们再看看第二章中所提及的闪电崩溃，也许能够更清楚地理解这个问

    题了。

    复杂的技术系统

    2010年5月6日下午2：42至2：47，道琼斯工业指数暴跌600点，当天已经下跌了300点

    了。市场缩水9%，上万亿美元蒸发。在最低点的时候，CNBC评论员伊林·博纳(Erin

    Burnet)报道说宝洁公司股份已经下跌24%至每股47美元。坐在她旁边的市场专家吉姆·克

    莱默(Jim Cramer)立马说：“这肯定不是真实的价格，赶紧去买宝洁公司股票吧。”就在

    他解释为什么购买宝洁公司股票是明智之举的时候，市场已经止跌回弹，上升了300点。

    显然很多人，包括自动买入卖出的计算机，也认为是什么出了问题，重新买入股票。克莱

    默一分钟后又说：“肯定是机器出了问题，系统出现大故障了。”不到几分钟，市场很快收

    复了大部分失地。

    吉姆·克莱默继续展示了他的先见之明，谈到当天的事情，他说我们可能永远无法知

    道到底发生了什么问题。目前有一些理论解释造成“闪电崩溃”的原因，但是没有一个普遍

    认可的解释。最好的猜测就是一宗大型的交易因为计算机交易的不正常情况而放大了影

    响。

    根据演算方法进行自动买入和卖出的计算机是复杂的系统。所有计算机与人类行为者

    纠缠在一起，人类的行为受到技术的影响，同时也影响技术的行为。从更广泛的角度而

    言，现代金融市场是一个复杂的适应性系统，由计算机、公司以及受到新闻、世界事件以

    及个人分析影响的人类行为者组成。

    从更广泛的角度出发，世界经济体也是一个复杂的适应性系统，其行为受到多种因素

    的影响，比如天气、政治事件、单个市场及公司的表现、单个行为者包括计算机的决策

    等。换句话说，系统之内包含另一个系统，另一个系统内还有一个系统。反馈回路会影响

    每一个系统及组成部分的行为。

    “闪电崩溃”只是一系列事件中的其中一项，在此过程中计算机高频交易释放的冲击波

    影响了全球市场。分析人员希望事后跟踪分析为什么会对市场产生巨大且不正常的影响，并且建议采取改革避免类似事件再次发生。

    市场切断装置能够在探测出非典型模型出现时关闭交易就是其中的范例。但是切断器

    或是其他的市场改革能否真正终止奇特事件发生仍不清楚，也有可能它们只会给我们带来

    一切都好的幻觉。如果投资者认为市场不可靠或不公平，他们不会参与交易。但是复杂系

    统的改革，因为计算机和人类的行为密切耦合，会带来新的挑战和不平等。比如说，一些

    交易商具有不到一秒处理交易的技术占据了不公平的优势，改革对此进行修正，但也会给

    他们带来不公平的优势。

    系统理论学者认为偶然的、不可预测的不稳定活动对于复杂系统而言是正常的。换句

    话说，“闪电崩溃”发生时，机器并没有坏，只是做了应该做的事，正如“全球鹰”无人机的

    软件只是按照编程程序要求做事。但是，考虑到金融市场应当是理性的，股票价格应该从

    某种程度上与有关公司的实际价值挂钩，这样来看，宝洁公司在“闪电崩溃”发生时股票下

    跌24%似乎没有正当理由。但是，股票通常是与市场整体情况捆绑在一起，市场总是因为

    某种原因在某个特别的日子或升或落，通常与投资者的心理以及短期目标密切相关，甚至

    超过与公司本身业绩的相关度。

    人类心理是很复杂的，这也直接造成有人参与的任何活动都具有不可预测性。计算机

    的行为也存在同样的不可确定性，虽然说计算机没有自己的思维。2010年5月6日发生的道

    琼斯指数暴跌事件并非不理性，而是一系列因素巧合导致了低概率事件发生，这也代表了

    在一系列可能发生的事件中的其中一种可能性。

    但是高频交易的世界里，系统本身很复杂，加上反应快速，能够加速低概率事件发生

    的可能性。抛硬币的话，正面朝上的可能性是50%，每一次投掷概率是一样的。运气不好

    的话，抛一百次都可能会输钱，但是如果抛足够多的次数总能达到平均数，即50%正面朝

    上，50%反面朝上。连续10次反面朝上的可能性很低。但是，如果你抛足够多的次数，迟

    早你会实现连续10次反面朝上的时候。实际上，非数学家们严重低估了连续多次得到同样

    一面的硬币的可能性。平均而言，每抛1024次可能会得到连续10次反面朝上的情况。

    现在想象一下一台计算机模拟硬币投掷，每毫秒进行一次(千分之一秒)。对于计算

    机而言，得到连续10次反面朝上的概率与人类是一样的，但是人每投掷一次硬币需要5秒

    钟。所以说，这个简单的事实就是计算机投掷硬币的速度要比人快得多，这意味着计算机

    每过几秒钟就可能得到连续10次反面朝上。人类则需要一个半小时才能实现。交易速度加

    快即能加快异常值的出现。

    对于短期交易员而言，金融市场的成功越来越依赖于使用越来越快的计算机加速交

    易。购买和出售同样的金融工具不到一秒就可以完成，在这极短的时间里，公司可能盈利

    或亏本。获得数据最快，第一个交易的公司更容易获得利润。

    1815年，内森·罗思柴尔德购买英国政府债券发了笔大财，因为信鸽的报信让他比其

    他投资者提前知道威灵顿公爵在滑铁卢大胜拿破仑的消息。现在的计算机交易公司都愿意

    大笔投入服务器，减少获取信息的时间，哪怕是减少一秒钟。几毫秒的时间可能就是胜负

    两重天的区别。

    通过使用计算机演算进行决策，同时排除人的因素，加速了新信息的获取，通过自动

    执行任务加速了市场的活动。计算机获取的信息越多，做出的决策越合理。输入的信息反

    映了当前世界所发生的情况，比如政府关于就业的报告、中央银行改变汇率、饭店连锁店

    宣布预期收益下降，或是巴西的风暴破坏了甘蔗林。

    计算机的行动也会对外部世界造成影响。比如，订单急剧减少会迫使公司管理层辞掉

    大量员工进行重组。这些工人会重新找工作，从而影响当地的经济，甚至店主是否有钱继

    续为女儿支付舞蹈培训班的费用都会受到影响。复杂计算机系统的行为对市场产生影响，它不仅与市场密切相关，也与市场之外的复杂机构、大社会里的复杂个人的行为等紧密耦

    合。复杂的环境和地缘政治力量也在不断地改变我们的世界。

    计算机的行动与输入信息的耦合加剧了复杂性，如信息输入的数量，以及软件如何根

    据这些输入信息做出交易的决定。增加系统的复杂性会影响所有可能事件的分布，从而出

    现更多的异常值。简单地说，由于复杂性增加，分布曲线会拉很长或是尾部增厚，计算机

    行动越不可预测，它们造成的影响也复杂。

    当系统的各个元素紧密耦合或是复杂系统之间产生重要的影响，一些小的不可预料的

    事件会在整个大系统中产生反响并带来影响深远的后果。全球金融服务公司雷曼兄弟(建

    于1850年)与其他主要的金融机构有千丝万缕的联系，2008年该公司破产之时，威胁到全

    球整体金融系统。幸运的是，全球金融大系统十分强健，它吸纳了这些损失并在没有雷曼

    的情况下进行了结构调整。这种强健部分原因是在预料到雷曼兄弟破产的有限几天里，其

    他的金融机构做了大量的准备工作。如果没有那段时间，众多公司同时倒闭将造成国际银

    行系统崩溃。

    从所有的可能性分析，“闪电崩溃”是由于某一系统的低概率事件引起的，又因其他系

    统的低概率响应变得复杂化。刚开始的不正常交易引发了链式反应，因此造成了剧烈的且

    短时间的影响。

    可以肯定的是，这并非一个很精确的诊断。我们没有办法证明这个理论，或是这个问

    题的其他解释是对还是不对。但是，计算机交易导致的低概率事件的预防和管理问题的确

    值得注意以防止未来出现类似的危机。

    计算机模拟是提前确定复杂系统可能遇到的各种情况的最好办法。好的模拟将影响系

    统行为的信息输入和影响建立模型。通过运行成千上万的不同场景，工程师或商业分析人

    员能够了解不同的情况导致较低或较高发生可能性的情况。好的模型能为提前规划提供信

    息并得出应在复杂系统中加入哪些安全机制。他们能帮助减少某些灾难发生的可能性，当

    然并非所有的灾难都能防止发生。

    复杂建模能否解决问题

    20世纪80年代，系统理论诞生了复杂自适应系统的科学研究，主要研究单个部件如何

    适应各自的行为，转而改变系统的结构和活动。更强大的计算机的出现使得这一对于复杂

    系统研究的变化得以成为可能。强大的计算机有利于通过为复杂活动建立模型进行模拟。

    系统理论家希望复杂自适应系统的科学研究可以提供一个工具，以理解并驯化我们日益依

    赖的复杂系统。

    大部分对于自适应系统的研究关注物理和生物过程。即使是微小的生物系统比如活细

    胞都十分复杂。医学绘图师戴维·博林斯基(David Bolinsky)创造了有名的动画，描绘了

    在一个细胞中分子充满活力地跳舞。这个动画非常神奇，展现了一个丰富的宇宙，魔幻的

    结构活跃地互动。细胞中大量的分子微型机器不断改变状态。

    哈佛大学分子、细胞生物部门都用博林斯基的动画模拟作教学工具，帮助学生想象细

    胞内部生命的复杂。但是，尽管这个动画展现了细胞内部的复杂性，戴维·博林斯基却告

    诉我细胞里发生的活动非常之多，该动画只是展现了分子结构及其活动的10%～15%。

    复杂自适应系统的研究初期关注的是对进化进行模拟。在人工环境中探索进化进程带

    来了很多好处。在生物世界中，需要无数代的进化才能成功发展为具有有趣特征的物种。

    在电脑模拟中，从一代到下一代只需几秒时间。

    随着对进化进程的研究出现了一个全新的领域，即人工生命(Alife)。人工生命的

    研究人员在模拟环境中增加了虚拟有机体。其想法是探索这些人工有机体会怎么改变，并

    对模拟环境中其他有机体的行为做出何种响应或如何应对环境的变化。我们可以把这当作

    计算机游戏《孢子》(Maxis公司出品，一款模拟生命进化的游戏，该公司还出了《模拟

    人生》《模拟城市》等产品)。人们希望模拟世界的有机体能够进化成复杂的虚拟生命，转而帮助大家更清楚地了解生物生命的强健性。

    不幸的是，虚拟有机体的进化进入了一个平台稳定期。计算机环境中的人工实体并没

    有发展成足够复杂的程度。生物学家托马斯·雷(Thomas Ray)，他发明了一个受到高度

    认可的研究人工进化的软件项目(Tierra)，承认“数字介质中的进化仍然在进行过程中，所取得的成绩非常有限”。目前尚不清楚为什么人工生命模拟如此令人失望。不成功说明

    计算机模拟中的生物系统模型存在根本缺陷，至少通过目前所有的尝试结果是这样。尽管

    如此，人工生命研究人员继续探索新办法，取得了不同程度的成功。

    科学认识取决于绘图和模型，它们通常抓住了物理、生物或社会条件下的突出特点，但忽略了明显的外部细节。绘图展示的是已经发现的特征。绘图中没有的是未经探索或未

    知的领域。动态模型重点放在看起来很重要的特征而忽视其他的特征从而使得对于关系和

    遵循法则的活动的研究成为可能。理论模型要成为可行的假说，必须揭示一些观察或预测

    并为现实世界的实验所确认。如果预测被证明是错误的，那这个模型要么是不对的，或是

    不完整的。

    模型失效有多种原因。通常理论模型过于简单，不能抓住所有影响系统的重要因素。

    在计算机出现之前，科学家只限于处理相对简单的概念模型。计算机模拟使得有机会观察

    更复杂的系统如何一步步展开的，并成为研究所有从分子到宇宙的混沌和复杂系统行为的

    最重要的工具。随着新一代速度更快的计算机和更好的编程工具的出现，模拟将能够为越

    来越复杂的流程建立模型。

    即使是优秀的模型如果不能吸纳根本的特征也是不够的。混沌和复杂性理论告诉我们

    模型中产生的非常小的影响能产生重要的作用。伦敦千年大桥是一座悬挂于泰晤士河之上

    的专供行人步行的桥，本是建筑学上的奇迹，但是在通行第一天，成千上万的行人走过去

    导致大桥摇晃。这座大桥很快就得到一个昵称“摇摇晃晃”，许多过桥的人都因为摇晃很困

    扰，设计大桥的工程公司也感到不安。

    大桥摇晃的情况在计算机模型中并没有出现，风洞模拟也不明显。这家公司很快明白

    了，它们的模型并没有考虑路人步伐同步时悬浮的步行桥产生微弱共振的情况，步伐同步

    造成大桥摇晃。因为大桥摇晃，吸引更多的人以相同的步伐在大桥上走，从而使大桥摇晃

    得更加厉害。

    不可确定性是工程师的敌人，他们的工作就是设计可靠的工具、机械、建筑以及桥

    梁。战胜不可确定性是安全的有机组成部分。机械系统天然倾向于从有序发展到混乱状

    态。比如，摩擦导致车辆发动机振动，振动会损坏或导致其他零部件松动。检测和消除混

    沌行为是确保复杂系统最佳表现的关键。

    以千年大桥为例，找到问题根源后，工程师决定加装减震器可以有效缓解大桥晃动。

    闪电崩溃也引来了极大的关注，促成了各种改革措施，一旦交易中出现不正常现象，市场

    将暂时停止交易。但是，虽然开展了大量研究，人们并没有学到太多经验，也没有采取充

    分的改革措施驯服高频计算机交易占据主导地位的市场不确定性。

    这个故事的寓意就是：即使使用高度精确的模型，人们仍没有掌握复杂自适应系统的

    研究，也无法跟上公司和政府继续发展的极度复杂的技术。我们对于复杂自适应系统的初

    步了解仍然不够，我们需要给予人类运行人员介入的机会。但是为了给他们履行职责的自

    由，我们需要给予他们充分的时间。

    全力应对不确定性

    2003年8月14日，我正在办公室工作，突然停电了一会儿，又恢复正常。俄亥俄州的

    用电高峰导致美国和加拿大历史上最严重的一次大范围停电。从密歇根到马萨诸塞州，以

    及加拿大的安大略省都受到了影响。有的用户需要两天或两个星期才能恢复正常。停电刚

    开始是因为克利夫兰(Cleveland)的输电线过热倒到了一棵树上。这起小事件升级成大

    范围停电，涉及8个州并影响到了加拿大。

    软件故障使得停电更加复杂，操作员的决策也增加了复杂因素。在新英格兰南部，我

    们躲过了停电，是因为技术人员明显违反了自动化停电规程，并将我们的电力供应商与其

    他州的电网切断了。只需几秒时间就足以让我们住在康涅狄格州的人免于遭受停电带来的

    不便以及经济负担。

    当今世纪，计算机网络紧密相连已很常见。可以争取的一点时间就是将关键单元从复

    杂系统中解放出来。模块化的设计，允许单个单元进行更加独立的行动，能够通过减少部

    件之间的密切联系提高安全性。因特网的根本是模块化系统的最好例子。分配中心出现故

    障不会导致互联网崩溃，因为在设计之初就考虑到要不断地寻找新的路径通过网络可用的

    节点传输数据。

    查尔·斯佩罗(Chairles Perrow)和其他的专家建议通过打破耦合和模型化以减少意外

    事件所产生的影响。不幸的是，很多行业主流的倾向是各个次单元之间建立更紧密的耦合

    关系。在增加利润的压力下，商业吞并或与竞争者融合，消除冗余的单元，并对程序进行

    简化。跨国公司越来越大，日益集中，各个次单元高度集中以实现效率最大化。做出这些

    决定的商业领袖很少认识到其中的风险。他们只是做好自己的工作。反对对大型集团进行

    监管的政客们也根本不了解在每次周期性下滑或意料之外的灾难发生时，他们其实给经济

    带来了更大的破坏。

    将金融市场和加剧金融市场动荡的高频交易解开耦合可以通过一些温和的改革来实

    现。比如，应对股票交易市场对每一次短期交易收取交易费。交易公司持有股票、货币或

    商品不到5分钟的，可对其收获的利润征税。按分或是按秒进行交易将会使那些获取信息

    或交易时间比竞争者慢几分之一秒的公司完全没有任何优势。上述的改革措施肯定可以很

    大程度上减少高频交易的数量。所以，并不奇怪的是，受益于高频交易的公司想方设法阻

    止采取可能干扰他们业务的措施，自“闪电崩溃”之后只有少数改革措施真正得以实施。他

    们辩称短期交易的流动性是有益的。那些最能驾驭系统的获利者似乎比市场的完整性和稳

    定性更重要。

    我们对那些能够从系统中受益的人反对改革并不惊奇。我们也不能期待有改革思维的

    政府官员完全理解他们所考虑的并不完美的措施是否能够解决所考虑的问题。专家们对于

    复杂系统管理的决定有极大的影响力。考虑到其中的错综复杂，专家也可能搅浑水，有时

    候是为了支持现状，或是推动改革。那谁负责决定应如何管理复杂系统以及什么时候开始

    改革呢？

    有关限制灾难性后果，还有人建议将化工厂、核电站以及其他有潜在危险的设施建在

    偏远地区。这个建议也很少得到重视。将化工厂建在人口密集的中心能够减少劳动、交通

    和能源等方面的成本。将核电站建在能源需求多的城市附近可以减少建造将能源输送给用

    户的基础设施。

    后备和冗余系统对于解决一般的系统失效问题是有用的。自动停电可以保护电网的设

    备免遭电涌的破坏。关键系统的设计当然考虑了安全，但是很少会考虑具有灾难性后果的

    低概率事件。比如说，日本平均每7年会经历一次海啸，因此东京电力公司的规划人员确

    保了福岛第一核电站比海平面高18英尺(5.5米)。但是他们对于最糟糕的情况估计却忽

    视了公元869年该地区发生了Jogan海啸，其产生的海浪高度与2011年海啸引起的海浪高度

    类似，导致了福岛电站受到洪水袭击。当时海啸波峰超过了15米，比核电站防海水墙高出

    了5米。

    2010年美国墨西哥湾原油泄漏事故的负责方：英国石油公司和越洋公司曾做出基本的

    计算，认为防灾计划花费昂贵，于是侥幸认为意外不会发生。其实，事故造成的环境破

    坏、经济损失和清理污染的成本是巨大的。截至2013年9月，英国石油公司在清污、索

    赔、罚款方面花费了420亿美元(310亿欧元)，同时还要支付另外的180亿美元(130亿欧

    元)。英国石油公司辩称，很多索赔其实并非因石油泄漏造成的。1年以后(2014年9

    月)，美国区法院法官卡尔·巴比尔(Carl Barbier)判决英国石油公司负有严重过失的责

    任必须支付所有的索赔。

    在整个事件中，英国石油公司似乎是运气不好。其他一些冒着同样风险的公司似乎要

    幸运地多。这起事故发生之后的几年里，很多石油钻井公司还是没有主动采取昂贵的安全

    措施。他们仍然与要求强制采取安全措施的立法做斗争，在政治同盟的帮助下，他们是获

    胜者。但是目前尚不清楚，对于低概率的灾难缺乏规划对石油公司以及社会累计造成的经

    济损失是否会高于周期性灾难真的发生了所造成的经济和环境损失。

    也许随着对复杂性的认识加深，工程师和政策规划者能找到新方法来驯服猛兽。但是

    当前而言，解耦合，模块化，将危险设施建在偏远地区，减缓对于少数人有利但对于社会

    而言好处微小的交易，风险评估以及更好的测试程序是限制灾难，或者至少是缓解灾难造

    成的伤害的目前最好的办法。要相信会采取上述措施还真的在于心诚则灵。更可能的结果

    是越来越依赖日益复杂的技术，大部分的公司对于采取昂贵的安全措施漫不经心，依赖复

    杂系统的危险依然被低估，灾难发生的频率将越来越高。

    纳西姆·塔勒布(NassimTaleb)建议所有战胜不确定性的努力都是将“灰天鹅”(模糊

    认识的问题)变成“白天鹅”。复杂世界的非常逻辑就是“黑天鹅”永远存在。一场事故之

    后，有几只“黑天鹅”会变成“灰天鹅”。“黑天鹅”因此减少了很少一部分。但是日益复杂的

    技术会催生出更多的“黑天鹅”。“黑天鹅”无法根除的理念决不可作为不采取安全措施减少

    破坏性事件发生的借口。

    人体是一个复杂系统

    从科学的角度出发，人体是复杂的系统，其神秘的面纱要通过精确的调查才能掀开。

    为了我们的讨论，这一领域的研究也适用于复杂系统的管理，可从三个不同方面来看这个

    问题。第一，人体适应力惊人，非常强健，有韧性。了解人类，实际上所有的有机体，为

    什么如此有韧性，能够促使科学家和工程师采取类似的机制改善非生物技术的适应能力。

    第二，很多在开发的复杂技术意味着对生物过程进行干预，以用于医疗目的或提高能力。

    所有的好医生都知道，干预人类的功能必须非常小心，否则很危险且难以预测。第三，人

    体的复杂性使得我们完全且轻松实现一些广为关注的技术理想非常困难，比如开发个性化

    药物，或是在婴儿出生前给他设定一些特征。本书中，复杂性的作用自然而然会拖慢技术

    创新步伐的观点会反复出现。

    在对人体研究采用科学语言和方法之前，“灵魂”和“精神”等词语用于代表人的神秘特

    征。生命、智慧、创造力以及意识都是灵魂的天赋。按复杂性的语言来说，灵魂的天赋是

    涌现特征，是一种不只是他们产生的化学和生物互动的综合特征。涌现的概念是否足以解

    释生命的神秘仍是一个未回答的哲学问题。涌现是一个准科学的术语，经常作为一个占位

    符号，用现有的科学无法理解。人体中流动的能量特征比如力量、磁性、感觉等不足以描

    述“精神”一词所能抓住的特质和精神状态。当然，医学发现在加速发展。但是，将人体作

    为系统研究揭示出其多重复杂性和不可预测性。人体包括错综复杂的子系统，相互之间的

    影响并未为人所知。

    在复杂系统的研究中，涌现的概念是一个特别有意思的主题。系统部件之间的简单互

    动会涌现出新的模式或全新的特质。化学和物理变化涌现出生命。如果没有传导体，心脏

    内窦房结中的上万个起搏细胞也能自我组织形成整个心脏的连贯心跳。人体大脑的单个神

    经元并没有意识，但是所有的神经元形成一个整体能使我们可以阅读眼前的这本书，并且

    意识到自己正在阅读。

    一些形式的涌现是可以解释的，比如大型城市在两条河流交汇处出现，是因为许多单

    个的行为者追求自我利益的行为导致的。其他形式的涌现，包括单个神经元的活动涌现出

    的精神状态更为神秘些。

    人体是所有复杂系统中研究最多的领域。这个系统对疾病、事故很脆弱，关键部件容

    易恶化。人体在没有多少药物或医生的帮助下，也具有很强的疾病康复能力。小伤口能自

    我康复。断的骨头一旦复位也能自我恢复。中风之后几个月，语言能力等关键功能能够专

    项被大脑的其他区域支持。但是，自然的损耗，比如说酗酒将破坏人体的强健和韧性。比

    如说，吸烟能损害人体的自然抵抗力，并为肺部疾病埋下隐患。

    身体中薄弱性的“剥削者”包括病原体细菌，通常在胆中生存，并且当免疫系统脆弱时

    有机会利用自身的动力生存、再生和繁殖。“设计”的特征可能会让身体更强健，但也可能

    改变其生存和发展的适应力和能力。所有物种都是如此。如果对胆进行重新设计使其不再

    成为病原体的港湾，那可能会导致胆也不能保存其他的对于消化十分必要的其他形式的细

    菌。

    在生病之前，身体里反映是否有问题发生的生物化学环境会产生变化。探测有疾病发

    生的标志物，通常称之为生物标记，医学家们认为它们对于预防疾病十分重要，对于降低

    医疗成本十分关键。美国每年在医疗方面的花费高达2万亿美元，其中仅有10%用于药

    物，2%用于诊断检测，大概85%用于照顾病人以及医疗管理。很显然，预防疾病将对医

    疗成本产生最大的影响。

    大部分在开发的新医学技术研发方向都指向及早探测反映疾病发生的生物变化。亚利

    桑那州立大学生物设计研究所的创新和医药中心研究人员设想发明一款家用的检测人体健

    康状态的设备：“盒子里的医生”(Doc-in-a-Box)。“盒子里的医生”可以放在家里的长柜

    上，用来定期分析血液、唾液和尿液样品，以确定某些变化，指示是否有早期疾病发作。

    不同层级的生物标记与指示剂的正常基础水平进行对比。换句话说，通过与其他人的身体

    情况进行比较确定健康水平，或是通过与自身正常的身体化学和生物学情况进行比较。比

    如说，如果身体里的抗体正在与血液中数量上升的病毒做斗争，这就警示身体感染了病

    毒。

    除了开发这种可以进行多种诊断测试的“盒子里的医生”存在很大的困难以外，读取数

    据和确定检测结果应当如何使用也面临很多的问题。有一种设想是通过个性化药物，并告

    知相关的诊断信息，赋予个人为自己的健康负责的能力。但是，考虑到人体的复杂性，这

    是个糟糕的想法。有些人一看到自己有感染的迹象，就毫无疑问倾向于使用一些自己并不

    需要的抗生素等药物。或是想象一位女士她读了自己的染色体，分析了菌群(肠道里的动

    植物群)，每天都从“盒子里的医生”那里得到生物标记变化的反馈。所有的这些诊断信息

    到底是有用还是造成困惑？的确，有些信息非常具体可以表示有必要进行治疗。安吉丽娜

    ·朱莉家族患有乳腺癌和子宫癌的病史，以及BRCA1基因病变的存在表明她患癌症的可能

    性很高。但是，大多数的诊断信号并不明确。在大多数情况下，要将各种因素结合起来分

    析。已知和未知的生物标记能够极大地提高和减少患有严重疾病的可能性。此外，生物标

    记因为一些非问题的因素比如青春期开始、怀孕、更年期等也会发生变动。即便是秋季季

    节变化也能改变人体准备过冬的生物化学特征。

    比诊断信息更重要的是分析总体数据的工具。来自复杂计算机程序的帮助对于解析数

    据用处非常有限，该计算机程序用于组织和分析生物数据(有一门学科叫作生物信息

    学)。生物信息系统可能或不可能意识到或将一些基本信息考虑在内。或者该系统对于有

    一些疾病可以报告一系列的可能性。万一诊断数据的可靠程度或预测准确度很低怎么办？

    多大程度的不确定是可以接受的？读取的数据是否应当进行一些改动以符合个人的心理承

    受度？或者说这个人心理上是否合理地对待坏消息或不确定的消息？生物信息系统是否会

    报告这种疾病很有可能没有已知的疗法？

    也许“盒子里的医生”或生物信息系统不应当将分析结果直接发给个人，而应当直接传

    送给医生、健康顾问或保险公司。但是如果雇主、保险公司或是政府掌握了个人的诊断数

    据，是否会在使用的过程中损害个人的权利？这些都是我们在考虑采用预先诊断疾病的新

    工具过程中出现的问题和担心。技术本来的用意是简化决策实际上却使得决策变得更加困

    难。为客户提供早期诊断数据的目标是值得钦佩的。被分析的身体的复杂性以及复杂的社

    会关注随着并不完美的消费者和机构企图使用这些信息而出现，这将使得实现这一目标变

    得更加复杂或者说阻碍了这一目标的实现。

    与计算机数据读取产生对比的是，一位经验丰富的医生，更充分地考虑当地环境对于

    疾病的影响，虽然掌握的信息要比“盒子里的医生”少，但他的诊断更准确。进一步说，一

    位技艺精良的医生或护士会考量病人的精神状况，并以恰当的方式告诉病人身患严重疾病

    的消息。

    在最好的情况下，一位技术好的医生总是能获取好的诊断数据，包括病人生物标记的

    每日变化。目前，因其价格昂贵使得只有特别富有的人才能获得。可令人遗憾的是，基因

    数据和诊断结果越来越容易拿到，这意味着很多缺乏必要知识如何恰当使用这些信息的人

    因为一些没有根据的担心给自己开一些没有必要的药。在有些情况下，他们的做法是十分

    危险的。

    医疗方面取得的进步表明复杂系统比如人体出现的问题是可以进行管理的，虽然并不

    能总是得到解决或治愈。充满希望但是很天真的想法就是医学很快能解决所有的医疗问

    题，这种想法忽略了一个简单事实，即我们了解得越多，我们越能发现人类生物潜在的复

    杂性。我们找到的缓解痛苦的办法，比如药物，增加了问题的复杂性，它改变了反馈回

    路，引起了副作用或压制的一些病情在别处爆发。生物医学技术改善了某一方面的功能通

    常会导致复杂有机体或社会技术系统其他层面的脆弱。解决了某些问题使得整个系统更加

    复杂，因此很可能变得不可预测，有时候甚至是危险。

    无法预测的命运

    短篇小说家豪尔赫·路易斯·博尔赫斯(Jorge Luis Borges)，曾在一段名为《论科学的

    严谨》的短篇故事中描述了一个国家的制图师技艺高超，他们绘制的每一张地图都以精确

    到点的方式抓住了国家地理的每一个特征。形成的整体地图越来越大，直至国家面积的同

    等大小，以至于后代的人们发现这幅地图大而无当，完全没用。

    所有的科学都建立在模型基础上，模型在有些情况下预测非常准确，所排除的元素不

    会产生太大的影响。但是自然的复杂性和以技术为基础的文化导致即使是最微妙的影响在

    适当的环境下也能产生深远的影响。我们生存的世界涵盖无数的子系统，其中有一些是复

    杂的自适应系统。其他的子系统是复杂脆弱的，还有其他一些子系统的活动是混乱的。这

    些系统之间的反馈回路错综复杂，很难去跟踪或破译。

    换句话说，我们的世界和我们身边的环境不符合任何模型。我们并不能完全将其概念

    化或对现实进行模拟，幻想我们能够完全预测或掌握人类的命运是天真幼稚的。从历史而

    言，承认和拥抱人类生存的不可预测性是智慧的表现。没有理由认为这一点已经改变了。

    第四章 变化的速度

    3D打印

    2012年8月，科迪·威尔森(Cody Wilson)和他朋友在维基武器项目募集了2万美元，研究用3D打印制造一把枪。用这笔钱，他们可以购买或租用一台价值1万美元的斯特拉塔

    西(Stratasys)3D打印机测试各种枪支设计。

    3D打印机最常见的形式与喷墨打印机类似，只不过是喷嘴压出的是速干塑料或其他

    的材料，通过多个出口慢慢堆积成一个物品。威尔森设想3D技术可以作为有用的工具帮

    助他达成政治目标，削弱任何限制枪支的提案。在接下来的6个月里，一系列的媒体报道

    向公众介绍3D打印，以及警告世人其负面作用。

    打印3D枪支的主要障碍是很难制造出一个能够承受住子弹推力的枪管。但是，2013

    年得克萨斯的一家公司成功测试了一个3D打印枪支，他们将其命名为：解放者。虽然打

    了几次子弹后，这支枪就变得不太可靠，但是他们还是将该枪支制造的设计图放到网上供

    下载。

    大家设想一下如果一个年轻人在网上下载了“解放者”的设计图，在自己家里3D打印

    机上打印出一把枪。他拿着这把枪出去测试，装上子弹，扣下扳机，打到第四枪，枪在手

    中爆炸了。也许可以在设计图上规定测试的枪支必须用特别强的原料，即塑料和陶瓷材料

    的混合材料制造，而这个年轻人什么也没有。没有耐心的他用手上的塑料直接造了一支

    枪，结果是失败了，他被炸掉了一条腿。

    或者一个可能的场景是，这个年轻人使用了几年前打印出来的塑料枪。这种塑料与滑

    雪和自行车头盔相似，必须过几年进行更换，否则会退化，子弹打出来的时候枪管震碎

    了。使用3D打印机生产枪支绝对是一个坏主意。

    但是在这个问题上，3D打印枪支造成的悲剧当然没有使用常规方法制造的枪支造成

    的年轻人死亡人数多。关于3D打印的媒体报道都集中于其造成的悲剧上，虽然这与常规

    枪支相比相形见绌。这些关注转移了人们对于一些更大问题的担心，比如说武器获取问

    题，以及对于迅速出现并快速发展的技术进行监管。

    3D打印已经开始成为消费品。从计算机打印出3D物品的流程最早是1984年由查尔斯·

    赫尔(Charles Hull)发明的。自20世纪90年代以来，3D打印开始工业应用。特别大型的

    3D打印机能够在1天多的时间里打印出一座房子的框架，而这种技术很快可供建筑公司采

    用。但是，家用3D打印机只能够粗糙地打印出计算机软件设计的物品。

    2014年，用于复杂设计的高端3D打印机使用的一项主要技术——激光烧结的专利保

    护期将到期。可以预见未来几十年里，复杂的高端家用3D打印机市场将迎来爆炸性发

    展。

    1450年，约翰内斯·古腾堡发明的西方印刷术仍然是人类历史上改变社会发展的最重

    要的技术之一。虽然3D打印技术的影响不会有那么深远，但是也具有不可估量的重要

    性，因为它将制造工具发到了个人手中。

    消费者要如何使用3D打印机呢？3D打印的使用也并非一无是处，很多地方都是非常

    有用的。比如遥控器的电池塑料外壳摔坏了，制造商可以让你在网上支持商店下载解决方

    案。这些标准软件可以减少修理遥控器花费的时间精力，直接打印出一个替换的外壳，也

    要比重新从工厂订制一个便宜。

    当然一个普通消费者也不会因为只是修理一个家用物品购买3D打印机。但是家用3D

    打印机对于那些认真的说客、冉冉升起的企业家或艺术家可能有用。美食家可以用晚餐材

    料比如意大利面和发面团打印出有形的食物。基本设计可以从网上下载或者通过简单软件

    生成。

    有创造精神的人更容易发明一些物品或制造出艺术品，而无须像以前那样必须付出大

    量资源才能实现。但是原创设计一个具体的物品则需要很高的技巧。打印复杂的物品需要

    大量的时间，因为材料出口的喷嘴必须很小，每一层必须非常薄以抓住所有的微小细节。

    制造业以外的行业也能找到使用打印技术的有趣例子，比如医药行业，利用打印技术

    能力组装或合成生物奇观。维克森林(Wake Forest)大学再生医药学院发明了功能性肾

    脏，就是用打印机一层一层一个细胞一个细胞打印出来的。实验细胞通过喷墨打印机的机

    头，“打印”出血管。这些血管可以方便医生将血液供给需要氧气来治愈的组织。这对器官

    移植和加速中风后康复十分有用。

    用3D打印机加工器官和夹板将很快变得习以为常。2012年密歇根的一组医生利用这

    个技术挽救了一个患有呼吸疾病的6周岁婴儿。他们利用婴儿气管的高清影像以及计算机

    辅助的设计为婴儿量身打造了一个夹板。这个夹板就是用生物可降解的材料打印出来并进

    行移植，3年以后将被婴儿的身体完全吸收。

    打印技术也能极大地减少每次打印出一对DNA链的时间及成本。DNA打印机能够在

    新兴的合成生物学领域加快生物部件及新的有机体的组装。像其他很多技术一样，几年

    后，打印一小段DNA的成本将急剧减少。如果成本继续大幅下降，未来10到20年，想要

    自己动手在家里的实验室亲手制造单细胞有机体的生物学家将能够支付得起DNA打印机

    了。

    现在还不清楚我们有多少人将在自己家里或办公室拥有3D打印机。即便如此，该项

    技术也已被称颂为革命性技术，并被认为将引来桌面制造的时代。这种技术也可能出现一

    些“杀手级应用”，乃至我们会怀疑如果没有这个小制造机怎么活下去。

    3D打印让人想起了《星际迷航》中的复制机，它能为机组成员定制任何自己想要的

    食物并立即生产出来。但是，在不久的将来，3D打印机很可能成为富有人家的又一个工

    具而已，只是隔三岔五地用上一次。

    3D打印技术的主要社会影响还是在于它将使得之前需要花费大量时间和金钱的流程

    大大加快。工程师和艺术家能够砍掉中间人环节，迅速从概念到设计再到加工。生物部件

    的制造也是如此。

    科学发现和新技术开发之间的联系互动意味着创新不仅是在加速，而且是加速的速度

    在不断加快，这很大程度上是因为那些采用这些技术的人的需求在驱动。比如说，诊断工

    具，比如功能性磁共振成像系统(FMRI)能够根据血液流动反映脑部活动。

    FMRI加速了脑科学的研究，越来越多的脑科学家应用FMRI，他们越来越希望对这一

    技术进行改进，要求成像更加清晰并能抓住脑部各时间变化的细节。的确，奥巴马总统

    的“脑倡议”(Brain Initiative)的第一阶段的方向就是开发下一代的成像系统和其他可以帮

    助快速推进脑科学发展的工具。

    但是新兴技术加速一系列流程发展的方式是福还是祸呢？变化的速度越快，越难以对

    新兴技术进行监督和监管。的确，随着技术发展速度加快，对其进行监管的法律和伦理机

    制却陷于停滞。这就是所谓的步调问题：技术部署的时间与采用有效手段确保公众安全的

    时间之间的沟壑越来越大。

    人类是有韧性且脆弱的物种，我们反应和改变的速度是有限的。但日常生活中的需要

    可能超出人类可以掌控的速度。当需求超过我们的能力，我们往往会选择走捷径，事故就

    可能发生，人类的身心就会崩溃。创新的速度不断加快造成的第一个牺牲，就是不得不分

    配时间去认真思考应该采取怎样的行动计划(进行周详考虑)。

    技术发展的速度不断加快也是人类对新工具和技术倾注了目标和理想的结果。虽然有

    人说技术发展就像有机体一样，单个的技术和技术的集合体没有能力去做或想去做什么。

    实际上，技术发展是因为我们人类想要从技术获得什么，以及我们愿意相信这样一个说

    法，即技术能够提供我们所想和所需。

    随着通讯、制造和分配模式的加速，在很短的时间里新工具很快能得以广泛推广。从

    本身而言，3D打印只是又一项有用的技术。和其他大量的技术创新一起，它将加速提高

    或是降低人类生活的质量。

    互联网前和互联网后

    从字节到计算机到网络空间，信息时代的术语和工具正在迅速地重新定义和改造我们

    的日常生活，但这些只是冰山一角。信息时代的到来不只是新的电子器件层出不穷。有人

    甚至说未来的历史学家将把历史划分为B.I.(互联网前)和A.I.(互联网后)。

    当然通讯、娱乐、教育、研究等新工具以及生产力正在调整和改善数不清的活动。一

    些技术比如信息处理、演算以及计算等给我们提供了了解生命、人类文化以及思想的新方

    式。他们用最新的比喻来解释物理、生物以及社会、宇宙等方面。从基因学到脑科学到宇

    宙学到量子机械学，信息理论为我们提供了新的方式去揭示、解释(有时候也扭曲)赋予

    我们世界形式的各种作用力量。

    过去50年，我有机会观察计算机技术的发展和传播，以及它对社会活动方方面面的侵

    蚀。20世纪50年代我所见到的第一台计算机塞满纽约银行的两层楼，现场需要大量的技术

    人员不停地更换真空管。用集成电路代替真空管使得计算机更加可靠、更快、体积更小，价格更低。计算机从发明到作为家用电器才不过40年。因特网和智能手机的普及速度更

    快。

    对于第二次世界大战过后不久出生的人来说，新工具和技术的引用是大踏步向前发展

    的。我们可以将从加法器到计算器和计算机的转变看作是渐进性的提高。计算技术的迭代

    发展使得书写、处理数字和分项信息等基本活动越来越容易，从而使很多用户都能很容易

    使用。

    文字处理器使得写作更加容易；电子指标软件使得数字处理变成了游戏那么简单；因

    特网为每一个家庭提供了多如图书馆的信息，以及与朋友和家人即时联络的工具。可以

    说，信息技术的初期发展仍以人类可以掌握的速度向前推进。

    对于我的同伴(以及我自己)而言，计算机技术的每一代发展都取得了我们所期待和

    普遍欢迎的进步。我们认为青少年和年轻人都很希望最新的电子设备，并且很快能去芜存

    菁地选出最最有用的设备。换句话说，计算机技术对我们如何开展一系列的任务产生了深

    远的影响，但是这一消化吸收的过程是相当顺利的。

    工业界所感受到的主要破坏性影响是信息技术在取代很多工人的工作。对于那些伴随

    能够进行各种神奇操作的电子设备一同长大的孩子和年轻人来说，他们的认识与前一代人

    相比出现了一些不易觉察的变化。他们很少去了解这些工具历史上是怎样产生的以及怎样

    运行的。从这个角度说，年轻人很少认知他们的世界和历史发展之间的延续性。

    迄今为止，与工业时代相比，信息时代带来的破坏性影响要小得多。但这点也在发生

    变化。信息技术的破坏性正在变得越来越明显。安全和隐私的风险已不能被忽视。随着计

    算机速度越来越快，开展的活动越来越多，要跟得上它的步伐日益困难。

    信息技术本身也在加快一系列的流程。这种变化的速度以及将越来越多的工作交给机

    器的压力变得错综复杂。一些活动对于计算机日益依赖，比如买卖股票，就是因为计算机

    能够比人类计算速度更快，行动更为迅速，从而盈利更多。

    金融市场就是第一个被计算机占据的行业。计算机在其他很多行业也很快代替了人类

    决策。但是将决策权完全交给机器也潜伏了严重的危机和损失。比如，机器在做选择和采

    取行动的时候从来不会将歧视、敏感、同情以及关心等情感因素考虑在内。

    加速、智慧以及奇点

    计算机的处理能力随着时间推移大幅提升。某些理论认为这是技术发展整体加速的其

    中一个表现，并将不可避免地带来人类命运的激进变化。按照这种观点，人类似乎朝着一

    个转折点前进，未来要么属于机器或超人类或是整个加速过程因不可持续而崩溃。不管是

    哪种结果都是灾难性的。至少这样的一个转折点是破坏性的。或许有可能正如很多预言师

    所相信的那样，造成未来世界与过去的一切完全没有连贯性。

    摩尔定律和智慧爆炸这两种理论是目前老生常谈的一种看法的核心所在，即认为科学

    发现的速度在不断加快，并将走向一个彻底改变世界的转折点。两种理论的出现都是因为

    对于计算机影响日益扩大的思考，二者都是在1965年发表的。戈登·摩尔(Gordon

    E.Moore)是英特尔公司的创办人之一，他观察到自1958年集成电路发明以来，集成电路

    上的晶体管数量每两年(后更改为18个月)翻一倍。

    数学家古德(I.J.Good)在1965年发表了一篇题为《有关第一台超智能机器的猜想》

    的文章中，预测计算机将从各方面都超过人类的智慧能力。超智能机器的一个显著特点是

    具备制造出更好机器的能力。它们的出现会引发“智慧爆炸”，机器将设计出更智能的计算

    机，它们的进化将远远超出人类的智慧。古德写下了一句非常著名的话：“第一台超智能

    机器将是人类的最后一项发明。”

    15年以后，另一位数学家，同时也是一位享有盛誉的科幻小说家弗诺·文奇(Vernor

    Vinge)虚构了一个小说情节，背景是刚刚发生智慧爆炸后的世界。文奇认识到超智能奇

    迹能从很多方面改变生命和文化，以至于无法完全想象未来世界的样子。文奇用一个数学

    和自然科学使用的术语将人类历史的这个转折点定义为技术奇点。

    那些相信这个故事情节的人有两个核心问题要问：技术奇点什么时候发生？它会使人

    类受益还是威胁人类生存？目前这个阶段，没人可以给出答案，但是年轻专家和有经验的

    科学家对这个问题思考了很久，并在想办法如何确保未来超智能计算机对人类“友好”。

    有关技术奇点何时到来的讨论非常热烈，一些理论家预测将在最近的将来发生(150

    或100年后)，另外有些人认为很遥远或根本不可能。雷·库兹韦尔(Ray Kurzweil)是一

    位投资家和作家，其代表性观点认为技术奇点在近期将会发生，他预测计算机将在2028—

    2030年前后展示出人类水平的智慧，奇点将接踵而至。

    对于技术奇点不可避免到来的这一趋势持批评意见的人，并不认为能开展各项任务的

    计算机构成智能机器。当然，计算机在某些方面已经超出了人类的能力，比如解决数学计

    算、模拟复杂系统、搜索大型数据库发现片断信息之间的联系等。

    但是，人类智力的某些层面仍是当今计算机无能为力或难以企及的。计算机甚至不具

    备分辨真实环境中重要信息和非重要信息的基本能力。计算机系统不具备人类的学习能

    力，缺乏情感智慧，道德智慧以及意识。但是有很多的理论是关于如何通过计算机实现这

    些能力，也有相当多的理论解释为什么计算机永远不会具备这些能力。

    乔治·华盛顿(George Washington)大学教授威廉·哈莱尔(William Halal)发起了技

    术调查，在其中他采访了一些知名专家关于各种技术事件什么时候会发生。他注意到在这

    些预测中，最乐观的专家和最悲观的专家总是针锋相对。27位专家认同技术奇点存在。他

    们被问及是否同意这样的说法，即“智能机器将超越人类并造成破坏”。在27名专家之中，45%同意这个观点。对于那些既同意也不同意的人，对自己观点正确与否的自信程度平均

    为63%。

    就像流行音乐有经典老歌一样，各种领域的学术研究也有一些几十年来反复被阅读和

    引述的经典文章。在计算机科学领域，其中的两篇“经典之作”涉及对计算机智能进行评价

    的文章。

    第一篇是阿兰·图灵(Alan Turing)所写，他是计算机科学的奠基人之一，二战期间

    率领团队破解了纳粹军队的密码。图灵在1950年一篇名为《计算机和智能》的文章开头写

    下令人难忘的一句话：“机器能思考吗？”要知道，当时对于人工智能尚无明确定义。

    图灵提出用一个测试将人类对这个问题的反应来与机器对此的反应进行对比。提问者

    不能直接面对被提问的人，而是通过文字信息的方式来沟通。如果提问者仅仅根据二者的

    回答无法区分到底是计算机还是人类的答案，那么图灵建议必须认为智能机器是能够思考

    的。图灵称他的思考试验为一个模仿游戏，现在人们通常称这种试验为“图灵测试”。

    虽然很多人批评图灵测试不足以作为衡量人工智能的标杆，但是没人有更好的提议。

    有一种批评意见认为一个非常聪明的机器人可能会装糊涂，假装很傻地回答以欺骗专家，否则的话专家会知道它比人类了解的知识还多。

    对于图灵测试最有意思的批评是关于人工智能的第二篇“经典老歌”。1980年哲学家约

    翰·西尔勒(John Searle)发表了《思想、大脑、计划》的文章，认为即使计算机像人类一

    样答出了专家的问题，也不能代表它知道自己在做什么。他用了一个“中文房间”的思维试

    验来说明自己的观点。

    想象自己在一个房间里，里面是计算机所能获取的所有关于中国语言的资料，人和机

    器都获得充分的时间去学习掌握这些资料，然后让计算机回答一个中国人提出的问题，西

    尔勒推测他自己能够根据翻译材料给出正确的答案，虽然，他并不是真的懂中文，由此可

    以相信计算机也可以在同样不懂符号含义的情况下给出正确答案。

    西尔勒企图说明的是，从形式上掌握中文符号和充分理解中文意思是不同的。他的思

    考试验想要证明，操纵符号的计算机并不了解这些符号的意思，对符号的操纵不等于语意

    理解。

    西尔勒认为他提出的是一个常识性的简单观点。但让他感到奇怪的是，“中文房间”的

    论点引起了无穷无尽的讨论。很多人则认为用于计算机工程的思维模型不足以生产出具备

    理解和意识能力的机器。

    我对于人工智能导致技术奇点(通常也称之为超智能的到来)的研究前景持友好的怀

    疑态度。我对于无所不能的工程精神也持友好的态度，他们提议制造具有通用智能的机

    器，以便开展各种任务。但我非常怀疑我们是否对智能或意识的本性有足够多的了解，以

    至于能将其完全复制在芯片或其他材料里。

    生物系统中某些人类智力特质是我们无法理解的，所需要的科学灼见也是现阶段我们

    尚未具备的。人类思想与身体的融合，以及对于外界环境改变所做的适应性反应及韧性，是很难通过非生物的方式加以复制的。

    有人认为，将人类的脑力和先进的人工智能形式结合起来的超智能终将问世。某种程

    度上说，我认为这样的观点更实际些。但是，认为人和机器的能力相结合会带来智能爆炸

    或是技术奇点的观点仍然说得过去但不太可能。

    当然，信息技术将产生新的思想种类，放大或取代人的思想去从事很多任务。虽然我

    对未来50～100年会发生技术奇点仍然持有怀疑，但是未来200年后是否会发生技术奇点，我无从判断。但是时间越长，机会越多，可以确保超智能机器人对人类和人类的价值观友

    好。认为科学家肯定终有一天会发现制造此类机器人或实现人类进化当然不是愚蠢的。但

    是，这很大程度上取决于在20年、200年还是1000年以后实现。

    2009年，一群计算机专家举行会议，反思人工智能研究在社会层面上所取得的进步，他们对于智能爆炸和即将到来的奇点表示怀疑。仅仅5年之后，这次会议的联席主席巴特·

    塞尔曼(Bart Selman)认为，因为最近在感知和机器学习方面取得的突破，在大部分人工

    智能研究人员的心目中，超智能的可能性正在上升。

    超智能的可能性受到了极大的关注，特别是一些著名人物，比如宇宙学家斯蒂芬·霍

    金(Stephen Hawking)、特斯拉的创立人伊隆·马斯克(Elon Musk)，他们认为人工智能

    的研究将对人类造成严重威胁。

    有时候这种对于未来的消极担忧某种程度上转移了人们对于解决当下更为紧要的问题

    的注意力。但是，技术奇点可以作为人类无法自我掌控命运的象征。对于技术奇点的关注

    可以提醒商界领袖更加重视这个问题，人类发明的技术如何迈出了最初的几步，直至迫使

    人类交出控制权，从这个角度说来，技术奇点倒也是有用的。

    技术发展的失控

    技术的发展仅仅只是快速向前，还是不断加速以至脱离人类的控制？那些相信技术发

    展奇点不可避免的人，往往批评不认同技术在呈指数级增长的人。前者认为后者陷入了线

    形思维，将技术发展当今的速度投射到未来，对于技术的加速发展视而不见。

    摩尔定律是第一个观察到技术增长和能量指数级翻番的范例。但是，其他的一些领域

    科学发现和技术创新也在以指数级的速度发展。数据储备，互联网宽带，数据传输速度都

    在以指数级增长。从DNA片段进行基因组的配对的速度和成本在成指数下降，但是每年

    基因地图的数量却在成指数增加。

    卡耐基梅隆大学(Carnegie Mellon)机器人学专家和未来主义学家汉斯·莫拉维克

    (Hans Moravecs)假设摩尔定律可以视作计算机科学的渊源，生物进化导致了动物物种

    大脑能量的成指数翻番。目前还在从历史上搜寻更多的证据支撑技术进步以指数级加速发

    展的观点。雷·库兹韦尔(Ray Kurzweil)甚至提出技术发展的进步是基于他所谓的“加速

    返回法则”。库兹韦尔将这种假说命名为法则，需要一定的勇气和大量可靠证据作为支

    撑，所以目前生物进化仍只被视作一种理论。

    对指数级增长持批评意见的人指出，有一些速度减缓的发展形式或一些技术创新平台

    化的例子。他们认为这一理论的倡导者有选择性的使用一些数据以支撑其观点。但是，对

    每一种批评意见，这些倡导者都做出了回应。比如说，如果有人批评说发展的速度相对较

    慢，他们就会解释因为这是指数级增长的早期阶段。就像一组简单的递增数字——1，2，4，8，16，32，64，128，256，512，1024，2048，4096，8192，16384。

    如果我们用线条来呈现这组数字，刚开始的数字只是一条缓慢上升的线条。中间的数

    字将开始上升直到最后几个数字将呈现垂直向上的曲线。如果缓慢增长代表的是指数级增

    长的初期阶段，那么也没有办法证明我们最终会看到急剧上升的情况。换句话说，你只能

    证明指数级增长不会逆向发生。

    人类自身的进化无法达到指数级令人困扰。显然我们在技术前进的必然进程中只不过

    像仆人的角色而已。这一理论的支持者承认人类不得不承受一些大规模的技术发展后果，比如像曼哈顿计划制造的原子弹导致广岛和长崎夷为平地，还有比如更强大的计算机，人

    类基因排序等，我们在这些问题上选择很少或者说没有选择。

    近年来的一些技术发展，如纳米技术、机器人、大脑模型等也是如此。我们作为公众

    只能幻想这是集体决策，或是通过我们的政治代表做出的选择。按这种观点，慢慢展开的

    发展模式以及超出人类控制的力量联合已经决定了我们的命运。

    快速发展的创新势头已经限制了人类进行创造性干预的机会，并且超出了人类可以有

    效控制技术发展的限度。许多支持指数级加速发展的人会辩称，重新指引或控制技术发展

    方向的方法不是说很少，而是在面对那些不可阻挡的发展时这种方法本就不存在。但是，我对于加速发展不可避免的看法持怀疑态度，也怀疑许多预测会发生的技术“合理存在”的

    理论基础是否牢固。

    也许我是错的。朝着技术奇点迈进的指数化加速发展，对于未来的智力生命而言的确

    是一个革命，与之相比其他任何变革都相形见绌。但是如果我是对的，变化速度将在我们

    对未来发展的控制程度中发挥核心作用。

    有一次我与雷·库兹韦尔参加了一个专家委员会，我也第一次承认有一些技术趋势呈

    现了指数级增长的特点，但我不能接受对于指数级增长的定性逻辑。我认为人类应当能在

    其中发挥作用。我们有能力进行一定程度的控制，从而加速或放缓技术的发展。

    库兹韦尔回应说，虽然人类是能发挥作用，但是也无法改变他的预测，即图灵级别的

    人工智能会在2028年实现。库兹韦尔不仅仅只是一个指出我们可能遗漏的发展趋势的预言

    家，他也是支持技术奇点的积极分子。

    也许库兹韦尔同时接受人类作用和技术奇点不可避免并不矛盾。也许他的慧眼已经看

    到了人类的本性以及我们愿意接受新兴技术所带来的希望。以此看来，我们已经屈服于驱

    动人类进入未知未来的那股看不见的力量。

    我们是否有能力控制

    本书的核心论点是：作为人类整体，我们是否有能力主导自己的命运，还是我们的愿

    望和计划已正被新兴技术引发的海啸淹没。如果是后者，那么技术奇点就已经开始了，并

    不是指智能机器和超人技术智人在没等人类意识到就会消灭整个人类的技术奇点，而是技

    术发展的可能性超越了人类的意志并主导人类的命运。可以肯定的是，技术表达了某些人

    的愿望。但是，对某些人群是有用的，可能对社会更大的群体是有害的。

    雷·库兹韦尔是一个技术决定论者，他的理论就是人类的命运已经书写完毕。对于技

    术发展还有另外两种理论来看待这个问题。

    一种理论认为，社会因素，包括技术使用者的反馈，在创新工具的发明中发挥了重要

    作用。早期的自行车经历了很多形式的发展，最后才在19世纪晚期确定安装两个同样大小

    的轮子。19世纪70年代，大前轮非常流行，但是上下坡很费劲，甚至很危险。消费者要求

    制造商使用安全、便捷的设计方案。

    自行车的设计不断完善，直到20世纪中叶基本特征才得以确定。随后，多样化的新进

    程才开始，根据赛车、通勤、山地越野等不同需求对自行车的基本特征进行更改。每一个

    阶段，自行车制造商谁胜谁负都取决于哪一个厂家更好地迎合了消费者的需求。

    同样的模式不断重复。计算机制造商造出了台式计算机和平板电脑。一两家公司的工

    程团队找到了好的外观设计、体验感以及优势，占领了大部分的市场份额。台式机的巨头

    就是IBM和东芝，平板电脑则是苹果公司独占鳌头。

    一旦市场前景不错，其他的公司会蜂拥而上，不断复制并进行低价竞争。随着市场进

    一步发展，制造商就不得不对产品进行多样化设计，满足客户的具体需求。可以说，这些

    电子产品只是社会技术系统的元素之一。正如上章所说，社会技术系统还应包括人、人与

    人之间的关系、其他的技术，以及主流客户及程序。不同元素之间的互动碰撞催生技术的

    出现，并以某种形式呈现。

    第二种理论认为技术发展的势头很难但并非不可能改变或控制。比如说，人们对于电

    子处理能力的需求不断提升，为满足需求，工程人员设定年度目标，摩尔定律的特征是目

    标可实现。

    在这种理论的变体中，技术发展势头可以看作一个正在展开的有其自己的生命的模

    型。一旦确立，摩尔定律将主导基础设施发展的进程，包括建工厂，聘用和培训工程师，为研发提供资金支持，为所有的活动筹集资金。

    对于处理速度更快的半导体的需求上升是自然而然的事。但是，很多行业必须在获利

    前先培育市场，最终证明对于企业的资金投入是值得的。为了产品培育市场的这一过程又

    进一步促进了基础设施发展的进程。

    一旦发展势头或模型确立 ......