真不是为了毁灭人类：如何创造恶意的人工智能？

　　恶意人工智能对人类构成严重威胁的可能性已经成为了当下一个热点争论话题。从物理学家史蒂芬·霍金到科技企业家伊隆·马斯克，许多影响力巨大的杰出人物都对人工智能的危险发出过警告。

　　这就是人工智能安全正成为一个重要学科的原因。计算机科学家开始分析设计糟糕的人工智能系统可能带来的意想不到的后果——有的人工智能系统使用了错误的道德框架，有的拥有与人类不同的价值观……

　　但这一领域还存在着一个重要的漏洞，肯塔基州路易斯维尔大学独立研究者 Federico Pistono 和 Roman Yampolskiy 说：“就我们所知，在如何设计恶意机器的方面还没任何东西发表。”

　　这是一个显著的问题，因为在计算机安全专家在有希望打败恶意的机器之前，他们必须先了解它们。

　　Pistono 和 Yampolskiy 现在决定填补这一空白——至少是部分填补：他们开发的关键点是在某些特定的环境中最有可能出现的恶意人工智能。因此，他们预设了恶意人工智能系统可能出现的条件。而他们的结论对某一两家公司来说不是好新闻。

　　所以哪些迹象表明有可能会开发出恶意的人工智能系统？Pistono 和 Yampolskiy 说可能会有一些明显的迹象。

　　其中最明显的一个是人工智能系统开发过程中监督的缺乏。

　　“如果一个团队决定开发一个恶意人工智能，它会阻止一个全局性监督委员会的存在，从而增加自己成功的可能性。”