“我们将人工智能安全分为两部分，今天更多展示的是把人工智能技术手段放在安全场景里引起破坏的情况，用AI的技术去搞破坏，本质上仍是人在做坏。而真正的难点在于，AI仍旧是一个婴儿，成长过程中是否会自己学坏，说脏话、干坏事。“针对一财科技的提问，KEEN公司CEO、GeekPwn发起者王琦如此答复，这也成为下个月美国GeekPwn大赛关注的焦点。

　　事实上由于机器人自身程序运行异常而制造的混乱在全球范围内不断出现。

　　2016年，俄罗斯彼尔姆市一个智能销售机器人跑出了实验室并跑到马路上，后来澄清是由于工程师外出工作忘记关闭院子里的大门所致。同年7月份，美国硅谷斯坦福购物中心一个安保机器人击打了只有16个月大的小孩的头部，导致小孩扑倒在地。

　　根据美国食品药品监督管理局统计，2000年到2013年间手术机器人相关死亡事件至少144起，超过1000个造成了伤害案例，其中包括脱落的零件调入患者体内，电火花引起的组织烧伤以及系统故障导致的手术时间过长等。

　　在王琦看来，人工智能领域的安全之所以有难度，原因在于机器进行深度学习的时候，运行过程就像一个“黑匣子”，人类无法论证它是怎么成功的，也反推不过来它是怎么失败的。

　　“如果有一天他被干扰了，修复起来会很困难，不会像今天这样把漏洞修补就可以了。”这也意味着人工智能时代必须安全先行。