过去一两年，人工智能是最火的并且快速进入实用的技术。以前写过人工智能将彻底改变SEO，也介绍过人工智能在搜索算法中的实际应用，但需要说明的是，到目前为止，人工智能在搜索算法中的应用并不广泛。影响人工智能在搜索算法中大范围使用的最主要因素可能是，搜索引擎工程师不知道人工智能系统到底是怎么做出判断的，然后又导致另一个重要问题：很难debug。

　　人工智能是个黑盒子

　　用不太严格但容易理解的方式说，深度学习就是给现有数据(大量数据)打标签，然后系统自己总结数据和结果(也就是所打的标签)之间的关系，面对新数据时，就能依据自己总结的规律给出判断。对围棋来说，无论历史棋局还是自我对弈，AlphaGo知道盘面，也知道结局(也是一种标签)，系统就会总结规律，面对新盘面时判断赢棋的概率。但AI系统找到的是数据的哪些特征，与结果之间是怎样的关系，连创造AI的工程师也不知道。

　　所以，现在的人工智能系统是个黑盒子。我们知道AI判断的正确率高，但不知道为什么，不知道是怎么判断的。

　　搜索算法中的AI也是如此。百度搜索工程师的说法很少见到，只是知道百度现在All In AI了。Google工程师明确表示过，他们对RankBrain到底是怎么工作的也不太清楚。在这种情况下，在算法中大量使用人工智能就比较麻烦了，一旦出现异常结果，不知道是什么原因，也无法debug。

　　写这篇帖子是因为前些天看到一篇纽约时报的文章“AI能学会解释它自己吗?”，非常有意思。一位心理学家Michal Kosinski把 20 万社交网络账号(是个约会网站)的照片及个人信息(包括很多内容，如性向)输入面部识别人工智能系统，发现人工智能在只看到照片的情况下判断性向准确率很高。人工通过照片判断一个人是否同性恋的准确率是60%，比扔硬币高一点，但人工智能判断男性是否同性恋准确率高达91%，判断女性低一些，也有83%。

　　从照片里是看不到音色语调、体态、日常行为、人际关系之类帮助判断的信息的。同性恋有纯相貌方面的特征吗?我个人的经验是，靠相貌判断不大靠谱。我以前认识一对男同，他们都是很man的那种，常年健身，待人彬彬有礼但绝没有女气，从外表是看不出来的。也可能是依靠某种服饰特点?表情?背景?人工智能从照片中到底看到了什么我们人类很可能忽略了的特征，或者人类根本看不到的特征，并达到91%的准确率呢?不得而知，反正只是知道AI看得挺准。

　　不能解释自己的AI无法被信任

　　这种黑箱特征有时候倒无关紧要，像是判断一下性向。有时候就不能这么草率了，比如看病。虽然AI系统诊断某些癌症的正确率已经达到人类医生的水平，但最后结论，目前还是要医生做，尤其是AI不能告诉我们它诊断的理由是什么的时候。除非以后AI能解释它为什么做出这个诊断，不然让人类100%信任AI是有比较大心理障碍的。

　　前几天刚刚看到新闻，新加坡政府开始测试无人驾驶公共汽车。这显然是个正确的方向，我也相信不久的将来就会成为现实。虽然自动驾驶汽车事故率比人低，理性上我们都知道其实更安全，但过马路时，停在旁边的公共汽车没有司机，我会不会有点提心吊胆，怕它突然启动?开车时扭头一看，旁边的Bus没有司机，我会不会吓一跳，下意识地离它远点?至少初期会的吧。和几个朋友聊起这个事，都是理性上相信，感性上心虚。

　　以前的程序是依靠确定性和因果关系运行的，比如搜索算法中哪些页面特征是排名因素，各占多少权重，这是工程师挑出来的、确定的，虽然挑的时候可能就是拍脑袋决定的，但经过监测效果、调整参数，会达到一个比较满意的平衡。人工智能系统并不依靠工程师给定的确定因果，而是更擅长于在概率和相关性中找到联系。对人来说，以概率和相关为特征的判断，经常就不好解释理由了，比如也许是看心情，也许是看好看不好看。

　　要求AI系统解释自己的判断，不仅是心理上的问题，也许以后会变成伦理和法律上的问题，像看病。再比如涉及用户利益的事情，像贷款，人工智能根据一大堆数据做出拒绝贷款的决定，银行却不能解释为什么拒绝，对用户该怎么交代?今年欧盟可能就要颁布法规，要求机器做出的决定必须有解释。这对Google、Facebook等全球性的企业是个压力。在很多领域，如军事、法律、金融，所有决定都是要有人来承担责任的，如果某个决定无法解释原因，恐怕也没有人敢承担这个责任。