自出现唇语识别技术出现起，就有声音说唇语识别是语言交互的高阶战，甚至可能带来一场革命。不过，从本文来看，唇语识别还不能快速地普及。

　　在今年的乌镇世界互联网大会上，搜狗展出了一项黑科技——唇语识别，12月14号搜狗在北京又公开演示了这项技术。作为行业领先的唇语识别系统，搜狗在非特定开放口语测试中，通用识别的准确率在60%以上，而在车载、智能家居等垂直场景下，已达到90%的准确率。

　　虽说搜狗是国内第一家公开演示这项技术的公司，但早在2017年3月，海云数据创始人兼CEO冯一村在亚洲大数据可视分析峰会上，就发布了重庆市公安科研所与海云数据共同研发的唇语识别技术，它的中文识别模型准确率已达到70%。

　　而谷歌DeepMind团队，在2016年利用BBC视频对他们的AI系统进行了5000个小时的训练，测试时唇语识别正确率达到了46.8%。

　　这并不是场独角戏，那唇语识别到底是何物?未来又有着怎样的想象空间?

　　唇语识别只是语言识别的进化

　　虽说唇语识别近期才进入公众视野，但唇语识别技术的发展可以追溯到上世纪80年代。

　　当时，语音识别技术迅速发展，出现了许多实用的语音识别系统，然而这些系统抗干扰能力不强，在有背景噪音与交叉谈话的情况下，它们的性能会大幅降低。而在自然应用环境中，噪音现象十分常见，研究者们为了解决上述缺陷，一方面采用降噪技术降低干扰，另一方面开始寻求其它解决方法。

　　那唇语识别技术是怎么发展来的呢?语音识别的研究者们突然发现，其实人类的语言识别系统是由两个感知过程构成的，声音虽然是人类语言认知过程中最重要的方式，但在日常交流中，我们还会用眼睛看着对方的口型、对方的表情等，来更加准确的理解对方所讲的内容。受此启发，研究者们开始研究唇语识别。因为唇语识别完全不会受到噪声干扰，在多人对话中也能有效进行区分，这就有望解决语音识别的缺陷。事实上也是，将唇语识别与语音识别结合起来能够大大提高系统的正确率和抗干扰能力，于是唇语识别便有了更多的发挥空间。

　　换汤没换药，近30年的发展，核心步骤还是三步

　　经过研究各类资料发现，唇语识别技术从摄像头输入到理解输出，中间最重要的是这三个单元——视觉前段、视觉特征提取、以及唇动识别。

　　(图为：唇语识别的步骤)

　　其中，视觉前段包括人脸检测与唇的检测和定位，早期检测方法比较笨拙，不允许人脸自由移动，有些还会手动添加特定标志来跟踪唇动。目前的检测方法主要是基于算法，先用人脸检测算法得到人脸然后有针对性的定位唇动;或者利用最佳闽值二值化算法，以唇的边缘是平滑的，和左右形状对称为条件，作为二值化闽值选定的约束条件，得到平滑而对称的唇图像。

　　视觉特征提取是对获取的唇图像进行处理得到对应特征，特征提取方法主要分为两大类：基于像素的方法和基于模型的方法。所谓基于像素的方法，就是利用包含嘴的灰度级图像或利用经过预处理后得到的特征向量的一类方法。这种方法的缺陷在于对二维或三维的缩放、旋转、平移、光照变化以及说话人的变化都很敏感，会造成提取过程中特征丢失的情况，不能得到完整的特征信息。而搜狗所用的基于模型的方法就是，对唇的轮廓建立一个模型，将特征信息包含在这个模型之中，并对模型中特征信息的变化用一个小的参数来描述。这类方法的优点是重要特征被表示成二维参数，不会因光照、缩放、旋转、平移而改变，缺点是忽略了细微的三维信息，可能会对后面的识别过程造成影响。

　　目前唇动识别采用的技术大多是隐马尔可夫模型，该技术基本思想是，认为唇动信号在极短时间内是线性的，可以用线性参数模型来表示，然后将许多线性模型在时间上串接起来，组成一条马尔可夫链。马尔可夫链可以用来描述统计特征信息的变化，并且这种变化过程与人的唇动过程是相吻合的，所以隐马尔可夫模型能够识别唇动并与相应语句匹配转化成文字。

　　看似应用方向很多，最重要的还是辅助语音识别

　　唇语识别技术的应用方向有很多，比如手语和听力障碍患者的辅助教育、国防反恐方面的情报获取、个人的身份识别以及公共安全领域等都拥有巨大的应用潜力。但在目前来看最大的应用还是辅助语音识别，毕竟它自诞生之初就是为了解决语音识别的噪音问题而研发的，这也会使得语音交互更加完善。