海云数据创造“读唇术”:看嘴型识别发音

首页 > 百业 > 企业 > 正文

海云数据创造“读唇术”:看嘴型识别发音

声音是人类感知世界的重要渠道,然而在特定的无声场景中,声音的传播属性被强制剥离,形成信息真空。将失去的声音还原成信息流,并用文字可读的方式再造场景成为迫切需要,唇语识别技术由此而生。

2017年3月29日,海云数据创始人兼CEO冯一村在亚洲大数据可视分析峰会上,发布了重庆市公安科研所与海云数据共同研发的唇语识别技术成果。

1

【海云数据创始人、CEO冯一村发言】

冯一村介绍:自2016年12月以来,海云研究院经过多项技术攻关,结合海云数据业务形态、唇语识别的核心技术及应用进行了深度探索,打破了原先只能识别英文的技术局限,开创了中文唇语识别模型的研究先河,并取得了一定的成果。经过实践评估,中文识别模型准确率已达到70%。

神奇却不神秘的唇语识别

唇语识别并不神秘,早在几年前,国外就已提出相关概念,但更多是存于构想阶段。实质上,唇语识别是一项集机器视觉与自然语言处理于一体的技术。唇语识别系统使用机器视觉技术,从图像中连续识别出人脸,并提取此人连续的口型变化特征,随即将连续变化的特征输入到唇语识别模型中,识别出讲话人口型对应的发音,从而计算出可能性最大的表达语句。

但是,成熟的唇语识别系统需要建立在大量人脸特征样本的基础之上,通过带记忆的深度神经网络才能保证结果的最大准确性。鉴于人种的生物特征以及语言特征区别,国外的系统并不能照搬照抄,因此海云数据携手重庆公安研究所开始了中文唇语识别系统的研发。

唇语识别提升大数据应用价值

在研发过程中,海云数据一直在深挖唇语识别的实际应用价值。结合多年公安大数据落地实践经验来看,唇语识别技术能丰富海云数据现有的公共安全领域的大数据一站式解决方案,更好的提高公安破案效率。

此前,海云数据开发的大数据可视指挥决策平台——智警,能够将卡口视频、警力分布、警车GPS等相关数据放到空间、地理维度进行分析,并能够有效的协助决策层认知到警力是否充足、警力调配是否合理,从而有效的预防”两抢一盗“等犯罪现象。可以预想,加入唇语识别技术后,公安人员可通过平台锁定视频中犯罪嫌疑人的语言记录,极大助力犯罪缉查工作的开展。

这其实只是唇语识别技术的应用场景之一。在日常生活、社会公益、体育赛事裁定等方面唇语识别有着更广阔的空间。譬如助力聋哑人、老年人交流;唇语解锁;体育赛事的语言暴力等。一项新技术的诞生,往往能够给人类带来无限的想象空间。而率先掌握新技术的人则必将拥有打开。

备案号:赣ICP备2022005379号
华网(http://www.hbsztv.com) 版权所有未经同意不得复制或镜像

QQ:51985809邮箱:51985809@qq.com