车东西 | 晓寒

9月20日，由智东西联合CAPE、极果主办的GTIC 2018全球智能汽车供应链创新峰会在重庆召开，大会邀请到来自学术界、整车企业、互联网公司、汽车零部件厂商、电信运营商、自动驾驶新兴公司、车联网企业等智能汽车供应链各领域核心公司30余位专家、高管一同登台，分享对智能汽车最前沿的见解。

深思考人工智能iDeepWiseAI解决方案副总裁尚会滨发表了题为《多模态语义理解开启人机交互新时代》的演讲，介绍了其融合视觉图像AI与语音文本AI等多模态深度语义理解的AI人机交互技术在车内的应用前景，这一“多模态深度语义理解”技术打造，为车载助手变得真正智能化、人性化，提供了更多的可能。

发力人机交互 在智能汽车产业“做装修”

作为一家AI出身的公司，深思考专注的是AI在车内人机交互上带来的全新机会。尚会滨称，智能汽车有相当长的产业链，这给人工智能带来了落地的空间。

一方面，是自动驾驶技术的普及应用；但同时，自动驾驶也并非一蹴而就，无人驾驶尚需时日，车内长期仍然有人的存在，这必然要求人机交互。

在自动驾驶保障行车安全的同时，汽车底层的操作系统不断开放——日本、欧洲车企宣布接入安卓Auto，斑马汽车生态扩大，以及比亚迪宣布开放全车传感器，此时人机交互体验的重要性进一步凸显出来。

“有人打地基建骨架，阿里、安卓建好了房子，而我们要做装修，让人住进去感到舒服。”

深思考结合自身的技术优势，决定将其多模态深度语义理解落地至人机交互上，提升车内人机交互的体验。之所以叫做“多模态语义理解”，是因为深思考的技术不仅可以实现对自然语言的语义理解，还能对车辆行驶环境的视觉图像语义进行理解，乃至接入更多信息，包括GPS定位、对车内环境做出反馈。

由此，车载系统或者车载语音助手在与驾乘人员交互时，能够更加主动、更加智能地发现、满足人们的需求。人内人员与其交互更像是在与人聊天，而不是传统的对车辆下命令的模式。

两套模组搭建更智能车载助手

在深思考的多模态语义理解中，最重要的便是融合了语音文本和图像的深度语义理解。基于此，利用自身在人工智能领域的积累，深思考打造了车外、车内两套模组，让两套模组共同发挥作用，从而“打造”出一个““深义”系列多模态智慧车载深度语义理解机器人（iDeepWise.ai bot 4.0）”，提供更好的人机交互体验。

在车外模组上，深思考应用计算机视觉技术，对汽车的360°环视影像进行拼合，再对图像进行识别分析，通过对图像的语义理解来服务车辆与驾驶者的人机交互。

尚会滨说明到，通过这一模组，车辆的人机交互模块可以弄清楚当前车辆所处的场景，从而将交互模式调整为适应当前场景的状态。比如识别为高速场景，交互的内容会与之对应；而识别为城区、拥堵道路时，车辆的交互可能会增加轻松的内容以舒缓驾驶者的焦虑。

他举例称，假设现在车辆行驶在风景优美的大草原，传统的车载系统并不会有任何额外的反映，但深思考的深度语义理解机器人会根据对场景的理解以及此前对用户的学习，来主动推荐相关的内容，比如问你“要不要放首腾格尔的歌？”。

而在车内模组上，深思考主要应用的是自然语言的语义理解技术。在中文人机交互领域，深思考拥有具备自由跨域上下文理解的AI技术，这使车载系统在与用户交互时拥有上下文记忆 ，能够在用户中途切换话题的情况下，无需再度重复也能回到刚刚讨论的内容中。

同样，尚会滨举了一个例子，设想一个日常场景，用户在出外时让车载助手定餐馆，中途想起家中宠物，让车载助手远程调取家中监控观看。此时，用户回到刚才的餐馆话题，要求车载助手换一家餐馆时，它可以很自然地回应这一需求，不会因为临时换了话题而“懵逼”，而这是目前的车载语音助手难以做到的。

当这一车内模组和车外模组同时发挥作用时，便组成了深思考在车载领域的核心产品——“深义”系列 多模态智慧车载深度语义理解机器人。

AI技术横跨图像、语音两大领域

在深思考多模态语义理解车载方案的背后，是这家公司在人工智能领域持续的、跨界的积累。

深思考的计算机视觉技术可以在300米的距离上识别10X15个像素的微小物体，其双目视觉测距精度误差小于5%。应用技术成果，深思考能够将360°的环视图像无明显痕迹地进行拼接，提高图像识别的精度。

而深思考(iDeepWise.ai)的自然语义理解技术则收获了多个顶级赛事全国性的奖项。深思考杨志明博士提出了ICDCNN算法，通过卷积神经网络对问句的意图进行分类，准确度能够做到92.5%。深思考的多轮语义理解技术，蝉联了国内权威中文人机对话评测赛事SMP-ECDT 2017、2018年两届全国冠军。

超过30名来自中科院、清华、海外院校的AI科学家及资深AI人才，在融合图像与自然语言等多维度的语义理解上聚焦发力，让深思考得以推出“多模态语义理解”这一AI前沿技术的产品。