本项目是来源于国家自然科学基金，题名：面向服务机器人的视听感知融合与多模态人机交互关键技术（NO. U1613209）， 起止时间2017.01-2020.12。依托本项目支持，课题组成员结合了新一代人工智能技术和公共服务机器人的需求， 将本项目取得的研究成果应用到新一代智能导购无人便利店实验场景，如下图所示。

   课题组成员一方面将本项目中提出的基于人体空间结构信息三元组卷积神经网络的人体目标重识别应用到智能便利店上，在顾客购物过程中进行顾客身份识别， 将顾客所购买商品与其身份进行绑定；另一方面将本项目中针对视觉与深度感知融合的交互对象行为识别与理解研究用于顾客行为分析，每个细微动作通过骨架自动提取、 自动分析。目前智能便利店能实现五人自主购物的功能，可自动进行商品统计、识别、记账以及顾客结账。