可穿戴声纳利用声音而非摄像头追踪面部表情

来源:岁月联盟 编辑:猪蛋儿 时间:2022-07-20

访问:

阿里云“无影云电脑” 支持企业快速实现居家办公

KYZE)MH~JQ~L~3)R58724OS.png

该团队称该设备为EarIO,由一个带有麦克风的耳机和两侧的扬声器组成,可以连接到任何常规耳机上。每个扬声器向佩戴者的面部发射超出人类听觉范围的声音脉冲,而回声则由麦克风接收。

当用户做出各种面部表情或说话时,回声配置文件将因用户的皮肤移动、拉伸和皱起的方式而发生轻微改变。经过专门训练的算法可以识别这些回声配置文件,并迅速重建用户脸上的表情,将其显示在数字头像上。

“通过人工智能的力量,该算法发现了肌肉运动和面部表情之间的复杂联系,而这些联系是人眼无法识别的,”该研究的共同作者李克说。“我们可以利用这一点来推断出更难捕捉的复杂信息--整个面部的正面。”

研究小组在16名参与者身上测试了EarIO系统,在一个普通的智能手机上运行该算法。果然,该设备能够重建面部表情,其效果与普通相机一样好。风声、说话声或街道噪音等背景噪音并没有干扰其识别面部的能力。

该团队表示,声纳比使用相机有一些优势。声学数据需要的能量和处理能力要少得多,这也意味着设备可以更小、更轻。相机还可以捕捉到大量用户可能不打算分享的其他个人信息,所以声纳可能更私密。

至于可能使用这项技术的目的,它可能是一种在游戏、VR 或虚拟世界的数字化身上复制你的物理面部表情的便捷方式。

该团队表示,仍然需要进一步的工作,以调出其他干扰,如用户转头时,并简化人工智能算法的训练系统。

这项研究发表在《计算机协会互动、移动、可穿戴和泛在技术期刊》上。

访问:

京东商城