研究人员开发新的机器人遥感系统 通过摄像头“翻译”动作

来源:岁月联盟 编辑:猪蛋儿 时间:2022-03-21

访问:

阿里云 2022“上云采购季” 百款云产品最低0.24折起

robte2-1200x530.jpg

除了远程控制机器人的能力外,这个机器人遥感系统的另一个令人兴奋的消息是它能够通过RGB摄像头“翻译”用户的动作。机器人手和机械臂将通过简单地演示一个特定的动作来复制该动作。这使得它与以前的发明不同,以前的发明通常利用复杂的系统来控制机器人,如遥控器和其他设备。

“以前在这个领域的工作要么依靠手套、运动标记或校准的多摄像头设置,”该团队的研究人员之一Deepak Pathak告诉TechXplore。“相反,我们的系统使用一个未经校准的相机工作。由于不需要校准,用户可以站在任何地方,仍然可以成功地远程操作机器人。”

robte1-2048x1092.webp

根据Pathak的说法,甚至使机器人的系统引人注目的是,它完全是用一系列显示个人进行手臂动作的YouTube视频来训练的。Pathak说,它可以分析简单的二维图像,使其成为任何人--甚至是没有实践经验的人--都可以使用的极其简单的技术。他说,该团队必须专注于计算机视觉和三维人体姿势的估计。

“巨大的被动视频数据的多样性有助于它在未经训练的用户、任务和物体之间发挥作用,”Pathak表示。“我们的系统提供了一种低成本和自然的方式,通过演示来教导机器人,而不是在运动学上握住机器人或戴上手套或运动捕捉服......希望我们最近的工作只是未来许多方向中的一个,除了机器人视觉之外,互联网视频也作为机器人控制的丰富监督来源。”

有了所有这些东西,研究人员认为这项技术在日常情况下是有用的,特别是对那些可能对人类的存在有危险的任务。

“机器人心灵遥感和类似的技术将使机器人在更多的环境中进行教学,包括在家庭中,他们将被期望执行日常任务。” Pathak说:“只使用一个未经校准的摄像头,我们的系统在理论上可以从世界任何地方进行控制,因此它使机器人教学对任何人来说都更加方便。我们现在正在使用我们的机器人遥感系统收集大规模数据,以教导机器人在现实世界中自主行动和适应。”

访问:

京东商城