基于深度学习的基于视觉的触觉感知方法甄子丹
2022-07-20 14:05:45 纠纠娱乐网
基于深度学习的基于视觉的触觉感知方法
为了有效地与周围环境互动，机器人应该能够像人类一样通过触摸不同物体来识别它们的特征。通过使用传感器收集的反馈来调整他们的抓握和操纵策略，这将使他们能够更有效地握持和管理对象。
考虑到这一点，世界各地的研究小组一直在尝试开发可通过分析传感器收集的数据来使机器人具有触觉的技术，其中许多都是基于深度学习架构的使用尽管其中一些方法很有希望，但它们通常需要大量的训练数据，并且无法始终很好地概括以前看不见的物体。
苏黎世联邦理工学院的研究人员最近推出了一种新的基于深度学习的策略，该策略可以在不需要大量真实数据的情况下在机器人中实现触觉传感。在arXiv上预先发表的一篇论文中概述了他们的方法，该方法需要完全在模拟数据上训练深度神经网络。
“我们的技术从数据中学习如何预测与传感表面接触的物体施加的力的分布，”进行这项研究的研究人员之一卡洛·斯费拉扎告诉TechXplore。“到目前为止，需要在几个小时的实验设置中收集这些数据，这在时间和设备方面都是昂贵的。在这项工作中，我们完全在模拟，在现实世界中部署我们的技术时可保持较高的传感精度。”
在实验中，Sferrazza和他的同事使用了他们制造的带有简单且低成本组件的传感器。该传感器由置于软质材料下方的标准相机组成，该材料包含随机散布的微小塑料颗粒。
当对其表面施加力时，软材料会变形并导致塑料颗粒移动。然后，该运动由传感器的摄像头捕获并记录。
Sferrazza解释说：“我们利用运动粒子产生的图像图案来提取有关导致材料变形的力的信息。” “通过将粒子密集地嵌入到材料中，我们可以获得极高的分辨率。由于我们采用数据驱动的方法来解决此任务，因此，我们可以克服建模与软材料接触的复杂性，并以较高的方式估算这些力的分布准确性。”
本质上，研究人员使用最新的计算方法创建了传感器的软材料和相机投影的模型。然后，他们在仿真中使用了这些模型，以创建包含13448张合成图像的数据集，非常适合训练触觉感应算法。他们能够在仿真中为其触觉感应模型生成训练数据这一事实具有极大的优势，因为这避免了他们不得不在现实世界中收集和注释数据。
Sferrazza说：“我们还开发了一种转移学习技术，使我们可以在现实世界中生产的触觉传感器的多个实例上使用相同的模型，而无需其他数据。” “这意味着每个传感器的生产成本变得更低，因为它们不需要额外的校准工作。”
研究人员使用他们创建的综合数据集来训练基于视觉的触觉应用的神经网络架构，然后通过一系列测试评估其性能。即使经过模拟训练，神经网络也取得了非凡的结果，可以对真实数据做出准确的感测预测。
“当我们训练的量身定制的神经网络体系结构应用于与我们的模拟中所使用的数据完全不同的数据时，例如在估计与任意一个或多个对象的接触时，也显示出非常有希望的泛化可能性，可用于其他情况形状。” Sferrazza说。
将来，由Sferrazza和他的同事开发的深度学习体系结构可以为机器人提供人为的触摸感，从而有可能增强其抓握和操纵技能。此外，他们编译的综合数据集可用于训练其他模型以进行触觉感测，或启发创建新的基于仿真的数据集。
Sferrazza说：“我们现在要在涉及与复杂对象的非常普通的交互的任务中评估我们的算法，并且我们也在努力提高其准确性。” “我们认为这项技术在应用于现实世界的机器人任务时将显示出其优势，例如涉及对易碎物体进行精细操纵的应用。”