网站精美排版代码,西安疾控最新通告今天,四川省建设监理协会网站,北京做网站公司排点击上方“3D视觉工坊”#xff0c;选择“星标”干货第一时间送达简介作者提出了一种基于RGB-D的深度学习方法6PACK#xff0c;能够实时的跟踪已知类别物体。通过学习用少量的3D关键点来简洁地表示一个物体#xff0c;基于这些关键点#xff0c;通过关键点匹配来估计物体在… 点击上方“3D视觉工坊”选择“星标”干货第一时间送达简介作者提出了一种基于RGB-D的深度学习方法6PACK能够实时的跟踪已知类别物体。通过学习用少量的3D关键点来简洁地表示一个物体基于这些关键点通过关键点匹配来估计物体在帧与帧之间的运动。这些关键点使用无监督端到端学习来实现有效的跟踪。实验表明该方法显著优于现有方法并支持机器人执行简单的基于视觉的闭环操作任务。问题的提出在机器人抓取任务中实时跟踪物体6D位姿的能力影响抓取任务的实施。现有的6D跟踪方法大部分是基于物体的三维模型进行的有较高的准确性和鲁棒性。然而在现实环境中很难获得物体的三维模型所以作者提出开发一种类别级模型能够跟踪特定类别从未见过的物体。创新点1、这种方法不需要已知物体的三维模型。相反它通过新的anchor机制类似于2D对象检测中使用的proposals方法来避免定义和估计绝对6D位姿。2、这些anchor为生成3D关键点提供了基础。与以往需要手动标注关键点的方法不同提出了一种无监督学习方法该方法可以发现最优的3D关键点集进行跟踪。3、这些关键点用于简洁的表示物体可以有效地估计相邻两帧之间位姿的差异。这种基于关键点的表示方法可以实现鲁棒的实时6D姿态跟踪。核心思想作者提出的模型使用RGB-D图像基于之前位姿周围采样的anchors(红点)来鲁棒地检测和跟踪一组基于3D类别的关键点(黄色)。然后利用连续两帧中预测的关键点通过最小二乘优化求解点集对齐的问题计算出6D物体的位姿变化问题的定义将类别级物体6D位姿跟踪定义为物体在连续时间t−1和t之间的位姿变化问题。初始位姿是针对相同类别的所有目标物体定义的标准框架相对于相机框架的平移和旋转。例如对于类别“相机”将框架放置在物体的质心处x轴指向相机物镜的方向y轴指向上方。将3D关键点定义为在整个时间序列中几何和语义上一致的点。给定两个连续的输入帧需要从两帧中预测匹配的关键点列表。基于刚体假设的基础利用最小二乘优化来解决点集对齐问题从而得到位姿的变化∆p。模型首先在预测物体实例的周围剪裁一个放大的体积将其归一化为一个单元在体积块上生成anchor网格之后使用DenseFusion计算M个点的几何与颜色融合特征根据距离将它们平均池化成N个anchor特征注意力机制网络使用anchor特征来选择最接近质心的点用质心生成一组有序的关键点。将这种关键点生成方法应用在前一帧和当前帧得到两组有序的关键点来计算帧间的位姿变化。6-PACK算法在预测位姿周围生成anchor网格的过程中使用了注意力机制。每个点用RGB-D点单独特征的距离加权和来表示体积。使用anchor信息在新的RGB-D框架中找到物体的粗略质心并指导对其周围关键点的后续搜索这比在无约束的三维空间中搜索关键点效率更高。 实验与结果作者采用的数据集是NOCS-REAL275包含六个类别。通过对比三个模型的baseline来评估作者的方法。NOCS类别级物体6D位姿估计sota。ICPOpen3D中中实现的标准点对面ICP算法。KeypointNet直接在三维空间中生成3D关键点。1)6-PACK指标5°/5cm比NOCS高出15%以上指标IoU25高出12%。说明与使用所有输入像素作为关键点的NOCS相比6-PACK能够检测出最适合类别级6D跟踪的3D关键点。实验结果如下图所示其中前两列为NOCS和6-PACK的定性对比后两列为关键点匹配的结果。2)6-PACK所有指标都优于KeypointNetKeypointNet经常跟丢。作者的方法避免了丢失物体的轨迹(IoU2594%)基于anchor的注意力机制提高了整体的跟踪性能。3)为了检验不同方法的鲁棒性和稳定性作者计算了没有前x帧的平均性能。这样就能测量出初始位姿对性能的影响(接近初始位姿的帧很容易跟踪)。如下图除了NOCS之外所有方法的性能都有所下降因为NOCS是位姿估计方法而不是位姿跟踪方法。在整个过程中6-PACK的性能比NOCS高出10%以上并在初始帧100后停止下降。4)作者在机器人上进行了实时测试超过60的试验中成功地跟踪了目标(目标在可视范围内)而没有丢失。论文地址https://arxiv.org/abs/1910.10750v1代码链接https://sites.google.com/view/6PACKtracking上述内容如有侵犯版权请联系作者会自行删文。推荐阅读吐血整理|3D视觉系统化学习路线那些精贵的3D视觉系统学习资源总结(附书籍、网址与视频教程)超全的3D视觉数据集汇总大盘点|6D姿态估计算法汇总(上)大盘点|6D姿态估计算法汇总(下)机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划汇总|3D点云目标检测算法汇总|3D人脸重建算法那些年我们一起刷过的计算机视觉比赛总结|深度学习实现缺陷检测深度学习在3-D环境重建中的应用汇总|医学图像分析领域论文大盘点|OCR算法汇总重磅3DCVer-知识星球和学术交流群已成立3D视觉从入门到精通知识星球针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕更有各类大厂的算法工程人员进行技术指导550的星球成员为创造更好的AI世界共同进步知识星球入口学习3D视觉核心技术扫描查看介绍3天内无条件退款 圈里有高质量教程资料、可答疑解惑、助你高效解决问题欢迎加入我们公众号读者群一起和同行交流目前有3D视觉、CV深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别等微信群请扫描下面微信号加群备注”研究方向学校/公司昵称“例如”3D视觉 上海交大 静静“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。▲长按加群或投稿
