XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera
图1: 实际测试效果
论文提供一种基于RGB视频的实时多人运动捕捉,该方法分为三个阶段:在第一个阶段,通过卷积神经网络估计每个人的2D和3D姿态特征,该部分设计了一个快速的网络结构SelecSLS;在第二个阶段,通过全连接的神经网络将遮挡部分2D姿态和3D姿态特征推理成完整的3D姿态;在第三个阶段,应用时空骨架模型拟合每个人预测的2D和3D姿态,目的是为了进一步协调2D和3D姿态和加强时间一致性,最终以关节角度信息返回整个骨骼姿态。
论文地址:https://gvv.mpi-inf.mpg.de/projects/XNect/
1. 背景介绍
在视觉计算及其相关领域中,光学人体动作捕捉技术是当今世界最重要的技术之一。例如,它被广泛使用在视觉特效中动画虚拟人物和人类。它是许多人机接口的关键组成部分,也是生物医学的核心运动分析。近年来,计算机图形学与计算机视觉研究人员开发了新的动作捕捉算法。
这些算法不需要特殊的服装,密集的相机阵列,演播室录音,或者标记。只需要几个校准的摄像机来捕捉穿着日常服装的户外人群,从一个单色图像得到三维人体姿势,打开了虚拟现实和增强现实应用的大门。但是仍然存在极具挑战性问题,比如深度模糊,遮挡,和外观和场景的多样性。
更重要的是,大多数方法会因为遮挡导致失败,或者只研究单个人。最近的一些方法侧重于自我中心设置。由外向内设置的单人跟踪(非自我中心)是已经受到严格的约束;因此多人跟踪变得异常困难,由于多重遮挡,挑战身体部分人员分配,计算上要求更高。这为许多应用程序(如游戏)带来了实际障碍以及社交VR/AR。
2. 相关工作
接下来重点讨论相关的2D和3D人体姿态估计,数据集和神经网络架构。
多人2D姿态估计:多人二维姿态估计方法可分为自顶向下(top-down)和自底向上(bottom-up)两种。top-down的方法先进行目标检测(人),再对每个检测到的人进行单人的关键点检测(单人姿态估计);bottom-up方法先检测所有人的关键点,然后再对关键点进行分组关联。一般来说,top-down方法精度更高,而bottom-up方法速度更快。