system: [SYSTEM]

user: 5. 实验评估 5.1. 数据集 本文采用了两个动作识别数据集，分别是UTKinect Action数据集 [ 16 ] 和MSR-Action3D数据集 [ 17 ]。 UTKinect Action数据集：UTKinect Action是2012年使用单个静态Kinect相机采集的数据集。它由199个动作序列组成，分别由10位演员执行10个动作：“walk”，“sit down”，“stand up”，“pick up”，“carry”，“throw”，“push”，“pull”，“wave hands”以及“clap hands”。每个动作重复执行两次。每帧骨架上包含20个关节点。这个数据集的挑战性在于，所有的动作序列并不是在同一视角下捕捉到的。如图7所示，(a)行和(b)行虽然都是动作“walk”的骨架序列，但是视角完全相反。因此在处理该数据集时，必须克服视角变换的差异。 MSR-Action3D数据集：MSR-Action3D是2010年由一个与Kinect类似的深度传感器采集的数据集。它包含557个动作序列，分别由10位演员执行20个动作：“high arm wave”，“horizontal arm wave”，“hammer”，“hand catch”，“forward punch”，“high throw”，“draw X”，“draw tick”，“draw circle”，“hand clap”，“two hand wave”，“side boxing”，“bend”，“forward kick”，“side kick”，“jogging”，“tennis swing”，“tennis serve”，“golf swing”以及“pick up and throw”。每个动作重复执行两到三次。每帧骨架上包含20个关节点。如图8所示，骨架序列从左到右，展示了动作“high arm wave”的部分骨架序列。 图7. UTKinect数据集中，动作“walk”在两个视角下的部分骨架序列 图8. MSR-Action3D数据集中，动作“high arm wave”的部分骨架序列 5.2. 实验设计 为了保证实验的丰富性，本文对两种分类特征以及它们的融合特征分别求取动作识别结果。假设每个动作有 T 帧骨架，每副骨架有 N 个关节点和 M 个身体部位。由于基于李群的骨架表示是对骨架骨骼之间的相对几何进行编码，因此每条动作轨迹的尺寸为 [ M ( M − 1 ) ， 4 × 4 ， T ] ，其中 4 × 4 是刚体变换矩阵的维度。令 j = 1 ， 2 ， ⋯ ， J 为不同动作类别的下标， μ j 是根据本文提出的平均轨迹计算方法得到的第 j 类动作的平均轨迹。对任意动作轨迹 β i ( i 是样本轨迹的下标)，令 β i j 表示样本轨迹 β i 到平均轨迹 μ j 的最优对齐结果。接下来，我们计算射击向量 V S 及其傅里叶系数 V S C ，李代数 V L 及其傅里叶系数 V L C ，并进行加权融合。由于有 J 类动作，因此，可以计算得到 J 个特征射击向量 V S 和特征李代数 V L 。 5.3. 实验参数设置 针对这两个动作数据集，本文采用 [ 18 ] 中提出的目标交叉实验设置(cross-subject test setting)。一半演员所做的动作用于训练分类器，剩下一半演员所做的动作用于测试。我们选择五种不同的训练和测试组合，最终的分类结果为五种组合结果的平均值。我们将算法1中的超参数 ϵ 设置为0.1。在对两类分类特征进行加权融合时，我们分别测试了从0.1到0.9共9组参数，然后选择其中最佳的参数组合。 5.4. 实验结果及讨论 UTKinect Action数据集上的动作分类结果如表1所示。特征射击向量和李代数的分类结果分别为96.80%和97.20%，李代数分类结果比射击向量高出0.4%。特征融合的结果展示在图9中。由图可以看出，共有四组融合参数[0.7， 0.3]，[0.6， 0.4]，[0.5， 0.5]以及[0.4， 0.6]，使得融合特征取得最高的分类结果98.20%。参数组合的前者为特征射击向量的权重系数，后者为李代数的权重系数。该融合特征的结果比射击向量和李代数的分类结果分别高出1.4%和1%。可以看出，在UTKinect Action数据集上，特征融合的操作能够有效提高动作识别的正确率。图10展示了UTKinect Action数据集上各类动作的分类正确率。10类动作中，有8类动作达到了100%的识别正确率，动作“throw”识别正确率最低，为86%，动作“pick up”识别正确率为96%。本文提出的动作识别框架在UTKinect Action数据集上取得了良好表现。 Table 1 Action classification results on UTKinect Action dataset. SV: shooting vector， LA: Lie algebr 平均轨迹计算方法 分类特征(%) SV LA SV + LA Karcher均值与测地距离相结合的算法1 96.80 97.20 98.20 表1. UTKinect Action数据集上的动作分类结果。SV：射击向量，LA：李代数 图9. UTKinect Action数据集上的特征加权融合 MSR-Action3D数据集上的动作分类结果如表2所示。特征射击向量和特征李代数的动作分类结果分别为89.05%和91.40%。李代数的分类正确率比射击向量高出2.35%。最佳特征融合参数如图11所示，在参数组合为[0.2， 0.8]或[0.1， 0.9]时，融合特征取得最高的动作分类结果91.48%。该融合特征结果比两个单类特征的分类结果分别高出2.43%和0.08%。图12展示了MSR-Action3D数据集中各项动作的识别正确率。大部分动作类别都能达到80%以上的识别正确率。由于动作“hand catch”和“draw circle”相似度较高，因此误分类情况较多，两类动作的识别正确率仅有31.67%和69.33%。 通过对比三类特征的实验结果，可以发现，特征李代数的实验结果明显优于特征射击向量。这是因为在李群SE(3)上，当两点之间的距离较远时，对数映射容易发生扭曲，从而使得特征射击向量的有效性低于特征李代数。其次，在两个数据集上，融合特征的分类正确率也要高于两个单类特征，验证了特征融合操作的有效性。 本文的动作识别实验结果也与采用了相同实验设置 [ 18 ] 的现有方法进行了比较。我们将现有方法的分类结果展示在了表格第一栏，表格第二栏为本文的最优分类结果。 图10. UTKinect Action数据集上的每类动作的分类正确率 Table 2 Action classification results on the MSR-Action3D dataset. SV: shooting vector， LA: Lie algebr 平均轨迹计算方法 分类特征(%) SV LA SV + LA Karcher均值与测地距离相结合的算法1 89.05 91.40 91.48 表2. MSR-Action3D数据集上的动作分类结果。SV：射击向量，LA：李代数 图11. MSR-Action3D数据集上的特征加权融合 本文方法与现有其他方法在UTKinect Action数据集上的动作识别正确率展示在表3中。由表格可知，在目标交叉实验设置下，本文实验取得了最优的动作识别结果98.2%，比采用了相同骨架表示方法的黎曼方法Lie Group [ 1 ] 和TSRVF on Lie Group [ 8 ] 分别高出1.12%和3.33%。与非黎曼方法JL-distance LSTM [ 19 ] 的实验结果相比，也要高出2.24%。与最近的SCDL [ 20 ] 方法相比，本文实验结果略高出0.81%。本文的动作识别框架在UTKinect Action数据集上取得了最优的实验结果。 图12. MSR-Action3D数据集上的每类动作的分类正确率 Table 3 Comparison of the results of the action recognition method in this paper and other methods on the UTKinect Action datase 动作识别方法 UTKinect Action数据集(%) Lie Group [ 2014 ] [ 1 ] 97.08 TSRVF on Lie Group [ 2016 ] [ 8 ] 94.87 JL-distance LSTM [ 2017 ] [ 19 ] 95.96 SCDL [ 2020 ] [ 20 ] 97.39 Karcher均值与测地距离相结合的算法1 (SV + LA) 98.20 表3. 本文动作识别方法与其他方法在UTKinect Action数据集上的结果比较 表4展示了本文动作识别方法与其他动作识别算法在MSR-Action3D数据集上的动作分类结果。可以看出，在目标交叉实验设置下，本文实验的动作识别正确率比采用了相同骨架表示方法的Lie Group [ 1 ] 和TSRVF on Lie Group [ 8 ] 分别高出2%和6.32%。比TSRVF on S [ 9 ] 工作高出2.48%，该方法将骨架序列表示为Kendall形状空间上的轨迹，并且同样采用TSRVF表示方法进行时间对齐。与SCDL [ 20 ] 相比，本文实验结果仍高出1.47%。本文的动作识别框架在MSR-Action3D数据集上仍取得最优的实验结果。 Table 4 The comparison of the results of the action recognition method in this paper with other methods on the MSR- Action3D datase 动作识别方法 MSR-Action3D数据集(%) Lie Group [ 2014 ] [ 1 ] 89.48 TSRVF on Lie Group [ 2016 ] [ 8 ] 85.16 TSRVF on S [ 2016 ] [ 9 ] 89.00 SCDL [ 2020 ] [ 20 ] 90.01 Karcher均值与测地距离相结合的算法1 (SV + LA) 91.48 表4. 本文动作识别方法与其他方法在MSR-Action3D数据集上的结果比较