system: [SYSTEM]

user: 4. 实验 4.1. 数据集 SRIV数据集：本文使用的数据集来自于电影和电视剧，名为SRIV [ 8 ]。SRIV是第一个从视频中识别社会关系的视频数据集。它包含3124个带有多标签的视频，大约25个小时，这些视频来自69部电视剧和电影。数据集包含Sub-Relation和Obj-Relation类，其中包括16个子类，如表1所示。 4.2. 实验细节和评价标准 在特征提取模块，从视频中随机采样的关键帧L的数量设置为128。类似于 [ 11 ]，我们利用广泛使用的ResNet-101 [ 34 ] 提取关键帧的特征，得出的特征向量为2048维。对于语义对象区域，我们使用VGG-16 [ 38 ] 提取特征，从而得到4096维的特征向量。通常用于指导目标检测的阈值为0.5，而此处语义对象检测的结果将很大程度影响人–物关系图中的特征交互，所以我们的阈值ε提高为0.7，以获取更加准确的检测对象。在整个训练期间，除了MSGCN外，我们模型的所有组件使用SGD优化，MSGCN使用ADAM优化。对于SRIV数据集，学习率lr从0.01开始，每20个epochs乘以0.1，直到训练完80个epochs。 本文采用四个评价标准来评价我们所提出的方法的性能。 Table 1 The statistics of the number for each class on SRI Sub-Relation Dominant Competitive Trusting Warm 770 840 1614 1482 Friendly Attached Inhibited Assured 2221 600 594 810 Obj-Relation Supervisor Peer Service Parent 627 469 238 321 Mating Sibling Friendly Hostile 600 141 1073 434 表1. SRIV上每种类别的统计数量 F 1 _micro和F 1 _macro这两个评估基于是 F 1 分数的标签评估，第i类的 F 1 表示为 F i ( i ) = 2 ∗ T P ( i ) / ( 2 ∗ T P ( i ) + F P ( i ) + F N ( i ) ) (10) 其中TP(i)、FP(i)、FP(i)、FN(i)分别为第i类的正阳性、假阳性、真阴性、假阳性的个数，因此， F 1 _ micro 和 F 1 _ macro 的计算公式如下 F 1 _ macro = 1 C ∑ i = 1 C F 1 ( i ) (11) F 1 _ micro = 2 ∗ ∑ i = 1 C T P ( i ) / ( 2 ∗ ∑ i = 1 C T P ( i ) + ∑ i = 1 C F P ( i ) + ∑ i = 1 C F N ( i ) ) (12) 其中C为类别数。 Accuracy 我们采用了Zhang等 [ 12 ] 提出的平衡精度，与以往的accuracy计算有所区别，我们充分考虑了样本数据中的不平衡性，使得最终的预测更符合实际结果，具体计算公式如下： Accuracy = 1 2 ( T P N p + T N N n ) (13) 其中N p 和N n 为阳性阴性样本数。 Subset Accuracy 由于我们的sub-relation类为主观感知的，分类标准更加严格细致，要求预测的标签集与样本真实标签集完全匹配，避免标签集中相似的标签干扰最终的预测，其具体公式如下： Subaccuracy ( s i ) = 1 n ∑ i = 1 n I ( s i = s ^ i ) (14) 4.3. 消融实验 这里我们探究了我们对尺度图模型中不同模块的效果，实验结果如表2所示。从结果中我们发现，MSGRM的整体准确率要高于GCN，这表明多尺度感受野能够从长期和短期范围捕捉到有用的特征。此外，在有Attention模块辅助下的实验结果要高于没有Attention模块的结果，这说明注意力模块可以关注与社会关系识别相关的关键帧。 Table 2 The effect of different feature modul Method Accuracy Sub-Relation Obj-Relation GCN 0.6725 0.6968 MSGRM 07154 0.7326 GCN + Attention 0.7369 0.7531 MSGRM + Attention 0.7756 0.7924 表2. 不同功能模块的效果 4.4. 与当前主流方法对比 为了验证所提出的多尺度图推理模型框架的有效性，我们在SRIV数据集上与几种最先进的方法进行了比较，实验结果如表3、表4所示。具体方法如下： Table 3 Performance of different methods on sub-relation clas Method F 1_micro F 1_macro Accuracy Subaccuracy C3D [ 39 ] 0.3958 0.3018 0.5568 0.1451 LSTM [ 39 ] 0.4714 0.4193 0.6547 0.3792 TSN [ 16 ] 0.6034 0.4894 0.5412 0.3045 Multi-stream [ 8 ] 0.7019 0.6383 0.6136 0.5291 STMV [ 35 ] - - 0.7535 0.5249 TSM [ 41 ] - - 0.8274 0.5936 ASRN [ 42 ] 0.7353 0.6812 0.6722 0.5392 MSGRM (Ours) 0.7124 0.6725 0.7756 0.5824 表3. Sub-relation类上不同方法的性能 Table 4 Performance of different methods on Obj-relation clas Method F 1_micro F 1_macro Accuracy Subaccuracy C3D [ 39 ] 0.4383 0.3886 0.0557 0.0347 LSTM [ 40 ] 0.6780 0.5776 0.6667 0.2797 TSN [ 16 ] 0.7142 0.6142 0.7089 0.3482 Multi-stream [ 8 ] 0.8119 0.6683 0.7436 0.5213 STMV [ 35 ] - - 0.6322 0.5311 TSM [ 41 ] - - 0.7125 0.6032 ASRN [ 42 ] 0.8141 0.6766 0.7692 0.5259 MSGRM(Ours) 0.7945 0.6941 0.7924 0.5762 表4. Obj-relation类上不同方法的性能 C3D [ 39 ]：提出了一种基于3D卷积的网络结构，该网络结构在视频特征提取中具有良好的性能。 LSTM [ 39 ]：基本的LSTM模型是一种流行的序列建模技术，具有各种改进。 TSN [ 16 ]：TSN是一种典型的双流CNN网络，在许多视频分类数据集上都取得了最先进的性能。 Multi-stream [ 8 ]：使用代表社会关系的多个特征来提高识别性能。 STMV [ 35 ]：基于多视角(即RGB，光流和面部)的融合模型，使用多个注意力单元来学习时空信息以进行社会关系理解。 TSM [ 41 ]：将语义对象提取、上下文交互和注意机制相结合的模型。 ASRN [ 42 ]：一种端到端的可训练模型，融合了多角度特征，如图像、运动、身体、人脸。 MSGRM (Ours)：这是我们所提出的多尺度图推理模型，它采用MSGCN学习场景中人物的多尺度动态，并融合了场景的时空注意力，实现社会关系推理。 表3和4显示了我们的模型与最先进的方法比较的结果。我们的MSGRM达到了比较领先的性能。这是因为通过不同尺度的图模型，学习了场景中不同感受野的信息，提取了视频中的关键序列特征，最后融合我们的时空注意力，促进了我们的社会关系识别。C3D、LSTM和TSN的性能很差，这表明这些方法虽然可以更好地描述视频的其他一些特征，但却无法提取社会关系的正确表示。Multi-stream和STMV都只关注视频的时空特征，因此很难获得更好的性能。TSM和ASRN因为融合了场景中的各个角度的特征，这些特征很大程度上能表示场景的社会关系，所以性能有很大提升。 4.5. 实例可视化 注意力机制能为我们的多尺度图推理模型推理出最相关的上下文语义对象，如图4给出一些实例。图中左边为我们的原始采样帧，中间为我们的注意力机制生成的一系列热图，右边为我们的热图所对象的语义对象边界框。特征图显示了我们的注意力机制能过准确的捕获场景中重要的语义对象，因此能够进行有效的人–物特征交互，以提升社会关系识别的准确性。 图4. 场景注意力可视化实例