system: [SYSTEM]

user: 3. 多尺度图推理模型 我们的多尺度图推理模型的总体架构主要包含两部分，第一部分是从原始数据提取语义对象以构建图。该框架将一个视频帧作为输入，为了建模人和物体的时空特征和探究人和物体间的交互信息，我们构建了一个人—物图和上下文对象的共存，并用LSTM和ResNet [ 34 ] 来提取人和物体的时空特征。第二个部分采用MSGCN来进行关系推理，在每个图中进行消息传播。在MSGCN中，我们探索多尺度的时间感受野来学习不同时间范围的相互作用。并利用注意力机制来探究场景中的语义对象对社会关系识别的重要性。图1给出了所提出模型的总体图解。 图1. 多尺度图推理模型框架 3.1. 特征提取模块 时空特征提取。为了从视频中学习时间特征，我们遵循 [ 35 ] 采用LSTM单元对输入视频中采样的L个关键帧 I = { I i | i = 1 ， 2 ， ⋯ ， L } 进行处理，来生成具有时间社会关系的特征序列，表示为 X t = { x t i | 1 ， 2 ， ⋯ ， L } 。然后，将这些时空特征展平并连接起来以形成单个特征向量。 语义对象特征提取。使用预先训练的检测器捕获整个视频中的语义对象区域，并从相应的语义对象中提取特征，我们使用Faster R-CNN [ 36 ] 检测器从采样的视频帧中检测视频中的人和物体对象 P = { p i } ， i = 1 ， 2 ， ⋯ ， N 和 O = { o j } ， j = 1 ， 2 ， ⋯ ， M ，该检测器是在COCO [ 37 ] 数据集上训练的。COCO数据集是一种用于目标检测的大型数据集，涵盖了我们日常生活中经常出现的80个目标类别，用于从视频中收集语义对象。Faster R-CNN使用区域建议网络(RPN)处理输入关键帧I，生成一组具有高评分语义对象的区域建议。将检测到的置信度高于阈值ε的上下文区域 O I = { O I j | j = 1 ， 2 ， ⋯ ， C } 作为语义对象，其中C表示检测到的类别。为了平衡准确性和效率，我们通过置信度得分将每个视频帧固定为N个人和M个目标对象。每个边界框的外观特征由VGG [ 38 ] 网络来提取的。这些边界框被用作构建人-物图模型的节点，而每个结点的特征将在图卷积中用于社会关系推理。 3.2. 人–物图模型 图形模型可以有效地表示空间视觉内容中对象的时间、空间、概念或者相似性关系 [ 19 ] [ 23 ]，为了捕获视频中不同人之间的交互和探究人物和上下文对象之间的互动，我们构建一个人–物图模型 G = ( V ， E ) 来表示人际之间的交互和人与上下文对象之间的共存，其中 V = ( P ， O ) 是我们场景中的人和目标对象节点，用不同的颜色表示，E表示节点之间的关系边。 对于建模人与人之间的交互，我们通过估计视频帧及其相邻帧中人的距离来构建图模型。对于人际之间的邻接矩阵 A p − p ∈ R N ∗ N ，如果人节点 P i 和 P j 是属于同一帧的，我们直接设置 A p − p ( p i ， p j ) = 1 。如果人节点 P i 和 P j 属于相邻帧，我们设置 A p − p ( p i ， p j ) = { 1       d i s t ( p i ， p j ) ≥ τ 0           othersize (1) 其中 d i s t ( p i ， p j ) = 1 − f ( p i ) τ f ( p j ) ‖ f ( p i ) ‖ ⋅ ‖ f ( p j ) ‖ 是人节点 P i 和 P j 之间的余弦距离，τ是我们设置的超参数。 同样，场景中的上下文对象是社交关系识别的重要信息，为了捕获视频中人物和上下文对象之间的互动。我们通过估计人物和上下文对象在视频帧中的共存来构建图模型。对于人和物之间的邻接矩阵 A p − o ∈ R ( N + M ) ∗ ( N + M ) ，如果 P i 和 O j 来自同一帧，则设置 A p − o ( p i ， o j ) = 1 ，否则设置 A p − o ( p i ， o j ) = 0 ，公式如下： A p − o ( p i ， o j ) = { 1             ∩ ( p i ， o j ) 0           othersize (2) 其中 ∩ ( p i ， o j ) 表示 P i 和 O j 来自同一个视频帧。为了方便我们更加直观的进行图推理，我们把人际交互图和人物共存图整合在一个图上，如图2所示。 图2. 人–物图模型结构 3.3. 多尺度卷积网络 图卷积网络(GCN)通过在图中从节点到其邻居进行消息传播来进行关系推理 [ 20 ]。因此，我们可以在人–物图模型中应用GCN来实现视频帧中的社会关系推理。给定一个有N人个节点的图，其中每个节点都有一个d长度的特征向量，一个图卷积层的运算可以表示为 X ( l + 1 ) = σ ( D ˜ − 1 2 A ˜ D ˜ − 1 2 X ( l ) W ( l ) ) (3) 其中 A ˜ ∈ R N * N 是人–物关系图的邻接矩阵， D ˜ ∈ R N * N 是 A ˜ ∈ R N * N 的度矩阵， X ( l ) ∈ R N ∗ d 是第 ( l − 1 ) 的输出结果， W ( L ) ∈ R d ∗ d 为可学习参数矩阵， σ ( • ) 是一个类似ReLU的非线性激活函数。特别说明，在我们的社会关系推理模型中，上式中的邻接矩阵为我们在3.2节中定义的 A p − p 和 A p − o 。邻接矩阵的索引是按照视频中节点的时间顺序排列的，通过这个顺序，时间信息被隐式地嵌入到构建的图中。初始特征矩阵可表示为 X ( 0 ) = [ x p ( i ) | i = 1 ， 2 ， ⋯ ， N ; x o ( j ) | j = 1 ， 2 ， ⋯ ， M ] T ，其中 x p ( i ) 和 x o ( j ) 是从视频中人和物体对象节点中提取的特征向量。GCNs的最终输出是图中节点的更新特征，这些特征可以聚合成视频级的特征向量用于社会关系预测。 GCN在一幅图中的所有节点上以及视频的整个时间范围上执行操作，这意味着GCN可以在时间域捕获全局视图。然而，社会关系识别的关键因素(如一个人的特定行为)可能出现在被不重要信息淹没的局部时间位置。因此，我们设计了一个多尺度图卷积网络(MSGCN)，通过不同的时间感受野来学习长期和短期信息。如图3所示为我们的多尺度卷积网络的一个块结构，每个块包含具有不同感受野的多个平行分支。Scale 1是标准GCN，它在整个相邻矩阵上执行图卷积并覆盖图中的所有节点。Scale 2给出了具有较小时间感受野的图卷积的示例，而Scale k是更一般的说明。对于每个Scale，所有滑动窗口的激活都汇总到一个特征矩阵中，该特征矩阵的形状与标准GCN的输出相同。通过沿着相邻矩阵的对角线滑动感受野，模型可以学习从视频的开始到结束的短期特征。最后，对多个尺度的输出进行平均池化合并，以生成下一个MSGCN层的特征矩阵X (l+1) 。经过多次交互后，节点消息已经通过图进行传播，我们可以得到每个节点最终的状态为 Y = { y 1 ， y 2 ， ⋯ ， y N + M } (4) 图3. 具有多尺度感受野的图卷积块 3.4. 注意力机制 计算每个节点的特征后，我们可以直接将它们通过MSGCN聚合起来进行关系识别。然而，在不同的视频场景中，语义对象对区分关系的贡献并不相同。为了解决这一问题，我们引入了一种新的注意力机制，根据图形结构和视频特征自适应地推理出最相关的上下文对象。对于每一个社会关系和邻居对象对，该机制将它们的场景外观特征作为输入，并计算出这个对象对关系的重要性。我们首先将每个图中对象节点的外观特征和视频时空特征结合成一个向量 h i ， j ∈ R d ∗ d h i ， j = R E L U ( x o + w t ⊗ x t ) (5) 其中 w t ∈ R d ∗ d 是一个权重矩阵， ⊗ 表示按矩阵元素相乘。 然后，我们通过sigmoid函数来计算每一个对象节点的注意力系数 a i ， j ∈ [ 0 ， 1 ] ， a i ， j = 1 1 + exp ( − ( W h ， a h i ， j + b a ) ) (6) 其中 W h ， a ∈ R 1 ∗ k 是一个权重矩阵，根据节点j对节点i的重要性的不同，可将每个特征转换为可用的表达性更强的特征， b a 是一个偏置项。 对于关系 r i ，我们将其自人物节点的特征与上下文对象节点的加权特征向量连接起来作为其最终特征， f i = [ y r i ， a i 1 y o 1 ， a y i 2 o 2 ， ⋯ ， a i M y i M ] (7) 然后由最后一层fc层对特征向量进行处理，生成关系得分： s i = W f i + b (8) 表示视频场景具有社会关系 r i 的可能性。对所有关系节点重复此过程，计算得分向量 s = { s 1 ， s 2 ， ⋯ ， s N } 。 整个网络通过交叉熵损失与地面真实标签 s ^ 一起训练， F l o s s ( s ^ ， s ) = ∑ i = 1 N s ^ i ∗ log ( s i ) + ( 1 − s ^ i ) ∗ log ( 1 − s i ) (9) 其中s是预测的类别概率。