system: [SYSTEM]

user: 3. 基于知识图谱的视频语义分析流程 针对视频的语义分析，本文所提出的基于知识图谱的视频语义分析流程图如图3所示。 如图3所示，输入一个待分析的视频后，首先从关键视频帧中提取出视频特征和音频特征；然后将这些帧向量特征输入到基于帧的建模或基于视频的建模中，生成最终的知识图谱向量，并输入到分类器中。 该分析框架有两个优势，首先，该框架可适用于目前所有的视频分类算法，包括深度学习和浅层学习等模型，因而具有较高的灵活性；其次，在机器学习的框架中融入了知识图谱的构建，用语义内容之间的关联性填补了视频语义鸿沟，从而提高了准确度。 图3. 基于知识图谱的视频语义分析框架 3.1. 视频帧序列特征提取 本文通过对输入的视频帧序列提取视频的3类特征，包括空间特征(基于VGG16、AlexNet的fc7层特征)、视频特征(DT特征)，然后对于可进行融合的特征进行前期融合，再通过一个特征选择器，该特征选择器的作用为选择提取到的及前期融合后得到的特征的组合作为DBoF、LSTM等描述模型的输入。 空间特征：本文使用预训练的模型提取视频帧序列图像的空间特征，因为近年来CNN在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果 [ 8 ] ，通过CNN提取的特征能够很好地表达图像。因此本文选择在ImageNet分类任务数据集中取得很好数据的CNN模型VGG16和AlexNet，提取预处理好的视频帧序列中所有图片的fc7层的特征，并计算帧序列特征的均值，最终得到一个4096维特征向量来表示整个视频。 视频特征：与单独的图片描述问题不同的是，视频帧之间具有时间上的关联性，故而在对视频进行分析时很有必要进行视频的时间上的特征提取。本文使用文献 [ 9 ] 方法提取DT特征，在提取DT特征时采用不重叠的长方形块覆盖图像上的区域，最后将拼接获取到的各区域的DT特征作为整个视频的特征。由于视频特征的提取算法不是本文关注主要问题，因此不在文中详细阐述。 3.2. 视频语义的知识图谱表示 当提取出视频的特征之后，本文利用知识图谱来进一步表示视频里的语义关系 [ 10 ] ，知识图谱用 G = ( V ， E ) 表示，V表示是途中各节点的组合(即视频中的语义实体或类别标签)，E表示这些节点之间的连线，即各语义标签之间的关系。本文引用了文献 [ 7 ] 中所描述的语义共生性来量化语义节点之间的语义联系，一般来说两个语义节点之间的语义共生性越高，则表示这两个语义标签出现在同一个视频里的概率越大，例如东北虎和动物园是两个具有较强联系的语义标签，但东北虎和火山则是两个具有弱联系的语义标签。 本文将语义共生性矩阵定义为S，S为一个L × L的矩阵，L表示的是视频内所有语义实体标签的个数，S ij 表示的是语义标签i和语义标签j之间的语义共生性，需要指出的是，两个语义标签之间既可以有直接的联系(如东北虎和动物园)，也可以有间接的联系(如东北虎–动物园–人–房屋)，两个语义标签之间的联系可能存在多条不同的路径，如果路径越多并且路径距离越短，则表示这两个语义标签之间的语义共生性越强。为了更好的描述和定义该知识图谱中的距离，本文采用随机漫步的方法 [ 11 ] 来进行分析，该方法是利用随机漫步算法对候选的语义标签信息进行重排序，在此过程中不仅定义了共生相似度，还对原始的标签信息集合进行了基于可信度的排序。根据随机漫步原理，假设有一个醉汉在该图中行走，他行走的起始点为S i 的概率为p i ，每当醉汉要继续往下走时，他都有两个选择，一个是随意选择一条邻接的边行走到另一个节点，另一个选择是跳到另一个节点S j ，假设最后的稳定状态为u，则稳定状态矩阵u满足如下条件： u = ( 1 − c ) A u + c r 式中A是标准化后的图G的邻接矩阵，c是跳到另外一个节点的概率，本文将其设为0.15，r是初始的标注节点权重。 通过计算从一个语义标签S i 到达另一个语义标签S j 的概率R ij 来描述这两个语义标签的共生性，概率R ij 越高则表示这两个语义标签之间的路径越到，他们之间的语义共生度S ij 则越高： S i j = S j i = R i j R j i 最后，为了提高计算效率，本文利用KNN (K-nearest neighbor)算法对矩阵S进行缩减，即如果S ij 是第i行或者第j列最大的前K个单元，则标签i和j被认为是KNN，这样一样可以在减少计算量的同时保留具有最大共生关系的语义标签。 3.3. 知识合并与演化推理 为了剔除冗余信息，首先需要进行实体对齐与消歧。实体对齐是知识图谱构建以及更新过程中的重要工作之一，通过实体对齐，同一个知识图谱内部的实体得到了精简，可以实现知识图谱之间的链接与合并，从而实现构建一个更大规模，服务范围更广泛的知识图谱系统。 实体对齐是对于物理世界中的同一个对象，要识别出它在不同语言，不同地域，不同数据源或者是同一个数据源下不同的表示形式，然后用一个全局唯一的编号来表征。实体对齐算法设计的主要思路是根据具体的知识图谱的特点和处理方法，利用不同的实体识别技术，具体有使用传统概率模型的方法、以及使用机器学习的方法，来完成实体对齐任务。实体消歧是专门用于解决同名实体产生歧义问题的技术。通过实体消歧，就可以根据当前的语境，准确建立实体链接。同义关系是指在概念层面上相同或相似的实体。同义关系抽取的目标是寻找那些字面不同但是指代同一概念、实体或属性的术语 [ 12 ] 。 知识推理是在知识图谱上进行数据挖掘，使知识图谱不断完善的重要手段，主要包括三个方面：第一，线索挖掘；第二，关系推理；第三，关系预测。线索挖掘是指对于知识图谱中原来并没有关系的实体或概念，挖掘出它们之间的关系或关系模式，英文称为Storytelling。线索挖掘是对于在知识图谱构建过程中没有关联起来的实体进行相关性推理的过程，涉及到的处理方法主要有对于图的各种操作，比如查找子图、查找连通分支等。 随着知识图谱中实体规模的不断扩大，知识图谱中实体的关联，作为知识图谱补全的重要环节，将变得愈来愈重要。同时，由于对实体关联的高效性要求变得愈来愈高，以及知识图谱建设造成的不一致和噪声的干扰，实体关联的任务也会变得越来越复杂，需要研究出更加高效、更具抗噪声能力的实体关联线索挖掘方法 [ 13 ] 。 关系推理是指根据知识图谱中已有的实体之间的关系推断出实体之间潜在的关系。例如基于规则：“父亲的父亲是爷爷”。然后根据已有的实体之间的关系，这里是康熙对于雍正的关系是父亲和雍正对于乾隆的关系是父亲，推断出康熙对于乾隆的关系是爷爷。基于规则的方法，目前常用的方法是机器学习中的归纳逻辑编程技术，包括基于一阶Horn子句的方法或一阶归纳逻辑(FOIL)。 3.4. 实验验证 为了检验基于知识图谱的视频语义分析方法的有效性，本文以视频分类为任务进行实验，实验所用的视频数据是标准视频库YouTube-8M，评价标准采用的平均精度均值MAP和命中率HIT，比较对象现有的三种视频特征分类的方法AoFF，DBoF和LSTM，这三个模型的是实现是基于Google实现(https://github.com/google/youtube-8m)，实验在这三个模型的基础上比较了没有融入知识图谱的分类结果和本文所提出的融入了知识图谱的分类方法KGS (Knowledge Graph Semantic)，比较结果如表1所示。 从表1的结果中能看出，融入了知识图谱视频语义的分类结果有效的提高了分类准确度，MAP平均提高了1.7%，HIT平均提高了1.6%，这一结果证明了基于知识图谱的方法在填补语义鸿沟的有效性。 Table 1 Comparison of video classification result AoFF DBoF LSTM MAP HIT MAP HIT MAP HIT — 0.370 0.846 0.287 0.834 0.279 0.838 KGS 0.383 0.849 0.302 0.846 0.295 0.856 表1. 视频分类结果的比较