system: [SYSTEM]

user: 3. 新闻图片特征提取 对图片信息的信息提取是本文的主要研究内容，通过对大量新闻的定量统计发现，新闻中的配图主要可以分为两类：一是人物、场景及物体信息等非文本图片，二是评论截图、通知截图等文本图片。二者在信息提取过程中需要侧重点略有不同，因此，为了提高对新闻图片信息的有效提取，针对不同类型的图片采用不同的提取方法。本文使用相关深度学习技术进行图片信息提取，主要由四个模块组成，分别是：文本图片信息提取、非文本图片信息提取，人物信息提取，和文本图片相关度计算，整体模型结构如图1。 图1. 图像特征提取流程图 3.1. 图像语义描述与信息提取 本文使用融合场景信息的图像描述模型 [ 11 ] 获取新闻图片中的语义描述信息，获取新闻图像的图像描述，模型主要结构如图2所示。 图2. 场景图像描述结构图 Res-sence是用于提取图片场景信息的模型，Res-classify是用于提取图片中物体信息的模型，两者在结构上使用的都是ResNet 101网络结构。区别在于Res-sence是在场景数据集places-365和AI challenge的场景分类模型数据集上预训练的，而Res-classify是在ImageNet物体分类数据集上训练的。两个模型分别连接双层GRU解码器，得到侧重场景信息和侧重物体信息的图像语义表达，最后对概率进行加权平均计算，得到最终的输出。Attention代表软注意力机制，考虑到本文研究方法中，新闻图像信息的提取需在最大程度上与新闻内容相匹配，因此，本文在使用Res-classify模型对非文本图像进行物体信息提取时，融入软注意力机制的思想 [ 12 ] 。Fusion代表加权融合操作，在t时刻Model-S和Model-C的输出概率值为 p S t 和 p C t ， α S 和 α C 表示权重，得到 p F u s i o n t 表达式： p F u s i o n t = α S ⋅ p S t + α C ⋅ p C t α S + α C 最终模型在AIC-ICC数据集(AI challenger图像描述竞赛数据集)上训练得到本文的场景图像信息提取模型，AIC-ICC数据集中数据分布表1所示。 Table 1 AIC-ICC data set distribution tabl 数据集 训练集 测试集 验证集 AIC-ICC 210000 30000 30000 表1. AIC-ICC数据集分布表 图像描述常用的客观评价指标有BLEU，CIDEr等，但是考虑到客观评价指标主要是评价模型生成语句与参考语句的相似程度或者是评价生成语句与人类表达的差异性，这与本文的应用场景并不完全符合，本文选择人工评价的方式，具体的是设立四个评价等级，分别是非常好、好、一般、差，具体等级及对应等级描述如表2所示。 Table 2 Manual evaluation standard grad 等级 描述 非常好 模型对于一幅图像生成的描述完全体现出图像中所有的细节信息 好 模型对生成的描述是正确的，但部分词语使用不当 一般 模型对于一幅图像生成的描述场景和物体基本正确，但是物体之间的属性关系有错误，或者遗漏了一些图像中的信息 差 描述完全错误，生成的描述和图像完全不一样，在语义空间中没有任何相似的地方 表2. 人工评价标准等级 模型训练参数设置： 因为对于循环神经网络来说时间步的大小决定了网络的记忆能力，直接决定了在推断阶段网络能够生成的单词数，因此在解码阶段，将双层GRU模型的时间步设为30。在模型编码、解码结构联合训练过程中，考虑到GPU显存大小，设置Batchsize为8，本文使用Adam算法训练网络的参数，初始学习率为0.001，Adam的参数包括动量和衰减系数，分别设为0.9和0.99。 实验结果： 本文在AIC-ICC训练集中随机选取了500幅图片，对模型生成的语句进行了人工评价，具体实验数据如表3所示。 Table 3 Experimental dat 非常好 好 一般 差 36.0% 29.8% 19.0% 15.2% 表3. 实验数据 对于图片中的人脸信息提取和文本图像信息提取，本文使用开源的模型实现这两个模块的功能，文本图像信息提取使用的是文献 [ 13 ] 提出的CTPN文本框检测模型和文献 [ 14 ] 提出的CRNN文本识别模型。在人脸信息提取上，本文使用了文献 [ 15 ] 提出的MTCNN模型和百度的公众人物识别的API。 3.2. 图片与文本相关度计算 因为新闻中的图片作为新闻的一部分，图片的语义表达往往是和新闻的内容息息相关的。类似于文本新闻的“标题党”识别方法中使用正文文本与标题文本的相似度计算，本文考虑使用新闻图片和正文文本的相关度作为模型识别的一个特征，本文使用表4所使用的符号分别代表新闻中每个组成部分。 Table 4 The symbol of the main content in the new 新闻组成 符号 超链接页面文本标题 T _ T 超链接页面标题图片 T _ I = { i 1 ， i 2 ， ⋯ ， i n } 正文页面文本内容 C _ T 正文页面图片集合 C _ I = { i 1 ， i 2 ， ⋯ ， i m } 表4. 新闻中主要内容符号示意 其中 T _ I ⊆ C _ I ，即 m ≥ n 。故本文在研究新闻中的图片与新闻主体的相关度的时候主要考虑的对象是正文图片和正文文本。 针对 C _ I 中一副图片 i j ，因为 i j 可能同时包含图像描述、文本信息以及人脸信息。将 i j 经过图像语义描述与信息提取模型进行处理，得到一个三元组 { { O j } ， { i c j } ， { f a c e j } } ，其中 表示这幅图片经过OCR模型转换得到的文本信息； { i c j } 表示这幅图片进过图像描述模型处理得到的图像描述； { f a c e j } 表示这幅图片经过人物信息提取模型处理得到的人物信息。因为考虑到 { O j } 和 { i c j } 是直接与新闻正文相关的文本信息，且本身具有一定的语义信息，我们可以将得到的 { O j } 和 { i c j } 分别与新闻的正文的主题句进行直接的文本相似度计算，可以得到这两个部分与新闻正文的相关度的度量值sim1，sim2。 对于人物图像信息的使用，本文在对大量“标题党”新闻分析后发现，一些“标题党”新闻往往使用名人、政要的人脸图像吸引用户点击，让用户产生一种这篇新闻是与这个人物有关系的错觉，但是往往新闻的正文文本信息和使用的人物图像相关度很低。针对这个特点，本文考虑对新闻正文进行主题句提取后，对主题句进行命名实体识别操作，识别句子中的人名得到一个包含人名的集合 C H _ T h e m e ，对 c h j 和 C H _ T h e m e 进行比较，具体如下： 判断 c h j 是否是 C H _ T h e m e 的子集，如果 c h j 是 C H _ T h e m e 的子集，则认为这张图片和文章有关联，令sim3的值为1；如果 C H _ T h e m e 中并未包含 c h j 则sim3的值为0；如果两个集合中有交集，则利用Jaccard相似度计算方法，得到 s i m 3 = | c h j ∩ C H _ T h e m e | | c h j ∪ C H _ T h e m e | ，由此可以得到关于一张图片中的人物信息的相关度的 度量sim3，且sim3的取值范围为[0， 1]。 考虑到一副图片中并不一定全部包含这三类图像信息，故这三个值可能为空值，所以单独将这三个相似度值分别作为图片和文本的相似度度量是不合适的，会导致一幅图片因为某个方面的信息的缺失而被模型认为这张图片与文本的相关度为0。因为sim1和sim2本身是通过文本相似度计算得到，故本身的取 值范围是[0， 1]，而我们从sim3的计算过程也可以发现，sim3本身的取值范围也为[0， 1]，我们考虑使用计算三个值的均值，将得到的均值作为一幅图片和文本的相关度的度量值。计算方法如下： s i m ( i j ， C _ T ) = ( s i m 1 + s i m 2 + s i m 3 ) / N 其中，N为一幅图片中存在的sim值的个数，又因为 C _ I = { i 1 ， i 2 ， ⋯ ， i m } ，所以 最终提取的新闻图片特征如表5所示。 Table 5 News image feature 符号 解释 Num_Image 新闻中包含图片的数目 CI_CT_Sim 新闻中图片与正文文本的相关度 表5. 新闻图片特征