system: [SYSTEM]

user: 2. 基于多模态深度学习的语义场景图像检索 2.1. 问题描述 设多模态图像训练集为 L = { ( I 1 ， T 1 ) ， ⋯ ， ( I N ， T N ) } ，多模态图像测试集为U。每个图像文本对 ( I i ， T i ) ∈ L 或者 ( I ， T ) ∈ U 表示一幅图像及其关联的若干个弱语义文本标签，分别由低层视觉特征和低层文本特征组成。给定一个包含有K个不同语义单概念的强语义单词表 V = { c 1 ， ⋯ ， c i ， ⋯ ， c K } ，其中每一个语义概念 c i ∈ V 是一个语义单概念(例如“rainbow”或者“wedding”)。在训练集L中的每幅图像被标注若干个语义单概念c i ，而测试集U中的图像没有任何强语义标注。每个语义场景多概念 C i = { c 1 ， ⋯ ， c k } 是V的幂集中的一个元素即 C i ∈ 2 V 或者 C i ⊆ V ，其中k是C i 的长度即 k = | C i | 。给定一个多概念语义场景查询 Q = { c 1 ， ⋯ ， c t } ∈ 2 V 和带强语义标注的训练集L以及未标注图像测试集U，目标是寻找包含所有t个目标单概念的最相关图像 I ∈ U 。 2.2. 系统框架 SSIR检索框架如图2所示，包含3个部分：卷积块层、分类器层、在线检索。卷积块层学习出两类特征：深度视觉特征与深度文本特征。通过视觉卷积块层，将图像像素转换为视觉特征向量；通过文本卷积块层，将关联的文本社交标签转换为词嵌入 [ 6 ] ，然后学习出文本特征向量。分类器层学习出从特征到概念的映射函数，包含两种分类器：单概念目标分类器和多概念场景分类器。这里，需要生成多概念单词表V * 。由于V * 中的概念分为语义单概念和场景多概念两类，所以共有四类映射函数：单概念视觉映射函数、多概念视觉映射函数、单概念文本映射函数、多概念文本映射函数。在线检索根据给定的多概念语义场景查询Q从测试集中检索到最相关的图像结果。由于要使用多概念之间的语义依赖关系，因此需要生成查询上下文R rc (Q)。 图2. SSIR系统框架 每个多概念 C i ∈ V * 可视为单个抽象场景概念C i ，也可视为k个分离的单概念c i 。对于多概念单词表V * 的生成，为避免产生无意义的语义概念排列组合，SSIR模型基于训练集L上的共现规则选择出有场景语境的多概念C i 用以生成一个强语义多概念单词表V * ： | C i | ≤ t (1) | N r ( c 1 ， ⋯ ， c k ) | ≥ s (2) 其中 表示所有k个语义概念c i 在训练集L中的共现总数，即多概念频率。如果集合V * 太大，可以控制共现阈值s以减少训练开销。 2.3. 多模态CNN结构 任何CNN网络都可融入我们的检索模型，不失一般性，我们选择了近年来一个有影响力的高效CNN模型ResNet [ 7 ] 来作为我们的视觉模态CNN分类器。由于传统CNN分类器网络聚焦于单概念分类，而我们的语义场景检索任务是一个多概念分类任务，因此为ResNet模型定义了一个新的多概念softmax损失函数使之适应多概念语义场景检索任务。首先，第i张图片I与第j个概念 C j ∈ V * 的归一化关联概率可定义为： p ( C j | I ) = exp ( q j ( I ) ) ∑ k exp ( q k ( I ) ) ， (3) 其中， q j ( I ) 是图像I在第j个概念C j 的离散概率分布，它由ResNet分类器产生。为最小化ResNet预测概率与真实概率的KL距离，我们使用如下场景多概念softmax损失函数： f softmax = − 1 N ∑ i ∑ j p ¯ i ， j log ( p ( C j | I ) ) ， (4) 其中， p ¯ i ， j 是一个图片I的指示器函数：当概念C j 在图片I中存在则 p ¯ i ， j = 1 否则 p ¯ i ， j = 0 ；N是图像总数。传统的单概念CNN基本结构为卷积块层后接分类器层。卷积块层学习出深度特征，而分类器层执行从I到C j 的映射，识别出语义概念C j 。我们设计的SSIR场景检索模型包含两类分类器：单概念分类器和多概念场景分类器。当 | C j | = 1 时，C j 为一个传统的单概念；当 | C j | > 1 时，C j 为一个场景多概念，其作为一个整体概念参加学习。 对于文本CNN网络，很多适合自然语言处理的CNN网络都可融入我们的场景检索模型，不失一般性，我们选择了一个有影响力的高效CNN模型SentenceCNN [ 8 ] 作为我们的文本模态CNN分类器。为训练SentenceCNN，将一副图像所有的文本标签视为一个输入语句加以学习。类似视觉模态CNN分类器，修改分类器层，增加一种多概念场景分类器，于是，文本模态CNN分类器也包含两类分类器：单概念分类器和多概念场景分类器。 2.4. 语义场景查询上下文R rc (Q)的生成 首先生成语义邻居集 R ( Q ) ⊂ V * ，通过选择出概率p(Q|C i ) > 0的邻居概念C i ，这个对称的语义概率p(Q|C i )表示两个概念Q和C i 之间的相关性，它可以基于多模态图像训练集L如下定义： p ( Q | C i ) = 2 × N r ( Q ， C i ) N r ( Q ) + N r ( C i ) (5) 其中Nr(Q)与Nr(C i )表示多概念Q与C i 的共现频率，Nr(Q， C i )表示同时包含有两个概念Q与C i 的图像数，每一个多概念C i 被看做是自己的语义邻居并且服从约束条件p(C i |C i ) = 1。 其次，选择出所有的查询零件 C i ∈ Q 到集合R rc (Q)。最后从剩余的语义概念中选择出最相关的r个概念C r 到集合R rc (Q)，于是包含K rc 个元素的查询上下文R rc (Q)就生成了。后续实验中，在验证集上将K rc 试验取值范围为2~20执行交叉验证，发现当设置K rc = 8时性能最佳，因此K rc = 8作为后续实验的默认值。为了保持语义相关性的概率属性，语义关联概率p(Q|C i )被如下归一化： p ( Q | C i ) = { p ( Q | C i ) ∑ r = 1 K r c p ( Q | C r ) if C i ， C r ∈ R r c ( Q ) 0 elsewhere . (6) 2.5. 多模态场景语义映射 对于查询概念Q，上述K rc 个有语义相关性的元素 C i ∈ R r c ( Q ) 联合参与未标注多模态图像文本对(I， T)的相关性计算，输出相关性估值 r ( Q ， ( I ， T ) ) ： r ( Q ， ( I ， T ) ) = r ( Q ， I ) + r ( Q ， T ) (7) r ( Q ， I ) = α 1 × r s ( Q ， I ) + α 2 × r m ( Q ， I ) (8) r ( Q ， T ) = α 3 × r s ( Q ， T ) + α 4 × r m ( Q ， T ) (9) 其中，r(Q， I)和r(Q， T)分别表示图像I和文本T各自模态关于查询概念Q的相关性估值； r s ( Q ， . ) 和 r m ( Q ， . ) 分别表示CNN单概念分类器和CNN多概念分类器输出的单模态相关性估值； { α 1 ， α 2 ， α 3 ， α 4 } 是SSIR场景检索方法的待优化参数，且服从约束条件： α 1 + α 2 + α 3 + α 4 = 1 。公式(7)体现了多模态预测数据的后期融合，公式(8)与(9)体现了单概念分类器与多概念场景分类器预测数据的后期融合。 r s ( Q ， . ) 和 r m ( Q ， . ) 相关性估值的计算如下，体现了SSIR场景检索方法对于语义相关性的利用。 r s ( Q ， I ) = ∏ i = 1 t p ( c i | I ) ， (10) r m ( Q ， I ) = ∑ i = 1 K r c p ( Q | C r ) × p ( C r | I ) ，     C r ∈ R r c ( Q ) ， (11) r s ( Q ， T ) = ∏ i = 1 t p ( c i | T ) ， (12) r m ( Q ， T ) = ∑ i = 1 K r c p ( Q | C r ) × p ( C r | T ) ，     C r ∈ R r c ( Q ) ， (13) 其中，后验概率p(C i |I)和p(C i |T)经由视觉CNN多概念分类器和文本CNN多概念分类器计算；语义相关性p(Q|C r )可以看做是后验概率p(C i |I)和p(C i |T)的权重。 2.6. SSIR参数估算 为找出较好的参数 α = { α 1 ， α 2 ， α 3 ， α 4 } ，使用在训练数据上的极大对数似然函数方法。令 y Q i ∈ { 0 ， 1 } 表示语义场景多概念Q是否出现在多模态图像数据 ( I i ， T i ) ∈ L 中，相关性预测值p(y Qi )如下给出： p ( y Q i = 1 ) = r ( Q ， ( I ， T ) ) ， (14) p ( y Q i = 0 ) = 1 − r ( Q ， ( I ， T ) ) ， (15) p ( y Q i ) = p ( y Q i = 1 ) y Q i p ( y Q i = 0 ) 1 − y Q i (16) 因此，检索概念Q的对数似然函数被如下改写： L Q = ∑ i = 1 N n Q i log p ( y Q i ) (17) 其中n Qi 是正反例数目N + 和N − 的不平衡性惩罚因子。假若y Qi = 1，设置n Qi = 1/N + ；否则，n Qi = 1/N − 。将公式(17)中的p(y Qi )项用公式(14)到(16)替换，可以获得下列对数似然函数： L Q = ∑ i = 1 N n Q i log { ( α β ) y Q i ( 1 − α β ) 1 − y Q i } (18) 其中， β = { ∏ i = 1 t p ( c i | I ) ， ∑ i = 1 K r c p ( Q | C r ) × p ( C r | I ) ， ∏ i = 1 t p ( c i | T ) ， ∑ i = 1 K r c p ( Q | C r ) × p ( C r | T ) } . 通过梯度下降法 [ 9 ] 最大化对数似然函数L Q 求出 α 优化值。