system: [SYSTEM]

user: 3. 基于HMM与CNN的自动图像标注方法 3.1. 问题描述 我们的标注方法HMM + CNN将一个图像标注过程看作是一个图像隐语义的检索过程。设训练集为∆ = {I 1 ， ∙∙∙， I |∆| }，其中I i 表示一副含有若干语义标注的图像。语义标注w i 来自于包含|D|个不同语义概念的概念字典D，如“dance”、“horizon”和“flower”。测试集Ω中的图像没有包含任何语义概念标注。给定测试图像I Î Ω，图像自动语义标注(隐语义检索)的目标是在概念字典D中，检索出最相关的语义概念集{w 1 ， w 2 ， ∙∙∙， w K }，以描述I的视觉内容。 在检索的过程中，HMM + CNN标注方法能够同时结合视觉内容的相关性与语义概念的相关性，在一个用户查询概念字典D的时候，其目标是希望检索到与未标注图像内容相一致的语义概念。一般情况 图1. 隐马尔可夫模型示例图 下，用户提交的检索图像I在一次检索过程中是不变的，于是，未标注图像I Î Ω可以看做是一个可观测向量，随着检索返回语义概念数的增加，该图像I可重复地构成一个可观测序列{I(1)， I(2)， ∙∙∙， I(K)}。 对于转移概率矩阵A = (a ij )中的每一个元素a ij 表示两个隐状态间的转移数据，在我们的标注方法HMM + CNN中将a ij 视为两个语义概念w i 和w j 的关联性。而CNN分类器产生的视觉相关分数可看做是相应隐状态的发射概率b ij Î B，该发射概率b ij 表示了CNN分类器把图像I映射到语义概念w j 的过程。根据上述的转移概率矩阵A和发射矩阵B，第t − 1步被检索的隐藏语义概念w i 可以关联概率值a ij 转移到第t步被检索隐藏语义概念w j ，被检索隐藏语义概念w j 与图像I以发射概率值b ij 关联。由于I是固定不变的，所以b ij 简记为b j 。第t步隐藏语义概念检索w j 依赖两个因素，即t − 1步检索到的隐语义概念w i 到该隐语义概念w j 的内关联转移概率a ij 以及视觉关联产生的发射概率b j 。从上述分析可知，检索序列中相邻隐藏语义概念w i 与w j 具有相关的视觉内容与语义概念，整个相互关联的语义概念序列可以描述I的“故事”线索。 图2中给出了HMM + CNN标注方法的结构，矩形框表示一个未标注的检索图像I，圆形框表示被检索的隐语义概念w j (隐状态)。虚线箭头表示隐状态之间的转移概率a ij 即语义关联性，而实线箭头表示每个隐藏状态的发射概率即视觉相关性b j 。每一个隐状态w j 可以提供语义概念关联性数据a ij 与视觉内容相关性数据b j ，然后基于HMM + CNN算法实现了对隐语义概念的排序输出。为了叙述方便，表1定义了HMM + CNN标注方法所使用的主要符号标记。 3.2. 发射概率估算 CNN分类器产生的视觉相关性分数可视为相应隐状态的发射概率b j ，该发射概率表示了CNN分类器把图像I映射到语义概念w j 的过程。任何CNN网络都可融入我们的标注模型，不失一般性，我们选择了近年来一个有影响力的高效CNN模型ResNet [ 13 ] 来作为我们的CNN分类器。 传统CNN网络聚焦于单概念分类，而我们的标注任务是一个多概念分类任务，因此为ResNet模型 图2. HMM + CNN结构图 Table 1 List of main notation 符号 含义 D 概念字典 N 被检索隐语义概念集的大小，N = |D| K 返回隐藏语义标注的数量，K ≤ |D| I 被检索的未标注图像，I Î Ω S(w) 出现语义概念w的图像集合 a ij 语义概念w i 和w j 之间的转移概率，即二者的语义关联概率 A 概念词典D的状态转移矩阵，A = {a ij |i，j = 1， ∙∙∙， N} b j 语义概念w j 的发射概率，即w j 与I的视觉内容相关概率 B 概念词典D的发射概率矩阵，B = {b j |j = 1， ∙∙∙， N} R(w i ) 语义概念w i 的语义邻居集 K R 语义邻居集R(w i )的大小，即K R = |R(w i )| 表1. 符号标记表 定义了一个新的多概念softmax损失函数使之适应多概念标注任务。首先，第i张图片I与第j个概念w j 的归一化关联概率可定义为： p ( w j | I ) = exp ( q j ( I ) ) ∑ k exp ( q k ( I ) ) ， (1) 其中， q j ( I ) 是图像I在第j个概念w j 的离散概率分布，它由ResNet分类器产生。为最小化ResNet预测概率与真实概率的KL距离，我们使用如下多概念softmax损失函数： f softmax = − 1 N ∑ i ∑ j p ¯ i ， j log ( p ( w j | I ) ) ， (2) 其中， p ¯ i ， j 是一个图片I的指示器函数：当概念w j 在图片I中存在则 p ¯ i ， j = 1 否则 p ¯ i ， j = 0 。 3.3. 转移概率估算 两个语义概念之间的转移概率a ij 可视为二者的语义关联概率。共现概念是指以一定频率共同出现于文档中的语义概念。对于共现于图像I中的两个关联语义概念，由于它们共同描述了一副图像的主题或者“故事”线索，所以，可以依据共现率来估算二者的语义关联。 给定隐语义概念w i 和w j ，在训练图像集∆上考虑使用如下共现度量来计算二者的语义关联概率，HMM + CNN标注模型以此作为两概念的转移概率a ij ： a i j = | S ( w i ) ∩ S ( w j ) | | S ( w i ) | (3) 该公式描述了概念w i 和w j 共现的频率，然后被语义概念w i 的频率归一化。它可以被理解为给定含有标注w i 的图像I，其包含语义概念w i 的概率有多大，其值范围是[0.0， 1.0]。 如果隐语义概念w i 是w j 的语义近邻，即w i Î R(w j )，那么转移概率a ij 的值为二者的语义关联性，否则，该值被设置为0。由于自转移的概率值很大(a jj = 1)，这导致被检索的隐语义概念可能会一直自循环在某个隐状态，导致输出无效的隐藏语义检索结果，所以自转移的概率值a jj 被设置为0。综上所述，我们的HMM + CNN标注方法可以抽象为∧ = (N， K， I， S(w)， A， B， R(w i )， K R )。 3.4. HMM + CNN图像标注算法 给定一个测试集Ω，若任意的一副图像I Î Ω被看做是检索对象，那么概念词典D中的全部语义概念w j Î D可构成被检索数据集。给定一个由检索对象I所构成的一个固定观测序列，HMM + CNN标注方法的目标是返回能恰当描述图像I的最佳隐语义概念序列O = {O 1 ， ∙∙∙， O j ， ∙∙∙， O K }，Oj Î D的选择取决于a ij 和b j 两个元素，算法1总结了HMM + CNN隐语义标注的检索方法。其中，p 1 和p 2 是待优化参数，且满足约束条件：p 1 + p 2 = 1，它们表示发射概率(视觉相关性)与转移概率(语义关联性)二者的权重。考虑到真实图像集的概念词典D是不平衡的，即不同语义概念w上的图像集合S(w)的大小是有差异的，不同语义概念的权重p 1 和p 2 需要通过在训练图像集上以交叉验证方法获取，而不是直接经验设定为某个固定值。 算法1 HMM + CNN自动图像标注 输入：训练集∆，概念字典D，未标注图片I Î Ω； 输出：标注结果集O = {O 1 ， O 2 ， ∙∙∙， O K }。 1 构建状态转移矩阵A = {a ij |i，j = 1， ∙∙∙， N}; 2 构建发射概率矩阵B = {b j |j = 1， ∙∙∙， N}; 3 初始化标注结果集 O 1 = max 1 ≤ j ≤ N ( b j ) ，   O = O 1 ； 4 for k = 2 to K do 5 设上一步检索概念O k −1 = w i ，则 O j = max 1 ≤ j ≤ N ( p 1 b j + p 2 a i j ) ； 6 O = O ∪ O j ； 7 end for 8 返回结果集O。