system: [SYSTEM]

user: 4. 实验 本章详细介绍本方法在Wiki [ 8 ]，MIRFick [ 9 ]，NUS-WIDE [ 10 ] 三个基准数据集上的实验结果及相应的分析。 4.1. 数据集介绍 Wiki：该数据集从维基百科中搜集而来，包含了2866对图像-文本数据对，共分成10个语义类别。其中，该数据集用128维的SIFT特征表示图片数据，用10维LDA特征表示文本数据。在实验中，我们随机将选择75%作为训练集，25%作为测试集。 MIRFlick：该数据集是从Flickr网站汇总下载的图片及相应的文本，共包含了25，000幅图像，有24个语义类别，其中每幅图像至少属于一个语义类别，且一幅图像对应多个文本，该数据集是一个多标签数据集。该数据集用125维的边缘特征表示图片数据，用500维的PCA特征表示文本数据。在实验中，将该数据集中没有文本标记的数据以及标签出现次数少于20次的数据剔除，然后将剩余数据中的95%作为训练集，5%作为测试集。 NUS-WIDE：该数据集是新加坡国立大学公开的数据集，共包含269，648张从Flickr网站上收集的图片及相应的文本，每张图片平均有6个标注，这些图像-文本对可以被分为81个类。该数据集用500维的SIFT表示图片数据，1000维的词向量特征表示文本数据。在实验中，为了保证每类有足够多的训练样本，选取数据中数量最多的10个类的数据进行实验，从这些数据中选择95%作为训练集，5%作为测试集。 4.2. 评估度量及参数设置 本文选跨模态检索平均查准率均值(mAP)作为主要评价算法的整体性能，其公式为： mAP = 1 N ∑ i = 1 N A P ( q i ) (14) 其中， q i 为一个查询样本，N为查询样本量，AP为平均查准率，它的计算公式为： A P = 1 T ∑ r = 1 R P q ( r ) δ ( r ) (15) 其中，T是检索集中所有相关的实体个数， P q ( r ) 是按照相关度排名的前r个实体的查准率， δ ( r ) 是一个指示函数，当第r个被检索到的实体与检索内容相关是，其值为1，反之为0。本文主要验证两种跨模态检索任务，一种是利用图像去检索相关文本，用Img2-Text表示，另一种是利用文本去检索相关图像，用Text2-Img表示。 本文针对三个数据集设置不同的参数进行实验，对于Wiki数据集，参数 { λ 1 ， λ 2 ， λ 3 ， α 1 ， α 2 ， γ } 的值分别为{1， 1， 1， 0.1， 0.1， 0.1}；对于MIRFlick数据集，参数 { λ 1 ， λ 2 ， λ 3 ， α 1 ， α 2 ， γ } 的值分别为{0.1， 100， 1， 0.1， 1， 1}；对于NUS-WIDE参数 { λ 1 ， λ 2 ， λ 3 ， α 1 ， α 2 ， γ } 的值分别为{0.1， 1， 100， 0.1， 1， 1}。为了全面评估本文算法，哈希的长度分别设置为16 bits， 32 bits， 64 bits以及128 bits。本文的实验在Matlab2019b， Intel(R) Core(TM) i7-6700 CPU @3.40GHz环境下进行。 4.3. 实验结果和分析 为了验证LCH算法的有效性，我们选取了几个跨模态检索算法进行对比，它们分别是IMH，SCM，CMFH，SMFH，LSSH，以及SePH，这些算法在前面章节已经作了简单的介绍。实验过程中，对比算法的实验参数都是依据相关文件建议中的参数进行设置的。本文取10次相应的实验结果的评价值作为最终的实验结果。 4.3.1. 实验结果 表1展示了LCH算法和对比算法在Wiki数据集上的结果。表2展示了LCH算法和对比算法在MIRFlick数据集上的结果。表3展示了LCH算法和对比算法在NUS-WIDE数据集上的结果。 Table 1 Experimental results on the Wiki datase 任务 方法 16 32 64 128 Img2-Text IMH 0.1952 0.2003 0.2084 0.2097 SCM 0.1611 0.1434 0.1366 0.1356 CMFH 0.2132 0.2259 0.2632 0.2419 SMFH 0.2699 0.2835 0.2920 0.2981 LSSH 0.2141 0.22216 0.2218 0.2211 SePH 0.2787 0.2956 0.3064 0.3134 LCH 0.2681 0.3005 0.3118 0.3233 Text2-Img IMH 0.1508 0.1581 0.1636 0.1668 SCM 0.1542 0.1373 0.1294 0.1239 CMFH 0.4884 0.5132 0.5269 0.5379 SMFH 0.6051 0.6257 0.6357 0.6428 LSSH 0.5031 0.5224 0.5293 0.5346 SePH 0.6318 0.6577 0.6646 0.6609 LCH 0.6801 0.6984 0.7203 0.7345 表1. 在Wiki数据集上的实验结果 Table 2 Experimental results on the MIRFlick datase 任务 方法 16 32 64 128 Img2-Text IMH 0.5671 0.5654 0.5655 0.5654 SCM 0.5876 0.5757 0.5704 0.5627 CMFH 0.5861 0.5835 0.5844 0.5849 SMFH 0.6237 0.6343 0.6448 0.6489 LSSH 0.5784 0.5804 0.5797 0.5816 SePH 0.6732 0.6771 0.6783 0.6817 LCH 0.6708 0.6892 0.6955 0.7103 Text2-Img IMH 0.5672 0.5653 0.5647 0.5647 SCM 0.5862 0.5745 0.5657 0.5590 CMFH 0.5937 0.5919 0.5931 0.5919 SMFH 0.6133 0.6209 0.6295 0.7354 LSSH 0.5998 0.5927 0.5932 0.5932 SePH 0.7197 0.7271 0.7309 0.7387 LCH 0.6996 0.7485 0.7364 0.7564 表2. 在MIRFlickr数据集上的实验结果 Table 3 Experimental results on the NUS-WIDE datase 任务 方法 16 32 64 128 Img2-Text IMH 0.4029 0.4090 0.4268 0.4248 SCM 0.3907 0.3758 0.3646 0.3542 CMFH 0.4267 0.4229 0.4207 0.4182 SMFH 0.4553 0.4623 0.4658 0.4680 LSSH 0.3900 0.3924 0.3962 0.3966 SePH 0.5421 0.5499 0.5537 0.5601 LCH 0.5841 0.5991 0.6053 0.6061 Text2-Img IMH 0.4002 0.4091 0.4315 0.4317 SCM 0.3875 0.3693 0.3608 0.3538 CMFH 0.4627 0.4556 0.4518 0.4478 SMFH 0.5033 0.5056 0.5065 0.5079 LSSH 0.4286 0.4248 0.4228 0.4175 SePH 0.6302 0.6425 0.6425 0.6584 LCH 0.7382 0.7541 0.7671 0.7678 表3. 在NUS-WIDE数据集上的实验结果 4.3.2. 实验结果分析 表1，表2和表3分别给出了LCH与对比算法在Wiki，MIRFlick和NUS-WIDE这三个数据集上的两种跨模态任务的mAP数值，哈希码的长度分别为16 bit 32 bit 64 bit和128 bit。 对于Wiki数据集，从表1的数据可以看出，LCH在不同哈希码长度下的mAP值优于所对比的算法，验证了LCH在跨模态检索任务中的有效性。同时，观察表1，可以发现大部分有监督跨模态哈希方法比无监督跨模态哈希方法检索效果更好，这是因为有监督的方法通过嵌入真实标签信息到哈希码中，可以大大增加哈希码的判别力。文本检索图片任务的mAP值比图片检索文本的mAP值普遍要高，这是因为文本所包含的信息比图片信息要直观，能更好表达数据的核心语义。此外，通过表1还可以观察到，哈希码越长，哈希码所能保存的信息越多，因此检索效果越好。 对于MIRFlick数据集和NUS-WIDE数据集，从表2和表3中的mAP数值对比可以观察到，LCH优于其它方法，这与在Wiki数据集中的观察一致，再次验证了本文方法在跨模态检索任务中的有效性。此外，我们可以观察到，这两个数据集中，mAP值都比Wiki数据集中要高，这是因为这两个数据集都是多标签数据集，图像和文本的语义关系更加紧密，这也表明利用标签信息能更好的指导跨模态检索任务。 4.3.3. 模型收敛性分析 图1为LCH在三个数据集中迭代收敛过程，从图1的实验结果中可以证明，LCH算法不仅是有效收敛的，而且收敛速度很快，适合在大规模数据中进行跨模态检索任务。 图1. 模型收敛性分析