system: [SYSTEM]

user: 3. 实验与结果分析 3.1. 数据集 实验数据来自NUS-WIDE、Flickr30k、WebQuery和AwA2 (Animals with Attributes 2)这四个数据集： l NUS-WIDE：该数据集包括来自Flickr的269648张图像的5018个唯一标签和相关标签。 l Flickr30k：该数据集已成为基于句子的图像描述的基准，包含31，783张日常活动、事件和场景的照片以及158，915句文字描述。 l WebQuery：该数据集包含从353个文本查询中检索到的71，478个Web图像。并且数据集中的每个图像都与多种语言的文字描述相关联。 l AwA2：该数据集由50个动物类别的37，322张图像组成，每个图像具有预先提取的特征表示，并带有85个语义属性进行注释。 该实验将一张图像视为一个示例，将一个标签、注释、一句文字描述视为一个示例，都使用聚类算法构造多示例包。 3.2. 实验设计 3.2.1. 两种多示例包的聚类算法 在机器学习领域，有很多聚类算法，如k-means [ 15 ]，DBSCAN [ 16 ] 算法等，这些方法可以用来构造多示例包。实验中使用k-means和DBSCAN算法对于包进行构造。 k-means聚类算法：由于简单和效率高的特性，k-means聚类算法成为聚类算法中使用最广泛的算法。根据前人的经验，该实验设参数 ，其中 表示训练包的数量。该实验使用的k-means聚类算法是基于欧氏距离： ，其中， 和 分别是第i张和第j张图像的视觉和文本特征。 是两张图像之间的距离。 DBSCAN聚类算法：DBSCAN是基于密度的聚类算法，可以应用于凸样本集和非凸样本集。 DBSCAN将聚类定义为按密度连接的最大点集，将具有足够高密度的区域划分为聚类，并可以在噪声的空间数据库中找到任意形状的聚类。 3.2.2. 比较算法和参数设定 由于所提方法是多示例学习方法，因此将其性能与以下四种多示例学习方法进行比较： l sMIL-PI：该方法将松散标记的Web数据合并到学习过程中，利用附加的文本特征来有效地处理相关训练图像的噪声标签。该方法基于最大平均差异准则添加了一个正则化器，以减少数据分布不匹配 [ 7 ]。 l PSVM-2V：该方法基于两视角学习用于特权信息学习，着重于将特权信息纳入多示例学习和训练SVM作为分类器 [ 11 ]。 l SVM+：该方法是一种基于特权信息的学习范式，用特权特征空间中定义的松弛函数替换标准SVM中的松弛变量 [ 13 ]。 l SVM-2K：该方法是最早提出的两视角学习方法，它构造两个带有标记和未标记数据的视角以训练分类器 [ 14 ]。 实验将所提方法与SVM+，SVM-2K，sMIL-PI和PSVM-2V比较，采用平均精确度(average precision)来衡量各方法的性能。在SVM-2K和PSVM-2V中，设其参数 ；在sMIL-PI中，设其参数 。实验中将以上这些参数以及sMIL-PI、PSVM-2V、SVM+中的权衡参数γ的值均选自范围 。经验表明， 越小，分类的性能通常越好，因此使参数 。对于所提方法，设参数 ，并且这些参数选自范围 。 对于所有基于SVM的方法，实验中使用高斯径向核函数： ，核参数 的值选自范围 。 3.3. 实验结果与分析 3.3.1. 性能比较 实验使用NUS-WIDE、Flickr30k、WebQuery和AwA2数据集对SVM+，SVM-2K，sMIL-PI，PSVM-2V和所提方法进行测试与比较。首先将图像和特权信息划分成两个不同的视角，然后在每个视角中分别使用k-means和DBSCAN聚类算法构造多示例包，构造包的数量为300、600、900、1200和1500分别对各方法进行测试，结果如表2~6所示。 从表2~6可以看出，在NUS-WIDE、Flickr30k、WebQuery和AwA2数据集上，从整体上看所提方法略优于比其他多示例方法。随着包的数量从300到900的增加，SVM+、SVM-2K、sMIL-2V、PSVM-2V和所提方法的平均精确度都有所上升。其中PSVM-2V、SVM-2K和所提方法在包的数量为900时达到峰值，随后开始下降，SVM+和sMIL-2V在包的数量为1200时达到峰值，随后也开始下降。随着包的增加，噪声也有所增加，导致分类精确度也随之下降。由此可以得出结论：基于相似度的多示例学习方法分类精度更高。同时由结果可以看出，整体上看使用DBSCAN比k-means算法效果要更优。 Table 2 Average precision when the bag numbers is 300 (unit: % 数据集 NUS-WIDE Flickr30k WebQuery AwA2 算法 k-means DBSCAN k-means DBSCAN k-means DBSCAN k-means DBSCAN SVM+ 72.83 74.46 71.02 72.97 69.48 72.51 75.34 77.38 SVM-2K 66.15 68.37 65.57 66.30 67.33 68.43 70.75 72.04 sMIL-PI 76.81 79.19 73.88 76.55 75.46 76.31 74.82 76.53 PSVM-2V 80.18 80.87 81.32 82.46 80.37 79.47 81.24 82.72 所提方法 81.24 82.60 80.28 81.04 82.61 83.53 81.73 83.59 表2. 包的数量为300时的平均精确度(单位：%) Table 3 Average precision when the bag numbers is 600 (unit: % 数据集 NUS-WIDE Flickr30k WebQuery AwA2 算法 k-means DBSCAN k-means DBSCAN k-means DBSCAN k-means DBSCAN SVM+ 76.64 75.09 75.52 75.03 74.64 72.57 78.57 78.79 SVM-2K 70.48 71.53 73.19 73.06 72.29 74.15 71.08 72.42 sMIL-PI 76.86 75.92 78.01 80.55 79.36 82.23 76.28 79.36 PSVM-2V 82.82 82.96 84.47 86.63 83.90 82.14 83.11 83.69 所提方法 83.49 83.02 84.93 85.95 85.81 85.60 84.03 85.76 表3. 包的数量为600时的平均精确度(单位：%) Table 4 Average precision when the bag numbers is 900 (unit: % 数据集 NUS-WIDE Flickr30k WebQuery AwA2 算法 k-means DBSCAN k-means DBSCAN k-means DBSCAN k-means DBSCAN SVM+ 77.22 79.04 80.43 82.68 78.38 79.63 79.18 80.81 SVM-2K 75.05 76.23 75.03 78.30 76.26 79.31 74.34 77.42 sMIL-PI 80.05 81.54 83.22 83.61 80.39 82.09 80.98 81.47 PSVM-2V 83.64 85，39 85.07 86.94 83.37 82.08 85.46 87.63 所提方法 86.21 88.72 87.40 88.46 85.09 86.29 88.22 88.35 表4. 包的数量为900时的平均精确度(单位：%) Table 5 Average precision when the bag numbers is 1200 (unit: % 数据集 NUS-WIDE Flickr30k WebQuery AwA2 算法 k-means DBSCAN k-means DBSCAN k-means DBSCAN k-means DBSCAN SVM+ 79.80 81.31 80.84 84.52 79.41 81.06 82.07 81.19 SVM-2K 74.11 75.02 73.13 74.28 76.17 77.39 75.62 75.83 sMIL-PI 82.63 82.08 84.04 83.74 80.67 81.54 81.02 82.24 PSVM-2V 82.59 84.95 83.75 85.23 81.39 81.75 85.29 86.31 所提方法 84.62 84.54 86.02 86.36 83.70 84.01 87.25 86.49 表5. 包的数量为1200时的平均精确度(单位：%) Table 6 Average precision when the bag numbers is 1500 (unit: % 数据集 NUS-WIDE Flickr30k WebQuery AwA2 算法 k-means DBSCAN k-means DBSCAN k-means DBSCAN k-means DBSCAN SVM+ 75.53 76.47 76.66 78.12 78.28 75.37 80.53 80.91 SVM-2K 72.02 73.64 70.15 69.58 69.82 73.26 71.47 72.24 sMIL-PI 78.35 79.74 76.21 77.49 78.37 80.36 74.51 75.83 PSVM-2V 80.33 81.07 82.96 81.47 79.04 80.73 82.29 83.65 所提方法 82.44 83.80 83.56 83.92 81.32 80.69 84.22 84.61 表6. 包的数量为1500时的平均精确度(单位：%) 3.3.2. 参数敏感度分析 此外，在所提方法中有一些参数，实验分析了不同参数值下的性能变化。实验使用NUS-WIDE数据集做测试，实验结果如图2和图3所示。首先固定 测试参数 。由实验结果可得，如图2所示，在范围 中，参数 在10 −3 到1时，性能上升，在1到10 3 时，性能下降，当参数 时，效果最优。接着固定 测试 ，如图3所示，参数 在10 −3 到10时，性能上升，在10到10 3 时，性能下降，当参数 时，效果最优。 图2. 参数C 1 和C 2 的敏感度 图3. 参数D A 和D B 的敏感度 3.3.3. 噪声敏感度测试 实验还测试算法性能对输入数据噪声的敏感程度，使用NUS-WIDE数据集做测试。将噪声添加到数据示例中方法的基本思想如图4所示。首先计算整个数据沿第i个维度的标准差 ，然后获得高斯噪声的标准偏差 ，其范围随机选自 。然后，对于第i维，我们将随机分布的噪声与标准差 相加。这样，在数据示例 中添加了噪声，可以将其表示为向量： ，其中 表示数据示例 的维数， 表示添加到数据示例第i维的噪声。 实验中使数据噪声的百分比在0%到30%之间变化。这里以向量加偏移常数方法生成的数据为例，并将噪声添加到每个包的示例中。不同比例的噪声对性能的影响如图5所示，随着噪声水平的提高，所有方法的性能都会下降。但是与其他方法相比，所提方法可以获得更高的精度，对噪声的敏感度较低。 图4. 将噪声添加到数据示例 图5. 噪声对算法性能的影响 3.3.4. 算法运行时间 各算法的平均运行时间比重如图6所示，所提方法比其他所有方法的时间开销要大得多。这是因为所提方法考虑了示例的相似性，并且同时利用约束条件来拟合原始特征和特权信息。因此，所提方法比其他方法花费更多时间。 图6. 不同算法的平均运行时间