system: [SYSTEM]

user: 4. 实验与分析 为验证所提出算法的有效性，本文设计了数据实验来验证所述方法，并采用Inv-Cal [ 8 ]，Alter-SVM [ 9 ] 和p-NPSVM [ 12 ] 作为对比方法。 4.1. 实验数据 论本文采用SRAA 1 和20 Newsgroups 2 数据集，这两个数据集是用于文本分类、文本挖掘和信息检索研究的国际标准数据集之一，并被广泛用于迁移学习实验。SRAA数据集包含来自四个讨论组的7327个UseNet文章，里面包含着模拟赛车，模拟航空，真实汽车，真实航空四个主题的数据。20 Newsgroups数据集收集了大约20，000左右的新闻组文档，每个顶级类别下都有20个子类别，每个子类别都有1000个样本。有一些新闻之间是相关的，比如Sci.elec vs. Sci.med；有一些新闻是不相关的，比如Sci.cryptvs.Alt.atheism。 由于上述两个数据集不是专门为LLP问题设置，需要将文本数据集重新组织为适用于标签比例学习问题的数据集。采用文献 [ 15 ] [ 16 ] 处理上述数据集的方法，我们根据数据集的顶级类别重新组织LLP数据集。首先，我们从顶级类别(A)中选择一个子类别a(1)作为正类别，因此将该子类别a(1)中的每个样本视为正类样本，其他顶级类别作为负类别。其次，对于原任务，我们从正子类别a(1)中随机选择多个样本作为正样本，并从其他类别中随机选取相同数目的样本作为负样本，并将它们组成为原任务数据集。对目标任务执行相同的操作以形成正类样本和负类样本。为了使两个任务相关，我们让原任务和目标任务的正类具有相同的顶级类别，例如原任务为a(1)，则目标任务为a(2)。在不损失有效性的情况下，我们仅保留具有较高文档频率的单词以减少维数，并且每个样本均由特征表示。最后随机选取同等比例的正样本和负样本生成5个数据集，如表2所示。 Table 2 The list of data set 编号 原任务 样本个数 目标任务 样本个数 1 Simauto 3000 Realauto 800 2 Auto 3000 Aviation 800 3 Sci-elec 5000 Sci-med 1500 4 Rec.autos 5000 Rec.motor 1500 5 Spo.baseball 5000 Spo.hockey 1500 表2. 数据集列表 4.2. 实验设置 为减少包中样本数量对实验结果的影响，本实验从每个数据集中分别随机选择20，40和60个样本组成包，并分别对大小不同的包依次进行实验，其中对四个算法的参数设置如下： Inv-Cal： C ∈ [ 2 − 2 ， 2 5 ] ， ε ∈ [ 0.01 ， 0.1 ] 。 Alter-SVM： C ∈ [ 2 − 2 ， 2 5 ] ， C p ∈ [ 2 − 2 ， 2 7 ] 。 p-NPSVM： C i ∈ [ 2 − 5 ， 2 5 ] ( i = 1 ， 2 ， 3 ， 4 ) ， C p ∈ { 0.1 ， 1 ， 10 } 。 LPI-TL： C i ∈ [ 2 − 2 ， 2 7 ] ( i = 1 ， 2 ) ， ε ∈ [ 0 ， 1 ] 。 其中本文方法使用线性核函数 K ( x 1 ， x 2 ) = x 1 ∗ x 2 ，采用五折交叉验证法进行实验。由于Inv-Cal，Alter-SVM和p-NPSVM为单一任务算法，对其只在目标数据集上进行实验，对提出的算法则使用原任务数据集和目标任务数据集进行实验。 4.3. 实验结果分析 首先，利用本文提出的基于标签比例信息的迁移学习算法迁移原任务数据知识来对目标任务数据集进行实验，并采用准确率、精度、召回率和F1值等评价指标与Inv-Cal，Alter-SVM和p-NPSVM对比。 五个数据集具体的平均测试准确率和标准差实验结果如表3所示。表3表明，在数据集3包的大小为20以及数据集4包的大小为40和60中，本文提出算法比其他方法略低外，在其他实验结果中均能取得最高准确率和较低的标准差。图3展示了这四个算法的平均准确率的柱状图，其中四个算法的平均准确率分别为：62.44%、63.09%、63.38%和67.77%，可见提出的算法LPI-TL的平均准确率高于Inv-Cal，Alter-SVM和p-NPSVM三个算法。这表明提出的方法在通过迁移原任务数据知识在分类准确率上能取得较高且稳定的性能。 另外，为了将其他算法与提出的LPI-TL方法进一步比较，将对上面实验得到的准确率做Wilcoxon符号秩和检验 [ 17 ] [ 18 ]。通常，如果测试值p值低于置信度0.05，则LPI-TL与所比较的方法之间存在显著差异。对于每种方法，其与LPI-TL之间的测试结果列在表4中。从表中可以看出，每种方法对LPI-TL的p值均小于置信度0.05，这意味着在统计视角中，本文提出的算法LPI-TL比其他三个方法在准确率上取得显著性提高。 为了进一步验证本文提出算法的性能，对5个数据集在包为20的情况下分别计算准确率、召回率和F1值等指标的平均值。实验结果如表5所示。从表中可以看出，LPI-TL算法平均召回率比Alter-SVM算 Table 3 Experimental accuracy and standard deviation Statistic 数据集 算法 20 40 60 1 Inv-Cal 64.87 ± 1.60 60.42 ± 1.04 56.31 ± 2.00 Alter-SVM 62.53 ± 1.31 60.13 ± 1.20 60.72 ± 1.45 p-NPSVM 66.72 ± 0.47 63.23 ± 0.96 60.02 ± 1.52 LPI-TL 70.97 ± 0.37 68.60 ± 0.75 65.87 ± 1.22 2 Inv-Cal 71.47 ± 0.70 68.37 ± 1.26 63.62 ± 1.06 Alter-SVM 70.03 ± 0.95 66.47 ± 0.97 63.03 ± 0.98 p-NPSVM 71.30 ± 1.02 65.50 ± 1.11 65.31 ± 1.00 LPI-TL 72.65 ± 0.41 72.57 ± 0.95 69.79 ± 0.82 3 Inv-Cal 62.23 ± 0.73 59.52 ± 2.31 55.91 ± 1.79 Alter-SVM 60.52 ± 1.28 58.68 ± 1.45 56.76 ± 1.21 p-NPSVM 63.22 ± 1.52 62.07 ± 1.35 57.82 ± 0.48 LPI-TL 63.00 ± 0.73 64.32 ± 1.02 63.02 ± 0.75 4 Inv-Cal 60.81 ± 1.47 62.02 ± 1.72 59.91 ± 1.79 Alter-SVM 64.07 ± 1.08 62.59 ± 0.93 60.06 ± 1.41 p-NPSVM 61.19 ± 1.11 58.65 ± 1.03 56.02 ± 0.88 LPI-TL 64.25 ± 0.92 62.03 ± 0.87 59.82 ± 0.75 5 Inv-Cal 65.28 ± 1.32 63.56 ± 0.52 62.24 ± 1.24 Alter-SVM 70.32 ± 0.96 65.27 ± 0.76 65.21 ± 0.91 p-NPSVM 68.02 ± 1.23 65.42 ± 1.04 66.13 ± 1.08 LPI-TL 75.33 ± 0.62 73.56 ± 0.52 70.82 ± 0.53 表3. 实验准确率和标准差结果统计 图3. 平均准确率 Table 4 Wilcoxon signed ranks test LPI-TL R+ R- p-value vs. Inv-Cal 118 2 0.0062 vs. Alter-SVM 115 5 0.0144 vs. p-NPSVM 119 1 0.0380 表4. Wilcoxon符号秩和检验 Table 5 Performance comparison of each algorith 算法 平均精度 平均召回率 平均F1值 InvCal 0.501 0.648 0.565 Alter-SVM 0.462 0.672 0.548 p-NPSVM 0.499 0.662 0.569 LPI-TL 0.554 0.667 0.606 表5. 各个算法性能对比 法低，这是由于Alter-SVM算法找出更多的负样本，所以召回率更高；相比之下，LPI-TL算法取得更大的精度和F1值。总体来看，本文提出的LPI-TL算法的结果比对比方法更佳。