system: [SYSTEM]

user: 4. 实验 为了评估PNBR算法的性能，本文在九个多标签数据集上实现了PNBR算法，并将实验结果与四种多标签属性约简算法进行了性能比较。这些算法包括PR、MDMR、FSSL和NLD，其中PR代表经典的正域约简算法 [ 12 ]、MDMR代表标签最大依赖和最小冗余算法 [ 13 ]、FSSL代表基于流标签的多标签学习的特征选择算法 [ 11 ]、NLD代表邻域标签依赖度约简算法 [ 14 ] 和PNBR代表我们提出的正负类边界距离的多标签数据属性约简算法。九个多标签数据集如表5所示。 Table 5 Multi-label data set Data set Type Samples Attributes Label Flags Hybrid 194 19 7 Yeast Numerical 2417 103 14 Emotion Numerical 593 72 6 CAL500 Numerical 500 62 174 Scene Numerical 2407 294 6 Enron Nominal 1702 1001 53 Medical Nominal 978 1449 45 Core15k Nominal 5000 499 374 Genbase Nominal 662 1185 27 表5. 多标签数据集 在我们的实验中，采用十折交叉验证来评估不同方法的有效性。十折交叉验证是将原始数据集随机分成10个大小相同的样本子集，轮流将其中9个子集当作多标签训练集，一个子集当作多标签测试集，进行实验。每次实验都会得出相应的正确率或差错率，10次实验结果的正确率或差错率的平均值作为对算法精度的估计。表6给出了实验后所选属性的平均数量，并用下划线突显了两个最佳结果。通过比较所选属性的平均数量可知，MDMR算法和PNBR算法更好，可以去除更多的冗余属性。而PR算法和FSSL算法相对差一点。 Table 6 Average numbers of the selected attribute Data set Raw data PR MDMR FSSL NLD PNBR Flags 19 8.3 5.0 11.9 9.4 4.0 Yeast 103 7.7 7.3 9.6 9.4 8.6 Emotion 72 5.9 5.8 5.7 6.1 5.6 CAL500 62 8.7 8.5 8.2 3.7 3.3 Scene 294 8.9 8.6 11.9 8.8 11.8 Enron 1001 100.9 39.7 63.8 36.4 37.3 Medical 1449 63.9 34.4 63.3 31.9 31.2 Core15k 499 168.5 34.9 31.8 159.9 155.1 Genbase 1185 18.9 15.7 17.9 15.9 15.1 表6. 所选属性的平均数量 实验结果分析，对于数值型数据而言，PNBR算法和MDMR算法选择的属性最少。在Flags数据集中，它只保留了19个属性中的4或5个，这两种算法相对其他算法较差。然而在数据集Enron、Medical和Genbase中，随着数据属性数量的增加，属性减少的就不多了，这种影响就可以忽略不计了。 十折交叉验证的平均运行时间如表7所示，可以看出，MDMR算法、NLD算法和PNBR算法的运行时间比其他算法长，PR算法和FSSL算法的运行时间比其他算法短。 Table 7 Average running tim Data set PR MDMR FSSL NLD PNBR Flags 0.10 0.18 0.12 0.25 0.37 Yeast 107.34 255.62 329.41 757.11 967.71 Emotion 0.49 0.64 0.43 0.56 0.53 CAL500 0.37 3.96 1.52 5.31 9.38 Scene 320.68 318.62 848.60 841.88 821.58 Enron 337.68 373.22 208.66 337.81 324.85 Medical 193.33 129.91 150.05 92.38 88.69 Core15k 349.89 3768.82 264.80 2925.93 2815.86 Genbase 67.81 67.92 57.69 60.78 67.89 表7. 平均运行时间 实验结果分析，对于数值型数据而言，FSSL算法和NLD算法的计算时间大约是PR算法和MDMR算法的2倍，NLD算法和PNBR算法的计算时间大约是PR算法和MDMR算法的3倍。在Flags数据集中，由于数据集较小，所以算法的计算速度的差异不明显。 本文用分类器ML-9NN评估了五种属性约简算法的分类性能，同时，采用Hamming Loss、F 1 score和Coverage三种多标签分类的评价指标，来衡量约简数据的分类精度 [ 15 ]，其中下划线突显了两个最佳结果。 Table 8 Hamming los Data set Raw data PR MDMR FSSL NLD PNBR Flags 0.284 ± 0.051 0.285 ± 0.049 0.276 ± 0.057 0.269 ± 0.029 0.293 ± 0.031 0.289 ± 0.035 Yeast 0.198 ± 0.011 0.213 ± 0.010 0.202 ± 0.011 0.209 ± 0.012 0.199 ± 0.011 0.198 ± 0.010 Emotion 0.189 ± 0.019 0.238 ± 0.029 0.235 ± 0.029 0.198 ± 0.019 0.217 ± 0.019 0.179 ± 0.019 CAL500 0.167 ± 0.013 0.169 ± 0.011 0.165 ± 0.011 0.168 ± 0.013 0.159 ± 0.012 0.157 ± 0.013 Scene 0.118 ± 0.011 0.115 ± 0.010 0.123 ± 0.012 0.115 ± 0.011 0.131 ± 0.010 0.112 ± 0.011 Enron 0.065 ± 0.010 0.066 ± 0.011 0.057 ± 0.015 0.069 ± 0.011 0.059 ± 0.010 0.068 ± 0.012 Medical 0.029 ± 0.011 0.027 ± 0.010 0.025 ± 0.011 0.026 ± 0.013 0.019 ± 0.010 0.020 ± 0.011 Core15k 0.013 ± 0.000 0.014 ± 0.000 0.017 ± 0.000 0.015 ± 0.000 0.012 ± 0.000 0.011 ± 0.000 Genbase 0.019 ± 0.000 0.010 ± 0.000 0.019 ± 0.000 0.017 ± 0.000 0.021 ± 0.000 0.022 ± 0.000 表8. 汉明损失 汉明损失反应的是错误分类的样本标签占总样本标签的比率，该指标取值越小，算法的性能越好，当值为0时达到最优。从表8可以看出，NLD算法和PNBR算法优于其他算法，MDMR算法和FSSL算法的性能略优于PR算法，结合表6和表7中的属性约简数量和运行时间，NLD算法和PNBR算法保留的属性更多，即使耗时长，但它的分类效果更好，特别是对于符号型数据。 Table 9 F1 scor Data set Raw data PR MDMR FSSL NLD PNBR Flags 0.686 ± 0.059 0.695 ± 0.059 0.703 ± 0.079 0.687 ± 0.038 0.683 ± 0.049 0.679 ± 0.039 Yeast 0.627 ± 0.018 0.589 ± 0.011 0.597 ± 0.013 0.589 ± 0.018 0.625 ± 0.018 0.633 ± 0.011 Emotion 0.636 ± 0.047 0.627 ± 0.029 0.613 ± 0.026 0.631 ± 0.038 0.623 ± 0.057 0.615 ± 0.057 CAL500 0.448 ± 0.013 0.453 ± 0.013 0.446 ± 0.011 0.443 ± 0.011 0.435 ± 0.015 0.439 ± 0.016 Scene 0.669 ± 0.028 0.657 ± 0.039 0.661 ± 0.047 0.659 ± 0.028 0.657 ± 0.018 0.673 ± 0.015 Enron 0.447 ± 0.049 0.453 ± 0.058 0.451 ± 0.059 0.436 ± 0.088 0.439 ± 0.059 0.443 ± 0.059 Medical 0.367 ± 0.089 0.355 ± 0.117 0.359 ± 0.108 0.353 ± 0.117 0.373 ± 0.169 0.371 ± 0.168 Core15k 0.087 ± 0.018 0.083 ± 0.048 0.090 ± 0.017 0.082 ± 0.029 0.088 ± 0.017 0.081 ± 0.017 Genbase 0.873 ± 0.018 0.868 ± 0.018 0.869 ± 0.018 0.879 ± 0.018 0.878 ± 0.018 0.883 ± 0.018 表9. F 1 分数 F 1 score相对于汉明损失是一个综合版本，F 1 score衡量分类的准确性，并忽略错误分类的样本。它是精确率和召回率的调和平均值，该指标取值越大，算法的性能越好，通常最大值为1，最小值为0，当值为1时达到最优。从表9可知，除数据集Core15k外，五种算法在F 1 score方面没有显著差异。对于Core15k数据集，NLD算法和MDMR算法的分类精度与原始数据差不多。 Table 1 0 Coverag Data set Raw data PR MDMR FSSL NLD PNBR Flags 0.919 ± 0.019 0.927 ± 0.019 0.936 ± 0.028 0.923 ± 0.019 0.900 ± 0.010 0.899 ± 0.019 Yeast 0.869 ± 0.010 0.839 ± 0.010 0.840 ± 0.010 0.827 ± 0.010 0.836 ± 0.010 0.843 ± 0.010 Emotion 0.678 ± 0.027 0.543 ± 0.019 0.517 ± 0.019 0.658 ± 0.029 0.647 ± 0.03 0.639 ± 0.019 CAL500 0.987 ± 0.010 0.987 ± 0.010 0.989 ± 0.010 0.986 ± 0.010 0.975 ± 0.010 0.973 ± 0.010 Scene 0.634 ± 0.019 0.228 ± 0.010 0.243 ± 0.010 0.298 ± 0.010 0.339 ± 0.078 0.223 ± 0.010 Enron 0.717 ± 0.067 0.778 ± 0.100 0.789 ± 0.069 0.637 ± 0.078 0.725 ± 0.083 0.710 ± 0.063 Medical 0.418 ± 0.087 0.379 ± 0.087 0.419 ± 0.087 0.369 ± 0.119 0.423 ± 0.119 0.421 ± 0.119 Core15k 0.349 ± 0.039 0.336 ± 0.068 0.362 ± 0.059 0.351 ± 0.048 0.213 ± 0.029 0.227 ± 0.029 Genbase 0.953 ± 0.010 0.947 ± 0.019 0.964 ± 0.010 0.957 ± 0.028 0.953 ± 0.010 0.947 ± 0.010 表10. 覆盖率 覆盖率表示算法生成的排序底部的真实标签的排序平均值。排序越大越不相关，所以这个覆盖率越小，算法性能越好。从表10看出，PR算法和PNBR算法优于其他算法。从数值上看，约简前后数据的分类精度并没有明显差异。实验结果表明所提约简算法能够建立合理的属性重要度排序，有效地去除冗余属性。