system: [SYSTEM]

user: 5. 实证分析 5.1. 数据来源 为了很好地评估我们的IWFAST算法的性能和效力，以证实该算法是否能有效地用于实践中，并且能够使其他学者信服我们的结果，我们从UCI数据库中选择了16个数据集来进行实证对比分析。 这16个数据集的特征个数的范围从4到259，样本个数的范围从32到41188，目标集的范围从2到17。此外，这16个数据集囊括了5个领域，分别为商业领域(Business)、社会领域(Social)、游戏领域(Game)、生物领域(Life)和物理领域(Physical)。表3展示了这些数据集的相关信息。 其中F、I和T分别表示特征的个数，样本的个数和目标分类的个数。 5.2. 实验准备 为了评估IWFAST算法的性能和效力以及将其与FAST算法进行比较，我们首先要进行以下实验准备与分析：数据离散化，缺失值的处理，阈值的选择。 FAST和IWFAST都涉及阈值的设定。对于FAST算法，将阈值设定为在所有 的值中从大到小排名第 的元素 [ 5 ] 所对应的 值，若 为小数，对其四舍五入取整。对于IWFAST算法，我们将阈值设定为在所有 值中从大到小排名第 的元素所对应的 值，若 为小数，同样对其取四舍五入取整。 5.3. 结果与分析 为了更好地比较两个算法选择的特征子集的优劣，我们选择了4个分类器对其进行评估，最后再求出4个分类器所得结果的平均值。这4个分类器分别为决策树C5.0、贝叶斯网络(Bayes Net)、神经网络(Neural Net)和Logistic回归。评估过程依然使用软件Clementine 12.0。同时，所有数据集以70%作为训练集，30%作为测试集。此外，在决策树C5.0中，我们使用10折交叉验证法建立模型。我们将从三个方面分析两个算法的优劣：1) 选择的子集的特征个数；2) 获得特征子集所需要的运行时间；3) 分类器的准确率。特征个数与运行时间的比较统一记录于表4中。 从表4可以看出，有时FAST比IWFAST筛选的特征多，有时又少。而对于运行时间，IWFAST需要的时间总是比FAST多，这也与本文第4章对算法时间复杂度的理论分析结果一致。 4种分类器所得到的准确率及平均值则在表5中记录。 Table 3 Summarize of sixteen dataset No. Data Name F I T Area 1 Iris 4 150 3 Life 2 Balance Scale 4 625 3 Social 3 Istanbul Stock Exchange 7 536 3 Business 4 Tic-Tac-Toe Endgame 9 958 2 Game 5 Wine 13 178 3 Physical 6 Statlog (Australian Credit Approval) 14 690 2 Business 7 Congressional Voting Records 16 435 2 Social 8 Bank Marketing 20 41188 2 Business 9 Ionosphere 33 351 2 Physical 10 Chess (King-Rook vs. King-Pawn) 36 3196 2 Game 11 Spectf Heart 44 267 2 Life 12 Lung-cancer 56 32 3 Life 13 Audiology 68 226 17 Life 14 Ozone Level Detection 72 2158 2 Physical 15 Musk1 166 476 2 Physical 16 Arrhythmia 259 452 16 Life 表3. 16个数据集的概况 Table 4 Number of features and running tim No. Instances Features Number of features selected Running time (in s) IWFAST FAST IWFAST FAST 1 150 4 3 1 0.989 0.768 2 625 4 4 4 1.184 0.908 3 536 7 3 1 1.498 0.977 4 958 9 5 3 1.574 1.376 5 178 13 3 4 2.524 0.909 6 690 14 3 3 3.212 1.225 7 435 16 4 3 1.872 0.995 8 41188 20 4 1 2916.119 427.275 9 351 33 5 9 17.135 3.492 10 3196 36 5 1 11.277 3.061 11 267 44 5 3 21.384 3.441 12 32 56 10 6 36.294 4.071 13 226 68 7 12 171.739 5.309 14 2158 72 6 1 54.017 9.285 15 476 166 9 12 236.195 32.328 16 452 259 11 31 5119.651 123.520 表4. 特征个数和运行时间 Table 5 Accuracy of four classifiers and the average accurac No. C5.0 Bayes Net Neural Net Logistic Average IWFAST FAST IWFAST FAST IWFAST FAST IWFAST FAST IWFAST FAST 1 95.74 100 95.74 100 100 100 95.74 100 96.81 100 2 82.92 82.92 85.94 85.94 91.15 91.15 88.54 88.54 87.14 87.14 3 65.62 66.62 68.12 66.62 70 66.62 71.25 66.62 68.75 66.62 4 81.4 73.33 75.44 70.88 68.07 66.67 60.35 61.4 71.32 68.07 5 92.98 98.25 94.74 94.74 96.49 100 94.74 100 94.74 98.25 6 83.01 83.01 83.01 83.01 83.01 83.01 83.01 83.01 83.01 83.01 7 99.28 99.28 97.12 98.56 99.28 99.28 97.12 98.56 98.2 98.92 8 90.03 89.94 90.12 89.94 90.25 89.94 90.23 89.94 90.16 89.94 9 91.89 91.89 90.99 85.59 95.5 95.5 83.78 90.99 90.54 90.99 10 94.66 67.19 94.66 67.19 94.66 67.19 94.66 67.19 94.66 67.19 11 76.47 76.47 80 76.47 80 76.47 80 76.47 79.12 76.47 12 75 59.38 81.25 87.5 93.75 84.38 87.5 78.12 84.38 77.35 13 72.22 69.44 73.61 65.28 77.78 76.39 69.44 55.56 73.26 66.67 14 96.6 96.6 96.6 96.6 97.19 96.6 96.45 96.6 96.71 96.6 15 75 75 79.73 76.35 74.32 78.38 77.7 76.35 76.69 76.52 16 64.14 68.97 53.1 11.93 69.66 77.24 62.07 42.76 62.24 50.23 表5. 4种分类器的准确率以其平均值 从平均值来分析，对于数据集1、5、7、9，FAST比IWFAST的准确率高；对于2、6，两者的准确率相同；对于数据集3、4、8、10、11、12、13、14、15、16，IWFAST比FAST的准确率高。可见对于特征个数较多的数据集，IWFAST更有优势，这也是因为在特征较多的情形下，FAST更有可能将一些有用的特征剔除，而IWFAST由于考虑了交互作用就更可能保留一些有用的特征。此外，就准确率而言，在FAST优于IWFAST的情形下，FAST与IWAFST的准确率之差并不大于4%，而IWFAST优于FAST的情形，IWFAST与FAST的准确率之差最大可达到27.47%。因此可以大致认为IWFAST分类能力优于FAST。 为了更好地比较两个算法的优劣，我们按领域分类取平均并求出了所有数据集总的平均值，三种评判标准的各领域平均值及总平均值记录如表6所示。 下面对表6进行分析。 首先是运行时间，IWFAST的运行时间都比FAST要长，但仍在可接受的范围内。 接着对特征个数和准确率进行讨论。对于Life和Physical领域，IWFAT能够减少FAST选择的特征的个数，并且提高预测的准确率，IWFAST分别使准确率提高了5.02%和0.11%。然而在Social领域中，IWFAST增加了特征的个数，但是却导致准确率下降0.36%，不过这一变化幅度较小，也就是说，两个算法相差不大。对于Business和Game领域，IWFAST通过增加特征个数使准确率分别提高了0.78%和13.3%。在各个领域中两个算法的特征个数相差不大，而准确率相差较大的是Life和Game领域，从这一角度，在Life和Game领域中，IWFAST的优势更为明显，尤其是Game领域。 对于总的平均值，IWFAST的特征个数小于FAST，运行时间长于FAST，而准确率比FAST算法高3.36%，因此，本文对FAST算法的改进是合理与可行的。 Table 6 Average values for five kinds of item Average Number of features selected Running time (in s) Accuracy (%) IWFAST FAST IWFAST FAST IWFAST FAST Life 7.2 10.4 1117.633 27.422 79.16 74.14 Social 4 3.5 1.508 0.952 92.67 93.03 Business 3.33 1.67 980.22 143.159 80.64 79.86 Game 5 2 6.427 2.219 80.93 67.63 Physical 5.75 6.5 81.092 11.504 90.7 90.59 Total average 5.44 5.88 537.29 38.684 84.23 80.87 表6. 5个领域的各项平均值的比较