system: [SYSTEM]

user: 6. 数值试验 本节将描述训练数据得到的数值结果，模型在2.2 GHz Intel Core i7 CPU，16 GB RAM环境下进行训练。 ， 分别描述了ADMM算法对原始条件和对偶条件的可行性容忍程度。本文设置 ， ，使用UCI的相关数据通过Python 3.7实现ADMM算法求解鲁棒正则化问题，所使用的数据如表1： Table 1 University of California Irvine Repository training dat 数据集 数据量 变量数 数据集 数据量 变量数 Heart 270 13 a6a 32，561 123 pop-failures 540 18 shuttle 43，500 9 Austrian 690 14 a9a 48，842 123 Pima 768 8 w8a 49，749 300 spambase 4601 57 ijcnn1 49，990 22 Mushroom 8124 22 Dota2 102，944 116 表1. UCI Repository训练数据 本文使用的数据包括Heart，pop-failures，Austrian，Pima，spambase，Mushroom，a6a，shuttle，a9a，w8a，ijcnn1，Dota2。 ，其中 是 的随机矩阵。 的随机变量，生成了100个U，这说明了存在振幅为a的扰动。通过ADMM算法求得结果见表2。 Table 2 Residual expectatio 数据集 正则项类型 标准正则化 随机鲁棒正则化 最坏情况鲁棒正则化 Heart L1正则项 35.190033 8.150679 8.575951 L2正则项 321.228449 13.847582 8.528732 L1-L2正则项 35.190033 8.150679 8.526783 Huber正则项 57.195922 7.880510 8.525760 pop-failures L1正则项 36.809833 10.557134 11.244063 L2正则项 120.211912 10.660716 11.239929 L1-L2正则项 46.545529 10.520184 11.238676 Huber正则项 48.078604 10.520138 11.238669 Austrian L1正则项 35.652731 11.117176 12.453968 L2正则项 36.074329 11.119549 12.326205 L1-L2正则项 36.039073 11.116835 12.326204 Huber正则项 35.858963 11.116876 12.325953 Pima L1正则项 37.611661 11.606959 12.429837 L2正则项 36.957709 11.611515 12.405589 L1-L2正则项 40.141959 11.605968 12.405529 Huber正则项 38.009001 11.606118 12.405528 spambase L1正则项 1136.923789 31.880011 38.235519 L2正则项 1267.108529 31.880026 38.218157 L1-L2正则项 1175.378456 31.880006 38.218143 Huber正则项 1144.006229 31.880006 38.218143 Mushroom L1正则项 151.205724 32.965843 41.864909 L2正则项 527.258221 32.965482 38.566990 L1-L2正则项 164.807086 32.965658 38.564864 Huber正则项 164.807086 32.965644 38.564858 a6a L1正则项 81.924991 66.980143 79.655319 L2正则项 122.590718 66.980348 77.994063 L1-L2正则项 90.139718 66.979647 77.983832 Huber正则项 87.239068 66.979606 77.983747 shuttle L1正则项 533.6717801 181.8549372 201.6537234 L2正则项 534.6667871 181.8546774 187.8732859 L1-L2正则项 534.8815367 181.8540443 187.8732863 Huber正则项 516.6994309 181.8540221 187.8732983 a9a L1正则项 181.780294 161.873043 187.460652 L2正则项 291.347894 161.872388 186.948356 L1-L2正则项 189.040680 161.872368 186.962068 Huber正则项 185.614435 161.872399 186.962091 w8a L1正则项 60.950881 31.214066 33.686445 L2正则项 69.815335 31.190569 31.449821 L1-L2正则项 64.772441 31.203755 31.467771 Huber正则项 33.222972 31.190307 31.467499 ijcnn1 L1正则项 265.710981 131.311997 204.534219 L2正则项 371.969304 131.311828 153.685551 L1-L2正则项 275.206242 131.311971 153.699805 Huber正则项 159.980205 131.311916 153.699895 Dota2 L1正则项 1440.002173 320.331273 320.848874 L2正则项 2968.972226 320.331273 320.848874 L1-L2正则项 1442.382143 320.331273 320.848874 Huber正则项 1442.032602 320.331273 320.848874 表2. 残差的期望 通过表2，可以发现当数据存在扰动时，标准的正则化方法已经不能够很好的解决分类问题，而鲁棒正则化模型能够较好地应对这种情况。由于L1正则项会压缩回归系数，所以L1正则化之后会导致分类准确率降低，残差增大。但是通过表2发现标准的L1正则化训练存在扰动的训练样本时表现竟然好于其它正则项。由此可以看出训练样本存在扰动时会破坏正则项一些较好的性质，让分类结果不尽人意。相比于标准的正则化模型，本文提出的鲁棒正则化模型不会破坏正则项的性质。通过表2，不难发现鲁棒L1-L2正则化、Huber正则化表现要优于L1正则化和L2正则化。另外，通过表2可以得到一个结论：随机鲁棒正则化的分类质量要优于最坏情况鲁棒正则化。导致这个结果的原因是两个模型考虑的因素不同，主要体现在随机鲁棒正则化模型的保真项是让残差的期望最小，而最坏情况鲁棒正则化的保真项是让最坏误差最小，所以随机鲁棒正则化残差的期望最小，分类结果最好。 图2. w8a Huber正则化训练结果 图2中sr表示的是标准正则化模型得到的残差曲线，srr表示的是随机鲁棒正则化模型得到的残差曲线，wcr表示最坏情况鲁棒正则化模型得到的曲线。通过图2，可以发现当扰动的振幅a = 0时，标准正则化的残差最小。随着振幅a的增大，标准正则化得到的残差明显增大不少，但是随机鲁棒正则化和最坏情况鲁棒正则化模型的残差增长速度缓慢。这意味着随机鲁棒正则化模型和最坏情况鲁棒正则化模型的抗干扰能力比标准正则化模型要强。另外由于随机鲁棒正则化考虑的是残差的期望最小，所以在图2中随机鲁棒正则化得到的残差之和要小于最坏情况鲁棒正则化。但是当振幅a增大到一定程度时，最坏鲁棒正则化的残差会小于随机鲁棒正则化。方差可以表示数据的波动情况，表3给出了残差的方差。 Table 3 Variance of residual 数据集 正则项类型 标准正则化 随机鲁棒正则化 最坏情况鲁棒正则化 Heart L1正则项 444.295317 0.063045 0.003982 L2正则项 41424.888749 1.895289 0.004407 L1-L2正则项 444.295317 0.063045 0.004435 Huber正则项 1275.871281 0.043919 0.004446 pop L1正则项 416.833961 0.002358 0.000236 L2正则项 4972.827751 0.003744 0.000241 L1-L2正则项 701.468900 0.004525 0.000242 Huber正则项 751.418061 0.004521 0.000242 Austrian L1正则项 426.470664 0.188475 0.003366 L2正则项 438.250519 0.199743 0.004387 L1-L2正则项 437.809880 0.189704 0.004387 Huber正则项 432.563523 0.189184 0.004391 Pima L1正则项 359.405084 0.043336 0.000547 L2正则项 343.317120 0.058013 0.000561 L1-L2正则项 424.247165 0.045426 0.000561 Huber正则项 369.253361 0.045025 0.000561 spambase L1正则项 400399.963706 0.000764 0.000683 L2正则项 497672.069782 0.000766 0.000693 L1-L2正则项 428035.522928 0.000763 0.000693 Huber正则项 405420.896083 0.000763 0.000693 Mushroom L1正则项 8058.194044 4.123995 0.297610 L2正则项 104363.766444 4.134875 1.105258 L1-L2正则项 9662.772588 4.130733 1.106304 Huber正则项 7683.984106 4.130237 1.106307 a6a L1正则项 317.112070 8.185439 0.007487 L2正则项 2287.702348 8.223619 0.017613 L1-L2正则项 582.375799 8.224333 0.017709 Huber正则项 480.564331 8.223786 0.017710 shuttle L1正则项 69928.263642 289.713089 26.161685 L2正则项 70258.163243 290.135024 80.918441 L1-L2正则项 70329.080826 289.776428 80.918437 Huber正则项 63750.404986 289.763368 80.918332 a9a L1正则项 632.181843 18.334536 0.000038 L2正则项 11450.332269 18.363809 0.000071 L1-L2正则项 966.965557 18.370788 0.000070 Huber正则项 966.965557 18.367920 0.000070 w8a L1正则项 717.507328 1.811562 0.152904 L2正则项 1130.109044 2.290337 2.010488 L1-L2正则项 861.095374 1.955220 1.798560 Huber正则项 25.964530 2.495772 1.801926 ijcnn1 L1正则项 11860.659302 0.757916 0.001887 L2正则项 31148.424444 0.766460 1.046655 L1-L2正则项 13244.481020 0.760788 1.043701 Huber正则项 1004.144961 0.762319 1.043686 Dota2 L1正则项 531759.733515 0.001676 6.95E−23 L2正则项 531759.733515 0.001677 2.74E−25 L1-L2正则项 533819.513567 0.001676 6.14E−27 Huber正则项 533819.513567 0.001676 2.58E−25 表3. 残差的方差 通过表3的数据，可以发现标准的正则化方法得到残差的方差很大，鲁棒正则化模型得到残差的方差较小。表3说明标准的正则化方法得到的结果受到扰动的影响较大，在一些数据集上分类的波动是不能够被接受的。相反，鲁棒正则化模型得到的结果受到扰动的影响较小。由于最坏情况鲁棒逼近考虑的是优化最坏误差，所以收到扰动的影响最小，在一些样本集上训练结果波动几乎为0。随机鲁棒正则化模型只考虑残差的期望最小，所以受到扰动的影响介于标准正则化和最坏情况鲁棒正则化之间。