system: [SYSTEM]

user: 4. 数值模拟 为了验证上述参数估计方法的有效性，我们共采用三种不同类型数据进行模拟研究，并引进混合高 斯分布模型 [ 13 ] 与之作对比。由t-分布的方差与尺度参数的关系 υ 2 = ν ν − 2 σ 2 ，将混合t-分布EM算法参 数估计结果中的尺度参数 σ 转化为标准差 υ ，再与混合高斯分布EM算法估计的参数 υ 作比较。算法的初始化均采用k-means方法。参数估计的精确度采用均方误差来衡量，如混合比例 π 1 的均方误差定义为： M S E ( π 1 ) = 1 n ∑ i = 1 n ( π 1 i − π 1 ( 0 ) ) 2 其中， π 1 ( 0 ) 是 π 1 的真值，n为模拟次数。 4.1. 混合高斯分布数据 给定真值 π 1 ( 0 ) = 0.5 和 π 2 ( 0 ) = 0.3 ， μ 1 ( 0 ) = 2 、 μ 2 ( 0 ) = 7 、 、 υ 1 ( 0 ) = υ 2 ( 0 ) = υ 3 ( 0 ) = 1 ，分别取样本量 N = 500 ，1000，共产生2组混合高斯分布数据。对混合t-分布模型，分别取自由度 ν = 3 [ 14 ] ，15，30。重复模拟1000次，模拟结果如下： 由表1、表2、表3知： ν = 3 时，混合高斯模型参数估计的均方误差均比混合t-分布模型参数估计的均方误差小，这一点在 υ 1 、 υ 2 、 υ 3 上更为明显；在 ν = 15 ， 30 时，除了对 υ 1 、 υ 2 、 υ 3 的估计结果混合高斯模型略好于混合t-分布模型外，两种方法对其他参数的估计的均方误差，几乎无差。此外还有，随着自由度的增大，混合t-分布模型参数估计的均方误差变小；整体来看，样本量越大，MSE越小。 4.2. 混合t-分布数据 给定真值 π 1 ( 0 ) = 0.5 和 π 2 ( 0 ) = 0.3 ， μ 1 ( 0 ) = 2 、 μ 2 ( 0 ) = 7 、 μ 3 ( 0 ) = 11 、 υ 1 ( 0 ) = υ 2 ( 0 ) = υ 3 ( 0 ) = 1 ，取 ν = 3 [ 14 ] ，15，30。分别取样本量 N = 500 ，1000，共产生6组混合t-分布数据。重复模拟1000次，模拟结果见下表： 由表4、表5、表6知： 混合t-分布模型可以较好地拟合该数据，参数估计值与真值十分接近。当 ν = 3 时，对所有参数的估计，混合t-分布模型参数估计的均方误差均比混合高斯分布模型参数估计的均方误差小； ν = 15 时，除 μ 2 、 Table 1 The simulation results of ν = 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4974 0.4976 0.5011 0.5014 0.0000 0.0000 0.0000 0.0000 π 2 ( 0 ) = 0.3 500 1000 0.2984 0.2979 0.3063 0.3057 0.0001 0.0001 0.0002 0.0001 μ 1 ( 0 ) = 2 500 1000 1.9840 1.9881 1.9974 2.0033 0.0045 0.0025 0.0050 0.0026 μ 2 ( 0 ) = 7 500 1000 6.9485 6.9493 7.0348 7.0357 0.0119 0.0084 0.0120 0.0072 μ 3 ( 0 ) = 11 500 1000 10.9590 10.9515 11.0208 11.0123 0.0174 0.0124 0.0178 0.0092 υ 1 ( 0 ) = 1 500 1000 0.9816 0.9855 1.4078 1.4043 0.0022 0.0013 0.1730 0.1723 υ 2 ( 0 ) = 1 500 1000 0.9921 0.9917 1.5314 1.5311 0.0053 0.0036 0.3081 0.2960 υ 3 ( 0 ) = 1 500 1000 1.0230 1.0279 1.3980 1.4030 0.0061 0.0049 0.1803 0.1750 表1. ν = 3 的模拟结果 Table 2 The simulation results of ν = 1 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4974 0.4976 0.4998 0.5001 0.0000 0.0000 0.0000 0.0000 π 2 ( 0 ) = 0.3 500 1000 0.2984 0.2979 0.3019 0.3013 0.0001 0.0001 0.0001 0.0001 μ 1 ( 0 ) = 2 500 1000 1.9840 1.9881 1.9967 2.0018 0.0045 0.0025 0.0044 0.0023 μ 2 ( 0 ) = 7 500 1000 6.9485 6.9493 7.0102 7.0114 0.0119 0.0084 0.0100 0.0056 μ 3 ( 0 ) = 11 500 1000 10.9590 10.9515 11.0054 10.9984 0.0174 0.0124 0.0171 0.0088 υ 1 ( 0 ) = 1 500 1000 0.9816 0.9855 1.0127 1.0172 0.0022 0.0013 0.0029 0.0015 υ 2 ( 0 ) = 1 500 1000 0.9921 0.9917 1.0407 1.0391 0.0053 0.0036 0.0124 0.0042 υ 3 ( 0 ) = 1 500 1000 1.0230 1.0279 1.0116 1.0158 0.0061 0.0049 0.0099 0.0059 表2. ν = 15 的模拟结果 Table 3 The simulation results of ν = 3 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4974 0.4976 0.4998 0.5001 0.0000 0.0000 0.0000 0.0000 π 2 ( 0 ) = 0.3 500 1000 0.2984 0.2979 0.3011 0.3005 0.0001 0.0001 0.0001 0.0001 μ 1 ( 0 ) = 2 500 1000 1.9840 1.9881 1.9965 2.0013 0.0045 0.0025 0.0043 0.0023 μ 2 ( 0 ) = 7 500 1000 6.9485 6.9493 7.0044 7.0059 0.0119 0.0084 0.0098 0.0054 μ 3 ( 0 ) = 11 500 1000 10.9590 10.9515 11.0012 10.9949 0.0174 0.0124 0.0168 0.0088 υ 1 ( 0 ) = 1 500 1000 0.9816 0.9855 1.0008 1.0053 0.0022 0.0013 0.0027 0.0013 υ 2 ( 0 ) = 1 500 1000 0.9921 0.9917 1.0161 1.0150 0.0053 0.0036 0.0098 0.0047 υ 3 ( 0 ) = 1 500 1000 1.0230 1.0279 1.0000 1.0040 0.0061 0.0049 0.0094 0.0054 表3. ν = 30 的模拟结果 注：EST1：混合高斯分布模型下的平均估计值。EST2：混合t-分布模型下的平均估计值。MSE1：混合高斯分布模型参数估计的均方误差。MSE2：混合t-分布模型参数估计的均方误差。 Table 4 The simulation results of ν = 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4742 0.4792 0.4888 0.4952 0.0047 0.0024 0.0047 0.0019 π 2 ( 0 ) = 0.3 500 1000 0.3119 0.3099 0.3021 0.3015 0.0018 0.0010 0.0013 0.0006 μ 1 ( 0 ) = 2 500 1000 1.7448 1.7567 1.9529 1.9369 0.5765 1.0027 0.2529 0.2239 μ 2 ( 0 ) = 7 500 1000 6.7244 6.7962 6.8751 6.9595 0.5162 0.2137 0.4994 0.2074 μ 3 ( 0 ) = 11 500 1000 11.1080 11.1236 10.9223 10.9733 0.3646 0.1072 0.2360 0.0816 υ 1 ( 0 ) = 1.7321 ( σ 1 ( 0 ) = 1 ) 500 1000 1.3999 1.4025 1.7257 1.7216 0.2390 0.1964 0.0497 0.0184 υ 2 ( 0 ) = 1.7321 ( σ 2 ( 0 ) = 1 ) 500 1000 1.2354 1.2257 1.7236 1.7178 0.5135 0.4336 0.0814 0.0352 υ 3 ( 0 ) = 1.7321 ( σ 3 ( 0 ) = 1 ) 500 1000 1.4238 1.4863 1.7759 1.7539 0.2652 0.4228 0.1942 0.0740 表4. ν = 3 的模拟结果 Table 5 The simulation results of ν = 1 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4953 0.4964 0.4995 0.5007 0.0006 0.0003 0.0006 0.0003 π 2 ( 0 ) = 0.3 500 1000 0.2979 0.2987 0.2995 0.2996 0.0005 0.0003 0.0006 0.0003 μ 1 ( 0 ) = 2 500 1000 1.9711 1.9724 2.0004 1.9369 0.0056 0.0031 0.0047 0.0022 μ 2 ( 0 ) = 7 500 1000 6.9158 6.9216 6.9948 6.9982 0.0356 0.0121 0.0326 0.0058 μ 3 ( 0 ) = 11 500 1000 10.9621 10.9658 10.9958 10.9935 0.0270 0.0118 0.0291 0.0101 υ 1 ( 0 ) = 1.0742 ( σ 1 ( 0 ) = 1 ) 500 1000 1.0343 1.0337 1.0716 1.0717 0.0041 0.0030 0.0036 0.0019 υ 2 ( 0 ) = 1.0742 ( σ 2 ( 0 ) = 1 ) 500 1000 1.0198 1.0250 1.0700 1.0720 0.0085 0.0060 0.0132 0.0062 υ 3 ( 0 ) = 1.0742 ( σ 3 ( 0 ) = 1 ) 500 1000 1.0713 1.0702 1.0715 1.0753 0.0079 0.0041 0.0156 0.0068 表5. ν = 15 的模拟结果 Table 6 The simulation results of ν = 3 参数 N EST1 EST2 MSE1 MSE2 π 1 ( 0 ) = 0.5 500 1000 0.4954 0.4969 0.4992 0.5002 0.0009 0.0003 0.0006 0.0003 π 2 ( 0 ) = 0.3 500 1000 0.2988 0.2980 0.2999 0.2999 0.0006 0.0003 0.0006 0.0003 μ 1 ( 0 ) = 2 500 1000 1.9782 1.9820 1.9990 2.0005 0.0071 0.0031 0.0056 0.0029 μ 2 ( 0 ) = 7 500 1000 6.9239 6.9310 6.9908 6.9984 0.0825 0.0121 0.0800 0.0166 μ 3 ( 0 ) = 11 500 1000 10.9558 10.9549 10.9939 10.9908 0.0354 0.0118 0.0350 0.0116 υ 1 ( 0 ) = 1.0351 ( σ 1 ( 0 ) = 1 ) 500 1000 1.0085 1.0098 1.0313 1.0331 0.0042 0.0030 0.0033 0.0024 υ 2 ( 0 ) = 1.0351 ( σ 2 ( 0 ) = 1 ) 500 1000 1.0116 1.0066 1.0309 1.0284 0.0113 0.0060 0.0110 0.0047 υ 3 ( 0 ) = 1.0351 ( σ 3 ( 0 ) = 1 ) 500 1000 1.0484 1.0487 1.0317 1.0337 0.0102 0.0041 0.0168 0.0053 表6. ν = 30 的模拟结果 υ 2 、 υ 3 外，混合t-分布模型参数估计的均方误差比混合高斯分布模型参数估计的均方误差小；在 ν = 30 时，除 υ 3 外，混合t-分布模型参数估计的均方误差均比混合高斯分布模型参数估计的均方误差小。此外，随着自由度的增大，混合t-分布模型参数估计的均方误差变小；整体来看，样本量越大，MSE越小，估计结果越好。 4.3. 含噪声的混合高斯数据 混合t-分布模型相对于混合高斯模型有着较好的稳健性，这种稳健性尤其体现在对重尾数据(含噪声点、异常点数据)的处理。而处理重尾数据的另一种方法是在高斯分布的基础上添加一个均匀分布的成分 [ 6 ] 。因此，我们在双高斯数据的基础上添加一个均匀分布的部分作为重尾数据，再分别用混合t-分布模型和混合高斯模型进行拟合并作比较。因为前两小节已经对自由度、样本量进行了研究比较，在这一小节我们不再考虑此二者的影响。取噪声所占比例分别为5%和10%，混合比例 π 1 = 0.5 、 π 2 = 0.3 ，自由度 ν = 15 ，样本量 N = 1000 。重复模拟1000次，模拟结果如表7和表8。 由表7、表8知： 通过比较两种模型下参数的估计结果和均方误差我们可以得到，混合t-分布模型对该类型数据拟合的较好，尤其对混合比例、位置参数的估计都较混合高斯分布模型估计的效果好。而对于尺度参数的估计，混合高斯模型拟合下得到的参数的均方误差略小，但相差不大。因此相对于混合高斯分布，混合t-分布模型可以更好的拟合含噪声的混合高斯数据，这也正说明了混合t-分布模型较于混合高斯模型能够更好地处理重尾数据。 Table 7 Mixed Gaussian data with 5% noise 参数 EST1 EST2 MSE1 MSE2 π 1 = 0.5 0.4911 0.4944 0.0001 0.0001 π 2 = 0.3 0.2988 0.3001 0.0001 0.0001 μ 1 = 2 1.9774 1.9960 0.0031 0.0026 σ 1 = 1 1.0187 1.0426 0.0019 0.0038 μ 2 = 7 6.9379 7.0000 0.0100 0.0057 σ 2 = 1 1.0246 1.0412 0.0046 0.0075 μ 3 = 11 10.9821 11.0173 0.0118 0.0101 σ 3 = 1 1.0699 1.0543 0.0098 0.0110 表7. 含噪声5%的混合高斯数据 Table 8 Mixed Gaussian data with 10% noise 参数 EST1 EST2 MSE1 MSE2 π 1 = 0.5 0.4841 0.4885 0.0003 0.0002 π 2 = 0.3 0.3005 0.2994 0.0001 0.0001 μ 1 = 2 1.9663 1.9914 0.0044 0.0030 σ 1 = 1 1.0483 1.0776 0.0042 0.0086 μ 2 = 7 6.9231 6.9857 0.0122 0.0062 σ 2 = 1 1.0624 1.0674 0.0086 0.0111 μ 3 = 11 11.0148 11.0341 0.0144 0.0120 σ 3 = 1 1.1078 1.1083 0.0172 0.0226 表8. 含噪声10%的混合高斯数据