system: [SYSTEM]

user: 5. 按月横排矩阵格式最优化分析 根据SVT算法中矩阵低秩的特性，即对于同样的数据秩最低时SVT填充效果最佳，根据优化方程式(1) Table 1 3 The error rate under different sampling rat 采样率 按月处理(竖排) 按月处理(横排) 按季处理(竖排) 按季处理(横排) 相对填充误差 相对填充误差 相对填充误差 相对填充误差 5% 97.37% 92.12% 97.43% 94.27% 10% 75.46% 70.62% 77.81% 79.56% 15% 70.03% 62.29% 76.68% 46.74% 20% 52.53% 28.38% 66.44% 33.09% 25% 43.39% 11.35% 52.27% 21.06% 30% 34.77% 8.17% 48.22% 13.31% 35% 24.63% 7.28% 30.46% 10.67% 40% 19.29% 5.38% 27.12% 8.66% 45% 13.73% 5.37% 20.35% 6.74% 50% 11.71% 4.34% 16.94% 6.22% 55% 9.56% 3.63% 13.52% 5.42% 60% 7.64% 3.17% 11.99% 4.53% 65% 6.21% 3.03% 8.87% 3.78% 70% 4.44% 2.33% 7.35% 3.64% 75% 3.42% 1.99% 5.86% 2.65% 80% 2.43% 1.53% 4.03% 2.27% 85% 1.66% 1.05% 2.56% 1.46% 90% 1.00% 0.77% 1.71% 0.99% 95% 0.55% 0.37% 0.82% 0.53% 100% 0.00% 0.00% 0.00% 0.00% 表13. 不同采样率下的误差率 Table 1 4 The error rate according to month 采样率 按月处理(竖排) 采样率 按月处理(横排) 50% 12.15% 25% 11.13% 51% 11.79% 26% 10.56% 52% 10.67% 27% 10.22% 53% 10.26% 28% 9.68% 54% 9.99% 29% 8.95% 55% 9.79% 30% 8.78% 表14. 按月处理误差率 可知，如果矩阵中数据采样对于给定的某个常数C满足 m ≥ C n 6 / 5 r log n ，上式就会以较高的概率( 1 − n − 3 )恢复出矩阵缺失元素。所以我们不妨定义一个矩阵恢复测度 ξ ： Table 1 5 The error rate according to season 采样率 按季处理(竖排) 采样率 按季处理(横排) 60% 11.54% 30% 13.81% 61% 11.09% 31% 11.46% 62% 10.51% 32% 11.24% 63% 10.25% 33% 11.21% 64% 9.41% 34% 10.88% 65% 9.35% 35% 9.70% 表15. 按季处理误差率 Table 1 6 The threshold sampling rat 数据结构 按月处理(竖排) 按月处理(横排) 按季处理(竖排) 按季处理(横排) 临界采样率 53.7% 27.3% 63.2% 34.7% 表16. 临界采样率 图7. 不同采样率下的误差率 ξ ∝ M m ⋅ r n ， (5) 其中，r为矩阵的秩且满足 r ≤ n ，n为矩阵行数和列数中的最小值，m为矩阵中已知数据个数，M为矩阵数据总个数即总行数和总列数的乘积。显然， ξ 越小，表明矩阵越易于恢复填充，相反 ξ 越大，表明 图8. 不同采样率下的误差率(细化) 矩阵越难于恢复填充。这一点很容易从直观上去解释，如果已知的数据个数m越大(其他参数固定)，显然矩阵需要填充的数据就越少，越容易填充，极限情况则是没有数据缺失 m = M ，填充率可达100%。相反，如果 m = 0 即没有已知数据，则 ξ → + ∞ 表示矩阵无法填充。另一方面，如果已知的数据个数m已定的情况下，矩阵的秩r越大， ξ 越大，表明矩阵越难于恢复填充，如果 r = n ，表示满秩，数据填充困难(如果有数据缺失的话)。相反，矩阵的秩r越小， ξ 越小，表明矩阵越易于恢复填充，如果 r = 1 ，且 n ≫ 1 时， ξ → 0 ，表明矩阵数据中只有一行或列就可以表出其他行列数据。特殊情况，如果 r = 0 ，表示矩阵为0矩阵，直接不必填充即可获得结果。 所以，我们只需证明按月横排数据时的矩阵具有最小的矩阵恢复测度 ξ 即可。 假定有T年数据，每年固定数据量为p个，每个数据包含q个变量(比如日期，最高气温，最低气温，温差，天气，风向，风力等q个要素)，这些数据按照时间顺序写成矩阵形式则为 X T p × q = [ x 1 ， 1   x 1 ， 2   ⋯     x 1 ， q x 2 ， 1   x 2 ， 2   ⋯     x 2 ， q ⋮ x p ， 1   x p ， 2   ⋯       x p ， q ⋮ x T p ， 1   x T p ， 2   ⋯   x T p ， q ] ， (6) 即为一个 T p × q 的矩阵，不过是按照时间先后序列按照行进行排列。 那么，根据我们本文提出的四种模式：按月竖排处理、按月横排处理、按季竖排处理、按季横排处理四种类型的数据，不同的方式得到的矩阵分别为： 按月竖排： X m o n ， T p × q = X T p × q ， (7) 按月横排： X m o n ， p × T q = [ x 1 ， 1   x 1 ， 2   ⋯     x 1 ， q   x p + 1 ， 1     ⋯     x ( T − 1 ) p + 1 ， q x 2 ， 1   x 2 ， 2   ⋯     x 2 ， q   x p + 2 ， 1     ⋯     x ( T − 1 ) p + 2 ， q ⋮                             ⋮ x p ， 1   x p ， 2   ⋯       x p ， q   x 2 p ， 1     ⋯         x T p ， q ] ， (8) 按季竖排： X s e ， T p × q = X T p × q ， (9) 按季横排： X s e ， p × T q = X m o n ， p × T q . (10) 可见，按月竖排处理和按季竖排处理具有相同的矩阵结构形式，按月横排处理和按季横排处理也具有相同的矩阵结构形式。不同的是(见本文3.3部分)按月处理与按季处理时数据的分级不同。把数据(这里我们不仅采用大连地区多年的气象观测数据，同时我们测试了沈阳、青岛、北京等三个城市的多年数据)代入到不同的各自矩阵形式中，进行SVD(奇异值分解)分解得到如下结构(其他矩阵类似，省略)： X m o n ， T p × q = U m o n ， T p × T p [ σ 1   ⋱       σ r 1 ] V ′ m o n ， q × q . (11) 在上述分解式(11)中取门限阈值(本文均取0.2)进行奇异值的阈值化处理，然后得到不同模式下的秩以及其他的参数，最终根据式(5)计算多个地方多年气象观测资料(沈阳、青岛、北京、大连四个城市历史资料)下的平均值，得到如下表结果(表17)： 所以，从理论分析及实验上来说按月处理(横排)对于气象数据矩阵的填充效果最佳。