system: [SYSTEM]

user: 2. 研究方法 2.1. 密度敏感稳健模糊核主成分分析算法 密度敏感稳健模糊核主成分分析(DRF-KPCA)算法扩展自RKF-PCA算法，通过引入相对密度获取初始隶属度，以及优化重构误差算法自适应地对样本进行隶属度加权，同时利用核方法对数据中非线性信息提取的优势，得到更有效率、更稳健地特征提取 [ 16 ]。 设样本集 { x 1 ， x 2 ， ⋯ ， x m } ⊂ R n ，核函数通过变换 Φ 将样本 x i 映射到特征空间中的 Φ ( x i ) ，赋予隶属度 μ i 后可得空间中的协方差矩阵 C 为 C = 1 ρ ∑ i = 1 m ( μ i p / 2 Ψ ( x i ) ) ( μ i p / 2 Ψ ( x i ) ) ′ ， (1) 其中p是模糊度系数， ρ = ∑ i = 1 m μ i p ， Ψ ( x i ) = Φ ( x i ) − 1 ρ ∑ k = 1 m μ k p Φ ( x k ) 。 令 ν 是 C 属于特征值 λ 的特征向量，即有 C ν = λ ν . (2) 通常情况 Ψ ( x i ) Ψ ( x i ) ′ 难以直接通过计算获取，可定义一个 m × m 的矩阵 K ¯ ，如式(3)所示 K ¯ = [ K ¯ i j ] ， (3) 其中 K ¯ i j = ( μ i p / 2 Ψ ( x i ) ) ′ ( μ j p / 2 Ψ ( x j ) ) ，   i ， j = 1 ， 2 ， ⋯ ， m 。综合式(1)和(2)得 K ¯ α ¯ = ρ λ α ¯ ， (4) ν = ∑ i = 1 m a i μ i p / 2 Ψ ( x i ) ， (5) 这里 α ¯ = ( a 1 ， a 2 ， ⋯ ， a m ) ′ ， a i = 1 λ ρ ( μ i p / 2 Ψ ( x i ) ) ′ ν ， i = 1 ， 2 ， ⋯ ， m 。 解式(3)、(4)和(5)就能得到特征值和特征向量，测试样本在特征空间中的投影为 ( ν ， Ψ ( x j ) ) = ∑ i = 1 m a i μ i p / 2 ( Ψ ( x i ) ) ′ ( Ψ ( x j ) )       ，           j = 1 ， 2 ， ⋯ ， m . (6) 在重构误差意义上，DRF-KPCA可以表示为以下模型 min         ∑ i = 1 m ( μ i ‖ Ψ ( x i ) − V V ′ Ψ ( x i ) ‖ 2 + σ 2 ( μ i log μ i − μ i ) )     ，               s .t .             V ′ V = I ， (7) 其中 V 为由前q个最大特征值对应的特征向量构成的投影矩阵， I ∈ R q × q 为单位矩阵， σ 2 为正则化控制参数。 通过优化理论中的拉格朗日方程，隶属度 μ i 有式(8)的解析形式 μ i = exp ( − 1 σ 2 ‖ Ψ ( x i ) − V V ′ Ψ ( x i ) ‖ 2 ) ，             i = 1 ， 2 ， ⋯ ， m . (8) 分析式(7)和(8)可以发现，对重构误差较大的样本，其隶属度随着重构误差增大而取值越小，而重构误差较小的样本其隶属度取值较大。 为解决PCA算法对初始值敏感的问题，文献 [ 16 ] 引入相对密度获取样本初始隶属度，训练样本 x i 的相对密度 d i 定义如下 d i = exp { ω × P a r ( x i ) ς } ，               i = 1 ， 2 ， ⋯ ， m ， (9) 其中 P a r ( x i ) = 1 m ∑ j = 1 m ( 1 ( 2 π ) n s exp ( − 1 2 s ‖ x i − x j ‖ 2 ) ) ， ς = 1 m ∑ i = 1 m P a r ( x i ) ， ω 为权重，s是Parzen-window的平滑参数。 2.2. 基于DRF-KPCA的多维面板数据的聚类分级 为保证重构空间准确地描述系统状态的演化轨迹，通常会选择多维面板数据为研究对象。当多个指标变量所代表的状态间相关性较强时，需要先对面板数据进行降维后才能进行聚类分析 [ 17 ]。 假定有m个研究对象组成聚类集合 { X ( 1 ) ， X ( 2 ) ， ⋯ ， X ( T ) } ，其中矩阵 X ( t ) = [ x i j ( t ) ] ，这里 x i j ( t ) 表示第i个研究对象在第t个时间内的第j个指标数值( i = 1 ， 2 ， ⋯ ， m ， j = 1 ， 2 ， ⋯ ， n ， t = 1 ， 2 ， ⋯ ， T )。通常，不同指标数值之间差异明显，于是令 x i j ∗ ( t ) = x i j ( t ) − x ¯ ⋅ j ( t ) v a r ⋅ j ( t ) ，                   i = 1 ， 2 ， ⋯ ， m ，             j = 1 ， 2 ， ⋯ ， n ，               t = 1 ， 2 ， ⋯ ， T ， (10) 其中 x ¯ ⋅ j ( t ) = 1 m ∑ i = 1 m x i j ( t ) ， v a r ⋅ j ( t ) = 1 m − 1 ∑ i = 1 m ( x i j ( t ) − x ¯ ⋅ j ( t ) ) 2 。即用标准化数据代替原始尺度，以消除 各指标间量纲的影响，则第t个时间内研究对象的指标矩阵为 X ∗ ( t ) = [ x 11 ∗ ( t ) x 12 ∗ ( t ) ⋯ x 1 n ∗ ( t ) x 21 ∗ ( t ) x 22 ∗ ( t ) ⋯ x 2 n ∗ ( t ) ⋮ ⋮ ⋱ ⋮ x m 1 ∗ ( t ) x m 2 ∗ ( t ) ⋯ x m n ∗ ( t ) ] . (11) 通过运行DRF-KPCA算法获得 X ∗ ( t ) 在低维上的映射 Y ( t ) = [ y 11 ( t ) y 12 ( t ) ⋯ y 1 z ( t ) y 21 ( t ) y 22 ( t ) ⋯ y 2 z ( t ) ⋮ ⋮ ⋱ ⋮ y m 1 ( t ) y m 2 ( t ) ⋯ y m z ( t ) ] . (12) 这里对每个截面矩阵取z个指标主成分，使得累计方差贡献率达到85%以上。根据多维面板数据的聚类思想，计算各个时间截面的样本综合评价函数，如下所示 F i ( t ) = w 1 ( t ) y i 1 ( t ) + w 2 ( t ) y i 2 ( t ) + ⋯ + w z ( t ) y i z ( t ) ， (13) 其中 F i ( t ) 为第i个研究对象在第t个时间内的综合评价函数，指标主成分贡献率为 w j ( t ) = λ j ( t ) ∑ i = 1 z λ i ( t ) ，             j = 1 ， 2 ， ⋯ ， z ，           t = 1 ， 2 ， ⋯ ， T ， (14) 这里 λ j ( t ) 为协方差矩阵的特征值，并且将其排列，即 λ 1 ( t ) ≥ λ 2 ( t ) ≥ ⋯ ≥ λ z ( t ) 。 最后构建综合评价函数序列矩阵 F i = ( F i ( 1 ) ， F i ( 2 ) ， ⋯ ， F i ( T ) ) ，           i = 1 ， 2 ， ⋯ ， m . (15) 选择欧式距离 d ( F i ， F j ) = ∑ t = 1 T ( F i ( t ) − F j ( t ) ) 2 来表示第i个对象与第j个对象之间的差异，从而对 面板数据进行层次聚类，基于DRF-KPCA的多维面板数据的聚类算法流程见表1。 Table 1 Algorithm flow of “DRF-KPCA + Hierarchical Clustering 输入：成员集合 { X ( 1 ) ， X ( 2 ) ， ⋯ ， X ( T ) } ⊂ R m × n ，核函数K及其参数，模糊度系数p，保留维度q，正则化控制参数 σ 2 ，Parzen-window的平滑参数s，权重 ω ，隶属度阈值 η 和迭代的最大次数 k max 。 输出：聚类树状图及聚类结果。 步骤1 根据式(10)计算标准化矩阵 X ∗ ( t ) ， t = 1 ， 2 ， ⋯ ， T ； 步骤2 对 X ∗ ( t ) 运行DRF-KPCA算法得到 Y ( t ) ， t = 1 ， 2 ， ⋯ ， T ； 步骤2.1令 k = 0 ，通过式(9)求出相对密度 d i ，赋值给初始隶属度 U 0 = { d 1 ， d 2 ， ⋯ ， d m } ； 步骤2.2根据式(3)、(4)和(5)求出特征值 λ 1 k ， λ 2 k ， ⋯ ， λ q k 和对应的特征向量 ν 1 k ， ν 2 k ， ⋯ ， ν q k ； 步骤2.3令 k = k + 1 ，根据式(7)和(8)，计算重构误差和新的隶属度 U k = { μ 1 k ， μ 2 k ， ⋯ ， μ m k } ； 步骤2.4如果满足收敛条件 max 1 ≤ i ≤ m | μ i k − 1 − μ i k | < η 或 k > k max ，则迭代结束，否则转向步骤2.2； 步骤2.5根据式(6)得到研究变量在低维空间中的表示。 步骤3 根据式(13)、(14)和(15)计算综合评价函数序列矩阵 F i ， i = 1 ， 2 ， ⋯ ， m ； 步骤4 选择矩阵间的距离公式，对m个研究对象进行聚类分级。 表1. “DRF-KPCA + 层次聚类”算法流程 2.3. 基于DRF-KPCA的面板顺序Logit模型 由基于DRF-KPCA的多维面板数据的聚类分级，我们得到关于研究对象的定性分类结果，如果我们还关心影响分类结果的因素贡献，可以引入离散变量构建面板多值选择模型。Logit回归是一种分类模型，采用Sigmoid函数作为后验概率分布函数对数据集进行分类。面板Logit模型由于同时使用截面数据和时间序列数据，既可以控制个体异质性，也可以对风险进行预警，从模型中分析影响风险的因素 [ 18 ]。 假设风险状态被设定为一个不可观测的潜在变量 y i t ∗ ，而 y i t 为可观察到的风险的分类状态， r 1 ， r 2 ， ⋯ ， r J 为每一风险状态下的阈值。因此，分类状态 y i t 可以看作潜在变量 y i t ∗ 和阈值r共同生成的离散变量，构建的顺序Logit模型如下 y i t = { 0       ， y i t ∗ ≤ r 1 ，   1         ， r 1 < y i t ∗ ≤ r 2 ， 2       ， r 2 < y i t ∗ ≤ r 3 ，   ⋮                         ⋮ J     ， y i t ∗ ≥ r J ， (16) y i t ∗ = x ′ i t β + u i + ε i t ， (17) 其中 i = 1 ， 2 ， ⋯ ， m ，   t = 1 ， 2 ， ⋯ ， T ， r 1 < r 2 < ⋯ < r J ， x i t 是用来描述第i个研究对象在第t个时间内可观测特征的解释向量， β 是回归系数。 u i 为不随时间改变及不可观测且对潜在变量有影响的个体效应，用于刻画不同对象的个体异质性。 ε i t 为随机干扰项，服从Logistic分布，其累积分布函数为 F ( φ ) = exp ( φ ) 1 + exp ( φ ) . (18) 假设 u i 的密度函数为 g ( u i ) ，第i个对象的条件分布为 f ( y i 1 ， y i 2 ， ⋯ ， y i T | x i t ， β ， u i ) = ∏ t = 1 T ∏ j = 0 J π i t j τ i t j ， (19) 其中 π i t 0 = P ( y i t = 0 | x i t ， β ， u i ) = exp ( r 1 − x ′ i t β − u i ) 1 + exp ( r 1 − x ′ i t β − u i ) ， (20) π i t 1 = P ( y i t = 1 | x i t ， β ， u i ) = exp ( r 2 − x ′ i t β − u i ) − exp ( r 1 − x ′ i t β − u i ) [ 1 + exp ( r 2 − x ′ i t β − u i ) ] [ 1 + exp ( r 1 − x ′ i t β − u i ) ] ， (21) π i t 2 = P ( y i t = 2 | x i t ， β ， u i ) = exp ( r 3 − x ′ i t β − u i ) − exp ( r 2 − x ′ i t β − u i ) [ 1 + exp ( r 3 − x ′ i t β − u i ) ] [ 1 + exp ( r 2 − x ′ i t β − u i ) ] ， (22) ⋮ π i t J = P ( y i t = J | x i t ， β ， u i ) = 1 1 + exp ( r J − x ′ i t β − u i ) ， (23) τ i t j = { 1     ， y i t = j ，     0     ， 其 它 . (24) 这里 i = 1 ， 2 ， ⋯ ， m ， t = 1 ， 2 ， ⋯ ， T ， j = 0 ， 1 ， ⋯ ， J 。于是， ( y i 1 ， y i 2 ， ⋯ ， y i T ) 的概率密度 f ( y i 1 ， y i 2 ， ⋯ ， y i T ) = ∫ − ∞ ∞ f ( y i 1 ， y i 2 ， ⋯ ， y i T | x i t ， β ， u i ) g ( u i ) d u i . (25) 假设不同研究对象的观测值相互独立，则构建顺序Logit模型的对数似然函数为 log L ( β ) = ∑ i = 1 m log f ( y i 1 ， y i 2 ， ⋯ ， y i T ) . (26) 施加概率和为1的约束 ∑ j = 0 J π i t j = 1     ( i = 1 ， 2 ， ⋯ ， m ，       t = 1 ， 2 ， ⋯ ， T ) ，最大化此似然函数，即得到对 β 的随机效应Logit估计量。上述积分没有解析解，可以使用Gauss-Hermite quadrature方法进行数值积分。