system: [SYSTEM]

user: 3. 基于轨迹特征的面板数据关系聚类 构造测度关系距离相似性的指标，设定数据之间的关系结构距离，对原始数据序列 { y i t } 分类，可操作性强，理解上也比较直观，但是，运用距离的测度指标，没有刻画出数据的轨迹特征，对于从轨迹上或者数据特征上，对数据进行分类，此方法有局限性，本节将考虑从轨迹形状模式出发，测度数据之间的轨迹形状相似性，对数据从轨迹形状上聚合分类，此分类方法适合于建立高频数据的建模分析。 3.1. 离散数据平滑处理 对于一组m维的存在内生影响关系的面板数据序列，现对于固定截面i，构成的N条存在内生关系的时间序列 { y i t m } ， i = 1 ， 2 ， ⋯ ， N ; t = 1 ， 2 ， ⋯ ， T 数据，在时间维度上，设定m个变量在各自时间维度上形成的数据轨迹呈现的是线性或者非线性特征，但是变量之间存在的影响相应关系为内生的线性影响关系。面板数据为考虑时间和空间上的离散数据集，从数据本身结构和特征出发，对数据进行分析，需要将离散的数据平滑化处理 [ 5 ]，将离散数据转化为具有连续特征的函数性数据 [ 6 ]。 通常，用插值或者平滑的方法对对离散数据 { y i t } 进行平滑处理，若 { y i t } 与平滑函数 { f i ( t ) } 在t时刻数据完全相同，即 ‖ y i t − f i ( t ) ‖ = 0 ， 此转换为插值。 相应地，若 { y i t } 与平滑函数 { f i ( t ) } 在t时刻数据之间存在足够小，不为零的误差项 { ε i t } ，即 0 < ‖ y i t − f i ( t ) ‖ < ε i t ， 称此转换过程为平滑。 本文采用平滑的定义对离散数据进行处理，通过函数性数据的拟合构造，对离散数据转化为函数性数据。常规离散数据函数性预处理方法有：线性平滑方法，基函数法，局部加权平滑法，粗糙惩罚法等，这里将针对本文要采用的基函数法进行简要的介绍。 3.2. 基函数确定 基函数定义：寻求能够有效拟合原始数据的函数 φ k ( t ) ( k = 1 ， 2 ， ⋯ ， K ) 满足： y i t = ∑ k = 1 K α k φ k ( t ) ，   ( k = 1 ， 2 ， ⋯ ， K ) 其中， α k 为待估计的系数向量， φ k ( t ) ( k = 1 ， 2 ， ⋯ ， K ) 为基函数。 3.3. 基函数系数向量的估计 现假定基函数已经确定，在基函数确定，且在观测点t上，由基函数计算出的数据矩阵 Φ = ( φ k ( t ) ) N × K 为满秩矩阵，N为截面个数，构造基于N个截面数据的残差平方和指标 S S E ( y / α ) = ( y − Φ α ) ′ ( y − Φ α ) ， (10) 其中， y = ( y 1 ， y 2 ， ⋯ ， y N ) ′ ， α = ( α 1 ， α 2 ， ⋯ ， α N ) ′ 运用OLS方法得到系数向量矩阵的估计值为 α = ( Φ ′ Φ ) − 1 Φ ′ y . 3.4. 基于符号表示的相似性度量 考虑到本章节研究的数据为面板数据，若独立成N个截面数据序列来看，构成了N条时间维度上的时间序列数据，可以选用时间序列分析中的多项式混合模型，ARMA模型，ARIMA模型，Markov模型，TARCH模型，GARCH模型等，具体的模型设定模式，要以数据本身的特征来最终确定。本部分假定模型为ARMA模型，即设定 { y i t } 的数据生成过程为： y i t = y i ( t ) + u i t = ∑ k = 1 p ϕ i k y i ( t − k ) + ∑ l = 1 q θ i l ε i ( t − l ) . (11) 传统聚类方法通常通过构造距离指标，构造相关系数指标来测度数据之间的相似性关系，若关系距离足够近，则被聚合到其中的一类中，否则，继续计算距离关系，继续聚合。这种基于数值模式的相似性度量指标，有其局限性，比如容易受尺度的影响的强噪声数据，基于数值模式的相似性度量方法不再适用。本节将提出基于符号表示的相似性度量方法，构造考虑轨迹和形状特征的，适合于面板数据建模分析的聚类方法。 构造基于形状特征的相似性度量指标时，需要以下几个定义。 极值集：对于不同的截面个体， { y i t } 的光滑函数 { f i ( t ) } ， { y j t } 的光滑函数为 { f j ( t ) } ，若函数 { f i ( t ) } ， { f j ( t ) } 在时间维度T上连续且一阶可导，则 { f i ( t ) } ， { f j ( t ) } 在极小的领域内，一定存在相似的极值特征。记此极值特征为极值描述，用 M ( f ( t ) ) 表示， M ( f ( t ) ) = ( m 1 ， m 2 ， ⋯ ， m V ) ， 其中， m v = { 1 ，         第 v 个 顶 点 在   f ( t )   领 域 内 达 到 极 大 值 点 0 ，     第 v 个 顶 点 在   f ( t )   领 域 内 达 到 极 小 值 点 ，   v = 1 ， 2 ， ⋯ ， V 设 M ( f ( t ) ) 在一定领域内的顶点个数为 | M ( f ( t ) ) | 。 函数性数据等价关系定义：若两个函数性数据 { f i ( t ) } ， { f j ( t ) } 在任意相同领域 ( t ， t + 1 ) 内，均有 M i ( f ( t ) ) = M j ( f ( t ) ) ，则称函数 { f i ( t ) } ， { f j ( t ) } 为M等价。 共享最大子集长度：记 | M ( f i ( t ) ∩ f j ( t ) ) | ， 基于形状的相似性测度指标D， D ( f i ( t ) ， f j ( t ) ) = | M ( f i ( t ) ) | + | f j ( t ) | − | M ( f i ( t ) ∩ f j ( t ) ) | . (12) Salvatore Ingrassia (2003)已经证明该距离满足对称性，正定性，三角不等式关系，即： D ( f i ( t ) ， f j ( t ) ) ≥ 0 ， D ( f i ( t ) ， f j ( t ) ) = D ( f j ( t ) ， f i ( t ) ) ， D ( f i ( t ) ， f j ( t ) ) ≤ D ( f i ( t ) ， f k ( t ) ) + D ( f k ( t ) ， f j ( t ) ) . 3.5. 基于形状特征的函数性数据聚类 完成对离散数据的连续性拟合处理，构造了基于形状特征的相似性度量指标，在此基础上，将从数据本身曲线特征上，完成对N条时间序列数据，也称为面板数据的分类处理。 针对我国经济发展的特征和由此导致的数据特征，本部分选用K均值聚类方法，完成对基于形状特征的函数性数据的聚合过程。 聚类过程分为以下几个步骤 [ 7 ] [ 8 ]。 步骤一根据N组序列数据，估计未知函数 y i ( t ) ，实证分析时，要根据初步数据的曲线特征来进行。 步骤二：求解连续性数据序列的一阶导数 y ′ i ( t ) ，二阶导数， y ″ i ( t ) 从而求得 y i ( t ) 的极值集 M ( y i ( t ) ) 。 步骤三：计算 y i ( t ) ， i = 1 ， 2 ， ⋯ ， N 与“种子”样本序列的基于符号性数据的距离的最小值 D r ( y i ( t ) ) 。其中K个的类核心“种子”样本序列为 { y i k ( t ) ， k = 1 ， 2 ， ⋯ ， K } ， (13) 其中， D r ( y i ( t ) ) = min { D ( y i ( t ) ， y i k ( t ) ) ， k = 1 ， 2 ， ⋯ ， K } ， D ( y i ( t ) ， y i k ( t ) ) = | M ( y i ( t ) ) | + | y j k ( t ) | − | M ( y i ( t ) ∩ y j k ) | 代表序列数据间的符号性相似距离。 步骤四：按照系统聚类原理完成聚合过程。