system: [SYSTEM]

user: 5. 政府工作报告省域可分性 5.1. 省域文档大数据可分性分析 政府工作报告的省域可分性是指，以报告所属省市为标签，以全国所有的报告文档为分析对象，通过自然语言处理、机器学习和深度学习的方式，使用部分已知标签的文本训练出分类模型，能够对未知标签的文本进行分类并达到一定的分类准确指标。本文通过将每个报告文本embedding为一个数学向量，这些向量在空间中的各个维度即为报告文本通过深度神经网络学习到的文本特征，具有相同维度特征的文本向量即可使用传统机器学习如分类回归树的方式，将带省市标签的报告文本向量组成的矩阵划分为训练、测试集，论证政府工作报告的省域可分性。 对政府工作报告文档嵌入向量进行分类的机器学习算法为XGBoost。底层算法分类回归树(classification and regression tree，CART)使用决策二叉树，树节点的划分指标是平方损失函数，通过不断地基于特征值将树的叶结点进行分裂，最终得到一个可以正确分类的二叉树预测模型，如结点是基于第j个特征值分裂，数据点在该特征值上小于等于分界点s划为左子树，大于为右子树 [ 12 ]，即： R 1 ( j ， s ) = { x | x ( j ) ≤ s } ， R 2 ( j ， s ) = { x | x ( j ) > s } XGBoost将许多CART集成联合得到总输出，这种许多使用同一模型、效果不佳的弱分类器，联合在一起使得它们组成一个分类效果超过它们中任一一个弱分类器的强分类器的算法思想为Boosting [ 13 ]。XGBoost支持在特征粒度上并行计算，这使得其对具有高纬度特征的文档向量非常友好，并且其支持列抽样。XGBoost在机器学习领域的天池、Kaggle和DataCastle的比赛中屡获大奖，模型的准确性得到实际检验。不同维度的文档嵌入同胚具有相同数目的相对坐标，对政府工作报告文档大数据进行标签文档训练、预测时，可利用XGBoost算法准确、快速、多线程并行计算的优点，研究不同省份的报告文档是否具有明显的可区分性。 5.2. 省域可分性实验结果与因素分析 以31个省和直辖市为标签，使用最佳嵌入维度的政府工作报告文档向量模型，3/4训练、1/4预测，评估各省市政府工作报告是否具有明显可分性，统计各省的预测指标见表1。不同的省份具有不同的经济、文化、产业、自然环境、民族、宗教、饮食和方言等特色 [ 14 ]，因此不同的地方政府在其政府工作报告中，具体到自身的特色会有相应的区分于其它报告的报告内容，例如西藏自治区的“藏药保护和开发”就不大可能出现在其他省市的政府工作报告中。 图4. 政府工作报告不同滑动窗口下的省域可分性 从表中可以看出，不同地区政府工作报告的省域区分度并不相同。这不仅与各省特色是否鲜明，还与各省省会首位度、省内经济发展阶段分布情况有关。在固定滑动窗口为10、嵌入维度区间为[100，2000，10]，对各省市的省域区分度分类指标进行统计；在固定嵌入维度为800、滑动窗口区间为[5，30，1]，对各省市的省域区分度分类指标进行统计。图4为选取的青海、浙江、重庆、辽宁四个省和直辖市(以下简称省市)相同嵌入维度不同滑动窗口的省域可分性示例，图5为相同滑动窗口不同嵌入维度的省域可分性。 通过深度学习的方式训练政府文档嵌入向量，得到政府文档嵌入同胚后通过文档嵌入损失，全国所有省市政府工作报告在维度为1062和滑动窗口为17上训练得到其最佳嵌入维度的文档嵌入向量，可将各省市的政府工作报告进行有效区分。文档嵌入流形空间的维数并不是指通常意义上的平面直角坐标系的维数，它是拓扑意义下的和嵌入流形微分同胚的欧式空间维数，即流形的维数。本文实验得出的政府工作报告最佳嵌入维度的结论，指非线性流形的维数。 图5. 政府工作报告不同嵌入维度下的省域可分性 Table 1 Provincial severability under the optimal dimension of government work repor F1值 准确率Accuracy 召回率Recall 精确度Precision F1值 准确率Accuracy 召回率Recall 精确度Precision 中央 1.000 1.000 1.000 1.000 江西 0.974 0.997 0.980 0.967 上海 0.990 1.000 0.980 1.000 河北 0.939 0.995 0.950 0.927 云南 0.991 1.000 0.982 1.000 河南 0.881 0.997 0.804 0.974 内蒙 0.985 0.998 1.000 0.970 浙江 0.980 0.998 0.983 0.977 北京 0.939 0.997 0.939 0.939 海南 0.985 1.000 0.971 1.000 吉林 0.968 0.998 0.955 0.981 湖北 0.996 1.000 1.000 0.992 四川 0.982 0.998 0.985 0.978 湖南 0.857 0.998 0.750 1.000 天津 0.929 0.998 0.886 0.975 甘肃 0.969 0.998 0.951 0.987 宁夏 0.958 0.999 0.958 0.958 福建 0.989 0.999 1.000 0.979 安徽 0.978 0.998 0.969 0.987 西藏 1.000 1.000 1.000 1.000 山东 0.967 0.996 0.978 0.957 贵州 1.000 1.000 1.000 1.000 山西 0.980 0.999 0.974 0.987 辽宁 0.954 0.995 0.978 0.931 广东 0.981 0.997 0.981 0.981 重庆 1.000 1.000 1.000 1.000 广西 1.000 1.000 1.000 1.000 陕西 0.982 0.999 0.964 1.000 新疆 0.963 0.999 0.929 1.000 青海 1.000 1.000 1.000 1.000 江苏 0.966 0.994 0.977 0.955 黑龙江 0.971 0.997 0.975 0.968 表1. 政府工作报告最优维度下的省域可分性 从图4、图5中可以看出，各省的省域区分度分类指标取得最优时的文档嵌入维度和滑动窗口大小并不相同，主要原因有： · 各省省情不一，例如西藏、宁夏等作为少数民族自治区，政府工作侧重民族区域自治，报告内容自然与其他省市不同； · 各省语言风格不同，为使政府工作报告接地气、入民心，各地官话、晋、湘、赣、吴、闽、粤、客语八大方言 [ 15 ] 本地特色的语料不同程度地进入到当地的政府工作报告中。 政府工作报告因其主要陈述政府一年来的工作政绩、来年的重点工作内容，这些结构性因素使得它们的行文分段往往在框架上具有相似性。从报告的结构和内容来看，虽然不同省市、不同行政级别的报告内容和结构相似，但因其填充的具体报告内容是结合当地一年来的工作回顾、当年工作任务和政府自身建设，如同在同一词牌名下的宋词，虽其韵律字数高度一致，但用词写意是不同的，因此在使用文档向量的方式表示各个政府工作报告后，报告的用词、造句、表文、达意这些细节就会映射到向量各维度的数值差异，因此使用深度神经网络解剖后的政府工作报告，可以通过传统机器学习分类回归树的方式将各省报告有效区分。 报告按照省(直辖市)进行省域可分实验而不是按照地级或市级实验，是由我国的行政划分决定的。当前除中央政府政策、指令和指示能覆盖全国以外，我国各地方政府的最高行政机关就属省部级的省(直辖市)一级了，因此在同一省(直辖市)下，各地的政府工作报告都会贯彻执行这一省部级的行政指令，因此全国所有省市的政府工作报告会以省域为分界线聚集成团。 结论2：全国31个省、直辖市、自治区的各级地方政府工作报告可以通过深度学习结合机器学习的方式有效地区分开。