DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 4. 结果和建议 4.1. 结果 经过近代中国以及世界经济形势的经验教训，房地产行业得到了越来越多的关注。因为近十年变化巨大的深圳房价，所以选择深圳市为典型案例进行分析。通过梳理房地产价格及影响因素的相关文献，反复查找资料，分析实验选取了深圳市大学生应届毕业人口数，年均商品房销售面积，人均可支配收入，居民消费价格指数四个变量。以2004~2013年深圳市房地产价格相关数据为被解释变量进行实证检验，在经过描述性检验，相关性检验，独立性检验之后得出上述四个变量对房地产价格的确实产生影响的实验结果以及创新点。 4.2. 相关建议 建议分别针对政府，开发商，消费者三个群体。对于深圳市政府，应该运用深圳自身地理，政策优势，更好更快地发展经济，努力建成更具改革开放引领作用的经济特区，争取到2020年时，GDP总量达到2.6万亿元，使得人民收入得到保证和提高，居民都可以有买房的能力，增加居民的可支配收入；同时搞好深圳市基础建设及周边开发，带动东莞，惠州等邻近城市，在城市交界处开发新住房并进一步配套地铁网，公交网等基础交通建设；最后政府应设立公租房以及提供福利房，投入更多关于基础公共租赁屋的前期建设和后期的管理，运营，根据不同的租用人群进行不同的，有针对的优惠，减轻承租者的生活负担，提升生活的质量。房地产公司制定不同的销售方案和方法。针对不同的客户提出对应的方案，吸引各个层次需求的客户。消费者可以根据本文的创新点了解到在整体物价上涨的时候，不要对房价产生畏惧和抵触心理，随时保持着对房地产的高度关注度，并且在消费价格指数上涨时抓住机遇。
system: [SYSTEM]

user: 摘 要 自20世纪90年代以来，由于我国资本市场的快速发展，给企业的融资提供了更多选择的渠道。融资不仅保证了企业所需要的资金，而且融资方式和频率的选择，将会影响企业的资本结构，进而影响了企业的业绩和企业价值。融资可以扩大企业的规模，创造更大的价值，但是企业的频繁过度融资会导致资本市场配置效率低下，并不能企业带来预期的经济利益。本文通过对中泰化学近几年频繁融资对其业绩的影响进行考察，发现企业2008年到2010年期间的融资给企业带来了良好的收益，使得企业得到快速的发展。而近几年中泰化学的频繁过度融资，使企业陷入了融资、扩张、再融资的一种循环，而此种循环并没有给企业带来预期的经济利益。本文通过对中泰化学财务报表的分析，来探究企业融资行为对其业绩的影响情况，从而为其他公司在进行融资时提供参考依据，提醒其他公司不要因为盲目融资而影响公司的长远发展。 关键词 :上市公司，企业融资，公司业绩，案例研究
system: [SYSTEM]

user: 1. 绪论 企业想要可持续发展下去则需要足够稳定的资金，所以融资的选择是企业应该重视考虑的事情。研究学者通过多调查得出，很多企业在经济环境等因素影响的情况下，由于外部融资资金的能力不高而使企业不得放弃许多有价值的投资项目，从而影响到了企业的发展 [ 1 ] 。因此，稳定资金的投入是保持企业可持续发展的重要因素。 如果企业为了加快发展而频繁过度的融资，这会导致资本市场配置效率低下，而且不能给企业带来预期的收益。上市企业在选择融资行为时，需要结合公司的切实需要和考虑公司的具体情况，再进行融资。我们以2006年12月8日在深圳证券交易所上市的中泰化学股份有限公司为例，企业在上市至今，多次融资共达150多亿。中泰化学前期的融资给企业提供了所需的资金，是企业快速发展；而其后期更为频繁融资，但是并没有达到企业预计的业绩。本文深入考察公司的背景情况和融资方式及频率，对企业的融资行为对其业绩的影响进行案例研究，为其他公司在进行融资时提供参考依据，提醒其他公司不要因为盲目融资而影响公司的长远发展。
system: [SYSTEM]

user: 2. 文献回顾 2.1. 融资方式对企业业绩的影响 国外对于上市公司增发新股对企业业绩的影响进行了大量的研究，并形成了增发新股对公司业绩有负面影响的结论 [ 2 ] 。Ritter [ 3 ] 通过对美国多家增发新股的企业进行研究得出：增发新股的企业几年后的回报率远远低于未增发新股的企业。Affleck-Graves [ 4 ] 也在企业增发新股对其业绩的影响方面得出和Ritter [ 5 ] 是相同的结果。通过对我国的上市公司融资行为的研究与调查，发现大部分上市公司都选择可以利用的股权进行再融资，上市企业存在着十分明显的股权融资偏好 [ 5 ] 。在我国，由于企业债券融资发行审批程序繁琐，限制了获得资金的时间，因此企业一般不会重视债券融资 [ 6 ] 。刘星 [ 7 ] 和刘力军 [ 8 ] 在对融资方式进行研究时发现：上市企业在进行融资时首先选择的是股权融资，这也说明了上市企业对股权融资的偏好。 2.2. 多种因素影响对融资方式的选择 Schwartz [ 9 ] 是从理论的角度来研究了通货膨胀对影响企业资本结构的影响，从而影响企业融资方式的选择。Nejadmalayeri [ 10 ] 使用Probit模型进行探究得出结论为：当通货膨胀这种情况变得越来越紧张时，债券融资方式被企业选择的可能就越低。Alrraazan [ 11 ] 进行研究发现，企业的资本结构是企业进行选择融资方式所形成的，因此行业的各种素会影响企业融资方式选择。陆正飞 [ 12 ] 通过对多家上市公司融资方式的研究发现，企业融资方式的选择会受不同的行业中各种因素的影响。苏冬蔚 [ 13 ] 研究宏观经济因素对上市公司资本结构的影响，在研究的过程中发现，外部融资环境对上市公司的融资偏好产生重要的影响，当外部融资环境变得宽松时，企业更偏好于选择内部融资的方式。
system: [SYSTEM]

user: 3. 案例介绍 3.1. 公司背景特征 中泰化学的全称为新疆中泰化学股份有限公司，中泰化学的代码是002092，它位于新疆乌鲁木齐市。2001年12月，中泰化学以发起方式设立，并且于2006年12月8日在深圳证券交易所上市，其上市时总股本为53686万股，总资产为42亿元。中泰化学的产品广泛应用于化工、石油等多个大行业，在中泰化学快速发展下使企业成为全国大型的氯碱化工企业之一。中泰化学在上市之后，为了加快企业的快速发展，则进行了多次的融资行为，为企业带来了客观的效益。但是之后几年的频繁过度融资，所投资的项目并没有给中泰化学带来预计的效益。中泰化学的有7家控股子公司，如下图1中所示的7家。 图1. 中泰化学7家控股子公司 中泰化学所处于新疆地区，新疆有着非常有利的自然资源，煤炭、原盐等资源十分丰富，并且这种优势使企业的原材料价格比较低，而且原材料也比较充足，这进而使得中泰化学产品的生产成本要低于行业的平均水平，因此地理位置的优势使得中泰化学具有明显的成本优势。并且中泰化学获得了煤矿区的煤炭探矿权，从而为企业长期的发展提供了充足的资源保证。中泰化学在拥有资源和成本优势的同时，企业不断快速发展，从而需要大量资金的投入，融资则是企业筹集资金中的重要手段，因此中泰化学开始频繁的融资行为。 3.2. 公司的融资情况 由于中泰化学利用企业的优势来迅速发展，在快速发展中需要的是大量的资金，中泰化学自2006年上市之后开始了频繁的融资。2006~2012年期间，中泰化学频繁进行融资，其中包括IPO、增发和发债等。如下表1所示。
system: [SYSTEM]

user: 5. 结论 根据研究表明，融资可以扩大企业的规模，创造更大的价值，但是企业的频繁过度融资会导致资本市场配置效率低下，并不能企业带来预期的经济利益。无论是权益性融资还是债务融资，企业的业绩都 Table 4 Analysis of 2006~2015 chemical and Thailand development ability inde 销售增长率 资本积累率 总资产增长率 2006 57.99% 169.01% 29.03% 2007 45.72% 99.77% 100.23% 2008 42.49% 4.77% 13.68% 2009 −3.08% 3.51% 57.55% 2010 22.69% 156.43% 29.30% 2011 74.52% 14.46% 58.01% 2012 −0.13% −5.25% 43.52% 2013 69.35% 20.40% 14.04% 2014 −7.21% 18.19% 24.79% 2015 36.56% 17.04% 16.75% 表4. 2006~2015年中泰化学发展能力指标分析 资料来源：中泰化学2006~2015年年报 Table 5 2006~2013 years of enterprise is expected to achieve the benefit 年份 产品 聚氯乙烯树脂(万吨) 离子膜烧碱(万吨) 销售收入(亿元) 2007 预计达到 28.8 23.6 >20 实际生产 30.48 24.97 24.09 2008 预计达到 42 35 >30 实际生产 40.31 31.69 34.32 2009 预计达到 42 35 34.72 实际生产 45.22 35.13 33.27 2010 预计达到 60 45 46.14 实际生产 51.32 40.02 40.81 2011 预计达到 80 60 68.91 实际生产 81.99 61.44 71.22 2012 预计达到 87.6 64.89 71.27 实际生产 89.77 67.28 71.13 2013 预计达到 148.8 104.43 129.74 实际生产 153.60 108.64 120.46 2014 预计达到 156.99 110.50 127.88 实际生产 169.29 111.76 111.77 2015 预计达到 154.29 105.67 137.82 实际生产 161.47 113.66 152.63 表5. 2006~2013年企业预计与实现的效益 资料来源：中泰化学2006~2015年年报 Table 6 Chemical and Thailand financing and accounting (Unit: Hundred Million 年份 IPO 公开增发A股 非公开发行股票 非公开定向债券融资工具 债券 2006 6.32 – – – – 2007 – 10 – – – 2010 – – 37.99 – – 2011 – – – – 13 2012 – – – 55 13 2013 – – 15.99 5 – 2014 – – – – 5 2015 – – – 5 15 合计 6.32 10 53.98 65 46 占总融资 额比率 3.49% 5.52% 29.77% 35.85% 25.37% 表6. 中泰化学融资方式及其占比(单位：亿元) 资料来源：中泰化学2006~2015年年报 Table 7 Chemical and Thailand financing and accountin 年份 融资方式 上年净利润相比 毛利润 主营业务利润率 总资产净利率 净资产收益率 2006 权益 12，807.8 22.7% 21.9% 6.72% 15.20% 2007 权益 增长 增长 增长 增长 下降 2008 下降 下降 下降 下降 下降 2009 下降 下降 下降 下降 下降 2010 权益 增长 增长 增长 增长 增长 2011 债务 增长 增长 下降 增长 增长 2012 债务 下降 下降 下降 下降 下降 2013 权益 下降 增长 增长 下降 下降 2014 债务 增长 增长 增长 增长 增长 2015 债务 下降 下降 下降 下降 下降 表7. 中泰化学融资方式及其占比 资料来源：中泰化学2006~2015年年报 存在一定的下降，权益融资对企业业绩的影响时间比追求融资对其的影响时间更长久。本文通过对中泰化学近几年频繁融资对其业绩的影响进行考察给出以下建议与意见。首先，企业在考虑融资时，要根据企业当时所处的环境，是否真的适合投资，并且要对投资的项目与融资方式的选择进行严格的审核。其次，在进行融资时给出以下几点建议：第一，慎重考虑与选择融资方式与次数。融资方式的选择对企业业绩的影响十分重要，各种融资方式各有优点。股权融资可以预防大股东控制公司从而形成“内部人控制”的情况，因此有利于公司形成良好的管理体制；而债券的优点是灵活性较强，能更符合融资者的需求。第二，加强募集资金的投资与管理。如果募集得资金不能用于可行性的项目，而只是满足股东或者管理者的私利，甚至予以闲置，那么融资反而会对公司产生不好的影响。第三，慎重选择投资项目。项目选取是否合适对企业是否能达到预计的效益具有关键的作用，企业要慎重选择。 通过对中泰化学频繁融资对其企业业绩影响的分析，并且对此提出的建议，希望能为其他公司在进行融资时提供参考依据，提醒其他公司不要因为盲目融资而影响公司的长远发展。
system: [SYSTEM]

user: 摘 要 短期预测的时间间隔为15分钟，但从秒级到分钟级的风电功率波动信息对电力系统的控制尤为重要，本文从幅值、小波、信息熵三方面，研究了不同时间间隔下风电波动信息损失的规律。首先，基于某风电场的实测数据，对比了不同时间间隔下风电功率波动的变化情况，发现较大时间间隔下损失的多为高频信息。然后对风电功率的幅值进行分析，指出了随时间间隔的增大，信息损失会越来越大。再基于小波变换和相关性分析，发现了每台机组损失频段的一致性，证明了高频分量的损失及其在波动分析中的重要性。接着运用信息熵理论，说明了随时间间隔的增加，波动信息的混乱程度会降低，同时价值也会降低。接下来，通过对不同时间间隔功率预测误差的对比，发现时间间隔越大，预测误差越大。最后，基于以上的分析，总结了风电波动信息损失的影响。为风电功率波动的进一步研究，提供了新思想。 关键词 :风电功率，不同尺度，信息损失，小波分析，信息熵
system: [SYSTEM]

user: 1. 引言 随着能源问题的日益加剧，分布式发电技术特别是风力发电技术正在快速的发展。而风电的波动性和随机性，给风电并网造成很大的困难。风电并网给电力系统带来的主要挑战有：风电并网引起的电网电压波动问题、电网谐波污染、低电压穿越问题、电力系统的频率稳定性问题等。要克服以上的困难，则需要对风电波动特性进行深入研究，进而对风电功率进行较为精确的预测。 对于风电功率波动特性，国内已有较多的研究，文献 [ 1 ] 对风电出力波动性进行了概述，说明了风电功率波动产生的机理及研究方向。文献 [ 2 ] 从相关性和平滑性两个方面，研究了不同时空尺度下，风电出力波动性的统计学规律，并用华北地区的实测数据对风电功率波动概率分布模型进行了检验。文献 [ 3 ] 做了基于概率统计的风电波动性研究，并对去波动化的对策进行了探讨。对于风电功率的预测，更是已从多方面用不同种方法进行了深入的研究。文献 [ 4 ] [ 5 ] 用数据挖掘结合其它智能算法对风电功率进行短期预测。文献 [ 6 ] 运用小波分析结合时间序列进行了短期预测算法的优化研究。就目前来说，多种智能算法结合的预测方法预测的精准性更加高。 依据《风电功率预测系统功能规范》 [ 7 ] ，无论是短期预测还是超短期预测，时间分辨率不小于15 min。在大多数预测中，也都是以分钟级的数据进行预测的，而风电功率的波动存在瞬变性，从秒级的数据到分钟级的数据明显存在波动信息的损失，且根据国际风能协会(International Wind Agency)所给出的风电并网后可能会对电力系统造成的影响 [ 8 ] ，从秒级到分钟级的风电功率波动信息对电力系统实时有功平衡和电压控制尤为重要 [ 9 ] ，但在这方面国内外研究甚少。本文以不同时间间隔作为标杆，讨论风电功率的波动信息损失，从数值特征上进行分析并给出描述。并对波动使用小波分析，比较不同时间间隔下不同波段的分布情况，进行功率损失程度的量化分析。以信息熵的大小作为衡量标准，描述风电功率信息波动情况。然后，对风电功率在不同时间间隔下进行预测，分析波动信息损失对预测的影响。本研究对风电功率预测的精度提高有一定的指导意义，对风电并网更加安全运行。
system: [SYSTEM]

user: 2. 不同时间尺度下风电功率波动的对比 以风电功率数值的差分描述风电功率的波动如下式： (1) 其中， 为 时风电场的输出功率， 为功率变化量，即功率的波动。 下面依据某风场的风电功率的5秒级数据，以某个时间间隔取一个点，得到5秒级、1分钟级、5分钟级、15分钟级四个时间间隔的数据，四个时间间隔的风电功率波动变化情况如下图1所示。 由以上的对比图可以看出，损失的信息主要为高频信息。同时，随着时间间隔的增大，风电功率波动的高频信息损失的越来越多，直至15分钟级数据，使波形产生了一定程度上的失真。那么，在不同时间间隔下到底损失了多少信息？怎样对损失信息进行描述？本文从以下三个方面进行讨论。
system: [SYSTEM]

user: 3. 波动幅值损失的分析 由以上分析，可知风电功率的幅值信息会由于时间间隔的增大有所损失，而损失的大多为高频信息。如表1所示，可以发现，随着时间间隔的增大，风电功率的方差越来越小，即表现在功率曲线上，波动程度越来越小。 本文通过功率波动之差来定义波动信息在幅值上的损失，如5 s到1 min的幅值损失如下式： (2) 其中， 与 分别表示时间间隔5 s和1 min的功率波动值。 以某风电场的某一机组为例，5 s和1 min的波动情况如图2所示，5 s到1 min的幅值损失情况如图3所示。 由图2可知，在5 s到1 min的变化过程中差分波动的损失主要集中在−10~10的差分上，分布近似于t分布。
system: [SYSTEM]

user: 4. 基于小波变换的损失波段的研究 4.1. 小波变换 小波分析建立在调和分析、泛函分析和傅里叶分析的理论基础上，具有时频多分辨功能。它是用一个合适的母小波 通过时间轴上的位移、放缩和幅度的变化产生一系列的派生小波，用系列小波对要分析的信号进行时间轴上的平移比较，获得用以表征信号与小波相似程度的小波系数。 4.2. 分析方法 首先，将差分后的功率曲线运用小波变换进行一维多尺度分解。分解原理是：首次分解将原始数据 Table 1 The variances of wind power in different time scal 时间间隔 5 s 1 min 5 min 15 min 方差 4.2372e+07 4.2297e+07 4.2259e+07 4.1939e+07 表1. 各时间间隔下风电功率的方差 图1. 5 s、1 min、5 min、15 min四个时间间隔的风电功率波动 图2. 某风电机组发出风电功率的波动情况 图3. 5 s到1 min的幅值损失情况 均分为高频分量和低频分量，再逐层均分高频分量，得到 次的高频分量和低频分量，每分解一次，得到相应的高频系数(细节系数)和低频系数(近似系数)。高频系数和低频系数可代表高频分量与低频分量的波形特征。然后，将每次分解的低频系数进行拟合，得到只含低频波的曲线。再运用插值，使各时间间隔的数据相等。接下来，对各时间间隔的低频或高频系数进行相关性分析，找出功率损失的波段，并说明该波段损失的重要性。 4.3. 实验结果 分解后的各频率波形如图4所示。 将5 s和1 min的低频系数曲线做相关性分析，用相关系数描述波形之间的联系。如图5，发现5台机组几乎都在分解次数为11时，低频系数不再强相关(强相关的相关系数临界值为0.8)，说明了1 min中的数据滤去了过多的高频分量，以至于此时两种时间间隔的波形有明显的差别。这样，一些幅值大的高频波或幅值突变的高频波不能被准确地描述出来。并且，对于每台机组，滤去的高频分量的频段几乎是一致的。换句话说，一台机组的过多高频分量被滤去，其它机组的高频分量同时被滤去，将会导致大规模的风电功率不准确，进而对电网的造成严重的冲击。 再从另一个角度，比较1 min和5 min波形的差异，利用5台机组的数据将1 min和5 min的高频系数做相关性分析，如表2所示，发现5台机组都是从分解次数为9开始，高频系数是强相关的。说明各机组功率波动的频率越高，相关性越强，表明了分解次数为9次以上的高频分量在风电波形描述中的重要性。
system: [SYSTEM]

user: 5. 基于小波变换的损失波段的研究 根据文献 [ 10 ] ，信息熵定义为离散随机事件的出现概率，从信息传播的角度，信息熵可以表示信息的 图4. 小波分解后的功率曲线 图5. 5 s和1 min的低频系数的相关性 Table 2 The coefficients of high frequenc 机组 分解次数 相关系数 前一次的相关系数 1 2 3 4 5 9 9 9 9 9 0.8777 0.8465 0.9135 0.8802 0.8671 0.6706 0.6355 0.6755 0.6773 0.6573 表2. 高频系数的相关性 混乱程度。而风电功率的波动具有随机性，信息熵恰恰能表现风电功率波动信息的波动性，体现波动信息的混乱程度，同时代表波动信息的价值。 在进行熵值计算前，需要对原始数据进行归一化处理： (4) 再进行熵值计算： (5) 其中， 表示风电功率的原始值， 表示功率为 时的概率， 为对应数据组的信息熵值。 计算出20台机组在时间尺度为5 s、1 min、5 min、15 min的信息熵值，并对其取平均值，结果如图6所示。 1 min级，5 min级，15 min级的熵值分别为5 s级熵值的90.29%、83.91%、82.22%。可以看出，随着时间间隔的增大，信息熵越来越小，表明随机事件出现的概率变小，波动信息减小，信息的有序程度增加，波动信息的价值减小。
system: [SYSTEM]

user: 6. 不同时间间隔下风电功率预测精度分析 本文采用统计的方法，基于小波-BP神经网络预测模型，结合某风电场的5秒级输出功率的实测数据，对风电场的输出功率进行超短期预测。 6.1. 小波-BP神经网络预测模型的构建 风电功率具有一定的周期特性，如日特性、月特性、季节特性等。利用小波变换，可以将一个复杂的信号分解成不同频率段上的信号。小波神经网络是一种以BP神经网络为基础，结合小波分析和神经网络的优点，形成一种既能准确反映信号特征又具有自学能力前馈型神经网络 [ 11 ] 。小波神经网络主要有两种拓扑结构：一是将小波分析和神经网络融合，所谓融合就是指把小波基函数作为BP神经网络的隐含层函数。另一种是将小波分析与传统的神经网络组合，也就是将小波分析作为神经网络进行学习预测的数据处理工具，在对原始数据进行分解后，提取数据特征向量，为神经网络或机器学习做好准备 [ 12 ] 。本文采用第二种结构构建预测模型。 因此，首先运用小波变换将功率序列分解，并采用不同的神经网络对分解出的子序列进行训练和预测，然后将各个预测结果进行重构得到完整的预测结果 [ 13 ] ，流程如图7所示。 本文采用的小波神经网络算法步骤如下： 步骤1：对功率序列进行小波变换，变换成各频段的子序列。 步骤2：网络的初始化。随机初始化网络的连接权值 和 ，设置网络学习速率 。 步骤3：样本分类。把风电功率样本分为训练样本和测试样本，训练样本用于训练网络，测试样本用于测试网络预测精度。 步骤4：预测输出。把训练样本输入网络，计算网络预测输出并计算网络输出和期望输出的误差 。 步骤5：权值修正。根据误差 修正网络权值，使网络预测值逼近期望输出的误差 。 步骤6：判断算法是否结束，如果没有结束，返回步骤3 [ 14 ] 。 6.2. 预测结果的分析 建立如图7所示的小波-BP神经网络。首先将功率序列进行15次分解，并对分解出低频分量 与 图6. 20台机组在时间尺度为5 s、1 min、5 min、15 min的信息熵值的平均值 图7. 预测流程图 15个高频分量 采用16个不同的BP神经网络进行预测，然后将16个网络的输出数据进行重构得到完整的输出功率。 使用某风电场2012年8月某单机输出功率的实测数据，进行时间间隔为5 min和15 min的风电功率预测。本文采用了3层神经网结构1-3-1，即第一层为输入层，输入节点有1个；第二层为隐含层，隐含神经元有5个；第三层为输出层，输出为1个。训练样本均为4700个，测试样本均为2100个，得到的预测结果如图8、图9所示。 然后，依据均方根误差(RMSE)和平均绝对误差(MAE)来判断预测的准确性 [ 7 ] ，计算公式如下： (6) 图8. 时间间隔为5分钟的预测功率与实际功率 图9. 时间间隔为15分钟的预测功率与实际功率 (7) 其中， 是 时刻的实际功率， 是 时刻的预测功率， 为平均开机容量， 为样本个数。 对于时间间隔为5 min的预测，均方根误差为15.6%，平均绝对误差为19.55%。对于时间间隔为15 min的预测，均方根误差为17.8%，平均绝对误差为24.75%。 由不同时间间隔的功率预测误差可以看出，时间间隔越大，预测误差越大。表明在增大时间间隔的过程中，失去了功率波动规律性的部分分量，不利于功率的预测。
system: [SYSTEM]

user: 7. 风电波动信息损失的影响 如果无法对风电输出功率做精确的预测，导致波动信息的损失，会对电网的电能质量和有功功率平衡造成影响。根据以上三方面对风电波动信息损失的分析，结合风电波动对电网的影响 [ 6 ] [ 15 ] ，得出以下几点不同时间尺度下风电波动信息损失的影响。 7.1. 对电网电压的影响 风电的接入，由于风电机组对无功功率的消耗，会使接入点附近局部地区的母线电压降低。而接入点电压的变化很大程度上取决于注入功率的变化。功率变化波动信息的损失，会使接入点电压波动超过安全范围时而无法被预测到，进而会影响配电网其他用户的供电电压，甚至会导致区域电压崩溃。 7.2. 对电网频率的影响 频率作为电能质量的重要指标，中国电能质量标准规定，正常情况下频率偏差不应超过±0.2 Hz。如果风电波动没有被准确地预测，电网中的有功功率会不平衡，从而造成频率的偏差，即使是很小的偏差，也会造成用电设备出力降低、设备工作异常，甚至发电机组跳脱、系统频率崩溃等严重事故 [ 16 ] 。 对于风电并网，一般要求风电场连续运行和起停过程必须具有控制有功功率的能力，一方面控制功率变化率，另一方面根据电网需要限制风电场输出功率 [ 17 ] 。如果时间间隔过大，会无法准确地控制功率的大小和变化率。 7.3. 对经济的影响 风电接入后，电网必然面临需要增加备用容量以保证电网运行风险水平的局面。如果风电预测精度不够，则需要使用更多的备用容量，造成了经济的损失。并且，风电预测误差的增加，会使风电预期值难以在调度过程中直接使用，甚至会导致调度过程中的误判断，如不合适的弃风，使风电价值降低，大大降低风电引入的经济性。风电功率波动造成的电压质量的下降，使对设备的损耗增加，以及不安全事故的发生造成巨大的经济损失。
system: [SYSTEM]

user: 8. 总结 本研究基于风场的实测数据，采用三种分析方法，研究了不同时间尺度下风电功率波动信息的损失及其影响，得出了如下结论： 1) 所取的时间间隔越大，风电波动信息损失得越多，表现在功率曲线上是波动越来越小；风电波动信息损失为高频分量，且不同时间间隔的损失之间是相互独立的。 2) 基于小波分析的低频系数相关性分析结果暗示，对于几乎每一台机组，损失的高频分量的频段是一致的；高频系数相关性分析的结果表明，高频分量在波动分析中很重要，但时间间隔的增大，会导致功率曲线中高频分量的缺失。 3) 基于信息熵的分析表明，随时间间隔的增大，信息的混乱程度较小，价值也减小；在进行风电功率预测时，所选取预测数据的时间间隔越大，预测的误差越大。
system: [SYSTEM]

user: 摘 要 本文从地球形成和地球演化的角度出发，以地球体变的思路和物质运动的规律来分析地壳运动，提出地壳运动的原动力有四种，张力、挤压力、重力和形变力。张力来自于地幔的体积增加，地幔体积增加的因素是地球内部固体物质态变；挤压力来自于地幔的体积减少，地幔体积减少的因素是地球内部液态物质排放，物质排放的形式有洋壳顶置、火山喷发、岩浆侵入、排气和热液渗透等；重力来自于地壳质量的改变，改变地壳质量的因素是剥蚀、沉积、褶皱、断裂、火山堆积、底侵和俯冲等；形变力来自于地壳温度的改变，改变地壳温度的主要因素是底侵。物质态变导致地幔体积增加，物质排放导致地幔体积减少，简称地球体变。地球体变产生的张力和挤压力，是推动地壳运动的主要动力。地壳质量和地壳温度的改变，产生的重力和形变力，是推动地壳运动的次要动力。地壳运动原动力的研究，其意义在于用正确的思路解释各种地质构造。张力主要产生洋壳扩张现象；挤压力产生洋壳俯冲、转换断层、板块漂移、陆壳褶皱、剪切断裂和逆掩断裂等构造现象；重力是决定地壳上升或下降的因素；形变力产生弧后盆地、岛弧、陆壳张性断裂和陆壳折返等构造现象。 关键词 :地壳运动，张力，挤压力，重力，形变力
system: [SYSTEM]

user: 1. 引言 地壳运动的原动力问题，是地质学领域的重大课题。国内外学者从不同的角度出发，提出了一些动力成因完全不同的观点。具有代表性的观点有：大陆漂移论、自转速度论、地壳弦动论、地幔潮汐论、宇宙弦动论和热对流论等。 地壳运动原动力的研究，应考虑地球的形成和演化过程。地球与其它行星没有区别，地球的形成和演化过程，就是一个物质聚集和物质再分配的过程。从地球形成初期杂乱无序的固体堆积结构，演化成为现在的核慢壳圈层结构，一定有其自身的演化规律。 本文以地球体变 [ 1 ] 的思路来研究地壳运动，认为地球的体积是在变化的过程中演化。地球的体积变化实际上是地幔的体积在变化，在地球的演化过程中，地幔的体积一直处于增加和减少的交替状态。地幔体积增加的因素是地球内部固体物质态变，固体物质态变为液态物质体积会增加，地球内部的固体物质来自于地球形成过程中的撞击星子、俯冲洋壳和陆壳；地幔体积减少的因素是地球内部液态物质排放，液态物质排放使地幔体积减少，物质排放形式有洋壳扩张、火山喷发、岩浆侵入、排气和水溶性物质渗透等。 地幔的体积变化，覆盖在地幔之上的固体地壳则表现为地球的表面积变化，地球的表面积变化就是地壳运动。所以，地球体变导致地壳运动。 本文从地球形成和地球演化的角度出发，以地球体变的思路和物质运动的规律来分析地壳运动现象，提出地壳运动的原动力有四种：张力、挤压力、重力和形变力。
system: [SYSTEM]

user: 2. 张力 地壳运动的张力，来自于地幔体积的增加 [ 1 ] 。地幔体积增的因素是地球内部固体物质态变，固体物质即地球形成期的撞击星子、俯冲洋壳和陆壳。固体物质态变为液态物质时体积增加，理论上计算地球物质的膨胀系数为9.7% (温度1500度) [ 1 ] ，常压下实测火成岩的膨胀系数为1.27%~3.13% (温度1100度) [ 2 ] 。 从地球的演化过程来看，地球上所有的物质都经历了一个从固态变为液态的过程。地壳和地核已经从液态又变为固态，地幔仍然是液态。地幔中还有不少固态物质正在态变，现在每年的态变量大约为201 km 3 [ 1 ] ，态变增量为19.5 km 3 。正是这些态变增量在持续的增加地幔体积，形成地球演化的张性机制，结果是产生洋壳扩张。 洋壳扩张：所有的地壳运动理论都必须解释洋壳扩张的现象。洋壳之所以成为洋壳，是地球体变的证据，也是地球体变产生的特殊壳体。可以说，如果没有地球体变现象，地球表层就只有陆壳而没有洋壳。洋壳是地球演化系统中最为关键一个环节，也是研究地球演化系统的一个窗口。洋壳扩张、顶置和俯冲的三个阶段 [ 3 ] ，正是解决地幔体积增加和减少(地球体变)的一个最好机制。 地幔体积增加，需要把地壳拉裂。陆壳的岩石是水平结构很难拉开，于是就产生了垂直结构的洋壳。在地幔体积增加的过程中，洋壳处于扩张阶段，地球体积也在变大。当新结晶洋壳的强度不足以承受两端老洋壳的重量时，在扩张带底部高密度岩浆的浮力作用下，洋壳进入顶置阶段 [ 3 ] 。顶置阶段新结晶洋壳由地幔物质变为地壳物质，地幔的体积减少，地壳的表面积也要减少，于是产生了洋壳的俯冲机制。 洋壳的扩张、顶置和俯冲机制，展现了地球演化系统(地球体变)的完美规律。根据现在的态变速度、态变增量和洋壳扩张带的长度等资料，理论计算洋壳扩张的速度每年为8.8 cm [ 1 ] ，与现在的观测结果(6~9 cm)相近。根据洋壳的地震资料解释，洋壳的岩石按密度分层厚度非常稳定，说明洋壳顶置后，在洋壳之下低密度岩浆由扩张带的两侧，向扩张带流动(与热对流方向相反)补充，形成新的密度分层，为下一组新洋壳准备物资基础。 洋壳的扩张模式，是地球体变的必然结果和展示。洋壳的产生与其它地壳运动理论没有关系，如大陆漂移、自转速度变化、地壳弦动、地幔潮汐、宇宙弦动和热对流等不能解释洋壳现象。
system: [SYSTEM]

user: 3. 挤压力 地壳运动的挤压力，来自于地幔体积减少。地幔体积减少的因素是地球内部液态物质排放，物质排放的形式有洋壳顶置、火山喷发、岩浆侵入、排气和热液渗透等。 地幔体积减少导致地球表面积减少，地幔体积减少1 km 3 ，地球表面积减少约313 m 2 。地球表面积减少导致地壳的空间位置变动，产生洋壳俯冲、转换断层、板块漂移、陆壳褶皱、剪切断裂和逆掩断裂等挤压性构造。 1) 洋壳俯冲：地球表面积减少，导致地壳之间产生巨大的挤压力。特别洋壳与陆壳之间，洋壳的密度(3.6)较大，陆壳密度(2.7)较小，在巨大的挤压力下，密度较大的洋壳俯冲于陆壳之下，是地球体积变小，减少地球表面积的最好模式。洋壳形成后由于转换断层的存在，在洋壳上发育大量的火山 [ 4 ] ，成为洋壳俯冲的滞阻因素。为了克服这种阻力，洋壳俯冲成为推动陆壳运动的主要动力。陆壳运动和陆壳上发育的所有挤压性构造，都是洋壳俯冲挤压的结果。 2) 转换断层：洋壳上产生的转换断层受两个因素的影响。一是洋壳顶置不同步的影响；二是地球自转球面受力的不均衡的影响。转换断层是地球体积变小，在球面上平衡面积减少的挤压力，而产生的典型切壳断裂。 3) 板块漂移：洋壳俯冲与陆壳之间产生巨大滞阻作用力，是推动陆壳板块漂移碰撞的原动力。当滞阻的作用力影响洋壳扩张时，洋盆开始闭合。地球体积变大时，将把陆壳板块的组合带(缝合带)拉裂，产生新的洋壳，推动陆壳板块的漂移和重组。 4) 陆壳褶皱：陆壳是水平层理，洋壳是垂直层理。在地球表面积减少的情况下，陆壳以褶皱的方式，洋壳没有褶皱而以俯冲的方式，非常完美的解决了地球表面积的分配。陆壳上发育的所有褶皱，都是地球体积变小，洋壳挤压陆壳的结果。 5) 剪切断裂：陆壳上的剪切断裂，相当于洋壳上的转换断层。受板块碰撞不均衡的影响，用剪切性断裂平衡挤压力。 6) 逆掩断裂：陆壳上发育大量的逆断裂，与褶皱相同，都是地球表面积减少的一种方式。陆壳上的逆断裂，大部分发育在陆壳的基底。陆壳基底是自然结晶和岩浆漫流而成，是很难挤压弯曲而形成褶皱的，所以一般是以逆断裂的方式减少面积。陆壳的上部，特别是沉积岩层比较软，在巨大的挤压力下形成较多的褶皱。所以，陆壳上一般发育下逆上褶的构造现象。
system: [SYSTEM]

user: 4. 重力 地壳运动的重力，也称为地壳的垂直运动力，来自于地壳本身漂浮质量的改变。地壳漂浮于地幔之上，完全遵循质量定律，即漂浮的质量(地壳)等于排开体积(地幔)的质量。 重力产生的构造现象，实际上是运动体面积、体积和质量调整的结果。当地壳受到挤压而面积减少时，单位面积的体积和质量增加。反之，面积增加时，单位面积的体积和质量减少。面积和体积是运动体的表象，运动体的质量，才是升降运动的决定因素。在密度一定时，质量越大，升的越高，反之降的越低。 改变地壳质量的因素有：剥蚀、沉积、褶皱、断裂、火山堆积、底侵和俯冲(包括陆陆俯冲)等。 重力形成的构造现象有很多，高原、山系、平原和盆地等。可以说，所有构造形态的空间高度，都是质量改变和重力平衡的结果。
system: [SYSTEM]

user: 5. 形变力 形变力来自于地壳温度的改变，改变地壳温度的因素主要是底侵。地壳形变，完全遵循物质热胀冷缩的原理。 陆壳是地球演化过程中形成的水平岩体，主要由火山喷发和底部结晶而成。随着厚度的增加，形成了比较稳定的地温梯度环境。当陆壳发生底侵时，侵蚀面的岩体温度升高，温度升高必然导致岩体的膨胀形变 [ 2 ] 。 岩体膨胀所产生的形变力和形变尺度，是不能忽视的因素。形变力可以克服板块碰撞地带的巨大挤压力，使陆壳向挤压力方向弯曲，如岛弧。形变尺度在弧后盆地长轴方向，如果形变体长度1000 km，膨胀系数按1%计算，形变尺度(轴线水平偏移的最大距离)达到61.3 km。膨胀系数按3%计算，形变尺度达到106.5 km。如此大尺度的形变所产生的构造现象，是至今没有解释清楚的。如弧后盆地、岛弧、陆壳张性断裂和大陆折返等。 1) 弧后盆地：洋壳俯冲带之上的弧后盆地，因为洋壳脱水导致陆壳底部熔化(底侵) [ 5 ] ，在弧后盆地基底出现与俯冲带平行的底侵带(弧后盆地的长轴方向)。随着底侵高度的增加，盆地的长轴方向的轴线位置，岩石温度改变最大，导致长轴方向膨胀尺度最大。盆地长轴方向的膨胀导致轴线向大陆边缘弯曲，即形变。形变的结果是弧后盆地短轴变宽、张性断裂发育和一系列形变构造。 弧后盆地的基本特征是：张性构造发育、凹凸相间、先张后挤、火成岩与陆源碎屑岩沉积相间。陆壳上与这些特征相似的盆地，无论后期的板块重组和改造有多么厉害，它的原始身份就是弧后盆地。 2) 岛弧：岛弧位于大陆板块与洋壳板块的碰撞地带，主要承受来自洋壳的挤压力。当弧后盆地的长轴方向岩石形变时，岛弧被推向洋壳方向，形成向洋壳方向弯曲的弧形岛弧 [ 6 ] 。岛弧的形成就是岩石形变留下的构造痕迹，在洋壳与陆壳的碰撞地带只有挤压力，而能够与挤压力抗衡的，只有岩石的形变力。岛弧的成因是岩石形变的结果，根本不存在什么拖曳的力量。 3) 张性断裂：陆壳从形成开始就一直受到洋壳的挤压，产生的构造痕迹大部分为挤压性构造。但是当岩石形变时，会产生一些张性断裂。一般在盆地形成的早期，岩石形变的尺度比较大，发育较多正断层。进入盆地的中晚期主要承受挤压力，产生一些逆断层。一些继承性断裂出现下正上逆的现象，只能说明盆地演化过程中，形变力和挤压力前后作用的历史。 4) 大陆折返：陆壳被挤压断裂并俯冲于陆壳之下，叫陆陆俯冲。俯冲进入地幔的陆壳体，在经过高温高压变质后又返回到地表，叫大陆折返。这是一个非常奇妙的地质现象，关键是大陆折返的原动力。当把大陆折返体周边较大范围的地壳演化史联系起来分析，就不难发现其实是形变力的杰作。陆壳的挤压断裂、俯冲和变质的时间与洋壳形成时间相当，陆壳的折返时间与弧后盆地的形变时间相当。因为陆壳是水平岩体，当弧后盆地的长轴方向形变向洋壳方向弯曲时，带动与它连成一体陆壳基底向洋壳方向运动。在长轴为1000 km弧后盆地形变时，可以拉出俯冲深度大于100 km的陆壳俯冲体。所以，大陆折返的动力，就是陆壳形变产生的力。
system: [SYSTEM]

user: 6. 其它力 地壳运动的原动力只有四种(张力、挤压力、重力和形变力)，但是还有其它力对地壳运动产生一些影响，如离心力、幔潮汐、弦动力、波动力等。 1) 离心力：是地球自转产生的垂直于旋转方向的力。对地壳运动的影响有两点：一是离心力与地壳表面夹角较小时，抵消了一部分地壳运动的挤压力。如纬度大于73˚的地区，较少出现7级以上的地震。二是离心力到球面上同纬度的两点，由于方向不同而产生离散作用。由于离散作用助推地壳运动的张力，所以洋壳扩张带的方向受离散作用的影响，大部分与旋转方向垂直(近南北向)。 2) 幔潮汐力：是受地外天体影响，地幔产生波动的力。幔潮汐力可能对地壳运动的重力平衡起到调整作用，克服平衡中的阻力。 3) 弦动力：由于地壳早期遭受小行星撞击，使地壳的自转轴与地核的自转轴产生角度差，导致极地迁移现象。弦动力对地球曲面变化产生影响，可能改变一点构造形态的角度。 4) 波动力：是太阳系在银河系中旋转，由于物质密度态的变化，产生引力波对地球的影响，可能会影响地壳运动的周期。
system: [SYSTEM]

user: 7. 问题讨论 1) 地球物质的综合膨胀系数计算和实测，是在常压高温状态下取得。与高压高温状态下地幔环境，一定存在很大差异。需要从理论和实验上做研究，取得高压高温状态下岩浆物质的膨胀系数、分子结构和密度等资料，为物质态变、态变增量、物质分异、运动规律和地球体变的研究打下坚实的基础。 2) 地球内部固体物质态变，导致地球的体积逐渐变大。根据计算聚集为地球的固体物质约为10，050亿km 3 [ 1 ] ，由于物质态变，现在地球的体积为10，832亿km 3 。证明地球体积在变化的依据有两点：一是地球自转速度变慢；二是洋壳扩张。还需要建立高精度的大地观测，了解地球表面积、体积与地球体变之间的关系，间接分析地球内部物质的态变量和态变增量。 3) 地壳运动和地质研究，不能就现象而研究现象。需要一个更长远的视角和多学科的结合，需要从天文学的角度，搞清楚地球形成初期基本状况；需要从物理学的角度，搞清楚杂乱堆积体演化为核幔壳圈层结构的基本规律。总之，要用物质运动的规律，为地球的形成与演化建立一个基本的模型，以免简单问题复杂化。
system: [SYSTEM]

user: 8. 结论 1) 地壳运动的张力来自于地幔物质的态变，挤压力来自于地幔物质的排放。物质态变和物质排放是地球演化基本状态，也是推动地壳运动的主导力量，决定着洋壳、陆壳的演化和基本格局。 2) 地壳运动的重力来自于地壳质量的改变，形变力来自于地壳温度的改变。质量和温度是地壳存在状态，也是推动地壳运动的次要力量，决定着地壳的局部构造形态。 3) 根据地球内部的态变速度和物质排放量，可以计算地幔的体积变化，进而推算张力和挤压力的对水平运动影响程度。根据地壳的质量变化，可以计算出地壳垂直运动的幅度。根据地壳的环境温度变化和岩石的膨胀系数，可以计算出岩石形变的运动尺度。 4) 地壳运动的张力来自于地幔物质的态变，挤压力来自于地幔物质的排放，重力来自于地壳质量的改变，形变力来自于地壳温度的改变。质量和温度的改变主要是洋壳推动(俯冲和底侵)的结果。洋壳产生、运动和消亡又是靠地球体积变化推动的，所以，地球体变产生了张力、挤压力、重力和形变力。地球体变，也只有地球体变才是地壳运动原动力的来源。
system: [SYSTEM]

user: 摘 要 实时交通数据是低碳出行、智能交通、道路网络优化等研究领域必不可少的数据源。为了解决目前存在的实时交通数据不免费、不公开等问题，本文应用Python语言和Tornado网络框架，设计了一个稳定、高效、及时的爬虫程序。以广州市为例，从四维交通指数网页抓取到了1723条道路的基本信息及其每5分钟更新一次的实时交通数据，并将获取结果保存到MySQL数据库。结果表明网络爬虫技术在实时交通数据采集方面具有可行性和有效性。 关键词 :网络爬虫，自动采集，实时交通数据，Python语言，Tornado网络框架
system: [SYSTEM]

user: 1. 引言 随着互联网技术的快速发展，网络信息资源也在飞速增长，越来越多的公司、企业和政府部门开始在自己的网站上开放自己的数据。有些数据是长期积累的历史数据，如统计年鉴数据；有些则是实时观测得到的定时更新数据，如气象、实时交通数据；有些数据可以直接下载，有些则限制了用户的下载权限 [ 1 ] - [ 3 ] 。虽然网络上提供的数据种类多样化，数据量也急剧增长，但网络上公布的数据大多只能浏览却不能直接下载。如何将丰富多样的数据下载下来，并把它们保存到本地数据库中，对以数据分析为基础的研究者来说是十分重要的 [ 4 ] 。实时交通数据为智能交通、低碳城市建设和城市环境保护研究提供了重要的数据基础，道路的实时交通数据如交通指数和平均车速是应用领域需要考虑的重要指标 [ 5 ] [ 6 ] 。政府和部分公司通过智能交通系统、浮动车等技术已经获取到了城市道路的实时交通数据，但考虑到诸多的问题却鲜有公开。四维图新公司作为三大路况信息提供商之一，将通过浮动车模型获取到的实时交通指数数据发布到了其官方的网站上，但是只允许浏览却不提供下载权限。 网络爬虫源于搜索引擎技术，主要任务是及时、高效地对互联网网页的搜集，并将收集到的网页保存到本地，提供给其它模块进行分析、挖掘和建立索引使用 [ 7 ] 。网络爬虫的类型主要可分为通用型网络爬虫、增量式爬虫和面向主题的爬虫，每种类型各有优缺点 [ 8 ] - [ 11 ] 。面向主题的爬虫，适合针对特定网页数据的获取，同时可根据网页的内容确定高效的抓取策略 [ 12 ] - [ 14 ] 。 本文采用面向主题的爬虫方法，以四维图新交通指数网站为对象，针对其公布的只读实时道路交通指数数据，使用Python语言和Tornado网络框架设计了一个网络爬虫程序。该程序对其网页进行分析，提取出数据请求的地址和参数，模拟浏览器请求服务器，抓取网站上发布出的广州市实时交通指数数据和道路的基本信息，并针对数据特点建立数据库，将抓取到的数据批量同步保存到本地数据库中，为数据分析及可视化做准备。
system: [SYSTEM]

user: 2. 实时交通数据 在进行爬虫程序设计前，对四维图新实时交通指数网页进行分析，确定网页上实时交通数据请求方式、请求参数及其相关的数据类型，然后根据交通数据及道路关系定义数据结构和建立表关系，构建一个交通数据库来存储爬取到的结果。 2.1. 四维交通指数网页 四维交通指数网页是四维图新公司发布的交通信息大数据产品之一。四维交通指数网页上以表格的形式列出了实时交通数据，如图1所示，包括道路名称、道路起点、道路终点、交通指数、平均车速、道路等级和拥堵等级。交通指数是，结合道路实际速度及道路通行条件等的基础，加入对交通拥堵的主观感受程度，并用量化方法来表达道路的交通运行状况。通俗来讲，是指某条道路的实际测试，与该道路上驾驶员自由行驶速度的比值，比值越大，道路越拥堵 [ 15 ] 。四维交通指数网页将城市道路分为1、2、3、4四个等级，分别对应的道路类型高速公路、城市快速路、地面主干道和次干道。道路拥堵等级实际是符号化的交通指数值。列表中的每条记录可以实现属性到空间的查询，如图2所示。图2中红色标识的道路是根据经纬度数据重新绘制的。道路的坐标值数据和道路实时路况数据都以JSON格式存储。JSON(Java Script Object Notation)是一种轻量级的数据交换格式，包括对象和数组两种结构，通过这两种结构表示复杂的数据结构，对象为“{}”括起来的内容，数据结构为{key:value，…}，数组为“[ ]”括起来的内容，数据结构为[“java”，…] [ 16 ] 。 2.2. 实时交通数据库 根据上面的网页信息，本文设计了道路基本信息表(见表1)、道路坐标表(见表2)和实时交通数据表(见表3)分别存储道路基本数据、道路坐标数据和实时交通指数数据。 图1. 实时路况信息列表图 图2. 大广高速公路实时路况信息图 Table 1 Data structure of the roads’ basic attribute 编号 字段名称 字段说明 字段类型 备注 1 Id 编号 int 非空 2 RoadId 道路ID varchar(100) 主键 3 Roadname 道路名称 varchar(50) 非空 4 Length 道路长度 int 米 5 Startname 道路起点 varchar(50) 6 Endname 道路终点 varchar(50) 7 Dir 道路方向 char(8) 8 Grade 道路级别 int 表1. 道路基本信息表结构 Table 2 Data structure of the roads’ coordinate 编号 字段名称 字段说明 字段类型 备注 1 Id 编号 int 非空 2 Lon 经度 double 度 3 Lat 纬度 double 度 表2. 道路坐标表结构 Table 3 Data structure of the roads’ real-time traffic dat 编号 字段名称 字段说明 字段类型 备注 1 Id 编号 int 非空 2 RoadId 道路ID varchar(100) 3 Date 更新时间 char(16) 分钟 4 Cindex 交通指数 float(4) 5 Avgspeed 平均车速 float(4) km/h 表3. 实时交通数据表结构 为了便于数据的更新及后期管理，实时交通数据以天为单位，存储到一个表中，表名为当天日期，涉及字段包括：道路ID、数据更新时间、交通指数、平均车速，数据结构如表3所示。 实时交通数据表和道路坐标表分别设置道路ID字段和道路名称字段为主键，并参考道路基本信息表中外键值，构成数据库中的表关系，如图3所示。 实时交通数据存储时，道路ID、道路名称、道路起点、道路终点字段长度需要做特别的设置。四维交通指数网页中提供的道路名字较长，道路的ID字段值为道路名称的拼音组合，为了避免无法完整存储道路ID值，将道路ID字段属性设置为可变长的字符类型，最大长度设置为100。MySQL数据库因其体积小，速度快，方便管理和维护，并且免费，在中小型的应用中得到广泛使用 [ 17 ] ，因此本文将设计的表存储到MySQL数据库中。
system: [SYSTEM]

user: 3. 实时交通数据的自动采集 一个好的爬虫程序必须保证程序能够稳定、高效、及时地抓取到网页上的内容。一个完整的具有容 图3. MySQL数据库中表关系 错机制的处理流程是满足爬虫程序长时间稳定地运行的关键。在遇到不同的错误时，程序能够规避这些错误。在网络上交互数据时，大部分的时间都花费在了服务的请求响应和数据的读写上面，特别是在处理大量可重复性的操作时，按照单条数据进行处理的时间花费是惊人的，实时交通数据读写同样面临着这样的难题。此外，网页数据一旦更新应该及时有效地进行抓取，即启动抓取程序，以获取实时交通数据。 3.1. 数据采集流程 本文采用主题型爬虫方式，针对特定的URL抓取数据，省去通用爬虫架构中的URL过滤、更新等模块，节省抓取流程时间，实现程序的高效率运行。要抓取的数据可分为实时交通数据和道路基本信息数据，实时交通数据每5分钟更新一次，道路基本信息数据固定不变，虽然这两者的更新策略不同，但是整个抓取数据的技术流程却是相同的。 数据抓取的技术流程是，首先输入特定URL，以POST方式向服务器发送请求，这个过程中域名解析服务将域名解析为对应的IP地址，连接到服务器对应的端口，服务器接受到请求后，返回http应答包头信息，接着客户端判断服务器响应信息，如果服务器有响应，则客户端会根据返回的内容读取页面内容，判断读取到的数据是否为空，如果不为空，根据关键字段解析出实时交通数据，将交通数据按一定结构进行重组，最后连接数据库，将重组后的数据批量写入到数据库中。整个流程结束后，设置下次开始抓取的时间，程序按照上面的流程循环进行数据抓取。数据获取的流程图如图4所示。本文将实时交通数据的自动采集分成数据抓取、数据解析与重组和数据存储三个模块以及一个休眠控制。 3.2. 程序实现 本文使用Python开发语言，结合Tornado网络框架，将数据抓取、数据解析、重组和数据存储模块集成，最终将抓取到的实时交通数据批量存储到MySQL数据库中，实现了一个获取实时交通数据的稳定、高效、及时的网络爬虫程序。 3.2.1. 数据抓取模块 数据抓取模块是整个程序实现的关键，任务就抓取到网页上的数据。网页的内容一般来源于网页标签、JavaScript代码和Ajax异步请求等方式 [ 18 ] - [ 20 ] ，其中最常用的是Ajax异步请求，而且这种方式得到数据最容易处理，本文使用的就是这种方式。Ajax异步请求就是使用POST或GET的方式，将需要请求的地址和参数一起发送到服务器端，服务器接受请求后，将数据返回到客服端，客户端接受并返回的 图4. 实时交通数据获取的流程图 结构化或非结构化的数据，根据关键字段解析获取到的数据，按一定的结构将数据显示到网页上 [ 16 ] 。在Tornado网络框架下，模拟浏览器，使用网页分析得到的请求地址和参数，如城市编码、道路级别等，向服务器发送请求，服务器完成请求处理后，将处理数据返回，完成数据抓取。据四维网页分析可知，数据请求的地址为http://www.nitrafficindex.com/traffic/getRoad Index.do，实时交通数据请求的参数为广州市区域代码4401000、道路级别(1， 2， 3， 4)和数据更新的时间5分钟，道路基本信息的请求参数为广州市区域代码和道路ID。 整个数据抓取过程中需要注意很多问题。第一，为保证程序稳定性，使用Tornado网络框架，模拟客户端请求服务器，避免直接请求带来请求异常，同时避免服务器禁止特定IP对服务器的频繁访问。第二，网页上的交通数据每5分钟更新一次，一次数据获取结束5分钟后，再次启动抓取模块及时抓取更新后的交通数据。第三，抓取的过程中如果遇到数据服务器停止服务，导致响应结果异常，抓取不到数据，即在连续5次请求失败或返回的数据为空时，强制休眠程序，以避开不必要的硬件资源开销，在休眠一段时间后再重启抓取模块。第四，实时交通数据和道路基本信息数据，这两种数据请求使用相同的IP地址，但是实时交通数据使用循环抓取策略，道路的基本信息，无需重复抓取，一次获取就可得到。 3.2.2. 数据解析与重组模块 抓取模块结束后，获取的数据是JSON格式。根据JSON数据格式键值存储的特点，使用递归函数将字段对应属性解析出来，再将数据按照对应的属性值顺序进行重组，保存到新建List数组中。爬取下来的实时交通数据和道路基本信息的属性有很多，包括时间、道路名称、道路ID、平均车速、交通指数、道路级别、道路方向、道路起点、道路终点、道路长度、道路经纬度。解析后的道路经纬度信息是一条数据串，在实际使用的时候并不方便，需要重新进行解析，把坐标串分解为单独的坐标对，形成坐标点格式的数组，以方便后期道路可视化。 3.2.3. 数据存储模块 数据存储是把重组好的数据批量存储到本地MySQL数据库对应的表中。在数据存储时要考虑两方面，一个是实时交通数据的存储，另一个是道路属性数据和道路坐标数据的存储。前者是交通指数网页实时交通数据更新后，抓取程序获取到新的重组的实时交通数据后进行批量存储；后者是程序将抓取得到重组后的道路基本数据，单次批量写入MySQL数据库中。批量操作的优点使得单次流程的处理时间大大缩短。 3.2.4. 休眠控制 整个程序处理一个时间段的数据时，从数据抓取到数据解析，再到重组数据、批量插入数据库，平均耗时为6秒钟，如果不使用Tornado网络框架和数据批量写入的方法，一个抓取流程的耗时为30秒左右。程序在进行抓取数据时，根据实时交通数据的更新时间，每5分钟更新一次，计算出下次数据更新的时间，设置线程睡眠的时间，实现控制程序及时抓取到更新的交通数据，保证数据抓取延迟控制在数据更新后的1分钟以内。最终程序实现了稳定、高效、及时地获取道路实时交通数据。
system: [SYSTEM]

user: 4. 爬虫结果分析 本文应用Python语言和Tornado网络框架，设计了一个基于网络爬虫的实时交通数据自动采集程序。结果表明程序抓取到了广州市1723条道路的基本信息，每5分钟更新一次的道路交通数据。表4所示的为获取的道路基本信息，包括道路的名称、起点、终点、长度、方向等。表5为大学城内环中路的经纬度坐标值。表6为2015年10月22日间隔为5分钟的道路交通指数数据及平均车速数据。由于每张表中包含的记录较多，这里只列出了部分数据。 图5为广州市2016年3月1日到3月31日四个级别道路全天的平均车速，图6为广州市2016年3月1日到3月32日四个级别道路全天的平均交通指数。 从表5中选取广州大学城的道路坐标值进行了矢量化处理，如图7所示。从表6中筛选了广州大学城内环东路的实时交通指数数据和平均车速进行了图形化，见图8。