DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 1. 引言及文献综述 一国货币发展成为国际通用的货币要基本满足三大前提。分别是：第一，该货币发行国的经济规模容量相对较大与此同时经济体的开放程度与之匹配；第二，该货币发行国拥有波动小，稳定的货币价值；第三，完备且发达的金融市场是必不可少的前提条件。当记账单位，交易媒介，储蓄手段等主要职责功能被一国货币在全球范围内发挥着作用，在世界范围内实现了全面的自由兑换，则说明该主权国家的本国货币实现了国际化的运用。 李稻葵，刘霖林(2008)持有货币发行国的经济规模，汇率波动幅度，真实利率水平加之通货膨胀率是决定一国货币国际化程度的影响因子的观点。李与刘结合中国经济的实际情况，提出了采用“双轨制”的方法一步步推动人民币国际化的进程 [ 1 ] 。通过计量分析了从1973年到1998年之间各国央行国际储备的主要货币币种结构的决定因素，Chinn M. & Frankel (2007)阐述影响一国的主权货币是否能顺利晋升成为国际货币，主要是该经济体的经济规模，货币币值的稳定性还有金融市场的深度和流动性决定 [ 2 ] 。美国，英国，日本三国从1987年至2011年期间的数据被邓黎桥(2014)借助面板模型计量分析，其阐述了影响国际储备货币份额的因素，此外邓黎桥通过该模型预测了2020年人民币国际储备份额 [ 3 ] 。王珊珊，黄梅波，陈燕鸿(2018)同样也是通过实证分析从1999年至2013年期间，美国，日本，英国，欧洲货币联盟，瑞典，中国等六个国家或区域的储备货币地位。研究的结果表明，一国的金融市场规模与效率对一国的储备货币地位具有显著性的影响 [ 4 ] 。丁剑平，楚国乐(2014)收集了美，欧，日，英这四个经济体从1999年到2012年期间的数据，并且通过非线性面板平滑转换回归模型对国际货币的影响因子进行了全面的对照剖析，研究的结果表明净出口，网络外部性，经济增长这三个要素对货币的国际化具有非线性的影响 [ 5 ] 。李建国(2014)首先研究美元，日元，马克货币国际化的发展历程，其次依据国际货币理论对人民币境内外的流通使用现状进行了综合研究，再者对人民币国际化存在的制约因素进行剖析 [ 6 ] 。丁一兵，付林(2014)采用了双向固定效应面板数据模型对五种主要货币的国际地位进行了实证分析。在研究中发现金融深化，债券市场发展，货币发行国的股票市场这三者对该国的货币国际地位一致具有正向作用 [ 7 ] 。郝宇彪，田春生(2011)持有制约人民币国际化的直接现实因素是中国金融市场发展不足，人民币在资本项目下尚未完成自由兑换以及汇率和利率尚未完成市场化改革这三方面原因，究其根本是实体经济方面的资源配置方式不够合理的观点 [ 8 ] 。以上的文献综述几乎都是通过实证分析得出具体的结果，量化分析了影响一国国际货币储备地位，本文鉴于此，在综合其他文献资料的基础上，首先分析了货币国际化的利弊，以及人民币的国际化初始条件，收集了从2000年至2015年人民币的数据，通过回归分析，指数平滑法时间序列分析预测得出影响人民币国际化的重要因素。
system: [SYSTEM]

user: 2. 研究方法 文章通过剖析从2000年至2015年这16年期间人民币的相关数据，通过SPSS软件的回归分析处理阐明了决定一国货币国际储备货币份额的影响因素。同时借助时间序列的指数平滑法模型对2020年人民币国际化进行预测，估测人民币国际化的历程进度。
system: [SYSTEM]

user: 4. 结语 第一，在人民币国际化的初始阶段，应该进一步做大国内外的金融市场规模。首先，在投资活动，国际贸易中创造更加平稳，波动较小的汇率互换环境，加强国内的企业与国际市场的联系和接轨，鼓舞企业更多地使用人民币来进行计价结算，推动国内金融市场规模的不断扩大。其次，要善于借助离岸金融市场，拓展中国金融市场的容量。 第二，从长期看来，不断提高人民币国际储备地位还将主要依赖于金融市场效率的不断提高。配置资源的能力就是金融市场效率，效率的提高意味着人民币持有者可以迅速地，低成本地从金融市场中获得所需要的货币。 第三，要正确地把握人民币国际化的步骤与主动权，抓住机遇大力推进人民币国际化的进程。“一带一路”，亚投行的建立和中国企业“走出去”战略给人民币国际化提供了条件，众多的“一带一路”沿线国家大多参与以中国为主力发展的人民币跨境支付系统(CIPS)中，应该把握这将会给人民币跨境结算带来极大发展空间的机遇。
system: [SYSTEM]

user: 摘 要 通过田间试验，一次性施入竹制生物炭来源的不同组成成分的生物炭菌肥，研究其对绿豆生长、农艺性状、产量及土壤成分的影响，为绿豆有机种植及土壤改良的应用提供科学依据。不同生物炭菌肥设4个处理，3次重复，肥料用量设置分别为：1) 对照：不使用任何肥料。2) 处理1：100%竹炭粉：4500 kg/hm 2 。3) 处理2：竹炭土壤改良剂：3450 kg/hm 2 。4) 处理3：竹炭生物有机肥：2250 kg/hm 2 。2017年对绿豆进行田间试验，调查生长期的农艺性状及收获时测定产量，同时采集播种前及收获后各小区的土壤样本测定PH值、有机质、速效氮、速效钾、有机磷、铁、水溶性盐含量。研究结果表明，不同配方的生物炭菌肥收获后对土壤成分的变化如下：处理3中可提高PH值0.2单位，其他处理无差别；有机质含量处理2 < 对照 < 处理3 < 处理1；速效氮处理3 < 处理2 < 对照 < 处理1；速效钾处理3 < 处理2 = 对照 < 处理1；有效磷对照 < 处理2 < 处理3 < 处理1。处理1、处理2的绿豆产量较对照减产15%~16%，处理3较对照增产16%。不同处理的株高、株荚数都较处理1有所增长。因此，一次性施入生物炭能有效减缓有机质、速效氮、速效钾含量的减少；一次性施入生物炭菌肥能够增加株高、株荚数及产量，降低第一开花位置高度。 关键词 :生物炭菌肥，绿豆，产量，土壤改良 Copyright © 2018 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 生物炭是农作物秸秆、木材、家禽粪便和其他材料等生物有机材料在缺氧或者绝氧环境中，经高温(通常为350℃~600℃)热裂解后生成的一种富含碳素的黑色固态产物 [ 1 ] 。生物炭一般为碱性，PH值在4~12 [ 2 ] ，该特性使其多用于酸性土壤的改良 [ 3 ] [ 4 ] [ 5 ] 。生物炭施入土壤能够提升土壤肥力，提高农作物产量及抗病的作用 [ 6 ] - [ 12 ] 。 肥料是作物生长必不可少的因素之一 [ 13 ] ，在提高作物产量上起到重要的作用，随着环保、高效农业发展的要求，新兴了不少不同种类的肥料。近年来，市面上出现的菌肥种类越来越多，对其作用效果说法不一。 目前对生物炭用量及其施用效果的研究较多，但对生物炭有机生物菌肥施用效果的研究很少，所以本试验通过对绿豆施用不同生物炭含量的有机菌肥进行研究，探讨不同生物炭含量的有机菌肥对该土壤成分及绿豆农艺性状和产量的影响，从而为生物炭菌肥的施用及其对土壤改良作用提供参考。
system: [SYSTEM]

user: 2. 材料与方法 2.1. 供试土壤、生物炭菌肥 试验设在2017年承德市农林科学院中关试验基地，位于隆化县中关镇大铺村，东经117˚7'58.21''，北纬41˚12'14.05''。平均海拔高度510米，属于中温带半湿润半干旱大陆性季风型冀北山地气候，多年平均气温7.7℃，生育期平均130天，无霜期145天，年平均降雨量550毫米，降雨量集中在每年6~8月，7月最多。 供试土壤为沙壤土，试验前取样化验，采样深度为20 cm，S形采集土壤后，充分混匀，送至天津市农产品质量监督检验测试中心完成土壤成分检测。土壤成分情况：PH值7.2，有机质20.1 g/kg，速效氮91.3 mg/kg，速效钾239 mg/kg，有效磷35.8 mg/kg，铁0.89%，水溶性盐总量1.37 g/kg。 供试肥料：统一够买上海“SEED”炭基肥系列：100%竹炭粉；竹炭土壤改良剂；竹炭生物有机肥(生物炭成分均为竹炭)。主要成分(见表1)。 2.2. 试验设计 试验采用小区随机区组设计，三次重复，每个小区面积20 m 2 ，设4个处理。根据购买品牌提供的肥料用量，对小区施肥量做以下设计：1) 对照：不使用任何肥料；2) 处理1：100%竹炭粉：4500 kg/hm 2 ；3) 处理2：竹炭土壤改良剂：3450 kg/hm 2 ；4) 处理3：竹炭生物有机肥：2250 kg/hm 2 。各处理间设置1 m的隔离带。各小区间统一设滴灌带统一滴灌。 2017年3月以机器翻地并施以鸡粪做底肥，用量15 t/hm 2 。4月28日整地，以试验肥料为基肥，5月23日点播，株距16.7 cm，行距50 cm，密度为105，000株/hm 2 ，出苗后间苗。除基肥外，各小区其他田间管理措施均相同，8月14日、8月23日两次统一收获。同时，植株取样，收获时分小区单收、单独称重，计算小区产量。 2.3. 数据统计及分析 试验数据应用Excel 2007软件进行处理及作图，用DPS7.05软件进行数据分析，用最小显著差法LSD (P = 0.05)检验平均数。
system: [SYSTEM]

user: 3. 结果与分析 3.1. 不同生物炭菌肥对土壤的改良作用 3.1.1. 土壤PH值 不同生物炭菌肥的施用前后土壤PH值得变化见图1和表2，从该图中可知，播种施肥前PH值为7.2， Table 1 Composition of biochar bacterial fertilize 主要成分 处理 100%竹炭粉 竹炭土壤改良剂 竹炭生物有机肥 有效活菌数 0 ≥0.2亿/g ≥0.2亿/g 生物炭 100% ≥35% ≥10% 有机质 0 ≥45% ≥45% 其他成分 0 Ca≥3.3%; Mg≥0.5% Si≥2.6%; K≥2.3% 氨基酸 ≥ 5%；腐植酸 ≥ 10% (原生一代の复合菌群) 表1. 生物炭菌肥成分表 图1. 不同生物炭菌肥施用前后土壤PH值 Table 2 Contents of different components in soil before and after fertilizatio 处理 项目 PH值 有机质g/kg 速效氮mg/kg 速效钾mg/kg 有效磷mg/kg 铁% 水溶性盐总量g/kg 施肥前 7.2 20.1 91.3 239 35.8 0.89 1.37 对照 8.2 12.8 58.0 198 2.0 0.97 0.1 处理1 8.2 19.5 69.0 277 10.2 0.93 0.3 处理2 8.2 12.7 53.0 198 3.1 0.92 0.1 处理3 8.4 13.6 52.0 212 5.0 0.92 0.2 表2. 施肥前后土壤不同成分含量表 施肥收获后土壤PH值均有不同程度的升高，对照、处理1、处理2的PH值为8.2，处理3为8.4。种植前后土壤PH值差异极显著。收获后，处理3与对照及处理1、2间的差异显著。 3.1.2. 土壤有机质 土壤有机质是植物营养的主要来源，能够增强植物抗性及改善土壤物理性质等作用。不同生物炭菌肥施用前后土壤有机质含量变化见图2。从图2和表1中可知施肥前土壤有机质含量为20.1 g/kg，施用不同生物炭菌肥后土壤有机质含量较施用前有显著的降低。对照的有机质含量为12.8 g/kg，处理1为19.5 g/kg，处理2为12.7 g/kg，处理3为13.6 g/kg。与施肥前相比有机质减少的含量依次为处理2 > 对照 > 处理3 > 处理1，施肥前与处理1差异显著，与对照、处理2、处理3差异极显著，处理1与对照、处理2、处理3差异极显著，处理3与对照差异极显著。生物炭及生物炭菌肥的施用能够减缓土壤中有机质的消耗。 3.1.3. 土壤速效氮、速效钾、有效磷 氮磷钾是农作物生长不可或缺的营养元素，在施用不同生物炭菌肥前后土壤速效氮、速效钾、有效磷含量变化见图3、图4、图5和表1。施肥前土壤速效氮含量为91.3 mg/kg，施用不同生物炭菌肥后土壤速效氮含量较施用前降低极显著。对照的速效氮含量为58.0 mg/kg，处理1为69.0 mg/kg，处理2为53.0 mg/kg，处理3为52.0 mg/kg。与施肥前相比速效氮减少的含量依次为处理3 > 处理2 > 对照 > 处理1，施肥前与对照、各处理差异极显著，施肥后对照与处理1、处理2、处理3差异极显著，处理2与处理3差异显著。生物炭能够有效减缓速效氮的消耗。 施肥前土壤速效钾含量为239 mg/kg，施用不同生物炭菌肥后土壤速效钾含量变化有所不同。对照的速效钾含量为198 mg/kg，处理1为277 mg/kg，处理2为198 mg/kg，处理3为212 mg/kg。与施肥前相比处理1的速效钾含量增加38 mg/kg，对照、处理2、处理3较施肥前均有减少，依次为对照 = 处理2 > 处理3。施 肥前与对照、各处理差异极显著，施肥后对照与处理1、处理3差异极显著、与处理2差异不显著。生物炭能够提升土壤中速效钾的含量，生物炭菌肥能够减缓土壤中速效钾消耗。 施肥前土壤有效磷含量为35.8 mg/kg，施用不同生物炭菌肥后土壤有效磷含量变化有所不同。对照的有效磷含量为2.0 mg/kg，处理1为10.2 mg/kg，处理2为3.1 mg/kg，处理3为5.0 mg/kg。与施肥前相比各处理的速效钾含量均降低，依次为对照 > 处理2 > 处理3 > 处理1。施肥前与对照、各处理差异极显著，施肥后对照与处理1差异极显著，与处理3差异显著；处理1与处理2、处理3差异极显著； 图2. 不同生物炭菌肥施用前后土壤有机质含量 图3. 不同生物炭菌肥施用前后土壤速效氮含量 图4. 不同生物炭菌肥施用前后土壤速效钾含量 处理2与处理3差异不显著。生物炭及生物炭菌肥能够减缓土壤中有效磷的消耗。 3.1.4. 土壤铁及水溶性总盐 施用不同生物炭菌肥前后土壤铁、水溶性总盐含量变化见图6、图7和表1施肥前土壤铁含量0.89%，施用不同生物炭菌肥后土壤铁含量均有增加。其中对照的铁含量最高为0.97%，处理1为0.93%，处理2为0.92%，处理3为0.92%，依次为对照 > 处理1 > 处理2 = 处理3。播种前后土壤的铁含量差异极显著，施肥后对照与处理1、处理2、处理3之间差异极显著，各处理间差异不显著。种植绿豆可提高土壤中铁的含量，施用含有生物炭的菌肥后能够较缓和的提升土壤中铁的含量。 图5. 不同生物炭菌肥施用前后土壤有效磷含量 图6. 不同生物炭菌肥施用前后土壤铁含量 图7. 不同生物炭菌肥施用前后土壤水溶性盐总含量 施肥前土壤水溶性盐总量为1.37 g/kg，施用不同生物炭菌肥后土壤水溶性盐总量均有极显著下降。对照的水溶性盐总量为0.1 g/kg，处理1为0.3 g/kg，处理2为0.1 g/kg，处理3为0.2 g/kg，依次为对照 = 处理2 > 处理3 > 处理1。施肥前与对照、各处理差异极显著，施肥后处理1与对照、处理2、处理3差异极显著，处理3与对照、处理2差异显著；对照与处理2差异不显著。生物炭能够减缓土壤中水溶性总盐的分解。 3.2. 不同生物炭菌肥对绿豆产量及农艺性状的影响 3.2.1. 不同生物炭菌肥对绿豆产量 施用不同生物炭菌肥后，收获的绿豆小区总产量见表3。每小区平均产量对照为3.1 kg，处理1为2.6 kg，处理2为2.64 kg，处理3为3.6 kg。处理3较对照、处理2增产但不显著，较处理1增产显著，其他处理间差异不显著。 3.2.2. 不同生物炭菌肥对绿豆农艺性状的影响 施用不同生物炭菌肥后，对绿豆农艺性状进行考种，见表3。株高处理3为70.16 cm，与对照61.04 cm差异显著，与处理1、处理2差异不显著。百粒重处理2最高为6.2 g，最低处理3为5.85 g，对照与处理1、处理2差异不显著，与处理3差异显著，处理2与处理3差异显著。第一开花位置最高处理2为24.38 cm，最低为处理1为17.68 cm，处理2与处理1、处理3差异极显著，与对照差异不显著，对照与处理1、处理3差异不显著。荚长、荚粒数在对照与各处理间差异不显著。株荚数处理2最多为91.4个，对照最少为57.8个，对照与各处理间差异显著，各处理间差异不显著。主茎分枝数处理3最多为6.6个，处理1最少为4.8个，处理1与处理2、处理3间差异极显著，与对照差异不显著。
system: [SYSTEM]

user: 4. 讨论 1、生物炭对土壤的改良 本试验中土壤的PH值从施肥前7.2变成收获后8.2~8.4，说明施用生物炭后能够显著提高土壤的PH值，这与代快 [ 1 ] Zwieten、Yuan、韩光明等 [ 14 ] [ 15 ] [ 16 ] 的研究结果一致。土壤PH值升高的原因可能是大多数生物炭本身呈碱性，也可能是生物炭本身含有较多盐基离子，在土壤微生物的作用下分解出K+、Ca2+、Mg2+等阳离子与土壤中的其他离子发生交换引起的。本试验中土壤中有机质、速效氮、速效钾、有效磷的含量较施肥前略有降低，收获后较对照明显增高，可见施用生物炭后能够提高土壤有机质含量， 增加土壤速效氮、速效钾、有效磷的含量，这与房彬 [ 7 ] 、唐光木 [ 10 ] 、傅秋华 [ 17 ] [ 18 ] 等的研究结果一致。土壤有机质提高的原因可能是生物炭本身缓慢分解的原因，也可能是生物炭本身空隙较多，能够吸附周围的有机分子形成有机质，对其他营养物质的利用形成缓冲，起到缓释和积累的作用。 2、生物炭对农作物生长及产量的影响： Table 3 Analysis of mung bean yield and agronomic character 处理 项目 平均产量kg 株高cm 百粒重g 第一开花位置cm 荚粒数(个) 荚长cm 株荚数(个) 主茎分枝数(个) 对照 3.1 abAB 61.04 b 6.1 a 20.7 abAB 10.7 a 10.4 a 57.8 bc 5.6 bcAB 处理1 2.6 bcAB 64.86 ab 6.05 ab 17.68 bB 11.6 a 10.5 a 83.8 ab 4.8 cB 处理2 2.64 abcAB 65.74 ab 6.2 a 24.38 aA 11.7 a 10.8 a 91.4 a 6.6 aA 处理3 3.6 aA 70.16 a 5.85 b 18.58 bB 11.6 a 10.8 a 84.4 ab 6.3 abA 表3. 绿豆产量及农艺性状的分析 注：P > 0.05用小写字母表示；P > 0.01用大写字母表示。 施用生物炭可以显著提高作物产量并在一定程度上改善作物品质。本试验添加生物炭的处理中，绿豆的株高均高于对照，说明生物炭能够促进植株的生长，但产量和其他性状的差异不明显。刘新源等人 [ 20 ] [ 21 ] [ 22 ] [ 23 ] [ 24 ] 在对烟叶、水稻、小麦、玉米、大豆的研究中指出随着生物炭量的增加对作物产量有一定的促进作用，但品质随生物炭量的增加先升后降。王光飞 [ 25 ] 等人在对辣椒疫病防控效果的研究中指出1.33%生物炭用量对辣椒疫病的防效最好，在一定范围内防效随生物炭用量的增加而增加。本试验未对绿豆的发病情况做统计分析，就田间表现看，整体长势未有较明显病害发生。产量、品质、抗病性增加可能与加施生物炭菌肥后土壤中各营养成分的提高有关。 3、生物菌肥对农作物生长及产量的作用： 丁平 [ 19 ] 在对巴戟天有效成分的研究中指出施用有机微生物菌肥可能是糖含量增加的主要原因。袁业琴、周巍等 [ 26 ] [ 27 ] [ 28 ] [ 29 ] 的研究表明，在番茄、黄瓜等蔬菜上施用生物菌肥后产量较对照有明显增产，能够降低番茄中硝酸盐的含量，糖分、蛋白质等含量较对照增长15%，黄瓜中干物质量、糖含量和Vc含量均有一定的提高。说明生物菌肥能够固定氮素，分解土壤中农作物需要但不能被直接吸收的某些物质，为农作物提供营养成分，改善作物品质，提高产量。 本试验由于条件限制未能对绿豆的营养成分及土壤微生物变化做出研究，但就产量和农艺性状来说添加竹炭的生物有机菌肥的绿豆产量和农艺性状均高于对照和其他处理。说明生物炭能较好的改善土壤条件，为土壤微生物提供较好的生存场所，使微生物菌能够较大程度的发挥作用，为农作物提供所需的营养成分。
system: [SYSTEM]

user: 5. 结论 竹制生物炭菌肥的施用，能够明显减缓土壤中有机质、速效氮、速效钾、有效磷的消耗，长期使用可能会增加土壤中有效成分的含量，并对水溶性盐起到缓慢释放的作用。从本试验的结果看，生物炭菌肥的施用能够提高绿豆的株高、株荚数及产量，降低第一开花位置高度，并对抗病性有一定的作用。生物炭能够使土壤PH值升高，建议在偏酸性的土壤中使用，能够起到改良土壤的作用。生物炭菌肥对土壤改良的长期效果及对农作物品质、产量及抗性的提升，有待进一步验证。
system: [SYSTEM]

user: 摘 要 目前长沙地区节瓜的种植面积不断扩大，但很多菜农对节瓜的生长环境条件和相关种植技术了解不深，给节瓜的高效优质栽培带来了一定的困难。文章从品种选择，播种育苗、整地定植、搭架及植株调整、肥水管理、病虫害防治、适期采收7个方面出发，阐述了节瓜高效栽培技术，以期对节瓜的种植提供参考。 关键词 :节瓜，露地，栽培技术 Copyright © 2018 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 节瓜(Benincasa hispida Cogn.var.chieh-qua How.)又称小冬瓜、毛瓜、毛节瓜，属葫芦科冬瓜属冬瓜种一年生攀援性植物，是冬瓜的一个变种 [ 1 ] ，原产我国岭南地区，在广西、广东、海南、台湾等地区广泛种植 [ 2 ] 。近些年来，我国其他地区逐步开展了节瓜的引种和栽培工作，部分地区开展选种育种研究，节瓜的种植区域逐渐向北发展，其种植面积也在不断的增加。节瓜一般食用嫩瓜，瓜型小，风味佳，具有清热、清暑、解毒、利尿等功效 [ 3 ] ，对治疗糖尿病、浮肿病、肾脏病等疾病也有一定的辅助作用 [ 4 ] ，是炎热夏季的理想蔬菜。清热消暑的节瓜也走进了长沙的菜篮子，种植规模也在不断扩大，但在实际种植过程中，由于菜农对节瓜的高效优质种植技术和管理方法缺乏认识，严重制约了长沙地区节瓜的高效优质生产。本文根据长沙地区的环境气候特点，总结规范了长沙地区节瓜的高效栽培生产技术。
system: [SYSTEM]

user: 2. 品种选择 长沙市位于湖南省东部偏北，湘江下游和长浏盆地西缘。春季短，温度变化大，夏季日平均气温在30℃以上有85天，气温高于35℃的炎热日，年平均约30天，酷热少雨，根据长沙地区的气候特点，宜选择熟性早，抗病性强，耐热性好的优良节瓜品种，如绿节1号、桂优6号，丰冠3号。
system: [SYSTEM]

user: 3. 播种育苗 3.1. 浸种催芽 长沙地区露地节瓜栽培一般3月中下旬育苗，4月中旬定植，6月上旬采收。为使节瓜出苗整齐一致，一般要对节瓜种子进行浸种处理，并在种子露白后播至育苗盘中育苗。在55℃~60℃的水中进行温烫浸种，并不断搅拌10 min，然后在30℃清水中浸泡5~8 h，种子捞出后，沥干种子表面水分，用浸润的纱布(拧至不滴水)包好，放在30℃恒温条件下(催芽室或恒温培养箱)进行催芽。催芽期间注意保持种包湿度。 3.2. 播种育苗 种子露白后，及时将露白的种子播至50穴的育苗盘中，育苗盘填装好基质后，打深约1 cm左右的穴孔，把露白的种子平放至穴孔中，敷上基质蛭石，淋足水分，继续放到30℃催芽室内，待种子出芽后，移至温室内，进行日常育苗管理，培育壮苗。
system: [SYSTEM]

user: 4. 整地定植 4.1. 整地 宜选择地势平坦、排灌方便、通风良好的地块，以土层深厚，有机质丰富的土壤为宜。在进行育苗的同时，及时开展整地工作，深耕扒平，开沟取垄，一般垄宽1.2 m，垄高20 cm，沟宽30 cm为宜，以方便田间农事操作。垄上铺设地膜，有条件可增设滴管设备，以利于后期的追施水肥，整地时可亩施腐熟好的农家肥800~1000 kg，硫酸钾型复合肥40~50 kg，10 kg过磷酸钙。 4.2. 定植 幼苗2叶1心为最佳移栽时间。宜选择晴天下午定植，先浇透水再起苗定植。起苗时应将育苗土连同根系一起拿出，尽量不伤根系，以利成活。栽苗时双行单株，淘汰病苗杂株，定植后用浇足定根水，株距50 cm左右，亩栽1800株左右，亦可参照品种介绍。
system: [SYSTEM]

user: 5. 搭架及植株调整 节瓜搭架栽培需及时引蔓上架，当植株长出5~7节时可进行，搭“人”字架，并引蔓缚蔓，每隔2~3天引蔓1次，并及时清除80 cm以下侧枝，植株长势过旺时及时进行植株调整，摘除无瓜侧蔓。
system: [SYSTEM]

user: 6. 肥水管理 节瓜定植后应注意水肥管理，追肥以开花前少施薄施，开花后重施为原则。幼苗期生长较慢，养分主要依靠基肥，第一批幼瓜坐果后，每隔15 d左右用硫酸钾型复合肥(15-15-15) 10 kg兑水通过滴灌设备追肥或淋根，以保持植株健壮长和连续坐果结瓜，盛果期可酌情增加追肥量和缩短追肥间隔。节瓜喜湿，长沙地区春季雨水较多，夏季高温干燥，生长前期要适当控制水分，而生长后期要及时灌水，保持土壤湿润。
system: [SYSTEM]

user: 7. 病虫害防治 按照“预防为主、综合防治”的植保方针，结合农业防治，物理防治，生物防治，化学防治等措施控制田间病虫害的发生。 节瓜栽培进行轮作，科学施肥，增施优质有机肥，减少化肥施用量；选用抗病品种，严格进行种子消毒，减少种子带病虫，培育无病虫害壮苗，提高抗逆性；加强中耕除草，清洁田园，及时摘除老叶、病叶、病虫瓜和畸形瓜，及时采收商品瓜。病虫害防治时注意农药轮换使用，首次施药可适当增加浓度，以达到较好的防治效果。 7.1. 主要虫害 常见的害虫有蓟马、蚜虫、瓜实蝇、斑潜蝇。蓟马、蚜虫可采用黄板板诱杀，可用10%吡虫啉2000~3000倍液，5%啶虫脒1000~1500倍液或70%艾美乐15000~2000倍液。斑潜蝇可用1.8%阿维菌素乳油1000~1500倍液喷施防治或40%吡虫啉可湿性粉剂1000倍液。瓜实蝇可用2.5%溴氰菊酯乳油(敌杀死) 2000~3000倍液，21%灭杀毙乳油4000~5000倍液或4.5%高效氯氰菊酯乳油1000~1500倍液等药液喷施防治。 7.2. 主要病害 主要病害有白粉病、疫病、病毒病等。白粉病可用18%三唑酮可湿性粉剂(粉锈宁)600~800倍液，5%己唑醇可湿性粉剂2500~5000倍液或50%醚菌酯悬浮剂1800~2000倍液喷施防治，每隔7~10天喷施1次，连续防治2~3次。疫病可用50%烯酰吗啉可湿性粉剂1500倍液，68%精甲霜锰锌水分散粒剂600~800倍液或72.2%霜霉威盐酸盐水剂600~800倍液等药液喷施防治。病毒病的防治应做好蚜虫和螨类的防治工作，可采用噻虫嗪、多杀霉素等灭杀，并及时拔除病株，发病初期用20%病毒A可湿性粉剂400~600倍液或5%菌毒清水剂200~800倍液喷施防治。
system: [SYSTEM]

user: 8. 适期采收 开花坐果时，可摘除第一个瓜，留第二个及以上的瓜，有条件的可以人工辅助授粉。节瓜坐果后及时去除病虫瓜、畸形瓜，促进正常瓜的生长发育，提高商品瓜率。一般早晨采收商品瓜，可采用剪刀从果柄剪下，避免损伤藤蔓。为保证藤蔓的健壮和坐果的持续性，适应及时采摘商品瓜，采收单瓜质量为300~600 g，也可根据市场价格调整采瓜时期，以提高产量和效益。
system: [SYSTEM]

user: 摘 要 近年来，衡阳县以转变农业发展方式为契机，按照“稳粮提质增效”的基本思路，因地制宜，多措并举，大力发展再生稻生产。本文通过对衡阳县再生稻发展概况、生产中存在问题的分析，主要从栽培技术等方面提出了适合衡阳县再生稻产业的相关措施。 关键词 :衡阳县，再生稻生产，问题，对策 Copyright © 2018 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 再生稻是头季稻收割后，利用稻桩上存活的休眠芽或潜伏芽，给予适宜的水、温、光和养分等条件，加以培育，使之萌发成再生分蘖，进而抽穗成熟的一季水稻，俗称“抱孙谷”或“秧孙谷”。再生稻种一季，收二季，不仅省种、省工、省时、省肥、省水、省药，而且米质优，绿色环保，深受消费者欢迎，具有良好的市场优势，是一条农业增产增收的好路子。大力发展再生稻，探索优质高产的栽培技术是农技部门的应尽职责。
system: [SYSTEM]

user: 2. 衡阳县再生稻发展概况 衡阳县是粮食生产大县，也是全国粮食生产先进县、全省粮食生产标兵县。水稻常年种植面积在933，334 hm 2 以上，总产600，000吨以上。衡阳县地处“衡阳盆地”北沿，属中亚热带湿润季风气候，常年降水量1452 mm，年平均气温17.9℃左右，适宜再生稻生产。衡阳县再生稻生产历史悠久，在解放初期，衡阳县农业生产模式主要是一季水稻，当时，水稻品种单产较低，农户将一季稻收割后的再生稻作为口粮的补充，再生季每公顷产量不到450 kg。七十年代末期至八十年代初期，大力发展双季稻。八十年代末期至九十年代初期，随着农业生产技术的发展，水稻品种的逐渐改良，粮食单产的逐年提高，一季稻面积逐年扩大，再生稻面积越来越多，生产水平不断提高，平均每公顷产量增加到750 kg (见表1)。近年来，为适应农业供给侧结构改革需要，优化农产品品质，提高种植效益，再生稻生产得到了较快的发展，各级农业部门积极探讨再生稻高产栽培技术。衡阳县农业部门从2016年开始试验示范再生稻栽培技术，先后在栏垅乡均龙村和演陂镇石油村分别创办了千亩再生稻生产示范片，品种均为Y两优9918，再生稻每公顷产量达到2250 kg以上(见表2)。 经过试验示范，说明衡阳县再生稻产量水平逐步提高，与过去相比，有一个大的飞跃。且再生稻种粮效益明显高于双季稻和单季稻，深受缺劳动力的农户欢迎(见表3)。例如，渣江镇东洲村农户凌均利，承包水田2 hm 2 种水稻，每年都要种植再生稻0.67 hm 2 ，头季产量6.5吨，再生季产量1吨，共产稻谷7.5吨，产值22，250元。再生稻米卖到5元钱一斤，比种一季稻和双季稻增产增收。衡阳县再生稻在单产上还有很大的增产潜力，值得在栽培技术上进一步挖掘、探讨。
system: [SYSTEM]

user: 3. 衡阳县再生稻生产中存在的问题 从栏垅乡均龙村和演陂镇石油村的两个示范片的栽培管理技术来看，虽然衡阳县再生稻栽培技术趋于成熟稳定，生产中可以大面积推广应用；但仍然存在几个方面的问题有待进一步研究解决。 3.1. 重视不够、面积不大，机收不过关、碾损较大，产业不配套 再生稻没有作为一季粮食种植面积纳入统计，没有享受种粮补贴，政策上没有支持。大部分农民认识不够，抱着有收就收、无收就丢的态度，没有真正作为一季庄稼种植，蓄留再生稻的保收率不高。 Table 1 Comparison of area and yield of ratoon rice in Hengyang County (unit: hm2， kg/hm2 时间 再生稻面积 每公顷产量 1950a-1978a 66.67 450 1978a-1987a 15.51 450 1987a-1990a 133.33 750 1990a-2015a 233.33 1500 2015a-2017a 666.67 2250 表1. 衡阳县再生稻面积、产量历年比较(单位：hm 2 、kg/hm 2 ) 表中数据来源于衡阳县农业技术推广部门。 Table 2 Comparison of two demonstration plots of Ratooning Rice in Hengyang County (unit: kg/hm2 时间 地点 品种 头季产量 再生季产量 2016a 栏垅乡均龙村 Y两优9918 8250 2251.5 2017a 演陂镇石油村 Y两优9918 9583.5 2292 表2. 衡阳县再生稻两个示范片产量比较表(单位：kg/hm 2 ) 表中数据来源于衡阳县农业技术推广部门。 Table 3 comparison table of efficiency between ratoon rice and double cropping rice and single season rice in Hengyang County (unit: yuan/hm2， kg/hm2 种植模式 生产成本 产量 产值 收益 种子 农药 化肥 机械 用工 再生稻 2250 1500 1800 4500 9000 9750 28500 9450 双季稻 2700 3000 3000 9000 12000 15000 33900 4200 一季稻 2250 1500 1500 4500 6750 9000 23400 5400 表3. 衡阳县再生稻与双季稻、一季稻效益对比表(单位：元/hm 2 、kg/hm 2 ) 表中数据来源于笔者调查的种粮大户实际数据。 现有普通收割机收割再生稻头季稻时，其履带会碾压20%~30%的稻茬，同时对稻桩破坏比较严重，导致稻桩上的腋芽不能萌发 [ 1 ]。头季机械收割比人工收割的再生季稻谷产量损失25%左右。 相关产业不配套，带动不力。再生稻的产业开发还没有跟上，品牌创建乏力，企业的带动作用不强，还没有形成全产业链的开发模式。 3.2. 栽培管理技术不到位，单产不高 目前衡阳县再生稻的单产水平仅2250 kg/hm 2 ，要提高栽培技术，提高产量。分析主要原因如下： 3.2.1. 示范品种单一，抗性不强 Y两优9918品种为主打示范品种，且存在不耐肥、抗倒伏能力不强，易感稻瘟病。栏垅示范片由于是第一年品种试验，没有施用多效唑控苗，出现了不同程度的倒伏现象，从而影响了两季产量。 3.2.2. 部分丘块插植密度不够，基本苗不足，影响了再生季的有效穗 栏垅示范片以散户连片种植为主，用种量相对较少，丘块插植密度不一，部分田块基本苗不足，不到18万株hm 2 ，再生季有效穗相应减少，从而影响了产量，再生季产量从1539~3087 kg/hm 2 不等。 3.2.3. 头季稻管理不善，造成再生季产量偏低 存在的问题主要有： a) 头季稻晒田不够，根系活力较差，影响了头季稻灌浆和再生芽的发育。 b) 病虫防治不力。衡阳县近两年二化螟为害特别严重，散户防治不及时，或者施药不当，二化螟没有彻底防治好，造成头季稻白穗较多，再生芽发育不整齐。 c) 促芽肥用量不足，时期不当。散户为了节约成本，少施或不施促芽肥，施肥时间或早或迟，影响腋芽的存活与发育。 d) 田间湿度偏大，稻桩碾压过多，或留桩高度偏低。田块排水不畅，导致稻桩碾压过多，再生稻萌发的基本稻桩减少；或者收割时留桩偏低，高度没有达到30 cm左右，造成再生季有效穗不足，产量不高。 e) 再生季用水管理不当，头季稻收割后没有及时灌溉水源，干旱过重，再生芽不能及时发出来。
system: [SYSTEM]

user: 5. 结论 a) 衡阳县再生稻发展历史久远，过程简单，前期以自行生长为主，后期在农业部门的推动下，发展较快。 b) 再生稻生产示范起步较晚，生产中存在的问题亟待进一步探索解决，发展再生稻栽培技术，要围绕“多桩、高桩、高肥、争多穗、夺高产”的主攻目标，选择好品种，种好头季稻，施足促芽肥，管好水源，加强病虫防治，才能确保“两稻”丰产。 c) 再生稻是保持农民持续增收的种植模式，是国家利益和农民利益有机结合的代表，衡阳县是全国粮食生产先进县、全省粮食生产标兵县，切实把再生稻产业做大、做强，使再生稻产业成为农业发展新的经济增长点，成为解决三农问题和扶贫工作新的抓手 [ 3 ]。
system: [SYSTEM]

user: 摘 要 针对传统文本分类算法在面对日益增多的海量文本数据时效率低下的问题，论文在Spark计算框架上设计并实现了一种并行化朴素贝叶斯文本分类器，并着重介绍了基于Spark计算框架的文本分类实现过程。实验阶段，分别在单机、Map Reduce和Spark三种不同的计算框架下测试了文本分类的效率，并使用控制变量的方法在Spark计算框架下设计对照实验。实验证明，Spark计算框架下的朴素贝叶斯算法在面对海量文本分类时有着较高的处理效率。 关键词 :文本分类，计算框架，朴素贝叶斯，TF-IDF Copyright © 2018 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 信息化时代，人类社会每天产生的数据不断增多，达到了PB甚至EB的数量级。在海量数据中，相当大的一部分是以文本形式存在的半结构化或非结构化数据。为了提高处理海量文本信息时的效率，需要对这些文本信息进行必要的组织和管理。 文本分类技术是指根据文本内容自动将文本划分为一个或多个类别的技术，在自然语言处理领域的许多应用中发挥着关键作用 [ 1 ] 。目前文本分类方法中使用较为广泛的包括K-最近邻、朴素贝叶斯、决策树等。这些传统文本分类方法在中小规模的数据集上效果较好，但是由于文本分类过程涉及到大量的统计和计算，随着数据量的增大，传统的算法表现出很多不足，最主要的缺点就是分类耗时较高。如何在面对海量数据时快速高效地完成文本分类，对于文本信息的挖掘有着重要的意义。 Google先后发表的关于GFS [ 2 ] 、Map Reduce [ 3 ] 和Bigtable [ 4 ] 的三篇论文为大数据技术奠定了基础，随后Hadoop应运而生。Hadoop不仅提供了GFS和Map Reduce的开源实现，而且还发展成了包含存储、计算、资源管理等多功能的Hadoop生态圈 [ 5 ] 。Hadoop的Map Reduce计算框架出现较早，技术比较成熟，被广泛用于离线数据处理。自Hadoop出现至今，其核心组件之一的Map Reduce一直都是被广泛使用的并行计算框架，基于Map Reduce的文本分类并行化的研究也取得了一定的成果。Spark作为Hadoop生态圈中的新成员，是一个由加州大学伯克利分校推出的基于内存的大数据并行计算框架，它在执行多次迭代计算的任务时，不会将中间结果存储在硬盘上，而是放在内存中，极大地提高了后续过程的计算速度。在执行某些需要迭代计算的任务中，Spark的速度理论上可以达到Map Reduce的近百倍。 为了更直观地了解大规模文本分类在不同计算框架下的计算效率，论文基于Map Reduce和Spark两种不同的计算框架设计并实现了朴素贝叶斯分类算法，通过对照试验对单机环境以及两种分布式计算框架下的文本分类进行了效率对比。实验证明，基于Spark框架的朴素贝叶斯文本分类算法在应对大规模数据时效率较高。
system: [SYSTEM]

user: 2. 相关技术发展现状 2.1. 文本分类技术 文本分类是一个有监督的学习过程，分为训练过程和分类过程两部分。先对已知类别的训练语料进行学习，得到分类模型，然后利用分类模型对未分类的文本进行分类。 文本分类的过程可以用数学语言描述如下： 假设有一个类别已知的文本集合 D = { d 1 ， d 2 ， ⋯ ， d n } (n集合中文本总数)，一个文本类别集合 C = { c 1 ， c 2 ， ⋯ ， c m } (m为类别的个数)，在集合D和C之间有这样一种关系，用 φ 表示为： φ : D → C 该式表示存在一个映射 φ 把D中的每个文本 d i 映射为C中的一个或几个类别。文本分类就是通过对训练集文本的学习，来建立这样一个与 φ 近似的映射关系 φ ′ ，这个映射关系就是文本分类器，可以用于未知类别的文本集合的分类。 文本分类的一般流程可以用图1来表示。 早在1957年，H. P. Luhn [ 6 ] 发表的一篇有关信息检索的论文中提出了词频统计思想；在上世纪60到80年代，主要是根据专家提供的知识提炼出合适的规则建立分类器。1981年，侯汉清 [ 7 ] 教授向国内引入文本分类思想。基于机器学习的自动文本分类方法于90年代产生，并且逐渐发展成为主流的分类方法，这种方法是把一些重要的机器学习算法引入到文本分类中。90年代中期Joachims率先将支持向量机引用到文本分类领域，在有限样本的情况下取得了很好的效果。随后，Yiming Yang [ 8 ] 等人结合决策树算法完成了文本分类，也取得了不错的效果。2001年，庞剑锋等人 [ 9 ] 把VSM向量空间模型运用在中文文本分类；2013年，张志飞等人 [ 10 ] 采用了基于LDA主题模型的方法，对短文本进行分类；2017年，武建军等人 [ 11 ] 提出了基于互信息的加权朴素贝叶斯分类算法，具有良好的分类效果。 近年来随着计算机和信息技术的发展，数据规模不断扩大，此时单机环境的分类系统已经不能满足需求。面对单机无法处理的大规模数据，对于文本分类并行化的研究逐渐兴起。 江小平等人 [ 12 ] 在2011年实现了在Hadoop平台上对朴素贝叶斯算法的并行化来进行文本分类；2016年，长春工业大学的光顺利提出了三个因子改进卡方统计特征选择方法，并在Spark平台下实现了朴素贝叶斯分类方法。2017年，北京交通大学的宋福星 [ 13 ] 设计了Spark平台下的基于BP神经网络与在线分域特征选择算法(OFFS算法)相结合的OFFS-BP文本分类器。 图1. 文本分类过程 2.2. 分布式计算框架 2.2.1. Hadoop Map Reduce计算框架 Hadoop Map Reduce是Apache基金会旗下顶级开源项目，属于应用较早、发展较为完善的一种分布式计算框架，现已广泛应用于搜索引擎、推荐系统、日志分析、信息检索等应用，能够有效的解决海量数据的存储、计算以及资源管理调度等问题。Hadoop Map Reduce可以使用户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的资源进行高速运算和存储。 Map Reduce计算框架的核心思想是“分而治之”，就是把较大的任务分解成若干小任务，然后分发到集群的各个计算节点上分别进行计算，最后将结果汇总。整个过程可分为Map和Reduce两个阶段。在Map阶段会将待处理的原始数据按照一定原则分割成数据块，然后分发到各个计算节点上进行计算；Reduce阶段会把Map阶段得到的结果进行汇总，合并成最终的结果。 2.2.2. Spark计算框架 Spark是加州大学伯克利分校的AMP实验室所开发的类Hadoop Map Reduce通用并行计算框架。Spark既具有与Map Reduce相同的可扩展性、容错性、兼容性，同时与Map Reduce相比具有以下几点优势： • 中间输出和结果存储在内存中，不再需要读写HDFS，极大地提高了任务的执行速度。 • 使用RDD (Resilient Distributed Datasets)作为分布式索引来对数据进行分区和处理，能够减少机器之间的数据混合(Data Shuffling)。 • Map Reduce在数据Shuffle时每次都花费大量时间来排序，而Spark任务在Shuffle中不是所有情况都需要排序。 因此，Spark能更好地适用于数据挖掘与机器学习领域许多需要迭代的算法。Spark的发展历程如表1所示。Spark的发展速度非常之迅速，目前，Spark已经成为代码活跃度最高的大数据处理框架。Spark官方维护运营公司Databricks已经组织并举办了从2013年到2017年的五次Spark Summit技术峰会。Spark的应用领域正在不断扩大，会逐渐应用到更多行业的各类应用场景中。
system: [SYSTEM]

user: 3. 文本分类算法流程 3.1. 文本预处理 文本预处理是在正式处理文本数据之前，对原始文本进行的一系列必要的操作，以方便后续的处理。对文本分类而言，任何算法都不能在一整篇文本上执行，必须要经过文本预处理，完成分词、去除停用词等步骤，才能将一整篇文本转化为一组特征项，输入到文本分类算法中去。 Table 1 Spark’s development cours 时间 发展 2009年 Spark由UC Berkeley的AMPLab研发成功 2010年3月 Spark正式开源 2011年 AMP实验室开始在Spark上面开发高级组件 2013年6月 加入Apache基金项目 2014年2月 升级为Apache基金的顶级项目 2014年5月 Spark 1.0发布 2016年6月 Spark 2.0发布 2018年2月 最新版本Spark 2.3.0发布 表1. Spark的发展历程 3.1.1. 分词 英文文本的单词之间以空格分隔，在分词时可以直接按空格标点切分，难度相对较低；中文的词与词、短语与短语之间并不存在明确的分隔界限，难度相对较高。无论是中文还是英文，分词的结果精准与否，对文本后续的特征选择和模型训练过程有非常大的影响。因此，选择一种快速且精准的分词算法非常重要。 目前比较流行的分词工具有：IK Analyzer、Jieba、Ansj、Paoding Analyzer、NLPIR、盘古分词等。其中IK Analyzer实现相对简单，分词速度快，并且支持多语言分词，支持用户扩展词典。因此论文采用IK Analyzer实现文本的分词操作。 3.1.2. 去除停用词 停用词是指在文中大量出现，但几乎不携带任何信息的词，包括冠词、介词、代词等，如中文的“的”、“啊”，英文的“the”、“a”等。这些词的大量存在对文本分析用处极低，但却大大增加了计算量，因此要在预处理时将它们发现并删除。IK Analyzer分词工具支持在配置文件里配置自己的停词表，极大地降低了去停用词的计算量。 3.2. 文本特征选择 经过预处理后，原始文本中的长句被转换成一组组特征项。如果文档较长，必然会存在特征项的维度过高的情况，并且噪声项也可能会存在，这些都给后续的计算增加了难度 [ 14 ] 。为了提高分类速度和精度，应把在各个类别都比较常见的词语删除，只保留关键词语，这个过程称为文本特征选择。经过文本特征选择，筛选出针对每一类的特征项集合，大大降低特征项的维度，减少计算量。 3.3. 文本表示 文本表示是指将非结构化的文本表示成一种便于计算机理解和处理的数学模型，比如布尔模型、概率统计模型以及向量空间模型。目前比较常用的是向量空间模型VSM (Vector Space Model)。VSM可以将文本表示成特征向量的形式。这种特征向量的形式符合大多数机器学习算法的输入，为算法中的数学计算提供便利。但是VSM文档特征向量维数众多，在高维向量中每个特征项有不同的权重。因此，在表示文本时需要计算每个特征项的权重，并按权重来进行排序，选取权重较高的特征项作为最佳特征。 文本中的特征权重有多种计算方法，应用比较普遍的就是TF-IDF加权算法。其中的TF (Term Frequency)为特征项频率，即该特征项在某篇文本中出现的次数，反映特征项在文本内部的分布情况，计算方式如下： T F w i j = n w i j ∑ k n w k j 其中 w i j 表示第j篇文本中的第i个特征项， n w i j 表示该特征项在文本 d j 中出现的次数， ∑ k n w k j 表示文本 d j 中所有特征项出现次数之和。 IDF (Inverse Document Frequency)为特征项的逆向文本频率，反映了特征词在整个文本集合的分布情况。其定义如下： I D F w i = log M ∑ j | j : w i ∈ d j | 其中M表示语料库中的文本总数， ∑ j | j : w i ∈ d j | 表示包含词语的文本数目总和。 特征权重计算公式如下： T F I D F w i j = T F w i j × I D F w i j 从TFIDF的经典公式中可以发现，如果一个特征项具有很高的词频TF，并且只是高频出现在一篇或几篇文章中，也就说明该特征项的IDF很高，那么该特征项的权重就会高于特征集中的其他项，具有很好的区分性和代表性，适合用来分类。 3.4. 分类方法选择 论文使用的文本分类方法是经典的朴素贝叶斯分类方法，它是由Maron和Huhns于1960年提出的一种基于概率模型的分类方法，后来被Lewis引入信息检索和文本分类领域。朴素贝叶斯算法以贝叶斯定理和特征条件独立假设为基础，先通过总结经验获得先验概率，然后根据贝叶斯公式计算相应的后验概率，得到该对象属于某一类别的概率，然后用最大后验概率的类别选为最终对象的类别。 朴素贝叶斯应用到文本分类时，基本描述如下：设有数据集D，类别数量为N，即D表示为 C 1 ， C 2 ， ⋯ ， C N ；数据集中的每个样本有n个属性，第i个属性是 X i = { 1 ， 2 ， ⋯ ， n } 。对于一个给定的待分类样本X和类别 C i ( 1 ≤ i ≤ N ) ，朴素贝叶斯分类算法使用最大的后验概率 P ( C i | X ) 来预测X所属的类别。 根据贝叶斯定理，文本X属于类别 C i 的后验概率计算如下： P ( C i | X ) = P ( X | C i ) P ( C i ) P (X) 先验概率计算如下： P ( C i ) = n i / N 其中， n i 为属于类别 C i 的训练样本的数量，N为训练样本的总数。基于特征条件独立假设，条件概率计算如下： P ( X | C i ) = P ( X 1 | C i ) P ( X 2 | C i ) ⋯ P ( X n | C i ) = ∏ j = 1 n P ( X j | C i ) 建立朴素贝叶斯分类器有两种方法，其一是多项式模型，另一个是多元伯努利模型。这两种模型的区别是对 P ( X | C i ) 的计算，而多项式模型要优于多元伯努利模型。因此论文在对条件概率进行贝叶斯估计时采用的是多项式模型，计算方法如下面公式所示。公式中分子和分母分别加1和加|V|进行拉普拉斯平滑。 P ( X j | C i ) = 1 + T F ( X j ， C i ) | V | + ∏ j = 1 | V | T F ( X j ， C i )
system: [SYSTEM]

user: 4. 基于Spark的朴素贝叶斯算法设计与实现 朴素贝叶斯算法是一种基于统计的算法，基于特征条件独立假设，该算法具有较高的分类准确率 [ 15 ] 。但其传统串行的实现方式由于时间复杂度较高，只局限于中小规模的数据集，在处理海量数据时该算法的分类效率大大降低。为克服传统算法无法高效处理海量数据的缺点，论文研究了在Spark并行计算框架的基础上朴素贝叶斯算法的并行化实现，从而来提升海量数据的文本分类速度。 4.1. 数据预处理 实验将原始文本集存储在HDFS上，文本集中有若干分类目录，目录下包含属于此类的若干文档。在文本预处理阶段，先对文本进行格式化，将文本转化成统一的格式，然后再进行分词和去除停用词等操作。 预处理流程如下： • 通过读取目录的方式将文本集读入，分别用不同的int型数值作为每一类的类标号label； • 利用中文分词工具对文本集进行分词； • 按照贝叶斯模型的输入要求转换输入格式：每个类别形成一个新文本，新文本中每行存放一篇文本，每篇文本的格式为 ，即类别名和文档分词后的词组成的集合； • 预处理完成后，会在新目录transformed Train下生成与类别数相同的多个文本，这些文本以类标号label命名，如0.txt~19.txt。将预处理过后的数据上传至HDFS中。 4.2. 文本向量化 原始数据在预处理之后，其形式还是文本，不能直接输入到分类器中，因此需要先通过文本特征抽取，将文本形式转换为向量形式。 常用的特征提取的方法有TF-IDF、Word2Vec以及Count Vectorizer等，论文使用的是TF-IDF算法，该算法原理和实现较为简单，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 假设用t表示词语，d表示文本，D表示语料库。词频TF(t， d)是词语t在文档d中出现的次数。文件频率DF(t， D)是包含词语t的文档的个数。IDF的计算公式如下： I D F ( t ， D ) = log | D | + 1 D F ( t ， D ) + 1 其中， | D | 是语料库中的文档总数，为了避免分母为0进行加1平滑。 TF-IDF度量值表示如下： T F I D F ( t ， d ， D ) = T F ( t ， d ) ⋅ I D F ( t ， D ) 在Spark计算框架下，TF-IDF被分成TF和IDF两部分进行计算。 TF：将输入的文本转换成固定长度的特征向量，通过应用hash函数将原始特征映射到index，即index就是单词的哈希值，value是根据映射的index计算的单词频数。 IDF：作用于一个数据集并产生一个IDF模型，该IDF模型接收由上一步产生的特征向量，计算每个词在语料库中出现的文本数目。 文本向量化的流程如图2所示。 图2. 文本向量化流程图 4.3. 模型训练 Spark MLlib模型训练的输入数据的格式是RDD(label，features)。训练完成后，生成朴素贝叶斯分类模型。具体步骤如下： • 准备训练数据trainDataRdd，训练数据的格式是RDD(label，features)； • 调用类伴生对象NaiveBayes的静态train方法，根据输入参数，初始化NaiveBayes类，然后开始训练模型。训练完成后，生成一个贝叶斯分类模型。