DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 3. 研究区概况及资料处理方法 3.1. 研究区概况 老虎沟流域位于祁连山西端北坡，地理位置为39˚05'N-39˚40'N，96˚07'E-97˚04'E，是祁连山冰川发育最盛的区域之一(图1)，北面是荒漠戈壁昌马乡(山间盆地)，南面隔着野马河与野马山遥遥相望，东面连接托赖南山，西部已处于祁连山山脉边缘，东西长约50 km，南北最宽处达到25 km。由于本区海拔较高，常年低温，降水较丰富，冰川特别发育，共有冰川44条，是祁连山西部最主要的冰川作用区 [ 12 ] 。 老虎沟12号冰川由东西两支冰川组成，汇合于海拔4560 m处，全长9.85 km，面积约为20.4 km 2 ，占老虎沟冰川流域面积的53.6%，冰舌末端海拔4250 m，最高海拔5483 m，平衡线海拔4830 m，坡度平缓(3˚~6˚)，具有稳定性冰川的特征，是老虎沟流域中最具代表性的冰川。按冰川的物理特性分类，12号冰川属于极大陆型冰川，老虎沟是中国冰川检测研究的第一个野外观测站所在地。先后有科学家对12号冰川地区进行过多次较为系统的气象、水文等多学科综合考察，12号冰川年均物质平衡为−644 mm 检测时段：1959~76年) [ 13 ] 。平衡线高度随气候变化波动明显，冰川运动在过去20年来保持了常规运动形式，且运动速度有减少趋势。 图1. 研究区示意图 2005年开始，对12号冰川进行全面观测，包括冰川物质平衡、冰川变化、冰川化学和气象水文等多方面的研究，杜文涛等 [ 14 ] 发现12号冰川在1957~1976年间退缩了约100 m，1985~2005年期间退缩了约140 m，气温升温幅度的增大是20世纪90年代以来冰川退缩加剧的根本原因。孙维君等 [ 15 ] 利用12号冰川积累区气象观测资料，结合能量平衡模型，发现净辐射是冰川表面主要的能量来源，其次是感热通量；冰川消融耗热是主要的能量支出项，其次是潜热通量。 3.2. 观测资料处理 3.2.1. 观测资料来源 自动气象站架设在老虎沟12号冰川消融区(96˚32.1'E，39˚28.7'N，4550m a.s.l.)，气象传感器技术参数及架设高度详见表1。气象仪器经过中国气象局的标定和调试后，与耐低温(−55℃)数据采集器CR1000 (Campbell，美国)连接，每10 s采集一次数据，30 min输出一次平均值。涡动相关系统采用三维超声风速风向仪(CSAT3，Campbell)和二氧化碳/水汽通量仪(LI-7500，LI)，气象传感器与数据采集器CR3000 (Campbell，美国)相连，数据采集频率为10 Hz。在2011年6~9月，在冰川消融区开展消融观测，气象站地方时比北京时间大约晚1 h 34 min。 3.2.2. 资料的处理 在长时间的气象观测中，由于自动气象站所处条件恶劣，观测的气象要素有时会出现异常值或者缺失，因此，对观测的气象要素进行异常点的剔除以及插补，在处理数据的过程中发现气压异常值较多，由于气压的波动变化相对较小，采用前后时段的数据进行插补。由于冰川是一种特殊的下垫面，随着冰川消融，气象传感器距离冰川表面高度增加，随着固态降水的增多，距离冰川表面高度减小，因此有必要对气象要素修正到同一高度进行数据的分析。气压和辐射四分量随着高度变化很小，没有进行修正，气温、相对湿度和风速采用三者的廓线方程和Delaunay三角网剖分法进行修正 [ 16 ] 。 3.3. 计算方法 目前计算冰川表面感热和潜热通量的方法有梯度廓线法、涡动相关法和整体动力学法等 [ 17 ] 。梯度廓线法对仪器的观测误差非常敏感，计算存在着很多的不确定性，也很难获得完整的梯度观测资料，由此限制了此方法在冰川表面的应用；涡动相关法是利用超声风速仪观测风、温、湿的脉动值直接来计算地表动量、感热和潜热通量，但由于超声风速温度仪价格昂贵且观测的数据量大，虽然数据较为精确但需要经常到现场维护，且推广性差，因此在高海拔地区的应用受到了限制；本篇文章在计算冰川表面地表特征参数时主要采用的是整体空气动力学法，下面将主要介绍这种方法。 Table 1 Technical parameters and installation height of the sensors on the automatic weather station at 4550 气象要素 传感器型号 测量范围 精度 架设高度 气温(℃) Vaisala41382 −40~＋60 ±0.2 2.2， 3.8 m 相对湿度(%) Vaisala41382 0.8~100 ±2 2.2， 3.8 m 气压(hPa) PTB210 50~1300 ±0.5 1.5m 风速(m/s) Young05103 0~60 ±1 2.2， 3.8 m 风向(˚) Young05103 0~355 ±3 2.2， 3.8 m 降水(mm) T200B 0~600 ±0.1 1.7 m 短波辐射(Wm − 2 ) Kipp & Zonen CM3 0.305~2.8 ±10%日总量 2 m 表1. 海拔4550 m气象传感器技术参数及架设高度 以莫宁-奥布霍夫理论为基础，进行稳定度修正，这种方法适用于冰雪下垫面湍流通量的计算，而且只要求具备一层气象要素即可。冰川表面动量拖曳系数、感热和潜热通量可表示为： (1) (2) (3) 其中， 为当地空气密度(kg∙m − 3 )； 、 和 分别为摩擦风速(m∙s −1 )、温度尺度(k)和湿度尺度( )， 为空气定压比热(1005.7 J∙kg∙k − 1 )； 为蒸发或升华潜热(当T S = 273.15 k时，冰川表面出现蒸发/凝结，为2.501 MJ∙kg − 1 ∙k − 1 ，当T S < 273.15 k时，冰川表面出现升华/凝华，为2.834 MJ∙kg − 1 )； 、 和 分别是高度z处的平均风速(m∙s − 1 )、气温(k)和空气比湿(g∙kg − 1 )； 和 分别为冰川表面的温度(k)和比湿(g∙kg − 1 )；另外，动量拖曳系数( )、热量输送系数( )的表达式为： (4) (5) 表达式中，k为卡曼常数(0.4)；L是莫宁-奥布霍夫长度， 、 分别为稳定度z/L的动量和热量的通用普适函数，在中性层结下 为0；当大气层结稳定时，采用Holtslag and de Bruin [ 18 ] 方案计算 和 ；当大气层结不稳定时，采用Businger-Dyer [ 19 ] 参数化方式，取Dyer的普适函数。 理查逊数Ri b 是用来表征大气边界层的稳定性的参量，当Ri b 为较大负值时，表示大气处于不稳定状态；当Ri b 为较大正值时，表示大气处于稳定状态；当Ri b 接近于0时，表示大气处于中性层结状态。它的表达式为： (6) 式中，g表示的是重力加速度9.8 m∙s − 2 ； 和 分别是地表动量和热量粗糙度。其中，动量粗糙度是采用风速的廓线方程(两层或两层以上)计算的，当大气处于近中性层结条件下， 可表示为： (7) 式中，z 1 和z 2 分别为2.2 m和3.8 m；u 1 和u 2 分别为其相应高度处的风速。
system: [SYSTEM]

user: 4. 12号冰川消融区气象特征 4.1. 气温 冰川上的气温高低变化影响冰川的物质平衡变化，尤其在夏季影响冰川的消融变化。图2给出了海拔5040 m气温日平均值变化特征，观测期间，海拔5040 m日平均值最高出现在2011年7月21日，为4.3℃，日平均值最低温出现在9月28日，为−12.4℃。 图2. 老虎沟海拔5040 m气温日平均值变化 气温的月较差可以反映观测期间各月份气温的变化稳定情况，6~9月份的月较差分别为9.8℃、9.7℃、7.7℃和13.6℃，说明9月份的温差较大，8月的温差最小，而数据显示，9月份只有两天气温位于0℃以上，说明9月份气温偏低。 气温的正积温可以反映冰川表面的能量状况，分析冰川表面正积温的变化可以为度日模型提供数据，为探讨气温与冰川消融的关系提供基础。本章中的正积温为一个月内日平均气温超过0℃的累积值。6~9月份的正积温分别为3.3℃、17.3℃、20.6℃和1.6℃，8月的正积温值最高，说明本月接收的辐射能量更高。而8月的气温月较差又最小，说明8月份的整体气温处于平稳较高状态。 4.2. 降水和相对湿度 降水是气候变化最直接的指示器，它是冰川发育的基础，会影响地面的反照率，从而影响能量收支和冰川消融。受西风带和局地环流的影响，老虎沟的降水主要集中在夏季，图3中可以看出其中观测期间最大降水量发生在2011年6月16日，为25.9 mm，一年中，6月份的降水最多。降水形态受气温的影响，关于降水中固态和液态的划分标准并不统一，多以单一临界气温作为划分依据，但不同地区研究者所取气温也不相同，本文利用−2℃和2℃为临界温度，当日平均气温低于-2℃时为降雪，高于2℃时为降雨，介于中间时为固液混合态 [ 20 ] ，海拔5040 m三种降水形态所占比例分别为10%、37%和53%。随着海拔的升高，气温降低，降雨所占的比例越来越少，降雪比重越来越大。 图4是老虎沟海拔5040 m相对湿度日平均值变化，收到气温和降水的影响，6~9月的相对湿度在全年中处于高值阶段，由图可看出，观测期间相对湿度普遍较高，这4个月的平均值为63%。 4.3. 气压和风 祁连山近地面夏季为高压，全年变化规律为典型的高山型气压。观测期间，气压在8月最高，图5显示的是2011年6~9月气压日平均值变化情况。 在高海拔山区，受局部地形的影响，会形成特殊的局地环流，山谷风和冰川风，这些都与气温在近地层的分布导致坡面和气温的热力差异有关 [ 21 ] 。风在局地气候变化中起着很重要的作用，不仅可以影响云量的多少，而且还会影响大气与地面之间湍流通量的强弱 [ 22 ] 。图6显示的是老虎沟海拔5040 m风速日平均值变化，可以看出，风速在9月份的值要略高于其他月份。 图3. 老虎沟海拔5040 m降水日总量变化 图4. 相对湿度日平均值变化 图5. 气压日平均值变化 图6. 风速日平均值变化
system: [SYSTEM]

user: 6. 主要结论 老虎沟12号冰川位于西北干旱高海拔地区的祁连山西段，夏季既是冰川消融期又是冰川积累期，冰川近地面各地表特征参数都具有独特的变化特征，本文利用老虎沟高山站海拔5040 m自动气象站观测资料，分析了老虎沟流域的气象特征；确定并分析了积累区冰川表面动量和热量粗糙度( 和 )、动量拖曳系数C D 和热量输送系数C H 等地表特征参数及其变化规律，选用整体空气动力学法和涡动相关法计算并对比分析了感热通量H和潜热通量LE的差异，探讨了湍流通量发生变化的影响因素，最后得到以下结论： 老虎沟地区气温较低，海拔5040 m观测期间为夏季，气温月平均值都在0℃以下。12号冰川海拔5040 m空气动力学粗糙度 月平均值介于0.6 mm与2.4 mm之间，表征粗糙度差异的热传输附加阻尼kB − 1 有明显的日循环，在正午时分出现最小值。 图17. 空气和冰川表面温度(a)、空气和冰川表面比湿(b)、风速(c)、理查逊系数(d)、感热和潜热通量(e)以及两者之和(f)的平均日变化 大气层结稳定时，海拔5040 m处C D 和C H 月平均值均介于0.0009~0.0010之间，大气层结不稳定时，海拔5040 m处C D 和C H 平均值均为0.0022，由于观测时间较短，数据较少，从平均值中无法判断出明显的差异性，但数据中可以看出12号冰川积累区动量拖曳系数C D 和热量输送系数C H 在大气层结不稳定时的值大于稳定时。整体空气动力学法计算的C D 和C H 与实际值(涡动相关法计算值)相比较，虽有一定的偏差，但总体与实际值很接近，因此，运用整体空气动力学法计算冰川表面湍流通量应选择合适的C D 和C H 值。 感热和潜热通量在观测期间(湿季)相差较小，在能量收支中可以相互抵消，H + LE之和的日平均值介于−21.9~23.9 W∙m −2 之间，H和LE具有典型的日循环，随着太阳辐射增强，其值不断减小，午后出现最小值，在夜间表现稳定，湍流通量的这种变化主要是受气温与冰川表面温差、空气与冰川表面比湿的差异、风速、大气层结状态等因素的影响。
system: [SYSTEM]

user: 摘 要 早在1957年前人就对武汉东湖介形虫的属种进行了调查，当时共记载了6属8种及1新种。如今时隔60年后，武汉东湖的深度、面积和水质状况等发生了巨大变化，这些变化可能会造成水生生物群落的改变。本文于2014年再次调查了武汉东湖现代介形虫的物种分布情况，共发现介形虫8属15种，其中仅有2种介形虫与1957年的报道相同，介形虫的物种和生物群落组成都发生了很大变化。综合1957年和2014年武汉东湖的生态条件和水环境数据，本文认为介形虫群落组成的变化灵敏地反映了上世纪50年代以来武汉城市化和工业化等人类活动引起的湖泊环境变化过程。 关键词 :介形虫，环境变化，东湖，城市湖泊，人类活动 Copyright © 2017 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 介形虫是一类微型甲壳动物，它们广泛分布在海洋、湖泊、沼泽、水库等各类水域中，其碳酸钙质的壳体在湖泊沉积物中易于保存，可以提供重要的环境变化信息 [ 1 ] [ 2 ] 。介形虫的生活领域十分广泛，在绝大多数天然水域中都能生存。在湖泊水体中，湖泊的水文状况和水化学条件容易受气候条件和人类活动的影响而发生变化，介形虫对湖泊的水体环境，特别是对盐度和温度的变化十分敏感。因此，国际上广泛利用沉积物中的介形虫组合变化结合年代学框架来反映湖泊过去的环境变化过程 [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] 。同时由于介形虫分布广、物种丰富、易于收集，是水生生态系统的重要组成部分，是一种良好的水质指示生物，也被广泛用于指示水体的生态健康 [ 8 ] 。 自20世纪60年代以来长江中下游众多湖泊受到了人类活动不同程度的干扰 [ 9 ] [ 10 ] ，而武汉东湖是该地区具有代表性的浅水湖泊之一，它是武汉居民生活和工农业生产的重要水源，也是居民休闲的重要场所，在居民的生产和生活中发挥着重要作用。上世纪70年代以来，由于东湖沿岸及周边经济的快速发展和人口数量的大幅增加，致使各类污染物大量进入东湖，从而破坏了东湖的生态环境和生态平衡，并影响了人民的生活和健康。因此，研究东湖半个世纪以来的环境变化过程，有助于认识大型城市湖泊的环境演变过程和人类活动的关系，从而为现代城市湖泊的治理、管理和可持续发展提供决策依据。 本论文调查了武汉东湖表层沉积物中现代介形虫的物种分布情况，与20世纪50年代东湖介形虫的种类和数量进行对比分析，力求从介形虫生物群落演化的角度反映20世纪50年代与现代东湖的水体环境差异，从中得出人类活动对湖泊水质的影响，以期引起相关方面的重视。
system: [SYSTEM]

user: 2. 研究区概况 武汉东湖位于湖北省武汉市武昌区东郊，水域面积约33 km 2 ，最大水深为6 m，湖水平均深度大于2 m，在2014年前东湖曾是中国最大的城中湖。东湖是由长江淤塞而形成，100多年前曾和武昌其他湖泊相通并与长江相连，水患频繁。1899年至1902年，地方政府在长江与东湖之间修建了武青堤和武金堤，并在堤防上修建了武丰闸和武泰闸。1955年，武汉市政府对武泰闸进行了彻底改造。1967年，武泰闸改名工农闸，1972年恢复原名至今。在人工建造堤坝和水闸的干预下，东湖被分割成为若干个子湖，并与长江分离，水域面积急剧减少。此次研究选择了具有代表性的郭郑湖、汤菱湖和水果湖作为研究地点(图1)。
system: [SYSTEM]

user: 3. 材料和方法 选择湖心不同水深的采样点，利用奥地利抓斗采泥器采集湖泊表层沉积物，样品从水中取上后小心获取采泥器表层0~1 cm沉积物样品用于介形虫分析。 将采集的沉积物装入密封袋中，带回实验室后称取50 g进行处理。样品水洗后在显微镜下观察到有大量活体介形虫，为了进一步观察挑选，样品用200目(0.074 mm)钢筛过滤，之后将过筛样品倒进培养皿，在烘箱内(温度60℃)烘干。再在显微镜下鉴定和统计。形态鉴定主要依据介形虫壳面装饰类型、壳形及双壳的叠覆关系、绞合构造、肌痕和眼点等特征，鉴定主要参考《Freshwater Ostracoda》 [ 11 ] ，《Freshwater Ostracoda of Western and Central Europe》 [ 12 ] ，《中国非海水介形类》 [ 13 ] ，《中国动物图谱：甲壳动物》 [ 14 ] 和《中国介形类化石(第一卷)》 [ 15 ] 及《中国介形类化石(第二卷)》 [ 16 ] 等资料。对于每个样品中的代表性物种，挑选后进行扫描电子显微镜照相，分析电镜照片的细微纹饰等再次对物种进行分类。
system: [SYSTEM]

user: 5. 结论 介形虫是一类对环境变化敏感的甲壳纲动物，是环境变化的良好指示器。本文通过对现代和1957年武汉东湖介形虫属种的分布对比分析，发现近60年以来，介形虫的种类组合和优势种的数量均发生了显著变化，现代东湖的介形虫以耐污染的种类为优势种，结合东湖水质变化数据，认为东湖湖泊水体富营养化和水体污染等因素是导致介形虫组合变化的主要原因。
system: [SYSTEM]

user: 摘 要 储层评价是油气藏研究的重要内容，对储层进行合理且有效的评价研究，对油气田勘探开发工作具有重要的意义。本文选取青东5块典型井的孔隙度、渗透率、含油饱和度等储层参数，运用Q型聚类分析方法，对储层进行了分类，将其划分为3种类型，然后做出了3种储层类型在平面上的分布。结果表明，应用Q型聚类分析方法进行储层分类评价是可行、有效的，储层分布的研究结果对于该类型油气田的勘探开发具有一定的应用价值。 关键词 :储层评价，聚类分析，青东5块，胜利油田 Copyright © 2017 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 储层评价工作贯穿于油气勘探开发的全过程中。评价储层的过程，其实就是对储层深化认识的过程。而对储层进行评价，首先要对储层进行合理的分类。目前，国内外研究储层的学者应用不同分析方法对储层评价做出了比较详细的探讨和研究，也给出了一些定量化研究结果，比如刘斌在对朝阳沟油田进行储层评价时应用了层次分析法(Analytic Hierarchy Process) [ 1 ] ，高鹏宇等在研究河流相储层时应用了主成分分析法(Principal Component Analysis) [ 2 ] ，唐俊等在研究鄂尔多斯盆地的姬塬地区长8 1 储层时应用了Q型聚类分析法(Q Cluster Analysis)和判别分析法(Discriminant analysis) [ 3 ] 。但是，针对某一具体研究领域，选用哪些参数、运用哪种评价方法还是一个很难解决的问题。通过对本地区储层的研究和对各种评价方法的对比，本文选用Q型聚类分析方法，对储层进行分类及评价，经分析得出了储层的平面分布特征。
system: [SYSTEM]

user: 2. 聚类分析 2.1. 聚类分析基本原理 聚类分析(Cluster Analysis)是一种数学方法，是根据研究对象的特征对研究对象进行分类的一种多元统计分析技术 [ 3 ] 。聚类分析大致上可分为两类：对样本进行分类处理，称为Q型聚类分析；对变量进行分类处理，则称为R型聚类分析。本文中以应用Q型聚类分析为主。 首先，假设我们所研究的样本之间存在着程度不同的相似性，根据样本可找出一些能够度量样本之间相似程度的统计变量，以此作为划分类别的依据。然后，把一些相似程度较大的样本聚合为一类，把另外一些相似程度较大的聚合为另一类，直到把所有的都聚合完毕，把不同类型一一划出来，形成由小到大的分类系统 [ 3 ] 。这个过程，其实就是一个逐步减少类别的过程。最后，再把整个分类系统画成一张谱系图，用这张谱系图就可以把所有样本之间的亲疏关系都表示出来。 2.2. 相似性度量的确定 聚类分析中，样本之间的相似性(亲疏关系)通常用距离描述，而变量之间的相似性(亲疏关系)通常用相似系数来描述。先假设每个样品可由p个变量描述其性质，那么每个样品都可以看成p维空间中的一个点，则n个样品就是p维空间中的n个点 [ 3 ] [ 4 ] 。将第i个样品x i 与第j个样品x j 之间的距离记为d ij ， 把第i个样品x i 与第j个样品x j 之间的夹角余弦cosθ ij 称为相似系数。则欧氏距离 ，相似系数 。
system: [SYSTEM]

user: 3. 研究区地质概况 3.1. 研究区地理位置 青东5块的地理位置位于山东省东营市莱州湾西部极浅海海域，地势较平坦，平均水深约3.6 m。其构造位置位于济阳坳陷东部，郯庐断裂带西侧青东凹陷西斜坡，西北紧临青坨子凸起，西南为青南洼陷，东临青东凹陷，其面积约20 km 2 [ 5 ] 。青东5块整体上为一个被断裂系统复杂化的西高东低的斜坡，区内断裂系统以近东西向为主，兼有少量南北向 [ 5 ] 。青东5块的构造位置见图1。 3.2. 储层发育特征 青东5块地层自下而上依次为古近系孔店组、沙河街组、新近系馆陶组、明化镇组及第四系平原组，其中，主要的含油气层为沙四段上亚段，地层厚度为140~550 m [ 5 ] [ 6 ] [ 7 ] [ 8 ] 。 青东5块储层的主要类型为灰白色粉砂岩以及含砾粗砂岩，储层粒度较粗。岩石的成分成熟度较低，矿物颗粒磨圆度较差，多为次棱角状，分选多为中、中—差，多为颗粒式支撑，点式接触，胶结类型为孔隙式胶结，岩石的结构成熟度也较低 [ 9 ] 。储层岩石的矿物成分成熟度及结构成熟度均较低，反映研究区距近物源区较近，属于快速搬运、快速沉积 [ 10 ] 。其粒度累积曲线以三段式为主，粒度分布范围宽，累积曲线表现平缓，反映研究区储层分选差 [ 9 ] [ 10 ] 。其岩性组合以砂泥互层为特征，砂体厚度较薄。垂向上，总体表现为向上粒度变粗的反旋回、进积沉积序列，即表现为扇三角洲沉积特点 [ 11 ] [ 12 ] 。 图1. 青东5块构造位置图
system: [SYSTEM]

user: 4. 应用 4.1. 储层类型划分标准 利用Q型聚类分析方法进行储层分类评价时，为尽可能合理、准确地划分储层类型，分类样品和储层特征参数的选取是很重要的。所选用的样品应尽可能地包含各种岩性，并且有各种分析资料相对应，这样取得的样品才具有典型性、代表性，有助于储层的完整分类。 不同类型的储层有不同的特征参数值，各特征参数值的大小综合体现了该类储层的内在特征。在测井解释处理过程中总共形成了多种参数，为了选取能够反映本区储层类型的参数，对每个参数进行综合分析，通过相应分析方法与地质经验相结合进行参数选取 [ 4 ] [ 13 ] ，最终选用孔隙度、渗透率、含油饱和度3个参数作为储层评价的特征参数。 (1) 孔隙度、渗透率是储层研究中的经典参数，反映了储层的总体特征，是表征储层质量优劣的重要参数 [ 13 ] 。 (2) 含油饱和度是指油在储层孔隙中的含量分别占总孔隙体积的百分数，反映了油气藏中的含油程度。 综上所述，经过细致分析，筛选出了20口井中的样品，各样品由3个参数定量表征，从而建立了青东5块储层分类的样品集，如表1所示。 Table 1 The reservoir classification standard samples of Qingdong 5 Bloc 编号 井名 孔隙度/% 渗透率/10 −3 μm 2 含油饱和度/% 1 青东5-1 33.3 2259 49.8 2 青东5-2 31.6 1522 42.8 3 青东5-X3 32.4 1836 42.4 4 青东5-X4 36.4 2932 62.1 5 青东5-X5 28.9 796 39.5 6 青东5-X6 33.9 2574 44.3 7 青东5-X9 32.8 1980 40.0 8 青东5-1-X4 32.3 1787 43.2 9 青东5-1-X11 35.7 2875 59.2 10 青东5-2-X2 29.9 1033 34.8 11 青东5-2-X5 31.9 1626 41.5 12 青东5-3-X3 34.7 2838 56.2 13 青东5-3-X6 34.2 2783 56.8 14 青东5-3-X8 33.3 2261 48.3 15 青东5-3-X9 30.4 1143 54.9 16 青东5-6-X6 30.0 1040 53.6 17 青东5-6-X7 29.0 822 32.9 18 青东5-6-X10 31.8 1588 42.7 19 青东5-6-X11 31.1 1348 45.6 20 青东5-9-X3 31.6 1516 51.3 表1. 青东5块井储层分类标准样品集 4.2. 储层分类及结果 储层分类的实质，即是把储层性质相类似的样品划分在同一类中。综合运用Q型聚类分析方法，对所选的20口井的样品进行了分类研究，将这20个样品分成了3种类型的储层，即第1种类型、第2种类型和第3种类型的储层。分类的结果见图2。 结合谱系图，对划分得到的3种类型储层进行分析总结 [ 3 ] ：第1种类型储层物性最好，孔隙度均值为34.5%，渗透率均值为2646 × 10 −3 μm 2 ，含油饱和度均值为53.8%；第2种类型储层物性较好，孔隙度均值为31.9%，渗透率均值为1650 × 10 −3 μm 2 ，含油饱和度均值为43.7%；第3种类型储层物性较差，孔隙度均值为29.6%，渗透率均值为967 × 10 −3 μm 2 ，含油饱和度均值为43.1%。参数特征分析表明，由第1种类型到第3种类型的储层，孔隙度、渗透率和含油饱和度基本依次减小，而渗透率的变化幅度较大，基本符合该区储层非均质性较强的地质特征，不同井的储层的质量有所不同。 4.3. 储层平面展布特征 以青东5块Es 4 上 1 52 小层为例，研究该区域储层的平面展布特征。如图3所示。 结合该层沉积微相的平面分布特征进行对比分析 [ 13 ] [ 14 ] ，可以发现：平面上，青东5块Es 4 上 1 52 小层以第1种类型储层为主，第2种类型储层次之，而第3种类型储层仅分布于较局限的范围内。储集性能较好的第1、2种类型储层主要发育于水下分流河道微相带，主要是沿着三条主河道方向分布；另外，在河口沙坝沉积以及滨浅湖沙坝沉积中也发育有少量的储层，其储层物性较好。第3种类型储层主要发育于水下分流河道的远缘和滨浅湖泥岩带，该区储层的岩性变细，相应地，储层孔渗性降低，储层品质变差。 图2. 青东5块储层聚类分析谱系图 图3. 青东5块Es 4 上 1 52 储层分类
system: [SYSTEM]

user: 5. 结论 (1) 青东5块储层具有高孔、中高渗、非均质性强的地质特征，在研究区域上选取孔隙度、渗透率、含油饱和度3个参数作为储层评价的特征参数，利用Q型聚类分析方法对储层进行分类评价，可大致将此储层划分为3种类型。第1种类型储层的物性较好，第2种类型储层次之，第3种类型储层的物性最差。 (2) 该区储层在平面上的分布呈现出规律性变化：第1、2种类型的储层主要分布于水下分流河道微相带及附近，第3种类型储层主要分布于水下分流河道的远缘和滨浅湖泥岩带。 (3) 利用Q型聚类分析方法可以对储层进行定量化的分类以及评价，这在油气藏的勘探开发过程中有非常重要的指示作用。据此得到的评价结果依赖于实际的地质参数，这样可以有效避免由评价者的主观因素所造成的影响，有利于进行更深入的分析研究。
system: [SYSTEM]

user: 摘 要 本文基于开源云平台框架OpenStack设计一个企业私有云平台的架构，根据该架构在实际应用环境中搭建原型系统，并利用OpenStack社区的基准测试工具Rally，模拟真实云环境中的实际负载场景对该平台进行全面测试。结果表明：在高压环境下，基于该架构的企业私有云平台在高负载环境中仍表现出优异性能。 关键词 :私有云，OpenStack，性能评估，Rally Copyright © 2017 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 近年来，云计算技术不断发展，所谓云计算是一种按使用量付费的模式，可以提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。对于应用程序开发人员和IT运营商来说，云计算可以开发、部署、运营更容易扩展的、极少失效的应用程序，无须关心底层基础结构或所处位置。随着云计算技术的不断发展与成熟，各种云计算管理平台应运而生，目前较为著名的产品有Eucalyptus、OpenStack、CloudStack以及OpenNebula等 [ 1 ] 。 按照计算提供者与使用者的所属关系为划分标准，将云计算分为三类，即公有云、私有云和混合云。本文主要讨论的私有云是指某个企业独立构建和使用的云环境。不同企业的需求不同，其部署的云平台的架构也不同。私有云部署模式赋予企业对于云资源使用情况极高水平的控制能力，可提供对数据、安全性和服务质量的充分保证，因而近年来得到飞速发展，大量企业开始部署自己的IaaS开源私有云平台。私有云是为一个客户单独使用而构建的，云基础设施特定为某个组织运行服务，其可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所，私有云的核心属性是专有资源 [ 2 ] [ 3 ] 。 本文详细分析了开源云平台框架OpenStack，设计了一个私有云方案的整体架构，并在实际应用环境中搭建原型系统，借助于OpenStack社区的测试工具Rally，规划了详细的测试步骤，对该平台进行性能测试与评估，证明了该方案的可行性。
system: [SYSTEM]

user: 2. 相关主要技术工具 IaaS开源私有云平台包括加州大学建立的开源项目Eucalyptus，Rackspace和美国国家航天局共同开发的OpenStack，新加入到Apache基金会中的CloudStack，还有一个是一个虚拟化企业数据中心和云基础设施建设和管理的行业开源解决方案，具有开放性、模块化和可扩展的架构OpenNebula。这四种典型的开源IaaS云平台的特点对比如表1所示。 通过以上比对，本设计中最后选择OpenStack作为云计算开发平台。 2.1. OpenStack OpenStack是由NASA和Rackspace公司共同开发支持的云计算平台，是一个自由开发的源代码的软件项目，为任何一个组织提供可靠的云计算服务，大幅提高数据中心的运营效率。 OpenStack经过多年发展，现在主要包含7个核心项目，包括计算服务Nova、对象存储服务Swift、块存储服务Cinder、网络服务Neutron、界面展示Dashboard、身份认证服务Keystone以及镜像管理模块Glance [ 4 ] 。 Table 1 The comparison of main IaaS platfor Eucalyptus OpenStack CloudStack OpenNebula 发布时间 2008年5月 2010年7月 2010年5月 2008年7月 基本架构 主要包括CLC、CC、NC、Walrus、 SC五个组件 主要有Compute、Storage、Image、Identity和 Dashboard等几个子项目 主要包括管理服务、 云基础设施和网络三大部分 主要包括接口与API、 用户与组、主机、 网络、存储、集群6个部分 虚拟化技术支持 XEN、KVM、VMware XEN、KVM、VMware、 LXC、QEMU、UML XEN、KVM、VMWare XEN、KVM、VMWare 用户界面 命令行、 简单的浏览器用户界面 命令行、 简单的浏览器用户界面 命令行、 较好的浏览器用户界面 命令行、 简单的浏览器用户界面 社区活跃程度 总人数最多， 但活跃用户较少 总人数较多， 活跃用户最多 总人数最少， 活跃用户数较多 总人数较少， 活跃用户最少 公共云平台支持 兼容Amazon公共云平台 兼容Amazon 公共云平台 兼容Amazon 公共云平台 兼容Amazon 公共云平台 官方网站 Eucalyptus.com Openstack.org Cloudstack.org opennebula.org 表1. IaaS典型开源云平台对比 其中，计算服务Nova提供CPU计算资源，是NASA 开发的虚拟服务器部署和业务计算模块，负责虚拟机的调度与管理；对象存储服务Swift提供对象存储服务，是一个可扩展并且提供了冗余的存储系统；块存储服务Cinder提供块存储服务，为云环境中的计算实际提供块设备的创建、添加和卸载；网络服务Neutron负责云计算环境中的虚拟网络功能，可以管理网络地址、虚拟路由器；界面展示Dashboard是OpenStack的图形化接口，用户通过Dashboard可以在浏览器上登陆私有云平台，查看管理资料的各种资源；身份认证服务Keystone为系统提供统一的授权和身份验证服务，管理员可以添加用户、角色等；镜像管理模块Glance提供镜像服务，包括磁盘和服务器虚拟镜像的查询、注册和传输的功能。 如图1所示，为OpenStack的整体架构图，箭头表示各模块之间的依赖关系。例如一个创建虚拟机操作，需要用户登陆Dashboard，通过Keystone的认证后，用户可以操作Nova服务发布创建虚拟机命令，Nova模块调用从镜像管理模块Glance中获得存储于对象存储服务器上的镜像文件，从而实现虚拟机的创建。 2.2. Rally Rally是OpenStack社区开发的基准测试工具，用于对OpenStack进行性能测试。Rally是通过插件的形式在实际部署的OpenStack云平台中运行，通过用户自定义的参数，来模拟真实云环境中的负载场景 [ 5 ] 。其架构如图2所示。 其主要包含以下四个组件： 1) Server Providers用来提供虚拟服务器并可通过ssh访问这些服务器； 2) Deploy Engines在Server Providers提供的虚拟服务器上部署OpenStack云平台； 3) Verification在部署的云平台上运行Tempest，收集Tempest运行结果并显示，而Tempest 是一个旨在为云计算平台OpenStack提供集成测试的开源项目。它是基于unittest2和nose建立的灵活且易于扩展及维护的自动化测试框架，使得 OpenStack 相关测试效率得到大幅度提升； 4) Benchmark engine允许我们通过具体参数来模拟真实负载场景，并在部署的OpenStack云平台上运行该场景。 Rally提供两种部署方式，一种以服务的形式(as-a-service)运行，该方式通过一系列的守护进程来运 图1. OpenStack架构 图2. Rally架构 行Rally工具；另一种以应用形式(as-a-app)运行，这种方式不需要守护进程，而是通过命令行界面(CLI)的形式运行。
system: [SYSTEM]

user: 3. 私有云平台系统架构 本文立足于企业现有软硬件资源，经过调研发现，部分企业基于业务的信息系统各自为政，相对比较独立，由此产生的大量数据信息也比较分散，IT资源异构性强，不同设备的计算能力差异大，增加了维护成本，严重阻碍了集团业务的发展，因此需要建立一个具有资源共享能力的云计算平台 [ 6 ] 。 通过充分论证，基于OpenStack开源框架设计私有云平台方案，实现资源的虚拟化，最终部署企业业务应用并支持企业业务发展。云平台的规划和部署，需要进行OpenStack技术与抽象的部署模型的映射，然后对应到具体的物理设施中去。本文设计的电力设备远程运维私有云平台系统架构如图3所示。 平台最底层是基础设施层，包括服务器、网络、储存等物理资源，利用虚拟化软件(KVM/XEN)实现资源抽象，形成资源池。中间为OpenStack管理平台，通过部署OpenStack的计算服务、认证服务、网络服务等相关组件用户可以方便的管理虚拟资源。最上层为应用层，可以部署企业业务应用软件。后台管理可以部署操作和监控应用，负责对整个平台进行管理和控制，实现对服务器的统一管理。 本文搭建的私有云平台基于OpenStack的开源框架，包括控制节点、存储节点以及计算节点。控制节点部署了Nova、Glance、Swift、Cinder、keystone及Horizon 等组件；计算节点主要用于运行虚拟化实例，提供计算服务。平台的部署基于实验环境，采用三台浪潮通用服务器和一台存储服务器搭建原型系统，各节点的配置情况如表2所示。 其中，一台节点作为控制节点controller，一台节点作为计算节点compute，一台作为block块存储节点。部署过程中，每个节点使用两块网卡，eth0用作Openstack内部管理网络，eth1则可访问外部网络。云计算平台的网络主要分为两类：管理网络与外部网络。这样有效的隔离不同功能的网络，增强系统的安全性，当某些网络出现故障时不影响其他网络。管理网络包括宿主物理主机、镜像管理、存储管理、网络管理、虚拟机管理控制器等。从安全性角度来说，管理网与数据网(虚拟网络)的隔离是非常有必要的，确保系统各部分良好运行，隔离故障。外部网络指的是管理节点可以连接外网，实现外部网络访问。 在部署私有云平台过程中，首先需要配置操作系统以及网络环境，选用Ubuntu或者CentOS。其次部署各个节点，控制节点部署Nova、Glance、Neutron、Cinder、keystone及Horizon等组件；计算节点部署Nova以及Neutron模块；存储节点上部署Cinder模块。最后在平台上部署企业相关应用。
system: [SYSTEM]

user: 4. 云平台架构测试 测试与验证是及时发现云计算平台安全隐患与缺陷的有效手段之一，为证明本文涉及的电力设备远程运维私有云平台的设计合理性，本文基于OpenStack社区的基准测试工具Rally设计了详细的负载参数，对原型系统的性能进行评估。Rally的benchmark工具主要是模拟真实云环境中的平台负载，并将其应用到被测试的云平台，收集运行结果并以易于用户理解的方式呈现结果 [ 7 ] 。 图3. 企业私有云平台系统架构 Table 2 Prototype system hardware configuratio 角色 内存配置/数量 CPU配置/数量 硬盘容量 控制节点 16G ECC Registered DDR4/ Intel Xeon E5-2620v4(2.1GHz)/2 1TB 存储节点 4G DDR3/2 Intel Xeon E5310(1.6GHz)/2 21TB 计算节点 16G ECC Registered DDR4/ Intel Xeon E5-2620v4(2.1GHz)/2 1TB 表2. 原型系统硬件配置 Rally提供两种方式模拟真实云环境负载，一种是通过创建临时用户进行，另一种通过已有用户进行模拟。相比于创建临时用户的方式，通过已有用户进行模拟可以在不同用户组中进行，一旦发生错误，不会影响其他组的用户，这种方式更安全。 通过云平台中已存在的用户向Rally注册，并通过脚本设置负载参数，用于测试场景。其具体内容如下： 在单一场景测试中，本文进行nova实例测试，通过指定OpenStack用户启动虚拟机并列出虚拟机，并将这两个操作迭代200次，其结果如图4所示，由图可见随着迭代次数的增加，用户创建的虚拟机越来越多，但系统认可正常运行，在高压场景下并未崩溃。 如图5所示，在复杂场景测试中，本文设置的复杂场景主要包括以下几个操作：启动虚拟机、虚拟机快照、删除虚拟机、利用快照启动虚拟机、删除虚拟机、删除虚拟机快照；并将该系列操作迭代100次，系统仍可正常运行。
system: [SYSTEM]

user: 5. 结束语 本文立足于企业的应用需求，详细分析了云计算、私有云有关理论基础，提出了一种基于开源框 图4. Nova实例测试 图5. 复杂场景测试 架OpenStack构建私有云计算平台的可行性方案，依据该方案搭建了原型系统，并基于OpenStack社区的基准测试工具Rally设计了详细的测试程序，对原型系统的性能进行评估，证明了该方案的合理性和可应用型，对于企业私有云平台的建设和性能评估具有重大意义。
system: [SYSTEM]

user: 摘 要 论文利用先进的波分复用技术、计算机通信技术、光纤测量技术和机器学习TensorFlow框架等设计实现了光纤链路监测系统，该系统实现了对光纤链路的状态自动监测、故障分析和定位、故障管理和维护安排、线路状态预测，该系统投入运行后降低了维护成本、减少了运维时间。 关键词 :光纤链路，波分复用，TensorFlow，状态预测 Copyright © 2017 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 光纤通信具有传输容大、抗干扰能力强、传输衰耗小等优点，光纤作为一种优良的通信载体，已在天津港广泛用，但光缆数量的增加，早期铺设的光缆也已有了一定的年限，各种隐患，各种危机随时存在，光缆线路故障次数的连年增加也说明光缆的维护与管理问题也日渐突出。 为此，光缆监测系统是集测试、告警、信息处理和业务管理于一体的光纤网络综合维护系统，它综合运用地理信息系统(GIS)、全球定位系统(GPS)、光时域反射仪(OTDR)、光波分复用(WDM)、数据挖掘等多种技术，能及时掌握网络运行情况，预测发现光纤劣化趋势，做到基于运行情况的状态检修，并在故障发生时可以迅速、准确地定位故障，从而缩短障碍历时，与此同时，它还具有资料管理功能，可以保存一条光缆的设计、施工、维护等相关数据信息，以及ODF架等站端设备的数据信息，从而方便维护人员的管理和使用。 如果采用监测系统进行光功率监测，可以达到秒级的水平，系统一刻不停的监视着光缆线路上所有发生的一切细微变化。光缆线路监测系统不仅仅是用自动替代人工，它根本上提高了维护水平，也就是把以往一年的一两次测试提高到一年几十万、几百万次。监测系统是新时期光缆线路维护发展的需要，它把光缆线路纳到实时集中的监测维护当中，不管线路上发生了多大的变化，监测都是秒级的进行着。光传输设备监控不能取代光缆线路监测：传输监控能够发现设备故障，但它是事后行为；而光缆监测不仅可以进行障碍报擎定位，而且可以发现尚未影响通信的故障隐患和精确的故障位置，进行预警预防预维。由于两种监测方式目的不同、手段不同，所以光传输监测不能取代光缆线路监测。为保证光缆不断、不坏、不换，必须进行预防性线路维护和监测。
system: [SYSTEM]

user: 2. 功能分析 光缆自动监测系统是针对广电光纤网络管理和维护的智慧型系统，具有功能强大、资源结合紧密、智能化操作、维护便捷的特点 [ 1 ] 。不仅可以实现对光纤网络状况实时的监测，而且结合资源系统更加快讯准确的提供光纤故障点信息，以缩短故障历时，实现对光缆线路的监测与管理，动态地观察光缆线路传输性能的劣化情况，及时发现和预报光缆隐患，以降低光缆阻断的发生率，由人工检测与管理模式迅速过渡到集中监控与管理的模式。光缆监测系统可将其核心的测试功能和其它外部网管系统(如设备网管系统，资源管理系统，故障派单系统，SDH 网管告警接口等)结合，从而进一步提高系统功效，切实地加强维护管理工作，减少损失，可以为广电运营商带来不可低估的经济效益 [ 2 ] 。主要组成如下： 1) 远程、实时、在线地进行光缆线路中被监测光纤运行状况的监测，预防光缆线路的故障隐患； 2) 按规定的周期，向网管中心(TSC)传报被监测光缆线路运行状况的数据文件； 3) 系统可以根据不同时期，不同线路的情况设置不同的障碍分析参数，查询RTU的光缆运行数据文件，自动分析所监测光缆线路劣化的趋势； 4) 多种测试功能，实现了点名测试、定期测试、障碍告警测试； 5) 多种监测模式，具有在线监测、备纤监测、跨段监测等功能； 6) 通信功能，本部分实现的监测站(RTU)具有RS-232物理接口和TELNET网络接口控制方式，方便工程人员查询完整的设备状态；监测站(RTU)可通过IP网与网管中心(TSC)联网；进行数据通信时，采用TCP/IP协议，确保监控网络设备互通； 7) 设备管，本部分实现了RTU设备的运行状态及其板卡信息通过设备回传可以显示在操作界面上，以便工作人员实时了解该设备的运行情况，方便维护；设定RTU的运行时间； 8) 多曲线显示功能，系统通过曲线管理，可以在曲线界面中查看到多条曲线，以便对当前光缆状态信息更加直观的呈现在操作界面上； 9) 链路状态预测，系统使用TensorFlow框架搭建一个链路状态学习系统，能通过当前链路相应状态值，准确预测未来可能出现的链路问题。
system: [SYSTEM]

user: 3. 难点技术的解决方案 光纤的劣化，手工测试难以发现，因为光纤的劣化过程是一个长期而渐近的过程，若没有长时间测试数据的积累分析是很难发现的 [ 3 ] 。工程中常用的光时域反射损耗测试仪(OTDR)，可以检测出已经发生故障的光纤所在地点 [ 4 ] 。但从发现故障到发生故障的地点并完成维修会花大量的时间。这将会对集团或区域经济建设带来许多的直接或间接的经济损失。一个具有预测和自动化处理能力的光纤链路检测系统是一个非常必要的需求。下面分别从数据的自动化收集和利用数据实现动态预测两方面叙述系统的难点技术。 3.1. 光纤链路数监测 3.1.1. 链路监测数据获取 系统利用相关设备收集光缆损耗、链路属性、信号衰减、信号量等数据。设备采用在线监测方式，该测试方式与工作波长不同的测试波长通过WDM (wavelength division multiplexer分波合波器)设备合波在同一根光纤中测试，在对端利用滤波器将测试波长滤掉让工作波长通过 [ 5 ] ；在线监测采用分光器将工作光路上3%~5%的光分给OPM (光功率仪)进行实时监测(其中3%~5%的分光模块集成在OPM模块中)此模式能真实反映业务所占纤芯工作状态。 图1是链路监测的原理图，WDM是一种在一根光纤中能同时传输多个波长光信号的一种技术，在不影响光纤链路的正常使用情况下，使用检测设备监测链路的运行情况，获取监测系统需要的各种数据。 3.1.2. 监测信息与系统的设计 监测站(RTU)的设备服务进程用于接受和处理RTU上报的告警信息、设备信息以及周期测试信息将链路监控信息、报警等信息发送到综合监控平台进行实时监看，并对告警、解警信息进行及时响应，该设备支持SNMP协议可与综合监控平台对接 [ 6 ] 。系统的主要组成部分如图2所示。 系统主要由数据监测中心MC、监测站MS、通信网络3部分组成 [ 3 ] 。数据监测中心(MC)负责对本管区的各监测站进行控制和管理，是收集和处理数据的中心。监测站(MS)在监测中心控制下，对光纤传输损耗的变化进行监测。通信网络主要为监测站与各级监测中心之间的通信提供通道。数据中心获得数据后的显示效果如图3所示。 3.2. 光纤链路状态预测 3.2.1. TensorFlow框架 TensorFlow是一个采用数据流图(data flow graphs)，用于数值计算的软件库。主要用于机器学习和深 图1. 链路监测基本原理图 图2. 系统整体框架 度神经网络方面的研究 [ 7 ] 。它基于是一种基于图结构的计算，使用SGD优化中间参数，最终得到可以使用的模型，同时它支持GPU加速，甚至可以运行在移动设备上。TensorFlow的基本原理示例图4所示。 图4中的输入数据需要经过变形后称为一维向量，组合多输入变量可以形成一个基础矩阵。这个矩阵可以看作是神经网络的输入层数据。上图是一个两层网络图的示例，中间层最常用的两个激活函数， 图3. 平台信息展示 图4. TensorFlow示例 Sigmoid系(Logistic-Sigmoid、Tanh-Sigmoid)被视为神经网络的核心所在 [ 8 ] 。使用梯度下降和交叉熵来优化权值 和偏置量 ，最终得到优化的参数及为模型。 3.2.2. 数据分析预测 为了达到预测任务需要使用上文的TensorFlow框架构建计算图(graph)，定义操作(ops)和数据类型(主要分为张量(tensor)、变量(variable)和常量(constant))，最后执行阶段(execution phase)执行会话(Session)。 使用由监测站传来的数据如光缆损耗值、链路属性值、信号衰减值、信号量值、光纤使用年份、是否曾有维护等多字段组成的向量作为输入。具体的设置如图5所示。 图5中Layer中conv1实现卷积以及rectified linear activation、pool1 (max pooling)、norm1局部响应归一化、conv2卷积和rectified linear activation、norm2局部响应归一化、pool2 (max pooling)、local3基于修正线性激活的全连接层、local4基于修正线性激活的全连接层、softmax_linear进行线性变换以输出logits。 图5. 应用模型结构图 将经过处理带有标签的光纤链路数据输入模型后可以得到各数据的权值和偏差值，初始是模型的准确度不会很高，但这是一个可以不断改进权值和偏差的系统，因此经过一段时间的数据运行后，预测的准确度将不断提高。
system: [SYSTEM]

user: 4. 总结 港内交通、作业码头等视频监控信号众多，为便于日常维护管理，建立一套统一集中的光缆监测平台接入不仅可以进行障碍报警定位，而且可以发现尚未影响通信的故障隐患和精确的故障位置，进行预警预防预维。系统经投入使用，系统运行稳定，起到了预期的作用。
system: [SYSTEM]

user: 摘 要 目前国内互联网企业单日日志数据增量达到TB级已很常见，大规模日志数据实时多维统计分析对于企业运行、管理和决策越来越重要。但目前大规模日志数据分析处理技术专业性强，企业中数据处理需求最为急迫的业务部门和运维部门都难有这样的技术能力。本论文整合Flume、Kafka、Storm、HBase等开源系统设计了飞流大规模日志数据实时多维统计分析平台，解决了多种日志数据接入、实时多维度统计分析、用户通过提交配置代替大数据编程来提交、更新和删除任务等关键问题，提供了飞流平台上用户不需要编程就能方便使用的大规模日志数据实时多维统计分析的功能。飞流平台在互联网企业中实际应用效果较好，满足了业务部门和运维部门的大部分日志数据多维统计分析需求。 关键词 :Storm，大规模日志数据，实时统计分析，多维统计分析，统一平台 Copyright © 2017 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 互联网企业的主要数据来源是散落在各个业务服务器上的半结构化日志，比如系统日志、程序日志、访问日志、审计日志等。目前国内互联网企业单日日志数据增量达到TB级很常见。互联网企业间的竞争非常激烈，实时统计分析日志数据并将结果指导决策能够提高企业的竞争力。因此最原始的日志数据记录具有丰富和巨大的价值。 目前很多开源的系统，如Flume、Kafka、Storm、HBase等可以对日志数据进行处理，但是这些系统相互独立，均庞大复杂，需要专门的数据处理人员根据需求编程来使用，而企业的业务和运维部门一般没有专业从事大数据实时处理的人员，因此设计大数据实时处理平台，为用户提供不需要编程就能方便使用的大规模日志数据实时多维统计分析功能，是各个互联网企业的迫切需求，飞流应运而生。 统一的大规模日志数据实时多维统计分析平台需要接入多种来源的日志数据，每种日志记录了各种不同维度的运行数据，用户需要的是灵活的、方便的、多维度的统计分析。因此，飞流平台的设计目标主要是实现大规模日志数据的多源采集和聚合、实时多维度统计分析、用户可以在线通过配置代替大数据编程实现统计分析任务的热提交、热更新和热删除、统计分析结果通过WebUI进行展示。
system: [SYSTEM]

user: 2. 相关工作 目前国内外工业界和学术界在大规模日志数据分析领域做了很多研究和实践，尤其是工业界推动的开源社区非常活跃。面对数据规模大这个问题，广泛采用的解决办法是使用分布式的方案。 多源采集和聚合。Flume [ 1 ] 是Apache基金会下面的一个分布式、可靠和高可用的，从不同源采集、聚合和传输大量日志数据到一个集中的数据仓库的系统。文献 [ 2 ] 的数据表明Flume满足大规模数据实时处理需求。直接将Flume收集的数据传递给数据分析系统会带来数据在传递和分析阶段可能丢失，数据量剧增时没有缓冲等问题，所以在Flume和数据分析系统的中间加一层消息系统就很有必要。实时的生产日志是流式数据，Kafka [ 3 ] 是Apache基金会下面的一个分布式的、基于发布/订阅的，主要用于流式数据的消息系统，满足大规模数据实时处理需求 [ 4 ] 。 实时计算。满足低延迟大规模流式数据分析的分布式计算系统主要有Apache基金会下的Spark Streaming [ 5 ] 和Storm [ 6 ] ，按照它们提供的编程模型就可以写出分布式的低延迟数据处理程序。Spark Streaming的处理模型类似批处理，需要收集数据的时间，造成几秒到几分钟的延迟，只能做到准实时的数据处理。Storm是消息流处理模型，采用服务型作业，数据流实时采集，省去了作业调度时间，满足大规模数据实时处理需求 [ 7 ] [ 8 ] 。日志数据分析完后，如果直接做展示，分析结果只能被利用一次。HBase [ 9 ] 是Apache基金会下的分布式的，支持随机实时读/写访问的数据库，可用于存储大规模数据并实时存取 [ 10 ] [ 11 ] 。分布式计算系统将分析结果写到HBase，数据可视化系统随机读取HBase存储的分析结果并以某种方式展示出来。 依靠用户大数据编程才能进行多维统计分析。北邮陈任飞等 [ 12 ] 设计并实现的日志数据处理系统，通过整合Flume、Kafka、Spark Streaming这一方法，解决了多源采集和聚合、大规模数据的处理两个问题。延迟在秒级，为准实时级别。该系统完全依靠各个部门的各个用户分别使用Spark的API进行大数据编程来进行日志数据的多维统计分析。北邮薛瑞等 [ 13 ] 设计并实现的日志数据处理平台，通过整合Kafka、Spark Streaming、HBase这一方法解决了大规模数据的处理这一个问题。延迟在秒级，为准实时级别。该平台还通过提供一些日志数据统计分析的编程接口简化了用户的编程工作，但仍需要依靠各个部门的各个用户分别进行大数据编程来进行日志数据的多维统计分析。以上两个平台或系统，都只是提供了依靠用户分别进行大数据编程来进行日志数据准实时处理的功能，没有实现实时多维度统计分析、用户可以在线通过配置实现统计分析任务的热提交、热更新和热删除、统计分析结果通过WebUI进行展示这些目标。 飞流通过整合Flume、Kafka、Storm和HBase，并在此基础上实现了一个Storm topology，解决了多种日志数据接入、实时多维度统计分析、用户简单配置即可提交、更新、删除统计分析任务等问题。
system: [SYSTEM]

user: 4. 结论 本论文整合Flume、Kafka、Storm、HBase等开源系统设计了飞流大规模日志数据实时多维统计分析平台，解决了多种日志数据接入、实时多维度统计分析、用户简单配置即可提交、更新、删除统计分析任务等关键技术问题，提供了飞流平台上不同用户通过web配置界面同时提交、同时执行、同时删除不同的统计分析任务的功能，不需要用户进行大数据分析处理编程。飞流平台在互联网企业中实际应用效果较好，满足了业务部门和运维部门的大部分日志数据多维统计分析需求。未来，支持更多的度量类型和支持SQL，还需要做一些工作。