DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 1. 引言 暴雨是我国主要气象灾害之一，对人民的生命安全与农业工业的生产都会带来严重危害。在全球气温逐渐变暖背景下，我国各地的极端暴雨事件时有发生，其中城市暴雨渍涝灾害成为近年来最受关注的城市灾害之一。当发生强降水事件时，城市排水系统径流如何科学地设计，是有效减少城市渍涝灾害的重点所在，也是各级政府及职能部门应该重视的问题。雨型的定义是说明降水的过程，表示降水强都在各个时间段内的分布情况。设计雨型就是在体现设计暴雨的降水强度情况，代表大多数暴雨雨型的平均情况综通过大数据的实时暴雨雨型体现。设计暴雨的雨型的重要性体现在城市建设中的排水管网规划设计中。设计雨量的确定也能够影响城市排水管网管径计算和调洪计算，通过不同的雨型计算出完全不同的洪峰流量和洪水过程线。据研究，在汇流历时内平均雨强相同条件下，雨峰在中部或后部的三角形雨型比均匀雨强的洪峰大30%以上 [ 1 ]。因此设计合理的暴雨雨型是科学进行城市建设与规划的依据。 国外诸多学者近些年设计了不同方法对城市短历时设计暴雨雨型进行分析。前苏联的包高马佐娃等人在20世纪40年代就提出过将雨型划分成7类的说法 [ 2 ]，随后，人们利用计算机，采用模糊识别法来判断雨型 [ 3 ]。Knifer和Chu基于暴雨强度公式提出了峰值时刻的统计方法及峰值前后的瞬时暴雨强度计算公式，进而得到了一种不均匀的设计雨型——芝加哥雨型 [ 4 ] [ 5 ]。Pilgrim和Cordery基于数理统计原理提出一种无级序平均法推求设计暴雨雨型 [ 6 ]。王家祁提出了“短推长”和“长包短”两种雨型方法 [ 7 ] [ 8 ] [ 9 ]，这两种方法用较多的雨型场次避免了传统典型暴雨进行频率放大作为设计雨型偶然性较大的不足；武晨均与王敏用这个方法研究本地区的设计雨型 [ 10 ]，也取得了一定成果。 鄂州市位于湖北省东部，滨于长江中游南岸。处在我国南北气候的交界线上，属亚热带季风气候区，年平均降水量处于湖北省雨情最多区域之一，为1402毫米。鄂州市中心城区地形总体地势呈南高北低，中间高东西低的趋势，地形多样，地貌复杂，丘陵、垄岗、平原、滩地、湖泊兼而有之。当出现暴雨后，城市雨水经雨水口、雨水管、排洪沟等依次收集后，排入洋澜湖。但由于鄂州城区排水分区较混乱，无明确有效的分区，内涝风险严重，因此能够为城市径流设计和排水规划产生影响的暴雨雨型研究势在必行，而截止目前，鄂州市尚未进行暴雨雨型涉及，因此本文利用鄂州市气象站共38a (1980~2017年)的连续降水资料，遴选分析降水过程确定暴雨雨型，通过此方法为鄂州市暴雨径流控制设施的设计提供依据。
system: [SYSTEM]

user: 2. 资料与方法 使用芝加哥雨型分析法分析鄂州市国家气象观测站1980~2017年共38a的逐分钟降水资料，推算出鄂州市区重现期2a历时 30、60、90、120、150、180分钟的设计短历时暴雨雨型，单位时段为5分钟，为今后鄂州市的城市排水防洪规划、与标准的建立提供技术支持。 2.1. 降水资料 本项目研究所用的降水资料来源于鄂州国家一般气象站(以下简称鄂州气象站)的地面气象观测资料，气象资料的观测和审核严格执行中国气象局《地面气象观测规范》等相关规章，观测资料通过中国气象局认定，可靠性得到保障。本项目使用1980年至2017年共38a连续的分钟降水资料，足以反映鄂州市区的降水规律。对原始降水自记雨量资料读数采用初算、复算、审核三步进行，通过专用软件，获取逐分钟的降水量数据，可以满足研究需要，所以，本次降水资料满足可靠性的要求。 2.2. 降水样本选取方法 首先我们通过资料确定降水事件，我们假设最小的一个降水间隔时间定义此次降水间隔内降水量小于设定值或者没有雨，用来区分两场降水，将连续的降水资料区分解成若干独立场次。本项目中对短历时降水场次过程选择间隔时间为120 min进行划分(见图1)，将鄂州气象站1980~2017共38a降水资料，取最小降水间隔时间等于120 min划分降水场次(若间隔大于等于120 min降水量小于0.1 mm，则将连续降水过程划分为两场)。 图1. 降水场次划分示意图 在降水场次划分的基础上，针对最大历时过程通过超定量法选出历时短的暴雨雨型，用来作为样本分析，在所有独立的降水过程中，选取并筛出连续Z分钟的降水过程中降水量大于其对应阈值的全部场次。本项目针对最大历时过程的降水量阈值基于利用P-III型曲线对降水样本进行趋势拟合得到的2年一遇重现期各降水历时下的降水量如表1。 Table 1 Standard test system result dat 降水历时(min) 30 60 90 120 150 180 降水量阈值指标(mm) 32.20 41.57 48.18 55.10 60.32 63.44 表1. 标准试验系统结果数据 2.3. 降水雨型的推算 我们从三个方面对暴雨的雨型进行定义：雨峰类型、雨量分布、雨峰位置。本文通过芝加哥法对鄂州市重现期2、3、5、10a历时30、60、90、120、150与180分钟间隔1分钟的短历时设计暴雨雨型做出推演，得出结论。 芝加哥法所进行的雨型设计典型降水过程，通过分析降水时间的序列判别峰前与峰后，以统计出来暴雨的强度公式作为基础，引入暴雨峰值发生时间的综合雨峰位置系数r。雨峰位置系数r i 由下列公式得出： r i = t i T i (1-1) t i 表示每次降水样本的峰值时间， T i 表示本次降水经历时间。通过加权平均的方式，根据每次不同时间段的降水的雨峰位置系数r i 得出r。 我们假设峰前的瞬时强度为 i ( t b ) ，历时为 t b ，峰后的瞬时强度为 i ( t a ) ，历时为 t a 。取一定重现期下暴雨强度公式形式为： ( t + b ) n ，计算得出雨峰前与雨峰后的瞬时降水强度： i ( t b ) = A [ ( 1 − n ) t b r + b ] [ t b r + b ] n + 1 (1-2) i = 14.096 × ( 1 + 0.594 lg P ) ( t + 12.565 ) 0.711 (1-3) (1-2)与(1-3)里，A、b、n表示设定重现期下的暴雨强度参数，r代表综合雨峰的位置系数。 我们使用(1-2)与(1-3)公式和雨峰位置系数r，使用芝加哥算法，得出各时段的平均单位降水量、累计降水量和各个时段内平均降水的强度，分析出对应的降水历时和一定重现期的芝加哥法雨型。
system: [SYSTEM]

user: 3. 结果分析 3.1. 降水样本的选取 首先通过上述办法统计出1980~2017年鄂州市气象站共38a降水历时30、60、90、120、150、180分钟里符合设定的降水场次。然后以每5分钟为间隔，对样本的最大降水过程进行分段，统计降水过程的雨峰峰形和雨峰位置系数，最后对历时相同的最大降水样本的雨峰位置系数进行算术平均得到各历时的位置系数，如表2 (降水历时60、90、120、150、180 min表略)。 Table 2 30 minute precipitation sample (Sample of maximum experience time 序号 开始时间 降水量/mm 5 min雨量最大值时段 峰型 雨峰位置系数 1 200008102128 59.31 4 单(中，3) 0.67 2 199007091514 54.23 3 双(中后，4) 0.50 3 200206271602 48.57 2 单(前，1) 0.33 4 198609071545 47.45 5 单(后，2) 0.83 5 199807220645 43.96 1 单(前，1) 0.17 6 199908192204 43.87 3 单(中，3) 0.50 7 198307041059 43.03 1 单(前，1) 0.17 8 199104110938 40.63 4 单(中，3) 0.67 9 201008231846 40.50 4 单(中，3) 0.67 10 198708282259 38.55 4 单(中，3) 0.67 11 198705251829 38.40 2 单(前，1) 0.33 12 200607060306 38.30 3 单(中，3) 0.50 13 198305292001 36.99 2 单(中，3) 0.33 14 200707100038 36.40 6 双(前后，4) 1.00 15 199304301948 36.33 2 单(前，1) 0.33 16 200908161353 35.30 5 双(前后，5) 0.83 17 198607210231 35.09 2 单(前，1) 0.33 18 200807101643 34.80 1 单(前，1) 0.17 19 200106181153 34.58 2 单(前，1) 0.33 20 199807210654 34.46 1 单(前，1) 0.17 表2. 30 min降水样本(最大历时过程) 3.2. 雨峰类型分析 由表2可以看出连续30 min降水量大于对应历时降水量阈值的26场降水中。其中降水场次均为单峰型的有21场，双峰型的有5场；其中单峰型降水峰值在降水过程前、中部的场次有19场，占90.5%；连续60 min降水量大于对应历时降水量阈值的27场降水中(图略)，其中单峰降水次数20场；降水峰值在降水过程前、中部的场次有19场，占95.0%；连续90 min降水量大于对应历时降水量阈值的26场降水中(图略)，其中单峰降水次数为12场；降水峰值在降水过程前、中部的场次有11场，占91.7%；降水峰值基本分布在降水过程前、中部；连续120 min降水量大于对应历时降水量阈值的26场降水(图略)，其中单峰降水次数为16场；降水峰值在降水过程前、中部的场次有14场，占87.5%。双峰降水次数8场，降水峰值分布在降水过程前、中部；连续150 min降水量大于对应历时降水量阈值的29场降水(图略)，其中单峰降水次数为19场；降水峰值在降水过程前、中部的场次有16场，占84.2%。双峰以上降水次数10场；连续180 min降水量大于对应历时降水量阈值的28场降水(图略)，其中单峰降水次数为19场；降水峰值在降水过程前、中部的场次有16场，占84.2%。双峰以上降水次数9场。 对最大历时过程短历时降水样本在模式雨型所占比例进行统计可发现(图2)，单峰型在短历时降水样本中占比例最大，历时30 min时较明显，比例达到77.2%。双峰型占比次之，三峰型占比最小。综合以上分析，单峰型降水在在短历时的最大历时过程降水样本中数量最多，雨峰位于降水过程的前、中部。 图2. 不同降水历时样本雨峰类型占比 3.3. 雨峰位置系数分析 以5分钟为间隔，采用各降水历时的逐年最大降水过程为样本，统计出降水过程的雨峰位置系数。按照历时长度将其与历时相同的逐年最大降水样本的雨峰位置系数分别作加权平均和算术平均，得出综合雨峰位置系数。最终如表3确定出鄂州市的综合雨峰位置系数为0.32。 Table 3 Location r of rain peak coefficien 降水历时(min) 各降水历时雨峰位置系数 综合雨峰位置系数r 30 0.51 0.32 60 0.43 90 0.30 120 0.33 150 0.33 180 0.35 表3. 雨峰位置的系数r 3.4. 雨型结果分析 使用积分的方式计算出芝加哥法合成的暴雨过程线各单位时段平均降水量与累计降水量，得出每时段的平均降水强度，对出重现期2a历时30、60、90、120、150、180分钟的芝加哥法雨型样本进行定性。 利用芝加哥法推求重现期2a鄂州市的短历时单位分钟间隔的设计暴雨雨型分布图可以看出(图3)，历时30~180分钟的峰值分别发生在第11、21、32、42、53、63时段。雨峰类型为典型的单峰型，重现期延长时下增大，雨峰位置在降水过程一半时段前。
system: [SYSTEM]

user: 4. 方法与建议 (1) 绝大多数历时暴雨雨型的雨峰位置处于或超前于其整场降水过程的一半，说明短历时暴雨很容易瞬间产生较大的降水量，且在降水前期就容易分辨，所以在汛期，鄂州市防洪防涝相关部门应及时关注气象局短历时暴雨预警信息，第一时间做好排水排捞准备，启用洪涝相关应急措施，应对城市内涝灾害。 图3. 芝加哥法推求重现期2a鄂州市区各降水历时设计暴雨雨型分布图 (2) 鄂州市的暴雨雨型特点为单峰型、强度大、发生快、历时长。在历时相同的情况下，降水强度与重现期长度成正比，所以在作暴雨雨型设计时，应将重现期作为主要的考虑要素之一。
system: [SYSTEM]

user: 5. 结论 本文利用利用芝加哥雨型分析法分析鄂州市国家站1980年至2017年共38a的单位分钟降水资料，推演出鄂州市区重现期2a历时30、60、90、120、150、180分钟以5分钟为单位时段的设计短历时暴雨雨型，对建立鄂州市防洪排涝规划体系提供理论支撑，结论如下： (1) 鄂州市区重现期2a各降水历时5分钟间隔的设计暴雨雨型雨峰位置历时30~180分钟的峰值分别发生在第11、21、32、42、53、63时段。雨峰类型为典型的单峰型，历时的降水强度在重现期延长的情况下增大，雨峰位置在降水过程一半时段前。 (2) 鄂州市区各暴雨雨型历时设计多数为单峰形，单峰型暴雨在短历时的最大历时过程降水样本中数量最多，其中历时30 min时尤最为明显，比例达到了77.2%。雨峰位于整场降水过程的前、中部。 (3) 鄂州市的暴雨雨型特点为单峰型、强度大、发生快、历时长。历时一致的降水强度在重现期延长的情况下增大。建议在鄂州时发生短历时暴雨时，市防洪防涝相关部门应及时做好排水排捞相关应急响应，对应城市内涝灾害。 由于短历时暴雨局地性较强，空间差异明显，本文仅采用了重现期2a的数据对比分析了鄂州市暴雨分布特征，今后将获取更多完整区域站数据进一步分析。
system: [SYSTEM]

user: 摘要 随着信息媒介的转变以及人们对金融领域逐步的关注，证券领域新闻资讯信息的传递频率达到了前所未有的水平，而在当今金融领域缺乏一种能够可视化展示证券领域企业实体之间情感影响关系的建模方法。针对该问题，本文首先提出了一套实时的定向爬虫框架来获取所需的证券领域新闻文本，其次针对新闻文本设计了一种基于FinBERT-CRF的命名实体识别模型，最后结合市场基本面提出了一种构建面向情感分类的证券领域知识图谱，为投资者以及投资机构提供了一定的参考价值。
system: [SYSTEM]

user: 1. 引言 随着互联网便捷化的发展，以及新闻信息传播媒介的逐步转变，新闻资讯信息的传递速度达到了前所未有的水平。在金融证券领域的服务类别中，用户阅读金融类资讯的使用频率远超于其他金融服务，相对应，上市公司重大事件新闻的传播影响力也在快速增大。例如18年7月发生的长生生物疫苗事件，国家药品监管局早在同年7月18日便发布公告称长生生物疫苗研究中违反了相关规范，直到7月22日，一篇《疫苗之王》的公众号文章将长生生物推至风口浪尖，其股票价格一路下跌同时带动同概念生物疫苗相关股票价格一路狂跌。从类似事件的发生我们可以发现虽Fama [ 1 ] 于1965年提出了“有效市场假说”，但该假说的前提假定为：于证券市场参与者来说，人们均处于极其理性的情况下，同时掌握了金融证券市场完整的信息。但在真实的金融领域，由于中国的证券交易市场仍处于初期阶段且影响因素繁多，投资者往往难以自主对海量数据即时准确做出判断从而成为证券市场中的被动者。因此在计算机技术、深度学习逐渐兴起的背景之下，针对证券市场企业实体的情绪分类对于投资者以及投资机构来说尤为重要。近年来，在针对证券领域新闻文本的情感分类理论研究中，研究学者往往仅从文本化非结构性数据中获取相关影响因子或有效信息，而这一过程往往忽视了金融证券市场是一个综合整体的实体存在，对当前证券领域缺乏准确普遍的建模方法。故在本文中我们通过搭建面向情感分类的证券领域知识图谱，使证券领域实体之间的关系图像化，即为通过构建图边关系进一步对市场企业实体的情绪进行有效的分析打下基础。 在对金融证券领域的文本信息转换为知识图谱搭建中，首先需要考虑的问题是如何获得证券领域内的新闻文本和基本面数据，以及如何实现将其文本表述转换为计算机能够识别的表示方法。在传统的机器学习方法中，常需要充足的数据量来支撑参数调整优化，然而在特定专业领域，模型学习的效率往往由于上述假设过于严格而难以达到很好的效果。事实上，这些领域可用数据量缺失，使得训练样本往往不足以供复杂的机器学习模型进行训练从而得到一个可靠的生成预测模型。因此在本章，我们首先构建实时的定向爬虫框架来获取所需的证券领域新闻文本以及半结构化企业基本面数据。 其次本文针对非结构化数据证券领域新闻文本，提出基于命名实体识别的方法对证券领域知识图谱进一步情感分类标注的扩充。虽然命名实体识别模型搭建在现有的解决方案中已较为普遍，但由于证券领域新闻文本相关数据常存在一系列专有名词，大多数仅通过人为设立规则和模板方法为主，统计学习方法多作为辅助决策来完成。针对证券领域有标签数据常存在人工标注慢等此类问题，在本文中我们提出了一套针对新闻文本的基于迁移学习的命名实体识别模型的搭建框架，通过同领域不同任务的参数迁移方法有效解决了该类问题。 最后，针对现有的证券领域中缺乏一种较为准确普遍的建模方法去体现企业实体之间的情绪表现关联，我们基于已爬取的半结构企业市场基本面数据，提出了一套证券领域知识图谱的构建框架。另外考虑到金融证券领域的特殊性，股市参与者对实体企业的信心往往能迅速表现于相应股价表现行为上。故在文中，我们将证券领域知识图谱与新闻中基于实体识别所得实体的市场涨跌表现进行融合，生成了面向情感分类的证券领域知识图谱。
system: [SYSTEM]

user: 2. 金融财经新闻文本数据的收集 在本章中，我们主要提出了一种针对证券领域的定向实体爬虫框架，为后续研究做出数据支持。之后对数据的分布与基本类型进行分析，设定规则为后续模型制作样本提供数据基础。 2.1. 基于上市企业数据的获取 随着网络信息的快速膨胀，如何准确快速的提取互联网信息已经成为一大新型挑战，爬虫技术即人为构造一套框架可以自动的从互联网中定向获取所需信息。在定向获取信息的过程中，人们往往会定义一套规则选择性下载目标信息，即常讲的定向爬虫。 如图1所示即为我们本节的金融领域非结构化新闻文本爬虫框架。首先，我们需要确定数据信息来源，并分析所需数据结构。本文中我们不仅仅要获得新闻文本等非结构化数据并存储至本地，同时需要获得其实体在股票中的基本面信息，例如地点、概念、板块等作为后续知识图谱构建关系实体的基础。根据爬虫的难易程度、新闻发布方的权威性等方面，我们在新闻资讯类非结构化数据方选取了以新闻权威性为主要竞争力的东方财富发布的Choice [ 2 ] 金融终端，作为本文的信息来源方。至于基本面数据半结构化数据，存储模块中我们设置了接入Tushare [ 3 ] 的API端口函数存储至本地。 图1. 金融领域非结构化新闻文本爬虫框架 其次，在我们从互联网直接获取非结构化数据的过程中，我们通过Fiddle记录下客户端与服务器交互过程中所有的HTTP请求，并对网络请求(request)和回复(reply)进行进一步的分析，查找得到了我们所需网页的请求包，我们相应进行伪装处理模拟器header进一步的访问，并依据预定义的爬虫规则从互联网上下载指定的数据。此外在制定获取网页的函数时，我们同时要考虑并行、执行频率等相关因素。由于本文涉及数据的并行化抓取，采用Python多线程模块处理所需定向URL。在解析网页源代码中，网页文件一般以代码段的形式呈现，在经过Service处理后通过设计URL循环函数对定向更改参数的每一条链接进行数据抓取。利用DOM解析器，依据预定义的规则如取< p >标签下的可用文本将信息自动化地抽取出来。由于网页的结构复杂多样，基于规则的自动化抽取往往会产生一些错误，因此还需要清洗模块修正解析的结果。如图2所示，其网站的HTML中并没有明显区分标题与正文的不同，但文中有“【xxx】”的标记如“【中标项目】”来区分不同的文本板块。 最后需要对我们所获得的数据进行持久化的存储并清洗。在本节中我们主要存储与mysql数据库中，运用python中pandas.tosql进行批量存储。主要保存为字典类别的方式方便后续数据处理中转换为dataframe进行进一步操作。当我们存储到数据后，进一步清洗数据于python中的scrapy模块ItemLoader中进行，定义一个默认的全局输出处理器，再通过TakeFirst函数取出相应文本段，若为空，便丢弃整篇新闻文章。 图2. HTML网页结构与关键文本对应图 2.2. 数据的分类与分析 在对本文的数据进行分类分析时，需要分别对半结构化数据以及非结构化数据两个场景进行考虑。 2.2.1. 半结构化数据的处理 首先我们对企业实体在股票领域的基本面半结构化数据进行预处理。通常的证券类数据包含日间交易数据、所在地域、所属行业、主营业务等基本面数据。在考虑相关方面数据时，主要目的为进一步发现证券领域企业实体间的隐藏信息。例如，当某日的白酒行业爆出“黑马”时，相应白酒类股票实体均表现优良。故在本文第三章构建令全领域知识图谱时，我们将行业、主营业务等概念同样以“实体”加入至知识图谱中。具体数据存储格式如表1所示： Table 1 Example of crawler data storage forma ts_code name industry chairman province city employees 000001.SZ 平安银行 银行 谢永林 广东 深圳市 34204.0 000002.SZ 万科A 全国地产 郁亮 广东 深圳市 133455.0 000004.SZ 国农科技 互联网 黄翔 广东 深圳市 251.0 000005.SZ 世纪星源 环境保护 丁芃 广东 深圳市 680.0 000006.SZ 深振业A 区域地产 赵宏伟 广东 深圳市 385.0 表1. 爬虫数据存储形式示例 具体为知识图谱建模所作的数据映射转换见第3.1节。 2.2.2. 非结构化数据的处理 证券类新闻是了解该时刻或当日重要事件的主要通道，在证券领域又称为另类宏观数据，它包含了企业、上市公司实体或相关概念的当日事件等信息，其中含有大量的金融证券领域的实体词语。在本节中我们主要对该类数据进行进一步的分类标签化预处理，为后续的FinBERT-CRF命名实体识别模型框架提供数据基础。具体映射前后区别如表2所示。 Table 2 Example of data format after mapping operatio 《北京大宗商品交易所(即北商所)诈骗百姓数十亿资金！》 标签 标签 标签 标签 标签 《 O 易 M-ORG 所 O 数 O 》 O 北 B-ORG 所 E-ORG ) O 十 O 京 M-ORG ( O 诈 O 亿 O 大 M-ORG 即 O 骗 O 资 O 宗 M-ORG 北 O 百 O 金 O 交 M-ORG 商 O 姓 O ！ O 表2. 映射后数据样式示例1 在本章模型的输入中，为了进一步强调输出类别标签之间的依赖性，我们将输入文本样本做出了以下几点约束： · 实体标记的起始字符需为“B_”； · 实体标记的中间字符需为“M_”； · 实体标记的结束字记需为“E_”； · 同一实体标记中间不能出现不同的类别标记，如“B_LOC， M_ORG”的标记连续出现是不被允许的； · 其余情况均被标记为“O_”。 具体新闻文本数据的预处理(news preprocessing)的伪代码算法如下所示(算法1)。 Algorithm 1. News text preprocessing algorithm 算法1. 新闻文本预处理算法
system: [SYSTEM]

user: 4. 基于FinBERT-CRF命名实体识别的证券领域知识图谱的构建 在前两节的数据准备以及FinBERT-CRF命名实体识别模型的基础上，本节主要介绍本章基于金融证券领域的知识图谱的设计以及基于FinBERT-CRF对证券领域知识图谱情感分类的扩充算法。 4.1. 初始证券领域知识图谱的设计 本小节主要通过已爬取的企业于股票市场中的基本面数据构建初始的证券领域知识图谱。三元组作为知识图谱的基本结构，在进行本文领域知识图谱的设计的过程中是不可忽视的一部份。根据本文已爬取数据的实际情况，主要设计了两种相应的存储结构。第一种为“实体–属性–具体属性”，该类三元组具体表现为“一对一”的形式即每一个实体的特定属性仅有唯一对应的值存在。例如实体姓名(name)、是否退市(list_state)、总资产(reg_capital)、省份(province)、城市(city)、主营业务(main_business)为唯一属性映射形式。第二种为“实体–关系–实体”，该类三元组表现为“一对多”的形式即通过关系映射，某一实体的某一特定关系存在多个实体。如下表所示，表7列举了某一企业实体的实体属性“一对一”映射关系。 本文在构建证券领域知识图谱中创建了code (股票代码)、name (企业姓名)、list_state (上市情况)、经营规模(reg_capital)、管理者(chairman)、province (省份)、city (城市)七个节点属性标签，位于(located)、属于(belong)、主营(main_business主营业务)三个关系属性标签。如表7中list_state中的L表示该企业实体正常上市中，D表示该企业实体已经退市。三个实体属性和省份、城市、行业、概念、主营业务五个实体之间的关系。 Table 7 Examples of “one-to-one” mappin 实体 属性 属性值 000024 Name 招商地产 000024 list_state D 000024 reg_capital 257595.0754 000024 province 广东 000024 city 深圳 000024 main_business 房地产开发经营 000024 chairman 孙承铭 表7. 属性“一对一”映射关系举例 4.2. 证券领域知识图谱的构建 本节为进一步实现“实体–属性–属性值”和“实体–关系–实体”的结构特性，需对抓取到的数据进行预处理，为构建初始证券领域知识图谱提供数据基础。首先将industry表中的一对多的映射信息转换为“一对一”映射的数据表中。例如industry表之间的转换，我们需要将表8通过Pandas与math包等处理为表9中“一对一”映射方式。 Table 8 Example of “one-to-many” mapping table for industr Id 股票代码 行业 股票代码 14863 300757 专用机械 300724， 300776， 300812， 601226， 603036 14864 300681 汽车配件 601127， 601799， 603013， 603035， 603085 14865 002649 软件服务 300624， 300634， 300645， 600289， 600476 表8. Industry表“一对多”映射表举例 Table 9 Example of “one-to-one” mapping table for industr Id 实体 关系 实体 43508 300757 主营 专用机械 43509 300724 主营 专用机械 43510 300776 主营 专用机械 43511 300812 主营 专用机械 43512 601226 主营 专用机械 87501 601127 主营 汽车配件 87502 601799 主营 汽车配件 表9. Industry表转换为“一对一”举例 通过该种方式，本节共创建了股票(code)、城市(city)、省份(province)、主营业务(main_business)、概念(notion)五种节点，股票姓名–城市(name-city)、城市–省份(city-province)、股票姓名–主营业务(name-main_business)、股票姓名–所属概念(name-notion)、股票姓名–省份(name-province)五种实体关系映射表。最后将预处理后的表格数据导入neo4j [ 10 ] 图数据库中。Neo4j数据库提供了Cypher语句进行逐条导入，该种方式可以实时插入数据且修改数据较为灵活，同时也可以通过LOAD CSV语句进行基础的csv文件多批次插入。本文中我们在Centos7系统下将处理过的节点、关系文件通过neo4j-import的方法进行批次插入，得到的部分可视化呈现如图5所示。 图5. 证券领域知识图谱可视化部分呈现 在本节所构建的初始证券领域知识图谱中，共包含了4673个实体节点、18，986个属性描述以及13，340条边关系。
system: [SYSTEM]

user: 5. 基于FinBERT-CRF的证券领域知识图谱的构建 为了进一步实现对于企业实体节点的情感分类任务，本节主要介绍了在已构建的初始证券领域知识图谱基础之上，基于FinBERT-CRF构建面向情感分类的证券领域知识图谱的构建原理以及算法实现。 在构建了初始证券领域的知识图谱之后，本节将主要就面向情感分类的证券领域知识图谱的构建的流程展开介绍。对于非结构化新闻文本数据，我们基于FinBERT-CRF命名实体识别模型，将爬取的相关新闻文本作为训练样本送入体模型中，即可训练得到对应文本相关企业实体，之后通过如图3所示流程为模型所输出的实体打上情感标签，生成面向情感分类的新闻实体数据集，最终与知识图谱融合生成最终的面向情感分类的证券领域知识图谱，具体流程如图3所示。 如图6所示，我们首先将爬取的新闻文本数据送入基于已训练的FinBERT-CRF命名实体识别模型，分别将其中相关企业实体进行识别并标注，得到新闻样本中的相关实体集 { A ， B ， ⋯ ， M ， ⋯ } 。 其次我们基于新闻发布时间点以及相关企业实体，通过实际的股票市场中新闻发生第二日后具体涨跌表现，将其标注为相应新闻实体的情感表现。在本节中我们考虑到新闻事件的时效性，选择了一日后股票的表现作为其情感表现的评估标准。 例如在2020年4月16日晚间公布的一条新闻中“省广集团：暂未开展RCS相关业务”，则其中得到的企业实体为“省广集团”，在证券市场中“省广集团”的于2020年4月17日的涨跌幅为−8.16%，故该条发生于4月16日的新闻我们将其打为负情绪。以此类推，在本数据集中我们假定下述三种情况为我们制作标签的规则： · 若第二日的涨跌幅大于1.5%，则为正类情感标签； · 若第二日的涨跌幅小于−1.5%，则为负类情感标签； · 若第二日的涨跌幅位于−1.5%至1.5%之间，则为中性情感标签。 图6. 面向情感分类的证券领域知识图谱FinKG-EMO构建过程图 之后按照该类情感分类的标签方法对其进行迭代即可得到对应新闻文本中实体的当日市场相关情绪值，同时我们将证券领域知识图谱中的相关概念以及板块如“新能源”“白酒”等节点在第二日的市场表现仍遵从以上规则进行情感分类标签处理。 最后结合已构建的知识图谱三元组生成在时间区间内每一日的证券领域知识图谱相即生成一系列的相关样本结构图数据集，同时考虑到新闻样本的数据集规模较小，我们通过将一组十张连续日的知识图谱将节点情绪进行了如式所示的拼接。 E N = ∑ i = 0 N α i E i / N (6) 如式(6)所示，其中 E i 代表第i日企业节点 在市场中的情感分类， α i 代表第i日企业节点E对第N日节点 的情绪权重，我们在本节中我们设置 N ≤ 10 且 α i 中i越小相应的权重越小，最终生成了基于FinBERT-CRF模型的面向情感分类的证券领域知识图谱数据集FinKG-EMO，具体实现算法如算法2，且相应生成的具体实体节点情感三元组样本示例如表10所示。 Algorithm 2. FinBERT-CRF-based knowledge graph construction algorithm 算法2. 基于FinBERT-CRF的证券领域知识图谱构建算法 Table 1 0 An example of storage representation of entity nodes of knowledge graph in the securities fiel Id Name Emotion 000089 深圳机场 0 000090 天健集团 −0.6 000096 广聚能源 −0.8 000099 中信海值 −1 000100 TCL科技 0 000150 宜华健康 0.3 表10. 面向情感分类的证券领域知识图谱实体节点存储表示举例 除此之外，为了进一步充实面向情感分类的证券领域知识图谱中节点的特征信息，我们将已搭建的知识图谱FinKG-EMO中的企业节点基于上述FinBERT模型编码嵌入层部分生成了一系列的情感特征向量附于知识图谱并进行初步拼接，为之后的模型训练提供了有效的数据信息。
system: [SYSTEM]

user: 6. 小结 本文针对当前证券领域缺乏准确普遍面向关系的可视化建模方法在一定假设下提供了可能解决方案。针对获取数据方面，本章提出了一套完整的金融财经新闻文本数据的爬虫框架，可基于该框架及时准确地从互联网中获取大量的上市企业新闻文本数据以及非结构化企业基本面数据，为进一步的命名实体与知识图谱的搭建提供数据支持。对于非结构化新闻文本，本节在特定领域样本规模小的假设前提下提出了基于FinBERT-CRF框架的证券领域新闻命名实体识别的模型，通过复用同领域情感分析FinBERT模型中的参数，实现从小规模证券领域文本中提取新闻相关实体并通过对比实验证明该模型框架的有效性。最后，基于上述爬虫所得半结构化数据所构建的初始证券领域知识图谱以及基于FinBERT-CRF命名实体模型所得相关实体的市场情感表现搭建了面向情感分类的证券领域知识图谱，为本文下述基于图的情感分类模型研究提供了支持。 综上所述，本文主要解决了如何能够及时准确地从互联网中获得所需的证券领域新闻文本的问题、如何能在小规模新闻文本数据集上准确高效地识别证券新闻涉及的相关企业实体的问题以及如何结合实际应用场景根据已有的半结构化数据和相关实体的市场表现搭建有效的领域知识图谱的问题，分别提出了一套基于上市企业的定向爬虫框架、基于FinBERT-CRF的证券领域命名实体识别模型以及基于命名实体识别模型的一套构建面向情感的证券领域知识图谱框架，为后续基于图结构的情感分类研究展开提供了基础，并为类似特定领域的情感或文本类研究提供了实践参考。
system: [SYSTEM]

user: 摘要 目的：系统评价肌内效贴布对肱骨外上髁炎的疗效。方法：方法计算机检索PubMed、web of science、Pedro、Cochrane library、万方、维普、中国学术杂志(CNKI)、中国生物医学相关文献数据库(CBM)从我国大学校园建库到2020年11月关于肌内效贴布技术治疗肱骨外上上炎的随机调查与对照实证实践研究(RCT)。将被纳入的文献在网络上进行了筛选，资料的提取，质量评估和风险评价后，使用RevMan5.4软件对其进行了Meta分析。结果：共纳入13项RCT研究，共计706例受试者。Meta分析结果显示：肌内效贴与无刺激组VAS比较，合并效应量MD = −1.17，95% CI (−3.06， 0.73)，Z = 1.21，P = 0.23，疗效可能优于无刺激组；肌内效贴组和假刺激组VAS比较，超声波亚组合并效应量MD = −2.02，95% CI (−2.38， −1.65)，Z = 10.82，P < 0.00001，体外冲击波亚组合并效应量MD = −0.20，95% CI (−0.39， −0.01)，Z = 2.11，P = 0.03，疗效优于假治疗组；肌内效组和理疗组VAS比较，合并效应量MD = 0.16，95% CI (0.03， 0.28)，Z = 2.47，P = 0.01，疗效不如理疗组；肌内效组和理疗组PRTEE比较，合并效应量MD = 0.92，95% CI (−0.44， 2.29)，Z = 1.33，P = 0.18，疗效可能优于理疗组。结论：肌内效贴布在一定程度上可以改善患者疼痛，在改善功能障碍方面不明显。
system: [SYSTEM]

user: 1. 引言 肱骨外上关节炎(简称网球肘)是一种临床常见的一种肘部关节病，表现为网球肘前臂和后伸肌的起点区疼痛；疼痛的出现主要来源于由前臂延长肌肉重复使用力所致而造成的慢性疲劳 [ 1 ]，该疾病多见于反复旋转前臂及经常做旋腕动作的人群，如网球运动员、教师等 [ 2 ]。在一般人群中的平均患病率约1%~3%，在一般和高危人群中的平均患病率约分别为15% [ 3 ]。肱骨外上髁炎，特征是疼痛感强烈，疼痛位置是肘关节外侧，严重时无法提握物品，在阴雨天时疼痛感有加重倾向，生活质量差 [ 4 ]。目前在用于我国医疗临床上的适用于中医治疗新型网球肘的主要手段和治疗方法及其种类也还是有很多，传统的现代医学卫生技术治疗方面主要手段包括传统中药材的外敷、中医药材的熏蒸冲洗、针灸、推拿局部按摩、小针刀等，西医疗法治疗的新型网球肘主要手段包括各种行为心理干预、康复以及运动肌力锻炼、物理注射治疗和各种局部血液灌注或者局部封闭性注射治疗 [ 5 ]。 肌内效贴扎法是一种新型的处理治疗技术，主要具备有助于缓解疼痛、减轻体内水肿、支撑和放松柔韧性组织、矫正姿态等作用，可以长期贴扎并维护效果，贴扎的同时还可以对肌肉进行多种机械活动和各种身体功能性的锻炼，不会影响贴扎的正常使用 [ 6 ]。但是其治疗效果仍然存在一定的争议，本项研究的主要目标是通过科学性的系统评价和客观的Meta分析，对应用肌内效贴布法去治疗肱骨外上膜炎的效果进行非主观性、科学性地评价，更深层次的目的为以后的医院临床应用和治疗工作提供了便捷性的参考依据。
system: [SYSTEM]

user: 2. 资料与方法 2.1. 纳入与排除标准 2.1.1. 纳入标准 ① 研究对象：肱骨外上膜炎症的患者，年龄、病程、性别和临床案例数据来源可能不限；② 干预措施：术后治疗组可以给予肌内效贴布治疗(贴扎的方式、连续时间和治疗疗程长度不限)或者肌内效贴布联合其他术后治疗；对照组没有经过任何治疗(无任何刺激)或给予其他治疗。③ 结局标准依据：主要的结局参考标准依据为肘关节视觉模拟评价分数(visual analogue scale， VAS)，次要的结局指标为肘关节视觉功能相关的量表(Patient-Rated Tennis Elbow Evaluation， PRTEE)。④ 研究项目设计：随机的对照实验，语言局限中文和英文。 2.1.2. 排除标准 ① 原始资料缺失且被索取不成功；② 治疗方法和措施不明确；③ 重复出版。 2.2. 检索策略 计算机信息网络系统可以实时检索所有Cochrane Library、Pubmed、Webof Science、Pedro、中国国家学术论文杂志(CNKI)、中国国家生物医学技术相关文献数据库(CBM)、维普医学信息数据资源管理系统(VIP)和万方数据库。收集了自建立书库到2020年11月之间所有出版的RCT。 以CNKI为例，中文的检索策略为： #1 “肌内效贴布”或“肌能贴”或“肌贴”或“软组织贴扎” #2 “肱骨外上髁炎”或“网球肘” #3 #1和#2 以PubMed为例，英文检索策略为： #1 taping * OR kinesio taping #2 tennis elbow * OR lateral epicondylitis #3 #1 AND #2 2.3. 文献筛选和资料提取 由2位独立的科学研究机构工作人员通过仔细地审核阅读文章标题和全文摘要，初步分析筛选并找出了可能符合我们所需的纳入文献标准的相关文献，进一步通过审核阅读全文，根据文献排除率的标准要求来逐步筛选不可能符合要求的相关文献。然后我们通过Excel2010制作一份关于相关研究资料的基本提取文件格式：① 这份基本资料，包括第一个研究工作者的真实姓名、第二个成果发表人的日期、国家、样品研发数量、干预治疗措施、对照使用药物、治疗持续期限、疗程和最终起始结局所得及需要随机测量的持续时间；② 需要了解相关患者的具体相关疾病信息，包括患者年龄、性别和相关疾病的各个起始发展阶段；③ 结局偏倚指标，包括主要的起始结局偏倚指标(VAS)和次要的最终结局倾倚指标(PRTEE)；④ 偏袒倾倚性质的风险评估，包括随机检测数据的是否产生、分配是否隐蔽、研究工作人员和其他受试者的双盲法同时执行、结局随机数据的相对完整性、选择性不当地无法报告相关研究成果和其它性的偏倚，出现分歧时由第3名研究人员参与并达成共识。 2.4. 质量评价 采用Cochrane系统的推荐指导标准 [ 7 ] 对RCT偏倚风险进行了评价，包含7个主要的方面。① 随机方案的形成；② 分配隐藏；③ 盲法(适合于受试人员及治疗执行人员)；④ 盲目评判(最终结局的评价人)；⑤ 不完全的数据；⑥ 具有选择性的报告；⑦ 其它。将偏倚风险的严重程度划分为“低风险”、“高风险”、“不清楚”(本文没有提供充分足够可以做出分析的资料)。同时使用了一种经过改良的Jadad量表来评价文献的质量，1~3分认为较低的质量，4~7分认为较高的质量。 2.5. 统计学分析 采用Cochrane协作网提供的RevMan5.4进行meta分析。采用均数差(MD)和95%CI表示连续性变量。使用非平均数差(MD)和95%CI来直接表示一个具有连续性的函数变量。通过采用χ 2 检验和通过I 2 值对被直接纳入的两个研究间共同影响数据进行了异质性综合检验，若大于P > 0.10，I 2 < 50%，认为被直接纳入的两个研究间共同影响数据是否完全具有异质性，采用固定运动效应综合模型分析方法转而进行Meta综合分析；结果若大于P ≤ 0.10，I 2 ≥ 50%，则可以认为被直接纳入的两个研究之间是否存在一种异质性，采用随机固定效应分析模型；如果无法准确地分析判断表现出异质性的数据来源和影响数据不能完全进行合并时，则不进行Meta分析采用描述性分析。
system: [SYSTEM]

user: 4. 讨论 本研究对肌内效贴布(KT)对肱骨外上炎症治疗效果的相关文献作了一个系统性的评价，从而对kt与其它治疗，包括无刺激、假刺激、理疗和体外冲击波(ESWT)等疗效之间的差异是否具有统计学重要性。通过对系统的分析结果可知，与无刺激、假性刺激和ESWT比较，KT改善了患者肱骨外上腺炎更具优势，但与理疗相比确无差异，可能与纳入该病相关文献的数量相对较少(3篇) [ 14 ] [ 15 ] [ 20 ]，且疗程不一(2篇为2周 [ 14 ] [ 20 ]，1篇为3周 [ 15 ] )有关，希望以后有更多的此类研究对本结论进行支持和验证。而在功能改善方面，VAS评分结果有显著意义，PRTEE评分结果无显著意义。 本课题还是存在以下的几个方面局限性：① 文献数量方面：目前对于肌内效贴法治疗肱骨外上膜炎的RCT研究相对较少，被纳入该疾病系统综合评价的研究仅13篇，共706例患者，存在着被纳入该疾病文献的数量和患者样本总数量偏少的问题；② 文献内容方面：只选择了中文和英文两类文献，文章中很多资料可能大概率会出现收录错误的情况；③ 结果参考方面：对于结局性指标的考核评价上，不同的文献采用了不同的衡量量表，评价方法也与之具有一定的差异性；④ 样本环境方面：各个参考文献的各项研究中对于患者的基线水平(包括年龄、疾病)、疗效评分的主观性和以及其他治疗处方(即时间、方式、频率和周期)之间的差别均很有可能会导致其异质性诊断的来源；⑤ 使用方法方面：由于大部分文献中随机序列的产生只是提到了随机的字样，而没有明确产生方式，方案分配的隐藏与受试者、研究人员、结局评估者盲法的具体实施也并没有明确，因此总结出的整体文献质量不高，论证的强度相对较差。这些局限性和异质性都有可能导致本课题分析结果出现偏倚，从而严重影响其结果的准确性。
system: [SYSTEM]

user: 摘要 新一代大数据间引擎Flink在面临远程传输问题时，主要通过Netty完成数据传输，并依靠Netty水位值机制来保证其反压机制的运行。Netty水位值机制是一种相对静态的机制，这使得Flink在面临突变性特别大的数据流时会反复进行反压，进而影响整个Flink集群的计算效率。针对此问题，本文提出一种基于动态水位值的Flink调度优化算法Flink-N，经实验验证，与Flink默认的反压机制相比，Flink-N在吐吞量、CPU利用率及时延均有很大提升，时延整体优化达18%，最高优化23%。
system: [SYSTEM]

user: 1. 引言 随着信息时代的不断发展及线上线下交互需求的增加，实时计算能力强的流处理系统越来越被产业办重视。Flink因其具有强大的实时计算能力被广泛应用于实时计算 [ 1 ] [ 2 ]、高频交易和社交网络等方面。如美团 [ 3 ]、阿里云实时计算 [ 4 ] 及在线监测 [ 5 ] 等场景。 反压(backpressure)能力的好坏是判断实时处理系统数据处理能力强弱的重要依据。当系统瞬时负载高峰使得其接受数据的速度远远高于其处理数据的能力时，就会出现反压情况，如垃圾回收不及时或者停顿可能使得流入系统的数据快速堆积、大促或秒杀活动时出现的流量陡增等都会造成反压。如不对反压及时处理，将会使系统资源耗尽甚至导致系统崩溃。 Flink通过自身数据流来响应反压问题，下游的消费者处理数据减慢会降低上游发送者的发送速率。
system: [SYSTEM]

user: 2. 相关研究现状 现有大数据实时处理系统处理反压问题方面，Storm [ 6 ] [ 7 ] 是通过监控Bolt中的接收队列负载情况，如果超过高水位值就会将反压信息写到Zookeeper，Zookeeper上的watch会通知该拓扑的所有Worker都进入反压状态，最后Spout停止发送tuple。J Storm [ 8 ] [ 9 ] 采用逐级降速的方式来处理反压，使用Topology Master替代Zookeeper来协调拓扑进入反压状态，效果较Storm更为稳定。Spark Streaming [ 10 ] [ 11 ] 根据批处理时间(Batch Processing Time)和批次间隔(Batch Interval，即Batch Duration)的信息来动态调整系统的摄入速率，从而完成其反压工作。 在Flink优化方面，关沫使用Flink执行一种传统堆序优化后的算法Heap Optimize，增加了Flink的吞吐量 [ 12 ]。针对Flink默认的先来先服务的任务调度策略，王丽娟等人 [ 13 ] 通过资源感知，将待执行任务分配到最佳节点进行计算，优化了Flink的负载均衡。何贞贞等人 [ 14 ] 则根据任务间数据流的大小确定拓扑边的权重，以生成关键路径，大幅缩减了Flink节点间的通信开销。文献 [ 15 ] [ 16 ] [ 17 ] 把Flink从原来的CPU迁移扩展到异构的CPU-GPU集群，在并行计算、内存管理及通信策略方面极大地提高了Flink的计算能力。 目前诸多的研究当中没有Flink反压方面的问题，当Flink面临远端传输问题时，其所依托的Netty所采用的是一种静态的水位机制，这使得Flink在面临颠簸状态数据的远程传输问题时，容易出现反复反压的情况，极大地影响了Flink传输数据的效率，故而本文将针对此问题展开研究。
system: [SYSTEM]

user: 3. Flink反压原理解析 3.1. Flink反压原理 Flink的反压原理如图1所示，假如Flink的一个Job分为Task A、B、C，其中Task A是Source Task、Task B处理数据、Task C为Sink Task。假如Task C由于各种原因吞吐量降低，会将负载信息反馈给Task B，Task B会降低向Task C发送数据的速率，此时若Task B还保持从Task A读取数据，数据会把Task B的Send Buffer和Receive Buffer撑爆，导致OOM或者丢失数据。所以，当Task B的Send Buffer和Receive Buffer被用完后，Task B会用同样的原理将负载信息反馈给Task A，Task A收到Task B的负载信息后，会降低给Task B发送数据的速率，以此类推。 图1. Flink反压原理图 3.2. Flink网络传输的数据流向 Flink反压存在Task内与跨Task两种情况，本文已在图1中标注，本文主要是针对Flink跨Task传输进行反压优化，故下文主要对Flink跨Task传输进行介绍：图2展示了Flink网络传输时的数据流向，可以看到Task Manager A给TaskManager B发送数据，Task Manager A做为Producer，Task Manager B做为Consumer。Producer端的Operator实例会产生数据，最后通过网络发送给Consumer端的Operator实例。Producer端Operator实例生产的数据首先缓存到Task Manager内部的Net Work Buffer。Net Work依赖Netty来做通信，Producer端的Netty内部有Channel Outbound Buffer，Consumer端的Netty内部有Channel Inbound Buffer。Netty最终还是要通过Socket发送网络请求，Socket这一层也会有Buffer，Producer端有Send Buffer，Consumer端有Receive Buffer。 故Flink网络传输时的整个反压过程为：首先Producer Operator从自己的上游或者外部数据源读取到数据后，对一条条的数据进行处理，处理完的数据首先输出到Producer Operator对应的Net Work Buffer中。Buffer写满或者超时后，就会触发将Net Work Buffer中的数据拷贝到Producer端Netty的Channel Outbound Buffer，之后又把数据拷贝到Socket的Send Buffer中，这里有一个从用户态拷贝到内核态的过程，最后通过Socket发送网络请求，把Send Buffer中的数据发送到Consumer端的Receive Buffer。数据到达Consumer端后，再依次从Socket的Receive Buffer拷贝到Netty的Channel Inbound Buffer，再拷贝到Consumer Operator的Net Work Buffer，最后Consumer Operator就可以读到数据进行处理了，这就是两个Task Manager之间的数据传输过程。
system: [SYSTEM]

user: 4. Flink反压机制的缺点 如图2所示，Flink通过Netty完成其数据的网络传输任务，Netty在向底层的Channel写数据的时候会用到Channel Outbound Buffer，Channel Outbound Buffer本身是无界的，如果水位控制不当的话就会造成占用大量的内存，因此Netty为其配置了一个高水位线和低水位线。为避免上游数据量太大，当上游数据的大小超过高水位线的时候对应channel的isWritable就会变成false，当上游数据的大小低于低水位线的时候，isWritable就会变成true，低水位线主要是其自动恢复运行的一种保障，为便于理解下文所提的水位线均指高水位线。Flink以此来保证不在网络中写入太多数据，进而保证Flink的反压能力。 图2. Flink网络传输数据流向图 分析源码可知，Netty水位机制是一种静态的机制，Netty默认其水位线的高度为定值，这使得Flink系统在面临瞬时流量不稳定的场景(即系统的数据流量值在特别高与特别低的值之间不断跳动时)时，会出现下述两种问题： 1) 水位值较下游可用缓存区数偏低：如图3 (左图)所示，图中以“圆圈”表示数据，以“方框”表示缓存区的大小，下同。假设当上游A点来临的数据量是9 (Flink中以buffer为数据单位，每个buffer大小为32 k，为便于表述，下文块描述)，而此时下游B点的可用缓存区是10，H代表代表数据通道(其作用类似于水坝，水位值的大小决定了其单位时间通过的数据量大小)，此处设水位值高度为4，则Flink传输本批次的数据需要3个单位时间(上游共9块数据，每个单位时间只能通过4块的数据，需要3个单位的时间来处理这批数据)。而若此时的水位值为9或者10的话，则只需要一个单位时间，Flink便可以处理本批次的数据。 2) 水位值较下游可用缓存区数偏高：如图3 (右图)，假设当上游A点来临的数据量是4，而此时下游B点的可用缓存区为2，水位值高度为4。由于数据量不于水位值高度，Flink会误以为可以在一单位时间内接受这批数据，如图中可以看出，只有2块的缓存区，直接接收了4块的数据量，会直接导致内存溢出(OOM)甚至引起系统阻塞。综上，由于不合理的静态水位线的设置，使得Flink传输数据时间延长，或者出现非正常的阻塞，进而影响整个Flink的数据传输情况。 图3. 不同Netty水位值数据传输示意图 综上，由于不合理的静态水位线的设置，使得Flink传输数据时间延长，或者出现非正常的阻塞，进而影响整个Flink的数据传输情况。