DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 2. 相关工作 2.1. 传统的预测误差扩展(C-PEE) Wang等人的工作提出了传统预测误差扩展的可逆数据隐藏方案。通过修改预测误差，来进行秘密数据的嵌入，该方法可以将有效载荷嵌入到具有高标记图像质量的图像中，但是嵌入容量较少，图像的失真度也很高。现在我们将简要介绍这种方法。为了清晰地表示，只给出了基于直方图平移的嵌入阶段。首先，生成预测误差直方图。对于原图像I，将像素按照特定的顺序扫描(从左上角以光栅扫描方式扫描原图像I，不包括最右列和最后一行)得到的像素序列可以表示为 ( x 1 ， ⋯ ， x n ) ，其中，x 1 是被扫描的第一个像素值，N是所有被扫描图像的总数。中值边缘检测器预测方法 [ 14 ] 来预测每一个像素值，像素预测值为 x ^ i ，用原来的像素值减去像素的预测值，就是预测误差，公式如下： e i = x i − x ^ i MED预测方法依赖于被测像素值的右边、下边和斜对角的像素值如图1所示。 图1. 被测像素的上下文 MED预测方法需要用特定的顺序将原始图像进行扫描，利用被测像素值的右边、下边和斜对角的像素值进行预测，像素预测值被表示如下： x ^ i = { min ( u ， v ) ， if   w ≥ max ( u ， v ) max ( u ， v ) ， if   w ≤ min ( u ， v ) u + v − w ， otherwise 其中， min ( u ， v ) 和 max ( u ， v ) 分别表示计算u和v时的较大和较小的函数。被测像素值x的预测结果为 x ^ i ，用被测像素的像值减去预测值，就可以得到预测误差，从而获得预测误差序列 ( e 1 ， ⋯ ， e n ) ，将预测误差进行统计生成预测误差直方图 [ 15 ]。 对预测误差直方图进行修改，传统的预测误差扩展修改包括以下几个步骤： e ˜ i = { e i + m ， if   e i = 0 e i − m ， if   e i = − 1 e i + 1 ， if   e i > 0 e i − 1 ， if   e i < 0 其中，m表示要嵌入的秘密信息位， m ∈ ( 0 ， 1 ) 。当预测误差为0或−1时，修改预测误差直方图，在预测误差为0或者−1时嵌入秘密信息；预测误差大于0或者小于−1时，将预测误差直方图向前或者向后移动一个扩展箱的位置，以便腾出更多的空间保证数据嵌入的可逆性。原图像素在嵌入秘密信息后像素值就表示为 x ˜ i = x ^ i + e ˜ i ，也就是像素预测值与嵌入秘密信息之后的预测误差之和。 在图2中表示出了用于传统预测误差扩展的图示。图2中表示出了传统预测误差扩展的扩展箱的位置变化过程 [ 16 ]，其中红色扩展项(预测误差为−1和0)被嵌入数据而绿色扩展箱(预测误差大于0或者小于−1)进行了移动。 图2. 关于传统预测误差扩展的方法 传统预测误差扩展的提取过程是嵌入秘密信息的逆过程，提取和图像恢复过程总结如下。首先，得到嵌入秘密信息之后的预测误差，然后，原始图像的像素预测误差表示为 e i = { e ˜ i ， if   e ˜ i ∈ { − 1 ， 0 } e ˜ i − 1 ， if   e ˜ i > 0 e ˜ i + 1 ， if   e ˜ i < 0 最后，图像像素恢复为 x i = x ^ i + e i 。 2.2. 自适应嵌入和最佳预测误差选择相结合的预测误差扩展 针对传统预测误差进行改进，其中有自适应嵌入的预测误差扩展方法 [ 17 ] 和最佳预测误差选择的预测误差扩展方法，将这两种方法结合起来就是这部分要进行描述得方法(AO-PEE)。 首先是自适应嵌入策略，为了更好地利用图像的冗余，提出了复杂度度量n i ，并且，只有当n i < T时嵌入的那一部分可以用来嵌入秘密信息，T是预先选择的阈值且T > 0。这相当于，对于每个像素(n i < T)时，将根据传统预测误差扩展方法的嵌入程序进行处理。否则，也就是n i ≥ T，像素会被忽略，值保持不变。在这种方法中，是影响嵌入性能的重要因素。为了更好地利用平滑像素，T被当作最小的正整数，这样有效载荷就可以被成功嵌入。将有效载荷嵌入后，阈值的选取从0开始，每次值增加1，直到找到最优的图像质量，那么相对应的T便是要确定的阈值。 复杂度测量是计算每个像素差异的平均值，即 n i = | u − v | + | v − w | + | w − u | 3 其次，最佳预测误差的选择需要考虑满足以下要求的特定的预测误差直方图，假定嵌入容量为。在这种情况下，将嵌入失真的期望值范数可以表示为 E ( ‖ I ˜ − I ‖ 2 2 ) = ∑ i = 1 N E ( ( x ˜ i − x i ) 2 ) = 1 2 ( h ( − 1 ) + h ( 0 ) ) + ∑ e ∉ { − 1 ， 0 } h ( e ) = N − H 其中，I和 I ˜ 分别用来表示原图像和嵌入秘密信息之后的图像，由于被嵌入像素不一定要在预测误差为−1和0的像素上，对于这种特定的预测误差直方图，可以选择预测误差 [ 18 ] 为−1和1的像素上嵌入秘密信息，预测误差为0的像素保持不变。那么嵌入失真的期望值发生了变化从N − H和N − 2H。如图3所示： 图3. 关于自适应预测误差扩展的方法 这一发现表明可以通过改变预测误差的选择来增加秘密信息的嵌入容量。基于此，发现对于给定的嵌入容量，可以选择两个预测误差满足a，a和b的具体数值可以通过重复嵌入来决定最佳的预测误差。由于a和b的变动，嵌入秘密信息像素的预测误差变为 e ˜ i = { e i ， if   a < e i < b e i + m ， if   e i = b e i − m ， if   e i = a e i + 1 ， if   e i < b e i − 1 ， if   e i < a 将这两个改进结合起来就是这部分要描述的AO-PEE，AO-PEE需要确定三个参数：复杂度阈值T，扩展箱(a， b)。T是最小的正整数，对于给定的(a， b)，重复嵌入秘密信息的步骤来收集(a， b)，当嵌入失真最小时，相对应的参数便是要找的最佳参数。通过这两方面的改进，AO-PEE的性能得到了提高。
system: [SYSTEM]

user: 3. 本文方法 3.1. 全封闭的预测方法 本文采用了全封闭的预测方法，和目前常用的MED预测方法和菱形预测方法相比有些许不同，目前工作中的MED预测方法和菱形预测方法的优点，充分利用了被测像素值周围的相邻像素，得出更为精确的预测值，为嵌入秘密信息时选择嵌入像素值的位置提高了准确率，更进一步提高了嵌入后图像的视觉质量。根据整体的算法来选取合适的预测方法，合适的预测方法可以去掉原始图像像素间大部分相关的信息，从而使得预测误差分布集中在0附近，由预测误差生成的直方图从最中间向两侧递减，这样尖锐的直方图可以提高算法的性能。本文采用了一种基于全封闭预测方法的计算像素局部区域纹理度高低的方法，3 × 3的像素可以被分成上下两部分，每部分分别计算相邻像素和被测像素差的绝对值之和，再将这两部分计算的值相加，在计算的过程中，充分考虑了像素内容，更为精确地区分像素局部区域的纹理度高低，进一步提高了选择嵌入像素的精度，从而改善可逆信息隐藏的失真度。图4表示各像素之间的位置关系。 自然图像中，像素值间存在着很强的相似性，相邻像素的相似度随着像素距离的增加而逐渐减小，邻近像素在统计意义上应有最强的相关性，当前像素通过其邻近像素来预测的准确度也应最高。相比之前的MED方法考虑了被测像素相邻的三个像素，如图1所示。菱形预测方法考虑了被测像素周围相邻的四个像素值。本文所提出的全封闭的预测方法考虑到了被测像素周围所有相邻的像素值，更好地利用了像素之间的相关性，为选择被嵌像素提高了准确性。像素值x是要进行预测的像素，将周围相邻的像素分别用八个像素来进行表示 { x 1 ， x 2 ， x 3 ， x 4 ， x 5 ， x 6 ， x 7 ， x 8 } ，这八个像素值的平均值就是像素x的预测值，如图4所示： 图4. 全封闭预测方法 基于成对预测误差扩展嵌入数据的可逆数据隐藏方法，将要移动的像素分为可嵌入像素和不可嵌入像素两大类。可嵌入像素通过修改预测误差值来嵌入秘密信息；但是，不可嵌入像素不仅没有携带秘密信息，而且还需要进行移位。为了提高算法的嵌入容量，通常希望最大化可嵌入像素的数量，同时最小化那些不可嵌入的像素。那么，进行判断的前提首先要有一个精确的像素预测值，因为无论是后续的计算误差能量估计的方法需要用到像素预测值，而且误差能量估计方法的计算直接影响到了我们对目前像素值它是否可以进行嵌入像素的判断，减少不可嵌入像素的数量。 3.2. 误差能量估计 对于大多数自然图像，预测误差在当前处理像素周围的区域具有很强的相关性。现有的方法未能全面的依赖图像内容，可以进一步利用这种相关性和尽可能多的依赖于图像的内容来消除可能不可以嵌入的预测误差 [ 19 ]。误差能量估计计算如下： Δ = d h + d v d h = | x 2 − x | + | x 4 − x | + | x 7 − x | + | x 5 − x | d v = | x 1 − x | + | x 3 − x | + | x 6 − x | + | x 8 − x | 这里需要注意x的下标表示的是当前处理像素的上下文位置如图3所示。 一旦得到误差能量Δ的估计值，可以基于Δ将预测误差分类为可嵌入和不可嵌入的误差。Δ的值较大表明相应的预测误差也较大，很可能是不能嵌入的预测误差。因此，在可以嵌入所有秘密信息的前提下，需要尽可能地选择较小的误差能量，来获得最好的图像质量。也就是说，要尽可能地选择在相对平滑的区域里嵌入秘密信息 [ 20 ]，相对粗糙的区域保持不变。 3.3. 嵌入过程 在这一节中，将详细描述秘密信息嵌入的过程，图像恢复和提取 [ 21 ] 的过程是嵌入的逆过程，就不详细描述了。 因为二维预测误差直方图比一维预测误差直方图可以更好地反映图像数据中的复杂依赖性，因此利用二维预测误差直方图是有价值的。在这项工作中，基于二维预测误差直方图的修改策略称为双向预测误差扩展，其中通过扩展和转移直方图的预测误差来实现数据嵌入。成对PEE比传统的PEE在高维空间中可以更自然延伸。事实上，合理的直方图修改策略有助于提高可逆数据隐藏的性能。 基于成对预测误差的算法第一步需要先将预测误差进行成对匹配，然后再根据嵌入策略嵌入秘密信息。首先，按照特定的序列扫描图像(第一行像素除外)，将扫描像素收集成一维序列，按照3.1的方法计算像素的预测误差，将预测误差采用全封闭的预测方法，得到像素预测值，根据公式计算预测误差，生成预测误差系列 ( e 1 ， ⋯ e n ) ，将它转化成新的序列 ( e 1 ， ⋯ e n / 2 ) ，选取的成对预测误差就是其中的 e i = ( e 2 i − 1 ， e 2 i ) 。接下来对于像素选择策略而言。只有误差能量小于预设的阈值T的预测误差选择生成二维预测误差直方图，其次，构造溢出位置图数据嵌入后像素的灰度值可能超出范围。为了防止这种情况，对图像进行预处理，将这些像素值调整到一个可靠的范围。由于方法中对每个像素值的修改最多为1，所以只需要按以下方式调整边缘值像素。像素值是255的话，将修改为254；如果是0，就修改为1。并且，每个修改后的像素在位置图中标记为1，而其他像素标记为0。然后对位置图进行无损压缩 [ 22 ]，进一步减小其大小。 二维预测误差直方图的划分是根据成对的预测误差生成二维预测误差直方图，以第一象限为例。首先，直方图可以分成三个部分，如图5所示，以对角线的坐标点为分界线，对角线的坐标点为一部分，还有对角线上下两部分一共三部分。通过2D-PEH划分，坐标变换三角形区域转换为矩形。在图7的左图中显示了第一象限中的2D-PEH划分，并且对于右下三角形区域(绿点)，该区域中的每个 ( x ， y ) 都被转换为 ( x ′ ， y ′ ) 为将对角线上下两部分进行变换公式如下： { x ′ = x − y − 1 y ′ = y − b 图5. 区域划分 在成对预测误差扩展生成的坐标系中，找到一条最佳的路径来进行数据的嵌入。给定(n， m)，通过公式来确定最佳扩展路径。其中，P (n， m)表示在(0， 0)开始和在(n， m)结束的路径，q是给定的容量， b ∈ { 0 ， 1 ， 2 ， 3 } ，n = 7， 0 ≤ m ≤ 7。 需要根据在划分的直方图中确定的最佳路径，可以将坐标系的象限分成两部分，最佳路径上边部分的预测误差进行嵌入而且只进行向上嵌入秘密信息，最佳路径下边部分的预测误差只向右嵌入秘密信息，最佳路径以外的不做任何变化。嵌入的时候采用双层嵌入，将图像分为阴影和空白两部分，如图6所示，这里详细描述空白部分的嵌入过程，空白部分嵌入完成后，再进行阴影部分的嵌入，直到所有的秘密信息都嵌入。 图6. 阴影和空白部分 为了更好地提取和恢复图像，辅助信息和压缩溢出位置图也需要进行嵌入，辅助信息包括： 1) 参数b (2位)、T (2位)、m (2位) 2) 最优扩展路径P (7， m) (m + 7位) 3) 压缩溢出位置图的长度(18位) 4) 压缩溢出位置图 5) 最后修改像素对的嵌入位置(16位) 在方法中，将这辅助信息依次嵌入到原图像素第一行的最低有效位中，在数据提取时首先提取。第一行像素被替换的LSB [ 23 ] 和利用霍夫曼编码压缩的位置图将作为有效载荷的一部分嵌入到原图图像中。也就是说，嵌入的有效负载包括三个部分：替换的LSB、压缩的位置图和秘密消息。
system: [SYSTEM]

user: 4. 实验结果 在这一节中，通过与传统的预测误差扩展、Sachnev等人 [ 24 ] 的方法、Ou等人的方法 [ 25 ] 和Xiao [ 26 ] 等人最近提出的成对预测误差扩展方案进行比较，来评估方法的嵌入性能。使用标准格式为JEPG的大小的灰度图像进行比较，包括Lena、Baboon、Barbara、Airplane、Elaine、Lake、Boat、和Peppers八张图片，从USC-SIPI图像数据库中下载得到的。根据一些实验数据，可以看出，在各种容量下，所提出的方法优于三种比较方法。更具体地说，表1和表2给出了用于这四种方法的嵌入容量为10，000位和20，000位的峰值信噪比。 从表1中可以看出所提出的方法，除了较为平滑的图像Airplane和目前的方法相比峰值信噪比几乎相似外，其他的图像峰值信噪比有了显著提高，平均增加了0.82 db。表2显示出当嵌入秘密信息的大小为20，000位时，峰值信噪比平均增加了1.25 db。从表2中发现，本文所提出的方法对图像较为粗糙和嵌入容量较大时，图像嵌入之后的视觉质量更好。图像较为平滑的，性能提高不是很明显。图7和图8是嵌入20，000位时，选取了Pepper、Baboon、Lena、Lake原图和嵌入之后的图像对比。可以看出嵌入之后的图像和原图像几乎无差别。 Table 1 When embedding 10，000 bits， the proposed method compares the peak signal-to-noise ratio with the method of Ou et al Image [ 24 ] [ 25 ] [ 26 ] proposed Lena 58.22 59.75 60.91 61.04 Baboon 54.14 55.22 56.23 56.30 Barbara 58.14 59.44 61.37 62.17 Airplane 60.48 63.76 64.08 64.12 Elaine 56.15 58.06 58.88 60.29 Lake 56.67 58.72 59.87 61.33 Boat 56.14 57.55 58.31 58.71 Peppers 55.57 56.21 58.73 61.00 Average 56.94 58.59 59.80 60.62 表1. 嵌入10，000位时，所提出的方法与Ou等人的方法比较峰值信噪比 Table 2 When embedding 20，000 bits， the proposed method compares the peak signal-to-noise ratio with the method of Ou et al Image [ 24 ] [ 25 ] [ 26 ] proposed Lena 55.04 56.29 57.32 58.47 Baboon 49.38 50.11 50.45 50.52 Barbara 55.05 56.25 57.72 58.83 Airplane 57.33 60.21 60.47 61.04 Elaine 52.00 52.91 53.68 55.11 Lake 52.72 53.79 54.57 56.98 Boat 52.64 53.32 54.11 55.31 Peppers 52.31 52.83 54.99 57.03 Average 53.31 54.46 55.41 56.66 表2. 嵌入20，000位时，所提出的方法与Ou等人的方法比较峰值信噪比 图7. Baboon、Peppers、Lena、Lake的原图 图8. 嵌入20，000位之后的Baboon、Peppers、Lena、Lake的图片 图9. Hu的方法、Xiao的方法、本文提出的方法分别在不同的图片上作性能比较 对于Xiao等人基于成对预测扩展的方法，我们的算法是对他们工作的直接改进。在图9中可以观察到，除了粗糙的图像Baboon之外，可以为每个图像提供一个更大的PSNR，无论EC是什么。Sachnev等人的方法是基于PEE结合嵌入位置选择策略。对于该方法，使用四个相邻像素的整数平均值来预测像素值。此外，使用排序技术基于局部方差的大小记录预测误差，一个像素如果其局部有较小的方差，则应预先嵌入该方法性能良好，优于一些典型的RDH方案。经过实验证明，在大多数情况下，的方法比这种性能良好的方法要好。然而，对于一些图像，当EC接近其最大值时(例如，当EC大于10，000位时，对于图像Baboon，当EC大于47，000位时，对于Airplane)，Sachnev等人的方法可以实现更大的PSNR。原因是，在这种情况下，由于EC是高的，不能很好地利用像素相关性的优势。此外，在这种情况下，光滑的图像是不够的，必须使用粗糙的图像来嵌入数据。这也不利于嵌入性能。但是，对于中等程度的EC，我们的方法更好。参考表1，我们的方法将Sachnev等人的EC提高了3.68 dB。
system: [SYSTEM]

user: 5. 实验结果 本文提出了一种改进的基于2D-PEH成对嵌入的预测误差扩展的可逆数据隐藏方案，作为成对预测误差扩展方法(Xiao)的改进。通过紧密联系被测像素之间的相关性，考虑了一种全新的全封闭式的预测方法，提高了选择嵌入像素的准确性。此外，本文更多地依赖于图像的内容，提出了误差能量估计算法，可以避免可能不可以进行嵌入的预测误差。并且给出了实验结果，证明了该方案在容量失真性能方面的优越性。该方法的主要优点是在粗糙图像上和嵌入大容量时有显著提高。然而，对于较为平滑的图像提高不是很明显，因为在较为平滑的图像上先前的算法对像素选择上和所提出的算法基本相同。而粗糙的图像比先前的算法在像素选择上提高了准确率。最后，在未来工作的一个可能方向是提高平滑图像上的图像质量。
system: [SYSTEM]

user: 摘要 为了获得鄂尔多斯盆地东缘临兴中区石盒子组致密砂岩有效储层物性下限，本文通过薄片鉴定、岩心测试、测井解释、压裂试气等数据，分析了储层岩性特征、产能特征以及物性下限。结果表明：上石盒子组压裂产能孔隙度下限为7%，下石盒子组压裂产能孔隙度下限为6.5%，压裂产能渗透率下限为0.2 mD。本次研究明确了有效储层的参数标准，为储层压裂改造提供了理论支撑，有助于提高压裂成功率，获得更高工业产能。
system: [SYSTEM]

user: 1. 引言 有效储层是指具有一定的储集空间和渗流能力的、在现有工艺条件下能够采出具有工业产量的油气的储集层 [ 1 ]。根据储层的物性、电性、含气性特征等确定的有效厚度参数统称为有效储层物性标准，其能够储集和渗流的最小孔隙度和最小渗透率称为有效储层物性下限 [ 2 ]。确定有效储层物性下限方法较多，如试气法、经验统计法 [ 3 ]、最小流动孔喉半径法 [ 4 ]、分布函数法等 [ 5 ]。 致密砂岩气藏属于低孔、低渗气藏，一般需通过压裂改造才能获得工业气流。因此，试气法和经验统计法是最常用来确定其物性下限的方法。鄂尔多斯盆地苏里格、大牛地等气田大多采用这种方法 [ 6 ] [ 7 ]。作为一个较新的勘探区，鄂尔多斯盆地东缘临兴中区块是近年才开始大规模勘探开发，并取得了一定的突破，其压裂测试最高产能超过50万方/天。随着该区勘探的不断深入，钻井数量逐渐增大，压裂试气井不断增多，然而，一部分井经过压裂测试可获得工业气流，但也有一部分井经过压裂改造后仍无法获得工业气流。如此则明显增加了储层改造的风险和施工成本。基于以上问题，亟需确定能够获得工业产能的储层物性下限，以便为压裂方案调整及科学实施提供支撑，同时也为储量计算体提供合理的物性参数。 本文基于研究区大量的钻井数据、试气测试数据等第一手资料，分析临兴中区块致密砂岩气主要开发层位(上石盒子组、下石盒子组)有效储层物性下限，并建立储层物性与产能的匹配性，确定致密砂岩有效储层物性下限，进而指导研究区储层改造方案的调整和实施，推动勘探开发一体化工作，为区块获得更高的试气产率及产能提供技术支撑。
system: [SYSTEM]

user: 2. 研究区地质背景 鄂尔多斯盆地位于华北地台西缘，属于华北地台的次级构造单元，盆地可划分为西缘逆冲带、天环坳陷、伊陕斜坡、渭北挠褶带、晋西挠褶带和伊盟隆起等六个构造单元。临兴中气田位于鄂尔多斯盆地东北部的晋西挠折带(见图1)，受区域应力场和紫金山火成岩体侵入的综合影响，该区构造复杂，共发育三个主要构造带：紫金山隆起区、环紫金山构造带、平缓构造带。紫金山构造区发育逆断层，断层规模较大，构造起伏大，紫金山外围区逆断层和陷落柱较发育，构造幅度较小，平缓构造带断层发育较少 [ 8 ] [ 9 ]。 图1. 临兴中区块构造及位置图 研究区上古生界地层与下古生界地层呈不整合接触，中间缺失中上奥陶统、志留系、泥盆系及下石炭统地层。上古生界地层内部沉积连续，均为整合接触，以海陆过渡相–陆相碎屑岩沉积为主，地层自下而上发育石炭系本溪组、二叠系太原组、山西组、下石盒子组、上石盒子组和石千峰组。其中本溪组、太原组、山西组发育致密砂岩层、煤层、灰岩及泥岩，上、下石盒子组及石千峰组主要发育砂岩、泥岩。研究区主要的勘探层位为太原组、下石盒子组、上石盒子组，其次为本溪组、山西组、石千峰组 [ 10 ] [ 11 ]。
system: [SYSTEM]

user: 3. 储层特征 通过薄片鉴定和粒度分析可知，临兴中区块上古生界地层岩性以石英砂岩、岩屑石英砂岩、长石砂岩、岩屑长石砂岩为主(图2)。其中下石盒子组岩性主要为岩屑长石砂岩、岩屑长石砂岩及岩屑石英砂岩，含少量长石石英砂岩，成分成熟度中等，石英含量平均为64.7%，长石含量平均为16.6%，岩屑含量平均18.7%。上石盒子组岩性主要为长石砂岩和岩屑长石砂岩，含少量长石石英砂岩，成分成熟度中等偏低，石英含量平均57.9%，长石含量平均28.6%，岩屑含量平均13.5%。自下而上可知，石英含量逐渐降低，长石含量逐渐增加，成分成熟度变低，反映距离物源越来越远的特征。 图2. 临兴中区块砂岩分类三角图 根据岩芯测试资料，对各层储层物性进行分析(表1)，上石盒子组平均孔隙度为8.11%，平均渗透率为1.06 mD，下石盒子组平均孔隙度为8.1%，平均渗透率为0.78 mD，物性较好。整体而言，临兴中区块石盒子组为低孔、低渗储层，且非均质性较强 [ 12 ] [ 13 ] [ 14 ]。 Table 1 Physical characteristics of each layer in Linxing middle bloc 层位 样品数 平均孔隙度(%) 平均渗透率(mD) 最大孔隙度(%) 最大渗透率(mD) 上石盒子组 922 8.11 1.06 19.81 336.04 下石盒子组 854 8.10 0.78 22.29 399.69 表1. 临兴中区块各层位物性特征分布
system: [SYSTEM]

user: 4. 产能特征 临兴中区块已进行超过80井150层次的试气测试，获得工业气流井占比超过80%。测试层位从下至上包括本溪组、太原组的太2段和太1段、下石盒子组盒8段、盒7段、盒6段、盒5段、上石盒子组盒4段、盒3段、盒2段、盒1段、石千峰组千4、5段。除本溪组暂未取得有效产能外，其余测试均有产能显示。从目前测试结果来看，上石盒子组产能最高，尤其是盒2、盒4段，平均无阻流量超过8万方/天。其次是太原组，平均无阻流量超过4万方/天。下石盒子组平均无阻流量超过2万方/天。石千峰组平均无阻流量低于2万方/天，产能相对较低(图3)。 图3. 临兴中区块各层位产能统计图
system: [SYSTEM]

user: 5. 储层物性与产能的耦合 确定储层物性下限的方法较多，有试气法、经验统计法等 [ 15 ] [ 16 ]。本文采用试气法，并制定相应的图版来进行确定。 5.1. 渗透率下限 利用单层测试结果与物性参数的统计关系确定储层的物性下限。 采用临兴中区块石盒子组共20口井的试气资料，作对应层位渗透率与单位厚度日产气关系图，确定渗透率自然产能下限为1 mD，压裂产能下限为0.2 mD (图4)。 图4. 临兴中区块石盒子组储层单位厚度采气量与分析渗透率关系图 5.2. 孔隙度下限 利用渗透率下限值，在孔隙度与渗透率关系曲线上求取对应的孔隙度下限。 临兴中区块上古生界各层段岩石分析孔隙度与渗透率具有较好的相关性，由孔–渗关系图(图5、图6)分析可得： 图5. 临兴中区块上石盒子组砂岩储层分析孔隙度与渗透率关系图 图6. 临兴中区块下石盒子组砂岩储层分析孔隙度与渗透率关系图 上石盒子组储层当渗透率取0.2 mD时，对应的孔隙度下限值为7.0%； 下石盒子组储层当渗透率取0.2 mD时，对应的孔隙度下限值为6.5%。
system: [SYSTEM]

user: 6. 有效储层物性下限分析 6.1. 上石盒子组下限分析 采用13口试气井读取16个层点作电阻率–孔隙度交会图、声波时差与深感应电阻率交会图，并利用测井解释参数作泥质含量与密度交会图(图7~9)。根据交会图确定上石盒子组自然产能下限值为：孔隙度 ≥ 13%，泥质含量 ≤ 15%，密度 ≤ 2.44 g/cm 3 ，含气饱和度 ≥ 40%；压裂产能下限值为：孔隙度为7%~13%，泥质含量 ≤ 22%，密度 ≤ 2.56 g/cm 3 ，含气饱和度 ≥ 40%。电性下限值为电阻率 ≥ 10 Ω∙m。 图7. 临兴中区块上石盒子组Hingle电阻率–孔隙度图版 图8. 临兴中区块上石盒子组砂岩储层声波时差与深感应电阻率交会图 图9. 临兴中区块上石盒子组砂岩储层测井密度与泥质含量交会图 6.2. 下石盒子组下限分析 采用18口试气井读取23个层点分别作电阻率–孔隙度交会图、声波时差与深感应电阻率交会图，并利用测井解释参数作泥质含量与密度交会图等(图10~12)。根据交会图综合分析，确定下石盒子组自然产能下限值为：孔隙度 ≥ 10%，泥质含量 ≤ 15%，密度 ≤ 2.48 g/cm 3 ，含气饱和度 ≥ 40%；压裂产能下限值为：孔隙度为6.5%~10%，泥质含量 ≤ 21%，密度 ≤ 2.59 g/cm 3 ，含气饱和度 ≥ 40%，深感应电阻率 ≥ 10 Ω∙m。 图10. 临兴中区块下石盒子组Hingle电阻率–孔隙度图版 图11. 临兴中区块下石盒子组砂岩储层声波时差与深感应电阻率交会图 图12. 临兴中区块下石盒子组砂岩储层测井密度与泥质含量交会图
system: [SYSTEM]

user: 7. 结论 1) 临兴中区压裂测试结果显示，上石盒子组产能最高，尤其是盒2、盒4段，平均无阻流量超过8万方/天；下石盒子组平均无阻流量超过2万方/天。产能特征与物性较匹配关系良好。通过渗透率与单位厚度日产气关系图，确定渗透率自然产能下限为1 mD，压裂产能下限为0.2 mD。 2) 综合试气法、经验统计法等综合分析，编制交汇图版，结果显示：下石盒子组自然产能下限孔隙度值 ≥ 10%，压裂产能下限孔隙度值为6.5%~10%；上石盒子组自然产能下限孔隙度值 ≥ 13%，压裂产能下限孔隙度值为7%。 3) 临兴中区石盒子组致密砂岩有效储层物性下限储层改造方案的调整和有效实施为该地区储量计算提供了有效的物性参数，同时为致密砂岩储层物性下限研究提供了理论参考。
system: [SYSTEM]

user: 摘要 在MBR系统中，人们通常用膜通量或过滤阻力与操作参数的函数关系表征一个膜污染模型，但是膜污染是一个复杂的动态过程，经典的数学模型难以精确模拟。针对此问题，在本文中使用过滤阻力表征膜污染，利用BP神经网络对MBR系统中的膜的过滤阻力进行预测。然后利用粒子群算法优化神经网络的初始权值与阈值，提高神经网络获得全局最优解的能力。最后，我们将程序预测结果与实际实验数据做对比，发现该模型准确率较高，达到了预期效果。
system: [SYSTEM]

user: 1. 引言 随着城镇化率逐步提高，人们用水需求不断增长，水体污染加剧，水资源短缺的问题愈发严重。膜生物反应器(MBR)是一种新型的污水处理技术，它将高效膜分离技术与活性污泥生物处理单元相结合，相比于传统的生物处理方式有着明显优势，例如出水水质更好，运行过程中更加灵活稳定，并且占地面积小，全程自动化节省人力等 [ 1 ]。 MBR系统由生物反应器和膜组件组成，其中各个膜组件相互连接。在MBR系统运行时，污水会流过各个膜组件，通过膜组件过滤掉大分子颗粒以此可以达到过滤污水的目的 [ 2 ]。但MBR系统在运行过程中，膜污染引起的膜过滤阻力不断增加，膜过滤通量严重衰减的问题，仍是影响该项技术推广应用的关键所在 [ 3 ]。 深入研究膜过滤阻力机理及其通量变化规律，是目前该工艺需要解决的关键问题。许多研究者对膜过滤阻力模型进行了分析研究，但由于过滤过程影响因素的多样性和物料体系的复杂性，尚无普遍适用的模型可用来预测膜过滤阻力变化时通量的变化规律 [ 4 ]。神经网络是一种黑箱模型，具有自映射能力，是用来解决线性及非线性多变量问题的优良工具，具有精确预测，易于操作等特点 [ 5 ]。因此，本文采用BP神经网络为算法主体，同时利用粒子群对神经网络的初始权值和阈值进行优化，提高了模型的训练效率和准确率。研究发现，利用此模型可以准确地预测膜生物反应器在污水处理过程中的膜过滤阻力，便于操作人员了解膜过滤过程长期的运行性能。
system: [SYSTEM]

user: 2. BP神经网络 BP神经网络(BPNN)是在1986年由David E. Rumelhart等学者提出的，是一类基于误差逆向传播(Back Propagation，简称BP)算法的多层前馈神经网络 [ 6 ]，BPNN由输入层、隐含层、输出层组成，每一层之间各神经元相互独立不连接，而层与层之间的神经元相互连接。单隐藏层的神经网络结构如图1所示。 BP神经网络的学习过程由前向计算过程和误差反向传播过程组成。在前向计算过程中，输入量从输入层经隐藏层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，逐次调整网络各层的权值和阈值，直至到达输入层，再重复计算。这两个过程反复迭代，通过不断调整各层的权值和阈值，使得与期望输出的误差最小，学习过程结束。 图1. 神经网络结构
system: [SYSTEM]

user: 3. 粒子群算法 粒子群优化算法最早由Kennedy和Eberhart在1995年提出的种群优化算法。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型 [ 7 ]。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解 [ 8 ]。在粒子群优化算法中，首先需要初始化一群随机粒子，然后迭代寻找最优解。每一次迭代，粒子通过两个极值来更新自己，第一个是粒子个体经历过的最好位置 p B e s t ，第二个是种群经历过的最好位置 g B e s t 。 假设在一个D维的目标搜索空间中，有K个粒子组成种群，将第i个粒子的位置表示为一个D维向量，即 X i = ( X i 1 ， X i 2 ， ⋯ ， X i D ) ， i = 1 ， 2 ， ⋯ ， N ，第i个粒子速度为 V i = ( V i 1 ， V i 2 ， ⋯ ， V i D ) ， i = 1 ， 2 ， ⋯ ， N ，速度更新方程如下所示。 V i = V i + C 1 ( p B e s t − X i ) × r a n d 1 + C 2 ( g B e s t − X i ) × r a n d 2 其中 V i 是粒子更新的速度， X i 是粒子的当前位置， C 1 和 C 2 学习因子，也称为加速常数，主要对粒子的收敛性产生影响，通常来说 C 1 = C 2 = 2 ， p B e s t 是粒子个体经历过的最好位置， g B e s t 是种群经历过的最好位置， r a n d 1 和 r a n d 2 是[0，1]之间的随机数，位置更新后的状态如下。 X i = X i + V i 我们通常使用惯性因子 ω 来优化速度更新方程，动态 ω 在PSO搜索过程中可以动态变化，惯性因子取得值较大，粒子探测到新位置的可能性增加，全局寻优能力较好，但是算法的收敛速度较慢，值较小局部寻优能力好。优化后的方程如下所示： V i = ω V i + C 1 ( p B e s t − X i ) × r a n d 1 + C 2 ( g B e s t − X i ) × r a n d 2 其中 ω = ω i n − ω e n d max i t e r × i t e r + ω e n d
system: [SYSTEM]

user: 4. 基于PSO-BP的膜过滤阻力预测模型 4.1. 神经网络参数选取 在MBR运行过程中，造成膜污染的因素很多，我们将进水流量Qinf，水质pH，溶解性固体总量TDS，跨膜压差，进水温度，膜通量，操作压力，这7个变量用作神经网络的输入，我们使用膜的过滤总阻力Rt来量化膜污染的程度，作为神经网络的输出。 4.2. 建立基于PSO-BP膜过滤阻力预测模型 BP神经网络使用梯度下降法来进行函数拟合，但是此方法的缺点就是容易陷入局部极值点，这是因为在神经网络学习过程中没有引入额外参数，如果我们仅仅根据样本对初始权值和阈值进行调整，那么算法的性能将直接取决于权值的好坏。我们可以使用PSO粒子群算法优化神经网络的权值。首先计算出BP神经网络中权值的数量，该数量记作粒子群算法个体向量的维数，在该条件下随机生成粒子，然后按照粒子群算法过程进行学习迭代；在具体的迭代过程中，我们将算法优化后的个体的向量再转化成BP神经网络中的各连接权值。算法的流程图如下图2所示： 图2. PSO-BP算法程序流程图 具体的实验步骤如下： 步骤1 我们将收集的膜生物反应器数据做归一化处理后分为样本数据35组，校验样本12组。 步骤2 初始化神经网络，确定神经网络的结构并且给各参数赋初值。 步骤3 初始化PSO算法。给粒子群的参数赋初值，确定种群的规模，初始化粒子的速度和位置。 步骤4 计算每个粒子的适应度值，然后将粒子的适应度值与全局最优适应度值进行比较，如果达到了设定值，输出粒子的最优位置，否则继续迭代，更新粒子的速度和位置，迭代次数加一，重新计算适应度值，如果超过迭代次数，输出最优位置。 步骤5 用PSO算法的优化后最好位置来作为神经网络的系统参数，以期望值与神经网络的输出值之间的平方作为误差函数，反向传播更新权值与阈值。
system: [SYSTEM]

user: 5. 预测结果与实验结果对比分析 实验使用来自某污水处理厂的一些实验数据，此污水处理厂采用MBR污水处理工艺，过滤膜为NTR7450纳滤膜，滤芯为5 μm，操作压力为3.72 bar，进水流量为272 ml/min。我们使用35组实验数据作为训练样本，12组实验数据作为校验样本。 我们选取以下指标为输入变量：进水流量Qinf、pH、溶解性固体总量TDS、跨膜压差、进水温度、膜通量、操作压力作为输入变量。输出单元为膜的过滤阻力。本实验使用梯度下降法调整神经网络的参 数，隐藏层的激活函数为非线性sigmoid函数 f ( x ) = 1 1 + e − x 。通过将输入和输出数据除以相应的观察到 的最大值，将输入和输出数据归一化为范围[0，1]，防止数值溢出。然后将输入模式对应的BPNN输出与目标值进行比较，并调整权重以减小误差平方和。 本次实验通过matlab编程，用BP模型和PSO-BP模型分别对膜的过滤阻力进行计算。模型预测值与真实数据的对比如图3所示，两种模型的预测误差如表1所示，可见BP模型误差较大，PSO-BP模型误差相比于BPNN模型均方误差下降了0.0462，平均绝对百分比误差下降了19.4726%。PSO算法优化模型适应度如图4所示，当粒子进化代数等于7时，适应度较高，此时适应度下的权值和阈值为最优阈值。同时，在本文中为了得到最优的预测结果，所以为隐层节点数先设置一个初始值，然后在这个值的基础上逐渐增加，比较每次网络的预测性能，选择性能最好的对应的节点数作为隐含层神经元节点数。根据图5可以发现当隐藏层节点数为14时，该网络的均方误差最小，为0.1104。改进后的模型预测精度明显优于改进前的网络模型，且拟合度更好，稳定性和泛化性均有较大提升。 Table 1 PSO optimization neural network fitness curve grap BP模型 PSO-BP模型 平均绝对误差mae 0.1986 0.0343 均方误差mse 0.0484 0.0022 均方误差根rmse 0.2201 0.0476 平均绝对百分比误差mape 23.3837% 3.9104% 表1. PSO优化BP适应度曲线图 图3. 神经网络预测值与真实值对比图 图4. PSO优化BP适应度曲线图 图5. 不同隐藏层节点数下的均方误差
system: [SYSTEM]

user: 6. 结论 MBR处理污水是一个复杂的动态过程，本文建立了BP神经网络仿真预测模型用以预测膜过滤阻力，并且使用了粒子群算法优化BP神经网络的初始权值和阈值。实验结果表明，PSO-BP预测模型有着很高的精确度，图3所示的分别为过滤阻力的实际值、BP神经网络得到的预测值以及粒子群算法优化后的神经网络得到的预测值。通过观察发现使用PSO算法后的神经网络算法预测的结果精度更高，误差更小。本文的研究有一定的理论价值和实践意义，对MBR领域的研究有一定参考价值。
system: [SYSTEM]

user: 摘要 研究产品相关大数据资源组织存储与检索查询技术，提出在Hadoop平台基础上对产品大数据资源进行分块存储。基于MapReduce并行架构模型，提出多副本一致性Hash数据存储算法，算法充分考虑了数据的相关性和时空属性，并优化了Hadoop平台的数据划分策略和数据块规格调整。通过对数据的优化存储布局，采用多源并行连接检索方法和多通道数据融合特征提取技术实现产品大数据信息检索，提高了数据资源管理效率。实验表明和标准Hadoop方案比较，多源并行连接数据检索的执行时间为其31.9%。
system: [SYSTEM]

user: 1. 引言 计算机的发展和网络通信技术日趋成熟，数据规模的增长在给人们带来便利生活的同时也让从大量数据中汲取有用信息变得困难，如何从中检索到有用数据是目前需要面对的重要问题 [ 1 ] [ 2 ] [ 3 ]。其中有产品相关的数据资源包含生产车间监测视频图像及产品相关数据及文档、物料跟踪数据、加工数据、生产流通数据等，其存在着数据资源规模大，种类多，来源不同且分散分布的特点 [ 4 ] [ 5 ] [ 6 ]。传统的分布式数据库受数据库存储能力限制，存在着架构存储能力有限，对数据的管理与发布支持相对较弱，管理效率低的问题 [ 7 ] [ 8 ] [ 9 ]。 目前，针对传统分布式数据库存在的问题，庞书杰 [ 10 ] 提出了一种基于Hash的关联规则并行优化算法(HP-AR)，通过对数据库统计频繁项集部分的并行处理结合辅助Hash表简化挖掘过程满足了面对大规模数据集时挖掘隐藏关联规则的需求。潘俊辉等学者 [ 11 ] 针对基本算法Apriori的改进，提出了一种基于压缩矩阵的优化算法，该算法使用MapReduce计算模型对数据库进行分块，之后对数据库的关联规则的挖掘结果进行合并，得出频繁项集。Aisha Siddiqa等学者 [ 12 ] 为了评估不同存储架构的性能，使用Brewer的CAP定理比较和分析了现有方法，提出了一种定义明确的大数据存储技术分类法。 本文针对目前存在的数据管理效率低、检索速度慢等问题基于Hadoop平台，结合分布式、分层结构的存储优化和并行处理等技术，提出了一种多副本一致性Hash数据存储算法，将数据集中的数据按照相关性以及时空属性进行分块处理，提高了数据处理的效率。同时在Hadoop MapReduce并行框架的基础上，设计了一种多源并行连接数据检索算法，实验结果表明，同传统Hadoop方案相比，多源并行连接数据检索算法的运行速度明显加快。
system: [SYSTEM]

user: 2. 产品大数据存储优化研究 2.1. 数据存储及数据分布策略 基于数据相关性的多副本一致性Hash数据存储算法(Multi-copy Consistency Hash Algorithm Based on Data Correlation， CMCHA)，进行Hadoop的数据布局优化，优化技术路线：尽可能集中存储相关联的数据，数据检索和分析时在映射阶段完成主要工作，使由映射端到约减端数据通信负载消耗降低，系统整体数据检索和分析性能得到提高。每种跟踪过程数据的类型和格式不同，可将数据的具体采集位置和时间作为数据检索和分析时的关键字。 通常Hadoop平台将数据存储为3个副本，一份在本地，一份在同机架内不同节点上，一份在不同机架的某一节点上。为减少整体数据传输带宽消耗和数据读取时间延时，HDFS让读取应用程序读取距离它最近的副本数据。 存储算法考虑如下3方面的相关性：数据采集地点相关性、数据采集时间相关性和自定义数据相关性。利用一致性Hash算法，按照采集地点编号对数据副本1进行Hash映射；按照采集时间戳对数据副本2进行Hash映射；相关系数作为跟踪过程数据的一个重要属性，按照自定义相关系数对数据副本3进行Hash映射，实现不同的数据查询和数据分析需求。根据应用系统需要自定义数据相关性，给相关系数赋值，算法设计过程中构建配置流程如图1所示的Hash环。 图1. CMCHA算法流程 步骤1：通过配置文件预定义跟踪过程数据的相关系数以及冗余的副本数量，定义冗余副本数量为3； 步骤2：计算集群中每个数据节点的Hash值，配置到0~2 32 的Hash环区间上； 步骤3：基于跟踪过程数据的时间及空间属性和相关系数计算数据的Hash值。根据数据来源位置ID，在云平台下对第1份副本数据①，计算Hash值1，映射到Hash环上；对第2份数据②，根据跟踪过程数据的采集时间戳，计算Hash值2，并映射到Hash环上。对第3份数据③，根据数据的相关系数计算其Hash值3，并映射到Hash环上。可配置大于3的副本数量，交替按照这3种方式计算其Hash值i，并依次映射到Hash环上，满足更高的数据存储可靠性； 步骤4：确定数据的存储位置，根据数据Hash值和数据节点Hash值在CMCHA算法配置流程图中按顺时针方向将数据映射到距离其最近的节点(如将数据①映射到节点A上)； 步骤5：如果节点空间不足或在映射过程出现异常，则跳过该节点寻找下一个存放节点。 2.2. 数据存储优化研究 按照所属大文件，所有分块数据存储为一个文件，分块数据基于Hadoop分布式存储调度策略，被分散存放在不同的分布式存储节点上，每个分块数据设置相应的存储副本率，为便于数据检索该存储策略另外定义和维护分块数据的索引键名。 每个大文件包含的每个分块数据通过< key， value >记录形式存储到HDFS中，记为< Blk-ID， Data >，数据类型为< int， byte[ ] >，Blk-ID表示数据分块顺序号，Data表示数据分块的二进制数据，通过给定的Blk-ID可得到对应数据分块的二进制字节数据。大文件数据分块存储方法如图2。 HDFS的设计目标是存储大文件，其数据块规格默认为64 MB，远大于512B的物理磁盘的块大小。HDFS文件访问时间主要包括系统寻址时间和数据传输时间，文件传输效率 η e f f e c t 计算公式如下： η e f f e c t = t t t t + t s = 1 − t s S b l o c k v + t s (1) 图2. 大文件分块存储流程 其中， t t 表示数据传输时间， t t = S b l o c k v ； t s 表示系统寻址时间； S b l o c k 表示数据块规格； v 表示数据传输速度。 从(1)可看出 η e f f e c t 小于1。通常在数据分布和索引方法确定情况下， t s 和 v 是确定的值，要提高 η e f f e c t 应增加 S b l o c k 。在HDFS中，通过dfs.block.size参数设置数据块 S b l o c k 的规格。如果规格设置过大会降低系统负载均衡性，在调整数据块的规格时应综合考虑进入系统的数据规模、数据传输率和负载均衡性。
system: [SYSTEM]

user: 3. 数据多源并行连接检索 产品数据跟踪管理系统对在线监测的多个监测点以及相关参数进行综合检索，查询条件是监测位置ID、采样时间或位置和时间联合条件等。检索内容包括位置信息(数据采集点设备名称、设备运行时间、采集位置等)、环境信息(生产车间的温度、湿度、气压等)、生产数据(捕捞时间、捕捞批次、数量等)等多源数据，需要将不同来源的数据进行数据连接。如在产品加工过程质量控制参数的综合检索过程中需要连接3个数据文件：1) 加工过程数据文件(表1)，其中采样批次即为产品批次码；2) 质量控制参数检测数据文件(表2)；3) 检测环境文件(表3)，其中检测位置编码代表“车间–工段–班组–工位”。按时间进行的综合查询生成在2020年3月14日9:00~9:20的综合检测结果数据，形成质量检测数据列表，包括位置信息和环境信息。此过程需要将3个数据文件按照查询条件进行连接，形成满足综合查询要求的查询结果数据列表，如表4。 Table 1 Processing data fil 位置ID 采集时间 采样批次 DL082 2020-03-14 9:08 202003140103100 DL083 2020-03-14 9:18 202003140103300 DL081 2020-03-14 9:10 202003140103200 表1. 加工过程数据文件 Table 2 Quality inspection data fil 位置 采集时间 采样批次 采样信息 DL083 2020-03-14 9:10 202003140103200 31.9/7.58/50.2 DL081 2020-03-14 9:00 202003140103300 32.5/7.55/50.5 DL082 2020-03-14 9:08 202003140103100 32.2/7.57/50.4 DL082 2020-03-17 9:00 202003140103100 11.7/10.1/62.2 表2. 质量参数检测数据文件 Table 3 Detection position data fil 位置ID 检测位置 采集时间 温度℃ 湿度 DL081 ZZ01-I-02-B 2017-03-14 8:00 39 65 DL082 ZZ01-I-02-A1 2017-03-14 8:10 38 63 DL083 ZZ02-II-01-A1 2017-03-14 8:11 38 59 表3. 检测环境数据文件 Table 4 Results of date joi 位置ID 检测位置 采集时间 温度/℃ 湿度 采样批次 采样信息 DL081 ZZ01-A-026-B 2017-03-14 9:00 39 65 201703140103300 32.5/7.55/50.5 DL082 ZZ01-A-026-A1 2017-03-14 9:08 38 63 201703140103100 32.2/7.57/50.4 DL083 ZZ02-B-017-A1 2017-03-14 9:10 38 59 201703140103200 31.9/7.58/50.2 表4. 数据连接结果 按照数据检索需求和数据格式描述，设计并行过滤连接检索算法，算法在映射端执行，设计的主要依据是为节省网络流量传输，提高检索效率，过滤和连接在映射过程进行，避免要执行的检索操作在约减过程进行。为使数据连接时所需数据聚集到同一个数据节点，采用基于数据相关性的多副本一致性Hash算法进行数据分布。算法流程：1) 根据检索条件过滤掉不符合检索条件的数据；2) 根据连接检索需求，确定数据连接的组键(group key)：检测位置ID、时间戳或相关系数；3) 用数据文件名作为标签，标记各数据源的各个记录；4) 将相同属性值的记录根据连接组键划分到一组，按照检索条件进行数据连接。 数据进行优化存储分布之后进入数据连接映射阶段，此阶段在本地节点进行相应任务操作，结果传输到HDFS，数据的优化分布及映射端连接模式流程如图3所示。 图3. 数据的优化分布及映射端数据连接模式
system: [SYSTEM]

user: 4. 算例验证 4.1. Hadoop平台建设 采用10节点即10台服务器建设Hadoop集群平台，指定集群中一个节点为NameNode，指定另一台不同的节点为JobTracker，均是主控节点。余下节点为客户端，作为DataNode也作为TaskTracker。操作系统采用Windows；部署：虚拟机软件Vmvare；Vmvare安装好一台Windows虚拟机后，导出或者克隆出另外两台虚拟机，连接为桥连，确保虚拟机和主机ip地址在同一个ip段内，可以相互通信。设置数据块规格为64 MB，对应4个CPU内核，各计算节点都分配4个任务网格，其中3个为映射计算任务网格，1个为约减计算任务网格。对集群的整体数据传输性能进行基准测试。 4.2. 算法性能验证 为测试数据存储分布优化后多源连接检索查询算法的性能，将前述针对产品大数据连接算法和基于标准Hadoop平台的连接算法进行分析比对验证。分析使用实验室研发的“产品大数据追溯系统”中采集存储的数据集，如表5。 Table 5 Real data set for join quer 文件名 副本数 文件大小 占用空间 记录数 加工过程 3 627 kB 1881 kB 1910 质量检测 3 370 GB 1110 GB 13.62 M 检测环境 3 215 MB 645 MB 4175 表5. 算法验证真实数据集 1) 多源并行连接检索运行时间变化趋势 选择3种典型连接查询条件进行基于CMCHA多源并行连接检索查询算法的运行测试，记录每种条件下算法的运行时间。查询结构化语言SQL语句的描述如表6。 Table 6 SQL description of join quer 类型 条件 查询语句 全连接 不设置 Select位置ID，检测位置，采集时间，温度，湿度，采样批次，采样信息 From加工过程，质量参数检测，检测环境 Where加工过程，位置ID = 质量参数检测，位置ID = 检测环境，位置ID 位置条件 连接 检测 工位 Select位置ID，检测位置，采集时间，温度，湿度，采样批次，采样信息 From加工过程，质量参数检测，检测环境 Where加工过程，位置ID = 质量参数检测，位置ID = 检测环境，位置ID and位置ID between [ID1， IDn] 时间条件 连接 时间 Select位置ID，检测位置，采集时间，温度，湿度，采样批次，采样信息 From加工过程，质量参数检测，检测环境 Where加工过程，位置ID = 质量参数检测，位置ID = 检测环境，位置ID and采集时间between [T1， Tn] 表6. 连接查询实验类SQL描述 实验过程中在数据集中选取不同规模的子集，从10万条记录递增至数据全集(13.76 M条)，基于CMCHA的多数据源并行连接检索算法运行时间变化趋势及运行时间与数据规模的关系如图4。可以看出，应用了CMCHA数据存储算法优化后，数据检索运行时间随着数据规模的增长而增长平缓。由于对数据存储布局采用CMCHA进行了优化，且在映射过程中完成综合检索查询操作，网络通信量有效降低，保证了查询性能的稳定性。 图4. 多源连接检索运行时间变化趋势 2) 数据连接检索运行时间比较 使用基于标准Hadoop平台的约减端连接检索处理算法和基于CMCHA的多源并行数据连接检索算法，针对选取的13.76 M条样本数据全集，分别执行全连接、以检测位置为查询条件和以时间为查询条件的连接检索操作，运行时间比较结果如图5，后一算法的运行时间分别为前一算法运行时间的32.9%、32.5%和32.1%。CMCHA算法在运行时间上远小于标准Hadoop算法，而且随着事务条数的增加，虽然CMCHA算法运行时间也在增加，但是两者的差距也在逐渐变大，当数据量逐渐越大时，CMCHA算法的优势也越来越明显。数据存储优化布局后提高了多数据源相关数据聚集性，映射任务中的数据连接在本地就能完成，减少了映射端到约减端的数据通信，也降低了约减任务的启动对性能的影响，所以算法的运行效率明显提高。 图5. 两种算法多源连接运行时间比较
system: [SYSTEM]

user: 5. 结论 针对产品大数据资源，基于Hadoop平台，采用分布式、分层结构的存储优化和并行处理等技术，提出了多副本一致性Hash数据存储算法，按照产品主属性、相关系数和时间戳，在数据集群中按照规则聚集具有相关性的数据，提高数据处理效率。基于该算法设计了Hadoop平台下多源并行连接数据检索算法，测试证明通过数据的存储分布优化，算例的运行速度明显加快，和标准Hadoop方案比较，多源并行连接数据检索的执行时间为其31.9%。
system: [SYSTEM]

user: 摘要 采用鄂州市国家气象观测站1980~2017年共38a的逐分钟降水资料，利用芝加哥雨型分析法推求鄂州市区重现期2a历时30、60、90、120、150、180 min以5 min为单位时段的设计短历时暴雨雨型，结果表明：利用芝加哥法推求鄂州市区各降水历设计暴雨雨型基本呈单峰形，短历时降水样本中单峰型所占比例最大，雨峰位于整场降水过程的前、中部；暴雨雨型雨峰位置超前于整场降水过程的1/2分位，各历时的降水强度随着重现期的延长而增大；利用芝加哥法推求的鄂州市暴雨雨型具有“单峰型、来得快、强度大、长尾巴”的特点。因此当短历时暴雨发生时，鄂州市水利、水文、住建、防洪等相关应在第一时间做好排水排捞准备，防止降水强度过大导致城市内涝灾害。