system: [SYSTEM]

user: 3. 人工智能(AI)技术在归档审查中的开发与应用 综上可知，核电文档管理已实现了“文件全生命周期”的一体化管理，通过DPMS系统形成的海量信息数据，大部分是以半结构化形式(结构化元数据和非结构化电子文件实体)存储在企业内容管理系统(Enterprise Content Management System，ECMS)。DPMS和ECMS仅提供核电企业内容管理的基本方法，对于结构化内部文件的处理有明显的作用。而对于文档规范化审查，尤其是半结构化海量数据的自动化处理未能提供高效的方法和系统。 本文将利用人工智能(AI)技术，开发一种半结构化海量核电文档的自动化分割识别与数据校验处理系统，实现核电企业半结构化海量文档的自动化分割识别与数据校验处理，包括基于结构化元数据与非结构化文档模板的可配置自动校验算法；核电图纸灰度化、二值化预处理算法，基于滤波平滑降噪技术及投影技术的图像校正方法，基于模板的图片的自动化分割提取方法；图纸信息特征提取技术；以及基于人工神经网络的分类识别技术。通过以上技术方法满足企业内部海量内容的结构化数据提取，实现自动化校验审查功能，保证核电文档质量与数据完整性，并降低人力成本，提高工作效率。 3.1. 技术方案 本项技术主要包括10个模块：内容管理系统集成接口模块、文档数据规范化校验规则管理模块、半结构化数据图像预处理模块、颜色信息提取模块、图像分割提取模块、文件属性提取模块、文字识别抽取模块、清晰度识别模块、综合元数据校验模块以及日志记录模块。 10个模块关系如图1所示。内容管理系统集成接口模块101从企业内容管理系统(ECM)中获得文档及相关元数据信息，并将信息整合后传递给半结构化数据图像预处理模块103，同时根据核电文档内容管理规则与要求通过文档数据规范化校验规则管理模块102录入规则数据，作为半结构化数据图像预处理模块103的规则输入，经过预处理的图像信息分别作为颜色信息提取模块104、图像分割提取模块105、文件属性提取模块106的输入，其中图像预处理模块105输出的图像区域块发送给文字识别抽取模块107及清晰度识别模块108进行进一步的处理，并结合颜色信息提取模块104和文件属性提取模块106的结果，将非结构化数据图像中的提取出的结构化信息与元数据发送给综合元数据校验模块109进行校验，将结果输出到自动检查结果显示用户接口，所有的操作过程将记录在日志记录模块110中。 图1. 模块关系示意图 3.2. 各模块功能说明 下面对主体图1模块关系示意图方框内中各个模块的操作进行逐一解释。 3.2.1. 101内容管理系统集成接口模块 本模块是主体模块与企业内容管理平台的接口模块，负责与核电企业内容管理系统(ECMS)进行数据交互，其中主要包含企业内容分为元数据信息与非结构化文件图像内容。 3.2.2. 102文档数据规范化校验规则管理模块 本模块是文档数据规范化校验规则数据维护模块，根据核电文档管理规则录入相关数据。数据库主要分为文档分类规则库、校验区域规则库以及元数据校验规则库3个库，分别定义结构化元数据、非结构化文件以及二者间的关联关系。 3.2.3. 103半结构化数据图像预处理模块 本模块负责将半结构化数据图像进行预处理，结合校验规则为下游模块提供输入，预处理主要有4个步骤：首先，对图像进行灰度处理，其次，对图像进行二值化处理，接着，利用滤波降噪算法，进行平滑处理，消除噪声，最后，通过方向自动校对模块完成图像调整。 3.2.4. 104颜色信息提取模块 根据103图像预处理模块第1步灰度处理前获取的信息，加载对象的颜色信息，并将提取的信息发送给用于校验的综合模块109。 3.2.5. 105图像分割提取模块 根据102文档数据规范化校验规则管理模块提供的元数据信息，结合数据对象实例生成数据校验清单，清单中记录需要进行校验的各项内容；并根据模板位置信息，提取分割图片。 第一步：边缘识别，利用边缘检测算子对图像进行卷积运算，再采用最大类间方差方法对图像进行二值化处理，然后采用Hough算法检测出边缘上的直线段； 第二步：倾斜校正，将上一步得到的直线段按长度从大到小排序，选择最长的几个直线段，计算直线段相对于水平方向的倾斜角度；对这些倾斜角度排序，取中值作为图像的倾斜角度，通过旋转图像对其进行倾斜校正； 第三步：图片分割，保留水平方向和垂直方向上的直线段，去除其他直线段；计算不同直线段端点之间的距离，如果小于设定的阈值，则对直线段进行连接，获得表格的单元格图像； 第四步：定位提取，主要分为3个步骤首先根据位置信息提取定位页面位置，其次通过边缘识别算法扣取信息块图片，最后将图片按照规则进行临时保存。 根据102模块中给出的位置信息，定位信息块位置，位置信息包括页码、起始点与结束点。 利用边缘算法将扣取的图片保存为BMP格式。如图2所示。 图2. 提取结果示意图 3.2.6. 106文件属性提取模块 根据文件整体信息，获取校验所需要的属性信息，如文件名称、文件大小、文件格式等。 3.2.7. 107文字识别抽取模块 文字识别抽取模块通过对图片中文字的分割与识别，实现文字信息的提取。主要包扩字符分割、特征提取与分类器三部分组成。 第一步：字符分割：通过对于105分割图片的行、字切分，实现字符分割功能。其中行分隔采用二值图像的像素累加方法，如下面公式所示。 ( ∑ j = 1 L F ( i ， j ) ⊕ p 1 ) ∧ ( ∑ j = 1 L F ( i + 1 ， j ) ⊕ p 2 ) ∧ ... ∧ ( ∑ j = 1 L F ( i + k ， j ) ⊕ p k + 1 ) = 0 其中 F ( i ， j ) 是文本二值图像，L是行长，p是大于零的实验常数，取决于文档的噪点。 ⊕ 为通配符。当 ⊕ 为 ≥ 时，表达式若成立，则为行上界；当 ⊕ 为 ≤ 时则为行下界。上下界之间的可切分为一行。字切分的方法与之类似。 第二步：特征提取：通过对单个文字图片的统计特征进行分析，利用局部灰度算法抽象网格特征，并将特征向量输出提供给分类识别。 第三步：分类识别：基于人工神经网络(ArtificialNeuralNetwork)实现，通过对连接权值的设置，计算非线性激活函数是否大于阈值。进而输出分类信息。 y k = φ ( ∑ j = 1 p ω k j x j − θ k ) 其中x j 是神经元输入信息， ω k j 是神经元k连接的权值， θ k 为阈值， φ ( ) 为激活函数， y k 为神经元k的输出，模型如图3所示。 图3. 人工神经网络分类模型 模块103、105、107对于图片的核心操作流程如下图所示，该流程是本文的核心流程。通过对非结构化核电文档数据图像的预处理、分割及文字识别，抽取其中的结构化数据信息，作为后续数据校验的基础。如图4所示。 图4. 非结构化核电文档结构化信息提取流程 3.2.8. 108清晰度识别模块 清晰度识别采用梯度算法，对文档中的图片采用Sobel算子提取水平和垂直两个方向的梯度值，基于TenenGrad能量梯度函数实现清晰度判断。 D ( f ) = ∑ y ∑ x | G ( x ， y ) | ( G ( x ， y ) > T ) G ( x ， y ) = G x 2 ( x ， y ) + G y 2 ( x ， y ) T是给定的边缘检测阈值，G x 和G y 分别是像素点(x， y)处Sobel水平和垂直方向边缘检测算子的卷积。其中Sobel算子模板如下。 g x = 1 4 [ − 1 0 1 − 2 0 2 − 1 0 1 ] g y = 1 4 [ 1 2 1 0 0 0 − 1 2 − 1 ] 3.2.9. 109综合元数据校验模块 根据前置模块提供的信息，分别对各项需要校验的文档模板内容进行判断，并导出校验结果给自动检查结果显示用户接口，提供各项校验结果的说明。 3.2.10. 110日志记录模块 记录操作过程中的日志，如图片分割结果，元数据识别结果等。