system: [SYSTEM]

user: 2. 系统总体设计 系统建设的目的是为了便于电信部门(管局)与下级网络数据中心(企业)的经营者们对客户的基本信息、访问日志以及网络流量情况进行日常安全协调管理工作。其中，通信管理局侧的安全管理系统(SMMS)为上级，企业侧的ISMS为下级，双方通过信息安全管理接口(ISMI)进行指令的上传下发、任务调度以及其他通讯工作 [ 2 ] 。本文研究的IDC安全态势感知系统属于企业侧，简称ISMS系统。 从系统结构上来说，本文所研究的IDC安全态势系统主要包括以下三个单元：控制单元(CU)、执行单元(EU)以及存储单元(DU)。每个单元各司其职，完成自己任务的同时，还需要和其他的单元产生数据以及任务交互，共同完成访问日志管理、信息安全管理以及基础数据管理等任务。具备上述功能的ISMS架构见图1。 2.1. 系统单元 1) 控制单元(CU) 控制单元CU存在于功能区域所在的机房，任务是管理机房内的信息安全，并且利用ISMI与上级进行数据通信，并根据上级的要求向SMMS上报相应的数据反馈。同时，CU对各个执行点的EU设备进行集中管理，不仅要对各类管理指令做到调度、转发以及执行等操作，还要对各类数据和流量进行分析和汇总。 控制单元CU的主要功能包括：基础数据的管理、访问日志的管理、信息安全的管理、报表模块的管理、系统功能的管理以及系统其他的各项管理等。而且，CU还能够配置各种类型的结果上报以及相应 图1. ISMS系统架构图 的管理策略，并且将这些策略发送至EU设备。此外，CU还可以给网站备案管理系统提供各类接口，例如CU和EU的接口(U接口)，以便于实现各类相关信息的同步以及共享，从而给相关工作人员对系统进行管理和维护工作带来便利。 2) 执行单元(EU) EU的主要功能是采集网络流量数据，分析整理以及存储，最终形成访问日志。一般情况下，考虑将其布置在出口链路，对链路中的网络流量予以采集，随后依照电信部门的有关安全机制以及经营者管理条例进行初步筛选处理，产生相应的访问日志。同时，为了满足系统的其他功能需求，EU也负责采集相关的各类数据，例如日志记录和基础信息等。对于其产生的各类访问日志以及业务内容，都需要在一定周期内根据系统需求上报至控制单元或是存储单元 [ 3 ] 。 在普遍的部署环境中，进入EU的网络流量需要再分配，也就是保证负载均衡。均衡地将网络负载分流到每一台EU设备上，分别进行监测等各项工作，从而降低处理延时，提高监管效率。这里的“均衡”是要求这些系统节点的承载量尽量相同，并且在某些结点出现高负载情况时进行负载迁移，重新保持节点之间的负载均衡状态。 3) 存储单元(DU) DU主要用于存储EU侧收集到的客户访问日志，对这些流量数据进行压缩、转制、合并等操作，再分类或者是统一存储。此外，DU还提供查询功能，用来检索运营人员需要的访问日志。就数据库性能而言，应该能支持大数据的储存和检索。 2.2. 系统逻辑结构 系统存储方式采用的是分布式文件系统架构，也就是“服务器 + 硬盘”的模式。其任务是分析用户访问日志，采集、贮存、调度以及处置网络数据。系统的逻辑结构见图2。 在大数据量的环境下，合理地利用Hadoop平台可以为用户提供数据查询、业务分析、设备状态监测，异常IP监测、流量流向分析等应用场景建模，依据上级指令，完成任务的处理工作。 海量数据查询使用Hadoop分布式文件系统HDFS和分布式列式数据库Hbase实现，根据常用的查询条件设计索引，实现毫秒级的数据查询响应。同时，根据多维度数据分析、统计查询等需求，系统采用分层数据处理方式，首先对数据进行清洗和过滤处理操作；然后对处理逻辑组合进行优化 [ 4 ] ；最后，通过调整优化以后的客户端，进行更加灵活的查询操作。Hadoop平台数据处理层支撑应用功能架构说明见图3。 图2. ISMS逻辑结构图 图3. Hadoop平台数据处理层支撑应用功能架构 2.3. 系统功能结构 系统从功能架构上分类可以分为四层，自上而下层次分别是：应用层，数据处理层、通信接口层以及数据采集层(EU)。其中的前三个层次属于系统功能部分，第四部分则是EU数据采集设备层。系统对应的功能结构见图4。 图4. IDC安全态势感知系统功能结构图 1) 应用层功能 应用层是IDC安全态势感知系统的应用部分。IDC安全态势感知部分包含主要的三部分功能：一是完成电信部门管理数据中心基础信息的任务，同时需要采集系统设备信息，以防服务器崩溃等重大安全事故的发生；二是异常IP的监测以及上报；三是提供违法违规网站或流量发现规则配置以及下发，并且接受违法违规信息的监测和过滤日志的及时上报 [ 5 ] 。 2) 报表生成功能 系统报表是统一通过系统报表引擎来实现的，而系统报表引擎的实现基于统一语义层。语义层对底层的异构数据源进行统一封装适配(异构数据源包括MySQL、Hadoop等)，这使得报表引擎能够基于较稳定的数据语义层进行开发，更加专注于业务报表展现方式的灵活配置。 3) 数据处理层功能 数据处理层主要负责应用层管理策略的格式转换以及静态数据的规则匹配，并且下发给EU设备。同时，接收来自于EU设备的用户上网记录数据和IDC信息安全管理的数据，并且对数据进行格式化处理随后统一存储。如果遇到需要上报的，还需要对数据进行汇总、格式转化、加密以及压缩等一系列处理，之后上报给相关应用和安全监控系统。 4) 通信接口层功能 通信接口层主要负责综合数据分析与应用，可以支持系统和EU设备之间的策略下发、策略同步请求数据的接收以及格式化转换处理等操作。同时，还需要负责访问日志数据以及信息安全监测日志数据的接收处理 [ 6 ] 。 2.4. 接口ISMI IDC信息安全管理系统接口(ISMI)是IDC企业侧的信息安全管理系统(ISMS)与电信管理部门侧安全监管系统(SMMS)之间的接口，主要功能包括基础数据管理、访问日志管理、信息安全管理、代码表的发布等。 接口ISMI应该实现两种通道：命令通道和数据通道。命令通道由电信管理部门侧的系统使用，用来下发指令；数据通道由企业侧的系统使用，用来上传数据。其网络部署见图5。 图5. ISMI中的网络部署图 根据以上的分析，ISMI的设计应该实现如下几项功能，并且能够满足相应的条件部署。 1) 基础数据查询与上报接入 通过WebService接口接收SMMS下发的基础数据查询指令，并且重新将完整的基础数据通过FTP接口的方式上报与SMMS，完成ISMI接口–基础数据通道的实现 [ 7 ] 。 2) 基础数据异常上报接入 通过FTP接口的方式向SMMS上报基础数据异常数据，完成ISMI接口–异常IP数据通过的实现。 3) 访问日志查询上报接入 通过WebService接口接收SMMS下发的访问日志查询指令，按照指令内容要求将访问日志整理通过FTP接口的方式上报与SMMS，完成ISMI接口–访问日志查询上报通道的实现。 4) 信息安全记录上报接入 通过WebService接口接收SMMS下发的信息安全查询指令，按照指令内容要求将信息安全记录整理通过FTP接口的方式上报与SMMS，完成ISMI接口–信息安全记录上报通道的实现。 5) 处理能力及可靠性接入 这里采用大叠加策略，保证大批量数据持续稳定上报，确定ISMI接口的稳定性，保障系统的处理能力及可靠性。 2.5. 网络部署方式 串行接入方式需要用到光保护器，将其串接在数据中心的出口链路上，原有的链路会经过光保护器进入汇聚–分流设备。这一设备可以确保系统出现设备故障时，执行快速的网络恢复操作，将业务状态还原至事故前的网络连接，避免中断的出现。 相比于并行接入方式，串接的优点在于更为准确的控制网络流量，而且实现过程方便快捷。因为串接着光保护器，所有的流量都必须经过系统设备的处理才能进入转发流程，从而完成对流量的第一手控制，效果比并接方式更显著 [ 8 ] 。 但是缺点也存在同样的设备上，正因为数据链路不被复制，所以安全感知系统掌握着网络流量进出的唯一通道，这使得其存在着潜在隐患。当系统出现问题时，无论严重程度，对网络的运行的影响程度都将被放大 [ 9 ] 。而且，串接方案对于网络硬件设备的要求较高，可能会增加部署成本。串行接入方式网络结构见图6。 图6. 串行接入方式网络结构图