信 息 融 合 理 论 在 多信 息 融 合 数 据 库 和 知 识 库 等 方 面 将 有 进 一 步关 键 词 :D e m p s t e r - S h a f e r 证 据 理 论 ;锋 ,杜海莲‘ ,王0 7 1003~ 2.河北 师范大学 电子系 ,河北 石家庄像 处 理 等 领 域 的 应 用 现 状 进 行 了善 ,在 融 合 算 法 、传 感 器 分 布 检 测 、 异 类 多发 展 。 瑞‘ ,牛成林‘ ( 1.华北 电力大学 自动化系 ,河北 保定_ 摘 要 :0 5 0o3t) 模 型 、 算 法 和 应 用 ,剖 析 。 信 息 融 合融 合 模 型 以 及 关联 的传 感 器 融 合 以 及 建 立机 器人 ;故 障诊 断 ; 图像 处合 理 论 、 理 中图分类号 :TP 212 文献标识码 :A T heory and A ppl ication of M ulti-sensor Information F usion MA , F eng , D U H ai- lia n‘ , WANG Rui ‘ , NIU Cheng- lin‘ (1.Department of Automation,North China Electr i c Power University ,Baoding 071003,Ch i na; 2.Ele c t rical Depart ment,Hebei Norm al Univer s ity,Sh~iazhuang 050031,China) A bstract:The informat i on fusion theory ,model,algorithm and applicat i on of mult i — sensor in f ormat i on fusion ale elaborated SO that the leader can understand it fully a n d systematically .T h e application status is discu s sed in robots ,fau l t d i agnosis , a n d image processing .T h e in f ormat i on technology development is fast but its t h e o r y is waitin g for perfect,S O t h ere ale S O me quest i ons on fusion atg~ thm ,model a n d releva n cy ambig- UO U S a n d etc .T h e mu l ti — sensor d i stribut i ve detect i on ,dif f erent mu l ti— s e nsor fusion a n d the constructi on of dat a base a n d knowledge base a n d etc .wil l have much nlor o developme nt . K ey words :in f ormation fusion;Bayes reas o ning ;D empster- Shafer evidence t h e o r y ;in t elligen t r o b o t;fau l t d i agnosis ;image proces s in g 1 引 言 传统的信号采集往往由单一的传感器来完成, 即使采用多个(种)传感器也仅是从多个侧面孤立地 反映目标信息。实际上,在大多数情况下,必须同 时处理多个信号,而这些信号一般又来自多个信号 源,即多传感器。但是多传感器也带来了信息冗余 甚至矛盾。所以必须通过对各种传感器及其观测信 息的合理支配与使用, 将其采集的信息依据某种优 化准则组合,产生对观测环境一致性的解释和描 述,因此迫切要求对信息进一步处理。“信息融合” 就是对多传感器的数据进行多级别、多方面、多层 次的处理,即组合或融合来自多个传感器或其他信 息源的数据,以获得综合的、更好的估计。 目 前国内在多传感器融合方面的研究尚处于初 始阶段 ,对这方面系统介绍的文献也相对较少 ,多 传感器融合是一个复杂的信息处理过程,所要研究 的问题多,而且解决问题的方法也很多,因此有必 要对目前的研究情况进行系统的介绍。 2信息融合基本概念及优越性 由于信息融合的定义都是功能性的描述,美国 国防部 JDL 从军事应用的角度将数据融合进行定 义_1 J ,Waltz 和 Llinas 对其进行了补充和修改,给出 了较完整的定义:一种多层次的、多方面的处理过 程,这个过程是对多源数据进行检测、结合、相 关、估计和组合以达到精确的状态估计和身份估 计,以及完整及时的态势评估和威胁估计。 近年来信息融合技术在基本理论和实现方法上 得到极大的完善 ,显示出 自身极大的优越性b] ,主 要表现在:容错性好;系统精度高;信息处理速度 块;互补性强;信息获取成本低等方面。 收稿 日期 :2004— 12— 03; 基金项目:国家自 然科学基金资助项目(60374020 ) ; 河北省自然科学基金资助项目(F200 4 000180) ; 河北省科技攻关资助项 目(04213573) 作者简介:马平( 1961. ) , 女,湖南长沙人,教授,研究生导师,主要从事多源信息融合、控制系统故障诊断、多变量鲁棒控制等方 面的教学 与科研工作 。 收修定 稿 日期 :2005-01— 1 7 维普资讯 http://www.cqvip.com 第 1期 马 平等:多传感器信息融合基本原理及应用 · 49 · 3数据融合技术的理论方法 数据融合的关键问题是模型设计和融合算法, 数据融合模型主要包括功能模型、结构模型和数学 模型。功能模型从融合过程出发,描述数据融合包 括哪些主要功能和数据库,以及进行数据融合时系 统各组成部分之间的相互作用过程;结构模型从数 据融合的组成出发,说明数据融合系统的软、 硬件 组成,相关数据流、系统与外部环境的人机界面; 数学模型是数据融合的算法和综合逻辑,算法主要 包括分布检测、空间融合、属性融合、态势评估和 威胁估计算法等,下面从 3个方面分别进行介绍。 1) 信息融合的功能模型 从不同角度提出了信息融合系统的一般功能模型,最有权威性的是 DFS (美国三军政府组织一实验室 理事联席会(JDL )下面的 C3I 技术委员会(TPC3)数 据融合专家组)提出的功能模型_ 4 J 。 该模型把数据融合分为 3 级。第 1级是单源或 多源处理,主要是数字处理、跟踪相关和关联;第 2 级是评估目标估计的集合,及它们彼此和背景的 关系来评估整个情况; 第 3级用一个系统的先验目 标集合来检验评估的情况。 其简化模型如图 1所示。 目前已有很多学者 L毒广 二 .⋯ 一 — E 2) 信息融合的结构模型 型有多种不同的分类方法,其中一种分类标准是根 据传感器数据在送入融合处理中心之前已经处理的 程度来进行分类。在这种分类标准下 ,融合结构被 分为传感器级数据融合、中央级数据融合及混合式 融合, 还可以根据数据处理过程的分辨率来对融合 结构进行分类。在这种情况下,融合结构为像素 级 、特征级和决策级融合_ 6 J 。 3) 多传感器信息融合实现的数学模型 融合的方法涉及到多方面的理论和技术,如信号处 理 、 估计理论 、 不确定性理论 、 模式识别、最优化 技术、模糊数学和神经网络等这方面国外 已经做 了 大量的研究。 目 前,这些方法大致分为两类:随机类方法和 数据融合的结构模 信息 人工智能方法。 ①随机类方法 在多传感器信息融合中常采用随机类方法包括很 多,这里只介绍前 3种方法 。 a. Bayes 推理方法把每个传感器看作是一个 Bayes估计器,用于将每一个 目标各自的关联概率 分布综合成一个联合后验分布函数 ,然后随观测值 的到来,不断更新假设的该联合分布似然函数,并 通过该似然函数的极大或极小进行信息的最后融 合。虽然 Bayes 推理法解决了传统的推理方法的某 些缺点,但是定义先验似然函数比较困难,要求对 立的假设彼此不相容,无法分配总的不确定性,因 此 ,Bayes推理法具有很大的局限 陛。 b. Dempster-Shafer 的证 据理论 Bayes推理方法,它是通过集合表示命题,把对命 题的不确定性描述转化为对集合的不确定性描述, 利用概率分配函数、信任函数、似然函数来描述客 观证据对命题的支持程度,用它们之间的推理与运 算来进行目标识别 J 。D. s 证据理论可以不需要先 验概率和条件概率密度,并且能将 “ 不知道” 和 “不确定” 区分开来,但是它存在潜在的指数复杂 度问题和要求证据是独立的问题 。 c. Kalm an 滤波融合算法计特性,递推确定在统计意义下最优的融合数据估 计,适合于线性系统的目标跟踪,并且一般适用于 平稳的随机过程,它要求系统具有线性的动力学模 型,且系统噪声和传感器噪声是高斯分布白噪声模 型,并且计算量大,对出错数据非常敏感。 ②人工智能方法近年来,用于多传感器数据 融合的计算智能方法有: 小波分析理论、模糊集合 理论_8 ] 、神经 网络_l 、粗集理论和支持 向量机 等,限于篇幅只介绍小波变换和神经网络方法。 a. 小波变换是一种新的时频分析方法 ,它在 多信息融合中主要用于图像融合,即是把多个不同 模式的图像传感器得到的同一场景的多幅图像,或 同一传感器在不同时刻得到的同一场景的多幅图 像,合成为一幅图像的过程。经图像融合技术得到 的合成图像可以更全面、精确地描述所研究的对 象。基于小波变换的图像融合算法为:首先用小波 变换将各幅原图像分解 ,然后基于一定的选择规 则,得到各幅图像在各个频率段的决策表,对决策 表进行一致性验证得到最终的决策表,在最终决策 表的基础上经过一定 的融合过程 ,得到融合后的多 分辨表达式,最后经过小波逆变换得到融合图 像 。 b. 神经网络方法 是在现 代神经生物学 和认 这类方法研究对象是随机的, 是一种广 义的 它利用测量模型的统 维普资讯 http://www.cqvip.com ·5O · 控制 工程 第 l3 卷 知科学对人类信息处理研究成果的基础上提出的, 它有大规模并行处理 、连续时间动力学和 网络全局 作用等特点,将存储体和操作合二为一。利用人工 神经网络的高速并行运算能力,可以避开信息融合 中建模的过程 , 从而消除由于模型不符或参数选择 不当带来的影响,并实现实时识别。由于神经网络 的种类繁多,学习算法多种多样,新的结构和算法 层出不穷,使得 目 前对神经网络数据的研究非常广 泛 。 4信息融合技术的应用研究 最初信息融合技术是为了满足战争的需求,目 前军事领域仍是信息融合的最大应用领域,发展也 最快 ,主要应用在预警系统 、武器系统的指挥和控 制、情报保障系统、军事力量的评估和指挥系统以 及天地一体化信息融合系统。随着各种传感器技术 和电子芯片的发展,信息融合技术在民用方面也得 到了广泛的发展 , 下面详细介绍数据融合在智能机 器人、故障诊断和图像处理方面的应用。 ①信息融合在机器人研究领域中的应用 人技术是一门综合技术,集光机电液信于一身,多 感觉传感器系统与机器人相结合,形成感觉机器人 和智能机器人¨ 。机器人演奏、机器人足球比赛 、 机器人摔跤等需要高度信息融合技术,工业机器人 则成为典型的多传感器集成和融合系统,这里主要 介绍信息融合技术在移动机器人和工业机器人方面 的应用 。 如何精确地获得 自身的位置并由此规划运动路 径,是 自主式 移动机器人| l 研究领 域中一直得 到 关 注的问题 。轮式移动机器人由于轮子打滑及测量 模型噪声等原因, 存在累计误差问题。为了进一步 提高移动机器人的定位精度,文献 [15] 采用扩展 Kall/ la/ l 滤波对这两种传感器信息进行融合,即通过 激光扫描器提供的信息不断修正光电编码器的定位 信息,提高了定位精度。 工业机器人在工业 系统 中主要完成物料 搬运、 制造 、装配 、检测等 ,现已有一些较为成熟 的应用 例子 ,如 Hitachi 公 司研制 的应 用 于电子产 品装 配 线上的工业机器人将三维视觉传感器和力传感器测 出的数据进行融合。Georgia理工学院研制的机器人 融合视觉和触觉传感器的信息。还有 Groen 等人研 制的用于机械产品装配生产线上、Sm ith 和 Nitan 等 人研制的用于产品包装 、Krem ers 等人研制的适用 于加工制造业的一些工业机器人 。 2) 信息融合技术在故障诊断领域中的应用 基于信息融合的故障诊断方法 ,是通过多传感器获 机器 取设备状态的特征信号,并进行多层关联组合、数 据选择, 从而获得对诊断对象故障信息更可靠的认 识和对潜在故障发展趋势的态势评估。 文献[16]针对某泵压式供应系统液体火箭发动 机的泄漏故障,利用系统故障症状的分散性,提出 了一种基于模糊数据融合技术的系统故障诊断方 法。文献[17]构造了神经网络信息融合中心,对来 自多传感器的残差信号进行了预处理和离散小波变 换,使用改进 BP 算法对神经网络分类器训练以进 行相应的故障模式识别。文献[18]利用不同采样速 率多传感器观测对象,充分考虑多尺度、多信息融 合状态估计精度和强跟踪滤波器理论在处理非线性 系统时变参数与状态估汁的能力 ,实现 了变压器故 障的在线诊断。 3) 信息融合技术在图像处理方面的应用 感图像的信息融合能使各种空间、波谱和时间分辨 率的图像纳入统一的时空内, 融合构成一种新的图 像 , 增加信息量,实现多种信息的互补,改善了图 像的质量和有效性。文献[ 19]把同一目标的不同传 感器获得的图像数据利用小波包变换进行融合, 得 到目标较为清晰的融合图像。文献[20]提出了一种 针对 SAR (合成孔径雷达) 图像保留边缘的融合方 法 ,在计算量不显著增加的前提下,提高了边缘检 测 的质量。 在医学方面 CT 与 NMR 具有不同的成像机理, CT 能够清晰表达骨骼信息 ,而 NMR 能够清晰表达 软组织信息,文献EE1]提出了一种新的基于小波变 换的系数取大融合算法,从而既可清晰地表现骨组 织信息,又可清晰地表现软组织信息,这对临床医 学具有十分重要的意义。 遥 5数据融合研究中的存在 问题 1) 未形成基本理论框架 和有效广义模型及算 虽然数据融合的研究已经相当广泛,但是目前 对信息融合的研究都是根据问题的种类,各自建立 融合准则,并在此基础上形成所谓最佳融合方案,而且 目前很多研究工作是基础研究、仿真性工作。 2) 关联的二义性是数据融合中的主要障碍 在进行融合处理前,必须对信息进行关联,以保证 所融合的信息是来 自同一目标。所以,信息可融合 性的判断准则及如何进一步降低关联的二义性已成 为融合研究领域亟待解决的问题。 3) 数据融合方法与融合系统实施问题融合系统的设计实施 目前还存在许多实际的问题: 传感器动态测量误差模型的建立、传感器系统优 化 、复杂动态环境下系统实时陛、大型知识库的建 法 数据 维普资讯 http://www.cqvip.com 第 1期 马平等:多传感器信息融合基本原理及应用 · 5l · 立与管理、与其他领域的很多新技术的 “嫁接与融 合” ,如人工智能技术、计算神经网络计算、遗传 算法、 进化计算、 虚拟现实技术性等,这些尚无成 熟理论。 4) 融合系统的容错性和稳健性没有得到很好 的解决冲突(矛盾)信息或传感器故障所产生的错 误信息等的有效处理,即系统的容错性或稳健性也 是信息融合理论研究中必须考虑的问题。 6研究方向展望 尽管信息融合技术 20 多年来已有了很大的发 展,但仍然还有很多领域有待于进一步的研究与探 索 ,目前主要包括 : ①多传感器分布检测研究提出至今已形成 了比较完善的理论体 系。目前对该 领域的研究主要有:在各检测器性能时变的条件 下,如何 自 适应估计各检测器性能并进行分布式检 测融合是 目 前的一个方向;在信号参数模糊下的分 布式检测融合问题:在信号参数随机变化下的分布 式检测融合问题;微弱信号的检测融合问题。 ②异类多传感器信息融合技术研究 多传感器信息融合由于具有时间不同步,数据率不 致及测量维数不匹配等特点,因而具有很大的不 确定性。在异类多传感器信息融合中,如何利用各 传感器信息进行航迹起始,如何综合利用位置、动 态及特征和属性参数改善目标跟踪性,如何合理利 用互补信息以改善对目标的识别及如何实现检测跟 踪的联合优化都是需要进一步研究和解决的问题。 ③传感器资源分配与管理技术研究器构成了多传感器系统的互补体系,因此必须按照 某些工作准则适当地管理这些传感器,以便获得最 优的数据采集性能。传感器管理的内容通常包括: 空间管理 、 模式管理和时间管理。这一方面主要包 括:传感器性能预测,传感器对目标的分配方法, 传感器空间和时间作用范围控制准则,传感器配置 和控制策略,传感器接口技术,传感器对目标分配 的优先级技术,以及传感器指示和交接技术。 ④研究数据融合用的数据库和知识库,高速并 行检索和推理机制利用大型空间数据库中数据和 知识进行推理是融合系统过程中的关键任务,因此 深入研究和探讨空间数据库的知识库,高速并行推 理机制应成为未来的研究重点之一。 分布式检测融合 自 异类 一多个传感 7结语 综上所述,多传感器信息融合技术涉及到多学 科、多领域,且具有多信息量 、多层次、多手段等 特点,并在机器人、故障诊断、图像处理等民用领 域中,充分发挥了强大的信息处理优势,几乎一切 需要信息处理的系统都可以应用信息融合,利用信 息融合技术可得到比单一信息源更精确更完全的判 断。随着科学技术的发展,尤其是人工智能技术的 进步,数据融合的基础理论将更加完善, 兼有稳健 性和准确性的融合算法和模型将不断推出,研究数 据融合的数据库和知识库也会取得重大进展。在将 来,多传感器信息融合技术以军事应用为核心,将 不断地向工业、农业等领域渗透,进而取得更为广 泛的应用。 参考文献: [ 1]