多传感器信息融合在军事上 广泛应用于:自动目标识别、自主车导航.遥感,战场侦察,自动威胁识别等等, 具体应用见表1—1所示.英国EASAM公司成功地研制了第一个炮兵信息融合演示系 统(AIDD);美国研制成功的全球定位系统(GPS)集成和融合了大量的传感器信息,能 够对垒球任一位嚣所处的纬度、经度精确定位:美国普莱塞防御系统公司的敌情报 告专家系统(ECRES)能运用信息融合技术勾画出战场态势图.正在研制的多传感器 信息融合系统有:北大西洋公约组织计划中的防空指挥控制系统(ACCS),英国的“复 仇女神”演示器计划,美国海军科研中心的(ARE)示范系统等等.由于战略和战术 军事行动在速度、复杂程度和地域范围方面大大增加,要求加强信息融合和决策支 持的技术已经超过传统技术的能力,多传感器信息流的增加和反映时间的减少,要 求信息的收集和指挥自动化,并自动生成备选行动,履行区域指挥官和他的参谋们 感到棘手的任务,信息融合自动化和被选行动的定量评价对于决策者将是必备的工 『41 具。圈1.1是一幅军事信息融合的框图‘。 数据融合功能 决策支持功能 图1-1军事信息融合系统 浙江大学博士学位论文 在非军事领域里,多传感器信息融合被广泛应用于工业制造系统、智能建筑、 资源探测、气象预报、疾病诊断等等,具体应用见表1-2所示。 2非军事领域应用应用领域 功能 观测信号 测量区域 传感器平 电子信号-系统故障 轮船条件维修 诊断 -磁信号 几百英尺 维修指导-温度 电子信号机器人 TV几百英尺 机器人-x射线 视觉信号疾病诊断 -疑难杂症 实验室的诊断 雷达-飞机 卫星环境监视 预测,如地震 电子辐射-几百英里 地面气象 ’core samples 化学/生物信号然而,多传感器信息融合的最佳体现是在智能机器人的研究上:智能机器人的 仿生机构的基本原理研究和探索,机器人视觉中的三维、时变、多光谱图象处理, 主动定性视觉的研究,机器人的内外部非视觉传感器的研究,非视觉信息的获得和 理解,智能机器人的行为控制,环境建模与处理等等.智能机器人在专家系统和知 识库支持下,依靠本身的感觉系统综合信息,识别环境,作出决策。Hailar移动机器 浙江大学博士学位论文 人是首次采用多传感器信息形成未知环境实物模型的移动机器入,它将视觉、听觉、 触觉和激光测距等传感器集合起来,使之能在未知环境中操作。美国国防高级研究 计划局的战略计算机计划中的自主式地面车辆(ALV),是~种无人驾驶的可在野外 各种复杂地形条件下自主行走的车辆,它采用彩色TV摄象机,激光测距仪和声纳传 感器等,用信息融合的方法对多种传感器信息进行并行处理与综合,这种无人驾驶 的ALV车辆具有较高的智能水平。Stanford大学将立体视觉、滑觉和超声波传感器用 在移动机器人上,用Kalman滤波技术融合传感器信息取得成功。哥伦比亚大学的 P.K.Allen用视觉和触觉传感器建立了一个用于物体识别的假设一验证系统,取缛成 图1.2基于信息融合的机器人物体识别系统多传感器信息融合的主要优点可以归纳为以下几点: (1)与只使用单一传感器相比,多传感器信息融合处理后可以获得有关周围环境 的更准确、更全面的信息. (2)一组相似传感器采集的信息存在冗余往,这种冗余信息适当融合可以在总体 上降低信息的不确定性,这是因为每个传感器的噪声是不相关的,融合处理后可明 显抑制噪声,降低不确定性。 (3)不同传感器采集的信息存在互补性,这种互补性经过适当处理后可以补偿单 一传感器的不准确性和{嬖!|量范围的局限性. (4)多传感器信息的融合可以增加系统的可靠性,某个或某几个传感器失效时, 系统仍能正常运行。 (5)多传感器可以更迅速更经济地获取有关环境的多种信息。 (6)扩展了空间覆盖范。 浙江大学博士学位论文 (7)扩展了时间覆盖范。 (8)提高了空间分辨率。 (9)增加了测量空间维数. 正是由于这些单一传感器无法比拟的优点,在短短的十几年时间里,多传感器 信息融合技术引起了各国科研人员的极大关注,无论在军事上,还是在非军事领域 里,多传感器信息融合技术得到了广泛的应用,与其同时信息融合的理论也得到了 长足的发展,有关信息融合的结构、模型,算法和系统设计原理得到了研究,信息 融合的商品化软件也已经问世【3】。SPIE每年都举行数据融合的专题会议,介绍信息 融合的发展袄况与最新研究成果,IEEE分别于1991年(/EEElrm-1s.on SMC DO.5)、1996 年(IEEE lrans.onindustrialelectronics no.3)、1997年(Proceedings oftheIEEE no.1)出版 T--期信息融合的专辑,各个政府也投入了大量资金来进行信息融合的研究,美国实 验联合管理局于1986年成立了信息融合小组,专门从事信息融合的研究工作,这些 极大地推动了多传感器信息融合的发展。在国际上,信息融合研究已具备了良好的 环境,并取得了长足的进展. 随着新型传感器的出现,先进处理技术的诞生,硬件处理技术的改善,使得实 时传感器信息融合成为可能.在科研人员的努力下,在大量资金的资助下,传感器 信息融合已经从~个松散联结的相关技术发展成为具有标准的专门术语、可靠的数 学基础以及较为完善的系统设计原理的欣欣向荣的工程学科,是一个涉及到信息科 学、计算机科学、自动化科学的复合型学科. 1.3现状、存在的问题及发展方向 在十几年的研究中,人们对信息融合的方式、系统的结构、融合系统中的信息 表示与转换等做了一些研究,总的来说,可归纳为以下几个方面: 信息融合的层次.决定对传感器信息在哪一阶段进行何种处理,融合层次的决定关系到信息的处理量、信息的抽象性、决策的正确性及系统的容错性。 信息的表示和转换.将不同的信息源转换成统一的表示形式,有效地实现各信息源之间的比较、通讯,便于信息的融合. 信息融合的结构.根据信号的性质、环境的特点和系统要求,对多个传感器进行控制和管理,选择合适的融合结构. 信息融合的方法。决定对多传感器信息进行各种综合分析和处理,并进行推理,得出对环境准确可靠的理解. 浙江大学博士学位论文 虽然信息融合的应用研究已是如此广泛,但是信息融合本身却至今仍未形成基 本的理论框架和有效的广义融合模型及算法。其绝大部分工作是针对特定应用领域 内问题开展研究,也就是说,目前对信息融合问题的研究都是根据问题的种类,各 自建立直观融合准则,并在此基础上形成所谓的最佳融合方案。这些研究反映的只 是信息融合所固有的面向对象的特点,也就难以构成信息融合这一独立学科所必需 的完整的理论体系。这一理论短缺现象阻碍了研究者对信息融合本身的深入认识, 也使得信息融合在某种程度上仅被看成是一种多传感器信息处理概念;人们很难对 融合系统作出综合分析与评估,使得融合系统的设计带有一定的盲目性。因此即使 不少数学者曾探索了融合系统的性能评估问题,但这类评估大多只是提出一些特定 的系统性能指标,或针对特定的应用背景来对某种融合算法进行分析。 在信息融合领域,理论研究远远落后于实际需要,至今尚未形成具有普遍指导 意义下的较为严格的原理和方法.关于信息融合的研究内容和方法,有各种不同的 说法。有人从数学和控制的角度将信息融合解释为多源信息的最优估计,有入则认 为不能简单的将信息融合看作是一件事或一项技术,丽应当看做是一种智能思维方 式。尽管看法各异,但人们共同的认识是,使用多个传感器在~般情况下可以得到 比只使用一种传感器更准确、更全面、更可靠的环境信息,关于这一点,Richardson 给出了理论上的证明。 在信息融合处理前,必须对信息进行关联,以保证所融合的信息是有关同一目 标或现象的信息,即保证信息融合的一致性。如果不同目标或现象的信息进入融合 系统,将难以使得系统得出正确结论,这一问题称为关联的二义性,是信息融合中 所要克服的主要障碍.由于在多传感器信息融合中引起信息关联的二义性很多,如 传感器测量的不精确性、干扰等,因此怎样确立信息可融合性的判断准则,如何进 一步降低关联的二义性已成为融合研究亟待解决的问题。另外,系统的容错性或鲁 捧性也是融合理论研究中所必须考虑的问题. 少数已建成的信息融合系统,仅仅是以一种简单的方式合成信息,还没有充分 有效地利用多传感器所提供的冗余信息,而且许多工作仍属于试探性的,或者是仿 真性的.在信息融合系统设计方面也还面临很多实际问题,如传感器测量误差模型 的建立、复杂动态环境下系统的实时确应、大知识库的建立及其管理。 在我国,由于缺乏实际的多传感器系统的应用需求的牵引,多传感器信息融合 的研究具有探索性和预研性,尽管有许多的研究者,但没有相应的学术团体、没有 学术交流的机会和专刊,信息融合这一术语尽管被广泛的使用,其研究也得到政府 和个别基金部门的大量资助,引起众多研究者的极大兴趣,但它的含义却有不同的 解释,经常被错误的理解,这导致了我国在信息融合领域的研究进展缓慢,甚至对 于信息融合的概念以及从基础理论到实际应用研究的主要内容,要解决的关键问题 和当前面临的主要问题还缺乏一个基本的了解.1995年,由国防科工委组织,二十 浙江大学博士学位论文 多位代表在长沙召开了第一次信息融合研讨会,从会上交流的学术论文来看,我国 多传感器信息融合的研究还处于初级阶段。但是,多传感器信息融合的研究已经引 起了国家有关部门的高度重视,并列入了863计划,1997年的国家自然科学基金对信 息融合技术作为鼓励研究领域重点推出。 当前多传感器信息融合发展方向主要集中在: 1.建立信息融合的基本理论 2.兼有鲁棒性和准确性的融合算法研究 3.大系统中的融合技术 神经网络和专家系统在融合系统的应用5.建立信息融合系统的设计和评估方法 6.仿生物信息融合的研究 7.传感器信息融合专用芯片的研究 1.4本文所做的工作 鉴于多传感器信息融合各部分发展的不平衡,以及信息融合问题的复杂性,本 文就以下几个方面进行了研究: (1)总结出了多传感器信息融合的三大模型一一功能模型、结构模型和数学模 型,给出了多传感器信息融合系统设计的一般方法. (2)给出了信息融合的四种基本结构,利用Kalman技术推导出了这四种融合结构 下的具体融合算法,分析了各自的优缺点。 (3)研究了多传感器不确定信息的融合问题,给出了基于模糊积分理论的多源信 息的智能融合系统,并将其用于工业机器人的非视觉传感器信息的融合,进而对工 件进行识别. (4)利用神经网络理论,提出了多传感器信息两级融合模型.从模糊推理模型出 发,给出了模糊多层前传网络(FMLPNND和模糊基函数网络(FBFNN),并将其用于多 传感器信息融合。 (5)探讨了利用粗糙集理论进行多传感器信息融合的方法,给出了解决传感器融 合过程中的数据超载和不完整信息融合问题的思想。 浙江大学博士学位论文 1.5小结 多传感器信息融合作为一个在军事指挥和控制方面迅速形成的技术领域,实际 上是许多传统学科和新兴工程领域的结合与应用,信息融合技术的发展依赖于这些 学科和领域的高度发展和相互渗透,这样的学科特点就要求必须加强信息融合领域 内部的通力合作,以及和相关研究领域的广泛交流。 多传感器信息融合是一个较新的课题和研究方向,由于系统所完成的任务多种 多样,环境对象千差万别,多传感器的信息融合不可能置于一个简单的逻辑框架中, 也不可能以~种简单的研究方式来获得普通实用的最佳算法.目前,在理论方法和 实现技术上还有待作进一步的研究和开拓工作,信息融合中的误差处理和不确定性 的模型构造是寻求通用的设计方法和开发实际系统时需要进一步解决的中心问题, 模型、结构.算法是设计一个实际融合系统所必须解决的核心问题。目前还不能对 一般的信息融合建立一种通用的数学模型,融合的结构和算法也多种多样,如何根 据具体的问题选择合适的结构和算法,在实际应用中还是有待研究的课题和技术。 浙江大学博士学位论文 第2章多传感器信息融合模型 本章阐述了信息融合系统层次化描述和融合系统的功能模型及数学模型,并 给出了融合系统设计的一般方法。 2.1引言 多传感器信息融合系统设计目前还缺乏一个统一的模式,还找不到一个行之有 效的方法。综合众多的研究文献,作者认为多传感器信息融合系统设计的关键问题 是模型设计问题,信息融合模型主要包括融合的功能模型、结构模型和融合的数学 模型。功能模型是从融合的过程出发,描写信息融合包含哪些功能、数据库以及进 行信息融合时系统各组成部分之间的相互作用过程;结构模型从融合组成出发,说 明信息融合系统的结构;数学模型则是信息融合算法和综合逻辑.这三大模型是任 何一个融合系统都必须解决的,因此它们构成了融合系统的核心问题,其中又以数 学模型为关键之关键,很多学者正从事这一研究。本章将详细阐述融合系统的功能 模型和数学模型,融合系统的结构模型将在第三章中论述.目前的信息融合实用系 统大多以专家系统设计方法为实现基础,专门用于信息融合系统设计的基础研究已 经开始,但还没有取得突破性的实质进展. 2.2信息融合的功能模型 很多学者如Edward waltz、James Linas等很长时间以来一直致力于信息融合 的基础理论研究,积极探讨信息融合系统的基本组成要素,并极力弄清这些要素组 成数据融合系统的方式和有关规律,以建立不同种类数据融合过程的统一标准和模 浙江大学博士学位论文 式,用统一的术语和度量标准解释基础过程。因此开发一个信息融合系统的一般功 能模型,为数据融合的研究者提供一个参考框架就显得越来越重要. 形成详细合理的功能模型是信息融合学科走向成熟的一个标志,这样的模型可 以为重要的通信载体服务,人们可以通过通信载体来探讨和评估模型的设计概念、 算法和工作策略,这些模型也可以辅助信息融合中共性的东西发展成为公共的功能 模块或处理标准。 已有很多学者从不同的角度提出了融合系统的一般功能模型,其中最有代表性 的功能模型是美国联合管理局信息研究小组提出的JDL模型,如图2.1所示。 图2.1多传感器信息融合的功能模型 JDL功能模型由对象评估、势态评估、威胁估计和过程评估四级组成,第一级 对象评估是结合位置信息、参数信息和身份信息来实现个体的严密表达,它完成四 个关键功能: (1)传感器数据的单位和坐标的一致转换 (2)物体位置、运动特性和属性的实时估计 (3)分配数据给对象允许静态统计技术的应用 (4)物体识别和分类 第二级势态评估用来描述环境中物体之间的当前关系,聚类分散的单个物体, 它重点强调物体之间的关系信息。第三级威胁评估主要是用于军事上,它是根据敌 方兵力和意向估计自己兵力的强弱。过程评估可以看成一个中间过程,主要完成四 个关键作用: (1)控制融合过程的性能,提供实时控制的信息 (2)鉴别什么样的信息能改善融合的结果 浙江大学博士学位论文 (3)搜集相关信息,决定信息源的具体要求 (4)分配和指导信息源以达到某一目标 功能模型中的每一级又可阻分成不同的子集,一至四级的划分是人为的划分, 实际的信息融合系统是这几个部分的集成和交叉,JDL模型起初是为军事领域而建 立的,它同样可以推广到非军事领域。目前,信息融合的大部分工作集中在第一级 JDL功能模型已成为研究信息融合的基本出发点,将信息融合分为四个级别,确定了处理流中人为的逻辑分割,这些级的建立,也部分地得到了有关数据处理过 程的共同术语,该模型强调信息产品,即数据融合处理中的各个步骤,而不强调计 算机上的结构形式。当处理从一级移到三级时,该模型也强调推理层次,经过这些 层次,融合产品的大部分将从很特殊的情况推广到较一般的情况。 由于信息融合是对多源信息进行阶梯状的、多层次的处理过程,所以我们对信 息融合系统应该提出这样的要求:该系统所实施的每一个融合过程,在其每一个环 节上,各种数据所携带的有用的信息量都应发挥到最大的程度,使得融合结果对系 统用户有利;而且,每一数据所携带的有用的信息量在其所处的局部过程中所起的 作用,应该与其它部分的作用有机地承接在一起,以至于当一个局部过程十分紧密 地接近感觉经验的时候,由此产生的有效信息的作用不致在进入系统的其它过程时 被减弱,即系统的各个部分达到了和谐与统一. 2.3信息融合的层次化描述 各种传感器信息可能是实时信息,也可能是非实时信息;可能是快变的,也可 能是缓变的;可能是模糊的,也可能是确定的;可能是相互支持或互补,也可能是 互相矛盾或竞争。而多传感器信息融合的基本原理或出发点就是充分利用多个传感 器资源,通过合理支配和使用,把多个传感器在空间或时间上的冗余或互补信息依 据某种准则进行融合,以获得被测对象的一致性描述或解释,使该系统由此获得比 其它各组成部分的子集所构成的系统更优越的性能. 信息融合被比拟为是对人脑综合处理复杂问题的一种较全面的高水平的模仿, 而所有单传感器的信号处理或低层次的多传感器信息处理方式都是对人脑信息处理 的一种低水平的模仿。它们不能象多传感器信息融合系统那样有效地利用传感器资 源,从而可以更大限度地获得有关被测目标和环境的信息量。同时,多传感器信息 融合与经典信号处理方法之间存在本质的区别,其关键在于信息融合所处理的多传 浙江大学博士学位论文 感器信息具有更复杂的形式,而且可以在不同的信息层次上出现。这些信息表征层 次有数据层、特征层和决策层。 图2.2信息融合层化次描述对于具体的融合系统而言,它所接受到的信息可以是单一层次上的信息,也可 以是几种层次上的信息.融合的基本策略就是先对同一层次上的信息进行融合,从 而获得更高层次上的融合后的信息,然后再汇人相应的信息融合层次。因此,总的 说来,信息融合本质是一个由低层到高屡对多源信息进行整合,逐层抽象的信息处 理过程。但在某些情况下,高层信息的融合要起反馈控制的作用,亦即高层信息有 时也参与低层信息的融合.而且,在某些特殊的应用场合,也可以先进行高层信息 的融合.由此,我们可阻概括出信息融合过程,如图2.2所示。传感器各层次的信 息逐次在各融合节点合成;各融合节点的融合信息和融合结果,也可以交互的方式 通过数据库管理系统进入其它融合节点,参与其它节点的融合。由融合过程可见, 系统的信息融合相对于信息表征的层次也相应的分为三类:数据层融合、特征层融 合和决策层融合;但这并不意味着每个融合系统必须包括三个信息层次上的融合, 它们仅仅是融合的一种分类方式.