(57)【要約】【課題】レーダ情報を基に画像データベースから最適情報を検索し、検索された情報と画像撮像装置情報から抽出された機体特徴量とを照合させることにより、高確率の航空機識別を実現する。【解決手段】移動体の移動情報および画像情報をそれぞれ探索するレーダ装置１および画像撮像装置２と、レーダ装置により得られる移動体の速度情報および姿勢情報に基づき、識別対象物体の特徴量情報を蓄積したデータベース６から情報検索を行う検索手段７と、画像撮像装置により得られる画像情報から移動体自体の特徴量を抽出する特徴量抽出手段５と、これら検索手段および特徴量抽出手段により得られる特徴量を互いに照合する照合手段８と、その照合結果に基づいて移動体を識別する移動体識別手段９とを備える。【選択図】図１
2004116998.tif 000002
【特許請求の範囲】
【請求項１】
移動体の移動情報および画像情報をそれぞれ探索するレーダ装置および画像撮像装置と、前記レーダ装置により得られる前記移動体の速度情報および姿勢情報に基づき、識別対象物体の特徴量情報を蓄積したデータベースから情報検索を行う検索手段と、前記画像撮像装置により得られる画像情報から前記移動体自体の特徴量を抽出する特徴量抽出手段と、これら検索手段および特徴量抽出手段により得られる特徴量を互いに照合する照合手段と、その照合結果に基づいて移動体を識別する移動体識別手段とを備えたことを特徴とする移動体識別装置。
【請求項２】
前記画像撮像装置はＥＯセンサおよびＩＲセンサの少なくともいずれか一方を含むものであり、前記センサによって探知される特徴量および前記データベースに蓄積される特徴量は、前記移動体の一部または全体の輪郭情報である請求項１記載の移動体識別装置。
【請求項３】
前記画像撮像装置はＩＲセンサであり、このＩＲセンサによって探知される特徴量および前記データベースに蓄積される特徴量は、前記移動体の一部または全体の輝度差情報である請求項１記載の移動体識別装置。
【請求項４】
移動体の移動情報および画像情報をそれぞれレーダ装置および画像撮像装置により探索する探索行程と、前記レーダ装置により得られる前記移動体の速度情報および姿勢情報に基づき、識別対象物体の特徴量情報を蓄積したデータベースから情報検索を行う検索手行程と、前記画像撮像装置により得られる画像情報から前記移動体自体の特徴量を抽出する特徴量抽出行程と、これら索手行程および特徴量抽出行程において得られる特徴量を互いに照合する照合行程と、その照合結果に基づいて移動体を識別する移動体識別行程とを備えることを特徴とする移動体識別方法。
【請求項５】
前記レーダ装置による探索を連続して行ない、前記識別対象に該当しない場合もしくは前記データベースの情報検索による特徴量が特定されない場合にレーダ情報の推移に対応して検索処理を繰返すことを特徴とする請求項４記載の移動体識別方法。
【請求項６】
特徴量として前記移動体の輪郭情報および輝度差情報を併用もしくは選択適用し、いずれか一方の情報によって移動体識別ができない場合に他方の情報によって移動体識別を行うことを特徴とする請求項４記載の移動体識別方法。
【請求項７】
識別対象としての移動体を飛行物体または陸上もしくは水上の移動物体とする請求項４から６までのいずれかに記載の移動体識別方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば航空機、車両、船舶等の移動体を遠隔探索によって識別する移動体識別装置および識別方法に関する。
【０００２】
【従来の技術】
近年、例えば防空等の観点から、航空機の識別に関するニーズが高まっている。しかし、レーダ装置単独での航空機探知技術は従来から存在したが（例えば特開２００１−２７２４５６号公報（特許文献１）等）、識別に関しては、レーダの機影および移動速度から類推する程度に留まっている。このような従来技術においては、必ずしも高確率で識別を行うことができない。
【０００３】
一方、近年では画像撮像装置として可視光、赤外線を含むＥＯセンサ、ＩＲセンサ等の研究が推進されている（以下、これらを総称して「ＥＯ／ＩＲセンサ」という）。そして、ＩＲセンサを適用して遠隔物体の画像信号を得る技術も種々開発されており、出願人においては追尾装置としての提案等も行なっている（例えば特開２００１−２６４４０４号公報（特許文献２）等）。しかし、この技術においても移動体の識別まで行っていない。
【０００４】
【特許文献１】
特開２００１−２７２４５６号公報
【０００５】
【特許文献２】
特開２００１−２６４４０４号公報
【０００６】
【発明が解決しようとする課題】
上述した従来技術においては、移動体の識別を高確率で識別できないことから、例えば緊急時に対する的確な対応が困難となる場合が想定される。
【０００７】
本発明はこのような事情に鑑みてなされたもので、レーダ情報から検索される画像データベースと画像撮像装置から得られる機体特徴量とを照合（マッチング）させることにより、航空機等の識別の確率を向上させることができる移動体識別装置および識別方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記の目的を達成するために、請求項１に係る発明では、移動体の移動情報および画像情報をそれぞれ探索するレーダ装置および画像撮像装置と、前記レーダ装置により得られる前記移動体の速度情報および姿勢情報に基づき、識別対象物体の特徴量情報を蓄積したデータベースから情報検索を行う検索手段と、前記画像撮像装置により得られる画像情報から前記移動体自体の特徴量を抽出する特徴量抽出手段と、これら検索手段および特徴量抽出手段により得られる特徴量を互いに照合する照合手段と、その照合結果に基づいて移動体を識別する移動体識別手段とを備えたことを特徴とする移動体識別装置を提供する。
【０００９】
請求項２に係る発明では、前記画像撮像装置はＥＯセンサおよびＩＲセンサの少なくともいずれか一方を含むものであり、前記センサによって探知される特徴量および前記データベースに蓄積される特徴量は、前記移動体の一部または全体の輪郭情報である請求項１記載の移動体識別装置を提供する。
【００１０】
請求項３に係る発明では、前記画像撮像装置はＩＲセンサであり、このＩＲセンサによって探知される特徴量および前記データベースに蓄積される特徴量は、前記移動体の一部または全体の輝度差情報である請求項１記載の移動体識別装置を提供する。
【００１１】
請求項４に係る発明では、移動体の移動情報および画像情報をそれぞれレーダ装置および画像撮像装置により探索する探索行程と、前記レーダ装置により得られる前記移動体の速度情報および姿勢情報に基づき、識別対象物体の特徴量情報を蓄積したデータベースから情報検索を行う検索手行程と、前記画像撮像装置により得られる画像情報から前記移動体自体の特徴量を抽出する特徴量抽出行程と、これら索手行程および特徴量抽出行程において得られる特徴量を互いに照合する照合行程と、その照合結果に基づいて移動体を識別する移動体識別行程とを備えることを特徴とする移動体識別方法を提供する。
【００１２】
請求項５に係る発明では、前記レーダ装置による探索を連続して行ない、前記識別対象に該当しない場合もしくは前記データベースの情報検索による特徴量が特定されない場合にレーダ情報の推移に対応して検索処理を繰返すことを特徴とする請求項４記載の移動体識別方法を提供する。
【００１３】
請求項６に係る発明では、特徴量として前記移動体の輪郭情報および輝度差情報を併用もしくは選択適用し、いずれか一方の情報によって移動体識別ができない場合に他方の情報によって移動体識別を行うことを特徴とする請求項４記載の移動体識別方法を提供する。
【００１４】
請求項７に係る発明では、識別対象としての移動体を飛行物体または陸上もしくは水上の移動物体とする請求項４から６までのいずれかに記載の移動体識別方法を提供する。
【００１５】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。なお、以下の実施形態では飛行物体である航空機を識別する場合を例として説明するが、車両、船舶等の陸上もしくは水上の移動物体を識別する場合についても同様に適用することができる。
【００１６】
図１は本実施形態による移動体識別装置を示すシステム構成図であり、図２は本実施形態による移動体識別方法の処理手順を示すフローチャートである。
【００１７】
図１に示すように、本実施形態による移動体識別装置は、航空機の移動情報を探索するレーダ装置１と、航空機の画像情報を探索する画像撮像装置としてのＥＯ／ＩＲセンサ２とを備える。
【００１８】
レーダ装置１は、初探知用として適用され、航空機までの距離、航空機の速度、移動方向等の情報を得ることができる。このレーダ装置１による取得情報を処理する手段として情報処理３が備えられ、この情報処理装置３では、距離情報に基づいて飛行高度を求めることができる。また、速度に基づいて機体の大きさ、類別等を推定することが可能である。さらに、位置変化により機体の姿勢を把握することができ、それにより姿勢角を知ることができる。
【００１９】
一方、ＥＯ／ＩＲセンサ２では、可視光または赤外光等により機体の一定範囲の反射波を得て、２次元情報を得ることができる。このＥＯ／ＩＲセンサ２の情報は、画像処理装置４に入力されて画像処理される。ここで、適用されるＥＯ／ＩＲセンサ２については、ＥＯセンサ（可視光撮像装置）の場合は機体の形状をありのままに把握するのに適する一方、ＩＲセンサ（赤外線撮像装置）の場合は機体の温度特性、温度分布等の熱に関する情報を得るのに適し、昼夜を問わず運用することができる。なお、ＩＲセンサでは航空機のうち高温化されている一部、例えば、エンジン部分あるいは高速飛行時に摩擦熱を発生している機体の先端部等の画像情報を得ることができる。
【００２０】
ＥＯ／ＩＲセンサ２の出力情報は、画像処理装置４に入力されて画像処理された後、航空機識別のための特徴量を抽出する特徴量抽出装置５に入力される。本実施形態では、この特徴量として「輪郭情報」が適用される。画像処理装置４および特徴量抽出装置５においては、ＥＯ／ＩＲセンサセンサ画像から画像処理により機体特徴量を抽出する処理が行なわれ、抽出したい特徴量に合せて既存の技術を適用することができるが、「輪郭情報」を特徴量として適用する本実施形態の場合には、マルチエージェントシステムズアンドニューラルネットワークス法が適する。
【００２１】
本実施形態では、この特徴量抽出装置５において、例えば航空機の先端形状、エンジン形状等が抽出される。なお、ここで述べた特徴量抽出のための画像処理技術は、一適用例を示したものであり、これに限定されるものではない。また、特徴量についても一例を示したものにすぎず、限定されるものではない。
【００２２】
次に、上述したレーダ装置１側においては、情報処理装置３で処理されたレーダ情報が、データベース６からの情報検索を行う検索手段７としての検索エンジンに入力され、この検索手段７によって検索処理される。データベース６は、ＥＯ／ＩＲセンサ情報に基づいて抽出される特徴量に対応する情報、すなわち識別対象となる航空機の特徴量情報である「輪郭情報」に対応する輪郭データからなっており、航空機を機種毎に多くの角度方向から見た画像データが蓄積されている。
【００２３】
そして、検索手段７において、レーダ情報（距離、速度、移動方向）から得られた航空機の機体の姿勢角、機体速度情報等を基に、画像データベース６から最適な輪郭データの検索が行われる。例えば機種毎または角度毎の輪郭データの検索が行なわれる。そして、レーダ情報から得られる機体速度情報により、探索された航空機の機種が絞り込まれる。例えば航空機の類別として、戦闘機と大型機とは飛行速度が異なることから、類別が可能となるものである。同様に、航空機の距離、方向の変化率情報から、機体姿勢角が導かれ、姿勢角に対応した最適な情報が検索エンジンにより検索される。
【００２４】
以上の特徴量抽出手段５で抽出されたＥＯ／ＩＲセンサ情報と、検索装置７で検索されたレーダ情報は、ともに「輪郭情報」として照合手段としての照合装置８に入力され、両情報を互いに照合する照合処理が行なわれる。この照合処理については、照合させる特徴量に合せて、既存の画像処理技術が適用される。例えば、機体の輪郭情報を照合したい場合には、「テンプレートマッチング」が適する。ただし、この特徴量の照合処理については、一適用例を示したものであり、これに限定されるものではない。
【００２５】
この照合により両情報が一致した場合には識別装置９において、「輪郭情報」に基づいて航空機が特定される。そして、表示装置等の出力装置１０に出力される。
【００２６】
次に、以上の構成に基づいて実施される移動体識別方法の手順を、図２によって説明する。
【００２７】
本実施形態では、初探知としてのレーダ装置１の起動により航空機の探索が開始する（Ｓ１０１）。ＥＯ／ＩＲセンサ２による画像情報の探索は、レーダ装置１の起動に続いて、もしくは必要に応じて瞬時に開始する（Ｓ１０２）。
【００２８】
そして、レーダ装置２により航空機が検知された場合には、情報処理装置２により、上述した移動方向、距離、機体の大きさ等が検出され（Ｓ１０３）、さらに速度、姿勢算出等が行なわれる（Ｓ１０４）。次に、これらの情報に基づいて、対象となる機種の類別判断がなされ（Ｓ１０５）、この類別判断のステップ（Ｓ１０５）においてデータ中に該当がない場合（ＮＯ）には、再びレーダ検索（Ｓ１０１）に戻り、同処理が繰返される。すなわち、想定された類別判断に該当しない場合には、レーダ情報の推移に対応して検索処理が繰返される。これにより、例えば姿勢変化等による探索情報の蓄積に応じて後に類別判断等がなされる場合がある。
【００２９】
類別判断において探索機種が識別対象のいずれかに該当した場合には（ステップＳ１０５、ＹＥＳ）、検索装置７により航空機の特徴量情報（輪郭データ）を蓄積したデータベース６からの情報検索が行われ、該当データの抽出が行なわれる（Ｓ１０６）。
【００３０】
一方、ＥＯ／ＩＲセンサ情報についても、画像処理装置４および特徴量抽出装置５において特徴量情報（輪郭情報）の抽出が行なわれる（Ｓ１０７）。
【００３１】
そして、これらの特徴量抽出手段５で抽出されたＥＯ／ＩＲセンサ情報と、検索装置７で検索されたレーダ情報は照合装置８に入力され、特徴量が一致するか否かの判断が行なわれる（Ｓ１０８）。ここで、特徴量が一致しない場合（ＮＯ）にはデータベースから該当データが抽出されるまで、同ステップが繰返される。すなわち、この繰返し処理によっても、データベース６の情報検索による特徴量が特定されない場合には、レーダ情報の推移に対応して検索処理が繰返され、この場合においても、例えば姿勢変化等による探索情報の蓄積に応じて後に特徴量が一致する場合がある。
【００３２】
このステップ（Ｓ１０８）で特徴量が一致した場合（ＹＥＳ）には、識別装置９において、「輪郭情報」に基づいて航空機が特定され（Ｓ１０９）、表示装置等の出力装置１０に目標情報の出力がなされ（Ｓ１１０）、処理が終了する。
【００３３】
本実施形態によれば、レーダ情報から検索されるデータベース６からのデータと、ＥＯ／ＩＲセンサ画像から得られる実際の機体特徴量とを照合（マッチング）させることにより、従来技術に比して航空機等の識別の確率を向上させることができる。
【００３４】
なお、以上の実施形態においては、特徴量として「輪郭情報」を適用したが、本発明では、これ以外の特徴量を適用することができる。例えば特徴量として、航空機の「輝度差情報」を適用する等である。すなわち、ＩＲセンサを適用する場合には、特に温度差を高精度で検知することができるため、機体とエンジン部の「輝度差情報」を抽出することが可能であるためである。
【００３５】
この「輝度差情報」を特徴量として適用する場合には、画像処理技術として、明度差検出法が適する。また、輝度差情報の照合処理については、「特徴量マッチング」が適する。
【００３６】
また、本発明においては、特徴量を「輪郭情報」または「輝度差情報」を単独で適用する場合に限らず、特徴量として前記移動体の「輪郭情報」および「輝度差情報」を併用もしくは選択適用し、いずれか一方の情報によって移動体識別ができない場合に他方の情報によって移動体識別を行う構成および方法とすることが可能である。
【００３７】
【発明の効果】
以上のように、本発明によれば、レーダ情報を基に画像データベースから最適情報を検索し、検索された情報と画像撮像装置情報から抽出された機体特徴量とを照合させることにより、高確率の航空機識別を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による移動体識別装置を示すシステム構成図。
【図２】本発明の一実施形態による移動体識別方法の手順を示すフローチャート。
【符号の説明】
１　レーダ装置
２　ＥＯ／ＩＲセンサ
３　情報処理装置
４　画像処理装置
５　特徴量抽出装置
６　データベース
７　検索装置
８　照合装置
９　識別装置
１０　出力装置
【図１】
2004116998.tif 000003
【図２】
2004116998.tif 000004