(57)【特許請求の範囲】
【請求項１】
画像処理システムを利用して目標対象物を判定する目標判定システムであって、
撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力する画像入力手段と、
前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するための照合処理手段と、
前記照合処理手段により同一対象物であると照合された各セグメントの識別関数値である評価値を、前記照合処理手段により与えられた前記各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出する識別関数計算手段と、
前記識別関数計算手段により算出された前記各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により前記各セグメントの総合的評価値を求めて比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定する判定処理手段と
を具備したことを特徴とする目標判定システム。
【請求項２】
画像処理システムを利用して目標対象物を判定する目標判定システムに適用する判定方法であって、
撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力するステップと、
前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するステップと、
前記照合処理ステップにより同一対象物であると照合された各セグメントの識別関数値である評価値を、前記抽出された各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出するステップと、
前記算出された各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により、各セグメントの総合的評価値を算出するステップと、
前記各総合的評価値を比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定するステップと
を有する手順を実行することを特徴とする判定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特に画像処理システムを利用して、目標対象物の監視や追従処理に必要な目標対象を判定するための目標判定システム及び判定方法に関する。
【０００２】
【従来の技術】
従来、例えばミサイルの目標判定システムや監視システムでは、目標対象物の追従や監視処理を行なうために、当該目標対象物を特定するための目標判定システムが設けられている。
【０００３】
目標判定システムは、例えばカメラなどの撮像装置から得られた入力画像データを入力し、当該画像データから対象物候補を抽出し、最終的に目標対象物を特定する処理プロセスを実行する。当該システムは、画像処理システムを利用して、静止画像処理方式による輝度やコントラスト検出に基づいた対象物候補の抽出処理や、動画像処理（動ベクトル処理）方式による移動領域の検出に基づいた対象物候補の抽出処理を実行する。要するに、目標判定システムは、各画像処理方式により、対象物候補の特徴量を抽出して、この特徴量に基づいて最終的な目標対象物の判定処理を実行している。
【０００４】
【発明が解決しようとする課題】
従来の画像処理システムを利用した目標判定システムは、対象物の特徴が一元的でかつ計測値の大小比較で判定可能な場合には、比較的容易に対象候補から目標対象物を判定することができる。
【０００５】
しかしながら、特に目標対象物が野外に存在する場合には、多数の類似物体（対象物候補）が存在する可能性が高い。このため、各対象物候補毎に画像処理を行なうことは、処理量が増大化し、結果として判定処理の遅延化を招く。また、画像処理の種類を単純に増加させた場合も、処理量が増大化し、同様に処理の遅延化を招く。また、必ずしも処理精度が向上するとは限らない。
【０００６】
一方、野外では環境変化が激しい場合が多く、一元的な画像処理を適用した場合には、画像状況の変化、ノイズの増大などにより、一時的に対象候補を検出できない事態となる可能性が高い。この結果として、連続的な判定処理では、処理が停止状態になったり、対象候補に対する十分な特徴量を抽出できない事態が発生する可能性が高い。
【０００７】
そこで、本発明の目的は、多数の類似物体（対象物候補）が存在し、かつ環境変化が激しい場合でも、処理の高速化及び処理精度の向上を図ることにより、高性能の目標判定システム及び判定方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の観点に従った目標判定システムは、画像処理システムを利用して目標対象物を判定する目標判定システムであって、撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力する画像入力手段と、前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するための照合処理手段と、前記照合処理手段により同一対象物であると照合された各セグメントの識別関数値である評価値を、前記照合処理手段により与えられた前記各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出する識別関数計算手段と、前記識別関数計算手段により算出された前記各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により前記各セグメントの総合的評価値を求めて比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定する判定処理手段とを備えた構成である。
【０００９】
このような構成であれば、例えば静止画像処理方式及び動画像処理（動ベクトル処理）方式のような複数種の処理方式を同時、並列に実行して、各処理方式により対象物候補の特徴量を得ることができる。従って、対象物候補に対する特徴を多角的に捉えることが可能となり、環境変化などにより一部の処理結果が無効になるような事態でも、十分な特徴量を確保することができる。また、複数種の処理方式を同時、並列に実行すれば、多数の対象物候補が存在する場合でも、結果として判定処理速度の低下を招くことはない。さらに、各処理方式により得られた対象物候補の特徴量を、いわば統合的に処理して対象物候補の総合的評価値を得ることにより、最終的に目標対象物の判定精度を向上させることができる。
【００１０】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を説明する。
【００１１】
（目標判定システムの構成）
図１は、ディジタル画像処理システムを利用した目標判定システム１の構成を示すブロック図である。当該システム１は大別して、画像入力系２０と、対象物判定処理システム１０と、総合判定部３０とから構成されている。
【００１２】
画像入力系２０は、複数種の画像処理方式による例えば静止画像処理部２００及び動画像処理部（動ベクトル処理部）２０１を有する。画像入力系２０は、入力画像に対して、異なる各画像処理を同時、並列に実行して、それぞれの画像処理データ（ＳＤ），（ＭＤ）を生成する。ここで、入力画像は、目標対象物を含む範囲をカメラなどの撮像装置（図示せず）により撮像された画像データである。
【００１３】
静止画像処理部２００は、例えば２次元ＣＦＡＲ（two dimensional Constant False Alarm Rate）処理方式などを利用した処理部であり、入力画像から輝度、コントラストの強い領域を検出して、画像処理データ（ＳＤ）として出力する。また、動画像処理部２０１は、入力画像から移動ベクトル処理を実行して、移動領域を検出して、画像処理データ（ＭＤ）として出力する。
【００１４】
ここで、各画像処理により検出された領域は、セグメントとして定義する。各セグメントは、目標対象物、類似した対象物候補、及びそれらの背景のいずれかに属するものである。各画像処理データ（ＳＤ），（ＭＤ）には、後述するセグメントの特徴量（Ｕａ），（Ｕｂ）が含まれている。
【００１５】
対象物判定処理システム１０は、セグメント照合処理部１００と、識別関数値計算部１０１と、傾斜相関処理部１０２とを有する。セグメント照合処理部１００は、画像入力系２０から出力された画像処理データ（ＳＤ），（ＭＤ）を入力して、各画像処理方式毎に特徴量（Ｕａ），（Ｕｂ）を抽出して出力する。さらに、セグメント照合処理部１００は、位置情報などに基づいてセグメント照合処理を実行し、各セグメントが同一対象物であるか否かを判定する機能を有する。
【００１６】
識別関数値計算部１０１は、セグメント照合処理部１００により与えられる特徴量（Ｕａ），（Ｕｂ）及び所定の特徴量重み係数（ωａ，ωｂ）を使用して、複数の対象物候補（セグメント）の識別関数値（評価値（Ｖ））を計算する。ここで、特徴量重み係数（ωａ，ωｂ）は、目標対象物を最も的確に算出可能であるような予め設定された設定値である。傾斜相関処理部１０２は、傾斜相関処理により複数フレームの評価値を割引ながら積算する処理であり、時系列要素を考慮した複数の対象物候補の総合評価値（ＣＶ）を求める機能を有する。
【００１７】
総合判定部３０は、複数の対象物候補の総合評価値（ＣＶ）を比較処理し、例えば相対的に最大値を示す総合評価値（ＣＶ）のセグメントを最終的に目標対象物であると判定する機能を有する。
【００１８】
（目標判定処理の手順）
以下図１と共に、図２から図５、及び図６のフローチャートを参照して、同実施形態のシステムの処理手順を説明する。
【００１９】
まず、カメラなどの撮像装置により、例えば図２（Ａ）に示すような入力画像が画像入力系２０に入力されて処理される。画像入力系２０は、前述したように、入力画像に対して異なる各画像処理を同時、並列に実行して、それぞれの画像処理データ（ＳＤ），（ＭＤ）を生成する（ステップＳ１）。ここで、入力画像としては、対象物候補（Ｔ１），（Ｔ２）及び背景（Ａ，Ｂ）が含まれていると想定する。
【００２０】
セグメント照合処理部１００は、画像入力系２０から出力された画像処理データ（ＳＤ），（ＭＤ）から、各画像処理方式毎に特徴量（Ｕａ），（Ｕｂ）を抽出して出力する（ステップＳ２）。具体的には、図２（Ｂ）に示すように、同図（Ａ）に示す画像に対して、静止画像処理部２００からの画像処理データ（ＳＤ）から、対象物候補（Ｔ１），（Ｔ２）及び背景（Ａ，Ｂ）に対応する特徴量（Ｕａ）を抽出する。また、図３（Ｂ）に示すように、同図（Ａ）に示す画像に対して、動画像処理部２０１からの画像処理データ（ＭＤ）から、対象物候補（Ｔ１），（Ｔ２）及び背景（Ａ，Ｂ）に対応する特徴量（Ｕｂ）を抽出する。
【００２１】
さらに、セグメント照合処理部１００は、位置情報などに基づいてセグメント照合処理を実行し、各セグメントが同一対象物であるか否かを判定する（ステップＳ３）。ここでは、当該判定処理により、対象物候補（Ｔ１），（Ｔ２）及び背景（Ａ，Ｂ）である各セグメントは、同一対象物ではないと判定される。
【００２２】
識別関数値計算部１０１は、図４に示すように、セグメント照合処理部１００により与えられる特徴量（Ｕａ），（Ｕｂ）及び所定の特徴量重み係数（ωａ，ωｂ）を使用して、複数の対象物候補（Ｔ１，Ｔ２）の評価値（Ｖ１，Ｖ２）を計算する（ステップＳ４）。ここで、背景（Ａ，Ｂ）である各セグメントは、当該計算部１０１による評価値に基づいて、目標対象物から除外される。さらに、傾斜相関処理部１０２は、複数の対象物候補（Ｔ１，Ｔ２）の評価値（Ｖ１，Ｖ２）から、時系列要素を考慮した総合評価値（ＣＶ１，ＣＶ２）を求める（ステップＳ５）。
【００２３】
そして、総合判定部３０は、複数の対象物候補の総合評価値（ＣＶ１，ＣＶ２）を比較処理し、相対的に最大値を示す総合評価値のセグメントを最終的に目標対象物であると判定する（ステップＳ６）。ここでは、図５に示すように、相対的に大きい総合評価値（ＣＶ１）を示す対象物候補（Ｔ１）を、最終的に目標対象物（５０）として判定する。
【００２４】
以上のように同実施形態によれば、入力画像に対して異なる複数種の画像処理方式を同時、並列に実行して、各処理方式により対象物候補の複数の特徴量を得ることができる。従って、同一の対象物候補の場合でも特徴を多角的に捉えることが可能となる。これにより、環境変化などにより一部の処理結果が無効になるような事態でも、十分な特徴量を確保することができる。また、複数種の処理方式を同時、並列に実行することにより、多数の対象物候補が存在する場合でも、処理速度の高速化を図ることができる。従って、結果として目標対象物の判定処理速度の低下を招くことはない。さらに、各処理方式により得られた対象物候補の特徴量を、いわば統合的に処理して総合的評価値に基づいて目標対象物を判定するため、判定精度を向上させることができる。
【００２５】
【発明の効果】
以上詳述したように本発明によれば、多数の類似物体（対象物候補）が存在し、かつ環境変化が激しい場合でも、処理の高速化及び処理精度の向上を図ることにより、高性能の目標判定システムを提供することにある。従って、本発明のシステムを、例えば野外に存在する目標対象物を追従するミサイルシステムや、環境変化の激しい野外に存在する対象物を監視する監視システムに適用すれば、確実に目標対象物を特定できるため、極めて有用である。
【図面の簡単な説明】
【図１】本発明の実施形態に関係する目標判定システムの要部を示すブロック図。
【図２】同実施形態に関係するセグメント照合処理部の処理を説明するための図。
【図３】同実施形態に関係するセグメント照合処理部の処理を説明するための図。
【図４】同実施形態に関係する識別関数値計算部の処理を説明するための図。
【図５】同実施形態に関係する総合判定部の処理を説明するための図。
【図６】同実施形態の判定処理の手順を説明するためのフローチャート。
【符号の説明】
１…目標判定システム
１０…対象物判定処理システム
２０…画像入力系
３０…総合判定部
１００…セグメント照合処理部
１０１…識別関数値計算部
１０２…傾斜相関処理部
２００…静止画像処理部
２０１…動画像処理部（動ベクトル処理部）
【図１】
0003946927.tif 000002
【図２】
0003946927.tif 000003
【図３】
0003946927.tif 000004
【図４】
0003946927.tif 000005
【図５】
0003946927.tif 000006
【図６】
0003946927.tif 000007