(57)【要約】【課題】追尾処理の負荷を削減する。【解決手段】追尾処理装置１００において、探知処理部１２０は、上空からの画像に含まれる画像領域のうち、特徴量が基準を満たしている画像領域を探知点として検出する。地上物判定部１３０は、探知処理部１２０により検出された探知点の３次元座標を計算し、計算した３次元座標から、その探知点が地上物と非地上物とのいずれであるかを判定する。追尾処理部１４０は、地上物判定部１３０により非地上物であると判定された探知点に対して追尾処理を実行する。【選択図】図１
2017134006.tif 000002
【特許請求の範囲】
【請求項１】
上空からの画像に含まれる画像領域のうち、特徴量が基準を満たしている画像領域を探知点として検出する探知処理部と、
前記探知処理部により検出された探知点の３次元座標を計算し、計算した３次元座標から、その探知点が地上物と非地上物とのいずれであるかを判定する地上物判定部と、
前記地上物判定部により非地上物であると判定された探知点に対して追尾処理を実行する追尾処理部と
を備える追尾処理装置。
【請求項２】
前記地上物判定部は、前記探知処理部により過去に検出された探知点の中から、前記探知処理部により新たに検出された探知点と輝度分布が類似する探知点を抽出し、新たに検出された探知点の３次元座標と、抽出した探知点の３次元座標とを比較することで、新たに検出された探知点が地上物と非地上物とのいずれであるかを判定する請求項１に記載の追尾処理装置。
【請求項３】
前記地上物判定部は、前記画像が得られた上空の観測点の３次元座標と、前記観測点から前記探知処理部により検出された探知点を臨む方向である視軸方向と、地球中心からの地表の高さを示す高さ情報とから、その探知点の３次元座標を計算する請求項１又は２に記載の追尾処理装置。
【請求項４】
前記地上物判定部は、前記探知処理部により検出された探知点の３次元座標を計算する計算処理として、第１点から前記視軸方向に向かって、地表と前記第１点との高低差に対応する距離進んだ第２点の３次元座標を計算し、計算した３次元座標と前記高さ情報とから、地表と前記第２点との高低差を計算する計算処理を、最初は前記観測点を前記第１点として実行し、その後は地表と前記第１点との高低差の計算結果が閾値以下になるまで、前記第２点を次の計算処理における前記第１点として実行する請求項３に記載の追尾処理装置。
【請求項５】
探知処理部が、上空からの画像に含まれる画像領域のうち、特徴量が基準を満たしている画像領域を探知点として検出し、
地上物判定部が、前記探知処理部により検出された探知点の３次元座標を計算し、計算した３次元座標から、その探知点が地上物と非地上物とのいずれであるかを判定し、
追尾処理部が、前記地上物判定部により非地上物であると判定された探知点に対して追尾処理を実行する追尾処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追尾処理装置及び追尾処理方法に関するものである。
【背景技術】
【０００２】
追尾処理装置は、画像から高輝度の領域又は特徴的な形状を有する領域を探知点として抽出する。そして、追尾処理装置は、その探知点に対して追尾処理を実行する。具体的には、追尾処理装置は、画像から抽出した探知点を時系列で繋ぎ合わせる相関処理により、連続した探知点の集合である航跡を生成することで、目標を追尾する。
【０００３】
追尾処理では、最適な組み合わせを発見する最適化問題を解く必要があり、探知点数に対して処理時間が組み合わせ爆発的に増大する。したがって、処理時間を削減するために、追尾処理の前処理で追尾する必要のない探知点であるクラッタの除去、及び、同時追尾目標数の制限を行う必要がある。
【０００４】
従来の追尾処理装置は、波長帯の異なる２つの画像センサを利用し、スペクトルが目標とする飛しょう体の特性に合致しない探知点をクラッタとして除去している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２７３５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図８に示すように、２波長によるクラッタ除去の方式は、飛しょう体のスペクトルと大きく異なる自然物には良い性能を示す。しかし、人工物の中には飛しょう体と類似するスペクトルを持つクラッタが存在し、そのようなクラッタの除去は困難である。除去できない人工物が地上物の場合、長期間に渡ってクラッタが探知され続け、クラッタに対する誤追尾が発生し、処理時間の増大、及び、同時追尾数の制限により飛しょう体の追尾に失敗するおそれがある。
【０００７】
本発明は、追尾処理の負荷を削減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る追尾処理装置は、
上空からの画像に含まれる画像領域のうち、特徴量が基準を満たしている画像領域を探知点として検出する探知処理部と、
前記探知処理部により検出された探知点の３次元座標を計算し、計算した３次元座標から、その探知点が地上物と非地上物とのいずれであるかを判定する地上物判定部と、
前記地上物判定部により非地上物であると判定された探知点に対して追尾処理を実行する追尾処理部とを備える。
【発明の効果】
【０００９】
本発明によれば、地上物由来の探知点を除外することで処理負荷を削減することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る追尾処理装置の構成を示すブロック図。
【図２】実施の形態１に係る追尾処理装置の各部の詳細な構成を示すブロック図。
【図３】実施の形態１に係る追尾処理装置の動作を示すフローチャート。
【図４】実施の形態１に係る追尾処理装置によるマッチング処理を示す図。
【図５】実施の形態１に係る追尾処理装置による地上物判定処理を示す図。
【図６】実施の形態１に係る追尾処理装置による３次元座標推定処理を示す図。
【図７】実施の形態１の変形例に係る追尾処理装置の構成を示すブロック図。
【図８】２波長によるクラッタ除去の方式を示すグラフ。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一又は相当する部分には、同一符号を付している。実施の形態の説明において、同一又は相当する部分については、その説明を適宜省略又は簡略化する。
【００１２】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る追尾処理装置１００の構成を説明する。
【００１３】
追尾処理装置１００は、コンピュータである。追尾処理装置１００は、プロセッサ１０１、メモリ１０２といったハードウェアを備える。プロセッサ１０１は、信号線を介して他のハードウェアと接続され、他のハードウェアを制御する。
【００１４】
プロセッサ１０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ１０１は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００１５】
メモリ１０２は、具体的には、フラッシュメモリ、又は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００１６】
追尾処理装置１００は、ハードウェアとして、入力装置、ディスプレイ及び通信装置を備えていてもよい。入力装置は、具体的には、マウス、キーボード、又は、タッチパネルである。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である。通信装置は、データを受信するレシーバ及びデータを送信するトランスミッタを含む。通信装置は、具体的には、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
【００１７】
追尾処理装置１００は、画像センサ１１０と接続される。画像センサ１１０は、具体的には、光学センサ、又は、レーダである。画像センサ１１０は、任意のプラットフォームに搭載されてよいが、本実施の形態では航空機に搭載されている。追尾処理装置１００は、画像センサ１１０と同じ航空機に搭載されてもよいし、別のプラットフォームに搭載されてもよいし、地上に設置されてもよい。追尾処理装置１００により追尾される目標は、任意の移動体でよいが、本実施の形態では、画像センサ１１０が搭載された航空機の下方に存在する飛しょう体である。
【００１８】
追尾処理装置１００は、機能要素として、探知処理部１２０と、地上物判定部１３０と、追尾処理部１４０とを備える。探知処理部１２０、地上物判定部１３０、追尾処理部１４０といった「部」の機能は、ソフトウェアにより実現される。
【００１９】
メモリ１０２には、「部」の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１０１に読み込まれ、プロセッサ１０１によって実行される。メモリ１０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）も記憶されている。プロセッサ１０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
【００２０】
なお、「部」の機能を実現するプログラム及びＯＳは、補助記憶装置、或いは、磁気ディスク、光ディスク等の可搬記録媒体に記憶されていてもよい。補助記憶装置は、具体的には、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。補助記憶装置に記憶されているプログラム及びＯＳは、メモリ１０２にロードされ、プロセッサ１０１によって実行される。
【００２１】
追尾処理装置１００は、１つのプロセッサ１０１のみを備えていてもよいし、複数のプロセッサ１０１を備えていてもよい。複数のプロセッサ１０１が「部」の機能を実現するプログラムを連携して実行してもよい。
【００２２】
「部」の処理の結果を示す情報、データ、信号値、及び、変数値は、メモリ１０２、補助記憶装置、又は、プロセッサ１０１内のレジスタ又はキャッシュメモリに記憶される。
【００２３】
追尾処理装置１００は、１つのコンピュータであってもよいし、複数のコンピュータからなるコンピュータシステムであってもよい。探知処理部１２０、地上物判定部１３０及び追尾処理部１４０が、それぞれ別々のコンピュータで実現されてもよい。
【００２４】
図２を参照して、追尾処理装置１００の各部の詳細な構成を説明する。
【００２５】
画像センサ１１０は、それぞれ異なる波長の輝度を取得するｎ個の波長入力部１１１を有する。ここで、ｎは、２以上の自然数である。
【００２６】
探知処理部１２０は、入力処理部１２１と、波長処理部１２２と、探知点データベース１２３と、出力処理部１２４とを有する。地上物判定部１３０は、マッチング処理部１３１と、地上物判定処理部１３２と、地上物データベース１３３とを有する。
【００２７】
＊＊＊動作の説明＊＊＊
図３を参照して、追尾処理装置１００の動作を説明する。追尾処理装置１００の動作は、本実施の形態に係る追尾処理方法に相当する。追尾処理装置１００の動作は、本実施の形態に係る追尾処理プログラムの処理手順に相当する。
【００２８】
ステップＳ１１において、画像センサ１１０のｎ個の波長入力部１１１は、環境のセンシングにより画像データを取得して、探知処理部１２０へ送信する。具体的には、ｎ個の波長入力部１１１は、同一の視界に対して異なる波長に感度を持つｎ個の素子に１対１で対応しており、それぞれ対応する素子から画像データを取得して、探知処理部１２０へ送信する。
【００２９】
ステップＳ１２において、探知処理部１２０の入力処理部１２１は、画像センサ１１０からｎ波長分の画像データを受信する。入力処理部１２１は、受信した画像データに対し、ｎ個の素子の物理的な取り付け位置の差による補正を実施し、画素単位での位置の整合性を取る。そして、入力処理部１２１は、地上物判定部１３０に対して、予め選択された波長における画像データを送信する。
【００３０】
ステップＳ１３において、探知処理部１２０の波長処理部１２２は、入力処理部１２１により補正された画像データから、予め実測された飛しょう体のスペクトルに類似した探知点のみを抽出して探知点データベース１２３へ登録する。具体的には、波長処理部１２２は、図８に示した２波長によるクラッタ除去の方式と同様の方式を用いて、ｎ波長によるクラッタ除去を実施することで一部のクラッタを除去する。そして、波長処理部１２２は、残った探知点セットを探知点データベース１２３へ保存する。
【００３１】
上記のように、ステップＳ１２及びステップＳ１３では、探知処理部１２０が、上空からの画像に含まれる画像領域のうち、特徴量が基準を満たしている画像領域を探知点として検出する。上空からの画像は、本実施の形態では、航空機に搭載された画像センサ１１０によって得られる。画像領域の特徴量が基準を満たしているかどうかを判定する手法としては、従来と同様の手法を用いることができる。
【００３２】
ステップＳ１４において、地上物判定部１３０は、探知処理部１２０の探知点データベース１２３から最新の探知点セットを取得するとともに、探知処理部１２０の入力処理部１２１から画像データを受信する。そして、地上物判定部１３０は、取得した探知点セットに含まれる各探知点を中心とする任意のサイズの画像領域を切り出し、テンプレートとして保存する。追尾処理装置１００の起動直後は、過去の探知点のテンプレートが存在しないため、地上物判定部１３０における処理は終了となる。すなわち、ステップＳ１５及びステップＳ１６の処理はスキップされる。一方、過去の探知点のテンプレートが存在する場合は、ステップＳ１５の処理が開始される。
【００３３】
ステップＳ１５において、地上物判定部１３０のマッチング処理部１３１は、探知処理部１２０の探知点データベース１２３から取得された探知点セットに含まれる各探知点のテンプレートに対し、テンプレートマッチング手法を用いて、過去のテンプレートと対応がとれるかどうかを判定するマッチング処理を実行する。具体的には、マッチング処理部１３１は、最新の探知点に対応する画素の周辺領域であるテンプレートを構成する画素群の輝度値を、探知処理部１２０の入力処理部１２１から受信された画像データより抽出する。これにより、最新のテンプレートの輝度分布情報が得られる。マッチング処理部１３１は、図４に示すように、最新のテンプレートの輝度分布情報を、過去のテンプレートの輝度分布情報と照合する。そして、マッチング処理部１３１は、テンプレートの輝度分布情報が類似する探知点のペアをマッチング処理の結果として出力する。
【００３４】
ステップＳ１６において、地上物判定部１３０の地上物判定処理部１３２は、マッチング処理部１３１から出力された探知点のペアごとに、地上物判定処理を実行する。具体的には、地上物判定処理部１３２は、画像センサ１１０が搭載された航空機の機体の位置及び姿勢、各探知点の視軸方向、及び、地表の高低情報から、ペアの各探知点の３次元座標を推定する。このとき、メモリ１０２の記憶容量等の制約により地表の高低情報が取得できなければ、地上物判定処理部１３２は、航空機の高度計から取得される絶対高度と同じ地表面が広がっていると仮定して、３次元座標を推定する。地上物判定処理部１３２は、図５に示すように、ペアとなっている探知点の３次元座標の差が閾値内に収まる場合に、その探知点を地上物と判定し、地上物データベース１３３に登録する。
【００３５】
上記のように、ステップＳ１４からステップＳ１６では、地上物判定部１３０が、探知処理部１２０により検出された探知点の３次元座標を計算し、計算した３次元座標から、その探知点が地上物と非地上物とのいずれであるかを判定する。具体的には、地上物判定部１３０は、探知処理部１２０により過去に検出された探知点の中から、探知処理部１２０により新たに検出された探知点と輝度分布が類似する探知点を抽出する。そして、地上物判定部１３０は、新たに検出された探知点の３次元座標と、抽出した探知点の３次元座標とを比較することで、新たに検出された探知点が地上物と非地上物とのいずれであるかを判定する。
【００３６】
ステップＳ１７において、探知処理部１２０の出力処理部１２４は、探知点データベース１２３に登録されている最新の探知点セットを取得し、取得した探知点セットのうち、地上物データベース１３３に登録されていない探知点のみを探知データとして追尾処理部１４０へ送信する。
【００３７】
なお、ステップＳ１２及びステップＳ１３の処理と、ステップＳ１７の処理は、並列に実行可能である。
【００３８】
ステップＳ１８において、追尾処理部１４０は、探知処理部１２０の出力処理部１２４から探知データを受信し、受信した探知データを用いて、従来と同様の追尾処理を実施する。
【００３９】
上記のように、ステップＳ１８では、追尾処理部１４０が、地上物判定部１３０により非地上物であると判定された探知点に対して追尾処理を実行する。
【００４０】
図６を参照して、ステップＳ１６における３次元座標の推定の具体的手順を説明する。
【００４１】
地上物判定処理部１３２は、与えられた探知点ペアに含まれるそれぞれの探知点について、原点を地球中心とする３次元座標を以下の手順により推定する。
（１）画像センサ１１０が搭載された航空機の位置及び姿勢と、画像センサ１１０の取り付け方向と、画像内の探知点の位置とから、３次元空間内における機体中心から見た探知点の視軸方向の基底ベクトルｎを求める。
（２）基底ベクトルｎと、地球中心方向に対応する単位ベクトルｅＺとを用いて、基底ベクトルｎの鉛直方向への正射影成分ｎＺを求める。
（３）正射影成分ｎＺの大きさと機体の絶対高度ｈとの比率と、基底ベクトルｎとを用いて、初期探索点、すなわち、探索点Ｎ０を設定する。
（４）探索点Ｎｉに対応する３次元座標と地表との高低差Δｈｉが閾値以下になるまで、正射影成分ｎＺの大きさと高低差Δｈｉとの比率と、基底ベクトルｎとを用いて、探索点Ｎｉを探索点Ｎｉ＋１に更新する計算を繰り返す。
（５）最後に得られた探索点Ｎｌａｓｔに対応する３次元座標が、機体中心を原点とした座標系における探知点の３次元座標の推定値となる。この座標に対して地球中心を原点とした座標系における機体の３次元座標ｐを足した値が、以降の処理に用いる３次元座標となる。
【００４２】
地上物判定処理部１３２は、与えられた探知点ペアに含まれるそれぞれの探知点について推定した３次元座標の誤差が、画像センサ１１０の観測誤差、標高情報の誤差、及び、機体の振動による誤差により誤判定が起きない大きさ以下である場合、その探知点ペアの情報を地上物データベース１３３へ登録する。
【００４３】
上記のように、本実施の形態では、地上物判定部１３０が、画像が得られた上空の観測点の３次元座標ｐと、観測点から探知処理部１２０により検出された探知点を臨む方向である視軸方向と、地球中心からの地表の高さを示す高さ情報とから、その探知点の３次元座標（ｐ＋Ｎｌａｓｔ）を計算する。上空の観測点の３次元座標ｐは、本実施の形態では、画像センサ１１０が搭載された航空機の３次元座標ｐである。地上物判定部１３０は、本実施の形態では、探知処理部１２０により検出された探知点の３次元座標を計算する計算処理を次の手順で実行する。
（１）第１点から視軸方向に向かって、地表と第１点との高低差に対応する距離進んだ第２点の３次元座標を計算し、計算した３次元座標と高さ情報とから、地表と第２点との高低差を計算する計算処理を、最初は観測点を第１点として実行する。すなわち、１回目の計算処理では、観測点から視軸方向に向かって、地表と観測点との高低差ｈに対応する距離（ｈ／｜｜ｎＺ｜｜・ｎ）進んだ探索点Ｎ０の３次元座標を計算し、計算した３次元座標と高さ情報とから、地表と探索点Ｎ０との高低差Δｈ０を計算する。
（２）その後は地表と第１点との高低差の計算結果が閾値以下になるまで、第２点を次の計算処理における第１点として実行する。すなわち、高低差Δｈ０が閾値以下であれば、探索点Ｎ０の３次元座標を探知点の３次元座標の推定値として出力する。高低差Δｈ０が閾値を超えていれば、２回目の計算処理を実行する。ｉ回目の計算処理では、探索点Ｎｉから視軸方向に向かって、地表と探索点Ｎｉとの高低差Δｈｉに対応する距離（Δｈｉ／｜｜ｎＺ｜｜・ｎ）進んだ探索点Ｎｉ＋１の３次元座標を計算し、計算した３次元座標と高さ情報とから、地表と探索点Ｎｉ＋１との高低差Δｈｉ＋１を計算する。高低差Δｈｉ＋１が閾値以下であれば、探索点Ｎｉ＋１の３次元座標を探知点の３次元座標の推定値として出力する。高低差Δｈｉ＋１が閾値を超えていれば、（ｉ＋１）回目の計算処理を実行する。
【００４４】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、地上物由来の探知点を除外することで処理負荷を削減することができる。また、限られた同時追尾数を有効に利用することができる。したがって、限られた計算資源の下で、より多くの飛しょう体を追尾することが可能となる。
【００４５】
すなわち、本実施の形態によれば、不要な探知点を事前に除去することにより、追尾処理の負荷を低減し、より短い処理時間でより多くの飛しょう体を追尾することが可能になる。
【００４６】
また、本実施の形態によれば、工場地帯等のクラッタが多い環境下でも、誤追尾が発生しづらくなり、限られた同時追尾数の中で効率的に飛しょう体を追尾することが可能となる。
【００４７】
また、本実施の形態によれば、探知処理側だけでクラッタを除去することができるため、従来の追尾処理を変更することなく、処理負荷を削減できる。
【００４８】
＊＊＊他の構成＊＊＊
本実施の形態では、「部」の機能がソフトウェアにより実現されるが、変形例として、「部」の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。
【００４９】
図７を参照して、本実施の形態の変形例に係る追尾処理装置１００の構成を説明する。
【００５０】
追尾処理装置１００は、処理回路１０９、画像センサ１１０といったハードウェアを備える。
【００５１】
処理回路１０９は、前述した「部」の機能を実現する専用の電子回路である。処理回路１０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）である。
【００５２】
「部」の機能は、１つの処理回路１０９により実現されてもよいし、複数の処理回路１０９に分散して実現されてもよい。
【００５３】
別の変形例として、「部」の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。即ち、１つ又はいくつかの「部」の機能が専用のハードウェアにより実現され、残りの機能がソフトウェアにより実現されてもよい。
【００５４】
プロセッサ１０１、メモリ１０２、及び、処理回路１０９を、総称して「プロセッシングサーキットリ」という。つまり、追尾処理装置１００の構成が図１及び図７のいずれに示した構成であっても、「部」の機能は、プロセッシングサーキットリにより実現される。
【００５５】
「部」を「工程」又は「手順」又は「処理」に読み替えてもよい。また、「部」の機能をファームウェアにより実現してもよい。
【００５６】
以上、本発明の実施の形態について説明したが、この実施の形態を部分的に実施しても構わない。具体的には、この実施の形態の説明において「部」として説明するもののうち、一部のみを採用してもよい。なお、本発明は、この実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００５７】
１００  追尾処理装置、１０１  プロセッサ、１０２  メモリ、１０９  処理回路、１１０  画像センサ、１１１  波長入力部、１２０  探知処理部、１２１  入力処理部、１２２  波長処理部、１２３  探知点データベース、１２４  出力処理部、１３０  地上物判定部、１３１  マッチング処理部、１３２  地上物判定処理部、１３３  地上物データベース、１４０  追尾処理部。
【図１】
2017134006.tif 000003
【図２】
2017134006.tif 000004
【図３】
2017134006.tif 000005
【図４】
2017134006.tif 000006
【図５】
2017134006.tif 000007
【図６】
2017134006.tif 000008
【図７】
2017134006.tif 000009
【図８】
2017134006.tif 000010