(57)【要約】【課題】撮像対象の移動体を正確に追尾する技術を実現する。【解決手段】追尾対象画像生成部３が、一定周期で移動体の撮像画像を含む観測画像を入力し、移動体の撮像画像が表示されていると予測される予測画像を入力し、予測画像に基づき観測画像を解析し、観測画像において移動体の撮像画像が表示されている追尾対象画像を推定する。重心速度推定部５は、追尾対象画像に基づき移動体の移動速度を推定し、次の周期の次周期観測画像において移動体の撮像画像の重心位置に対応する画素を次周期重心画素として予測する。追尾対象画像予測部４は、飛行体の推定移動速度と、追尾対象画像のサイズと次の周期までの残存時間に基づき、次周期観測画像における移動体の撮像画像のサイズを次周期画像サイズとして算出し、次周期画像サイズと次周期重心画素に基づき、次周期の予測画像を算出し、追尾対象画像生成部３に通知する。【選択図】図１
2009171369.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素から構成され追尾対象の移動体の撮像画像が表示されている画像データを一定周期で入力するとともに、前記移動体の撮像画像が表示されていると予測された画素座標上の領域を予測画素領域として示す予測画素領域データを入力し、前記予測画素領域に基づいて前記画像データを解析し、前記画像データにおいて前記移動体の撮像画像が表示されている領域を追尾対象画素領域として推定する画素領域推定部と、
前記追尾対象画素領域に基づき前記移動体の移動速度を推定するとともに、次の周期に前記画素領域推定部に入力される次周期画像データにおいて前記移動体の撮像画像の重心位置に対応する画素を次周期重心画素として予測する重心速度推定部と、
前記移動体の推定移動速度と前記追尾対象画素領域のサイズと次の周期までの残存時間とに基づき、前記次周期画像データにおける前記移動体の撮像画像のサイズを次周期画像サイズとして算出し、算出した前記次周期画像サイズと前記次周期重心画素とに基づき、前記次周期画像データにおける予測画素領域を算出し、算出した予測画素領域を示す予測画素領域データを生成する予測画素領域算出部とを有することを特徴とする画像データ処理装置。
【請求項２】
前記画素領域推定部は、
入力した前記画像データの画素ごとの輝度状況と予測画素領域とに基づき、前記追尾対象画素領域を推定することを特徴とする請求項１に記載の画像データ処理装置。
【請求項３】
前記画素領域推定部は、
前記予測画素領域を画素座標上で回転させ、入力した前記画像データの画素ごとの輝度状況と回転させた予測画素領域とに基づき、前記追尾対象画素領域を推定することを特徴とする請求項１又は２に記載の画像データ処理装置。
【請求項４】
前記画素領域推定部は、
閾値以上の輝度の複数の画素で構成される一塊の画素ブロックを１つ以上前記画像データから抽出し、抽出した画素ブロックごとに、画素ブロックの形状と予測画素領域の形状との間の相関度を算出し、算出した相関度に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックの領域を前記追尾対象画素領域の少なくとも一部とすることを特徴とする請求項２又は３に記載の画像データ処理装置。
【請求項５】
前記画素領域推定部は、
前記予測画素領域に含まれる画素ごとの予測輝度が示される予測画素領域データを入力し、抽出した画素ブロックごとに、画素ブロックに含まれる画素ごとに測定された画素ごとの測定輝度と前記予測画素領域データに示される前記予測画素領域の画素ごとの予測輝度とに基づき、抽出した画素ブロックごとに、画素ブロックの画素ごとの測定輝度と予測画素領域の画素ごとの予測輝度との間の相関度を算出し、算出した相関度に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックの領域を前記追尾対象画素領域の少なくとも一部とすることを特徴とする請求項４に記載の画像データ処理装置。
【請求項６】
前記画素領域推定部は、
閾値以上の輝度の複数の画素で構成される一塊の画素ブロックを１つ以上前記画像データから抽出し、抽出した画素ブロックごとに、予測画素領域と画素座標上で重なっている度合いを示す重なり値を算出し、算出した重なり値に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックの領域を前記追尾対象画素領域の少なくとも一部とすることを特徴とする請求項２又は３に記載の画像データ処理装置。
【請求項７】
前記画素領域推定部は、
前記重なり値として、各画素ブロックの画素のうち予測画素領域と重なっている重なり画素の画素数と、各画素ブロックの重なり画素の画素数が全画素ブロックの重なり画素の画素数に占める割合を算出することを特徴とする請求項６に記載の画像データ処理装置。
【請求項８】
前記画素領域推定部は、
閾値以上の輝度の複数の画素で構成される一塊の画素ブロックを１つ以上前記画像データから抽出し、抽出した画素ブロックごとに、画素ブロックの形状と予測画素領域の形状との間の相関度を算出するとともに、予測画素領域と画素座標上で重なっている度合いを示す重なり値を算出し、算出した相関度及び重なり値に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックの領域を前記追尾対象画素領域の少なくとも一部とすることを特徴とする請求項２又は３に記載の画像データ処理装置。
【請求項９】
前記画素領域推定部は、
抽出した複数の画素ブロックの中から２つ以上の画素ブロックを選択した場合に、選択した２つ以上の画素ブロックの領域を前記追尾対象画素領域とするとともに、選択した２つ以上の画素ブロックの間にある領域であって前記予測画素領域と重なる領域も前記追尾対象画素領域とすることを特徴とする請求項４〜８のいずれかに記載の画像データ処理装置。
【請求項１０】
前記画素領域推定部は、
所定の場合に、前記予測画素領域の形状に対応させて前記追尾対象画素領域の形状を平滑化し、
前記予測画素領域算出部は、
平滑化後の前記追尾対象画素領域のサイズに基づき、前記次周期画像サイズを算出することを特徴とする請求項１〜９のいずれかに記載の画像データ処理装置。
【請求項１１】
前記画像データ処理装置は、更に、
前記予測画素領域算出部により算出された予測画素領域の前記次周期画像データにおける位置を判断し、前記予測画素領域の少なくとも一部が前記次周期画像データの外縁をオーバするか否かを判定する位置判定部を有することを特徴とする請求項１〜１０のいずれかに記載の画像データ処理装置。
【請求項１２】
前記位置判定部は、
前記予測画素領域の少なくとも一部が前記次周期画像データの外縁をオーバすると判定した場合に、前記予測画素領域の少なくとも一部が前記次周期画像データの外縁をオーバすることを通知する警告情報を前記画素領域推定部に出力し、
前記画素領域推定部は、
新たな画像データ及び新たな予測画素領域データを入力した際に前記位置判定部から前記警告情報を入力した場合に、追尾対象画素領域の推定は行わず、当該新たな予測画素領域データに示されている予測画素領域を当該新たな画像データの追尾対象画素領域とすることを特徴とする請求項１１に記載の画像データ処理装置。
【請求項１３】
前記位置判定部は、
前記予測画素領域の少なくとも一部が前記次周期画像データの外縁をオーバすると判定した場合に、前記予測画素領域が前記次周期画像データの外縁をオーバしない１画素あたりの解像度を算出することを特徴とする請求項１１に記載の画像データ処理装置。
【請求項１４】
前記画素領域推定部は、
前記予測画素領域の形状と前記追尾対象画素領域の形状とを比較し、前記予測画素領域の形状と前記追尾対象画素領域の形状との差異が所定の閾値未満であれば、前記予測画素領域の形状に対応させて前記追尾対象画素領域の形状を平滑化し、前記予測画素領域の形状と前記追尾対象画素領域の形状との差異が所定の閾値以上であれば、前記追加対象画像領域の平滑化を行わないことを特徴とする請求項１〜１３のいずれかに記載の画像データ処理装置。
【請求項１５】
前記画像データ処理装置は、更に、
複数種の移動体について、移動体ごとに、移動体のサイズ及び移動速度を示す移動体情報を記憶する移動体情報データベースを有し、
前記予測画素領域算出部は、
前記追尾対象画素領域のサイズから追尾対象の移動体のサイズを算出し、算出した追尾対象の移動体のサイズ及び追尾対象の移動体の推定移動速度と所定の誤差範囲内で一致する移動体のサイズ及び移動速度を前記移動体情報において検索し、所定の誤差範囲内で一致する移動体のサイズ及び移動速度を抽出できた場合に、抽出した移動体のサイズ及び移動速度を用いて前記次周期画像サイズを算出することを特徴とする請求項１〜１４のいずれかに記載の画像データ処理装置。
【請求項１６】
前記画素領域推定部は、
追尾対象の移動体の撮像画像が表示されている赤外２次元角度画像データを一定周期で入力することを特徴とする請求項１〜１５のいずれかに記載の画像データ処理装置。
【請求項１７】
複数の画素から構成され追尾対象の移動体の撮像画像が表示されている画像データを一定周期で入力するとともに、前記移動体の撮像画像が表示されていると予測された画素座標上の領域を予測画素領域として示す予測画素領域データを入力し、前記予測画素領域に基づいて前記画像データを解析し、前記画像データにおいて前記移動体の撮像画像が表示されている領域を追尾対象画素領域として推定する画素領域推定処理と、
前記追尾対象画素領域に基づき前記移動体の移動速度を推定するとともに、次の周期に前記画素領域推定処理において入力される次周期画像データにおいて前記移動体の撮像画像の重心位置に対応する画素を次周期重心画素として予測する重心速度推定処理と、
前記移動体の推定移動速度と前記追尾対象画素領域のサイズと次の周期までの残存時間とに基づき、前記次周期画像データにおける前記移動体の撮像画像のサイズを次周期画像サイズとして算出し、算出した前記次周期画像サイズと前記次周期重心画素とに基づき、前記次周期画像データにおける予測画素領域を算出し、算出した予測画素領域を示す予測画素領域データを生成する予測画素領域算出処理とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体を追尾しながら撮影する技術に関し、特に２次元角度赤外画像における追尾技術に関する。
【背景技術】
【０００２】
移動体を追尾しながら撮影する技術として、特許文献１の技術がある。
特許文献１では、撮像素子による撮影範囲に対する被写体の特徴部分の位置及び移動量を算出し、被写体の特徴部分を追尾しながら撮影がなされるように、撮影倍率及び追尾方向等を制御する技術が記載されている。
【０００３】
また、２次元角度赤外画像における追尾では、画像の大きさが数画素のものを追尾対象とし、複数画像が存在する場合は、各画像は異なる目標もしくは不要信号による画像であることを前提とし、センサにより観測されるたびに各画素の観測輝度と配置から重心位置を算出し、その観測画像から算出した重心位置と前回観測時に算出された重心の平滑位置を用いて仮定した運動モデルからの予測位置とから今回観測時における重心位置の平滑値を観測モデルと運動モデルから出力することを繰り返すことによって、画像の重心位置を追尾し、センサにより撮像された画像の目標の追尾を行っている（例えば、非特許文献１）。
【特許文献１】特開平１１−１２２５２６号公報
【非特許文献１】Ｙａａｋｏｖ  Ｂａｒ−Ｓｈａｒｌｏｍ著「Ｍｕｌｔｉｔａｒｇｅｔ−Ｍｕｌｔｉｓｅｎｓｏｒ  Ｔｒａｃｋｉｎｇ：Ａｐｐｌｉｃａｔｉｏｎｓ  ａｎｄ  Ａｄｖａｎｃｅｓ  ＶｏｌｕｍｅＩＩ」ＡＲＴＥＣＨ  ＨＯＵＳＥ，１９９２年１月１日、Ｐ１１１〜１２５
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来は、観測画像が画角を超えた場合でも、撮像された画素のみから重心位置を算出したり、大気の状況の影響により一つの目標からの画像が分離した場合には各画像から重心位置を算出することで、観測画像から算出する重心位置が不正確になるため、重心の平滑位置の算出に追尾処理の精度の劣化を招くという課題があった。
【０００５】
この発明は上記のような課題を解決することを主な目的の一つとしており、移動体の撮像画像が表示される領域を予測し、予測した領域を用いて、撮像対象の移動体を正確に追尾する技術を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像データ処理装置は、
複数の画素から構成され追尾対象の移動体の撮像画像が表示されている画像データを一定周期で入力するとともに、前記移動体の撮像画像が表示されていると予測された画素座標上の領域を予測画素領域として示す予測画素領域データを入力し、前記予測画素領域に基づいて前記画像データを解析し、前記画像データにおいて前記移動体の撮像画像が表示されている領域を追尾対象画素領域として推定する画素領域推定部と、
前記追尾対象画素領域に基づき前記移動体の移動速度を推定するとともに、次の周期に前記画素領域推定部に入力される次周期画像データにおいて前記移動体の撮像画像の重心位置に対応する画素を次周期重心画素として予測する重心速度推定部と、
前記移動体の推定移動速度と前記追尾対象画素領域のサイズと次の周期までの残存時間とに基づき、前記次周期画像データにおける前記移動体の撮像画像のサイズを次周期画像サイズとして算出し、算出した前記次周期画像サイズと前記次周期重心画素とに基づき、前記次周期画像データにおける予測画素領域を算出し、算出した予測画素領域を示す予測画素領域データを生成する予測画素領域算出部とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、追尾対象の移動体の撮像画像が表示されている可能性の高い画素領域を予測し、予測した画素領域及び入力した画像データにおける輝度状況に基づいて画像データを解析して、移動体の撮像画像が表示される画素領域を推定しており、大気の状況やセンサの観測雑音等の影響を排除して移動体を正確に追尾することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本実施の形態１に係る赤外画像追尾装置１００の構成例を示す。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部３、追尾対象画像予測部４及び重心速度推定部５を備えて構成される。
なお、赤外画像追尾装置１００は画像データ処理装置の例であり、追尾対象画像生成部３は画素領域推定部の例であり、追尾対象画像予測部４は予測画素領域算出部の例である。
なお、以下の説明では、飛行機等の飛行体を移動体の例とし、地上に配置されている赤外線センサにより飛行体を撮像する場合を前提に説明する。
【０００９】
画像入力部１は、赤外線センサによる赤外２次元角度画像を取得する。
画像入力部１が取得する赤外２次元角度画像は、複数の画素から構成され追尾対象の飛行体の撮像画像が表示されている観測画像である。
【００１０】
画像抽出部２は、画像入力部１で得た画素ごとの輝度情報を基に画素を複数の観測画像に分離する。
つまり、画像抽出部２は、画素ごとに閾値以上の輝度があるか否かを判定し、閾値以上の輝度のある画素と閾値未満の輝度の画素とを峻別する。
この結果、画像抽出部２は、複数の画素で構成される一塊のブロックを観測画像から抽出する。
この閾値以上の輝度の複数の画素で構成される一塊のブロックを画素ブロックと呼ぶ。
なお、画像抽出部２は複数個の画素ブロックを抽出する場合がある。
【００１１】
追尾対象画像生成部３は、一定周期で画像抽出部２から観測画像を入力する。追尾対象画像生成部３が画像抽出部２から入力する観測画像は画像データの例である。画像抽出部２から入力する観測画像は、複数画素で構成され、また、追尾対象の飛行体の撮像画像が表示されている。また、観測画像には、画像抽出部２により抽出された１つ以上の画素ブロックが含まれる。
図２は追尾対象画像生成部３が画像抽出部２から入力した観測画像の例であり、画素ブロックが１つの場合を示す。図中、ハッチングされている領域が画素ブロックである。また、図５は、画素ブロックが４つ含まれる観測画像を示す。なお、画像抽出部２から入力する観測画像の各画素には画素番号が設定されており、例えば、追尾対象画像生成部３は画像抽出部２から画素ブロックに含まれる画素（閾値以上の輝度を有する画素）の画素番号の通知を受け、これにより観測画素から画素ブロックを抽出することができる。また、追尾対象画像生成部３は、例えば、画像抽出部２から各画素における輝度情報を入力し、各画素の輝度を認識することもできる。
また、追尾対象画像生成部３は、追尾対象画像予測部４から飛行体の撮像画像が表示されていると予測された画素座標上の領域を予測画像（予測画素領域）として示すデータ（予測画素領域データ）を入力し、入力したデータに示される予測画像に基づいて観測画像を解析し、観測画像において飛行体の撮像画像が表示されている領域を追尾対象画像（追尾対象画素領域）として推定する。
そして、追尾対象画像生成部３は、追尾対象画像を追尾対象画像予測部４及び重心速度推定部５に通知する。例えば、追尾対象画像を構成する画素番号を追尾対象画像予測部４及び重心速度推定部５に通知する。
なお、画素座標とは、図２等に示される複数画素で構成される座標である。
【００１２】
重心速度推定部５は、追尾対象画像生成部３により推定された追尾対象画像に基づき飛行体の移動速度を推定するとともに、次の周期に追尾対象画像生成部３に入力される次周期観測画像（次周期画像データ）において飛行体の撮像画像の重心位置に対応する画素を次周期重心画素として予測する。
つまり、飛行体は移動しているため、次周期観測画像では、現在の観測画像と異なる位置に飛行体の撮像画像が表示されることになる。重心速度推定部５は、飛行体の特定の一点を重心とし、次周期観測画像において飛行体の重心が位置する画素を次周期重心画素として予測する。
【００１３】
追尾対象画像予測部４は、重心速度推定部５により算出された飛行体の推定移動速度と、追尾対象画像生成部３により生成された追尾対象画像のサイズ（長径、短径）と次の周期までの残存時間とに基づき、次周期観測画像における飛行体の撮像画像のサイズを次周期画像サイズとして算出する。例えば、飛行体が赤外画像追尾装置１００に向かって飛行している場合は、次周期観測画像では現在の観測画像よりも飛行体の撮像画像は大きなサイズになるし、逆に、飛行体が赤外画像追尾装置１００から遠ざかる方向に飛行している場合は、次周期観測画像では現在の観測画像よりも飛行体の撮像画像は小さなサイズになる。
そして、追尾対象画像予測部４は、算出した次周期画像サイズと重心速度推定部５により算出された次周期重心画素とに基づき、次周期観測画像において飛行体の撮像画像が表示される可能性のある領域を予測画像として算出し、算出した予測画像を示すデータを生成し、追尾対象画像生成部３に通知する。なお、追尾対象画像予測部４は、例えば、予測画像を構成する画素番号を追尾対象画像生成部３に通知する。
【００１４】
なお、本実施の形態及び以降の実施の形態では、重心速度推定部５が次周期重心画素を予測する例について説明するが、これに代えて、重心速度推定部５は、飛行体の推定移動速度、及び現在の観測画像における飛行体の撮像画像における重心に対応する画素を算出し、追尾対象画像予測部４が推定移動速度及び現在の観測画像における重心画素から次周期重心画素を予測するようにしてもよい。
【００１５】
追尾対象画像生成部３において、画像相関部３０１は、観測画像と予測画像を入力し、観測画像から画素ブロックを抽出し、画像相関方法設定部３０４で定義される相関方法に基づき画像の特徴量（形状、位置、輝度等）に関する画素ブロックと予測画像における相関度を算出し観測画像候補を出力する。
図２又は図５は観測画像の例である。また、図３は予測画像の例である。本実施の形態では、予測画像は、長径と短径で表象される矩形とする。
図２のように画素ブロックが一つの場合は、一つの画素ブロックが観測画像候補として選択される。図５のように、複数の画素ブロックが存在する場合は、追尾対象画像生成部３により各画素ブロックと予測画像との相関度が計算され、複数の画素ブロックのうちの任意数の画素ブロックが観測画像候補として選択される。
【００１６】
画像相関部３０１は、例えば、観測画像から画素ブロックを１つ以上抽出し、抽出した画素ブロックごとに、画素ブロックの形状、画素座標上の位置、輝度等と予測画像の形状、画素座標上の位置、輝度等との間の相関度を算出し、算出した相関度に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックを観測画像候補とする。
相関度の具体的な算出方法は後述するが、例えば、抽出した画素ブロックごとに、画素ブロックの画素ごとの測定輝度と予測画像の画素ごとの予測輝度との間の相関度を算出することが考えられる。
また、画像相関部３０１は、例えば、抽出した画素ブロックごとに、予測画像と画素座標上で重なっている度合いを示す重なり値を算出し、算出した重なり値に基づいて、いずれかの画素ブロックを選択し、選択した画素ブロックを観測画像候補とする。
重なり値の具体的な算出方法は後述するが、例えば、重なり値として、各画素ブロックの画素のうち予測画像と重なっている重なり画素の画素数と、各画素ブロックの重なり画素の画素数が全画素ブロックの重なり画素の画素数に占める割合を算出することが考えられる。
また、画像相関部３０１は、輝度に関する相関度と重なり値の双方を算出して、輝度に関する相関度と重なり値の双方に基づいて観測画像候補を選択してもよい。
【００１７】
また、画像相関部３０１は、予測画像を画素座標上で回転させ、入力した観測画像の画素ごとの輝度状況と回転させた予測画像とに基づき、観測画像候補を選択するようにしてもよい。
【００１８】
観測画像生成部３０２は、画像相関部３０１により選択された観測画像候補と予測画像との重複部分から追尾対象観測画像を生成する。
追尾対象観測画像は、画像平滑部３０３による平滑化の対象となる画像である。画像平滑部３０３による平滑化後の画像は追尾対象画像という。
観測画像生成部３０２は、例えば、図４に示す方法で追尾対象観測画像を生成する。
図４は、図２に示す観測画像（画素ブロック）と予測画像とを同一画素座標上に重ね合わせた状態を示している。観測画像生成部３０２は、例えば、領域（Ａ）、すなわち、観測画像（画素ブロック）を構成する画素及び予測画像を構成する画素の全てが含まれる範囲を追尾対象観測画像とすることができる。また、観測画像生成部３０２は、領域（Ａ）が含まれる矩形（Ｂ）を追尾対象観測画像としてもよい。
なお、図４では、追尾対象観測画像である領域（Ａ）の輪郭線は、作図上の理由から画素の輪郭と一致していない（画素の輪郭の外側に表示している）が、実際の運用では、追尾対象観測画像の輪郭線は画素の輪郭線と一致する。
また、図４における長径及び短径は、領域（Ａ）を追尾対象観測画像とした場合の追尾対象観測画像の長径及び短径を示している。画像平滑部３０３による平滑化後の追尾対象画像においても同様にして長径及び短径を求めることができる。
【００１９】
また、観測画像生成部３０２は、例えば、図５に示すような複数の画素ブロックが観測画像候補として選択された場合に、図６に示すように、複数の観測画像候補と予測画像とを重ね合わせ、観測画像候補（１）と観測画像候補（２）及び観測画像候補（４）の間にある領域であって予測画像と重なる領域も補完して追尾対象画像とする。
また、例えば、図７に示すような画素ブロック（２）、（３）、（４）が示される観測画像が入力された場合は、画像相関部３０１は、図７に示すように予測画像を回転させて画素ブロック（２）及び（４）を観測画像候補として選択する場合があり、このような場合は、観測画像生成部３０２は、観測画像候補（２）と観測画像候補（４）の間にある領域であって回転後の予測画像と重なる領域も補完して追尾対象画像とする。
【００２０】
画像平滑部３０３は、観測画像生成部３０２で生成された追尾対象観測画像の形状を予測画像の形状に対応させて平滑化する。平滑化された後の画像を追尾対象画像という。
画像平滑部３０３は、例えば、図示していない表示ディスプレイ装置に接続されており、追尾対象画像を表示ディスプレイ装置に出力して、オペレータ（人）に追尾対象画像を視認させることができる。
ここで、画像平滑部３０３による画像平滑処理の概念を説明する。
例えば、画像平滑部３０３が図８に示す追尾対象観測画像を入力した場合を想定する。図８に示す追尾対象観測画像は、予測画像に突出した部分が存在する。図８の例では、追尾対象観測画像の上下左右の各々で予測画像よりも２画素分突出している部分が存在する。
画像平滑部３０３では、図８の追尾対象観測画像を平滑化して、例えば、図９に示す画像にする。
図９では、図８において予測画像より２画素分突出していた各部分を平滑して、１画素分突出した状態にしている。なお、図９の平滑化後の画像が、追尾対象画像となる。
なお、図８及び図９は、平滑処理の概念を示したものであり、画像平滑部３０３の平滑処理はこれに限らない。
また、画像平滑部３０３による画像平滑処理を省略し、観測画像生成部３０２により生成された追尾対象観測画像を追尾対象画像としてもよい。
【００２１】
重心速度推定部５において、観測重心位置算出部５０１は、画像平滑部３０３から追尾対象画像を入力し、追尾対象画像における飛行体の重心位置を算出する。
重心追尾部５０２は、観測重心位置算出部５０１で算出された観測画像の重心位置と予測値から重心の平滑位置及び次回観測時の予測位置および速度を算出する。
重心追尾部５０２は、例えば、前回の周期における重心位置と今回の重心位置との差異（重心位置の変遷）から飛行体の推定移動速度を算出する。つまり、重心追尾部５０２は、前回の周期において入力された追尾対象画像に対して観測重心位置算出部５０１で算出された重心位置と今回入力された追尾対象画像に対して観測重心位置算出部５０１で算出された重心位置との差異から飛行体の推定移動速度を算出し、算出した推定移動速度から次回の周期に画像相関部３０１に入力される観測画像において飛行体の撮像画像の重心位置に対応する画素を予測する。
なお、観測重心位置算出部５０１及び重心追尾部５０２は従来技術で実現可能なため、詳細な説明は省略する。
【００２２】
追尾対象画像予測部４において、目標特徴量推定部４０１は、重心速度推定部５により算出された飛行体の推定移動速度と、追尾対象画像生成部３により生成された追尾対象画像のサイズ（長径、短径）と次の周期までの残存時間とに基づき、次周期観測画像における飛行体の撮像画像のサイズ（長径、短径）を算出し、算出した撮像画像のサイズ（長径、短径）を特徴量として出力する。
予測画像生成部４０２は、特徴量である次周期画像サイズと重心速度推定部５により算出された次周期重心画素とに基づき、次周期観測画像において飛行体の撮像画像が表示される可能性のある領域を予測画像として算出し、算出した予測画像を示すデータを生成し、追尾対象画像生成部３に通知する。
【００２３】
次に、本実施の形態に係る赤外画像追尾装置１００の動作を説明する。
説明のため、フローチャートを図１０に、数式を式（１）〜（８）に示す。
追尾対象画像生成部３では、画像相関部３０１が観測画像と予測画像を入力し（ＳＴ１）、画像相関方法設定部３０４で事前に設定された相関方法に基づき（ＳＴ２）、図４に示す画像の長径、短径、面積、画素番号集合などの画像の特徴量と予測画像の特徴量の相関判定を実施し観測画像候補を出力する（ＳＴ３）。画像の長径、短径、面積は、画像の形状に関する特徴量であり、画素番号集合は、画像の画素座標上の位置に関する特徴量である。なお、相関判定の詳細は後述する。
次に、観測画像生成部３０２において、観測画像候補と予測画像から追尾対象観測画像を生成する（ＳＴ４）。
観測画像候補が複数ある場合、図５〜図７のとおり、予測画像と観測画像で囲まれる輝度のない画素を新たに画像として輝度を付加し追尾対象観測画像とする（ＳＴ４）。
次に、画像平滑部３０３において、追尾対象観測画像と予測画像の特徴量をカルマンフィルタで代表される追尾フィルタを用いて特徴量の平滑値を算出し、この特徴量を持つ画像を追尾対象画像とする（ＳＴ５）。
追尾対象画像予測部４では、目標特徴量推定部４０１において、追尾対象画像の特徴量と重心追尾部５０２で算出した重心位置および速度から式（１−１）〜式（１−３）を用いて追尾対象画像の基となる目標の特徴量を算出し（ＳＴ６）、式（２−１）及び式（２−２）を用いて次回観測時の予測画像の特徴量を算出する（ＳＴ７）。
予測画像はカメラの中心に上下・左右対象となるように配置する。この際、予測画像の傾きは、前回平滑値の長径の赤外線センサの水平面からの角度をそのまま引き継ぐ。
【００２４】
【数１】
2009171369.tif 000003
【００２５】
ここで、Ｌ，Ｓは、各々、目標の推定長径・短径・速度を示す。Ｒは、目標の重心までの距離、θ、φは、各々、追尾対象観測画像の長径・短径を示す。
【００２６】
【数２】
2009171369.tif 000004
【００２７】
ここで、Ｌｐ，Ｓｐは、各々、予測画像の長径、短径を示す。ΔＲは、今回観測時刻から次回観測時刻までの時間ΔＴの間の目標の重心までの距離の予測変化量を示す。
つまり、目標特徴量推定部４０１は、追尾対象の飛行体の次周期における撮像画像のサイズ（長径、短径）を算出している。
【００２８】
次に、画像相関（ＳＴ３）の動作について説明する。説明のため、フローチャートを図１１で示す。
画像相関部３０１は、画像相関方法設定部３０４で事前に設定された相関方法を読み込み（ＳＴ１）、その相関方法に合わせ３つのいずれかの方式を用いて、観測画像候補を出力する。
【００２９】
１つ目は、単数の観測画像を観測画像候補とする方式であり、画素ブロックごとに、式（３）（４）で示す相関度を算出し（ＳＴ２ａ）、最大相関度となる画素ブロックを式（５）により判定し（ＳＴ２ｂ）、観測画像候補とする。
【００３０】
【数３】
2009171369.tif 000005
【００３１】
ここで、ε（ｋ）−１がｋ回目の観測回における相関度である。式（３）において、ｒ（ｋ）は、残差ベクトルであり、式（４）で示す各観測画像の特徴量ベクトルｚ（ｋ）＝｛長径、短径、面積、画素番号と輝度の集合｝と予測特徴量ベクトルｘ（ｋ）の差として得られる。Ｓ（ｋ）は、予測誤差共分散行列である。
【００３２】
なお、上記の式（３）及び式（４）を用いる場合は、予測画像生成部４０２は、予測画像の長径、短径のほかに、予測画像に含まれる画素ごとの予測輝度の値を画像相関部３０１に出力し、画像相関部３０１において観測画像の画素ブロックの画素ごとに輝度の値を解析する必要がある。
本実施の形態では、輝度については、画像抽出部２における観測画像抽出の際に、例えば以下の閾値処理により、（０、１）に二値化されていることを前提としている。
Ｉ（ｐ）≧ｄＩの場合、Ｉ’（ｐ）＝１、Ｉ（ｐ）＜ｄＩの場合、Ｉ’（ｐ）＝０
（ここで、Ｉ（ｐ）は画素番号ｐの画素の持つ輝度（画像抽出前）、Ｉ’（ｐ）は画素番号ｐの画素の持つ輝度（画像抽出後）、ｄＩは輝度の閾値）
よって、予測画像生成部４０２においても、予測画像の長径および短径で囲まれる範囲内では１、それ以外では０の輝度を設定する。
このようにして、予測画像に含まれる予測輝度の値が画像相関部３０１に出力される。
【００３３】
【数４】
2009171369.tif 000006
【００３４】
ここで、Ｓは追尾対象観測画像候補の集合、Ｇ（ｋ）ｔは観測番号ｔの画素ブロック、ｍｉｎは｛｝内で最小となる要素を示す。
【００３５】
２つ目は、予測画像と画素が重なる観測画像を観測画像候補とする方式であり、観測画像数分、式（６）で示す観測画像と予測画像の画素の重なる数を算出し（ＳＴ３ａ）、式（７）で示す重なり度を算出し、式（８）により算出した重なり画素数と重なり度の閾値を行い（ＳＴ３Ｃ）、合致したものを観測画像候補とする。
【００３６】
【数５】
2009171369.tif 000007
【００３７】
ここで、Ｍは、観測番号ｔの画素ブロックの予測画像との重なり画素数、Ｉｏ（ｋ）ｉｔおよびＩｐ（ｋ）ｉｔは各々画素ブロックおよび予測画像の画素番号ｔにおける輝度を示す。
【００３８】
【数６】
2009171369.tif 000008
【００３９】
ここで、ＭＲは、重なり画素数の観測画素数Ｎｏに対する割合を示す。
【００４０】
【数７】
2009171369.tif 000009
【００４１】
ここで、Ωは、｛｝内の条件を満足する画像の集合、ｄ１，ｄ２は各々重なり画素数、重なり度閾値を示す。
【００４２】
式（６）〜（８）を用いる場合も、予測画像生成部４０２は、予測画像の長径、短径のほかに、予測画像に含まれる画素ごとの予測輝度の値を画像相関部３０１に出力し、画像相関部３０１において観測画像の画素ブロックの画素ごとに輝度の値を解析する必要がある。
【００４３】
３つ目は、特徴量のうち、画素数以外の幾何的要素の最大相関度の画像を中心とした複数画像を観測画像候補とする方式であり、画素ブロックごとに、画素ブロックと予測画像の長径・短径・面積の相関度を式（３）（４）と同様の方法で算出し（ＳＴ４ａ）、観測画像数分、ＳＴ３ａ・ＳＴ３ｂと同じく、重なり画素数および重なり度を算出し（ＳＴ４ｂ）、式（９）で示すとおり、最大相関度となる画像と重なり数および重なり度の閾値判定に合致した画像を観測画像候補とする。
【００４４】
【数８】
2009171369.tif 000010
【００４５】
ここで、ε’−１は、各観測画像の特徴量ベクトルｚ（ｋ）＝｛長径、短径、面積｝と予測特徴量ベクトルｘ’（ｋ）との相関度である。
【００４６】
前述したように、画像相関方法設定部３０４には、以下のどれかが設定されている。
・１画素ブロックのみの相関判定する方法：図１１のＳＴ２に相当。
・予測画像を回転させずに複数画素ブロックと相関判定する方法：図１１のＳＴ３に相当。
・画像中心以外の予測画像の特徴量を用いて複数画素ブロックと相関判定する方法：図１１のＳＴ４に相当。
ＳＴ４方式の場合に予測画像は回転することが可能である。ＳＴ４方式の場合、ＳＴ４ｃにおいて、以下のステップで相関判定を実施する。
ＳＴ４ｃ１：予測画像の長径・短径と最も一致する長径・短径を持つ画素ブロックを一つ選択する。
ＳＴ４ｃ２：選択した画素ブロックの長径の傾きに合わせて予測画像を並行移動・回転する。
ＳＴ４ｃ３：長径の軸にそってスライドさせ、ＳＴ４１ａで選択した画素ブロックと当該画像以外の画素ブロックの重なり度が最大となる組み合わせを判定・選択する。
【００４７】
以上のように、追尾対象画像における重心位置の算出の前段階において観測画像の特徴量を追尾し、目標の形状を推定し算出した予測画像を用いて観測画像から大気の状況やセンサの観測雑音等の影響を排除した追尾対象画像を生成しているので、観測画像の重心位置を正確に算出することができる。
【００４８】
本実施の形態では、赤外線センサによる赤外２次元角度画像を取得する画像入力部と、画像入力部で得た画素ごとの輝度情報を基に画素を複数の観測画像に分離する画像抽出部と、複数の観測画像から重心位置を算出するのに使用する画像を生成する追尾対象画像生成部と、追尾対象画像の重心位置を算出する観測重心位置算出部と、算出した観測画像の重心位置と予測値から重心の平滑位置及び次回観測時の予測位置および速度を算出する重心追尾部と、追尾対象画像と重心の予測位置および速度を入力し予測画像を生成する追尾対象画像予測部と、を備えた赤外画像追尾装置について説明した。
【００４９】
また、本実施の形態では、観測画像が複数に分裂していた場合、予測画像形状に最も近い大きさのものを用いて追尾対象観測画像とする追尾対象画像生成部を、備えた赤外画像追尾装置について説明した。
【００５０】
また、本実施の形態では、予測画像形状の領域内に存在する画像の画素とこれら観測画像と予測画像に囲まれた画素を追尾対象観測画像とする追尾対象画像生成部を、備えた赤外画像追尾装置について説明した。
【００５１】
また、本実施の形態では、予測画像形状に最も近い大きさの画像と予測画像形状の領域内に存在する画像とこれら観測画像と予測画像に囲まれた画素を追尾対象観測画像とする追尾対象画像生成部を、備えた赤外画像追尾装置について説明した。
【００５２】
実施の形態２．
以上の実施の形態では、追尾対象観測画像生成処理において観測画像と予測画像を用いて追尾対象観測画像を生成するようにしたものであるが、次に観測画像がセンサの画角（撮像可能範囲）を超えるような場合に重心位置を算出する実施の形態を示す。
図１２は、このような場合の、実施の形態２に係る赤外画像追尾装置１００の構成図である。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部３、追尾対象画像予測部７、重心速度推定部５を備えて構成される。
本実施の形態では、追尾対象画像予測部７に画角オーバ判定部７０３が追加されている点が実施の形態１との主な相違点である。なお、目標特徴量推定部７０１及び予測画像生成部７０２は、実施の形態１と符号が異なっているが、目標特徴量推定部４０１及び予測画像生成部４０２と同様である。
なお、この実施の形態は追尾対象画像の生成ならびに予測に特徴を有するので、センサを含む画像抽出処理ならびに観測重心位置、推定移動速度の算出および追尾の説明は省略する。
【００５３】
図１２において、追尾対象画像生成部３は、まず、画像相関部３０１で図２又は図５で示すような単数もしくは複数に分割された観測画像と予測画像を入力し画像相関方法設定部３０４で定義される相関方法に基づき画像の特徴量に関する相関度を算出し観測画像候補を出力する。
観測画像生成部３０２は観測画像候補を入力し追尾対象観測画像を出力する。
画像平滑部３０３は追尾対象観測画像と予測画像を入力し、画像の特徴量の平滑処理を実施し重心位置の算出をする対象となる追尾対象画像を出力する。
追尾対象画像予測部７は、まず、目標特徴量推定部７０１で追尾対象画像と重心追尾部５０２で算出した重心位置と速度から追尾対象画像の対象となる目標の特徴量を推定する。予測画像生成部７０２は算出した目標の特徴量から次回観測時の観測される画像を予測する。
ここまでの処理は、実施の形態１で示したものと同様である。
そして、画角オーバ判定部７０３は予測画像において画角外となるかの判定を行い、判定結果を画像相関部３０１に出力する。
ここで、画角オーバ又は画角外とは、予測画像が画素座標上の外縁をオーバする状態、すなわち、予測画像が画素座標上の外縁に接する場合又は外縁を超える場合をいう。予測画像が画素座標上の外縁に接する場合又は外縁を超える場合は、飛行体の撮像画像の少なくとも一部が次周期に表示されない状態、又は飛行体の撮像画像の少なくとも一部が次周期以降において表示されなくなる可能性が高い状態である。
このため、画角オーバ判定部７０３は、予測画像生成部７０２により算出された予測画像の次周期観測画像における位置を判断し、予測画像の少なくとも一部が次周期において画素座標の外縁をオーバするか否かを判定する。
画角オーバ判定部７０３は、位置判定部の例である。
また、画角オーバ判定部７０３は、予測画像の少なくとも一部が次周期において画素座標の外縁をオーバすると判定した場合に、予測領域の少なくとも一部が次周期において画素座標の外縁をオーバすることを通知する警告情報を画像相関部３０１に出力する。
画像相関部３０１は、観測画像及び予測画像を入力した際に画像相関部３０１から警告情報を入力した場合に、観測画像から観測画像候補の選択は行わず、予測画像を観測画像候補とする。
【００５４】
次に動作について説明する。説明のため、フローチャートを図１３に示す。
追尾対象画像予測部７では、画角オーバ判定部７０３において、予測画像生成部７０２で生成した予測画像が画角外となるか否かを判定する（ＳＴ８）。
追尾対象画像生成部３では、画像相関部３０１において相関判定を実施する際、画角オーバ判定結果が画角オーバであった場合、相関判定を行わず予測画像を観測画像候補とする（ＳＴ３）（ＳＴ４）。上記以外の動作は実施の形態１のとおりである。
【００５５】
以上のように、画角オーバ判定を実施することで目標の全体と対応する画像が画角に収まらず観測画像が目標の全体と対応していないことを検出し予測画像を用いて追尾対象画像を生成しているので、目標の全体が画像とならない場合においても重心位置を正確に算出することができる。
【００５６】
本実施の形態では、予測した画像の大きさとセンサにおける撮像範囲（画角）を比較し予測画像の大きさが画角を超えると判断された場合、観測画像を用いず予測画像のみから追尾対象観測画像を生成する追尾対象画像生成部を、備えた赤外画像追尾装置について説明した。
【００５７】
実施の形態３．
以上の実施の形態では、画角オーバ判定結果により追尾対象観測画像生成処理を変更するものであるが、次に画角オーバ判定結果からセンサを制御することで観測画像を画角内に収める実施の形態を示す。
図１４は、このような場合の、実施の形態３に係る赤外画像追尾装置１００の構成図である。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部３、追尾対象画像予測部７、重心速度推定部５を備えて構成される。
なお、この実施の形態は追尾対象画像予測に特徴を有するので、センサを含む画像抽出処理、追尾対象画像の生成ならびに観測重心位置、推定移動速度の算出および追尾の説明は省略する。
【００５８】
図１４において、追尾対象画像予測部７は、まず、目標特徴量推定部７０１で追尾対象画像と重心追尾部５０２で算出した重心位置と速度から追尾対象画像の対象となる目標の特徴量を推定する。
予測画像生成部７０２は算出した目標の特徴量から次回観測時の観測される画像を予測する。
画角オーバ判定部７０３は予測画像において画角外となるかの判定を行い、判定結果から算出した必要画素解像度を画像入力部１に出力する。つまり、画角オーバ判定部７０３は、予測画像の少なくとも一部が次周期において画素座標の外縁をオーバすると判定した場合に、予測画素が次周期において画素座標の外縁をオーバしない１画素あたりの解像度を算出し、算出した１画素あたりの解像度を解像度修正量として画像入力部１に出力する。
【００５９】
次に動作について説明する。
説明のため、フローチャートを図１３に示す。数式を式１０に示す。
追尾対象画像予測部７では、画角オーバ判定部７０３において、予測画像生成部７０２で生成した予測画像が画角外となるか否かを判定し、画角オーバ判定結果が画角オーバであった場合、式１０によりセンサ画素解像度修正量を算出し、画像入力部１に出力する。
【００６０】
【数９】
2009171369.tif 000011
【００６１】
ここで、Ｌｃ，ｌｃｎ，ΔＬｃは、各々、現在の画角、次回観測時の１画素あたりの解像度、画角オーバ判定部により算出された予想画像の画角オーバ量を示す。また、Ｎａは、画像入力部が保持する１辺の画素数、ｌｍは、１画素あたりの角度猶予量であり、画像入力部の種類（センサ種類）により事前に設定されているものとする。
【００６２】
なお、画角オーバ量ΔＬｃの算出方法は、以下の通りである。
予測画像中心座標を（θｃ、φｃ）とする。
予測画像長径をＬｐ、画角を（θＬ、φＬ）、長径傾き量をξ（θ軸から反時計周りを正とする）とすると、ΔＬｃは、以下のとおり求められる。
ΔＬθ＝θＬ−｛θｃ＋Ｌｐ／２×ｃｏｓ（ξ）｝
ΔＬφ＝φＬ−｛φｃ＋Ｌｐ／２×ｓｉｎ（ξ）｝
ΔＬｃ＝ＭＡＸ｛ΔＬφ，ΔＬθ｝
そして、ΔＬｃが０よりも大きい場合に、画角オーバと判定する。
【００６３】
画像入力部１は、画角オーバ判定部７０３から入力した解像度修正量に従ってセンサ解像度を調整し、画角を制御する。
追尾対象画像生成部３は観測画像は画角を超えることがないとして実施の形態１のとおりの処理を行う。また、上記以外の動作は実施の形態１のとおりである。
【００６４】
以上のように、予測画像を用いた画角オーバ判定の結果からセンサを制御することで常に目標の全体と対応する画像が画角内に収まることを保証するので、本来であれば目標の全体が画像とならない場合においても重心位置を正確に算出することができる。
【００６５】
本実施の形態では、予測した画像の大きさとセンサにおける撮像範囲を比較し予測画像の大きさが画角を超えると判断された場合、画像入力部において撮像の解像度を修正し観測される画像を画角内に収めることを保証する追尾対象画像予測部を、備えた赤外画像追尾装置について説明した。
【００６６】
実施の形態４．
以上の実施の形態では、追尾対象画像平滑処理により追尾対象観測画像と予測画像の平滑値を追尾対象画像とするものであるが、次に追尾対象観測画像と予測画像の形状が大きく異なる場合に重心位置を算出する実施の形態を示す。
【００６７】
図１５は、このような場合の、実施の形態４に係る赤外画像追尾装置１００の構成図である。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部８、追尾対象画像予測部４、重心速度推定部５を備えて構成される。
本実施の形態では、追尾対象画像生成部８に閾値設定部８０５が追加されている点が実施の形態１との主な相違点である。なお、画像相関部８０１、観測画像生成部８０２、画像平滑部８０３及び画像相関方法設定部８０４は、画像相関部３０１、観測画像生成部３０２、画像平滑部３０３及び画像相関方法設定部３０４と同様である。
なお、この実施の形態は追尾対象画像の生成に特徴を有するので、センサを含む画像抽出処理、追尾対象画像の予測処理ならびに観測重心位置、推定移動速度の算出および追尾の説明は省略する。
【００６８】
図１５において、追尾対象画像生成部８は、まず、画像相関部８０１で図２又は図５で示すような単数もしくは複数に分割された観測画像と予測画像を入力し画像相関方法設定部８０４で定義される相関方法に基づき画像の特徴量に関する相関度を算出し観測画像候補を出力する。
観測画像生成部８０２は観測画像候補を入力し追尾対象観測画像を出力する。
画像平滑部８０３は、追尾対象観測画像と予測画像を入力し、閾値設定部８０５で事前に設定された閾値よりも追尾対象観測画像と予想画像の特徴量の差異が小さかった場合、画像の特徴量の平滑処理を実施し、重心位置の算出をする対象となる追尾対象画像を出力する。
一方、追尾対象観測画像と予想画像の特徴量の差異が閾値以上であった場合は、平滑処理を行わない。
つまり、画像平滑部８０３は、予測画像の形状（及び画素座標上における位置）と追尾対象観測画像の形状（及び画素座標上における位置）とを比較し、予測画像の形状（及び画素座標上における位置）と追尾対象観測画像の形状（及び画素座標上における位置）との差異が所定の閾値未満であれば、予測画像の形状に対応させて追尾対象観測画像の形状を平滑化し、差異が所定の閾値以上であれば、追尾対象観測画像の平滑化を行わない。
【００６９】
次に動作について説明する。
説明のため、フローチャートを図１６に、数式を式（１１）に示す。
追尾対象画像生成部８では、画像平滑部８０３において、観測画像生成部８０２で生成した観測画像候補と予測画像の特徴量の差異を閾値設定部８０５で事前に設定された閾値に基づき式（１１）を用いて判定し、閾値を超えると判断された場合、追尾対象観測画像と予測画像を用いての平滑処理を行わず追尾対象観測画像を追尾対象画像として出力する。
上記以外の動作は実施の形態１のとおりである。
【００７０】
【数１０】
2009171369.tif 000012
【００７１】
ここで、ΔＬ，ΔＳ，ΔＳＳ，ΔＭＲは、各々、長径の差、短径の差、面積の差、画素の重なり度の差である。また、ｄＬ，ｄｓ，ｄｓｓ，ｄＭＲは、長径の差の閾値、短径の差の閾値、面積の差の閾値、画素の重なり度の差の閾値である。
【００７２】
なお、画素の重なり度は、上記の式（７）で導出される。
【００７３】
以上のように、本実施の形態によれば、追尾対象観測画像と予測画像の特徴量における差異について閾値を用いて比較することにより追尾対象観測画像の変化を観測状況によるものと目標の急激な運動によるものに区別し追尾対象画像を作成することができるので、次回予測画像および重心位置を正確に算出することができる。
【００７４】
本実施の形態では、予測画像と観測画像の大きさの差異の閾値判定を行い、差異が閾値を超えた場合、目標運動が変化したとし、追尾対象観測画像および次回の予測画像として観測画像を用いる追尾対象画像生成部を、備えた赤外画像追尾装置について説明した。
【００７５】
実施の形態５．
以上の実施の形態では、追尾対象画像平滑処理により追尾対象観測画像と予測画像から追尾対象画像を生成するものであるが、次に目標特徴量データベースと追尾対象観測画像と予測画像の形状から追尾対象画像を生成する実施の形態を示す。
【００７６】
図１７は、このような場合の、実施の形態５に係る赤外画像追尾装置１００の構成図である。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部３、追尾対象画像予測部９、重心速度推定部５を備えて構成される。
本実施の形態では、追尾対象画像予測部９に目標特徴量データベース９０３が追加されている点が実施の形態１との主な相違点である。なお、目標特徴量推定部９０１及び予測画像生成部９０２は、実施の形態１と符号が異なっているが、目標特徴量推定部４０１及び予測画像生成部４０２と同様である。
【００７７】
目標特徴量データベース９０３は、複数種の飛行体について、飛行体ごとに、飛行体のサイズ及び移動速度を示す目標特徴量データ（移動体情報）を記憶する。目標特徴量データベースは、移動体情報データベースの例である。
また、本実施の形態では、目標特徴量推定部９０１は、追尾対象画像のサイズから追尾対象の飛行体のサイズ（撮像画像のサイズではなく飛行体現物のサイズ）を算出し、算出した追尾対象の飛行体のサイズ及び推定移動速度と所定の誤差範囲内で一致する飛行体のサイズ及び移動速度を目標特徴量データにおいて検索し、所定の誤差範囲内で一致する飛行体のサイズ及び移動速度を抽出できた場合に、抽出した飛行体のサイズ及び移動速度を用いて次周期画像サイズを算出する。
【００７８】
なお、この実施の形態は追尾対象画像の予測に特徴を有するので、センサを含む画像抽出処理、追尾対象画像の生成処理ならびに観測重心位置、推定移動速度の算出および追尾の説明は省略する。
【００７９】
図１７において、追尾対象画像予測部７は、目標特徴量推定部９０１で追尾対象画像と重心追尾部５０２で算出した重心位置と速度および目標種類ごとの速度、長径、短径を保管するデータベースである目標特徴量データベース９０３で保有する目標特徴量データから画像平滑部３０３より出力された追尾対象画像の対象となる目標の特徴量（飛行体の現物の長径、短径、移動速度）を推定する。
【００８０】
次に動作について説明する。説明のため、フローチャートを図１８に示す。数式を式（１２）に示す。
追尾対象画像予測部９では、目標特徴量推定部９０１において、画像平滑部３０３で生成した追尾対象観測画像の特徴量である長径、短径と重心追尾部５０２の重心予測位置および速度から目標の特徴量として長径、短径を算出し（ＳＴ６ａ）、目標特徴量データベースに保管されている目標の特徴量データである長径、短径、速度について式（１２）を用いて比較し（ＳＴ６ｂ）、合致した目標特徴量データを当該目標の特徴量とする（ＳＴ６ｃ）。上記以外の動作は実施の形態１のとおりである。
【００８１】
【数１１】
2009171369.tif 000013
【００８２】
ここで、ΔＬｄ，ΔＳｄ，ΔＶｄは、算出した目標特徴量（長径、短径、速度）と目標特徴量データベースの各データとの差を示す。また、ｄＬｄ，ｄＳｄ，ｄＶｄは、各特徴量の閾値である。
【００８３】
目標特徴量推定部９０１は、算出した追尾対象の飛行体のサイズ及び推定移動速度と所定の誤差範囲内で一致する飛行体のサイズ及び移動速度を検索できなかった場合、すなわち、算出した追尾対象の飛行体のサイズ及び推定移動速度が目標特徴量データのいずれの値にも適合しない場合は、追尾対象の飛行体のデータが目標特徴量データベース９０３に蓄積されていないと判断し、実施の形態１と同様の方法で追尾対象の飛行体の特徴量を算出する。
【００８４】
以上のように、本実施の形態によれば、目標特徴量データベースを用いて予測画像を生成することにより、追尾対象画像における観測状況の影響を削減することができるので、次回予測画像および重心位置を正確に算出することができる。
【００８５】
以上、本実施の形態では、画像の特徴量である速度、長径、短径、形状を保持する目標特徴量データベースを保有し、追尾している目標の平滑速度および距離、観測画像とデータベースの保有特徴量を比較・照合し目標形状を推定し、予測画像を算出する追尾対象画像予測部を、備えたことを赤外画像追尾装置について説明した。
【００８６】
実施の形態６．
以上の実施の形態は、予測画像における画角オーバ判定処理、閾値判定処理および目標特徴量データベースを独立して利用するものであるが、次に各処理を重複して利用する実施の形態を示す。
【００８７】
図１９は、このような場合の、実施の形態６に係る赤外画像追尾装置１００の構成図である。
赤外画像追尾装置１００は、画像入力部１、画像抽出部２、追尾対象画像生成部１０、追尾対象画像予測部１１、重心速度推定部５を備えて構成される。
本実施の形態に係る赤外画像追尾装置１００は、実施の形態２〜５を組み合わせたものに相当し、閾値設定部１００５、画角オーバ判定部１１０４及び目標特徴量データベース１１０５が含まれる。
また、図１９において、追尾対象画像生成部１０で、ＳＷ１は画像平滑部１００３で閾値設定部１００５で設定されている閾値の利用の有無を制御するスイッチである。
追尾対象画像予測部１１で、ＳＷ２は画角オーバ判定部１１０４における画角オーバ判定の結果の利用の有無、結果の出力先を画像相関部１００１もしくは画像入力部１に制御するスイッチであり、ＳＷ３は目標特徴量推定部１１０１で目標特徴量の推定に目標特徴量データベース１１０５のデータの利用の有無を制御するスイッチである。
【００８８】
なお、この実施の形態は追尾対象画像の生成ならびに予測に特徴を有するので、センサを含む画像抽出処理ならびに観測重心位置、推定移動速度の算出および追尾の説明は省略する。
【００８９】
次に動作について説明する。
まず各スイッチは初期化時に使用される状況により人等により設定される。すべてのスイッチがＯＦＦの場合、実施の形態１に示した動作が実現され、ＳＷ１をＯＮとした場合、実施の形態４に示した動作が実現される。
ＳＷ２を画像相関部１００１とＯＮとした場合、実施の形態２に示した動作が実現される。
ＳＷ２を画像入力部１とＯＮとした場合、実施の形態３に示した動作が実現される。
ＳＷ３をＯＮとした場合は、実施の形態５に示した動作が実現される。全スイッチのＯＮを同時に実施することにより、各実施の形態に示した動作が同時に実現される。
【００９０】
以上のように、本実施の形態によれば、画角オーバ判定処理の出力先の切り替えることで、センサの画角の解像度変更機能の有無による処理の変更が可能となる。また、閾値判定処理の有無を切り替えることで、追尾対象とする目標の運動による処理の変更が可能となる。また、目標特徴量データベースの有無を切り替えることで、データ量の多少および保管データの信頼度による処理の変更が可能となる。
【００９１】
最後に、実施の形態１〜６に示した赤外画像追尾装置１００のハードウェア構成例について説明する。
図２０は、実施の形態１〜６に示す赤外画像追尾装置１００のハードウェア資源の一例を示す図である。
なお、図２０の構成は、あくまでも赤外画像追尾装置１００のハードウェア構成の一例を示すものであり、赤外画像追尾装置１００のハードウェア構成は図２０に記載の構成に限らず、他の構成であってもよい。
【００９２】
図２０において、赤外画像追尾装置１００は、プログラムを実行するＣＰＵ１９１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。
ＣＰＵ１９１１は、バス１９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１９１３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１９１４、通信ボード１９１５、表示装置１９０１、キーボード１９０２、マウス１９０３、磁気ディスク装置１９２０と接続され、これらのハードウェアデバイスを制御する。
更に、ＣＰＵ１９１１は、ＦＤＤ１９０４（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ  Ｄｒｉｖｅ）、コンパクトディスク装置１９０５（ＣＤＤ）、プリンタ装置１９０６、スキャナ装置１９０７と接続していてもよい。また、磁気ディスク装置１９２０の代わりに、光ディスク装置、メモリカード（登録商標）読み書き装置などの記憶装置でもよい。
ＲＡＭ１９１４は、揮発性メモリの一例である。ＲＯＭ１９１３、ＦＤＤ１９０４、ＣＤＤ１９０５、磁気ディスク装置１９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード１９１５、キーボード１９０２、マウス１９０３、スキャナ装置１９０７、ＦＤＤ１９０４などは、入力装置の一例である。
また、通信ボード１９１５、表示装置１９０１、プリンタ装置１９０６などは、出力装置の一例である。
【００９３】
また、ＣＰＵ１９１１、ＲＡＭ１９１４及び磁気ディスク装置１９２０は、バス１９１２を介して赤外線センサ１９０８に接続されている。
赤外線センサ１９０８で撮像された追尾対象物の撮像画像は、ＣＰＵ１９１１の制御により入力され、ＲＡＭ１９１４又は磁気ディスク装置１９０２に格納される。
そして、格納された撮像画像に対して、ＣＰＵ１９１１が実施の形態１〜６で説明した、観測画像の抽出、相関判定、平滑化、重心位置の算出、速度の算出、予測画像の生成等の処理を行う。
また、ＣＰＵ１９１１は、観測画像、予測画像等を表示装置１９０１に表示させる。
なお、赤外線センサ１９０８も、入力装置の一例である。
【００９４】
通信ボード１９１５は、ネットワークに接続されている。例えば、通信ボード１９１５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット、ＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。
【００９５】
磁気ディスク装置１９２０には、オペレーティングシステム１９２１（ＯＳ）、ウィンドウシステム１９２２、プログラム群１９２３、ファイル群１９２４が記憶されている。
プログラム群１９２３のプログラムは、ＣＰＵ１９１１がオペレーティングシステム１９２１、ウィンドウシステム１９２２を利用しながら実行する。
【００９６】
また、ＲＡＭ１９１４には、ＣＰＵ１９１１に実行させるオペレーティングシステム１９２１のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、ＲＡＭ１９１４には、ＣＰＵ１９１１による処理に必要な各種データが格納される。
【００９７】
また、ＲＯＭ１９１３には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）プログラムが格納され、磁気ディスク装置１９２０にはブートプログラムが格納されている。
赤外画像追尾装置１００の起動時には、ＲＯＭ１９１３のＢＩＯＳプログラム及び磁気ディスク装置１９２０のブートプログラムが実行され、ＢＩＯＳプログラム及びブートプログラムによりオペレーティングシステム１９２１が起動される。
【００９８】
上記プログラム群１９２３には、実施の形態１〜６の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ１９１１により読み出され実行される。
【００９９】
ファイル群１９２４には、実施の形態１〜６の説明において、「〜の判断」、「〜の計算」、「〜の比較」、「〜の評価」、「〜の更新」、「〜の設定」、「〜の推定」、「〜の予測」、「〜の平滑化」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ１９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、実施の形態１〜６で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ１９１４のメモリ、ＦＤＤ１９０４のフレキシブルディスク、ＣＤＤ１９０５のコンパクトディスク、磁気ディスク装置１９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス１９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【０１００】
また、実施の形態１〜６の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、ＲＯＭ１９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ１９１１により読み出され、ＣＰＵ１９１１により実行される。すなわち、プログラムは、実施の形態１〜６の「〜部」としてコンピュータを機能させるものである。あるいは、実施の形態１〜６の「〜部」の手順や方法をコンピュータに実行させるものである。
【０１０１】
このように、実施の形態１〜６に示す赤外画像追尾装置１００は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるキーボード、マウス、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。
【図面の簡単な説明】
【０１０２】
【図１】実施の形態１に係る赤外画像追尾装置の構成例を示す図。
【図２】実施の形態１に係る観測画像の例を示す図。
【図３】実施の形態１に係る予測画像の例を示す図。
【図４】実施の形態１に係る観測画像と予測画像とを重ね合わせた状態を示す図。
【図５】実施の形態１に係る観測画像の例を示す図。
【図６】実施の形態１に係る観測画像と予測画像とを重ね合わせた状態を示す図。
【図７】実施の形態１に係る観測画像と予測画像とを重ね合わせた状態を示す図。
【図８】実施の形態１に係る平滑処理の例を示す図。
【図９】実施の形態１に係る平滑処理の例を示す図。
【図１０】実施の形態１に係る赤外画像追尾装置の動作例を示すフローチャート図。
【図１１】実施の形態１に係る赤外画像追尾装置の動作例を示すフローチャート図。
【図１２】実施の形態２に係る赤外画像追尾装置の構成例を示す図。
【図１３】実施の形態２に係る赤外画像追尾装置の動作例を示すフローチャート図。
【図１４】実施の形態３に係る赤外画像追尾装置の構成例を示す図。
【図１５】実施の形態４に係る赤外画像追尾装置の構成例を示す図。
【図１６】実施の形態４に係る赤外画像追尾装置の動作例を示すフローチャート図。
【図１７】実施の形態５に係る赤外画像追尾装置の構成例を示す図。
【図１８】実施の形態５に係る赤外画像追尾装置の動作例を示すフローチャート図。
【図１９】実施の形態６に係る赤外画像追尾装置の構成例を示す図。
【図２０】実施の形態１〜６に係る赤外画像追尾装置のハードウェア構成例を示す図。
【符号の説明】
【０１０３】
１  画像入力部、２  画像抽出部、３  追尾対象画像生成部、４  追尾対象画像予測部、５  重心速度推定部、７  追尾対象画像予測部、８  追尾対象画像生成部、９  追尾対象画像予測部、１０  追尾対象画像生成部、１１  追尾対象画像予測部、１００  赤外画像追尾装置、３０１  画像相関部、３０２  観測画像生成部、３０３  画像平滑部、３０４  画像相関方法設定部、４０１  目標特徴量推定部、４０２  予測画像生成部、５０１  観測重心位置算出部、５０２  重心追尾部、７０１  目標特徴量推定部、７０２  予測画像生成部、７０３  画角オーバ判定部、８０１  画像相関部、８０２  観測画像生成部、８０３  画像平滑部、８０４  画像相関方法設定部、８０５  閾値設定部、９０１  目標特徴量推定部、９０２  予測画像生成部、９０３  目標特徴量データベース、１００１  画像相関部、１００２  観測画像生成部、１００３  画像平滑部、１００４  画像相関方法設定部、１００５  閾値設定部、１１０１  目標特徴量推定部、１１０３  予測画像生成部、１１０４  画角オーバ判定部、１１０５  目標特徴量データベース。
【図１】
2009171369.tif 000014
【図２】
2009171369.tif 000015
【図３】
2009171369.tif 000016
【図４】
2009171369.tif 000017
【図５】
2009171369.tif 000018
【図６】
2009171369.tif 000019
【図７】
2009171369.tif 000020
【図８】
2009171369.tif 000021
【図９】
2009171369.tif 000022
【図１０】
2009171369.tif 000023
【図１１】
2009171369.tif 000024
【図１２】
2009171369.tif 000025
【図１３】
2009171369.tif 000026
【図１４】
2009171369.tif 000027
【図１５】
2009171369.tif 000028
【図１６】
2009171369.tif 000029
【図１７】
2009171369.tif 000030
【図１８】
2009171369.tif 000031
【図１９】
2009171369.tif 000032
【図２０】
2009171369.tif 000033