(57)【要約】【課題】終末誘導においても最適な誘導目標を検出することにより高精度の誘導を行なう画像誘導装置を提供する。【解決手段】撮像装置によって撮像された追跡目標の画像データから、第１の回路群が追跡目標の形状全体の重心を算出し、第２の回路群が並行して撮像画像の追跡目標の内部に新たな追跡目標を検出し、第３の回路群が、この追跡目標の内部の追跡目標が検出されたとき、誘導目標をこの追跡目標の内部の追跡目標に切り替えて誘導する。【選択図】図１
2008267872.tif 000002
【特許請求の範囲】
【請求項１】
追跡目標を撮像する撮像装置と、
前記撮像装置から出力された撮像画像の画像信号から撮像画像内の追跡目標の重心である目標重心を算出して出力する第1の回路群と、
前記撮像装置から出力された撮像画像の画像信号の特徴を強調して追跡目標内における追跡目標の候補である目標内目標を抽出し、前記目標内目標それぞれの重心である目標内目標重心を算出し、前記目標内目標重心のうち前記目標重心に、前記撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する第２の回路群と、
前記判定目標内目標重心を入力しないとき、前記目標重心を誘導する目標である誘導目標として出力し、前記判定目標内目標重心を入力したとき、前記判定目標内目標重心を前記誘導目標として出力する第3の回路群と、
を備える画像誘導装置。
【請求項２】
追跡目標を撮像する撮像装置と、
前記撮像装置から出力された撮像画像の画像信号を2値化した2値化画像データを生成して出力する2値化部と、
前記2値化画像データから撮像画像内の追跡目標の重心である目標重心を算出して出力する目標重心計算部と、
前記撮像装置から出力された前記画像信号の特徴を強調した特長強調画像を生成して出力する特徴強調部と、
前記特徴強調画像を2値化した2値化特徴強調画像を生成して出力する特徴強調2値化部と、
前記2値化特徴強調画像から追跡目標内における追跡目標の候補である目標内目標を抽出する目標内目標抽出部と、
前記目標内目標それぞれの重心である目標内目標重心を算出して出力する目標内目標重心計算部と、
前記目標内目標重心を入力したとき、前記目標重心と前記撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する目標内目標検出判定部と、
前記判定目標内目標重心を入力しないとき、前記目標重心を誘導する目標である誘導目標として出力し、前記判定目標内目標重心を入力したとき、前記判定目標内目標重心を前記誘導目標として出力する、回路切替部と、
前記誘導目標から誘導方向を制御するための誘導信号を出力する誘導計算部と、
を備える画像誘導装置。
【請求項３】
追跡目標を撮像する撮像装置と、
前記撮像装置から出力された撮像画像の画像信号を2値化した2値化画像データを生成して出力する2値化部と、
前記2値化画像データから撮像画像内の追跡目標の重心である目標重心を算出して出力する目標重心計算部と、
前記撮像装置から出力された前記画像信号の特徴を強調した特長強調画像を生成して出力する特徴強調部と、
前記特徴強調画像を2値化した2値化特徴強調画像を生成して出力する特徴強調2値化部と、
前記2値化画像データと前記2値化特徴強調画像との論理積である論理積画像を算出して出力する論理積算出部と、
前記論理積画像から追跡目標内における追跡目標の候補である目標内目標を抽出する目標内目標抽出部と、
前記目標内目標それぞれの重心である目標内目標重心を算出して出力する目標内目標重心計算部と、
前記目標内目標重心を入力したとき、前記目標重心と前記撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する目標内目標検出判定部と、
前記判定目標内目標重心を入力しないとき、前記目標重心を誘導する目標である誘導目標として出力し、前記判定目標内目標重心を入力したとき、前記判定目標内目標重心を前記誘導目標として出力する、回路切替部と、
前記誘導目標から誘導方向を制御するための誘導信号を出力する誘導計算部と、
を備える画像誘導装置。
【請求項４】
追跡目標を撮像する撮像装置と、
前記撮像装置から出力された撮像画像の画像信号を2値化した2値化画像データを生成して出力する2値化部と、
前記2値化画像データから撮像画像内の追跡目標の重心である目標重心を算出して出力する目標重心計算部と、
前記撮像装置から出力された前記画像信号の特徴を強調した特長強調画像を生成して出力する特徴強調部と、
前記特徴強調画像を2値化した2値化特徴強調画像を生成して出力する特徴強調2値化部と、
前記2値化特徴強調画像から追跡目標内における追跡目標の候補である目標内目標を抽出する目標内目標抽出部と、
前記目標内目標それぞれの重心である目標内目標重心を算出して出力する目標内目標重心計算部と、
前記目標内目標重心を入力したとき、前記目標重心と前記撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する目標内目標検出判定部と、
前記2値化画像データから撮像画像内の追跡目標の面積と外接長方形とを算出して出力する面積計算外接長検出部と、
前記追跡目標の面積があらかじめ定められた閾値を超え、前記外接長方形が撮像画像の上端及び下端に達するか又は左端及び右端に達したとき、全面判定信号を出力する全面判定部と、
前記判定目標内目標重心を入力せず全面判定信号を入力しないとき、前記目標重心を誘導する目標である誘導目標として出力し、
前記判定目標内目標重心の入力があり全面判定信号を入力したとき、前記判定目標内目標重心を前記誘導目標として出力する、回路切替部と、
前記誘導目標から誘導方向を制御するための誘導信号を出力する誘導計算部と、
を備える画像誘導装置。
【請求項５】
追跡目標を撮像する撮像装置と、
前記撮像装置から出力された撮像画像の画像信号を2値化した2値化画像データを生成して出力する2値化部と、
前記2値化画像データから撮像画像内の追跡目標の重心である目標重心を算出して出力する目標重心計算部と、
前記撮像装置から出力された前記画像信号の特徴を強調した特長強調画像を生成して出力する特徴強調部と、
前記特徴強調画像を2値化した2値化特徴強調画像を生成して出力する特徴強調2値化部と、
前記2値化画像データと前記2値化特徴強調画像との論理積である論理積画像を算出して出力する論理積算出部と、
前記論理積画像から追跡目標内における追跡目標の候補である目標内目標を抽出する目標内目標抽出部と、
前記目標内目標それぞれの重心である目標内目標重心を算出して出力する目標内目標重心計算部と、
前記目標内目標重心を入力したとき、前記目標重心と前記撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する目標内目標検出判定部と、
前記2値化画像データから撮像画像内の追跡目標の面積と外接長方形とを算出して出力する面積計算外接長検出部と、
前記追跡目標の面積があらかじめ定められた閾値を超え、前記外接長方形が撮像画像の上端及び下端に達するか又は左端及び右端に達したとき、全面判定信号を出力する全面判定部と、
前記判定目標内目標重心を入力せず全面判定信号を入力しないとき、前記目標重心を誘導する目標である誘導目標として出力し、
前記判定目標内目標重心の入力があり全面判定信号を入力したとき、前記判定目標内目標重心を前記誘導目標として出力する、回路切替部と、
前記誘導目標から誘導方向を制御するための誘導信号を出力する誘導計算部と、
を備える画像誘導装置。
【請求項６】
前記特徴強調部が、前記撮像装置から出力された前記画像信号の特徴を、画像信号の色又は輝度の変化量を微分又は2次微分することにより強調した特長強調画像を生成して出力する、
請求項1乃至５のいずれか1項に記載の画像誘導装置。
【請求項７】
前記撮像装置が、赤外線又は可視光線を撮像する、
請求項1乃至６のいずれか1項に記載の画像誘導装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像により飛しょう体を目標に誘導する画像誘導装置に関する。
【背景技術】
【０００２】
従来の画像誘導装置は、撮像装置により撮像された画像データから追跡目標を抽出し、その追跡目標の一部に移動体を誘導する目標を設定し、移動体の姿勢を制御して移動することにより目標を追跡する。
【０００３】
このような画像誘導装置において、追跡精度を上げるための技術が数多く提案されている。例えば、特許文献1には撮像された画像の中心を原点として直交座標により4象限に分割し、追跡目標の面積が最も大きい象限を撮像すべき画像として選択する技術が開示されている。
【特許文献１】特開平１０−２１３６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、いずれの技術による画像誘導装置においても、移動体が追跡目標に接近する段階である終末誘導には、追跡目標が撮像画像からはみ出して追跡目標の一部しか画像データとして得られなくなる。この結果、撮像画像からはみ出した追跡目標の一部から求めた重心が追跡目標全体の重心からはずれたり、ついには重心を検出できなくなったりするという問題点があった。
【０００５】
本発明は上記のような問題点に鑑みてなされたものであり、終末誘導においても最適な誘導目標を検出することにより高精度の誘導を行なう画像誘導装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するために本発明は、撮像装置によって撮像された画像データを追跡目標の全体における重心を算出する第1の回路群と、上記の画像データから特徴を強調して追跡目標の内部における追跡目標の候補を抽出し、この追跡目標の候補それぞれの重心を検出し、この追跡目標の候補それぞれの重心のうち第1の回路群において算出された重心に、撮像画像内において最も近い重心を判定して出力する第2の回路群と、第2の回路群から判定された重心の入力がないときに第1の回路群によって算出された重心を誘導目標として出力し、第2の回路群から判定された重心の入力があるときに第2の回路群において判定された重心を誘導目標として出力する第3の回路群と、を備える画像誘導装置を提供する。
【発明の効果】
【０００７】
本発明によれば、誘導開始初期においては追跡目標の形状全体の重心を誘導目標とし、並行して撮像画像の追跡目標の内部に新たな追跡目標を検出し、この追跡目標の内部の追跡目標が検出されたとき、画像誘導装置は誘導目標をこの追跡目標の内部の追跡目標に切り替えて誘導する。このため、終末誘導において、追跡目標が撮像画像に収まらなくなっても、画像誘導装置は精度の高い誘導を行なうことができるという効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、本発明による画像誘導装置の一実施の形態を、図面を用いて詳細に説明する。
【０００９】
＜本実施形態の概要＞
本実施形態の画像誘導装置は、追跡目標を撮像する撮像装置と、少なくとも３つの回路群を備える。
【００１０】
第１の回路群は、撮像装置から出力された撮像画像の画像信号から撮像画像内の追跡目標の重心である目標重心を算出して出力する。
【００１１】
第２の回路群は、撮像装置から出力された撮像画像の画像信号の特徴を強調して追跡目標内における追跡目標の候補である目標内目標を抽出し、目標内目標それぞれの重心である目標内目標重心を算出し、この目標内目標重心のうち目標重心に、撮像画像における距離が最も小さい目標内目標重心である判定目標内目標重心を判定して出力する。
【００１２】
第3の回路群は、判定目標内目標重心を入力しないとき、目標重心を誘導する目標である誘導目標として出力し、判定目標内目標重心を入力したとき、判定目標内目標重心を誘導目標として出力する。
【００１３】
すなわち、本実施形態の画像誘導装置は、追跡目標に接近したとき、追跡目標の輪郭の内部に新たな追跡目標である判定目標内目標重心を検出し、誘導目標を目標重心から判定目標内目標重心に切り替えて誘導する。
【００１４】
＜本実施形態の詳細＞
図１は、本実施形態の画像誘導装置１００の構成を示す概要図である。図１に示すように、画像誘導装置１００は、赤外線又は可視光線により追跡目標を撮像する撮像装置１０１と、撮像装置１０１から出力されたアナログ信号をディジタル信号である画像信号に変換するＡ／Ｄ変換部１０２と、必要な前処理を行なう前処理部１０３と、少なくとも３つの回路群を備える。
【００１５】
第１の回路群は、撮像装置１０１から出力された撮像画像の画像信号を2値化した2値化画像データを生成して出力する2値化部１０４と、2値化画像データから撮像画像内の追跡目標の重心である目標重心を算出して出力する目標重心計算部１０５と、を備える。
【００１６】
第２の回路群は、撮像装置１０１から出力された画像信号の特徴を強調した特長強調画像を生成して出力する特徴強調部１０６と、特徴強調画像を2値化した2値化特徴強調画像を生成して出力する特徴強調2値化部１０７と、2値化画像データと2値化特徴強調画像との論理積である論理積画像を算出して出力する論理積算出部１０８と、論理積画像から追跡目標内における追跡目標の候補である目標内目標を抽出する目標内目標抽出部１０９と、目標内目標それぞれの重心である目標内目標重心を算出して出力する目標内目標重心計算部１１０と、目標内目標重心を入力したとき、目標重心と撮像画像における距離が最も小さい前記目標内目標重心である判定目標内目標重心を判定して出力する目標内目標検出判定部１１３と、を備える。
【００１７】
なお、第２の回路群は論理積算出部１０８を用いずに構成することも可能である。この場合、目標内目標抽出部１０９は2値化特徴強調画像から目標内目標を抽出する。
【００１８】
第３の回路群は、2値化画像データから撮像画像内の追跡目標の面積と外接長方形とを算出して出力する面積計算外接長検出部１１１と、追跡目標の面積があらかじめ定められた閾値を超え、外接長方形が撮像画像の上端及び下端に達するか又は左端及び右端に達したとき、全面判定信号を出力する全面判定部１１２と、判定目標内目標重心を入力せず全面判定信号を入力しないとき、目標重心を誘導する目標である誘導目標として出力し、判定目標内目標重心の入力があり全面判定信号を入力したとき、判定目標内目標重心を誘導目標として出力する、回路切替部１１４と、を備える。
【００１９】
外接長方形が撮像画像の上端及び下端に達するか又は左端及び右端に達したときとは、追跡目標に外接する長方形が、撮像画像の上下方向にいっぱいに広がるか、又は左右方向にいっぱいに広がるかしたときを意味する。この状態よりさらに追跡目標に接近すると、追跡目標は撮像画像からはみ出すこととなる。
【００２０】
なお、第３の回路群は、面積計算外接長検出部１１１及び全面判定部１１２を用いずに構成することも可能である。この場合、回路切替部１１４は、判定目標内目標重心を入力しないとき、目標重心を誘導する目標である誘導目標として出力し、判定目標内目標重心を入力したとき、判定目標内目標重心を前記誘導目標として出力する。
【００２１】
画像誘導装置１００はさらに、誘導目標から誘導方向を制御するための誘導信号を出力する誘導計算部１１５と、誘導目標からジンバル制御信号を生成するジンバル制御部１１６と、ジンバル制御信号に従って撮像装置１０１が設置されたジンバルを駆動させるジンバル駆動装置１１７と、を備えるように構成できる。
【００２２】
図２及び図３は、画像誘導装置による誘導目標の判定手順を模式的に表した図である。撮像装置１０１が追跡目標を撮像して出力したアナログ信号は、Ａ／Ｄ変換部１０２によりディジタルデータに変換され、前処理部１０３により前処理される。この画像データ２０1には、追跡目標２０２が撮像されている。
【００２３】
２値化部１０４は、この画像信号を２値化する。ここで、２値化とは画像信号を例えば０、１のような２つの値に変換することを言う。この２値化によって、画像データ２０１における追跡目標２０２の模様はその他の部分と同じ値に変換されるため、２値化部１０４は、画像データ２０３のように追跡目標の輪郭が明確となった2値化画像データを出力する。
【００２４】
目標重心計算部１０５は、2値化画像データから追跡目標の輪郭の重心である目標重心を算出する。画像データ２０３において、目標重心は白抜きの十字にて表される。
【００２５】
この処理に平行して、特徴強調部１０６は画像信号の特徴を強調した特長強調画像を生成して出力する。特徴を強調する方法は任意の方法を選択できる。例えば、画像信号の色又は輝度又は温度の変化量を微分又は2次微分することにより強調する方法などが挙げられる。ここで、微分又は２次微分する変化量は画像信号の色又は輝度又は温度に限られるものではない。
【００２６】
グラフ２０４は画像データ２０１の矢印Ａにおける画像信号の色又は輝度、すなわち画像データの濃淡を表している。また、赤外線によって撮像した場合には、グラフ２０４は熱の高低を表している。この状態において２値化すると、画像データ２０３と同じ結果になってしまう。そこで、この画像信号の色又は輝度又は熱の高低の変化量を微分乃至２次微分する。
【００２７】
グラフ２０５は２次微分の結果を表したグラフである。このように、色又は輝度又は温度の変化量が大きい位置において高い値が検出される。画像データ２０６は、特徴強調２値化部１０７において特長強調画像を２値化した2値化特徴強調画像の例である。
【００２８】
次いで論理積算出部１０８は、2値化画像データと2値化特徴強調画像との論理積である論理積画像を算出する。図３において、画像データ３０１は論理積画像の例である。このように、論理積画像は2値化画像データと2値化特徴強調画像に共通して表れる部分を有し、追跡目標の一部ではない物体の画像をほとんど含まない。
【００２９】
目標内目標抽出部１０９は、共通して表れるこれらの部分を追跡目標内における追跡目標の候補である目標内目標として抽出し、ラベル付けする。
【００３０】
目標内目標重心計算部１１０は、目標内目標それぞれの重心である目標内目標重心を算出して出力する。画像データ３０２に示す黒い十字は、目標内目標重心を表す。
【００３１】
目標内目標検出判定部１１３は、目標内目標重心を入力したとき、目標重心３０３と撮像画像における距離が最も小さい目標内目標重心である判定目標内目標重心３０４を判定して出力する。
【００３２】
図４は、撮像視野と誘導目標の切り替えを表した図である。図４の（ａ）列は、追跡目標４０２と撮像視野の関係を示した図である。このように撮像装置１０１は、追跡目標に接近するに従って撮像視野には追跡目標の一部しか捉えられなくなる。
【００３３】
図４の（ｂ）列は、目標重心４０３と撮像視野の関係を示した図である。画像データ４０８に示すように、終末誘導において追跡目標が撮像視野の大きな割合を示すようになると目標重心を算出することができなくなる場合がある。
【００３４】
図４の（ｃ）列は、誘導目標の切り替えを示した図である。画像データ４０４、４０５に示すように、追跡目標が遠い場合には目標内目標抽出部１０９は目標内目標を検出できないため、画像誘導装置１００は目標重心４０３を誘導目標として誘導する。
【００３５】
画像データ４０６、４０７において、回路切替部１１４は判定目標内目標重心を入力すると、誘導目標を目標重心４０３から画像データ４０７において黒色の十字にて示した判定目標内目標重心に切り替えて出力する。
【００３６】
＜本実施形態の効果＞
以上述べたように、本実施形態の画像誘導装置１００においては、撮像装置によって撮像された追跡目標の画像データから、第１の回路群が目標重心を算出し、第２の回路群が判定目標内目標重心を算出し、第３の回路群が、判定目標内目標重心を入力しないとき、目標重心を誘導する目標である誘導目標として出力し、判定目標内目標重心を入力したとき、判定目標内目標重心を誘導目標として出力する。
【００３７】
このため、終末誘導において撮像画像に追跡目標が収まらなくなっても、精度の高い誘導を行なうことができ、終末誘導の期間を長くすることができるという効果がある。
【００３８】
＜本発明の具体化における可能性＞
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３９】
【図１】画像誘導装置の構成を示す概要図である。
【図２】画像誘導装置による誘導目標の判定手順を模式的に表した図である。
【図３】画像誘導装置による誘導目標の判定手順を模式的に表した図である。
【図４】撮像視野と誘導目標の切り替えを表した図である。
【符号の説明】
【００４０】
１００：画像誘導装置、
１０１：撮像装置、
１０４：２値化部、
１０５：目標重心計算部、
１０６：特徴強調部、
１０７：特徴強調２値化部、
１０８：論理積算出部、
１０９：目標内目標抽出部、
１１０：目標内目標重心計算部、
１１３：目標内目標検出判定部、
１１４：回路切替部。
【図１】
2008267872.tif 000003
【図２】
2008267872.tif 000004
【図３】
2008267872.tif 000005
【図４】
2008267872.tif 000006