(57)【要約】【課題】目標物または背景が複雑な濃度ヒストグラムを持つ場合でも、正確に目標物抽出を行なうことによって、画像中における目標物追尾を行なう際の追尾性能を向上させる。【解決手段】一定の視野を有する撮像カメラ１１により取得した画像中における追尾点を算出し、前記追尾点と前記撮像カメラの視軸との誤差（追尾誤差）に応じて前記撮像カメラの方向を制御して移動する目標物を追尾する画像追尾装置において、前記画像内の目標物の変化に対応して２値化テーブルを更新する２値化テーブル算出部２０と、前記２値化テーブルに対応して追尾ゲート内の画像を２値化する画像２値化部１９と、前記２値化画像の重心位置により前記追尾点を算出する面積重心算出部１８とを備える。【選択図】    図１
2004226339.tif 000002
【特許請求の範囲】
【請求項１】
一定の視野を有する撮像カメラにより取得した画像中における追尾点を算出し、前記追尾点と前記撮像カメラの視軸との誤差に応じて前記撮像カメラの方向を制御して、移動する目標物を追尾する画像追尾装置であって、
前記画像内の目標物の変化に対応して２値化テーブルを更新する２値化テーブル算出部と、
前記２値化テーブルに対応して追尾ゲート内の画像を２値化する画像２値化部と、
前記２値化画像の重心位置により前記追尾点を算出する面積重心算出部とを備えることを特徴とする画像追尾装置。
【請求項２】
請求項１記載の画像追尾装置において、
前記２値化テーブル算出部は、追尾ゲート内の背景を示す周辺部分と、目標を示す中心部分の各濃度ヒストグラムを算出する手段と、
前記２つの濃度ヒストグラムの各濃度値における度数を演算する手段と、
前記各濃度値における度数から目標らしさの高い濃度値を求める手段と、
前記目標らしさの高い濃度値から２値化テーブルを算出する手段を備えることを特徴とする画像追尾装置。
【請求項３】
一定の視野を有する撮像カメラにより取得した画像中における追尾点を算出し、前記追尾点と前記撮像カメラの視軸との誤差に応じて前記撮像カメラの方向を制御して、移動する目標物を追尾する画像追尾方法であって、
追尾ゲート内の背景を示す周辺部分と、目標を示す中心部分の各濃度ヒストグラムを算出するステップと、
前記２つの濃度ヒストグラムの各濃度値における度数を演算するステップと、
前記各濃度値における度数から目標らしさの高い濃度値を求めるステップと、
前記目標らしさの高い濃度値から２値化テーブルを算出するステップと、
前記２値化テーブルに対応して追尾ゲート内の画像を２値化するステップと、
前記２値化画像の重心位置により前記追尾点を算出するステップとを含むことを特徴とする画像追尾方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、赤外線カメラ等の撮像装置により取得した画像中の目標物が、その後の移動に伴って画像上の位置が変化した場合、目標物の重心を撮像カメラの中心となるように撮像カメラの方向を制御する画像追尾装置および方法に係り、特に目標物を背景から正確に抽出し得る画像追尾装置および方法に関する。
【０００２】
画像追尾装置は、移動する目標物がモニタ画面上において、常に所定の追尾点（通常は視野の中心）にあるように、赤外線カメラ等の撮像カメラの向きを移動させる指向装置を制御することによって、目標物を画面上において追尾するものである。
近年における赤外線センサ等の画像取得デバイスの性能向上と、マイクロプロセッサを用いた画像処理技術および制御技術の進歩に基づいて、高精度，高安定度の目標物体追尾性能を有する画像追尾装置が開発されている。
【０００３】
このような画像追尾装置においては、目標物や背景が複雑な濃度ヒストグラムとなる場合でも正確に目標を抽出し、追尾性能をより向上させ得ることが要望される。
【０００４】
【従来の技術】
従来、画像追尾装置において、画像中に最初に設定した目標物が、その後の移動に伴って画像上の位置が変化した場合、その位置を割り出すための追尾方式としては、（１）  画面上において輝度がピークとなる点を目標物として追尾するピーク点追尾方式、（２）  画面上に設定された目標物とその後の画像との相関を求めて、相関最大の位置に従って追尾する相関追尾方式、（３）  画面上の目標物の部分を抽出し２値化した目標物図形の重心位置を算出して追尾する面積重心追尾方式とが知られている。
【０００５】
例えば、従来の面積重心追尾方式においては、目標物を抽出するため入力された画像に２値化処理を行い、その２値化画像の重心位置を計算することで追尾点を算出する。ここで、２値化処理に用いる２値化閾値は単一もしくは目標物の持つ濃度値の最小値および最大値程度のものである。また、目標物の持つ濃度値自体も追尾ゲートの周辺部（背景部）と中心部（目標部）それぞれの濃度の平均値、最大値、最小値等に基づいて推定されたものである（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開平４−１５８２８４号公報
【０００７】
【発明が解決しようとする課題】
従来の面積重心追尾方式によれば、追尾目標物の初期捕捉時に、処理サイズと位置をそれ程厳密に調整しなくても、充分追尾処理を遂行することができるので、操作者の負担が少なくなるという効果が得られる反面、目標物もしくは／および背景が複雑な濃度ヒストグラムを持つ場合、正確な目標物抽出が難しく目標物を精度よく追尾できないという問題点があった。
【０００８】
本発明は、このような従来技術の問題点を解決するものであって、目標物もしくは／および背景が複雑な濃度ヒストグラムを持つ場合でも正確に目標物抽出を行うことによって、画像中における目標物追尾を行う際の追尾性能を向上させることができる画像追尾装置および方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するための第１の発明は、一定の視野を有する撮像カメラにより取得した画像中における追尾点を算出し、前記追尾点と前記撮像カメラの視軸との誤差に応じて前記撮像カメラの方向を制御して、移動する目標物を追尾する画像追尾装置であって、前記画像内の目標物の変化に対応して２値化テーブルを更新する２値化テーブル算出部と、前記２値化テーブルに対応して追尾ゲート内の画像を２値化する画像２値化部と、前記２値化画像の重心位置により前記追尾点を算出する面積重心算出部とを備えている。
【００１０】
この第１の発明によれば、画像内の追尾ゲートの目標物体の変化に対応して画像を２値化して算出することにより、目標物体の追尾性能が向上した画像追尾装置を提供できる。
第２の発明は、第１の発明において、前記２値化テーブル算出部は、追尾ゲート内の背景を示す周辺部分と、目標を示す中心部分（目標部分）の各濃度ヒストグラムを算出する手段と、前記２つの濃度ヒストグラムの各濃度値における度数を演算する手段と、前記各濃度値における度数から目標らしさの高い濃度値を求める手段と、前記目標らしさの高い濃度値から２値化テーブルを算出する手段を備えている。
【００１１】
この第２の発明によれば、追尾ゲート中心部の背景成分と目標成分からなる濃度ヒストグラムから目標成分のみを正確に抽出することにより、背景や目標の濃度ヒストグラムが複雑な場合でも、従来の装置に比べて追尾性能を向上させた画像追尾装置を提供できる。
第３の発明は、一定の視野を有する撮像カメラにより取得した画像中における追尾点を算出し、前記追尾点と前記撮像カメラの視軸との誤差に応じて前記撮像カメラの方向を制御して、移動する目標物を追尾する画像追尾方法であって、追尾ゲート内の背景を示す周辺部分と、目標を示す中心部分の各濃度ヒストグラムを算出するステップと、前記２つの濃度ヒストグラムの各濃度値における度数を演算するステップと、前記各濃度値における度数から目標らしさの高い濃度値を求めるステップと、前記目標らしさの高い濃度値から２値化テーブルを算出するステップと、前記２値化テーブルに対応して追尾ゲート内の画像を２値化するステップと、前記２値化画像の重心位置により前記追尾点を算出するステップとを含んでいる。
【００１２】
この第３の発明によれば、追尾ゲート中心部の背景成分と目標成分からなる濃度ヒストグラムから目標成分のみを正確に抽出することにより、背景や目標の濃度ヒストグラムが複雑な場合でも、従来に比べて目標物の追尾性能を向上させた画像追尾方法を提供できる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図を参照しながら説明する。なお、全図を通じて理解を容易とするために同様箇所には、同一符号を付して示すものとする。
図１は、本発明の一実施形態における画像追尾装置の構成図であり、１０は赤外線カメラ１１、モータ１２及び角度検出部１３からなる撮像部、１１は一定の視野を有し画像を取得する赤外線カメラ、１２は赤外線カメラ１１を指向するモータ、１３は赤外線カメラ１１の角度を検出する角度検出部、１４は増幅部、１５はＡ／Ｄ変換器、１６はモータ１２を制御して赤外線カメラ１１が撮像する画像の中心に目標物が来るように制御するサーボ制御部、１７は目標物の重心と画面中心との距離（追尾誤差）を算出する追尾誤差算出部、１８は２値化された目標物の重心を算出する面積重心算出部、１９はディジタル画像信号に対して目標物の濃度情報を元に追尾ゲート内の画像を２値化する画像２値化部、２０はディジタル画像信号と追尾ゲート情報により目標物の濃度情報を算出する２値化テーブル算出部、２１はディジタル画像信号に強調処理などを加え追尾ゲートを重畳する画像処理部、２２は追尾ゲート情報を設定する追尾ゲート設定部、２３は操作者がジョイスティック等を操作して追尾ゲートを設定する操作部、２４はモニタである。
【００１４】
図２は、本発明の一実施形態における画像追尾のフローチャートである。以下、図２の動作フローについて、図１を用いて説明する。
Ｓ１．赤外線カメラ１１により目標物を撮像する。
Ｓ２．撮像された画像信号を増幅器１４により増幅する。
Ｓ３．Ａ／Ｄ変換器１５によりディジタル画像信号に変換する。
【００１５】
Ｓ４．操作者が操作部２３のジョイステック等を操作して追尾ゲートを設定する。
Ｓ５．ゲート枠中心部に存在する物体を目標物として画像追尾装置は追尾動作を開始する。
Ｓ６．２値化テーブル算出部２０において、Ａ／Ｄ変換器１５からのデジタル画像信号と、追尾ゲート設定部２２からの追尾ゲート情報により追尾ゲート内の周辺部分（背景部分）と中心部分（目標部分）の各濃度ヒストグラムを算出する。
【００１６】
Ｓ７．周辺部分（背景部分）の濃度ヒストグラムと中心部分（目標部分）の濃度ヒストグラムの２つの濃度ヒストグラムの各濃度値における度数（画素数／総画素数）を演算する。
Ｓ８．２つの濃度ヒストグラム、周辺部の画素数、中心部の画素数を用いて、計算すること（後述）により、目標らしさの高い濃度値を求める。
【００１７】
Ｓ９．画像２値化部１９において、Ａ／Ｄ変換機１５からのデジタル画像信号に対して、２値化テーブル算出部２０にて算出した目標物の濃度情報を元に追尾ゲート内の画像を２値化する。
Ｓ１０．面積重心算出部１８において、画像２値化部１９にて２値化された目標物の重心を算出する。
【００１８】
Ｓ１１．追尾誤差算出部１７において、面積重心算出部１８にて算出された目標物の重心と画面中心との距離（追尾誤差）を算出し、それをサーボ制御部１６に入力する。
Ｓ１２．サーボ制御部１６において、追尾誤差と撮像部１０に搭載された角度検出器１３からの角度情報に基づき、撮像部１０に搭載されたモータ１２を制御し、赤外線カメラ１１が撮像する画像の中心に目標物が来るようにする。
【００１９】
Ｓ１３．画像処理部２１において、Ａ／Ｄ変換器１５からのデジタル画像信号に強調処理等を加え、追尾ゲートを重畳し、モニタ２４に出力する。
図３は、本発明の一実施形態における２値化テーブル算出用追尾ゲートの構成説明図である。図３に示すように、２値化テーブル算出用追尾ゲートは、入力された追尾ゲート内画像を周辺部（背景部）と中心部（目標部）に分け、それぞれの濃度ヒストグラム（周辺部濃度ヒストグラム：ＨＯＵＴ  、中心部濃度ヒストグラム：ＨＩＮ）を作成する。
【００２０】
Ａ，Ｂ，Ｃ，Ｄは、それぞれ任意の定数（可変）を示し、以下に示す関係にある。
Ａ＋２Ｂ＜１
Ｃ＋２Ｄ＜１
但し、
ＬＩＮ（ｌｉｎｅ）：追尾ゲートの縦方向の画素数
ＣＯＬ（ｃｏｌｕｍｎ）：追尾ゲートの横方向の画素数
である。
【００２１】
作成した２つの濃度ヒストグラムを用いて、以下のように計算することにより目標らしさの高い濃度値を求める。
ＨＯＵＴ−ＮＯＲ  （Ｄ）＝ＨＯＵＴ  （Ｄ）／ＮＯＵＴ  
ＨＩＮ−ＮＯＲ（Ｄ）＝ＨＩＮ（Ｄ）／ＮＩＮ
Ｔ（Ｄ）＝ＨＩＮ−ＮＯＲ（Ｄ）／（ＨＩＮ−ＮＯＲ（Ｄ）＋ＨＯＵＴ−ＮＯＲ  （Ｄ））
但し、
ＨＯＵＴ−ＮＯＲ  （Ｄ）：周辺部の画素数で正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ  ）された濃度ヒストグラム（ｈｉｓｔｏｇｒａｍ  ）
ＨＩＮ−ＮＯＲ（Ｄ）：中心部の画素数で正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ  ）された濃度ヒストグラム（ｈｉｓｔｏｇｒａｍ  ）
ＮＯＵＴ  ：周辺部の画素数
ＮＩＮ：中心部の画素数
Ｔ（Ｄ）：目標らしさ
Ｄ：濃度値
と表される。
【００２２】
図４は、本発明の一実施形態における目標らしさ算出の説明図であり、
（１）  周辺部の画素数で正規化したヒストグラム
（２）  中心部の画素数で正規化したヒストグラム
（３）  目標らしさ算出結果
を示す。
【００２３】
度数＝画素数／総画素数
濃度＝１〜２５７（８ビットで設定、１＝黒、２５７＝白）
本実施例では、追尾する目標物として海上を航行する船艇を例とした場合を示し、（１）  周辺部の画素数で正規化したヒストグラムにて、濃度１２９〜２５７で度数のピークが表示されるのは波の映像を顕わし、（２）  中心部の画素数で正規化したヒストグラムにて、濃度６５の近辺で度数のピークが表示されるのは、船艇の映像を顕わしている。
【００２４】
以上の結果から、追尾する目標物の目標らしさが、（３）  目標らしさ算出結果、に示すごとくが算出される。すなわち、同図にて目標らしさの値が１に近い程、目標を顕わす。
図５は、本発明の一実施形態における２値化テーブル作成の説明図であり、
（１）  目標らしさ算出結果
（２）  ２値化閾値テーブル
を示す。
【００２５】
本実施例では、算出された目標らしさが可変な閾値（点線で示す）以上となる濃度値を白（もしくは黒）、未満のものを黒（もしくは白）として２値化テーブルを作成する。すなわち、図５（２）  ２値化閾値テーブルに示すように、濃度＝１〜１２９と濃度＝２２５〜２５７とを目標部とし、濃度＝１２９〜２２５を背景部とするように、追尾ゲート内の画像が２値化される。
【００２６】
【発明の効果】
以上説明したように、本発明は、追尾ゲート中心部の背景成分と目標成分からなる濃度ヒストグラムから目標成分のみを正確に抽出することにより、背景や目標の濃度ヒストグラムが複雑な場合であっても、追尾性能が低下することのない高性能の画像追尾装置および方法を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像追尾装置の構成図である。
【図２】本発明の一実施形態における画像追尾のフローチャートである。
【図３】本発明の一実施形態における２値化テーブル算出用追尾ゲートの構成説明図である。
【図４】本発明の一実施形態における目標らしさ算出の説明図である。
【図５】本発明の一実施形態における２値化テーブル作成の説明図である。
【符号の説明】
１０    撮像部
１１    赤外線カメラ
１２    モータ
１３    角度検出部
１４    増幅部
１５    Ａ／Ｄ変換部
１６    サーボ制御部
１７    追尾誤差算出部
１８    面積重心算出部
１９    画像２値化部
２０    ２値化テーブル算出部
２１    画像処理部
２２    追尾ゲート設定部
２３    操作部
２４    モニタ
【図１】
2004226339.tif 000003
【図２】
2004226339.tif 000004
【図３】
2004226339.tif 000005
【図４】
2004226339.tif 000006
【図５】
2004226339.tif 000007