(57)【要約】【課題】  面積重心追尾方式による画像追尾処理において目標抽出処理の精度を向上させる。【解決手段】  画像追尾装置１において，目標らしさ算出手段１５は，画像取得手段１１の画像から追尾目標を含むゲート内画像を抽出し，ゲート内画像の中心部および周辺部の濃度ヒストグラムから各濃度値の度数を算出し，各濃度値における目標らしさを算出する。画像２値化手段１６は，目標らしさが所定値以上の濃度値を目標とする２値化テーブルを生成してゲート内画像を２値化処理する。面積重心算出手段１７は，目標の２値化画像の面積重心を，目標らしさを考慮して算出し，追尾点とする。追尾誤差算出手段１３は，追尾点と画像取得手段１１の視軸との追尾誤差を算出し，指向手段１４は，追尾誤差をもとに画像取得手段１１の指向を制御する。【選択図】  図１
2009290831.tif 000002
【特許請求の範囲】
【請求項１】
視野内の画像を取得する画像取得手段と，該画像取得手段によって撮像された画像中の目標に対応する追尾点と前記画像取得手段の視軸との差である追尾誤差を算出する追尾誤差算出手段と，該追尾誤差に応じて前記画像取得手段を転向させる指向手段とを有する画像追尾装置において，
前記撮像された画像を取得し，該画像中の前記目標を含む領域として設定された中心部と該中心部の周囲の領域である周辺部とで構成されるゲート内画像を抽出するゲート内画像抽出手段と，
前記ゲート内画像の中心部および周辺部の各濃度値の目標らしさを算出する目標らしさ算出手段と，
前記目標らしさにもとづいて前記ゲート内画像を２値化処理する画像２値化手段と，
前記目標の２値化画像の面積重心を，前記目標らしさを考慮して算出し，該面積重心を前記追尾点とする面積重心算出手段とを備える
ことを特徴とする画像追尾装置。
【請求項２】
前記目標らしさ算出手段は，
前記ゲート内画像の中心部および周辺部の各濃度ヒストグラムを算出する処理と，
前記中心部および周辺部濃度ヒストグラム各々について，各濃度値における画素の度数を算出する処理と，
前記中心部および周辺部の各濃度値の度数をもとに，該濃度値各々の目標らしさを算出する処理とを行う
ことを特徴とする請求項１に記載の画像追尾装置。
【請求項３】
前記画像２値化手段は，
前記目標らしさが高い濃度値を目標とする２値化テーブルを生成し，該２値化テーブルを用いて前記ゲート内画像を２値化処理する
ことを特徴とする請求項１または請求項２に記載の画像追尾装置。
【請求項４】
視野内の画像を取得する画像取得手段と，該画像取得手段によって撮像された画像中の目標に対応する追尾点と前記画像取得手段の視軸との差である追尾誤差を算出する追尾誤差算出手段と，該追尾誤差に応じて前記画像取得手段を転向させる指向手段とを有する画像追尾装置が実行する画像追尾処理方法において，
前記撮像された画像を取得し，該画像中の前記目標を含む領域として設定された中心部と該中心部の周囲の領域である周辺部とで構成されるゲート内画像を抽出する処理ステップと，
前記ゲート内画像の中心部および周辺部の各濃度ヒストグラムを算出する処理ステップと，
前記中心部および周辺部濃度ヒストグラム各々について，各濃度値における画素の度数を算出する処理ステップと，
前記中心部および周辺部の各濃度値の度数をもとに，該濃度値各々の目標らしさを算出する処理ステップと，
前記目標らしさが高い濃度値を目標とする２値化テーブルを生成し，該２値化テーブルを用いて前記ゲート内画像を２値化処理する処理ステップと，
前記目標の２値化画像の面積重心を，前記目標らしさを考慮して算出し，該面積重心を前記追尾点とする処理ステップとを備える
ことを特徴とする画像追尾処理方法。
【請求項５】
視野内の画像を取得する画像取得手段と，該画像取得手段によって撮像された画像中の目標に対応する追尾点と前記画像取得手段の視軸との差である追尾誤差に応じて前記画像取得手段を転向させる指向手段と接続するコンピュータを，
前記撮像された画像を取得し，該画像中の前記目標を含む領域として設定された中心部と該中心部の周囲の領域である周辺部とで構成されるゲート内画像を抽出するゲート内画像抽出手段と，
前記ゲート内画像の中心部および周辺部の各濃度値の目標らしさを算出する目標らしさ算出手段と，
前記目標らしさにもとづいて前記ゲート内画像を２値化処理する画像２値化手段と，
前記目標の２値化画像の面積重心を，前記目標らしさを考慮して算出し，該面積重心を前記追尾点とする面積重心算出手段と，
前記追尾点と前記画像取得手段の視軸との差である追尾誤差を算出し，前記指向手段へ通知する追尾誤差算出手段として機能させる
ことを特徴とする画像追尾処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，赤外線カメラ等の撮像装置により取得した画像中で設定された目標を，画面上の追尾点によって追尾させるように，撮像装置を転向させる画像追尾装置に関し，特に目標追尾を正確に実現し得る画像追尾装置に関する。
【背景技術】
【０００２】
画像追尾装置は，移動する目標がモニタ画面上において常に所定の追尾位置（通常は視野の中心）にあるように，撮像装置等の画像取得装置を転向させる指向装置を制御することによって，目標を画面上において追尾するものである。
【０００３】
近年における赤外線センサ等の画像取得装置の性能向上と，マイクロプロセッサを用いた画像処理技術および制御技術の進歩に基づいて，高精度，高安定度の目標追尾性能を有する画像追尾装置が開発されている。
【０００４】
このような画像追尾装置においては，目標や背景が複雑な濃度ヒストグラムとなる場合でも正確に目標を抽出し，追尾性能をより向上させ得ることが要望される。
【０００５】
従来，画像追尾装置において，画像中で最初に設定した目標が，その後の移動に伴って画像上の位置が変化した場合に，その目標の位置を割り出すための追尾方式として，ピーク点追尾方式，面積重心追尾方式，相関追尾方式等が知られている。
【０００６】
ピーク点追尾方式は，画面上において輝度がピークとなる点を目標として追尾する方式である。面積重心追尾方式は，画面上の目標部分を抽出し２値化した目標図形の重心位置を算出して追尾する方式である。相関追尾方式は，画面上に設定された目標とその後の画像との相関を求めて，相関が最大となる位置に従って追尾する方式である。
【０００７】
例えば，従来の面積重心追尾方式においては，追尾目標を抽出するために，入力画像を２値化処理し，この２値化画像の面積重心を計算し，この面積重心と画面中心点との差を追尾誤差として撮像装置の方向制御を行う。この２値化処理において，目標と重なる位置に設定した中心部と背景を含む周辺部とのそれぞれの輝度平均値の間を所定の比率で内分した点の値を２値化閾値として設定している（特許文献１参照）。
【特許文献１】特開平４−１５８２８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の面積重心追尾方式においては，目標抽出のために入力された画像を２値化処理し，その２値化画像の重心位置を計算することで追尾点を算出する。ここで，２値化処理に用いる２値化閾値は単一もしくは目標の持つ濃度値の最小値および最大値程度のものである。
【０００９】
このような従来技術では，目標または／および背景が複雑な濃度ヒストグラムを持つ場合には，目標および背景のいずれにも同様の濃度成分が含まれるため，２値化処理で抽出された目標へ背景が混入したり，本来目標として抽出されるべき画素が背景として除外されたりする。かかる状態のため，目標を精度よく追尾できないという問題点がある。
【００１０】
本発明は，面積重心追尾方式における目標抽出処理の改良に関するものであり，その目的は，追尾の目標または／および背景が複雑な濃度ヒストグラムを持つ場合でも，目標への背景の混入や本来目標の除外等の影響を減少させ，画像中の目標に対応する追尾点をより精度良く決定して目標追尾性能を向上させることができる画像追尾装置を提供することである。
【００１１】
また，本発明の別の形態における目的は，前記画像追尾装置の各手段によって実現される処理過程を備える画像追尾処理方法，コンピュータを前記画像追尾装置が備える各処理手段として機能させるための画像追尾処理プログラムを提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために，本発明に係る画像追尾装置は，視野内の画像を取得する画像取得手段と，画像取得手段によって撮像された画像中の目標に対応する追尾点と画像取得手段の視軸との差である追尾誤差を算出する追尾誤差算出手段と，追尾誤差に応じて画像取得手段を転向させる指向手段とを有する装置であって，撮像された画像を取得し，該画像中の目標を含む領域として設定された中心部と中心部の周囲の領域である周辺部とで構成されるゲート内画像を抽出するゲート内画像抽出手段と，ゲート内画像の中心部および周辺部の各濃度値の目標らしさを算出する目標らしさ算出手段と，目標らしさにもとづいてゲート内画像を２値化処理する画像２値化手段と，目標の２値化画像の面積重心を，目標らしさを考慮して算出し，該面積重心を前記追尾点とする面積重心算出手段とを備えるものである。
【００１３】
前記画像追尾装置は，追尾点算出処理として，上記各処理手段によって，撮像された画像から追尾ゲート枠内のゲート内画像を抽出し，ゲート内画像の中心部および周辺部の各濃度値における目標らしさを算出する。この目標らしさにもとづいてゲート内画像を２値化処理し，２値化画像の面積重心を，目標らしさを考慮して算出し，その面積重心を追尾点とする。
【００１４】
開示の画像追尾装置によれば，各濃度値の目標らしさにもとづいて画像を２値化処理するため，目標の２値化画像を高精度に切り出すことができる。
【００１５】
さらに，前記画像追尾装置は，各濃度値の目標らしさを考慮して目標の２値化画像の重心を計算するため，重心位置を高精度に得ることができる。
【００１６】
また，発明に係る画像追尾処理方法は，前記画像追尾装置が備える各処理手段が実行する種々の処理を実現する処理ステップを備えるものである。
【００１７】
また，発明に係る画像追尾処理プログラムは，画像取得手段と指向手段と接続するコンピュータを，前記画像追尾装置が備える各処理手段として機能させるためのものである。
【発明の効果】
【００１８】
開示の画像追尾装置は，目標追尾の追尾点を２値化画像の面積重心を用いて算出する場合に，各濃度値の目標らしさにもとづいて画像を２値化することができるため，目標または／および背景が複雑な濃度ヒストグラムを持つ場合でも，目標への背景混入や本来目標となる画素の除外等の影響を低減でき，目標を高精度に抽出することができる。
【００１９】
さらに，開示の画像追尾装置は，各濃度値の目標らしさを考慮して２値化画像の重心を計算することができるため，目標と背景とに含まれるような濃度値の重心計算への影響を抑制でき，目標画像の重心を高精度に決定することができる。
【００２０】
よって，本発明によれば，従来方式に比べてより良い精度で追尾点を決定することができ，高精度かつ高安定度の目標追尾機能を備える画像追尾装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
図１は，本発明の実施の形態における構成例を示す図である。
【００２２】
画像追尾装置１は，一定の視野内の画像を取得する画像取得手段１１と，画像中における追尾点を算出する追尾点算出手段１２と，追尾点と画像取得手段１１の視軸との誤差（追尾誤差）を算出する追尾誤差算出手段１３と，追尾誤差に応じて画像取得手段１１を転向させる指向手段１４とを有する。
【００２３】
追尾点算出手段１２は，目標らしさ算出手段１５と，画像２値化手段１６と，面積重心算出手段１７とを備える。
【００２４】
目標らしさ算出手段１５は，画像内における目標の変化に対応して各濃度値の目標らしさを算出する処理部であって，画像取得手段１１による画像を取得し，画像中の目標を指定するための追尾ゲートの枠内の画像であって，目標を含む領域である中心部および該中心部の周囲の背景の領域である周辺部で構成される画像（ゲート内画像）を抽出する処理（ゲート内画像抽出処理）と，ゲート内画像の中心部および周辺部の各濃度値における画素の度数を求め（濃度情報取得処理），各濃度値の度数を用いて目標らしさを算出する処理（目標らしさ算出処理）とを行う。
【００２５】
画像２値化手段１６は，該各濃度値の目標らしさに対応して追尾ゲート内の画像を２値化する処理部であって，目標らしさ算出手段１５が算出した目標らしさをもとに，目標らしさが所定の閾値以上の濃度値を目標とする２値化テーブルを生成し，この２値化テーブルを用いてゲート内画像を２値化処理する。
【００２６】
面積重心算出手段１７は，目標の２値化画像の重心位置（面積重心）を各濃度値の目標らしさを考慮して算出し，その面積重心を追尾点とする。面積重心算出手段１７が算出した追尾点は，追尾誤差算出手段１３へ通知される。
【００２７】
追尾誤差算出手段１３は，面積重心算出手段１７から通知された追尾点と，画像取得手段１１の視軸との追尾誤差を算出する。
【００２８】
指向手段１４は，追尾誤差算出手段１３から通知された追尾誤差に応じて，追尾点が画像取得手段１１の視軸と一致するように画像取得手段１１を転向させる。
【００２９】
画像追尾装置１の追尾点算出手段１２は，画像取得手段１１によって撮像された画像を取得し，この画像中の目標を含む領域を示すために設定された追尾ゲートの枠内のゲート内画像を取得し，ゲート内画像を中心部および周辺部に分割する。
【００３０】
そして，ゲート内画像の中心部および周辺部の各濃度ヒストグラムを算出し，中心部および周辺部の２つの濃度ヒストグラムをそれぞれ正規化し，濃度ヒストグラムの各濃度値における画素の度数を算出する。さらに，中心部および周辺部各々の濃度値の度数から，各濃度値の目標らしさを算出する。
【００３１】
次に，画像２値化手段１６は，目標らしさをもとに，目標らしさが所定の閾値以上の濃度値を目標とする２値化テーブルを生成し，ゲート内画像を２値化処理する。
【００３２】
面積重心算出手段１７は，各濃度値の目標らしさを重み付けして２値化画像の面積重心を算出し，この面積重心を追尾点とする。
【００３３】
そして，追尾誤差算出手段１３は，面積重心算出手段１７から追尾点が通知されると，画像取得手段１１の視軸と追尾点との差である追尾誤差を算出する。そして，指向手段１４は，通知された追尾誤差に応じて画像取得手段１１を転向させる。
【００３４】
これによって，画像取得手段１１の撮像方向が制御され，目標を高精度かつ高安定的に目標追尾を行うことが可能となる。
【００３５】
図２は，追尾ゲートの設定例を示す図である。
【００３６】
追尾ゲートは，画像取得手段１１によって撮像された画像中で設定される。追尾ゲートの枠内のゲート内画像は，追尾の目標を含む領域の中心部および背景の領域の周辺部で構成される。
【００３７】
図２において，ＬＩＮは追尾ゲートの縦方向の画素数，ＣＯＬは追尾ゲートの横方向の画素数を示す。Ａ，Ｂ，Ｃ，Ｄは，それぞれ任意の定数（可変）を示し，以下に示す関係にある。
【００３８】
Ａ＋２Ｂ＜１
Ｃ＋２Ｄ＜１
次に，追尾点算出手段１２の処理を，図３を用いてより詳細に説明する。
【００３９】
ステップＳ１：  目標らしさ算出手段１５は，赤外線カメラ等の画像取得手段１１によって撮像された画像を取得し，取得画像中に設定された追尾ゲート内のゲート内画像を取得する。
【００４０】
ステップＳ２：  目標らしさ算出手段１５は，ゲート内画像を所定の周辺部と中心部とに分割する。
【００４１】
ステップＳ３：  目標らしさ算出手段１５は，周辺部および中心部それぞれの濃度ヒストグラム，周辺部濃度ヒストグラム（ＨＯＵＴ），中心部濃度ヒストグラム（ＨＩＮ）を作成する。
【００４２】
ステップＳ４：  目標らしさ算出手段１５は，さらに，周辺部および中心部の２つの濃度ヒストグラムＨＯＵＴ，ＨＩＮを正規化し，各濃度値における度数（ＨＯＵＴ＿ＮＯＲ（Ｄ），ＨＩＮ＿ＮＯＲ（Ｄ））を計算する。
【００４３】
ＨＯＵＴ＿ＮＯＲ（Ｄ）＝ＨＯＵＴ（Ｄ）／ＮＯＵＴ
ＨＩＮ＿ＮＯＲ（Ｄ）＝ＨＩＮ（Ｄ）／ＮＩＮ
ＨＯＵＴ＿ＮＯＲ（Ｄ）：周辺部の画素数で正規化された濃度ヒストグラム
ＨＩＮ＿ＮＯＲ（Ｄ）：中心部の画素数で正規化された濃度ヒストグラム
ＮＯＵＴ：周辺部の画素数
ＮＩＮ：中心部の画素数
さらに，以下の式（１）を計算し，目標らしさＴ（Ｄ）の高い濃度値Ｄを求める。
【００４４】
Ｔ（Ｄ）＝ＨＩＮ＿ＮＯＲ（Ｄ）／（ＨＩＮ＿ＮＯＲ（Ｄ）＋ＨＯＵＴ＿ＮＯＲ（Ｄ））      式（１）
Ｔ（Ｄ）：目標らしさ
Ｄ：濃度値
図４は，周辺部および中心部の正規化された濃度ヒストグラムならびに目標らしさの算出結果例を示す図である。
【００４５】
図４（Ａ）はゲート内画像の周辺部の画素数で正規化された濃度ヒストグラムＨＯＵＴ＿ＮＯＲ（Ｄ）を，図４（Ｂ）は中心部の画素数で正規化された濃度ヒストグラムＨＩＮ＿ＮＯＲ（Ｄ）の例を示す。
【００４６】
濃度値Ｄ＝１〜２５７（１＝黒，２５７＝白）において，図４（Ａ）の濃度値１２９〜２２０あたりに表れている度数のピークは，背景の映像を示すものである。また，図４（Ｂ）の濃度４０〜２５７あたりに表れている度数のピークは，目標の映像を示すものである。
【００４７】
図４（Ｃ）は，図４（Ａ）および（Ｂ）の場合に算出される目標らしさＴ（Ｄ）の例を示す。図４（Ｃ）において，目標らしさＴ（Ｄ）が１に近い程，目標の映像である度合いが高いことを表す。
【００４８】
ステップＳ５：  画像２値化手段１６は，目標らしさ算出手段１５によって算出された目標らしさＴ（Ｄ）が，可変な閾値以上となる濃度値を目標（白または黒），未満のものを背景（黒または白）として２値化テーブルを作成する。この閾値は，外部入力で設定してもよいし，または，画像２値化手段１６に所定の設定ルールを設けておくようにしてもよい。
【００４９】
図５は，２値化テーブルの作成例を示す図である。
【００５０】
例えば，閾値＝０．８５である場合に，１≦濃度値Ｄ≦１２９，２２５≦濃度値Ｄ≦２５７を目標（白），１２９＜濃度値Ｄ＜２２５を背景（黒）とする２値化テーブルを作成する。
【００５１】
ステップＳ６：  画像２値化手段１６は，２値化テーブルに従い，ゲート内画像を２値化する。これにより，目標を示す白の２値化画像が生成される。
【００５２】
ステップＳ７：  面積重心算出手段１７は，以下の式（２）により，各濃度値の目標らしさＴ（Ｄ）を考慮して，２値化画像の重心位置（面積重心）を算出する。
【００５３】
【数１】
2009290831.tif 000003
【００５４】
Ｄｉｊ：ゲート内画像の座標（ｉ，ｊ）における濃度値
Ｂｉｊ：ゲート内２値化画像の座標（ｉ，ｊ）における値
このように，面積重心算出時に目標らしさＴ（Ｄ）を考慮することによって，目標の画像への背景混入の影響を小さくすることが可能となる。
【００５５】
また，目標への背景混入の影響を小さくすることが可能なため，２値化テーブル算出時に用いる閾値を小さくすることが可能となり，本来目標である画素の目標からの除外を減少することにも効果がある。
【００５６】
図６は，本発明にかかる画像追尾装置の実施例における構成を示す図である。
【００５７】
画像追尾装置１００は，一定の視野を有し画像を取得する赤外線カメラ２１，赤外線カメラ２１を指向するモータ２２，赤外線カメラ２１の角度を検出する角度検出部２３を有する撮像部２０，赤外線カメラにより撮像された画像信号を増幅する増幅部２４，画像信号をデジタル画像信号に変換するＡ／Ｄ変換器２５，モータ２２を制御するサーボ制御部２６，追尾点と赤外線カメラ２１の視軸との差（追尾誤差）を算出する追尾誤差算出部２７，目標である２値化画像の面積重心を算出する面積重心算出部２８，ゲート内画像を２値化する画像２値化部２９，ゲート内画像の中心部および周辺部の濃度ヒストグラムを用いて目標らしさを算出する目標らしさ算出部３０，画像データに追尾ゲートを重畳する等の画像処理を行う画像処理部３１，追尾ゲートを設定する追尾ゲート設定部３２，追尾ゲートの設定，閾値入力等のユーザ操作の入力を処理する操作部３３，モニタ３４で構成される。
【００５８】
画像追尾装置１００は，操作者が操作部３３に設けられたジョイスティック等を操作して追尾ゲートを設定すると，ゲート枠中心部に存在する物体を目標とし，この目標の追尾動作を開始する。
【００５９】
目標らしさ算出部３０は，Ａ／Ｄ変換器２５からのデジタル画像信号と追尾ゲート設定部３２からの追尾ゲート情報により，ゲート内画像の周辺部および中心部の各濃度値の目標らしさＴ（Ｄ）を算出する。
【００６０】
画像２値化部２９は，Ａ／Ｄ変換器２５からのデジタル画像信号に対して，目標らしさ算出部３０にて算出された目標らしさＴ（Ｄ）が閾値以上の濃度値Ｄを「目標の濃度値」として追尾ゲート内の画像を２値化する。
【００６１】
面積重心算出部２８は，画像２値化部２９にて２値化された目標の重心を各濃度値Ｄの目標らしさＴ（Ｄ）を考慮して算出する
追尾誤差算出部２７は，面積重心算出部２８にて算出された目標の重心と画面中心との距離（追尾誤差）を算出し，それをサーボ制御部２６に入力する。サーボ制御部２６は追尾誤差と撮像部２０に搭載された角度検出器２３からの角度情報にもとづき，撮像部２０に搭載されたモータ２２を制御し，赤外線カメラ２１が撮像する画像の中心に目標がくるようにする。
【００６２】
また，画像処理部３１では，Ａ／Ｄ変換器２５からのデジタル画像信号に強調処理等を行い，追尾ゲートを重畳して，画像をモニタ３４に出力する。
【００６３】
以上，本発明をその実施の形態により説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【００６４】
また，開示する画像追尾装置１の各処理手段の一部は，コンピュータにより読み取られ実行される処理プログラムとして実施することが可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態における構成例を示す図である。
【図２】追尾ゲートの設定例を示す図である。
【図３】追尾点算出手段の処理フロー図である。
【図４】ゲート内情報の周辺部および中心部の正規化された濃度ヒストグラムならびに目標らしさの算出結果例を示す図である。
【図５】２値化テーブルの作成例を示す図である。
【図６】画像追尾装置の実施例におけるブロック構成図である。
【符号の説明】
【００６６】
１  画像追尾装置
１１  画像取得手段
１２  追尾点算出手段
１３  追尾誤差算出手段
１４  指向手段
１５  目標らしさ算出手段
１６  画像２値化手段
１７  面積重心算出手段
１００  画像追尾装置
２０  撮像部
２１  赤外線カメラ
２２  モータ
２３  角度検出部
２４  増幅部
２５  Ａ／Ｄ変換器
２６  サーボ制御部
２７  追尾誤差算出部
２８  面積重心算出部
２９  画像２値化部
３０  目標らしさ算出部
３１  画像処理部
３２  追尾ゲート設定部
３３  操作部
３４  モニタ
【図１】
2009290831.tif 000004
【図２】
2009290831.tif 000005
【図３】
2009290831.tif 000006
【図４】
2009290831.tif 000007
【図５】
2009290831.tif 000008
【図６】
2009290831.tif 000009