(57)【要約】      （修正有）【課題】移動しながら撮影される画像データであっても目標物体を検出することができ、白黒画像を使用しても目標物体の移動を検出することができる。【解決手段】参照用フレームにおける、目標領域Ｒを指定する領域指定部１３と、参照用フレームについては指定した目標領域から、入力フレームについてはフレーム全体から輝度データＹを抽出し、輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムｈｉｓｔＲとして、入力フレームについては入力ヒストグラムｈｉｓｔＣとして生成する輝度ランレングスヒストグラム生成部１４と、参照用ヒストグラムを記憶するメモリ１５と、確率分布画像を生成する確率分布生成部１６と、目標領域の位置及びサイズを求める目標領域算出部１７と、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御する制御信号を生成して出力する制御信号出力部１８とを備える。【選択図】図１
2008259161.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては参照用ヒストグラムとして、また、前記入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、
前記生成した参照用ヒストグラムを記憶する記憶手段と、
前記記憶した参照用ヒストグラムと前記生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、
前記生成した確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
【請求項２】
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては第１参照用ヒストグラムとして、また、前記入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、前記参照用フレームについては第２参照用ヒストグラムとして、また、前記入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、
前記生成した第１参照用ヒストグラムと前記生成した第２参照用ヒストグラムとを記憶する記憶手段と、
前記記憶した第１参照用ヒストグラムと前記生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、前記記憶した第２参照用ヒストグラムと前記生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、
前記生成した第１確率分布画像と前記生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、
前記選択した有効な確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
【請求項３】
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記目標領域を含み前記目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては参照用ヒストグラムとして、また、前記入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、
前記生成した参照用ヒストグラムを記憶する記憶手段と、
前記記憶した参照用ヒストグラムと前記生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、
前記生成した確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
【請求項４】
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記目標領域を含み前記目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては第１参照用ヒストグラムとして、また、前記入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記探索領域から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、前記参照用フレームについては第２参照用ヒストグラムとして、また、前記入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、
前記生成した第１参照用ヒストグラムと前記生成した第２参照用ヒストグラムとを記憶する記憶手段と、
前記記憶した第１参照用ヒストグラムと前記生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、前記記憶した第２参照用ヒストグラムと前記生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、
前記生成した第１確率分布画像と前記生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、
前記選択した有効な確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
【請求項５】
ヒストグラム修正部を更に備え、
前記ヒストグラム生成部は、前記参照用フレームについて、前記指定した目標領域以外の背景領域から輝度データを抽出して背景ヒストグラムをも生成し、
前記ヒストグラム修正部は、前記参照用ヒストグラムと前記背景ヒストグラムとに基づき所定の修正ヒストグラムを生成し、
前記記憶手段は前記生成した所定の修正ヒストグラムを前記参照用ヒストグラムとして記憶するように構成したことを特徴とする請求項１又は３記載の目標追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指定された目標物体を追尾するカメラシステムに適用されて好適な目標追尾装置に関する。
【背景技術】
【０００２】
映像監視やTV会議等、様々な状況下で、カメラによって画像を撮影して利用するカメラシステムがある。このようなカメラシステムでは、追尾機能を備え、設定した目標物体を追尾して撮影領域を変更しながら画像を撮影するものもある。例えば、追尾機能を備える監視カメラシステムでは不審な人物が設定されると、この人物を追尾しながら画像を撮影することができる。また、追尾機能を備えるTV会議システムでは、会議中に設定された発言者等の特定の人物を追尾して画像を撮影することができる。
【０００３】
目標物体を追尾して画像を撮影するためには、目標物体の移動量に応じて、目標物体が撮影画角から外れないようにカメラのパン・チルト・ズーム機構やカメラを設置する電動回転雲台を制御する必要がある。目標物体を追尾して撮影するようカメラや回転雲台を制御するために、撮影画像から移動する目標物体の移動量や進行方向等の動きを検出する方法として、過去に入力した画像と新たに入力した画像との輝度差分を利用する背景差分法やフレーム差分法が一般的に用いられている。
【０００４】
一方、このような輝度差分を利用する方法では、画像中に存在する目標物体の以外の動く物体が目標物体と交差したとき、誤って他の動く物体を追尾する問題が生じることがある。例えば、風で揺れる樹木、歩行者又は走行車等、様々な物体が動いており、これらの動く物体を目標物体と誤って、目標物体の追尾を失敗することがある。
【０００５】
また、輝度差分を利用する方法では、カメラの移動によって画面全体が移動領域とみなされて画像中の移動物体を特定することができないため、停止しているカメラで撮影された画像から目標物体の移動を検出し、その後にカメラを移動させ、再び停止したカメラで画像を撮影するという処理を繰り返す必要がある。すなわち、カメラの移動と停止とを繰り返して撮影するという間欠的な処理が必要となり、移動速度の速い目標物体を見失う問題が生じることがある。また、このような間欠的な処理で撮影された画像で構成される動画像は、目標物体の移動が滑らかでなく、見難い動画像となる問題がある。
【０００６】
そこで、輝度差分を利用した際の目標物体の追尾の失敗や画像の見難さの問題を解決するため、画像中の色情報を用いる技術がある（非特許文献１）。非特許文献１に記載されるCAMSHIFT（Continuously adaptive Means Shift）法は、入力される画像データをHSV表色系（色相成分Ｈ、彩度成分Ｓ、明度成分Ｖ）で扱い、色情報（色相成分Ｈ）によって生成した色相ヒストグラムにより目標物体の確率分布を算出し、目標物体を追尾する方法である。この非特許文献１に記載されるように色情報を用いて目標物体の追尾を行うことにより、追尾の失敗や画像の見難さを改善することができる。
【０００７】
また、このCAMSHIFT法を利用して追尾の精度を向上させる技術もある（特許文献１）。特許文献１では、追尾の精度の向上の為に、（１）色相ヒストグラムの生成でノイズの除去に用いる閾値を可変にすること、（２）色相ヒストグラムによる目標物体の確率分布の算出に、ベイズ理論に基づく事後確率を適用すること、（３）標準偏差を用いて目標物体の大きさを特定することが記載されている。
【０００８】
しかしながら、夜間や暗い場所等に設置される監視カメラは、感度を上げる為に白黒モードに設定されたり、低照度に対応して感度を挙げる為に赤外光領域の画像を白黒画像として出力したりすることも多用されるが、非特許文献１及び特許文献1に記載の技術では、画像の色情報を目標物体の特徴量としているため、白黒画像に適用することはできない。
【０００９】
これに対し、白黒画像であっても輝度差分を利用せずに適用することもできる技術として、輝度パターンのテンプレートマッチングを用いて追尾するテンプレートマッチング法を利用した技術もある（非特許文献２）。しかし、テンプレートマッチング法では、予め登録されたテンプレートと一致するか否かにより目標物体を探索して目標物体を追尾するため、目標物体の向きや形が刻々と変化する場合や照明の変化に対応することができない。
【非特許文献１】Garay R.Bradski,“Computer Vision Face Tracking for Use in a Perceptual User Interface” Intel Technology Journal Q2’98
【非特許文献２】末松  良一著「画像処理工学」コロナ出版、２００１年１１月３日、p.172-174
【特許文献１】特開２００３−３０３３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、従来の追尾方法では、輝度差分を利用して目標物体を追尾する場合、カメラの停止と移動を繰り返す必要があるため間欠的な画像が撮影され、高速移動をする目標物体を検出することが困難であるとともに、得られる画像は見難くいという問題があった。
【００１１】
また、輝度データのパターンマッチングを利用して目標物体を追尾する場合、撮影画像中の目標物体の形状が移動に伴って変化したときにはテンプレートと一致せず、同一の目標物体であっても追尾を失敗する問題があった。
【００１２】
さらに、色情報を用いて目標物体を追尾する場合、低照度の場所で使用され、色情報を持たない画像を出力することの多い映像監視用途には不向きであった。
【００１３】
そこで、本発明は、移動しながら撮影される画像データであっても目標物体を的確に検出することができるとともに、白黒画像を使用しても目標物体の移動を正しく検出することができる目標追尾装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明に係る目標追尾装置によれば、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムとして、また、入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、生成した参照用ヒストグラムを記憶する記憶手段と、  記憶した参照用ヒストグラムと生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、生成した確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする。
【００１５】
上記構成の目標追尾装置は、ヒストグラム修正部を更に備え、ヒストグラム生成部は、参照用フレームについて、指定した目標領域以外の背景領域から輝度データを抽出して背景ヒストグラムをも生成し、ヒストグラム修正部は、参照用ヒストグラムと背景ヒストグラムとに基づき所定の修正ヒストグラムを生成し、記憶手段は生成した所定の修正ヒストグラムを参照用ヒストグラムとして記憶するように構成することができる。
【００１６】
また、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては第１参照用ヒストグラムとして、また、入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から色相データを抽出し、各色相データにおける色相成分のヒストグラムを参照用フレームについては第２参照用ヒストグラムとして、また、入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、生成した第１参照用ヒストグラムと生成した第２参照用ヒストグラムとを記憶する記憶手段と、記憶した第１参照用ヒストグラムと生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、記憶した第２参照用ヒストグラムと生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、生成した第１確率分布画像と生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、選択した有効な確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする。
【００１７】
さらに、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては目標領域を含み目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムとして、また、入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、生成した参照用ヒストグラムを記憶する記憶手段と、記憶した参照用ヒストグラムと生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、生成した確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする目標追尾装置。
【００１８】
上記構成の目標追尾装置は、ヒストグラム修正部を更に備え、ヒストグラム生成部は、参照用フレームについて、指定した目標領域以外の背景領域から輝度データを抽出して背景ヒストグラムをも生成し、ヒストグラム修正部は、参照用ヒストグラムと背景ヒストグラムとに基づき所定の修正ヒストグラムを生成し、記憶手段は生成した所定の修正ヒストグラムを参照用ヒストグラムとして記憶するように構成することができる。
【００１９】
また、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては目標領域を含み目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては第１参照用ヒストグラムとして、また、入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては探索領域から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、参照用フレームについては第２参照用ヒストグラムとして、また、入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、生成した第１参照用ヒストグラムと生成した第２参照用ヒストグラムとを記憶する記憶手段と、記憶した第１参照用ヒストグラムと生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、記憶した第２参照用ヒストグラムと生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、生成した第１確率分布画像と生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、選択した有効な確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする目標追尾装置。
【発明の効果】
【００２０】
本発明によれば、移動しながら撮影される画像データであっても目標物体を的確に検出することができるとともに、白黒画像を使用しても目標物体の移動を正しく検出することができる。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明に係る目標追尾装置について図面を参照して説明する。
【００２２】
〈第１の実施形態〉
図１に示す第１の実施形態に係る目標追尾装置１は、例えば監視カメラやTV会議で用いられるカメラ（これらのカメラは図示せず）と接続されており、指定する目標物体を含む画像データを撮影するように制御信号を出力し、カメラの動きを制御する。
【００２３】
目標追尾装置１は、図１に示すように、カメラによって撮影された参照用の画像データから目標物体として指定された目標領域の輝度データから生成された、同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用ヒストグラムとして記憶するメモリ１５と、入力する新たな画像データを用いて輝度ランレングスのヒストグラムを入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部１４と、参照用ヒストグラムと入力ヒストグラムとから各輝度レベルに対して求めた確率を用いて、新たな画像データの各画素に目標物体が含まれる確率を表す確率分布画像を生成する確率分布生成部１６と、確率分布画像に基づいて、新たな画像データにおける目標物体の位置及び目標物体のサイズを求める目標領域算出部１７と、求められた位置及びサイズに応じて、目標物体がカメラ撮影領域に含まれるようにカメラの動きを制御する制御信号を生成して出力する制御信号出力部１８とを備えている。
【００２４】
目標追尾装置１は、図示を省略するCPU、通信処理部、記録媒体等を備える一般的なコンピュータを用いることができる。例えば、記録媒体に記録されている目標追尾プログラムが読み出されて実行されることによって、CPUに輝度成分抽出部１１、輝度ランレングスヒストグラム生成部１４、確率分布生成部１６、目標領域算出部１７及び制御信号出力部１８を備える目標追尾装置１が構成される。
【００２５】
カメラで撮影された画像データＩを入力した輝度成分抽出部１１は、画像データＩから輝度成分（輝度データ）Ｙを抽出し、輝度ランレングスヒストグラム生成部１４に出力する。画像データＩは白黒画像のデータであってもカラー画像のデータであっても良い。例えば、画像データＩがYUV信号であるときは、輝度成分抽出部１１は、YUV信号の輝度信号を輝度データＹとして使用することができる。また、画像データがRGB信号であるときは、輝度成分抽出部１１は、例えば、式（１）によって輝度データＹを抽出することができる。
【数１】
2008259161.tif 000003
【００２６】
また、カメラから目標追尾装置１に入力された画像データＩは、ディスプレイ１２に表示される。なお、ディスプレイ１２は、目標追尾装置１の外部にあってもよい。オペレータによって領域指定部１３を介してディスプレイ１２に表示された参照用の画像データＩ0に対して目標領域Ｒが指定されると、指定された目標領域Ｒは、輝度ランレングスヒストグラム生成部１４に入力される。参照用の画像データＩ0とは、目標領域Ｒの指定に利用される画像データである。目標追尾装置１は、参照用の画像データＩ0に対して目標物体の目標領域Ｒが指定されると、カメラに対して指定された目標物体を追尾して撮影するように制御する。
【００２７】
図２（ａ）に、目標追尾装置１に入力される参照用の画像データＩ0の一例を示す。また、図２（ａ）に示す画像データＩ0では、カメラで撮影された人物の顔部分が、追尾の対象とする目標領域Ｒとして選択されている。カメラでは、画像データＩの撮影が継続し、参照用の画像データＩ0に続いて入力される画像データＩnによってディスプレイ１２に映像として表示される。図２（ｂ）は、画像データＩ0に続いて取得された画像データＩ1の一例である。画像データＩ1では、参照用の画像データＩ0と比較して、目標物体である人物の位置が移動していることが分かる。
【００２８】
輝度ランレングスヒストグラム生成部１４は、輝度成分抽出部１１から入力した輝度データＹから輝度ランレングスを求め、求められた輝度のランレングスの発生頻度をヒストグラムとして生成する。輝度ランレングスは、例えば画像の右上から順に輝度が連続する画素数を数えることによって求められる。
【００２９】
ここで、輝度ランレングスヒストグラム生成部１４は、入力した輝度データＹが参照用の画像データＩ0から生成された輝度データＹ0であるとき、入力された目標領域Ｒの部分の輝度データＹ0によって輝度ランレングスのヒストグラム（参照用ヒストグラム）histRを生成する。一方、入力した輝度データＹが参照用の画像データＩ0から生成された輝度データＹ0でないとき、輝度ランレングスヒストグラム生成部１４は、入力した輝度データＹnの全領域によって輝度ランレングスのヒストグラム（入力ヒストグラム）histCを生成する。入力した輝度データＹが参照用の画像データＩ0から生成された輝度データＹ0であるか否かは、例えば、目標領域Ｒが指定されたか否かで判定することが出来る。
【００３０】
ヒストグラムを生成するとき、輝度ランレングスヒストグラム生成部１４は、輝度に対して一定の輝度レベルを設定し、設定される輝度レベルでヒストグラムを生成する。例えば、実際の輝度が０〜２５５（８ｂｉｔ）であるときに、１６の輝度レベル（レベル０〜レベル１５）を設定したとする。このとき、例えば、輝度０〜１５に対してレベル０、輝度１６〜３１に対してレベル１、輝度３２〜４７に対してレベル２、輝度２３９〜２５５に対してレベル１５等と設定する。すなわち、輝度ランレングスヒストグラム生成部１４は、実際の輝度ではなく、丸め込まれた輝度レベルによってヒストグラムを生成する。このように輝度ランレングスヒストグラム生成部１４が丸め込んだ値を使用してヒストグラムを生成することによって、連続して入力される画像データＩ間の輝度の微少な誤差に影響されないヒストグラムを生成することができる。また、輝度レベルは、大きい値に設定した方が細かいテクスチャを表現することができるが、ノイズの影響を受けやすい。したがって、画像の状況に応じて輝度レベルの値を設定するのが望ましい。
【００３１】
輝度ランレングスヒストグラム生成部１４で生成されたヒストグラムは、図３に一例を示すように、横軸を輝度ランレングス、縦軸をランレングスの発生回数を目標領域Ｒの画素数で割った発生頻度として表したヒストグラムである。
【００３２】
図３に示すような輝度ランレングスのヒストグラムは、画像データの輝度の変化の頻度を表しており、画像中のテクスチャ情報を表すものである。テクスチャ情報は画像データ中の局所的な輝度パターンといえるので、全体の明るさの変化は無視され、照明条件の変化に強い特徴量となる。したがって、目標追尾装置１は、目標物体のテクスチャを特徴量として目標物体を追尾することになる。
【００３３】
次に、図４に示すフローチャートを用いて、図１の目標追尾装置１の輝度ランレングスヒストグラム生成部１４における処理を説明する。まず、輝度ランレングスヒストグラム生成部１４は、輝度データＹを入力すると、入力した輝度データＹが参照用の画像データＩ0から生成された輝度データ（参照用の輝度データ）Ｙ0であるか否かを判定する（Ｓ０１）。入力した輝度データＹが参照用の輝度データＹ0であるとき（Ｓ０１でＹＥＳ）、輝度ランレングスヒストグラム生成部１４は、領域指定部１３から入力された目標領域Ｒの部分の輝度データＹ0を抽出する（Ｓ０２）。
【００３４】
その後、輝度ランレングスヒストグラム生成部１４は、輝度データＹを所定レベルの輝度データに変換する（Ｓ０３）。ここで、輝度ランレングスヒストグラム生成部１４は、参照用の輝度データＹ0であるとき、ステップＳ０２によって抽出された目標領域Ｒの輝度データを用い、参照用の輝度データでないとき、全領域の輝度データを用いて変換する。
【００３５】
続いて、輝度ランレングスヒストグラム生成部１４は、ステップＳ０３で所定のレベルに変換した輝度データから、各輝度レベルのランレングスｉを求める（Ｓ０４）。その後、輝度ランレングスヒストグラム生成部１４は、ステップＳ０４で求めた各輝度レベルのランレングスｉから、輝度ランレングスのヒストグラムを生成する（Ｓ０５）。
【００３６】
参照用の輝度データＹ０から参照用ヒストグラムhistRを生成したとき（Ｓ０６でＹＥＳ）、輝度ランレングスヒストグラム生成部１４は、参照用ヒストグラムhistRをメモリに保存する（Ｓ０７）。
【００３７】
一方、参照用の輝度データＹ０ではない輝度データＹから入力ヒストグラムhistCを生成したとき（Ｓ０６でＮＯ）、輝度ランレングスヒストグラム生成部１４は、入力ヒストグラムhistCを確率分布生成部１６に出力する（Ｓ０８）。
【００３８】
確率分布生成部１６は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラムhistCを入力すると、入力ヒストグラムhistCとメモリ１５で記憶される参照用ヒストグラムhistRとから、式（２）によって各ランレングスｉの分布の確率Ｐ［ｉ］を求めるとともに、各画素に対して、各画素が周囲の画素と構成するランレングスに関して求められた確率Ｐ［ｉ］を割り当てた確率分布画像Ｐ（ｘ，ｙ）を生成する。すなわち、同一の輝度ランレングスの画素には、同一の確率Ｐが割り当てられた確率分布画像Ｐ（ｘ，ｙ）が生成される。
【数２】
2008259161.tif 000004
【００３９】
確率Ｐは、参照用ヒストグラムの中に多くあって、入力ヒストグラムの中に少ないランレングスのときに値が高くなる。すなわち、式（２）で示す確率Ｐは、対象とする画像データＩnにおいて、各画素が目標物体である確率を意味する。
【００４０】
次に、図５に示すフローチャートを用いて、図１の目標追尾装置１の確率分布生成部１６における処理を説明する。まず、確率分布生成部１６は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラムhistCを入力すると（Ｓ１１でＹＥＳ）、メモリ１５から参照用ヒストグラムhistRを読み出す（Ｓ１２）。
【００４１】
その後、確率分布生成部１６は、入力ヒストグラムhistCと参照用ヒストグラムhistRとから各ランレングスｉに対して式（２）を用いて確率Ｐ［ｉ］を算出する（Ｓ１３）。
【００４２】
確率Ｐ［ｉ］を算出すると、確率分布生成部１６は、輝度データＹnの各画素のランレングスに対して対応する確率Ｐ［ｉ］を適用させて確率分布画像Ｐ（ｘ，ｙ）を生成する（Ｓ１４）。また、確率分布生成部１６は、生成した確率分布画像Ｐ（ｘ，ｙ）を目標領域算出部１７に出力する（Ｓ１５）。
【００４３】
目標領域算出部１７で生成された確率分布画像Ｐ（ｘ，ｙ）は、図６に一例を示すように各画素が目標物体である確率を表すものである。図６に示す確率分布画像Ｐ（ｘ，ｙ）では、画素（０，０）から画素（４，０）の５画素は同一の輝度レベルであったために輝度ランレングスは５であり、これらの画素には、輝度ランレングスについて求められた確率Ｐが割り当てられている。また、図６に示す確率分布画像Ｐ（ｘ，ｙ）では、画素（０，０）や画素（０，１）等は割り当てられた値が低いために目標物体である確率は低いが、画素（４，３）や画素（５，３）は割り当てられた値が高いために目標物体である確率が高いといえる。
【００４４】
目標領域算出部１７は、入力した確率分布画像Ｐ（ｘ，ｙ）及び画像データＩ0における目標領域Ｒの座標から、目標領域Ｒの重心とサイズを算出する。目標領域Ｒの重心とサイズの算出には、例えば式（３）〜（６）を用いるCAMSHIFT法を利用する。
【００４５】
目標領域算出部１７は、まず、式（３）を用いて求めた確率分布画像の０次モーメントＭ00と式（４）を用いてｘ軸とｙ軸における１次モーメントＭ10，Ｍ01から、式（５）によって確率分布画像における目標領域Ｒの重心のｘ座標ｇｘ及びｙ座標ｇｙを算出する。
【数３】
2008259161.tif 000005
【数４】
2008259161.tif 000006
【数５】
2008259161.tif 000007
【００４６】
次に、目標領域算出部１７は、Mean-Shift法による判定で移動量が収束するという結果を得るまで、目標領域Ｒの重心を式（６）を用いて更新することで、実際の目標物体の移動にあわせるように新たな画像データＩnにおいて、目標領域Ｒを新たな目標領域Ｒ’に移動させる。ここで、更新する目標領域Ｒ’に関する目標領域情報Ｄは、式（５）によって求められた新たな重心（ｇｘ’，ｇｙ’）と、もとの目標領域Ｒの幅ｗ及び高さｈによって特定される。
【数６】
2008259161.tif 000008
【００４７】
移動された新たな目標領域Ｒ’の重心の移動量が収束すると、目標領域算出部１７は、Mean-Shift法による判定で目標領域のサイズ変化量が収束するという結果を得るまで、目標領域Ｒ’のサイズを式（７）を用いて更新することで、目標物体の移動にあわせて目標領域Ｒ’のサイズを更新する。ここで、更新する目標領域Ｒ’に関する目標領域情報Ｄは、式（５）によって求められた新たな重心（ｇｘ’，ｇｙ’）と、式（６）で求められた新たな幅ｗ’及び高さｈ’によって特定される。
【数７】
2008259161.tif 000009
【００４８】
式（７）において、ｃ１，ｃ２は適当な定数であり、例えば、ｃ１に確率分布の最大値を設定し、ｃ２に１．２を設定することが考えられる。ｃ２＝１．２としたとき、目標領域Ｒ’の高さｈ’は、幅ｗ’よりも１．２倍となる。
【００４９】
目標領域Ｒ’のサイズの変化量が収束すると、目標領域算出部１７は、目標領域Ｒ’の重心（ｇｘ’，ｇｙ’）、幅ｗ’及び高さｈ’を含む目標領域情報Ｄを制御信号出力部１８に出力する。
【００５０】
次に、図７に示すフローチャートを用いて、図１の目標追尾装置１の目標領域算出部１７における処理を説明する。まず、目標領域算出部１７は、上述した式（３）乃至（５）を用いて目標領域Ｒの重心を算出する（Ｓ２１）。その後、目標領域算出部１７は、上述した式（６）を適用して目標領域の重心を更新する（Ｓ２２）。更新された目標領域の重心の移動量が収束していない場合（Ｓ２３でＮＯ）、目標領域算出部１７は、ステップＳ２２に戻り、同様の処理を繰り返す。一方、目標領域Ｒの重心の移動量が収束していた場合（Ｓ２３でＹＥＳ）、目標領域算出部１７は、上述した式（７）を適用して目標領域のサイズを更新する（Ｓ２４）。
【００５１】
続いて、目標領域算出部１７は、更新された目標領域のサイズの変化量が収束していない場合（Ｓ２５でＮＯ）、ステップＳ２４に戻り、同様の処理を繰り返す。一方、目標領域Ｒのサイズの変化量が収束していた場合（Ｓ２５でＹＥＳ）、新たな目標領域Ｒ’の重心、及びサイズを目標領域情報Ｄとして、制御信号出力部１８に出力する（Ｓ２６）。
【００５２】
制御信号出力部１８は、入力した目標領域情報Ｄに基づいて、カメラの撮影領域を制御する制御信号Ｓを出力する。
【００５３】
例えば、制御信号出力部１８が図８（ａ）に示すメカニズムを利用して制御信号Ｓを生成する場合、目標領域Ｒの重心のｘ座標ｇｘの移動がｘ１からｘ２内でされたときには、ｘ軸方向の移動はない。一方、ｘ座標がｘ１からｘ０方向に移動されたとき又はｘ２からｘ３方向に移動されたとき、その移動量に応じてｘ軸方向の移動量ｍｘが決定する。また目標領域Ｒの重心のｙ座標（ｇｙ）の移動がｙ１からｙ２内でされたときには、ｙ軸方向の移動はない。一方、ｙ座標がｙ１よりもＹ0方向又はｙ２よりもｙ３方向に移動されたとき、その移動量に応じてｙ軸方向の移動量ｍｙが決定する。
【００５４】
また、制御信号出力部１８が図８（ｂ）に示すメカニズムを利用して制御信号を生成する場合、例えば目標領域Ｒの重心のｘ座標がｘ４であるときは、ｘ軸方向の移動量ｍｘは、ｍｘ４となり、目標領域Ｒの重心のｙ座標がｙ４であるときは、ｙ軸方向の移動量ｍｙは、ｍｙ４となる。
【００５５】
制御信号出力部１８では、このように求められたｘ軸方向の移動量ｍｘ及びｙ軸方向の移動量ｍｙに基づいて、カメラの撮影領域を制御する制御信号Ｓを生成する。
【００５６】
上述したように、本発明の第１の実施形態に係る目標追尾装置１によれば、目標物体の移動量を色相情報ではなく輝度情報によって求めることで、白黒画像や低照度で色情報が認識できない画像であっても、カメラに目標物体を追従させることができる。また、目標追尾装置１によれば、輝度レベルのランレングスヒストグラムを抽出して確率分布を算出して重心を追尾することで、画面全体が動く場合や目標物体の向きや大きさが変化しても目標物体を追尾することができる。
【００５７】
〈第1変形例〉
続いて、図９を用いて第１変形例に係る目標追尾装置２について説明する。図９に示す目標追尾装置２において、図１を用いて上述に示した目標追尾装置１と同一の構成については、同一の符号を付して説明を省略する。
【００５８】
目標追尾装置２は、図１を用いて上述した目標追尾装置１と比較して、輝度ランレングスヒストグラム生成部１４に代えて輝度ランレングスヒストグラム生成部２１を有し、更にヒストグラム修正部２２を有している点で異なる。
【００５９】
図１を用いて上述した輝度ランレングスヒストグラム生成部１４は参照用の輝度データＹ0からは目標領域Ｒの輝度ランレングスのヒストグラム（参照用ヒストグラム）histRしか生成していなかった。これに対し、目標追尾装置２で有する輝度ランレングスヒストグラム生成部２１は、参照用の輝度データＹ0を入力すると、参照用ヒストグラムhistRとともに、全領域から目標領域Ｒを除いた背景領域Ｂの輝度ランレングスのヒストグラム（背景ヒストグラム）histBを生成し、ヒストグラム修正部２２に出力する。また、輝度ランレングスヒストグラム生成部２１は、参照用以外の輝度データＹnからは輝度ランレングスヒストグラム生成部１４と同様に、全領域の輝度ランレングスのヒストグラム（入力ヒストグラム）histCを生成して確率分布生成部１６に出力する。
【００６０】
ヒストグラム修正部２２は、各輝度レベルに対して、入力した参照用ヒストグラムhistRを背景ヒストグラムhistBによって修正した新たな参照用ヒストグラムhistR’をメモリ１５に記憶させる。例えば、ヒストグラム修正部２２は、式（８ａ）〜式（８ｃ）を用いて新たな参照用ヒストグラム（修正ヒストグラム）histR’を求める。
【数８】
2008259161.tif 000010
【００６１】
ここで、ｃ３，ｃ４は、任意に定められる定数である。
【００６２】
例えば、背景ヒストグラムhistBを説明の為に図１０（ａ）に示すように領域ｂ１，ｂ２，ｂ３と三分し、同様に参照用ヒストグラムhistRも図１０（ｂ）に示すように領域ｒ１，ｒ２，ｒ３と三分する。ここでは、領域ｂ１には領域ｒ１、領域ｂ２には領域ｒ２、領域ｂ３には領域ｒ３が対応している。
【００６３】
ここで、領域ｒ１と領域ｂ１とを比較したとき、両ヒストグラムにおいて同一のランレングスの発生頻度の差が式（８ａ）で示すabs(histB［i］−histR[i])＜hist［i］＊c3の関係にあるとする。このとき、参照用ヒストグラムhistRにおいて領域ｒ１のランレングスは、ノイズ等の画像全体の特徴の可能性が高く目標領域Ｒの特徴を表していないといえるため、式（８ａ）に示すように新たな参照用ヒストグラムhistR’［i］の値は０とする。
【００６４】
一方、領域ｒ２と領域ｂ２とを比較したとき、目標領域Ｒの発生頻度が、背景領域Ｂの発生頻度より十分大きく、式（８ｂ）で定める定数ｃ４以上であるとする。このとき、参照用ヒストグラムhistRにおいて領域ｒ２のヒストグラムは目標領域Ｒの特徴を表しているといえるため、式（８ｂ）に示すように新たな参照用ヒストグラムhistR’［i］の値はhistR［i］の値とする。
【００６５】
さらに、領域ｒ３と領域ｂ３とを比較すると、その発生頻度は、背景領域Ｂの発生頻度が大きい。このとき、背景領域Ｂは背景に含まれる他の特徴量を表しているといえ、領域ｒ３では、目標領域の特徴を表していないと考えられるため、式（８ｃ）に示すように新たな参照用ヒストグラムhistR’［i］の値は０とする。
【００６６】
このようにして、ヒストグラム修正部２２が図１０（ａ）及び図１０（ｂ）のヒストグラムhistB，histRに式（８ａ）〜式（８ｃ）を適用したとき、図１０（ｃ）に示すように、修正された新たな参照用ヒストグラムhistR’が得られる。
【００６７】
なお、定数ｃ３とｃ４は、上記式（８ａ）〜（８ｃ）で全ての新たな参照用ヒストグラムhistR’［i］の値が求められるように設定する。また、式（８ｂ）のみを用いて、histR［i］−histB［i］＞ｃ４が成立するときに新たな参照用ヒストグラムhistR’［i］の値をhistR［i］の値とし、histR［i］−histB［i］＞ｃ４が成立しない、すなわちhistR［i］−histB［i］≦ｃ４のときに新たな参照用ヒストグラムhistR’［i］の値を０とするようにしてもよい。
【００６８】
上述した第１変形例に係る目標追尾装置２によれば、ヒストグラム修正部２２で輝度ランレングスヒストグラムを補正することによって、ノイズ等の影響を軽減し、追尾の精度を向上させることができる。
【００６９】
〈第２変形例〉
次に、図１１を用いて第２変形例に係る目標追尾装置３について説明する。図１１に示す目標追尾装置３において、図１を用いて上述に示した目標追尾装置１と同一の構成については、同一の符号を付して説明を省略する。
【００７０】
目標追尾装置３は、図１を用いて上述した目標追尾装置１と比較して、輝度成分抽出部１１に代えて抽出部３１、確率分布生成部１６に代えて確率分布生成部３３を有し、更に色相ヒストグラム生成部３２及び有効確率分布選択部３４を備えている点で異なる。
【００７１】
図１を用いて上述した目標追尾装置１は、輝度情報のみを利用して目標物体を追尾していたが、色相ヒストグラム生成部３２を備える目標追尾装置３は、カラー画像の場合にカラー情報（色相成分）を利用して、追尾の精度を向上させることができる。
【００７２】
抽出部３１は、入力した画像データＩから輝度データＹと色相データＨとをそれぞれ抽出し、輝度ランレングスヒストグラム生成部１４と色相ヒストグラム生成部３２とにそれぞれ出力する。抽出部３１は、図１を用いて上述した目標追尾装置１と同様の方法で輝度データＹを抽出することができる。
【００７３】
また、抽出部３１は、入力した画像データＩからHSV信号の色相データＨを抽出し、色相ヒストグラム生成部３２に出力する。例えば、画像データＩがRGB信号であるとき、式（９）を用いて色相データＨを抽出する。
【数９】
2008259161.tif 000011
【００７４】
式（９）で、MAX，MINは、各R信号、G信号、B信号の最大値、最小値である。
【００７５】
色相ヒストグラム生成部３２は、抽出部３１から入力された色相データＨから、各色相の出現数をヒストグラムとして生成する。
【００７６】
ここで、色相ヒストグラム生成部３２は、入力した色相データＨが参照用の色相データＨ0であるとき、入力された目標領域Ｒの部分の色相データＨ0によって色相ヒストグラム（第２参照用ヒストグラム）histR2を生成し、メモリ１５に記憶する。入力した色相データＨが参照用の色相データＨ0であるか否かは、例えば、目標領域Ｒが指定されたか否かで判定することができる。一方、入力した色相データＨが参照用の色相データＨ0でないとき、色相ヒストグラム生成部３２は、入力された色相データＨの全領域によって色相ヒストグラム（第２入力ヒストグラム）histC2を生成し、確率分布生成部３３に出力する。
【００７７】
確率分布生成部３３は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラム（第１入力ヒストグラム）histCを入力すると、第１入力ヒストグラムhistCとメモリ１５で記憶される参照用の輝度データＹ0から生成されたヒストグラム（第１参照用ヒストグラム）histRとを用いて、第１確率分布画像Ｐ（ｘ，ｙ）を生成する。確率分布画像Ｐ（ｘ，ｙ）の生成は、図１を用いて上述した確率分布生成部１６の場合と同様に行われる。
【００７８】
また、確率分布生成部３３は、色相ヒストグラム生成部３２から第２入力ヒストグラムhistC2を入力すると、第２入力ヒストグラムhistC2とメモリ１５で記憶される第２参照用ヒストグラムhistR2とを用いて、第２確率分布画像Ｐ2（ｘ，ｙ）を生成する。第２確率分布画像Ｐ2（ｘ，ｙ）は、各色相の分布の確率を求めるとともに、各画素に対して、各画素の色相に対して求められた確率を割り当てることによって生成される。
【００７９】
有効確率分布選択部３４は、入力した確率分布画像Ｐ（ｘ，ｙ）と、第２確率分布画像Ｐ2（ｘ，ｙ）とから、有効な確率分布画像として一方の確率分布画像を選択する。例えば、有効確率分布選択部３４は、最大値の大きい確率分布画像を有効な確率分布画像を選択する。
【００８０】
ここで、ノイズにより最大値が高くなった確率分布画像を選択するのを防止するため、確率分布画像に含まれる確率の高い１０を選択し、その合計が高い確率分布画像を選択することもできる。また、予め確率分布画像に対してガウシアンフィルタで平滑化し、平滑化された確率分布画像を選択することでノイズの影響を防止することもできる。
【００８１】
なお、有効確率分布選択部３４による確率分布画像の選択は、入力する画像データの毎フレームに対して行うことで、目標物体の移動に伴って撮影条件が変化する場合であっても、常に確率の高い特徴により目標物体を追尾することができる。
【００８２】
上述した第２変形例に係る目標追尾装置３によれば、目標物体を追尾する際、色情報を利用することができれば、色相ヒストグラムによる第２確率分布画像と、輝度ランレングスヒストグラムによる第１確率分布画像とを生成し、これらの確率分布画像から有効な確率分布画像を選択して目標物体の位置を特定することで、追尾の精度を向上させることができる。
【００８３】
〈第２の実施形態〉
図１２に示す第２の実施形態に係る目標追尾装置１ａは、図１を用いて前述した目標追尾装置１と比較して、領域指定部１３、輝度ランレングスヒストグラム生成部１４、確率分布生成部１６、目標領域算出部１７に代えて、領域指定部１３ａ、輝度ランレングスヒストグラム生成部１４ａ、確率分布生成部１６ａ、目標領域算出部１７ａを備えている点で異なる。他の構成については同一であるため、同一の符号を付して説明を省略する。
【００８４】
領域指定部１３ａには、目標領域Ｒに加え、オペレータによって探索領域Ｃが指定され、目標領域Ｒとともに探索領域Ｃを輝度ランレングスヒストグラム生成部１４ａへ出力する。
【００８５】
ここで探索領域Ｃは、フレーム全体の中で設定した目標領域Ｒを含み目標領域Ｒの２倍以上の領域である。オペレータは、目標物体の移動速度に応じて探索領域Ｃの大きさを設定する。
【００８６】
図１３を用いて、探索領域Ｃを設定する一例を説明する。図１３では、矢印の方向に進む目標領域Ｒの設定された目標物体が斜線位置に移動すると予測できる場合に設定した探索領域Ｃの一例である。
【００８７】
図１３（ａ）は、目標物体の移動速度が遅く、所定時間経過における目標物体の移動範囲が狭いと考えられるため、比較的小さい探索領域Ｃが設定された一例である。一方、図１３（ｂ）は、目標物体の移動速度が速く、所定時間における目標物体の移動範囲が広いと考えられるために図１３（ａ）と比較して大きい探索領域Ｃが設定された一例である。
【００８８】
図１３（ｂ）に示すような大きい探索領域Ｃを設定したとき、目標物体の移動が速い場合でも探索領域Ｃ内に目標物体（目標領域Ｒ）は含まれているため、確実に目標物体を追尾することができる。しかし、大きな探索領域Ｃを設定した場合には、輝度ランレングスヒストグラム生成部１４で実行する計算量が探索領域Ｃの小さい場合と比較して多くなり、計算速度は低下する。
【００８９】
したがって、図１３（ｃ）に示すように目標領域Ｒの移動位置を考慮した大きさに探索領域Ｃを設定することで、計算速度の低下を防ぐことができる。すなわち、目標物体の移動速度が速い場合でも、目標領域Ｒが存在する高さは変わることはないと考えられる。そのため、図１３（ｃ）に示すように、現在の目標領域Ｒの高さに基づき、目標領域Ｒの移動範囲を予測したうえで図１３（ｂ）よりも小さい探索領域Ｃを設定してもよい。
【００９０】
輝度ランレングスヒストグラム生成部１４ａは、参照用の輝度データＹ0でない輝度データＹを入力したとき、フレーム全体から入力ヒストグラムhistCを生成するではなく、探索領域Ｃの部分の輝度データＹによって輝度ランレングスのヒストグラム（第３入力ヒストグラム）histC3を生成する。なお、輝度ランレングスの求め方やヒストグラムの生成方法については、第１の実施形態の輝度ランレングスヒストグラム生成部１４で上述した方法と同様である。また、輝度ランレングスヒストグラム生成部１４ａにおいても参照用の輝度データＹ0を入力した際には目標領域Ｒの部分の輝度データＹ0によって参照用ヒストグラムhistRを生成する。
【００９１】
輝度ランレングスヒストグラム生成部１４ａにおける処理を図１４のフローチャートに示す。図１４のフローチャートにおいて、図４で前述した処理と同一の処理については、同一の番号を付して説明を省略する。
【００９２】
まず、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹを入力すると、入力した輝度データＹが参照用の画像データＩ0から生成された輝度データ（参照用の輝度データ）Ｙ0であるか否かを判定する（Ｓ０１）。入力した輝度データＹが参照用の輝度データＹ0であるとき（Ｓ０１でＹＥＳ）、輝度ランレングスヒストグラム生成部１４ａは、目標領域Ｒの部分の輝度データＹ0を抽出する（Ｓ０２）。一方、輝度データＹが参照用の輝度データＹ0でないとき（Ｓ０１でＮＯ）、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹnから領域指定部１３で指定された探索領域Ｃの輝度データを抽出する（Ｓ３１）。
【００９３】
その後、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹを所定レベルの輝度データに変換する（Ｓ０３）。ここで、輝度ランレングスヒストグラム生成部１４ａは、参照用の輝度データＹ0であるとき、ステップＳ０２において抽出された目標領域Ｒの輝度データＹ0を用い、参照用の輝度データＹ0でないとき、ステップＳ３１において抽出された探索領域Ｃの輝度データＹを用いて変換する。その後、輝度ランレングスヒストグラム生成部１４ａは、ステップＳ０４〜Ｓ０８の処理を実行する。
【００９４】
確率分布生成部１６ａは、図５を用いて前述した方法によって図６に示すような確率分布画像Ｐ（ｘ，ｙ）を生成するが、フレーム全体ではなく探索領域Ｃの範囲で生成するため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、y画素である。すなわち、第１の実施形態において確率分布生成部１６は図５で示したフローチャートのステップＳ１４で輝度データＹnの全領域を利用していたのに対し、確率分布生成部１６ａは、探索領域Ｃにおける輝度データＹnを利用する。したがって、確率分布生成部１６ａは、探索領域Ｃの各画素のランレングスに対して対応する確率Ｐ［ｉ］を適用させて確率分布画像Ｐ（ｘ，ｙ）を生成することになる。
【００９５】
目標領域算出部１７ａにおいても、目標領域Ｒの重心を求めるときにフレーム全体座標（ｆｇｘ，ｆｇｙ）から目標領域Ｒの重心を求めるのではなく、探索領域Ｃの座標（ｇｘ，ｇｙ）から求める。すなわち、目標領域算出部１７ａは、算出過程において目標領域Ｒ’のサイズの変化量が収束すると、探索領域Ｃにおける重心（ｇｘ’，ｇｙ’）は探索領域Ｃの座標からフレーム全体における重心（ｆｇｘ’，ｆｇｙ’）に変換する。最終的に目標領域算出部１７ａは、目標領域Ｒ’のフレーム全体座標における重心（ｆｇｘ’，ｆｇｙ’）、幅ｗ’及び高さｈ’を含む目標領域情報Ｄを制御信号出力部１８に出力する。なお、目標領域情報Ｄを求める方法については、第１の実施形態の目標領域算出部１７で上述したCAMSHIFT法等を利用する方法と同様である。
【００９６】
目標領域算出部１７ａにおける処理を図１５のフローチャートに示す。図１５のフローチャートにおいて、前述した図８のフローチャートのステップＳ２５及びＳ２６の間に、ステップＳ４１の処理が追加されているが、他の処理は同一であるため説明を省略する。
【００９７】
目標領域算出部１７ａは、目標領域Ｒのサイズの変化量が収束していた場合（ステップＳ２５でＹＥＳ）、目標領域Ｒ’の重心を探索領域Ｃの座標系からフレーム全体の座標系に変換する（Ｓ４１）。すなわち、目標領域算出部１７ａは、探索領域ＣについてステップＳ２１〜Ｓ２５を実行し、目標領域Rのサイズの変化量が収束すると、重心及びサイズをフレーム全体の座標系に変換する。
【００９８】
その後目標領域算出部１７ａは、新たな目標領域Ｒ’の重心、及びサイズを目標領域情報Ｄとして、制御信号出力部１８に出力する（Ｓ２６）。
【００９９】
上述したように、本発明の第２の実施形態に係る目標追尾装置１ａによれば、目標物体の移動量を色相情報ではなく輝度情報によって求めることで、白黒画像や低照度で色情報が認識できない画像であっても、カメラに目標物体を追従させることができる。また、目標追尾装置１ａによれば、輝度レベルのランレングスヒストグラムを抽出して確率分布を算出して重心を追尾することで、画面全体が動く場合や目標物体の向きや大きさが変化しても目標物体を追尾することができる。
【０１００】
また、第２の実施形態に係る目標追尾装置１ａでは、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の速度を向上させることができる。
【０１０１】
〈第３変形例〉
続いて、図１６を用いて第３変形例に係る目標追尾装置２ａについて説明する。図１６に示す目標追尾装置２ａにおいて、図９を用いて前述した目標追尾装置２又は図１２を用いて前述した目標追尾装置１ａと同一の構成については、同一の符号を付して説明を省略する。
【０１０２】
第３変形例に係る目標追尾装置２ａは、輝度ランレングスヒストグラム生成部２１ａを有する点で他の目標追尾装置２，１ａと異なる。
【０１０３】
輝度ランレングスヒストグラム生成部２１ａには、領域指定部１３ａから目標領域Ｒとともに探索領域Ｃが入力される。輝度ランレングスヒストグラム生成部２１ａは、前述した輝度ランレングスヒストグラム生成部１４ａと同様に、参照用の輝度データＹ0でない輝度データＹを入力したとき、フレーム全体から入力ヒストグラムhistCを生成するのではなく、探索領域Ｃの部分の輝度データＹによって第３入力ヒストグラムhistC3を生成する。
【０１０４】
輝度ランレングスヒストグラム生成部２１ａは、生成した第３入力ヒストグラムhistC3を確率分布生成部１６ａに出力する。確率分布生成部１６ａでは、第３入力ヒストグラムhistC3と、ヒストグラム修正部２２で修正された新たな参照用ヒストグラムhistR’を用いて、第２の実施形態で前述したように探索領域Ｃについて確率分布画像Ｐ（ｘ，ｙ）を生成する。
【０１０５】
目標領域算出部１７ａは、確率分布生成部１６ａから入力した確率分布画像を用いて目標領域情報Ｄを求めて制御信号出力部１８に出力するが、これらの具体的な処理は第２の実施形態で前述した処理と同一であるため説明を省略する。
【０１０６】
上述した第３変形例に係る目標追尾装置２ａによれば、ヒストグラム修正部２２で輝度ランレングスヒストグラムを補正することによって、ノイズ等の影響を軽減し、追尾の精度を向上させることができる。
【０１０７】
また、第３変形例に係る目標追尾装置２ａによれば、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の計算速度を向上させることができる。
【０１０８】
〈第４変形例〉
次に、図１７を用いて第４変形例に係る目標追尾装置３ａについて説明する。図１４に示す目標追尾装置３ａにおいて、図１１を用いて前述した目標追尾装置３又は図１２を用いて前述した目標追尾装置１ａと同一の構成については、同一の符号を付して説明を省略する。
【０１０９】
第４変形例に係る目標追尾装置３ａは、色相ヒストグラム生成部３２ａ、確率分布生成部３３ａ、有効確率分布選択部３４ａを有する点で他の目標追尾装置３，１ａと異なる。
【０１１０】
色相ヒストグラム生成部３２ａには、領域指定部１３から目標領域Ｒとともに探索領域Ｃが入力される。色相ヒストグラム生成部３２ａは、参照用の色相データＨ0でない色相データＨを入力したとき、フレーム全体から第２入力ヒストグラムhistC2を生成するのではなく、探索領域Ｃの部分の色相データからヒストグラム（第４入力ヒストグラム）histC4を生成する。なお、色相ヒストグラム生成部３２ａにおいても参照用の色相データＨ0を入力した際には目標領域Ｒの部分の色相データＨ0によって第２参照用ヒストグラムhistＲ2を生成する。
【０１１１】
確率分布生成部３３ａは、輝度ランレングスヒストグラム生成部１４ａから第３入力ヒストグラムhistC3を入力すると、第３入力ヒストグラムhistC3とメモリ１５で記憶される参照用の輝度データＹ0から生成された第１参照用ヒストグラムhistRとを用いて、第３確率分布画像Ｐ3（ｘ，ｙ）を生成する。第３確率分布画像Ｐ3（ｘ，ｙ）の生成は、図１を用いて上述した確率分布生成部１６の場合と同様に行われる。このとき生成される確率分布画像はフレーム全体ではなく、探索領域Ｃについての確率分布画像であるため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、ｙ画素である。
【０１１２】
また、確率分布生成部３３ａは、色相ヒストグラム生成部３２ａから第４入力ヒストグラムhistC4を入力すると、第４入力ヒストグラムhistC4とメモリ１５で記憶される第２参照用ヒストグラムhistR2とを用いて、第４確率分布画像Ｐ4（ｘ，ｙ）を生成する。第４確率分布画像Ｐ2（ｘ，ｙ）は、各色相の分布の確率を求めるとともに、各画素の色相に対して求められた確率を割り当てることによって生成される。この場合にも探索領域Ｃについての確率分布画像であるため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、ｙ画素である。
【０１１３】
有効確率分布選択部３４ａは、フレーム全体ではなく探索領域Ｃについての２つの確率分布画像を確率分布生成部３３ａから入力し、有効な確率分布画像を選択する。
【０１１４】
目標領域算出部１７ａは、有効確率分布選択部３４ａによって選択された確率分布画像を用いて目標領域情報Ｄを求めて制御信号出力部１８に出力するが、これらの具体的な処理は第２の実施形態で前述した処理と同一であるため説明を省略する。
【０１１５】
上述した第４変形例に係る目標追尾装置３ａによれば、目標物体を追尾する際、色情報を利用することができれば、色相ヒストグラムによる第３確率分布画像と、輝度ランレングスヒストグラムによる第４確率分布画像とを生成し、これらの確率分布画像から有効な確率分布画像を選択して目標物体の位置を特定することで、追尾の精度を向上させることができる。
【０１１６】
また、第４変形例に係る目標追尾装置３ａによれば、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の計算速度を向上させることができる。
【図面の簡単な説明】
【０１１７】
【図１】第１の実施形態に係る目標追尾装置の機能ブロック図である。
【図２】図１の目標追尾装置に入力される画像データの一例である。
【図３】図１の目標追尾装置で生成されたヒストグラムの一例である。
【図４】図１の目標追尾装置におけるヒストグラム生成処理の一例を説明するフローチャートである。
【図５】図１の目標追尾装置における確率分布画像生成処理の一例を説明するフローチャートである。
【図６】図１の目標追尾装置で生成された確率分布画像の一例である。
【図７】図１の目標追尾装置における目標領域算出処理の一例を説明するフローチャートである。
【図８】図１の目標追尾装置で生成する制御信号の一例について説明する図である。
【図９】本発明の第１変形例に係る目標追尾装置の機能ブロック図である。
【図１０】図９の目標追尾装置で修正されるヒストグラムの一例である。
【図１１】本発明の第２変形例に係る目標追尾装置の機能ブロック図である。
【図１２】第２の実施形態に係る目標追尾装置の機能ブロック図である。
【図１３】図１２の目標追尾装置で指定される探索領域の一例である。
【図１４】図１２の目標追尾装置におけるヒストグラム生成処理の一例を説明するフローチャートである。
【図１５】図１２の目標追尾装置における目標領域算出処理の一例を説明するフローチャートである。
【図１６】本発明の第３変形例に係る目標追尾装置の機能ブロック図である。
【図１７】本発明の第４変形例に係る目標追尾装置の機能ブロック図である。
【符号の説明】
【０１１８】
１，１ａ，２，２ａ，３，３ａ…目標追尾装置
１１…輝度成分抽出部
１２…ディスプレイ
１３，１３ａ…領域指定部（目標領域指定手段）
１４，１４ａ，２１，２１ａ…輝度ランレングスヒストグラム生成部（ヒストグラム生成部）
１５…メモリ（記憶手段）
１６，１６ａ，３３，３３ａ…確率分布生成部
１７，１７ａ…目標領域算出部
１８…制御信号出力部
２２…ヒストグラム修正部
３１…抽出部
３２，３２ａ…色相ヒストグラム生成部
３４，３４ａ…有効確率分布選択部
【図１】
2008259161.tif 000012
【図２】
2008259161.tif 000013
【図３】
2008259161.tif 000014
【図４】
2008259161.tif 000015
【図５】
2008259161.tif 000016
【図６】
2008259161.tif 000017
【図７】
2008259161.tif 000018
【図８】
2008259161.tif 000019
【図９】
2008259161.tif 000020
【図１０】
2008259161.tif 000021
【図１１】
2008259161.tif 000022
【図１２】
2008259161.tif 000023
【図１３】
2008259161.tif 000024
【図１４】
2008259161.tif 000025
【図１５】
2008259161.tif 000026
【図１６】
2008259161.tif 000027
【図１７】
2008259161.tif 000028