(57)【特許請求の範囲】
【請求項１】
色相ごとに予め用意されている、（輝度−色差）座標で表される基準分布曲線を記憶しておく記憶手段と、
外部から入力された目標物を含むカラー画像のうち、ユーザの設定操作によつて設定された上記目標物に対応する領域を目標物領域として認識する領域認識手段と、
上記目標物領域内の各画素の色差信号から求められる色相を目標物色相として決定する色相決定手段と、
上記記憶手段から上記目標物色相に対応する上記基準分布曲線を読み出し、当該読み出した上記基準分布曲線を、上記目標物領域内の各画素の画素値に基づいて修正することにより修正分布曲線を生成する生成手段と、
上記目標物領域内の各画素のうち、上記（輝度−色差）座標で表した場合に上記修正分布曲線に近接する画素を認識し、当該認識した画素の画素値に基づいて上記目標物領域の特徴を表す基準特徴平面を設定する基準特徴平面設定手段と、
上記基準特徴平面の設定後に入力されるカラー画像の各画素のうち、上記（輝度−色差）座標で表した場合に上記修正分布曲線に近接する画素を近接画素として認識し、当該近接画素の画素値に基づいて当該カラー画像の特徴を表す特徴平面を設定する特徴平面設定手段と、
上記特徴平面と上記基準特徴平面とを比較することにより上記基準特徴平面との相関が最大となる上記特徴平面中の位置を認識し、当該認識した位置を上記目標物の存在する目標物存在位置として決定する位置決定手段と
を具えることを特徴とする目標追尾装置。
【請求項２】
上記特徴平面設定手段は、
上記近接画素の画素値と当該近接画素に隣接する隣接画素の画素値との差を算出し、当該算出した差が所定範囲内であれば、当該隣接画素の画素値にも基づいて上記特徴平面を設定する
ことを特徴とする請求項１に記載の目標追尾装置。
【請求項３】
上記特徴平面設定手段は、
上記基準特徴平面の設定後に順次入力される上記カラー画像のうち、上記位置決定手段によつて前回決定した上記目標物存在位置を中心とする所定範囲を特定領域として設定し、当該特定領域内で上記特徴平面を設定するための上記近接画素を認識する
ことを特徴とする請求項１に記載の目標追尾装置。
【請求項４】
上記位置決定手段によつて決定した上記目標物存在位置を周辺機器に対する位置入力として送出する送出手段
を具えることを特徴とする請求項１に記載の目標追尾装置。
【請求項５】
上記位置決定手段によつて決定した上記目標物存在位置に基づいて周辺機器を制御する制御手段
を具えることを特徴とする請求項１に記載の目標追尾装置。
【請求項６】
上記位置決定手段によつて決定した上記目標物存在位置と、上記特徴平面上における画素値の分布とから画面上での上記目標物の大きさを検出する大きさ検出手段
を具えることを特徴とする請求項１に記載の目標追尾装置。
【請求項７】
上記位置決定手段によつて決定した上記目標物存在位置と、上記大きさ検出手段によつて検出した上記目標物の大きさとに基づいて上記目標物の大きさに応じた大きさの枠画像を発生させる枠画像発生手段
を具えることを特徴とする請求項６に記載の目標追尾装置。
【請求項８】
撮像手段と、
色相ごとに予め用意されている、（輝度−色差）座標で表される基準分布曲線を記憶しておく記憶手段と、
上記撮像手段によつて目標物を撮像することにより得られたカラー画像のうち、ユーザの設定操作によつて設定された上記目標物に対応する領域を目標物領域として認識する領域認識手段と、
上記目標物領域内の各画素の色差信号から求められる色相を目標物色相として決定する色相決定手段と、
上記記憶手段から上記目標物色相に対応する上記基準分布曲線を読み出し、当該読み出した上記基準分布曲線を、上記目標物領域内の各画素の画素値に基づいて修正することにより修正分布曲線を生成する生成手段と、
上記目標物領域内の各画素のうち、上記（輝度−色差）座標で表した場合に上記修正分布曲線に近接する画素を認識し、当該認識した画素の画素値に基づいて上記目標物領域の特徴を表す基準特徴平面を設定する基準特徴平面設定手段と、
上記基準特徴平面の設定後に入力されるカラー画像の各画素のうち、上記（輝度−色差）座標で表した場合に上記修正分布曲線に近接する画素を近接画素として認識し、当該近接画素の画素値に基づいて当該カラー画像の特徴を表す特徴平面を設定する特徴平面設定手段と、
上記特徴平面と上記基準特徴平面とを比較することにより上記基準特徴平面との相関が最大となる上記特徴平面中の位置を認識し、当該認識した位置を上記目標物の存在する目標物存在位置として決定する位置決定手段と
上記位置決定手段によつて決定した上記目標物存在位置に基づいて上記撮像手段を駆動し、上記撮像手段の撮影方向を上記目標物の位置する方向に向ける駆動手段と
を具えることを特徴とする目標追尾装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
作用
実施例
（１）第１実施例（図１〜図８）
（１−１）システム構成
（１−２）目標追尾処理
（１−２−１）概要
（１−２−２）各部での処理
（１−２−２−１）被写体の特徴量抽出処理
（１−２−２−２）被写体の位置検出処理
（１−３）効果
（２）第２実施例（図９）
（２−１）目標追尾処理
（２−２）効果
（３）第３実施例（図１０〜図１３）
（３−１）目標追尾処理
（３−２）効果
（４）第４実施例（図１４〜図１７）
（４−１）システム構成
（４−２）目標追尾処理
（４−３）効果
（５）第５実施例（図１８〜図２０）
（５−１）システム構成
（５−２）目標追尾処理及び枠合成処理
（５−３）効果
（６）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は目標追尾装置に関する。例えば目標物の移動に伴つてテレビジヨンカメラの撮影方向を自動的に追従させるものに適用し得る。
【０００３】
【従来の技術】
従来、この種の目標追尾装置においては、テレビジヨンカメラで撮影した画像より目標物の動きを検出することによつて撮像方向の自動追従を実現している。この動き検出にはブロツクマツチングの手法が一般的に用いられている。ここでブロツクマツチングとは目標物の周辺画像又は特徴部分の画像によつて定義したオリジナルブロツクに対して相関が最大になるブロツクを撮像画像中から検出する手法であり、オリジナルブロツクの各画素と画素同士の差の絶対値和が最小になるブロツクの位置を目標物の位置として検出するものである。
【０００４】
【発明が解決しようとする課題】
ところがこのブロツクマツチングの手法を用いた目標追尾装置の場合、目標物の位置はオリジナルブロツクに含まれる形の情報に依存して決定する。このため目標物自体が変形した場合や目標物の大きさが変化した場合には、追尾が困難になる問題があつた。また撮像画像内のブロツクとオリジナルブロツクとの画素同士の差の絶対値和を計算する処理は計算量が多いため回路構成が複雑になつたり、マイクロコンピユータでの実現が困難になる問題があつた。
【０００５】
そこで目標物の形情報に加えてカラー画像信号のもつ色情報を用いて目標物を追尾する目標追尾装置が提案されている（特願平５−６１０６０  号）。
この目標追尾装置は、ある固定の色を特徴量として記憶し、その色に基づいて色画像を水平方向及び垂直方向の各々の方向に積分することにより得られる画像の時間連続性、すなわち前回検出された領域に接している領域を目標物として目標を追尾するようになされている。
【０００６】
また同様に色情報を用いて目標物を追尾する目標追尾装置として次のようなものも提案されている（特願平５−２６１６７８号）。
この目標追尾装置は、目標物の色差信号（すなわちＲ−Ｙ信号及びＢ−Ｙ信号）から目標物の色を１次関数でモデル化する手段と、目標物の輝度Ｙ及び彩度Ｓを１次関数でモデル化する手段とによつて構成され、２つの手段から得られる予想係数を特徴量とする。
【０００７】
そしてこの目標追尾装置では、予想係数から算出されるデータと実際のデータとの誤差から水平方向及び垂直方向の各々の方向について評価関数を作成し、この評価関数に基づいて目標物を追尾するようになされている。
ところがこの目標追尾装置の場合、目標物の色を１次関数で近似しているため輝度変化に伴う色相のずれに基づいてモデル誤差が大きくなり易く、特徴量の検出が難しい場合があつた。
【０００８】
そこで上述の目標追尾装置のうち目標物の輝度Ｙ及び彩度Ｓを１次関数でモデル化する手段の部分を２次関数でモデル化する手段に置き換えた装置が上述の方法に比較して対象色のモデル化精度を高めることができ、かつ目標物の追尾能力を向上させることができる装置として提案されている。
ところがこのようにすると色の設定が厳密にすぎ、安定した目標物の識別が困難になることがある。そこでモデルに対してある程度の誤差を見込むことになるが誤差量の設定が難しく誤差量を大きくとりすぎると目標物と背景の色との区別がつかなくなる等の問題があつた。また無彩色の目標物については識別できなかつた。
【０００９】
本発明は以上の点を考慮してなされたもので、目標物の移動に伴う輝度変化等の影響によらず一段と高精度で目標物を追尾することができる目標追尾装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するために本発明においては、色相ごとに予め用意されている、（輝度−色差）座標で表される基準分布曲線を記憶しておく記憶手段と、外部から入力された目標物を含むカラー画像のうち、ユーザの設定操作によつて設定された目標物に対応する領域を目標物領域として認識する領域認識手段と、目標物領域内の各画素の色差信号から求められる色相を目標物色相として決定する色相決定手段と、記憶手段から目標物色相に対応する基準分布曲線を読み出し、当該読み出した基準分布曲線を、目標物領域内の各画素の画素値に基づいて修正することにより修正分布曲線を生成する生成手段と、目標物領域内の各画素のうち、（輝度−色差）座標で表した場合に修正分布曲線に近接する画素を認識し、当該認識した画素の画素値に基づいて目標物領域の特徴を表す基準特徴平面を設定する基準特徴平面設定手段と、基準特徴平面の設定後に入力されるカラー画像の各画素のうち、（輝度−色差）座標で表した場合に修正分布曲線に近接する画素を近接画素として認識し、当該近接画素の画素値に基づいて当該カラー画像の特徴を表す特徴平面を設定する特徴平面設定手段と、特徴平面と基準特徴平面とを比較することにより基準特徴平面との相関が最大となる特徴平面中の位置を認識し、当該認識した位置を目標物の存在する目標物存在位置として決定する位置決定手段とを設けるようにした。
【００１１】
【作用】
このようにこの目標追尾装置では、（輝度−色差）座標で表される修正分布曲線を基に、目標物領域の特徴を捉えて、基準特徴平面を設定するようにした。また同様にして、（輝度−色差）座標で表される修正分布曲線を基に、かかる基準特徴平面の設定後に入力されるカラー画像の特徴を捉えて、特徴平面を設定するようにした。この結果、目標物に輝度変化が生じた場合であつても、基準特徴平面と特徴平面とを比較することにより、目標物の位置を正確に把握することができる。
【００１２】
【実施例】
【００１３】
（１）第１実施例
ここでは目標物である被写体について得られる各色信号、すなわちＲ−Ｙ信号及びＢ−Ｙ信号をそれぞれ輝度Ｙによつて表される２次関数にモデル化し、さらにこの２次関数モデルに対して許容できる誤差範囲を許容誤差モデルとして定めたことにより、画面上から被写体を確実に識別できるようにした目標追尾装置を説明する。
【００１４】
（１−１）システム構成
図１に目標追尾装置１のシステム構成を示す。因にこの実施例では、メモリ内に格納された画像のうち水平方向にｊ番目、垂直方向にｉ番目に位置する画素値（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）をそれぞれＹｉｊ、Ｒｉｊ、Ｂｉｊとして表すことにする。
【００１５】
撮像装置２は目標物である被写体の撮像に用いられ、テレビジヨンカメラ等で構成されている。この撮像装置２において撮影された被写体のカラー画像信号ＴＶ１はＹ／Ｃ分離及びＡ／Ｄ変換回路３に出力される。
Ｙ／Ｃ分離及びＡ／Ｄ変換回路３は入力されたカラー画像信号ＴＶ１を輝度信号Ｙ、Ｒ−Ｙ信号及びＢ−Ｙ信号にＹ／Ｃ分離し、これら各信号を独立にＡ／Ｄ変換して画像メモリ４に出力するようになされている。
【００１６】
画像メモリ４は、撮像装置２によつて順次撮像され取り込まれる画像の輝度信号Ｙ、Ｒ−Ｙ信号及びＢ−Ｙ信号を格納するのに用いられ、メモリ制御回路５の制御に基づいて画像データを適宜更新するようになされている。
メモリ制御回路５はメモリ制御信号ＭＣによつて画像メモリ４の状態を制御する。
【００１７】
ここでメモリ制御回路５はメモリ制御信号ＭＣによつて画像メモリ４への画像データの書き込みが完了したことを識別すると、マイクロコンピユータ部（以下、ＭＰＵ部という）６に割り込み信号ＩＮＴを出力し、画像メモリ４の画像データにアクセスが可能となつたことを知らせるようになされている。
【００１８】
またメモリ制御回路５はＭＰＵ部６が新たに取り込まれた画像データについての処理を開始したことを書き込み禁止信号ＰＲＴより識別すると、メモリ制御信号ＭＣによつて画像メモリ４に対する画像データの書き込みを禁止しデータを保護する。またその反対にメモリ制御回路５はＭＰＵ部６が現在取り込まれている画像データについての処理が終了したことを書き込み禁止信号ＰＲＴより識別すると、メモリ制御信号ＭＣによつて画像メモリ４における画像データの保護を解除する。
【００１９】
さてＭＰＵ部６は画像メモリ４から読み出した画像データに基づいて目標物の特徴量を設定画面から取り込む他、取り込み後に撮像される全ての画面について目標物を探すのに用いられる信号処理部である。
ＭＰＵ部６における目標物の設定処理は水平／垂直駆動装置７に設けられているスイツチ８が押されたとき出力される設定開始信号Ｓｏｎが入力されたときであり、画面中央に位置する物体を目標物と識別して特徴量を抽出するようになされている。
【００２０】
そしてＭＰＵ部６は新たな目標物が再設定されるまで、撮像装置２から取り込まれる撮像画像から特徴量と一致する物体の探知動作を継続し、目標物を追尾するよう動作する。
またＭＰＵ部６は目標物が常に撮像画面の中央に位置するように、撮像画像から探知した目標物の移動方向及び移動量を基に水平／垂直駆動装置７にモータ駆動信号ＭＤを出力し、撮像装置２の撮像方向を水平方向及び垂直方向に移動させるようになされている。
【００２１】
（１−２）目標追尾処理
（１−２−１）概要
続いてＭＰＵ部６において実行される詳細な処理手順を説明する。この目標追尾処理の概略を図２に示す。目標追尾処理はステツプＳＰ２に示す被写体の設定処理と、ステツプＳＰ３に示す被写体の追尾処理に大別することができる。ステツプＳＰ２及びＳＰ３において実行される詳細な処理手順を図３及び図４に示す。
【００２２】
まず図３を用いて被写体の設定処理手順の概要を説明する。ＭＰＵ部６のマイクロプロセツサはステツプＳＰ１１から内部処理を開始すると、次のステツプＳＰ１１において一連の処理動作を終了するのか否かを判定する。ここで肯定結果が得られると、ＭＰＵ部６のマイクロプロセツサはステツプＳＰ１２に移つて目標追尾処理を終了する。
【００２３】
これに対して否定結果が得られると、マイクロプロセツサはステツプＳＰ１３に移つて画像メモリ４の書き込み禁止を解除し、撮像装置２によつて撮像されている画像を画像メモリ４に取り込ませる。そしてマイクロプロセツサは次のステツプＳＰ１４においてメモリ制御回路５から割り込み信号ＩＮＴが入力されるのを待ち受ける。
【００２４】
やがて新たな撮像画像の取り込みが終了すると、ＭＰＵ部６のマイクロプロセツサはステツプＳＰ１５に移り、メモリ制御回路５に対して書き込み禁止信号ＰＲＴを出力し、メモリ内容を保持するよう指示する。
この後、マイクロプロセツサはステツプＳＰ１６において、目標物である被写体の特徴量を抽出する処理に移る。このステツプ１６の処理において、マイクロプロセツサは被写体から抽出された色信号について２次関数モデルを作成し、加えて許容誤差モデルを生成するのである。
【００２５】
この特徴量の設定が終了すると、マイクロプロセツサはステツプＳＰ１７に示す処理に移り、被写体の追尾を開始するか否かの判定処理に移る。そして否定結果が得られている間は、このステツプＳＰ１７からステツプＳＰ１１に戻り、一連の動作を繰り返す。
さてステツプＳＰ１７において肯定結果が得られると、マイクロプロセツサは図４に示すステツプＳＰ１８、ＳＰ１９及びＳＰ２０において、新たな撮像画像を画像メモリ４に取り込むよう指示する。
【００２６】
これらの処理により新たな画像データが画像メモリ４に格納されると、マイクロプロセツサはステツプＳＰ２１において被写体の特徴量とほぼ同じ特徴量をもつ領域を画面上から抽出する。
続いてマイクロプロセツサはステツプＳＰ２２に移り、これら抽出された領域の中から目標物の位置を検出する。
【００２７】
かかる後、マイクロプロセツサはステツプＳＰ２３において、これら位置に基づいて周辺機器を制御する。因にこの実施例の場合、周辺機器は水平／垂直駆動装置７である。この後、マイクロプロセツサの処理はステツプＳＰ１７に戻り、被写体追尾の終了が指示されるまでこれら処理が繰り返される。
【００２８】
（１−２−２）各部での処理
以上が目標追尾処理の概要であるが、これらのうち被写体の特徴量抽出処理ＳＰ１６と被写体の位置検出処理ＳＰ２２において実行されるより詳細な処理手順を説明する。
【００２９】
（１−２−２−１）被写体の特徴量抽出処理
図５にステツプＳＰ１６の詳細な処理手順を示す。
まずマイクロプロセツサはステツプＳＰ１６−１から処理を開始する。マイクロプロセツサは被写体は画面中央に位置しているという条件からステツプＳＰ１６−２において画面中央を中心とする領域Ｄ（例えば５×５のブロツク）の色相を決定する。
【００３０】
このときマイクロプロセツサは、領域Ｄ内の画素値（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の組合わせについて平均値（Ｙａｖｅ  、Ｒａｖｅ  、Ｂａｖｅ  ）を求め、平均色信号Ｒａｖｅ  及びＲａｖｅ  の比を算出することにより色相に相当するθを決定する。
またこのステツプＳＰ１６−２において、マイクロプロセツサはＲ−Ｙ信号及びＢ−Ｙ信号を輝度を変数とする２次関数で近似するのに必要なパラメータをＲＯＭから読み出す。
【００３１】
ここで読み出されるパラメータは、Ｒ−Ｙ信号の値が０になる輝度値Ｒｌｏ、Ｒｈｉ及びＢ−Ｙ信号の値が０になる輝度値Ｂｌｏ、Ｂｈｉの他、Ｒ−Ｙ信号とＢ−Ｙ信号の値が取り得る最大値Ｒｍａｘ  、Ｂｍａｘ  と最小値Ｒｍｉｎ  、Ｂｍｉｎ  である。ここで輝度値Ｒｌｏ、Ｒｈｉは色信号予測関数である２次関数モデルの端点である。
ここで図６はＲ−Ｙ信号について求める色信号予測関数Ｆｒ  （Ｙ）  の例である。因にマイクロプロセツサは無彩色の判定もこのステツプＳＰ１６−２にて実行し、２次関数ができるだけ鈍つた形になるように端点を決定する。ここで無彩色と判定するのは平均値Ｒａｖｅ  及びＢａｖｅ  が共に一定値以下である場合である。
【００３２】
これらステツプＳＰ１６−２の処理が終了すると、マイクロプロセツサの処理はステツプＳＰ１６−３に移る。ここでは前ステツプＳＰ１６−２において求めたパラメータ及び領域Ｄの画素値（Ｙｉｊ、Ｒｉｊ、Ｂｉｊ）に基づいて、次式
【数１】
0003551332.tif 000002
及び
【数２】
0003551332.tif 000003
で与えられる２次関数モデルＦｒ  （Ｙ）  、Ｆｂ  （Ｙ）  の係数ａ０  、ａ１  を最小二乗近似により求める。これによつてＲ−Ｙ信号及びＢ−Ｙ信号の色予測関数Ｆｒ  （Ｙ）  及びＦｂ  （Ｙ）を決定する。
【００３３】
このように被写体についての色予測関数Ｆｒ  （Ｙ）及びＦｂ  （Ｙ）が設定されると、マイクロプロセツサの処理はステツプＳＰ１６−４の処理に移る。このステツプＳＰ１６−４において、マイクロプロセツサは色信号許容関数についての誤差テーブルを作成する。色信号許容関数と誤差テーブルとの関係を図７に示す。
さてマイクロプロセツサは領域ＤｉｊのＲ−Ｙ信号及びＢ−Ｙ信号に誤差が含まれると仮定し、Ｒ−Ｙ信号及びＢ−Ｙ信号のそれぞれについて上限誤差テーブルＨｒ  （Ｙ）及びＨｂ  （Ｙ）と、下限誤差テーブルＬｒ  （Ｙ）及びＬｂ  （Ｙ）を算出し、許容誤差範囲を決定する。因に輝度Ｙは０〜２５５の整数値を取るので予め誤差テーブルを作成しておけば、毎回、（１）式及び（２）式を計算する時間を削減することができる。
【００３４】
さて誤差を例えば１０〔％〕とすると、上限誤差テーブルＨｒ  （Ｙ）及び下限誤差テーブルＬｒ  （Ｙ）は次のようにして決定する。例えばＲ−Ｙ信号が正の値ならば（１）式の係数ａ０  を１．１倍することにより上限誤差テーブルＨｒ  （Ｙ）を設定し、また（１）式の係数ａ０  を０．９倍することにより下限誤差テーブルＬｒ  （Ｙ）を設定する。一方、Ｒが負の値ならば（１）式の係数ａ０  を０．９倍することにより上限誤差テーブルＨｒ  （Ｙ）を設定し、また（１）式の係数ａ０  を１．１倍することにより下限誤差テーブルＬｒ  （Ｙ）を設定する。
なおＢ−Ｙ信号についての上限誤差テーブルＨｒ  （Ｙ）及び下限誤差テーブルＬｒ  （Ｙ）についても同様に算出する。
【００３５】
このように被写体についての色信号予測関数及び誤差テーブルの算出が終了すると、マイクロプロセツサはステツプＳＰ１６−５の処理に移り、被写体の特徴量抽出処理に移る。まずマイクロプロセツサは領域Ｄ内の各点（Ｙｉｊ、Ｒｉｊ、Ｂｉｊ）に対して、次式
【数３】
0003551332.tif 000004
及び
【数４】
0003551332.tif 000005
の関係を満足する位置（ｉ，ｊ）を抽出し、抽出された位置（ｉ，ｊ）について特徴量Ｃ（ｉ，ｊ）を設定する。
【００３６】
ここで特徴量Ｃ（ｉ，ｊ）は、次式
【数５】
0003551332.tif 000006
や
【数６】
0003551332.tif 000007
等が考えられる。この実施例では（６）式を特徴量Ｃ（ｉ，ｊ）とし、抽出されなかつた位置の特徴量Ｃ（ｉ，ｊ）については値を０とする。
【００３７】
さてこのように特徴量Ｃ（ｉ，ｊ）の抽出処理が終了すると、マイクロプロセツサはステツプＳＰ１６−６に移り、領域Ｄ内において（３）式及び（４）式を満たす位置（ｉ，ｊ）の輝度Ｙ（ｉ，ｊ）を基準特徴量Ｒ（ｉ，ｊ）として記憶する。このとき記憶された基準特徴量Ｒ（ｉ，ｊ）は、後述する被写体の位置検出の際においてブロツクマツチングのためのリフアレンスブロツクとなる。
以上の処理が被写体の設定処理におけるステツプＳＰ１６で実行される。
【００３８】
（１−２−２−２）被写体の位置検出処理
続いて被写体の追尾処理のステツプＳＰ２２で実行される詳細な処理手順を図８を用いて説明する。
なおマイクロプロセツサは前ステツプＳＰ２１において、前項のステツプＳＰ１６−５と同様の処理により（３）式及び（４）式を満たす位置（ｉ，ｊ）を画面全体について求め、これら位置（ｉ，ｊ）についての特徴量Ｃ（ｉ，ｊ）を輝度Ｙ（ｉ，ｊ）として特徴平面ＰＣ（ｉ，ｊ）を設定してあるものとする。
【００３９】
ステツプＳＰ２２−２に移つたマイクロプロセツサは、特徴平面ＰＣ（ｉ，ｊ）と基準特徴量Ｒ（ｉ，ｊ）との相関値ＭＳｉｊを、次式
【数７】
0003551332.tif 000008
に基づいて算出する。この式の場合、最も相関の高い位置が最小の相関値ＭＳｉｊとして得られる。このように基準特徴量Ｒ（ｉ，ｊ）を特徴平面ＰＣ（ｉ，ｊ）内でずらし、各点の相関値ＭＳｉｊを算出する処理がブロツクマツチングである。
このブロツクマツチングの終了後、マイクロプロセツサは相関値ＭＳｉｊの最小値ＭＳｍｉｎ  と、この値が得られる位置（ｘｍｉｎ，ｙｍｉｎ）を求め、次のステツプ
ＳＰ２２−３に移る。
【００４０】
マイクロプロセツサはステツプＳＰ２２−３に移ると、最も相関の高いとされらた像が目標とする被写体として有効かどうかを判別するため、相関値ＭＳｉｊを予め設定しておいたしきい値ＴＨＭＳと比較する。
このとき相関値ＭＳｉｊがしきい値ＴＨＭＳ以下である場合には、検出された位置（ｘｍｉｎ  ，ｙｍｉｎ  ）を被写体の位置とし、存在／非存在フラグを”１”にセツトする。
これに対して相関値ＭＳｉｊがしきい値ＴＨＭＳより大きい場合には、検出された位置（ｘｍｉｎ  ，ｙｍｉｎ  ）が被写体以外の同色領域を示しているとして存在／非存在フラグを”０”にセツトする。
【００４１】
この被写体の存在についての判別処理が終了すると、マイクロプロセツサはステツプＳＰ２２−４の処理に移り、存在／非存在フラグが”１”の場合にのみ検出された位置（ｘｍｉｎ  ，ｙｍｉｎ  ）を中心とする領域について基準特徴量Ｒ（ｉ，ｊ）を求め、この値を従来まで記憶されていた基準特徴量Ｒ（ｉ，ｊ）に代えて記憶する。これにより移動に伴う形状の変化にも対応できる。
因にマイクロプロセツサはこれらの処理で算出された位置（ｉ，ｊ）と、目標の存在／非存在の判断結果から図１に示されている水平／垂直駆動装置７のモータを制御し、撮像装置２の撮影方向を移動させ、目標物である被写体が常に画面内に収まるように被写体を自動追尾させる。
【００４２】
（１−３）効果
以上の構成によれば、被写体の各色信号、すなわちＲ−Ｙ信号及びＢ−Ｙ信号をそれぞれ輝度Ｙによつて表される２次関数Ｆｒ  （Ｙ）及びＦｂ  （Ｙ）にモデル化し、さらにこの２次関数モデルに対して許容できる誤差範囲を許容誤差モデルＨｒ  （Ｙ）、Ｌｒ  （Ｙ）及びＨｂ  （Ｙ）、Ｌｂ  （Ｙ）として定めたことにより、無彩色の被写体についても確実に追尾することができる目標追尾装置を実現することができる。
【００４３】
また以上の構成によれば、照明状況の変化による特徴量Ｃ（ｉ，ｊ）の変化を吸収し、照明変化によらず正確に特徴量を抽出することができる目標追尾装置を実現することができる。
さらにまたブロツクマツチングの際、特徴平面ＰＣ（ｉ，ｊ）上の領域と基準特徴量Ｒ（ｉ，ｊ）とをマツチング処理するようにしたことにより形の情報も被写体の識別に利用でき、色情報の似た周辺の物体との誤認識を避けることができる目標追尾装置を実現できる。
【００４４】
（２）第２実施例
この実施例では、被写体の設定処理の終了後に実行される被写体の追尾処理において、色信号予測関数及び許容誤差モデルに基づいて画面中から抽出される領域近傍の画素値を再評価し、被写体と同色と判定すべき領域を拡張してからブロツクマツチング処理に移るようにすることにより、誤差評価を厳しくした場合でも安定した追尾動作を実現できる目標追尾装置について説明する。
【００４５】
（２−１）目標追尾処理
この実施例の場合、被写体の設定処理は図３の処理手順と同様であるため、第１実施例と異なる処理を含む被写体の追尾処理についてのみ説明する。この実施例における被写体の追尾処理を図９に示す。因に図９において、図４及び図８との処理と同じ処理部分には同一符号を付してある。従つてステツプＳＰ２０とステツプＳＰ２２−２との間に挿入されているステツプＳＰ３１、ステツプＳＰ３２及びステツプＳＰ３３の処理がこの実施例に固有の処理である。以下、このステツプＳＰ３１〜ＳＰ３３の処理を中心に説明する。
【００４６】
さてマイクロプロセツサはステツプＳＰ３１において、（３）式及び（４）式を満たす画素値を有する位置（ｉ，ｊ）を画面全体について求め、２式を満たす位置（ｉ，ｊ）の特徴量Ｃ（ｉ，ｊ）を”０”とおき、２式を満たさない位置（ｉ，ｊ）の特徴量Ｃ（ｉ，ｊ）を”１”とおくことにより、特徴平面ＰＣ（ｉ，ｊ）を設定している。
【００４７】
ステツプＳＰ３１において画面全体を領域とする特徴平面ＰＣ（ｉ，ｊ）の算出処理が終了すると、マイクロプロセツサはステツプＳＰ３２の処理に移り、特徴量Ｃ（ｉ，ｊ）が”０”と判定された領域近傍の画素について色を再評価する。
例えば特徴量Ｃ（ｉ，ｊ−１）が”０”であり、かつ特徴量Ｃ（ｉ，ｊ）が”１”である位置について色を再評価する。ここで再評価は、位置（ｉ，ｊ）における画素値ＲｉｊとＢｉｊが予め設定した許容値ＴＨに対して、次式
【数８】
0003551332.tif 000009
【数９】
0003551332.tif 000010
を満たすか否か確認することによつて実行する。
【００４８】
ここで（８）式及び（９）式が共に満たされる場合には、マイクロプロセツサは位置（ｉ，ｊ）の特徴量Ｃ（ｉ，ｊ）を”０”に再評価し、さらに同様の再評価処理を続ける。
上述の再評価処理は、水平方向に左から右の画素への再評価であるが、同様にして右から左の画素への再評価、垂直方向に上から下の画素への再評価及び下から上の画素への再評価に関しても順次実行する。
これら４方向への処理終了後、被写体と同色とみなされる領域の拡張処理が完了し、マイクロプロセツサはステツプＳＰ３３の処理に移る。
【００４９】
さてステツプＳＰ３３に移ると、マイクロプロセツサは特徴量Ｃ（ｉ，ｊ）が”０”の位置（ｉ，ｊ）については輝度Ｙｉｊを割当て、特徴量Ｃ（ｉ，ｊ）が”１”の位置（ｉ，ｊ）については固定値ＴＨＹ  を割当てることにより特徴平面ＰＣ（ｉ，ｊ）を設定する。
因に固定値ＴＨＹ  は予め設定しておく値であり、被写体と同じ色でないことを示すための意味を持つ。例えば輝度Ｙが８ビツトならば固定値ＴＨＹ  として”２５６”や”０”等の値を設定する。
これ以降の処理は第１実施例の場合と同様であり、説明を省略する。
【００５０】
（２−２）効果
以上の構成によれば、色信号予測関数及び許容誤差モデルに基づいて画面中から抽出される領域近傍の画素値を再評価し、被写体と同色と判定すべき領域を拡張してからこれら領域と基準特徴量Ｒ（ｉ，ｊ）とのブロツクマツチング処理に移るようにしたことにより、誤差評価を厳しくしたために許容誤差範囲外となつた領域についても被写体の存在を確認できるため従来に比して安定した追尾動作が可能な目標追尾装置を実現できる。
【００５１】
（３）第３実施例
この実施例では被写体を画面内から探知するとき、探知領域を撮像画面の全体ではなく一部の特定領域に限定することにより、被写体と近似した色の物体に対する被写体の識別力を向上させた目標追尾装置について説明する。
【００５２】
（３−１）目標追尾処理
図３との対応部分に同一符号を付して示す図１０に本実施例の目標追尾装置で使用される被写体の設定処理手順を示す。
また図４との対応部分に同一符号を付して示す図１１に本実施例の目標追尾装置で使用される被写体の追尾処理手順を示す。
【００５３】
図１０及び図１１から分かるように、この実施例の処理手順の場合、ステツプＳＰ４、ＳＰ１９の後に画面全体から特定領域を切り出すためのステツプＳＰ４１、ＳＰ４２を設けた点と、ステツプＳＰ２２の後に特定領域を切り出す位置を再設定するためのステツプＳＰ４３を設けた点とを除いて図３の処理手順と同様の処理手順によつて構成されている。
【００５４】
ただしステツプＳＰ１６、ＳＰ１７及びステツプＳＰ２１、ＳＰ２２の処理は、画面全体から切り出した特定領域のみを処理対象とする点が図３の場合と異なつている。
因にこの実施例では、図１２に示すように、画像全体のサイズを１２８×１２８画素とし、特定領域として切り出すサイズは６４×６４画素であるものとする。
【００５５】
まず被写体の設定時、ＭＰＵ部６のマイクロプロセツサはステツプＳＰ４において割り込み信号ＩＮＴが確認され、画像メモリ４へのアクセスが可能になつたことを確認すると、ステツプＳＰ４１の処理に移り、画面の中心位置（ｘ，ｙ）  を中心とする６４×６４画素を特定領域Ａとして切り出し開始位置（ｘ  ｓｔａｒｔ，ｙ  ｓｔａｒｔ）  を算出する。
かかる後、マイクロプロセツサはステツプＳＰ１５に移つて画像メモリ４に書き込まれている全画素データの書き換えを禁止する。
【００５６】
さらにマイクロプロセツサは次のステツプＳＰ１６において切り出された特定領域Ａのみを対象とする被写体の特徴量抽出処理に移り、被写体の色を特定する色予測関数とその許容誤差テーブルとを作成して特徴量Ｃ（ｉ，ｊ）を求める。
さてこのように被写体についての特徴量Ｃ（ｉ，ｊ）が求められると、マイクロプロセツサはステツプＳＰ１７からステツプＳＰ１８の処理に移り、被写体の追尾処理を開始する。
【００５７】
追尾処理を開始したマイクロプロセツサは、ステツプＳＰ１８及びＳＰ１９において新たな画像データの取り込みを確認すると、ステツプＳＰ４２に示す処理によつて特定領域Ａを与える指定位置に基づいて切り出し開始位置（ｘ  ｓｔａｒｔ，ｙ  ｓｔａｒｔ）  を算出する。
因に追尾処理を開始した直後の場合における特定領域Ａの指定位置と画面の中心位置は一致している。
【００５８】
このように特定領域Ａが定まると、マイクロプロセツサは被写体の特徴量Ｃ（ｉ，ｊ）と同色の領域を特定領域Ａから抽出する処理に移り、６４×６４画素で与えられる特定領域Ａから特徴平面ＰＣ（ｉ，ｊ）が求められ、被写体の位置が検出される。
さてこのようにステツプＳＰ２１及びＳＰ２２において被写体の位置が検出されると、ステツプＳＰ４３において次回の処理で用いる特定領域Ａの切り出し位置を検出する処理に移る。
【００５９】
ここでマイクロプロセツサは、被写体が特定領域Ａ内に存在する場合、すなわち有効／無効フラグが”１”であつて検出された位置が有効な場合、求められた位置を中心とする領域を切り出すため指定位置に被写体の位置を代入する。
これに対して被写体が特定領域Ａ内に存在しない場合、マイクロプロセツサは次式
【数１０】
0003551332.tif 000011
に示すように被写体が発見されるまで特定領域Ａの切り出し位置を順番に切り換える。
【００６０】
すなわち有効／無効フラグが”０”であつて検出された位置が無効な場合、マイクロプロセツサは１２８×１２８画像内で切り出し開始位置（ｘ  ｓｔａｒｔ，ｙ  ｓｔａｒｔ）  を図１３に示すように点（ｘ０，ｙ０）から（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）まで順番に切り換える。このときマイクロプロセツサは被写体が無効と判断された回数ｔに従つて順番に切り換える。ただし回数ｔがＴ５を越えた場合には回数ｔを”０”に戻して再度点（ｘ０，ｙ０）から探索作業を再開するようになされている。このようにこの目標追尾装置は有効な位置が検出されるまで被写体の検出用である特定領域Ａを切り換えるようになされている。
【００６１】
因にこの実施例の場合、ステツプＳＰ４３の処理中に被写体の位置が算出された場合であつても、算出された位置が時間連続的に存在し得ない位置の場合には検出された位置が無効であると判断して回数ｔに応じた処理を続行するようになされている。
一方、同一領域で連続的に位置が検出された場合には検出された位置を有効であると判定し、次回の画像切り出しの際に用いるようにする。これらの判定処理により検出された被写体の位置についての信頼性を高めることができる。
【００６２】
（３−２）効果
以上の構成によれば、被写体の設定時及び画面内からの追尾処理時において、被写体の探知に用いる領域を直前まで被写体の存在する可能性の高い特定領域Ａ内に限定したことにより、背景等の色が被写体と近似した色を多く含む場合にも被写体の識別力を向上させることができ、画像内から被写体を効率良く検出できる目標追尾装置を実現することができる。
【００６３】
また被写体を見失つた場合にも特定領域Ａとして切り出す画面上の領域を順番に切り換えながら被写体の検出処理を継続できるようにし、さらに検出された被写体の位置に時間連続性が認められない場合にはこれを有効な位置と認識しないようにしたことにより、検出精度の高い目標追尾装置を実現することができる。
【００６４】
（４）第４実施例
上述の目標追尾処理では主に画像面内の方向に移動する被写体を追尾する目標追尾装置について述べたが、本実施例では撮像装置２のズームレンズ制御により遠近方向に移動する被写体の画面上での大きさがほぼ一定になるように追尾する目標追尾装置を説明する。
【００６５】
（４−１）システム構成
図１との対応部分に同一符号を付して示す図１４の目標追尾装置１１はＭＰＵ部６の制御により撮像装置２のズームレンズ１２を制御するようにしていることを除いて同様のシステム構成を有している。
因にこの実施例には撮像装置２の撮影方向を水平方向及び垂直方向に移動させる水平／垂直駆動装置７が含まれていないが、実施例のシステムに水平／垂直駆動装置７を付加したシステムについても適用し得る。
【００６６】
またこの実施例の場合、ＭＰＵ部６のマイクロプロセツサは撮像画像から抽出した特徴平面ＰＣ（ｉ，ｊ）に基づいて被写体の面積を算出し、算出結果に基づいてズームレンズ１２を制御するようになされている。
次にＭＰＵ部６内において実行される処理手順について説明する。
【００６７】
（４−２）目標追尾処理
この実施例の場合、被写体の設定処理については第１実施例にて説明した図３の処理手順と同じであるため、被写体の追尾処理手順についてのみ説明する。
この実施例における追尾処理手順を図１５に示す。因に図１５における処理手順において図４と対応部分の処理については同一符号を付して示す。
【００６８】
図１５から分かるように、この処理手順は撮像画面について得られる特徴平面ＰＣ（ｉ，ｊ）から被写体の位置を検出するステツプＳＰ２２の後に、２つの処理を設けたことを除いて図４の処理手順と同様の処理手順で構成されている。
新たに加わつた２つの処理とは、ステツプＳＰ５１の一次元特徴量導出処理と、ステツプＳＰ５２の面積算出処理である。
【００６９】
ここでステツプＳＰ５１は、前ステツプＳＰ２２において算出された被写体の位置と特徴平面ＰＣ（ｉ，ｊ）から被写体の水平方向の長さ及び垂直方向の長さを求める処理であり、ステツプＳＰ５２は水平方向及び垂直方向の長さから面積を求める処理である。
【００７０】
続いて２つのステツプＳＰ５１及びＳＰ５２において実行される具体的な処理内容を図１６及び図１７を用いて説明する。
ＭＰＵ部６のマイクロプロセツサはステツプＳＰ２２までの一連の処理により上述の実施例と同様、使用者の設定した被写体の色について色予測関数を作成し、色予測関数等を使つて特徴平面ＰＣ（ｉ，ｊ）の他、被写体の存在の有無及び被写体の位置（ｘ，ｙ）  を算出している。
【００７１】
この状態で、マイクロプロセツサはステツプＳＰ５１の処理に移ると、特徴平面ＰＣ（ｉ，ｊ）を垂直方向に一次元化することにより得られる信号列ＨＯＲｊ  と、水平方向に一次元化することにより得られる信号列ＶＥＲｉ  を作成する。
ここで信号列ＶＥＲｉの作成例を図１６に示す。また信号列ＨＯＲｊ  についても同様に作成することができる。
【００７２】
ところで図１６中の信号列ＶＥＲｉにはそれぞれある数値が書き込まれているが、これら数値は特徴平面ＰＣ（ｉ，ｊ）上のｋ列目にある特徴量Ｃ（ｋ，ｊ）を用いて次のように算出している。
まずｋ列目にある特徴量Ｃ（ｋ，ｊ）の各点（ｋ，ｊ）  について、被写体と同色と判定された点と、被写体の位置（ｘ，ｙ）  との距離ＬをＬ＝｜ｋ−ｘ｜として求める。そしてこれらｋ列上で求めた被写体と同色の位置までの距離のち最小となる値Ｌｍｉｎ  をＶＥＲｋ  の値として算出するようになされている。
【００７３】
図１６の場合、中ぐらいの大きさの果実が被写体であり、最上列にある小さい果実の特徴量Ｃ（ｋ，ｊ）までの距離Ｌは４であることにより、ＶＥＲ０の値は４と算出されている。
ただしその列に被写体と同色がない場合は、色がなかつたことが分かるように、設定値ＶＭＡＸ  を代入するものとする。
これらの処理を信号列ＨＯＲｊ  についても実行するのがステツプＳＰ５１での処理である。
【００７４】
さてこのように水平方向及び垂直方向のそれぞれについて信号列ＶＥＲｉ  及びＨＯＲｊ  が求められると、マイクロプロセツサの処理は続くステツプＳＰ５２に移り、被写体の水平方向及び垂直方向それぞれの方向に対する長さＬＨＯＬ  及びＬＶＥＲ  の算出に移り、その積ＬＨＯＬ  ×ＬＶＥＲ  に基づいて被写体の面積を求める処理に移る。
【００７５】
水平方向及び垂直方向に関する各長さＬＨＯＬ  及びＬＶＥＲ  の求め方を図１７を用いて説明する。因に図１７は水平方向への距離ＬＨＯＬ  についてであるが垂直方向への距離ＬＶＥＲ  についても同様に算出することができる。
さてステツプＳＰ５１の処理が終了すると、マイクロプロセツサは、先に検出されている被写体の位置（ｘ，ｙ）  について座標値ｘより右側と左側のそれぞれに分けて端点ｍ及びｎを探索する。
【００７６】
例えば座標値ｘから右側に位置する端点ｍは、予め設定したしきい値ＴＨＨＯＬ  以上となる信号列ＨＯＬｍ  の位置を探知することにより求める。
また座標値ｘから左側に位置する端点ｎの場合も同様に予め設定したしきい値ＴＨＨＯＬ  以上となる信号列ＨＯＬｍ  の位置を探知することにより求める。
そしてこのように求めた２つの位置の差分を水平方向の距離ＬＨＯＬ  ＝ｍ−ｎとする。垂直方向の距離に関しても同様に算出できるため、２つの長さより被写体の面積を求めることができる。
【００７７】
これらステツプＳＰ５２における被写体の面積設定処理が終了すると、マイクロプロセツサはステツプＳＰ２３に移り、算出された面積と、予め設定したおいた被写体の面積とを比較することによりズームレンズ１２を前後させるモータを制御する。因に被写体の面積には被写体追尾設定時の面積や各種スイツチで指定される面積を用いることにする。
【００７８】
実際の制御は、算出された面積と設定された面積の差分ｄＳの正負によつてズームレンズ１２を動かす方向（遠方側か近写側か）を決め、｜ｄＳ｜によつてズームレンズ１２を動かす速度を決定する。ズームレンズ１２を動かしたことによる面積の変動が次の面積抽出処理に影響し、所定の面積になるまでズームレンズ１は動かされることになる。
【００７９】
（４−３）効果
以上の構成によれば、被写体のＲ−Ｙ信号及びＢ−Ｙ信号をそれぞれ輝度Ｙによつて表される２次関数Ｆｒ  （Ｙ）及びＦｂ  （Ｙ）にモデル化し、この２次関数モデルに対して許容できる誤差範囲を許容誤差モデルＨｒ  （Ｙ）、Ｌｒ  （Ｙ）及びＨｂ  （Ｙ）、Ｌｂ  （Ｙ）として求めた特徴平面ＰＣ（ｉ，ｊ）から被写体の形状を検出し、この検出結果に基づいてズームレンズ１２の位置を制御するようにしたことにより、被写体の面積が常に一定になるようにズーム撮影することができる目標追尾装置を実現することができる。
【００８０】
（５）第５実施例
この実施例では前実施例で説明した被写体の面積検出機能を用いて被写体の大きさに応じた枠を発生し、画面上の被写体に重ねて表示することができる目標追尾装置を説明する。
【００８１】
（５−１）システム構成
図１との対応部分に同一符号を付して示す図１８にこの実施例で説明する目標追尾装置２１のシステム構成を示す。
この目標追尾装置２１はＭＰＵ部６において検出された被写体の位置及び面積情報ＰＯＳに基づいてカラー画像信号ＴＶ１に枠Ｗを表示するための枠画像合成装置２２を有することを除いて同様の構成を有している。
因にこの実施例では枠画像合成装置２２の出力を表示装置２３の画面上に表示させている。
【００８２】
（５−２）目標追尾処理及び枠合成処理
この実施例の場合、ＭＰＵ部６において実行される被写体の設定処理手順は図３の場合と同じであるため、被写体の追尾処理手順及び枠合成処理手順についてのみ説明する。この実施例における追尾処理手順を図１９及び図２０に示す。因に図１９における処理手順において図１５と対応する部分の処理については同一符号を付して示す。
【００８３】
図１９から分かるように、この処理手順はステツプＳＰ５２にて示す面積算出処理以降の処理を除いて第４の実施例の場合と同じである。
従つてステツプＳＰ６１及びＳＰ６２についてのみ説明する。
さてステツプＳＰ６１は前ステツプまでに検出された被写体の位置と、被写体の有無、及び各方向についての長さから枠Ｗの４隅の位置データを算出する処理である。
【００８４】
このステツプＳＰ６１の内容を図２０に示す。マイクロプロセツサは被写体の存在に応じて処理を分岐し、被写体が存在しない場合にはステツプＳＰ１６−２からステツプＳＰ１６−３に移り、枠位置を算出するようになされている。
ここでマイクロプロセツサは水平方向についての両端点ｘ０  とｘ１  を被写体の位置ｘと水平方向の長さＬＨＯＬ  から次式
【数１１】
0003551332.tif 000012
のように計算し、また垂直方向についての両端点ｙ０  とｙ１  を被写体の位置ｙと垂直方向の長さＬＶＥＲ  から次式
【数１２】
0003551332.tif 000013
のように計算する。これにより被写体についての４隅の枠データ（ｘ０  ，ｙ０  ）  、（ｘ０  ，ｙ１  ）  、（ｘ１  ，ｙ０  ）  、（ｘ１  ，ｙ１  ）を出力する。
【００８５】
一方、被写体が見失われている場合にはステツプＳＰ１６−２からステツプＳＰ１６−４に移り、表示装置２３の画面上に枠Ｗが表示されないように、表示画面の外側の位置を枠位置として出力したり、枠Ｗが１点になるように４隅の位置を枠位置として出力するようになされている。
そしてステツプＳＰ６２において、これら枠位置で与えられる枠を画面上に表示することにより被写体の大きさや位置、また被写体の移動によらず常に周囲を取り囲むような枠Ｗを重ねて表示させるのである。
【００８６】
（５−３）効果
以上の構成によれば、被写体のＲ−Ｙ信号及びＢ−Ｙ信号をそれぞれ輝度Ｙによつて表される２次関数Ｆｒ  （Ｙ）及びＦｂ  （Ｙ）にモデル化し、この２次関数モデルに対して許容できる誤差範囲を許容誤差モデルＨｒ  （Ｙ）、Ｌｒ  （Ｙ）及びＨｂ  （Ｙ）、Ｌｂ  （Ｙ）として求めた特徴平面ＰＣ（ｉ，ｊ）から被写体の形状を検出し、この検出結果に基づいて被写体の面積及び位置に応じた大きさの枠Ｗを発生するようにしたことにより、常に被写体の周囲を枠Ｗで取り囲むことができる機能を備えた目標追尾装置を実現することができる。
【００８７】
（６）他の実施例
なお上述の実施例においては、色信号予測関数を輝度Ｙによつて表される２次関数Ｆｒ  （Ｙ）及びＦｂ  （Ｙ）でモデル化し、この２次関数モデルより求めた許容誤差モデルＨｒ  （Ｙ）、Ｌｒ  （Ｙ）及びＨｂ  （Ｙ）、Ｌｂ  （Ｙ）より得られる特徴平面ＰＣ（ｉ，ｊ）を用いて被写体の位置を検出する場合について述べたが、本発明はこれに限らず、被写体と思われる位置近辺の輝度の平均値を毎回算出し、輝度の平均値が一定となるようにアイリスを制御しても良い。このような手法を用いてオートアイリス機能を備えた目標追尾装置を実現しても良い。
【００８８】
また被写体の位置近辺の輝度の周波数成分を検出してフオーカス制御に用いることによりオートフオーカス機能を備えた目標追尾装置を実現しても良い。
さらに検出された被写体の位置が常に画面中央になるように姿勢を制御する機能を手ぶれ補正に応用しても良い。
また上述の実施例においては、画像内にある被写体を追尾する場合について述べたが、本発明はこれに限らず、画像内にある自分の手や顔の位置を追尾させることによりゲーム機やコンピユータ等におけるマウス等と同様なポインテイングデバイスを実現することができる。
【００８９】
また上述の実施例においては、撮像装置２から入力されたカラー画像信号ＴＶ１に基づいて目標を追尾する場合について述べたが、本発明はこれに限らず、ビデオテープレコーダやコンピユータ、ゲーム機等で再生された画像信号等を入力信号とし、これら画像信号中に設定した目標を追尾させるようにしても良い。
【００９０】
さらに上述の実施例においては、目標追尾装置の基本システムについて述べたが、本発明の目標追尾装置はＴＶ電話システムやセキユリテイシステムに応用することもできる。またマルチメデイアシステム等のようにテレビジヨンカメラで被写体を目標追尾するものにも適用できる。
【００９１】
また上述の実施例においては、色信号予測関数として二次関数を用いたが、本発明はこれに限らず、一次関数、指数関数、対数関数、三角関数、楕円関数などの他の関数によつて色を予測するようにしても良い。
さらに上述の実施例においては、色領域を拡張する際、１次元的に拡張する方法について述べたが、本発明はこれに限らず、２次元的に拡張する方法についても応用できる。
【００９２】
また上述の実施例においては、面積算出処理によつて得た被写体の面積を用いてズームレンズ１２を制御する場合について述べたが、本発明はこれに限らず、被写体抽出型のアイリス制御／フオーカス制御等のカメラ制御に適用することができる。
またこれに限らず、面積の増加／減少に応じて前進後退する玩具や、領域内の情報量を画面内の他の領域の情報量より多く割り当てる適応量子化を行なう画像符号化装置等にも応用することができる。
【００９３】
さらに上述の実施例においては、被写体の位置と距離に基づいて面積を算出する場合について述べたが、本発明はこれに限らず、領域内の被写体と同色の点の個数を算出することにより求めるようにしても良い。
また上述の実施例においては、枠画像合成部２２において枠Ｗを発生し、これを画面上に表示する場合について述べたが、本発明はこれに限らず、キヤラクタの表示や領域全体の塗りつぶし等にも用いることができる。
【００９４】
さらに上述の実施例においては、被写体が存在しないときは枠を表示させないようにしたが、本発明はこれに限らず、被写体を囲む種類とは異なる枠Ｗを表示しても良く、またキヤラクタを表示しても良い。またこの処理を表示色の切換え等にも応用することができる。
【００９５】
【発明の効果】
上述のように本発明によれば、（輝度−色差）座標で表される修正分布曲線を基に、目標物領域の特徴を捉えて、基準特徴平面を設定するようにした。また同様にして、（輝度−色差）座標で表される修正分布曲線を基に、かかる基準特徴平面の設定後に入力されるカラー画像の特徴を捉えて、特徴平面を設定するようにした。この結果、目標物に輝度変化が生じた場合であつても、基準特徴平面と特徴平面とを比較することにより、目標物の位置を正確に把握することができる。かくするにつき、目標物の移動に伴う輝度変化等の影響によらず一段と高精度で目標物を追尾することができる目標追尾装置を実現することができる。
【図面の簡単な説明】
【図１】本発明による目標追尾装置の一実施例の構成を示すブロツク図である。
【図２】追尾処理手順の概要を示すフローチヤートである。
【図３】被写体の設定処理手順を示すフローチヤートである。
【図４】被写体の追尾処理手順を示すフローチヤートである。
【図５】被写体の特徴量抽出処理手順を示すフローチヤートである。
【図６】色信号予測関数の説明に供する略線図である。
【図７】許容誤差テーブルの説明に供する略線図である。
【図８】被写体の位置検出処理手順を示すフローチヤートである。
【図９】被写体の追尾処理手順を示すフローチヤートである。
【図１０】被写体の設定処理手順を示すフローチヤートである。
【図１１】被写体の追尾処理手順を示すフローチヤートである。
【図１２】画面上から切り出される特徴領域を示す略線図である。
【図１３】特定領域と切り出し指定位置との関係を示す略線図である。
【図１４】本発明による目標追尾装置の一実施例を示すブロツク図である。
【図１５】被写体の追尾処理手順を示すフローチヤートである。
【図１６】一次元信号列の構成例を示す略線図である。
【図１７】距離算出例を示す略線図である。
【図１８】本発明による目標追尾装置の一実施例を示すブロツク図である。
【図１９】被写体の追尾処理手順及び枠作成処理手順を示すフローチヤートである。
【図２０】表示枠の位置算出処理手順を示すフローチヤートである。
【符号の説明】
１、１１、２１……目標追尾装置、２……撮像装置、３……Ｙ／Ｃ分離及びＡ／Ｄ変換回路、４…画像メモリ、５…メモリ制御回路、６……ＭＰＵ部、７……水平／垂直駆動装置、８……スイツチ、１２……ズームレンズ、２２……枠画像合成部、２３……表示装置。
【図１】
0003551332.tif 000014
【図２】
0003551332.tif 000015
【図３】
0003551332.tif 000016
【図４】
0003551332.tif 000017
【図５】
0003551332.tif 000018
【図６】
0003551332.tif 000019
【図７】
0003551332.tif 000020
【図８】
0003551332.tif 000021
【図９】
0003551332.tif 000022
【図１０】
0003551332.tif 000023
【図１１】
0003551332.tif 000024
【図１２】
0003551332.tif 000025
【図１３】
0003551332.tif 000026
【図１４】
0003551332.tif 000027
【図１６】
0003551332.tif 000028
【図１５】
0003551332.tif 000029
【図１７】
0003551332.tif 000030
【図２０】
0003551332.tif 000031
【図１８】
0003551332.tif 000032
【図１９】
0003551332.tif 000033