(57)【特許請求の範囲】
【請求項１】
少なくとも被写体を含む画像を記憶する記憶手段と、
赤信号Ｒと輝度信号Ｙとの差に対応する色差信号Ｒ−Ｙの平均値を（Ｒ−Ｙ）ave、および青信号Ｂと前記輝度信号Ｙとの差に対応する色差信号Ｂ−Ｙの平均値を（Ｂ−Ｙ）aveとするとき、
（Ｒ−Ｙ）aveの絶対値と（Ｂ−Ｙ）aveの絶対値の和
（Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveの２乗平均、または
（Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveのうち大きい方の値
を、前記被写体の色の飽和度として求め、求めた飽和度に対応して、前記被写体の認識の容易さを表す認識指数を演算する演算手段と、
前記演算手段による演算により得られた前記認識指数を表す数値を、得られた順に、並べて表示させる出力手段と
を備えることを特徴とする被写体認識装置。
【請求項２】
前記演算手段は、前記飽和度を前記輝度信号Ｙの平均値Ｙaveで正規化する
ことを特徴とする請求項１に記載の被写体認識装置。
【請求項３】
前記演算手段は、前記飽和度を前記輝度信号Ｙの平均値Ｙaveと所定の値ｄとの和で正規化する
ことを特徴とする請求項１に記載の被写体認識装置。
【請求項４】
少なくとも被写体を含む画像を記憶し、
赤信号Ｒと輝度信号Ｙとの差に対応する色差信号Ｒ−Ｙの平均値を（Ｒ−Ｙ）ave、および青信号Ｂと前記輝度信号Ｙとの差に対応する色差信号Ｂ−Ｙの平均値を（Ｂ−Ｙ）aveとするとき、
（Ｒ−Ｙ）aveの絶対値と（Ｂ−Ｙ）aveの絶対値の和
（Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveの２乗平均、または
（Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveのうち大きい方の値
を、前記被写体の色の飽和度として求め、求めた飽和度に対応して、前記被写体の認識の容易さを表す認識指数を演算し、
演算により得られた前記認識指数を表す数値を、得られた順に、並べて表示させる
ことを特徴とする被写体認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は被写体認識装置および方法に関し、特に、被写体を確実に認識することができるようにした、被写体認識装置および方法に関する。
【０００２】
【従来の技術】
従来より、ビデオカメラに被写体認識機構とパンおよびチルト機構を設け、被写体認識機構に被写体を認識させ、認識した被写体を追尾するように、パンおよびチルト機構を駆動することが知られている。このビデオカメラにおいて、被写体を自動追尾させるようにするには、最初に追尾すべき被写体を設定（登録）する操作が必要となる。このため、通常、画面上に被写体設定枠を表示し、この被写体設定枠内に追尾すべき被写体を配置するように、ビデオカメラのパンおよびチルト方向を制御して、被写体設定枠内に所望の被写体が配置されたとき、その被写体を追尾すべき被写体として設定するようにしている。
【０００３】
【発明が解決しようとする課題】
このような従来のビデオカメラにおいては、被写体を設定する際、被写体のどの部分を被写体設定枠内に収めるか、そのときの被写体の照明条件をどのようにするかといったことは、使用者の経験によって決定するようにしていた。その結果、初心者が、所望の被写体を確実に認識し、追尾させることができるように、被写体を設定することが困難となる課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、初心者でも、被写体を確実に設定し、認識させることができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の被写体認識装置は、少なくとも被写体を含む画像を記憶する記憶手段と、赤信号Ｒと輝度信号Ｙとの差に対応する色差信号Ｒ−Ｙの平均値を（Ｒ−Ｙ）ave、および青信号Ｂと輝度信号Ｙとの差に対応する色差信号Ｂ−Ｙの平均値を（Ｂ−Ｙ）aveとするとき、 （Ｒ−Ｙ）aveの絶対値と（Ｂ−Ｙ）aveの絶対値の和 （Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveの２乗平均、または （Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveのうち大きい方の値を、被写体の色の飽和度として求め、求めた飽和度に対応して、被写体の認識の容易さを表す認識指数を演算する演算手段と、演算手段による演算により得られた認識指数を表す数値を、得られた順に、並べて表示させる出力手段とを備えることを特徴とする。
【０００６】
請求項４に記載の被写体認識方法は、少なくとも被写体を含む画像を記憶し、赤信号Ｒと輝度信号Ｙとの差に対応する色差信号Ｒ−Ｙの平均値を（Ｒ−Ｙ）ave、および青信号Ｂと輝度信号Ｙとの差に対応する色差信号Ｂ−Ｙの平均値を（Ｂ−Ｙ）aveとするとき、 （Ｒ−Ｙ）aveの絶対値と（Ｂ−Ｙ）aveの絶対値の和 （Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveの２乗平均、または （Ｒ−Ｙ）aveと（Ｂ−Ｙ）aveのうち大きい方の値を、被写体の色の飽和度として求め、求めた飽和度に対応して、被写体の認識の容易さを表す認識指数を演算し、演算により得られた認識指数を表す数値を、得られた順に、並べて表示させることを特徴とする。
【０００７】
請求項１に記載の被写体認識装置および請求項４に記載の被写体認識方法においては、被写体の認識の容易さを表す認識指数が演算され、この認識指数に対応する信号が出力される。
【０００８】
【発明の実施の形態】
図１は、本発明の被写体認識装置を適用したビデオカメラの一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）４から構成され、被写体からの光Ｌを撮像し、電気信号としての画像信号を出力する。すなわち、被写体からの光Ｌは、レンズ２により、アイリス３を介してＣＣＤ４上に結像される。これによりＣＣＤ４からは、その受光量に対応した画像信号が出力される。なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を適正な値に調整するようになされている。
【０００９】
レンズブロック１から出力された画像信号は、サンプルホールド（Ｓ／Ｈ）および自動利得調整（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ（ＡＧＣ））回路５においてサンプルホールドされ、さらにオートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００１０】
なお、本実施例では、オートアイリス機構で露光量を制御するようにしたが、これを機能させず、固定の露出で撮像を行うようにすることも可能である。
【００１１】
Ａ／Ｄ変換器６は、サンプルホールドおよび自動利得調整回路５からの画像信号（アナログ信号）を所定のクロックに従ってＡ／Ｄ変換する。Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、ならびに赤信号Ｒと輝度信号Ｙとの差に対応する色差信号Ｒ−Ｙと、青信号Ｂと輝度信号Ｙとの差に対応する色差信号Ｂ−Ｙ、およびクロマ信号Ｃを生成する。例えばＮＴＳＣ方式の輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１２に供給される。これにより、モニタ１２には、レンズブロック１で撮像された画像が表示される。このモニタ１２にはまた、表示ＩＣ１３より出力された枠や数字も重畳表示されるようになされている。
【００１２】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路９に供給される。被写体認識回路９は、ディジタルカメラ処理回路７からの輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出する。
【００１３】
このため、被写体認識回路９は、フレームメモリで構成される画像メモリ１０（記憶手段）と、マイクロプロセッサで構成される追尾信号処理回路１１とを有する。画像メモリ１０は追尾信号処理回路１１から書き込み許可信号Ｓ１を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙを、それぞれ独立に画素単位で記憶する。
【００１４】
ここで、以下適宜、色差信号Ｒ−Ｙ，Ｂ−ＹをそれぞれＲ，Ｂと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左からｉ番目で、かつ、上からｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂを、以下適宜、それぞれＹｉｊ、Ｒｉｊ、Ｂｉｊと表す。さらに以下適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００１５】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読みだし許可信号Ｓ２を、追尾信号処理回路１１に出力する。その後、画像メモリ１０は、追尾信号処理回路１１が出力するメモリアドレス（上述のｉ，ｊに対応する）Ｓ３を受信すると、そのアドレスに記憶された画像データＳ４を追尾信号処理回路１１に出力する。
【００１６】
追尾信号処理回路１１は、画像メモリ１０から読みだし許可信号Ｓ２を受信すると、被写体の追尾に必要な画像データＳ４を、上述したように、画像メモリ１０にアドレス（メモリアドレス）Ｓ３を与えることで読みだし、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は書き込み許可信号Ｓ１を画像メモリ１０に供給し、これにより、画像メモリ１０ではレンズブロック１で撮像された画像が新たに記憶される（すでに記憶されている画像に上書きされる）。このとき、画像メモリ１０は上述したように読みだし許可信号Ｓ２を再び出力する。以下同様にして、画像メモリ１０ではレンズブロック１で撮像された画像が順次記憶されていく。
【００１７】
また、追尾信号処理回路１１は被写体を検出すると、その被写体がレンズブロック１から出力される画像の中央に表示されるように、パンモータ１４およびチルトモータ１５を駆動する。各種のキー、スイッチ、ボタンなどよりなる入力部１７は、被写体設定ボタン１６を有する。このボタン１６は、被写体設定処理が完了したとき操作される。
【００１８】
次に、図２のフローチャートを参照して、自動追尾する被写体を設定する前の動作について説明する。最初にステップ１において、画像メモリ１０への画像データの書き込み処理が実行される。すなわち、使用者は、入力部１７を操作して、追尾信号処理回路１１にパンまたはチルト指令を入力し、追尾信号処理回路１１に、その指令に対応する制御信号を発生させる。パンモータ１４またはチルトモータ１５は、この制御信号に対応して、レンズブロック１を所定の方向にパンニングまたはチルティングする。あるいはまた、使用者は、ビデオカメラ全体を所望の被写体の方向に向ける操作を行う。
【００１９】
このようにして、被写体からの光が、レンズにアイリス３を介してＣＣＤ４に入射され光電変換される。ＣＣＤ４が出力した画像信号は、サンプルホールドおよび自動利得制御回路５によりサンプリングされるとともに、その利得が所定の値に制御された後、Ａ／Ｄ変換器６でＡ／Ｄ変換される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６より入力された信号から、例えばＮＴＳＣ方式の輝度信号Ｙとクロマ信号Ｃを生成する。輝度信号Ｙとクロマ信号Ｃは、Ｄ／Ａ変換器８に入力され、Ｄ／Ａ変換された後、モニタ１２に出力され、表示される。
【００２０】
このとき、追尾信号処理回路１１は、表示ＩＣ１３を制御し、モニタ１２の所定の位置（例えば画面の中央）に被写体設定枠Ｄ（図５参照）を表示させる。使用者はモニタ１２を見て、追尾すべき被写体が被写体設定枠内に入るように、ビデオカメラ（レンズブロック１）の位置を調整する。
【００２１】
また、このとき、追尾信号処理回路１１は、書き込み許可信号Ｓ１を発生し、ディジタルカメラ処理回路７により生成された輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙを、画像メモリ１０に供給させ、記憶させる。記憶が完了したとき画像メモリ１０は、読み出し許可信号Ｓ２を追尾信号処理回路１１に出力する。このとき追尾信号処理回路１１は、画像メモリ１０にメモリアドレスＳ３を供給し、画像メモリ１０の、そのメモリアドレスに記憶されている画像データの読み出しを指令する。画像メモリ１０は、この指令に対応して、データＳ４を追尾信号処理回路１１に出力する。追尾信号処理回路１１は、メモリアドレスとして、被写体設定枠内のアドレスを指定することで、被写体設定枠内の画素データを読み出し、その平均値を次式より演算する。
Ｙave＝ΣΣ（Ｒ−Ｙ）ｉｊ／Ｎ
（Ｒ−Ｙ）ave＝ΣΣ（Ｒ−Ｙ）ｉｊ／Ｎ
（Ｂ−Ｙ）ave＝ΣΣ（Ｂ−Ｙ）ｉｊ／Ｎ
【００２２】
ここで、Ｙave，（Ｒ−Ｙ）ave，（Ｂ−Ｙ）aveは、それぞれ輝度信号Ｙ、色差信号Ｒ−Ｙ、または色差信号Ｂ−Ｙの画素データの平均値を表す。また、Ｎは、被写体設定枠内の画素数を表す。すなわち、図３に示すように、横軸をｉ、縦軸をｊとし、画面の左上の点の座標を原点（０，０）とし、被写体設定枠Ｄの左上の点の座標を（ｘ１，ｙ１）、右下の点の座標を（ｘ２，ｙ２）とするとき、Ｎは次式で表される。
Ｎ＝（ｘ２−ｘ１＋１）×（ｙ２−ｙ１＋１）
【００２３】
次にステップ３において、被写体の認識の容易さを示す認識指数Ｃindexを演算する。この認識指数Ｃindexは、基本的に被写体の色の飽和度に対応する値とされる。
【００２４】
すなわち、追尾信号処理回路１１は、次の６個の式のいずれかの演算を行う。
Ｃindex＝｜（Ｒ−Ｙ）ave｜＋｜（Ｂ−Ｙ）ave｜
Ｃindex＝（（Ｒ−Ｙ）ave2＋（Ｂ−Ｙ）ave2）1/2
Ｃindex＝Ｍａｘ（｜（Ｒ−Ｙ）ave｜，｜（Ｂ−Ｙ）ave｜）
Ｃindex＝（｜（Ｒ−Ｙ）ave｜＋｜（Ｂ−Ｙ）ave｜）／（Ｙave＋ｄ）
Ｃindex＝（（Ｒ−Ｙ）ave2＋（Ｂ−Ｙ）ave2）1/2／（Ｙave＋ｄ）
Ｃindex＝Ｍａｘ（（｜（Ｒ−Ｙ）ave｜，｜（Ｂ−Ｙ）ave｜）／（Ｙave＋ｄ））
なお、ここで、Ｍａｘ（Ａ，Ｂ）は、ＡとＢで大きい方を選ぶ関数を意味する。
【００２５】
上記式において、Ｙave＋ｄにより、分子（飽和度）を割算しているのは、正規化を行うためである。また、ここでｄをＹaveに加算しているのは、次の理由による。
【００２６】
すなわち、例えば図１３を参照して後述するように、色差信号Ｒ−Ｙと輝度信号Ｙの関係、および、色差信号（Ｂ−Ｙ）と輝度信号Ｙとの関係から被写体のモデルが規定される。この被写体のモデルに対応するように、横軸を輝度信号Ｙ、縦軸を色差信号（Ｒ−Ｙ）aveの絶対値と色差信号（Ｂ−Ｙ）aveの絶対値の和とすると、被写体モデルは図４に示すように表すことができる。そして、上述した認識指数Ｃindexのうち、例えば（｜（Ｒ−Ｙ）ave＋｜（Ｂ−Ｙ）ave｜）／Ｙaveは、その平均値で規定される点と原点Ｏ（横軸と縦軸の交点）を結んだ直線と、横軸（Ｙ軸）とのなす角度に対応する。そして、その角度は、横軸と縦軸の交点Ｏから被写体モデルの上側の曲線上の接点Ｐに接線を引いたとき最大となる。
【００２７】
すなわち、このときの角度θPは、次式で表される。
atanθP＝（｜（Ｒ−Ｙ）ave｜＋｜（Ｂ−Ｙ）ave｜）／Ｙave＝Ｃindex
【００２８】
例えば、原点ＯからＹ軸の左方向に、距離ｄだけ離れた点をＳとし、点Ｓから被写体モデルの上側の曲線に対し接線を引いた場合に得られる接点をＱとすると、点Ｏと点Ｑを結ぶ直線とＹ軸とのなす角度θQは、上記した角度θPより小さくなる。しかしながら、図４より明らかなように、点Ｏと点Ｐの距離（飽和度）より、点Ｏと点Ｑの距離（飽和度）の方が大きい値となる。すなわち、点Ｐにおけるデータを被写体のモデルのデータとして設定するより、点Ｑのデータを被写体のモデルとして設定した方が、より確実に被写体を認識することができるようになる。
【００２９】
そこで、Ｙaveにｄを加算することで、点Ｓを仮想的な原点とする。このようにすれば、点Ｓと点Ｐを結んだ直線と横軸とのなす角度ＡPより、点Ｑと点Ｓを結んだ直線が横軸となす角度ＡQの方が大きくなる。従って、Ｙaveにｄを加算した値で正規化を行うようにすることにより、実際には小さい飽和度の値が、最大の飽和度の値（認識指数）とされてしまうことを防止することができる。
【００３０】
以上のようにして、認識指数が演算されたとき、ステップ４に進み、追尾信号処理回路１１は表示ＩＣ１３を制御し、ステップ３で演算された認識指数に対応する数字を発生させ、モニタ１２に出力し、表示させる。例えば、ステップ３で演算により求められた認識指数が６５であるとき、モニタ１２に、図５に示すように、６５の数字が認識指数として表示される。
【００３１】
なお、この表示ＩＣ１３は、いわゆるキャラクタジェネレータを用いることができる。
【００３２】
以上のようにして、画像メモリ１０に取り込んだ画像に対する認識指数の演算と表示が完了したとき、追尾信号処理回路１１は、ステップ５において、画像メモリ１０への書き込み許可信号Ｓ１を出力する。画像メモリ１０は、この許可信号Ｓ１が入力されるとステップ１に戻り、ディジタルカメラ処理回路７から供給される新たなデータを元のデータ上に上書きし、画像データを更新する。そして、上述した場合と同様の処理を繰り返し実行する。
【００３３】
このようにして、使用者は、例えば図６に示すように、位置Ａから被写体を撮像したり、位置Ｂから被写体を撮像したり、位置Ｃから被写体を撮像するなどして、各位置毎の認識指数を表示させる。そして、最も大きい認識指数が得られた位置で取り込んだ画像をもとにして、被写体設定ボタン１６を操作するようにする。
【００３４】
以上の実施例においては、ビデオカメラを移動させるか、またはパンチルトさせると、被写体の認識指数が、その位置に応じて変化するが、使用者は、各位置における認識指数を記憶していなければ、どの位置が最も大きい認識指数を得ることができたのかを、最終的に判断することができなくなる。
【００３５】
そこで、例えば図１に示すように、追尾信号処理回路１１内にメモリ１１Ａを内蔵させ、入力部１７の所定のキーを操作したタイミングにおける認識指数を、図７に示すように、メモリ１１Ａに順次登録させるようにすることができる。そして、入力部１７が操作され、新たな認識指数が登録される毎に、図８（Ａ）乃至（Ｃ）に示すように、表示ＩＣ１３により、各位置において得られた認識指数を順番に表示させるようにすることができる。このようにすれば、複数の位置において得られた認識指数を一度に見ることができ、最終的にどの位置における認識指数が最も大きかったかを、容易に判定することが可能となる。
【００３６】
図９は、認識指数の他の表示例を表している。すなわち、上記実施例においては、認識指数を数字で表すようにしたが、図９に示すように、バーグラフの長さで、認識指数を表示するようにすることもできる。このようなバーグラフも表示ＩＣ１３により、容易に出力し、表示させることができる。この場合において最も長いバーグラフが得られる位置の画像が、被写体設定処理に最も適していることになる。
【００３７】
以上のようにして、最適な被写体設定位置が判明したとき、次のようにして、被写体を実際に設定し、追尾させることができる。次に図１０のフローチャートを参照して、この場合の一連の処理について説明する。
【００３８】
まず最初に、ステップ２１において、追尾すべき被写体の設定処理が完了したか否か（被写体設定ボタン１６が操作されたか否か）が判定される。被写体設定処理がまだ完了していないとき、使用者は、上述したようにして、認識指数を参考にして所定の位置を選択し、被写体設定ボタン１６を操作する。
【００３９】
ステップ２１において被写体設定ボタン１６が操作されたと判定された場合、ステップ２２において被写体設定枠Ｄの内部の画像データが、画像メモリ１０から読み出される。例えば、図１１の実施例の場合、所定の人物の顔の画像データが、被写体のデータとして画像メモリ１０から読みだされる。
【００４０】
この被写体設定枠Ｄの内部の画像データは、その特徴量を表すために、輝度信号Ｙｉｊ、および色差信号Ｒｉｊ，Ｂｉｊの組（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）で規定される点の集合とされる。そして、この点は、図１２に示すように、（Ｒ−Ｙ，Ｙ）（Ｒ，Ｙ）平面（図４（Ａ））と、（Ｂ−Ｙ，Ｙ）（Ｂ，Ｙ）平面（図４（Ｂ））上にプロットされる。換言すれば、これらの平面上の位置（座標）が、被写体の特徴量を表すものとされる。
【００４１】
ただし、点（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の集合にはノイズが含まれ、この集合は、被写体を表す代表的な点の集合に過ぎない。そこで、ステップ２３では、点（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の集合に幅を持たせるために、（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢｉｊ）を被写体情報として生成する。ここで、ＨＲｉｊ，ＬＲｉｊ，ＨＢｉｊ，ＬＢｉｊは、それぞれ次式に従って計算される。
ＨＲｉｊ＝Ｒｉｊ×（１＋α）
ＬＲｉｊ＝Ｒｉｊ×（１−α）
ＨＢｉｊ＝Ｂｉｊ×（１＋α）
ＬＢｉｊ＝Ｂｉｊ×（１−α）
【００４２】
なお、上式においては、αは正の定数であり、所定の画素を被写体の画素として認識するための許容誤差を表している。
【００４３】
以上のように、図１２に示すデータ（ステップ２２で取得したデータ）に対して、上記演算を施すことにより、図１３に示すように、許容誤差αを考慮したデータが得られる。図１３（Ａ）は、点（Ｙｉｊ，ＨＲｉｊ）、（Ｙｉｊ，ＬＲｉｊ）をプロットしたものを、また、図１３（Ｂ）は、点（Ｙｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＢｉｊ）をプロットしたものを、それぞれ示す。なお、本実施例では、ＲおよびＢを表す値として、−１２８〜１２７の範囲を割り当てている。
【００４４】
次にステップ２４で、図１３（Ａ）、図１３（Ｂ）に示す許容誤差αを考慮した点集合に対し、Ｙを引き数として、ＲまたはＢに関する例えば２次関数で近似した被写体モデルを作る。本実施例では、異なる被写体について近似した場合でも、ある程度、似通った形の被写体モデル（本実施例では２次関数）が得られるように、２次関数のＹ切片（被写体モデルである２次関数がＹ軸と交わる点）が決められている。
【００４５】
具体的に述べると、それぞれのＹ切片は、Ｙ−Ｒ座標系については、図１３（Ａ）に示すように、ＲｌｏｗおよびＲｈｉｇｈ（ただし、Ｒｌｏｗ＜Ｒｈｉｇｈとする）が予め設定され、Ｙ−Ｂ座標系については、図１３（Ｂ）に示すように、ＢｌｏｗおよびＢｈｉｇｈ（ただし、Ｂｌｏｗ＜Ｂｈｉｇｈとする）が予め設定される。
【００４６】
このように、Ｙ切片を固定した状態で、図１３（Ａ）の（Ｙｉｊ，ＨＲｉｊ）および（Ｙｉｊ，ＬＲｉｊ）と、図１３（Ｂ）の（Ｙｉｊ，ＨＢｉｊ）および（Ｙｉｊ，ＬＢｉｊ）、それぞれについて、２次関数で近似（例えば最小自乗近似）を行い、次式で示される被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの上限特徴モデル）、ＬＦｒ（Ｙ）（Ｙに関するＲの下限特徴モデル）、ＨＦｂ（Ｙ）（Ｙに関するＢの上限特徴モデル）、ＬＦｂ（Ｙ）（Ｙに関するＢの下限特徴モデル）が生成される。
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ）
【００４７】
ここで、Ａ０は（Ｙｉｊ，ＨＲｉｊ）の、Ａ１は（Ｙｉｊ，ＬＲｉｊ）の、Ａ２は（Ｙｉｊ，ＨＢｉｊ）の、Ａ３は（Ｙｉｊ，ＬＢｉｊ）の、それぞれデータに対する近似により求められた定数である。
【００４８】
このようにして定められた、（Ｒ，Ｙ）平面上において、ＨＦｒ（Ｙ）とＬＦｒ（Ｙ）の間に存在し、かつ、（Ｂ，Ｙ）平面上において、ＨＦｂ（Ｙ）とＬＦｂ（Ｙ）の間に存在する点の画素が、被写体に対応する画素とされる。
【００４９】
なお、以上のようにして、モデルを作成する方法の詳細は、本出願人が特願平８−１１６５５号として先に開示している。
【００５０】
次に、ステップ２５では、ステップ２４で生成された被写体モデルを用いて、画像メモリ１０の中から被写体の一部と予想される画素を抽出する。すなわち、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙｉｊと、色差信号ＲｉｊおよびＢｉｊが、それぞれ次の２つの式の両方を満足するものを被写体の構成画素として抽出する。
ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ）
ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ）
【００５１】
これにより、図１３（Ａ）に示した２つの２次関数（但し、修正された関数）ＬＦｒ（Ｙｉｊ）とＨＦｒ（Ｙｉｊ）との間にプロットされ、かつ、図１３（Ｂ）に示した２つの２次関数（但し、修正された関数）ＬＦｂ（Ｙｉｊ）とＨＦｂ（Ｙｉｊ）との間にプロットされる画素が、被写体を構成する画素として検出される。
【００５２】
ステップ２５において、画像メモリ１０に記憶された画像から被写体構成画素の検出が行われた後、ステップ２６において、その被写体構成画素の数により、被写体が存在するかどうかを判定する。すなわち、ステップ２５で検出された被写体構成画素の数が所定の閾値δより大きい場合、画像メモリ１０に記憶された画像の中に、被写体が存在すると判定し、被写体構成画素の数が所定の閾値δ以下である場合、画像メモリ１０に記憶された画像の中に、被写体は存在しないと判定する。
【００５３】
ステップ２６で画像メモリ１０の中に被写体が存在すると判定された場合、ステップ２７において、ステップ２６で検出された被写体構成画素集団を囲むように表示枠（認識された被写体であることを示す枠）を表示させる。このため、追尾信号処理回路１１は、表示ＩＣ１３を制御し、表示枠を表示させる位置に枠パルスを発生させる。モニタ１２は、枠パルスを映像信号に重畳する。
【００５４】
その後、ステップ２８において、ステップ２６で検出された被写体構成画素の集合の重心（例えば、水平方向をｘ軸、垂直方向をｙ軸とするｘｙ平面上の重心）が求められ、これが被写体の位置とされる。
【００５５】
さらに、ステップ２９において、ステップ２８で算出された被写体の位置が、レンズブロック１から出力される画像の中央の位置に一致するように、パンモータ１４、およびチルトモータ１５を回転駆動し、これによりレンズブロック１がパンニングおよびチルティングされ、モニタ１２上の被写体が表示画面中央に引き込まれる。
【００５６】
次に、ステップ３０に進み、処理の終了が指令されたか否かが判定され、指令されていなければ、ステップ２４に戻り、それ以降の処理が繰り返し実行される。処理の終了が指令されていれば、処理が終了される。
【００５７】
また、ステップ２６において、被写体が存在しないと判定された場合、ステップ３１に進み、枠を消去する処理が実行される。すなわち、追尾信号処理回路１１は、表示ＩＣ１３を制御し、枠パルスの発生を中止させる。枠を消去する場合は、枠パルスを０Ｖにすればよい。
【００５８】
上記実施例においては、被写体認識回路９を、ビデオカメラ内に内蔵させるようにしたが、ビデオカメラの外部の装置として設けるようにすることも可能である。
【００５９】
このように、このビデオカメラを用いて、例えば所定の室内を監視し、室内への進入者を自動追尾したり、テレビ会議システムにおいて、発言者を自動追尾するシステムを実現することができる。
【００６０】
なお、本発明は、ビデオカメラ以外にも適用することができる。
【００６１】
【発明の効果】
以上の如く、請求項１に記載の被写体認識装置および請求項４に記載の被写体認識方法によれば、被写体の認識の容易さを表す認識指数を演算し、これを出力するようにしたので、操作に不慣れなものであったとしても、被写体を確実に認識させることが可能となる。
【図面の簡単な説明】
【図１】本発明の被写体認識装置を適用したビデオカメラの構成例を示すブロック図である。
【図２】図１の実施例における被写体設定処理時における処理を説明するフローチャートである。
【図３】被写体設定枠を説明する図である。
【図４】認識指数の正規化を説明する図である。
【図５】認識指数の表示例を示す図である。
【図６】被写体を設定する画像を得る場合の操作を説明する図である。
【図７】メモリの記憶内容を示す図である。
【図８】認識指数の他の表示例を示す図である。
【図９】認識指数のさらに他の表示例を示す図である。
【図１０】図１の実施例における追尾処理を説明するフローチャートである。
【図１１】図１０のステップ２１における処理を説明する図である。
【図１２】図１０のステップ２２において取得する被写体データを説明する図である。
【図１３】図１０のステップ２４において生成される被写体モデルを説明する図である。
【符号の説明】
１  レンズブロック，  ２  レンズ，  ３  アイリス，  ４  ＣＣＤ，  ５  サンプルホールドおよび自動利得調整回路，  ６  Ａ／Ｄ変換器，  ７  ディジタルカメラ処理回路，  ８  Ｄ／Ａ変換器，  ９  被写体認識回路，  １０  画像メモリ，  １１  追尾信号処理回路，  １２  モニタ，  １３  表示ＩＣ，  １４  パンモータ，  １５  チルトモータ，  １６  被写体設定ボタン，  １７入力部
【図１】
0003726972.tif 000002
【図２】
0003726972.tif 000003
【図３】
0003726972.tif 000004
【図４】
0003726972.tif 000005
【図５】
0003726972.tif 000006
【図６】
0003726972.tif 000007
【図７】
0003726972.tif 000008
【図８】
0003726972.tif 000009
【図９】
0003726972.tif 000010
【図１０】
0003726972.tif 000011
【図１１】
0003726972.tif 000012
【図１２】
0003726972.tif 000013
【図１３】
0003726972.tif 000014