(57)【特許請求の範囲】
【請求項１】
被写体と背景を含む画像の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、前記被写体の画像の特徴量のモデルである被写体モデルを生成するモデル生成手段と、
前記記憶手段に記憶された前記画像データの画像中の、前記枠の外の領域において、前記モデル生成手段により生成された前記被写体モデルに含まれる画素の数を計数する計数手段と、
前記計数手段により計数された値が、基準値より大きいとき、前記被写体モデルの範囲を狭くするよう、前記被写体モデルを変形する変形手段と、
前記変形手段により変形された前記被写体モデルに基づいて、前記被写体を認識する認識手段と
を備えることを特徴とする被写体認識装置。
【請求項２】
前記被写体と前記背景を含む画像中の、前記枠の内の領域の画像を前記被写体の画像として設定する被写体設定手段をさらに備え、
前記モデル生成手段は、前記被写体設定手段により前記被写体として設定された前記画像より、前記被写体モデルを生成する
ことを特徴とする請求項１に記載の被写体認識装置。
【請求項３】
前記被写体を撮像する撮像手段を、前記認識手段の認識結果に対応してパンニングまたはチルティング駆動する駆動手段をさらに備える
ことを特徴とする請求項１に記載の被写体認識装置。
【請求項４】
前記被写体を撮像する撮像手段と、
前記撮像手段を、前記認識手段の認識結果に対応してパンニングまたはチルティング駆動する駆動手段と
をさらに備えることを特徴とする請求項１に記載の被写体認識装置。
【請求項５】
前記被写体を撮像する撮像手段を、パンニングまたはチルティング駆動する駆動手段と、
前記認識手段の認識結果に対応して、前記被写体の位置が、前記撮像手段により撮像された画像の中央の位置に一致するように、前記駆動手段を制御する駆動制御手段と
をさらに備えることを特徴とする請求項１に記載の被写体認識装置。
【請求項６】
前記被写体を撮像する撮像手段と、
前記撮像手段を、パンニングまたはチルティング駆動する駆動手段と、
前記認識手段の認識結果に対応して、前記被写体の位置が、前記撮像手段により撮像された画像の中央の位置に一致するように、前記駆動手段を制御する駆動制御手段と
をさらに備えることを特徴とする請求項１に記載の被写体認識装置。
【請求項７】
前記枠に対応し、前記被写体と背景を含む画像中の前記被写体と前記背景とを互いに分離する枠画像を表示させるよう、表示部への表示を制御する表示制御手段をさらに備える
ことを特徴とする請求項１に記載の被写体認識装置。
【請求項８】
被写体と背景を含む画像の画像データを記憶し、
記憶された前記画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、前記被写体の画像の特徴量のモデルである被写体モデルを生成し、
記憶された前記画像データの画像中の、前記枠の外の領域において、生成された前記被写体モデルに含まれる画素の数を計数し、
計数された値が、基準値より大きいとき、前記被写体モデルの範囲を狭くするよう、前記被写体モデルを変形し、
変形された前記被写体モデルに基づいて、前記被写体を認識する
ことを特徴とする被写体認識方法。
【請求項９】
被写体と背景を含む画像の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、前記被写体の画像の特徴量のモデルである被写体モデルを生成するモデル生成手段と、
前記記憶手段に記憶された前記画像データの画像中の、前記枠の外の領域において、前記モデル生成手段により生成された前記被写体モデルに含まれる画素の数を計数する計数手段と、
前記計数手段により計数された値が、基準値より小さいとき、前記被写体モデルの範囲を広くするよう、前記被写体モデルを変形する変形手段と、
前記変形手段により変形された前記被写体モデルに基づいて、前記被写体を認識する認識手段と
を備えることを特徴とする被写体認識装置。
【請求項１０】
前記被写体と前記背景を含む画像中の、前記枠の内の領域の画像を前記被写体の画像として設定する被写体設定手段をさらに備え、
前記モデル生成手段は、前記被写体設定手段により前記被写体として設定された前記画像より、前記被写体モデルを生成する
ことを特徴とする請求項９に記載の被写体認識装置。
【請求項１１】
前記被写体を撮像する撮像手段を、前記認識手段の認識結果に対応してパンニングまたはチルティング駆動する駆動手段をさらに備える
ことを特徴とする請求項９に記載の被写体認識装置。
【請求項１２】
前記被写体を撮像する撮像手段と、
前記撮像手段を、前記認識手段の認識結果に対応してパンニングまたはチルティング駆動する駆動手段と
をさらに備えることを特徴とする請求項９に記載の被写体認識装置。
【請求項１３】
前記被写体を撮像する撮像手段を、パンニングまたはチルティング駆動する駆動手段と、
前記認識手段の認識結果に対応して、前記被写体の位置が、前記撮像手段により撮像された画像の中央の位置に一致するように、前記駆動手段を制御する駆動制御手段と
をさらに備えることを特徴とする請求項９に記載の被写体認識装置。
【請求項１４】
前記被写体を撮像する撮像手段と、
前記撮像手段を、パンニングまたはチルティング駆動する駆動手段と、
前記認識手段の認識結果に対応して、前記被写体の位置が、前記撮像手段により撮像された画像の中央の位置に一致するように、前記駆動手段を制御する駆動制御手段と
をさらに備えることを特徴とする請求項９に記載の被写体認識装置。
【請求項１５】
前記枠に対応し、前記被写体と背景を含む画像中の前記被写体と前記背景とを互いに分離する枠画像を表示させるよう、表示部への表示を制御する表示制御手段をさらに備える
ことを特徴とする請求項９に記載の被写体認識装置。
【請求項１６】
被写体と背景を含む画像の画像データを記憶し、
記憶された前記画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、前記被写体の画像の特徴量のモデルである被写体モデルを生成し、
記憶された前記画像データの画像中の、前記枠の外の領域において、生成された前記被写体モデルに含まれる画素の数を計数し、
計数された値が、基準値より小さいとき、前記被写体モデルの範囲を広くするよう、前記被写体モデルを変形し、
変形された前記被写体モデルに基づいて、前記被写体を認識する
ことを特徴とする被写体認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体認識装置および方法に関し、特に、適応的に被写体のモデルを変形することにより、より確実に被写体を認識することができるようにした被写体認識装置および方法に関する。
【０００２】
【従来の技術】
所定の被写体をビデオカメラにより自動的に追尾させようとする場合、追尾すべき被写体を予め登録する処理が必要となる。従来、このような登録をするのに、被写体の画像を背景画像とともに撮像し、撮像した結果得られる画像中において、被写体を枠で囲むなどして指定し、その枠の中の画像データの特徴量を求め、その特徴量を有する画像を被写体の画像として認識するようにしている。
【０００３】
【発明が解決しようとする課題】
このように、従来の装置においては、背景（枠の外部のデータ）を考慮せずに、被写体（枠の内部のデータ）の特徴量を抽出するようにしている。このため、背景に被写体に似た画像が存在するような場合、被写体を正確に認識することができなくなる課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、被写体を確実に認識することができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の被写体認識装置は、被写体と背景を含む画像の画像データを記憶する記憶手段と、記憶手段に記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルを生成するモデル生成手段と、記憶手段に記憶された画像データの画像中の、枠の外の領域において、モデル生成手段により生成された被写体モデルに含まれる画素の数を計数する計数手段と、計数手段により計数された値が、基準値より大きいとき、被写体モデルの範囲を狭くするよう、被写体モデルを変形する変形手段と、変形手段により変形された被写体モデルに基づいて、被写体を認識する認識手段とを備えることを特徴とする。
【０００６】
請求項８に記載の被写体認識方法は、被写体と背景を含む画像の画像データを記憶し、記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルを生成し、記憶された画像データの画像中の、枠の外の領域において、生成された被写体モデルに含まれる画素の数を計数し、計数された値が、基準値より大きいとき、被写体モデルの範囲を狭くするよう、被写体モデルを変形し、変形された被写体モデルに基づいて、被写体を認識することを特徴とする。
請求項９に記載の被写体認識装置は、被写体と背景を含む画像の画像データを記憶する記憶手段と、記憶手段に記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルを生成するモデル生成手段と、記憶手段に記憶された画像データの画像中の、枠の外の領域において、モデル生成手段により生成された被写体モデルに含まれる画素の数を計数する計数手段と、計数手段により計数された値が、基準値より小さいとき、被写体モデルの範囲を広くするよう、被写体モデルを変形する変形手段と、変形手段により変形された被写体モデルに基づいて、被写体を認識する認識手段とを備えることを特徴とする。
請求項１６に記載の被写体認識方法は、被写体と背景を含む画像の画像データを記憶し、記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルを生成し、記憶された画像データの画像中の、枠の外の領域において、生成された被写体モデルに含まれる画素の数を計数し、計数された値が、基準値より小さいとき、被写体モデルの範囲を広くするよう、被写体モデルを変形し、変形された被写体モデルに基づいて、被写体を認識することを特徴とする。
【０００７】
請求項１に記載の被写体認識装置および請求項８に記載の被写体認識方法においては、被写体と背景を含む画像の画像データが記憶され、その記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルが生成され、記憶された画像データの画像中の、枠の外の領域において、生成された被写体モデルに含まれる画素の数が計数され、計数された値が、基準値より小さいとき、被写体モデルの範囲を広くするよう、被写体モデルが変形され、変形された被写体モデルに基づいて、被写体が認識される。
請求項９に記載の被写体認識装置および請求項１６に記載の被写体認識方法においては、被写体と背景を含む画像の画像データが記憶され、その記憶された画像データの画像中の、所定の枠の内の領域の画像の特徴量に基づいて、被写体の画像の特徴量のモデルである被写体モデルが生成され、記憶された画像データの画像中の、枠の外の領域において、生成された被写体モデルに含まれる画素の数が計数され、計数された値が、基準値より小さいとき、被写体モデルの範囲を広くするよう、被写体モデルが変形され、変形された被写体モデルに基づいて、被写体が認識される。
【０００８】
【発明の実施の形態】
図１は、本発明の被写体認識装置を適用したビデオカメラの一実施例の構成を示している。レンズブロック１（撮像手段）は、レンズ２、アイリス３、およびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）４から構成され、被写体からの光Ｌを撮像し、電気信号としての画像信号を出力する。すなわち、被写体からの光Ｌは、レンズ２により、アイリス３を介してＣＣＤ４上に結像される。これによりＣＣＤ４からは、その受光量に対応した画像信号が出力される。なお、アイリス３は、いわゆるオートアイリス（ＡＥ）機構を構成しており、ＣＣＤ４で受光される光量を適正な値に調整するようになされている。
【０００９】
レンズブロック１から出力された画像信号は、サンプルホールド（Ｓ／Ｈ）および自動利得調整（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ（ＡＧＣ））回路５においてサンプルホールドされ、さらにオートアイリス機構からの制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力される。
【００１０】
なお、本実施例では、オートアイリス機構で露光量を制御するようにしたが、これを機能させず、固定の露出で撮像を行うようにすることも可能である。
【００１１】
Ａ／Ｄ変換器６は、サンプルホールドおよび自動利得調整回路５からの画像信号（アナログ信号）を所定のクロックに従ってＡ／Ｄ変換する。Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、ディジタルカメラ処理回路７に供給される。ディジタルカメラ処理回路７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙ、ならびに色差信号Ｒ−Ｙ，Ｂ−Ｙ、およびクロマ信号Ｃを生成する。例えばＮＴＳＣ方式の輝度信号Ｙおよびクロマ信号Ｃは、Ｄ／Ａ変換器８に出力され、そこでＤ／Ａ変換された後、モニタ１２に供給される。これにより、モニタ１２には、レンズブロック１で撮像された画像が表示される。このモニタ１２にはまた、枠表示ＩＣ１３より出力された枠も重畳表示されるようになされている。
【００１２】
また、ディジタルカメラ処理回路７で生成された輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙは、被写体認識回路９に供給される。被写体認識回路９は、ディジタルカメラ処理回路７からの輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙで構成される画像の中から、追尾すべき被写体を検出する。
【００１３】
このため、被写体認識回路９は、フレームメモリで構成される画像メモリ１０（記憶手段）と、マイクロプロセッサで構成される追尾信号処理回路１１とを有する。画像メモリ１０は追尾信号処理回路１１から書き込み許可信号Ｓ１を受信すると、ディジタルカメラ処理回路７が出力する輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙを、それぞれ独立に画素単位で記憶する。
【００１４】
ここで、以下適宜、色差信号Ｒ−Ｙ，Ｂ−ＹをそれぞれＲ，Ｂと略記する。また、レンズブロック１が出力する画像の最も左上の画素の位置を原点（０，０）とし、その位置の左からｉ番目で、かつ、上からｊ番目の画素の輝度信号Ｙ、色差信号Ｒ，Ｂを、以下適宜、それぞれＹｉｊ、Ｒｉｊ、Ｂｉｊと表す。さらに以下適宜、輝度信号Ｙ、色差信号Ｒ，Ｂをまとめて、画像データともいう。
【００１５】
画像メモリ１０は、１フレーム（または１フィールド）分の画像データを記憶すると、読みだし許可信号Ｓ２を、追尾信号処理回路１１に出力する。その後、画像メモリ１０は、追尾信号処理回路１１が出力するメモリアドレス（上述のｉ，ｊに対応する）Ｓ３を受信すると、そのアドレスに記憶された画像データＳ４を追尾信号処理回路１１に出力する。
【００１６】
追尾信号処理回路１１は、画像メモリ１０から読みだし許可信号Ｓ２を受信すると、被写体の追尾に必要な画像データＳ４を、上述したように、画像メモリ１０にアドレス（メモリアドレス）Ｓ３を与えることで読みだし、これにより、レンズブロック１より出力された画像から、追尾すべき被写体を検出する。その後、追尾信号処理回路１１は書き込み許可信号Ｓ１を画像メモリ１０に供給し、これにより、画像メモリ１０ではレンズブロック１で撮像された画像が新たに記憶される（すでに記憶されている画像に上書きされる）。このとき、画像メモリ１０は上述したように読みだし許可信号Ｓ２を再び出力する。以下同様にして、画像メモリ１０ではレンズブロック１で撮像された画像が順次記憶されていく。
【００１７】
また、追尾信号処理回路１１は被写体を検出すると、その被写体がレンズブロック１から出力される画像の中央に表示されるように、パンモータ１４およびチルトモータ１５（駆動手段）を駆動する。各種のキー、スイッチ、ボタンなどよりなる入力部１７は、被写体設定ボタン１６を有する。このボタン１６は、被写体設定処理が完了したとき操作される。
【００１８】
次に図２のフローチャートを参照して、追尾信号処理回路１１内で行われる一連の処理について説明する。まず最初に、ステップ１において、追尾すべき被写体の設定処理が完了したか否か（被写体設定ボタン１６が操作されたか否か）が判定される。被写体設定処理がまだ完了していないとき、使用者は、入力部１７を操作して、追尾信号処理回路１１に被写体設定処理を指令する。このとき、追尾信号処理回路１１は、枠表示ＩＣ１３を制御し、被写体設定枠（指定手段）を発生させ、モニタ１２に出力し、表示させる。これにより、モニタ１２には、例えば図３に示すように、被写体設定枠Ｄが表示される。
【００１９】
一方、レンズ２とアイリス３を介してＣＣＤ４に入射された被写体からの光が、ＣＣＤ４において光電変換され、サンプルホールドおよび自動利得制御回路５によりサンプリングされ、かつ、適当なゲインを持つように入力制御された後、Ａ／Ｄ変換器６に入力される。Ａ／Ｄ変換器６において、Ａ／Ｄ変換された信号は、ディジタルカメラ処理回路７に入力され、輝度信号Ｙとクロマ信号Ｃが生成される。この輝度信号Ｙとクロマ信号Ｃは、Ｄ／Ａ変換器８によりＤ／Ａ変換された後、モニタ１２に出力され、表示される。従って、図３に示すように、モニタ１２には、被写体の画像が背景画像とともに、表示される。そして、そこには、上述したように、被写体設定枠Ｄも重畳表示される。
【００２０】
図３に示される被写体設定枠Ｄは、レンズブロック１が撮像する画像の所定の位置（この実施例の場合、画面の中央）に配置されており、ユーザは追尾すべき被写体を設定するために、その被写体設定枠Ｄ内にその被写体が表示されるように、レンズブロック１をパンニングまたはチルティングする。すなわち、ユーザは入力部１７を操作して、追尾信号処理回路１１にレンズブロック１を所定の方向にパンニングまたはチルティングさせるように指令する。追尾信号処理回路１１は、この指令に対応して、パンモータ１４とチルトモータ１５に制御信号を出力する。その結果、パンモータ１４とチルトモータ１５は、レンズブロック１を所望のパン位置とチルト位置に駆動する。
【００２１】
このようにして、追尾すべき被写体を被写体設定枠Ｄ内に配置するようにした後、ユーザは、被写体設定処理が完了したことを入力するために、被写体設定ボタン１６を操作する。
【００２２】
ステップ１において被写体設定ボタン１６が操作されたと判定された場合、ステップ２において被写体設定枠Ｄの内部の画像データが、画像メモリ１０から読み出される。例えば、図３の実施例の場合、所定の人物の顔の画像データが、被写体のデータとして画像メモリ１０から読みだされる。
【００２３】
この被写体設定枠Ｄの内部の画像データは、その特徴量を表すために、輝度信号Ｙｉｊ、および色差信号Ｒｉｊ，Ｂｉｊの組（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）で規定される点の集合とされる。そして、この点は、図４に示すように、（Ｒ−Ｙ，Ｙ）（Ｒ，Ｙ）平面（図４（Ａ））と、（Ｂ−Ｙ，Ｙ）（Ｂ，Ｙ）平面（図４（Ｂ））上にプロットされる。換言すれば、これらの平面上の位置（座標）が、被写体の特徴量を表すものとされる。
【００２４】
ただし、点（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の集合にはノイズが含まれ、この集合は、被写体を表す代表的な点の集合に過ぎない。そこで、ステップ３では、点（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の集合に幅を持たせるために、（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢｉｊ）を被写体情報として生成する。ここで、ＨＲｉｊ，ＬＲｉｊ，ＨＢｉｊ，ＬＢｉｊは、それぞれ次式に従って計算される。
ＨＲｉｊ＝Ｒｉｊ×（１＋α）
ＬＲｉｊ＝Ｒｉｊ×（１−α）
ＨＢｉｊ＝Ｂｉｊ×（１＋α）
ＬＢｉｊ＝Ｂｉｊ×（１−α）
【００２５】
なお、上式においては、αは正の定数であり、所定の画素を被写体の画素として認識するための許容誤差を表している。
【００２６】
以上のように、図４に示すデータ（ステップ２で取得したデータ）に対して、上記演算を施すことにより、図５に示すように、許容誤差αを考慮したデータが得られる。図５（Ａ）は、点（Ｙｉｊ，ＨＲｉｊ）、（Ｙｉｊ，ＬＲｉｊ）をプロットしたものを、また、図５（Ｂ）は、点（Ｙｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＢｉｊ）をプロットしたものを、それぞれ示す。なお、本実施例では、ＲおよびＢを表す値として、−１２８〜１２７の範囲を割り当てている。
【００２７】
次にステップ４（モデル生成手段）で、図５（Ａ）、図５（Ｂ）に示す許容誤差αを考慮した点集合に対し、Ｙを引き数として、ＲまたはＢに関する例えば２次関数で近似した被写体モデルを作る。本実施例では、異なる被写体について近似した場合でも、ある程度、似通った形の被写体モデル（本実施例では２次関数）が得られるように、２次関数のＹ切片（被写体モデルである２次関数がＹ軸と交わる点）が決められている。
【００２８】
具体的に述べると、それぞれのＹ切片は、Ｙ−Ｒ座標系については、図５（Ａ）に示すように、ＲｌｏｗおよびＲｈｉｇｈ（ただし、Ｒｌｏｗ＜Ｒｈｉｇｈとする）が予め設定され、Ｙ−Ｂ座標系については、図５（Ｂ）に示すように、ＢｌｏｗおよびＢｈｉｇｈ（ただし、Ｂｌｏｗ＜Ｂｈｉｇｈとする）が予め設定される。
【００２９】
このように、Ｙ切片を固定した状態で、図５（Ａ）の（Ｙｉｊ，ＨＲｉｊ）および（Ｙｉｊ，ＬＲｉｊ）と、図５（Ｂ）の（Ｙｉｊ，ＨＢｉｊ）および（Ｙｉｊ，ＬＢｉｊ）、それぞれについて、２次関数で近似（例えば最小自乗近似）を行い、次式で示される被写体モデルとしての２次関数ＨＦｒ（Ｙ）（Ｙに関するＲの上限特徴モデル）、ＬＦｒ（Ｙ）（Ｙに関するＲの下限特徴モデル）、ＨＦｂ（Ｙ）（Ｙに関するＢの上限特徴モデル）、ＬＦｂ（Ｙ）（Ｙに関するＢの下限特徴モデル）が生成される。
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ）
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ）
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ）
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ）
【００３０】
ここで、Ａ０は（Ｙｉｊ，ＨＲｉｊ）の、Ａ１は（Ｙｉｊ，ＬＲｉｊ）の、Ａ２は（Ｙｉｊ，ＨＢｉｊ）の、Ａ３は（Ｙｉｊ，ＬＢｉｊ）の、それぞれデータに対する近似により求められた定数である。
【００３１】
このようにして定められた、（Ｒ，Ｙ）平面上において、ＨＦｒ（Ｙ）とＬＦｒ（Ｙ）の間に存在し、かつ、（Ｂ，Ｙ）平面上において、ＨＦｂ（Ｙ）とＬＦｂ（Ｙ）の間に存在する点の画素が、被写体に対応する画素とされる。
【００３２】
なお、以上のようにして、モデルを作成する方法の詳細は、本出願人が特願平８−１１６５５号として先に開示している。
【００３３】
ステップ５（変形手段）では、ステップ４で作られた被写体モデル（図６（Ａ），（Ｂ））を、背景に応じて修正する。つまり、被写体初期設定時の画面において、被写体設定枠の外側の領域（背景）に、被写体モデルを満たす領域が存在する場合、被写体モデルを細く絞り（図７（Ａ），（Ｂ））、存在しない場合、被写体モデルを広げるように（図８（Ａ），（Ｂ））修正する。
【００３４】
すなわち、ステップ５の背景によるモデル変更の処理の詳細を示すと、図９のフローチャートに示すようになる。ステップ２１においては、図３における被写体設定枠Ｄの外側の領域の全ての画素のデータを画像メモリ１０から読みだす。そして、ステップ２２（計数手段）において、ステップ４で生成された被写体のモデル（図６）に含まれる画素の数Ｎを計数する。すなわち、各画素（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）のうち、次の式を満足する画素の数を計数する。
ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ）
ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ）
【００３５】
次に、ステップ２３において、ステップ２２で計数した画素の数Ｎが、予め設定してある所定の基準値β（β＞０）より大きいか否かを判定する。計数された数Ｎが基準値βより大きいと判定された場合、ステップ２４に進み、ステップ４で生成された被写体のモデルの許容誤差αを、α１（α１＜α）に設定する。これにより、図７に示すように、被写体モデルが狭くなることになる。
【００３６】
これに対して、ステップ２３において、計数した数Ｎが基準値β以下であると判定された場合、ステップ２５に進み、計数した数Ｎが基準値γ（γ＞０）より小さいか否かを判定する。数Ｎが基準値γより小さい場合においては、ステップ２６に進み、許容誤差αを、α２（α２＞α）に設定する。これにより、図８に示すように、ステップ４で生成された被写体モデル（図６）の幅が広げられる。
【００３７】
このようにして、背景に被写体に近似した画像が存在する場合においては、被写体のモデルの幅が狭くなるように修正するようにし、被写体でない部分が被写体として誤って認識されることを抑制する。
【００３８】
逆に、背景に被写体に似た画像が存在しない場合においては、被写体モデルの幅を広げることにより、より確実に被写体を認識することができるようにする。
【００３９】
次に、図２に戻って、ステップ６（認識手段）では、ステップ５で生成された被写体モデル（修正された被写体モデル）を用いて、画像メモリ１０の中から被写体の一部と予想される画素を抽出する。すなわち、レンズブロック１で撮像され、画像メモリ１０に記憶された画像を構成する各画素のうち、その輝度Ｙｉｊと、色差信号ＲｉｊおよびＢｉｊが、それぞれ次の２つの式の両方を満足するものを被写体の構成画素として抽出する。
ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ）
ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ）
【００４０】
すなわち、図５（Ａ）に示した２つの２次関数（但し、修正された関数）ＬＦｒ（Ｙｉｊ）とＨＦｒ（Ｙｉｊ）との間にプロットされ、かつ、図５（Ｂ）に示した２つの２次関数（但し、修正された関数）ＬＦｂ（Ｙｉｊ）とＨＦｂ（Ｙｉｊ）との間にプロットされる画素が、被写体を構成する画素として検出される。
【００４１】
ステップ６において、画像メモリ１０に記憶された画像から被写体構成画素の検出が行われた後、ステップ７において、その被写体構成画素の数により、被写体が存在するかどうかを判定する。すなわち、ステップ６で検出された被写体構成画素の数が所定の閾値δより大きい場合、画像メモリ１０に記憶された画像の中に、被写体が存在すると判定し、被写体構成画素の数が所定の閾値δ以下である場合、画像メモリ１０に記憶された画像の中に、被写体は存在しないと判定する。
【００４２】
ステップ７で画像メモリ１０の中に被写体が存在すると判定された場合、ステップ８において、ステップ７で検出された被写体構成画素のうち、その被写体構成画素で構成される領域の周辺にある、いわばノイズ的な領域を除去するために、被写体構成画素で構成される領域に対してフィルタリング処理を行う。例えば、図１０（Ａ）に影を付して示すように、被写体構成画素が検出されている場合には、このフィルタリング処理により、図１０（Ａ）に影を付して示す被写体構成領域は、図１０（Ｂ）に示すように変形される。
【００４３】
その後、ステップ９において、図１０（Ｂ）に示すように、ステップ７で検出された被写体構成画素集団を囲むように表示枠（認識された被写体であることを示す枠）を表示させる。このため、追尾信号処理回路１１は、枠表示ＩＣ１３を制御し、表示枠を表示させる位置に枠パルスを発生させる。モニタ１２は、枠パルスを映像信号に重畳する。例えば図１１に示すように表示枠を表示する場合、図１１の矢印で示す位置のラインの枠パルスは、図１２に示すようになり、この枠パルスをそのラインの映像信号に重畳すると、図１３に示すような映像信号が得られる。この映像信号をモニタ１２で表示することにより、図１１に示すような画像が表示される。
【００４４】
その後、ステップ１０において、ステップ８でフィルタリングされた被写体構成画素の集合の重心（例えば、水平方向をｘ軸、垂直方向をｙ軸とするｘｙ平面上の重心）が求められ（図１０（Ｂ）において×印で示す位置（座標）が求められ）、これが被写体の位置とされる。
【００４５】
さらに、ステップ１１において、ステップ１０で算出された被写体の位置が、レンズブロック１から出力される画像の中央の位置に一致するように、パンモータ１４、およびチルトモータ１５を回転駆動し、これによりレンズブロック１がパンニングおよびチルティングされ、モニタ１２上の被写体が表示画面中央に引き込まれる。
【００４６】
次に、ステップ１２に進み、処理の終了が指令されたか否かが判定され、指令されていなければ、ステップ６に戻り、それ以降の処理が繰り返し実行される。処理の終了が指令されていれば、処理が終了される。
【００４７】
また、ステップ７において、被写体が存在しないと判定された場合、ステップ１３に進み、枠を消去する処理が実行される。すなわち、追尾信号処理回路１１は、枠表示ＩＣ１３を制御し、枠パルスの発生を中止させる。枠を消去する場合は、枠パルスを０Ｖにすればよい。なお、この他、枠を消去する代わりに、枠の大きさを変化させたり、枠の大きさを最大にしたりして、被写体が認識されている場合と異なるように表示させてもよい。
【００４８】
上記実施例においては、被写体認識回路９を、ビデオカメラ内に内蔵させるようにしたが、ビデオカメラの外部の装置として設けるようにすることも可能である。
【００４９】
このように、このビデオカメラを用いて、例えば所定の室内を監視し、室内への進入者を自動追尾したり、テレビ会議システムにおいて、発言者を自動追尾するシステムを実現することができる。
【００５０】
なお、本発明は、ビデオカメラ以外にも適用することができる。
【００５１】
【発明の効果】
以上の如く、請求項１に記載の被写体認識装置および請求項８に記載の被写体認識方法によれば、背景に対して適応的に被写体モデルが生成され、背景に拘らず、被写体を確実に認識することが可能となる。また、被写体でない部分が被写体として誤って認識されることを抑制することができる。
さらに、請求項９に記載の被写体認識装置および請求項１６に記載の被写体認識方法によれば、背景に対して適応的に被写体モデルが生成され、背景に拘らず、被写体を確実に認識することが可能となる。また、より確実に被写体を認識することができる。
【図面の簡単な説明】
【図１】本発明の被写体認識装置を適用したビデオカメラの構成例を示すブロック図である。
【図２】図１の実施例の追尾信号処理回路１１の動作を説明するフローチャートである。
【図３】被写体の設定を説明する図である。
【図４】被写体設定時における被写体画像を説明する図である。
【図５】被写体モデルを説明する図である。
【図６】被写体モデルを説明する図である。
【図７】狭くした被写体モデルを説明する図である。
【図８】広くした被写体モデルを説明する図である。
【図９】図２のステップ５の背景によるモデル変更処理の詳細を示すフローチャートである。
【図１０】図２のステップ８のフィルタリング処理を説明する図である。
【図１１】枠の表示を説明する図である。
【図１２】枠パルスの例を示す図である。
【図１３】映像信号に枠パルスを重畳した信号を示す図である。
【符号の説明】
１  レンズブロック，  ２  レンズ，  ３  アイリス，  ４  ＣＣＤ，  ５  サンプルホールドおよび自動利得調整回路，  ６  Ａ／Ｄ変換器，  ７  ディジタルカメラ処理回路，  ８  Ｄ／Ａ変換器，  ９  被写体認識回路，  １０  画像メモリ，  １１  追尾信号処理回路，  １２  モニタ，  １３  枠表示ＩＣ，１４  パンモータ，  １５  チルトモータ，  １６  被写体設定ボタン，  １７  入力部
【図１】
0003726973.tif 000002
【図２】
0003726973.tif 000003
【図３】
0003726973.tif 000004
【図４】
0003726973.tif 000005
【図５】
0003726973.tif 000006
【図６】
0003726973.tif 000007
【図７】
0003726973.tif 000008
【図８】
0003726973.tif 000009
【図９】
0003726973.tif 000010
【図１０】
0003726973.tif 000011
【図１１】
0003726973.tif 000012
【図１２】
0003726973.tif 000013
【図１３】
0003726973.tif 000014