(57)【特許請求の範囲】
【請求項１】
画像を撮影する撮影手段と、
前記撮影手段により撮影された画像に設けられた複数の評価枠のそれぞれにおける動きベクトルを求める動きベクトル評価手段と、
前記画像から被写体を示す特徴部分を検出することで、前記画像における被写体が位置する部分領域を検出する特徴検出手段と、
前記動きベクトル評価手段にて求められた前記動きベクトルと、前記特徴検出手段にて検出された前記部分領域を用いて、前記特徴検出手段にて前記部分領域が検出されたフレームの画像とは異なるフレームの画像における前記部分領域を割り出す制御手段とを有し、
前記動きベクトル評価手段は、前記撮影手段により連続的に撮影された複数の画像のうちの第２フレームの画像の複数の評価枠のそれぞれにおいて求めた動きベクトルを用いて、前記第２フレームの画像の１フレーム前の第１フレームの画像における前記複数の評価枠内の画像の位置を求め、
前記制御手段は、前記第１フレームの画像における前記複数の評価枠内の画像のうち、前記第１フレームの画像から前記特徴検出手段にて検出された前記部分領域と重なる領域を求め、当該重なる領域に対応する前記第２フレームの画像における領域の重心を、前記第２フレームの画像における前記部分領域の中心とすることを特徴とする撮像装置。
【請求項２】
前記動きベクトル評価手段は、前記撮影手段により連続的に撮影された複数の画像のうちの第３フレームの画像の複数の第２の評価枠のそれぞれにおいて求めた動きベクトルを用いて、前記第３フレームの画像の１フレーム前の前記第２フレームの画像における前記複数の第２の評価枠内の画像の位置を求め、
前記制御手段は、前記第２フレームの画像における前記複数の第２の評価枠内の画像のうち、前記第２フレームの画像から割り出した前記部分領域と重なる領域を求め、当該重なる領域に対応する前記第３フレームの画像における領域の重心を、前記第３フレームの画像における前記部分領域の中心とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段にて割り出された前記部分領域を示す枠を、前記部分領域を割り出したフレームの画像に描画する描画手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮影手段で撮影された画像を複数の領域に分けて、それぞれの領域における露出の状態を評価する露出評価手段と、
前記露出評価手段で評価された露出の状態を記憶する記憶手段とをさらに有し、
前記制御手段は、割り出した前記部分領域の位置に対応する前記露出の状態を前記記憶手段から読み出して露出の制御を行うことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記撮影手段で撮影された画像を複数の領域に分けて、それぞれの領域におけるフォーカスの状態を評価するフォーカス評価手段と、
前記フォーカス評価手段で評価されたフォーカスの状態を記憶する記憶手段とをさらに有し、
前記制御手段は、割り出した前記部分領域の位置に対応する前記フォーカスの状態を前記記憶手段から読み出してフォーカスの制御を行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
画像を撮影する撮像装置における被写体の追尾方法であって、
連続的に撮影された複数の画像のうちの第１フレームの画像の１フレーム後の第２フレームの画像の複数の評価枠のそれぞれにおける動きベクトルを求める工程と、
第２フレームの画像の複数の評価枠のそれぞれにおいて求めた動きベクトルを用いて、前記第１フレームの画像における前記複数の評価枠内の画像の位置を求める工程と、
前記第１フレームの画像から被写体を示す特徴部分を検出することで、前記第１フレームの画像における被写体が位置する部分領域を検出する工程と、
前記第１フレームの画像における前記複数の評価枠内の画像のうち、前記第１フレームの画像から前記特徴検出手段にて検出された前記部分領域と重なる領域を求め、当該重なる領域に対応する前記第２フレームの画像における領域の重心を、前記第２フレームの画像における前記部分領域の中心とする工程と、を有することを特徴とする被写体の追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどの撮像装置に関し、より具体的には、被写体を検出する撮像装置及びその被写体の追尾方法に関する。
【背景技術】
【０００２】
近年、撮影している画像から、顔などの注目すべき被写体を検出して、その部分にあった露出やフォーカスなどのカメラ制御を行い、その部分に枠表示を行うスチルカメラや、監視用カメラなどが登場している。
【０００３】
特許文献１では、撮影画像から複数の顔を検出して、本体に登録されている人物と一致する顔があった場合、その顔を優先して顔部分に応じた露出やフォーカスの制御を行い、顔部分に枠表示を行うスチルカメラについて記述されている。
【０００４】
撮像素子の進化により撮影できる画像が高画素化する一方で、被写体の検出処理は画像の大きさに依存して処理負荷が高くなるため、リアルタイムに被写体を検出するためには、予め撮影された画像を縮小する必要がある。
【０００５】
画像を縮小するリサンプリング処理は、離散的に画素を削除して縮小を行うため、撮影装置は、縮小後の画像は一旦メモリに格納してから、連続した画素として読み出し、被写体の検出を行うよう構成される。
【特許文献１】特開２００４−３２０２８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、露出やフォーカスの検出はセンサからの画像信号に対して直接行うが、被写体の検出はメモリに格納された画像データに対して行うため、両者の処理には位相差がある。そのため、被写体が動いている場合、メモリに格納された画像データから検出した被写体の位置と、センサからの画像信号における被写体の位置が異なっている場合がある。
【０００７】
この場合、被写体とは異なる位置の露出やフォーカスの検出結果を用いて、露出やフォーカスの制御を行ってしまう問題があった。
【０００８】
また、被写体部分に表示する枠の描画は、被写体の検出結果が得られた後で行う必要があるが、描画と被写体検出が同位相で行われる場合がある。そのため、被写体が動いている場合、被写体とは異なる位置に枠を描画してしまう問題があった。
【０００９】
本発明の目的は、検出された被写体の位置を適切な位置に補正することができる撮像装置及びその被写体の追尾方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１記載の撮像装置は、画像を撮影する撮影手段と、前記撮影手段により撮影された画像に設けられた複数の評価枠のそれぞれにおける動きベクトルを求める動きベクトル評価手段と、前記画像から被写体を示す特徴部分を検出することで、前記画像における被写体が位置する部分領域を検出する特徴検出手段と、前記動きベクトル評価手段にて求められた前記動きベクトルと、前記特徴検出手段にて検出された前記部分領域を用いて、前記特徴検出手段にて前記部分領域が検出されたフレームの画像とは異なるフレームの画像における前記部分領域を割り出す制御手段とを有し、前記動きベクトル評価手段は、前記撮影手段により連続的に撮影された複数の画像のうちの第２フレームの画像の複数の評価枠のそれぞれにおいて求めた動きベクトルを用いて、前記第２フレームの画像の１フレーム前の第１フレームの画像における前記複数の評価枠内の画像の位置を求め、前記制御手段は、前記第１フレームの画像における前記複数の評価枠内の画像のうち、前記第１フレームの画像から前記特徴検出手段にて検出された前記部分領域と重なる領域を求め、当該重なる領域に対応する前記第２フレームの画像における領域の重心を、前記第２フレームの画像における前記部分領域の中心とすることを特徴とする。
上記目的を達成するために、請求項６記載の被写体の追尾方法は、画像を撮影する撮像装置における被写体の追尾方法であって、連続的に撮影された複数の画像のうちの第１フレームの画像の１フレーム後の第２フレームの画像の複数の評価枠のそれぞれにおける動きベクトルを求める工程と、第２フレームの画像の複数の評価枠のそれぞれにおいて求めた動きベクトルを用いて、前記第１フレームの画像における前記複数の評価枠内の画像の位置を求める工程と、前記第１フレームの画像から被写体を示す特徴部分を検出することで、前記第１フレームの画像における被写体が位置する部分領域を検出する工程と、前記第１フレームの画像における前記複数の評価枠内の画像のうち、前記第１フレームの画像から前記特徴検出手段にて検出された前記部分領域と重なる領域を求め、当該重なる領域に対応する前記第２フレームの画像における領域の重心を、前記第２フレームの画像における前記部分領域の中心とする工程と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、検出された被写体の位置を適切な位置に補正することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る撮影装置としてのビデオカメラのブロック構成図である。
【００１５】
図１において、ビデオカメラ１００は、以下の制御系ブロックを備える。以下、その構成を動作と併せて説明する。
【００１６】
制御手段としてのＣＰＵ１０１は、内部バス１０５により、第１の格納手段としてのＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムを元に、各ブロックの制御を行う。
【００１７】
ＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザーによる各種の操作レバーやボタンなどの入力を伝え、ＣＰＵ１０１は、ユーザーの指示に応じて、各種処理を行うことができる。
【００１８】
フォーカスレンズ１１０を通過した光は、撮影手段としてのＣＣＤイメージセンサ（図ではＣＣＤと略記）１１３の撮像面上に結像し、撮像面の光学像が電気信号に変換される。ドライバ１１２は、ＣＰＵ１０１の制御により、フォーカスレンズ１１０及び絞り１１１を駆動して、フォーカスと絞り量の調整を行う。
【００１９】
ＡＦＥ１１４は、ＣＰＵ１０１に指示されたシャッター速度に基づき、ＣＣＤイメージセンサ１１３を駆動して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００２０】
ＣＰＵ１０１の制御により、画像処理部１２０は、ＡＦＥ１１４から画像信号を入力し、色変換処理を行って、格納手段（第２の格納手段）としてのバッファメモリ（図ではバッファと略記）１２４などに出力する。
【００２１】
露出評価部１２１及びフォーカス評価部１２２は、画像処理部１２０から入力した画像信号を複数の領域に分けて、フォーカス及び露出の状態をそれぞれ評価する。
【００２２】
ここで、露出評価部１２１及びフォーカス評価部１２２は、撮影された画像の撮影状態を評価する撮影評価手段として機能する。
【００２３】
動き評価手段としての動きベクトル評価部１２３は、画像処理部１２０から入力した画像信号と、バッファメモリ１２４から入力した１フレーム前の画像信号とから、複数の領域毎に動きベクトルを求める。
【００２４】
リサイズ部１３０は、バッファメモリ１２４に格納された画像信号を読み出し、特徴検出手段としての特徴検出部１３２に入力可能な画像サイズにリサイズしてバッファメモリ１３１に書き込む。特徴検出部１３２は、バッファメモリ１３１よりリサイズされた画像信号を読み出し、特徴部分の位置と大きさを同時に検出する。
【００２５】
リサイズ部１２５は、バッファメモリ１２４に格納された画像信号を読み出し、出力するビデオ信号の解像度にリサイズしてバッファメモリ１２６に書き込む。
【００２６】
撮影された画像に図形を描画する描画手段としての描画処理部１２７は、ＣＰＵ１０１の制御により、バッファメモリ１２８に確保されたビデオ信号の解像度の描画領域に対して、上記特徴部分を示す枠の描画を行う。
【００２７】
合成部１２９は、バッファメモリ１２６の画像信号とバッファメモリ１２８の枠が描画された描画領域のデータを合成する。
【００２８】
また、ビデオカメラ１００は、出力部１４０を備え、合成部１２９が合成した画像信号を出力する。
【００２９】
ここで、ＣＰＵ１０１は、動き評価手段の評価結果に基づいて、特徴検出手段の検出結果を補正する補正手段として機能する。
【００３０】
また、動き評価手段は、撮影された画像を複数箇所に分けて動きを評価し、補正手段は、特徴検出手段が検出した特徴部分の位置に応じて、動き検出手段が動きを評価した複数箇所のうちの一部の評価結果を用いて、特徴検出手段の検出結果を補正する。
【００３１】
また、特徴検出手段は、格納された画像の特徴部分の位置と同時に特徴部分の大きさを検出し、補正手段は、動き評価手段が動きを評価した複数箇所のうち、特徴検出手段が検出した特徴部分と重なる部分の評価結果を用いて、特徴検出手段の検出結果を補正する。
【００３２】
次に、ビデオカメラ１００で撮影した画像の処理タイミングについて説明する。
【００３３】
図２は、図１のビデオカメラ１００において、連続的に撮影された画像の各フレームが、同期信号Ｖ０〜Ｖ６に従って各ブロックで処理されるタイミングを示すタイミングチャートである。
【００３４】
例えばＶ１〜Ｖ２期間において、ＣＣＤイメージセンサ１１３はフレームＦ１を撮像面に結像し、続くＶ２〜Ｖ３期間において画像処理部１２０はフレームＦ１を処理する。
【００３５】
同様に、特徴検出部１３２がフレームＦ１の特徴部分を検出するのはＶ４〜Ｖ５期間であって、この期間に露出評価部１２１、フォーカス評価部１２２が評価しているフレームＦ３とは２フレームの位相差がある。
【００３６】
さらに、特徴検出部１３２がフレームＦ１の特徴部分を検出した結果を利用して、特徴部分を示す枠を描画処理部１２７で描画できるのは直後のＶ５〜Ｖ６期間となるが、この期間に描画処理部１２７が描画しているのはフレームＦ３である。こちらも２フレームの位相差がある。
【００３７】
図３は、図２におけるフレームＦ１の画像１０５０と、特徴検出部１３２が検出した特徴部分の検出枠１０００を示す図である。
【００３８】
フレームＦ１には人物２００１が写っており、その顔部分が特徴部分として検出されている。
【００３９】
図４は、図２におけるフレームＦ３の画像１２５０と、露出評価部１２１、フォーカス評価部１２２のメッシュ状に設けられた評価枠を示す図である。
【００４０】
フレームＦ１に比べてフレームＦ３では人物２００１が移動しており、検出枠１０００があった場所には人物２００１の顔部分がない。
【００４１】
このため、フレームＦ１で検出枠１０００があった場所の露出、フォーカスの評価枠２２０１〜２２０６では、特徴部分に合わせた露出、フォーカスの評価ができない。また、フレームＦ１で特徴部分１０００があった場所に描画処理部１２７が枠２１００を描画してしまうと、特徴部分と異なる位置に合成されてしまう。
【００４２】
そこで、ＣＰＵ１０１は、動きベクトル評価部１２３のフレームＦ２とフレームＦ３に対する評価値を用いて、特徴検出部１３２が検出したフレームＦ１での特徴部分の位置から、フレームＦ３での特徴部分の位置を割り出す位相差の補正処理を行う。
【００４３】
図５は、図２におけるフレームＦ２の画像１１５０と、動きベクトル評価部１２３のメッシュ状に設けられた評価枠及びその評価結果を表す動きベクトル（図中の矢印）を示す図である。
【００４４】
後述するＣＰＵ１０１の補正処理により、フレームＦ１での検出枠１０００と、フレームＦ２の各検出枠の動きベクトルから、図６に示すように、フレームＦ２での特徴部分の検出枠１１００が割り出される。
【００４５】
図７は、図２におけるフレームＦ３の画像１２５０と、動きベクトル評価部１２３の評価枠及びその評価結果を表す動きベクトルを示す図である。
【００４６】
フレームＦ２の場合と同様、図８に示すように、フレームＦ３での特徴部分の検出枠１２００が割り出される。
【００４７】
ＣＰＵ１０１は、こうして得たフレームＦ３での特徴部分の検出枠１２００に対する露出、フォーカスの評価結果を露出評価部１２１、フォーカス評価部１２２より得る。ＣＰＵ１０１は、それを元にドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。
【００４８】
また、ＣＰＵ１０１は、描画処理部１２７を制御して、補正処理で得た特徴部分の検出枠１２００をバッファメモリ１２８の描画領域に描画する。
【００４９】
次に、ＣＰＵ１０１が行う特徴部分の位置の補正処理について具体的に説明する。
【００５０】
まず、ＣＰＵ１０１は、フレームＦ２の動きベクトルの評価結果と、フレームＦ１の特徴部分の検出枠を用いて、フレームＦ２での特徴部分の位置を割り出す。
【００５１】
即ち、図９に示すように、ＣＰＵ１０１は、フレームＦ２において動きベクトルの評価枠１１０１で評価した動きベクトル１１３１を用い、評価枠１１０１内の画像が１フレーム前のフレームＦ１で存在していた位置を得る。
【００５２】
ＣＰＵ１０１は、この位置に評価枠１１０１と同じ大きさの枠１００１があったとしてフレームＦ１における特徴部分の検出枠１０００と重なっているか判定する。
【００５３】
ＣＰＵ１０１は、同様に、フレームＦ２の全ての動きベクトルの評価枠に対して、１フレーム前での位置を求め、それが１フレーム前の特徴部分の検出枠１０００と重なっているか否かを判定する。
【００５４】
その結果、この例では、図１０に示すように、検出枠１０００と重なるのは、評価枠１１０１〜１１０６の１フレーム前の位置を示す枠１００１〜１００６となる。ここで、枠１００１〜１００６が検出枠１０００と重なっている領域を斜線で示す。
【００５５】
これらの斜線部分は、フレームＦ２においては、図１１に示す検出枠１１０１〜１１０６の斜線部分となる。
【００５６】
図１２は、これらの斜線部分の重心１１２０を求め、それを中心にフレームＦ１の検出枠１０００と同じ大きさの検出枠１１００を割り出した結果を示す。こうして得た検出枠１１００をフレームＦ２における特徴部分の検出枠として扱うことができる。
【００５７】
同様に、ＣＰＵ１０１は、フレームＦ３の動きベクトルの評価結果と、先の処理で得たフレームＦ２の特徴部分の検出枠を用いて、フレームＦ３の特徴部分の位置を割り出す。
【００５８】
即ち、図１３に示すように、フレームＦ２の検出枠１１００と重なるのは、フレームＦ３の動きベクトルの評価枠１２０７〜１２１２の１フレーム前の位置を示す枠１１０７〜１１１２となる。ここで、枠１１０７〜１１１２が検出枠１１００と重なっている領域を斜線で示す。
【００５９】
これらの斜線部分は、フレームＦ３においては、図１４に示す検出枠１２０７〜１２１２の斜線部分となる。
【００６０】
図１５は、これらの斜線部分の重心１２２０を求め、それを中心にフレームＦ１の検出枠１０００と同じ大きさの検出枠１２００を割り出した結果を示す。こうして得た検出枠１２００をフレームＦ３における特徴部分の検出枠として扱うことができる。
【００６１】
こうした構成によって、被写体が動いている場合でも、被写体の位置を基準とした露出やフォーカスの制御を行うことができる。また、被写体が動いている場合でも、被写体の位置に検出枠を描画することができる。
【００６２】
次に、図１のビデオカメラ１００において、動きベクトル評価部を利用せずに、被写体の位置を基準とした露出やフォーカスの制御を行う処理について説明する。
【００６３】
図２に示したように、特徴検出部１３２がフレームＦ１の特徴部分を検出するのはＶ４〜Ｖ５期間であって、同じフレームＦ１を露出評価部１２１、フォーカス評価部１２２が評価するＶ２〜Ｖ３期間とは２フレームの位相差がある。
【００６４】
そこで、ＣＰＵ１０１は、露出評価部１２１とフォーカス評価部１２２の評価結果をＲＡＭ１０２に格納し、露出とフォーカスの制御に対しては２フレーム前にＲＡＭ１０２に格納された露出とフォーカスの評価結果を利用する。
【００６５】
図１６は、図２におけるフレームＦ１の画像１０５０と、露出評価部１２１、フォーカス評価部１２２のメッシュ状に設けられた評価枠を示す図である。
【００６６】
図２に示したＶ２〜Ｖ３期間において、ＣＰＵ１０１は、フレームＦ１での露出、フォーカスの評価結果をＲＡＭ１０２に格納しておく。Ｖ４〜Ｖ５期間において、ＣＰＵ１０１は、フレームＦ１での特徴部分の検出枠１０００に対する露出、フォーカスの評価結果をＲＡＭ１０２より得る。
【００６７】
それを元に、ドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。
【００６８】
こうした処理によって、被写体が動いている場合でも、被写体の位置を基準とした露出やフォーカスの制御を行うことができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態に係る撮影装置としてのビデオカメラのブロック構成図である。
【図２】図１のビデオカメラで撮影される画像の各フレームの処理を示すタイミングチャートである。
【図３】図２におけるフレームＦ１の画像と特徴検出部が検出した特徴部分の検出枠を示す図である。
【図４】図２におけるフレームＦ３の画像と露出評価部、フォーカス評価部の評価枠を示す図である。
【図５】図２におけるフレームＦ２の画像と動きベクトル評価部の評価枠及び評価結果を示す図である。
【図６】割り出された図２におけるフレームＦ２での特徴部分の検出枠を示す図である。
【図７】図２におけるフレームＦ３の画像と動きベクトル評価部の評価枠及び評価結果を示す図である。
【図８】割り出された図２におけるフレームＦ３での特徴部分の検出枠を示す図である。
【図９】図２におけるフレームＦ２での動きベクトルの評価枠と、その評価枠内の画像がフレームＦ１で存在していた位置を示す枠と、フレームＦ１での特徴部分の検出枠を示す図である。
【図１０】図２におけるフレームＦ１での特徴部分の検出枠と、フレームＦ２の評価枠の重なり判定を示す図である。
【図１１】図２におけるフレームＦ２での特徴部分の位置を示す図である。
【図１２】図２におけるフレームＦ２での特徴部分の検出枠を示す図である。
【図１３】図２におけるフレームＦ２での特徴部分の検出枠と、フレームＦ３の評価枠の重なり判定を示す図である。
【図１４】図２におけるフレームＦ３での特徴部分の位置を示す図である。
【図１５】図２におけるフレームＦ３での特徴部分の検出枠を示す図である。
【図１６】図２におけるフレームＦ１の画像と露出評価部、フォーカス評価部の評価枠を示す図である。
【符号の説明】
【００７０】
１００  ビデオカメラ
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
１１３  ＣＣＤイメージセンサ
１１４  ＡＦＥ
１２０  画像処理部
１２１  露出評価部
１２２  フォーカス評価部
１２３  動きベクトル評価部
１２４、１２６、１２８、１３１  バッファメモリ
１２５、１３０  リサイズ部
１２７  描画処理部
１２９  合成部
１３２  特徴検出部
１４０  出力部
【図１】
0005094536.tif 000002
【図２】
0005094536.tif 000003
【図３】
0005094536.tif 000004
【図４】
0005094536.tif 000005
【図５】
0005094536.tif 000006
【図６】
0005094536.tif 000007
【図７】
0005094536.tif 000008
【図８】
0005094536.tif 000009
【図９】
0005094536.tif 000010
【図１０】
0005094536.tif 000011
【図１１】
0005094536.tif 000012
【図１２】
0005094536.tif 000013
【図１３】
0005094536.tif 000014
【図１４】
0005094536.tif 000015
【図１５】
0005094536.tif 000016
【図１６】
0005094536.tif 000017