(57)【要約】【課題】高速かつ精度良く目領域を検出可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、動画のフレーム画像に対してテンプレートマッチングを適用して被写体を追尾する。撮像装置は、動画のフレーム画像から検出された目領域から、目の状態を判別し、目の状態に応じて、テンプレートマッチングに用いるテンプレートを更新するか否かを決定する。目の状態が除外状態に該当する場合にはテンプレートを更新せず、除外状態に該当しない場合にはテンプレートを更新する。【選択図】  図２
2020021250.tif 000002
【特許請求の範囲】
【請求項１】
動画を取得する取得手段と、
前記動画のフレーム画像に対してテンプレートマッチングを適用して被写体を追尾する追尾手段と、
前記動画のフレーム画像から目領域を検出する検出手段と、
前記検出手段により検出された目領域から、目の状態を判別する判別手段と、
前記目の状態に応じて、前記テンプレートマッチングに用いるテンプレートを更新するか否かを決定する決定手段とを有し、
前記決定手段は、前記目の状態が除外状態に該当する場合には前記テンプレートを更新しないことを決定し、前記目の状態が前記除外状態に該当しない場合には前記テンプレートを更新することを決定する、ことを特徴とする撮像装置。
【請求項２】
前記追尾手段は、前記検出手段が現フレーム画像から検出した目領域の画像を前記テンプレートに設定することにより、前記テンプレートを更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記フレーム画像から顔領域を検出し、検出された顔領域から前記目領域を検出することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記除外状態が、前記顔領域および前記目領域の検出信頼度の１つまたは両方が閾値未満の場合の状態であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記除外状態が、目つむり状態もしくは目の開度が閾値未満である状態であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項６】
前記検出手段は、検出した目領域について、複数の特徴点の位置を検出し、
前記決定手段は、前記複数の特徴点の位置に基づいて前記目の開度を算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記決定手段は、前記目の開度が閾値未満の場合に、前記目の状態が前記目つむり状態であると判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記追尾手段が追尾した被写体が合焦するように撮影光学系の焦点検出を行う焦点検出手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
取得手段が動画を取得する取得工程と、
追尾手段が、前記動画のフレーム画像に対してテンプレートマッチングを適用して被写体を追尾する追尾工程と、
検出手段が、前記動画のフレーム画像から目領域を検出する検出工程と、
判別手段が、前記検出工程で検出された目領域から、目の状態を判別する判別工程と、
決定手段が、前記目の状態に応じて、前記テンプレートマッチングに用いるテンプレートを更新するか否かを決定する決定工程とを有し、
前記決定工程において前記決定手段は、前記目の状態が除外状態に該当する場合には前記テンプレートを更新しないことを決定し、前記目の状態が前記除外状態に該当しない場合には前記テンプレートを更新することを決定する、ことを特徴とする撮像装置の制御方法。
【請求項１０】
撮像装置が有するコンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
現在の撮像装置（撮像機能を有する電子機器）の多くは、画像から特定の特徴を有する被写体領域を検出し、検出した被写体領域が適切に撮影されるように露出や合焦距離を自動的に決定する機能を有している。被写体領域の代表例は人間の顔である。また、被写体領域が顔領域である場合、顔領域内の目領域を検出し、目領域が合焦するように自動焦点検出（ＡＦ）する機能も知られている。
【０００３】
顔領域を検出し、さらに顔領域から目領域を検出する場合、処理時間を短縮するために、テンプレートマッチングを用いて目領域を検出することが考えられる（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１６３５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
テンプレートマッチングに代表される、テンプレート（特定の特徴量）を用いた検出方法では、テンプレートを適切に更新することが検出性能を維持するために必要である。例えば、テンプレートの更新をしない場合、顔の向きが変化した場合には正しく検出できない場合がある。一方で、適切でない画像に基づいてテンプレートを更新すると、その後の画像について被写体検出精度が低下する場合がある。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、高速かつ精度良く目領域を検出可能な撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、動画を取得する取得手段と、動画のフレーム画像に対してテンプレートマッチングを適用して被写体を追尾する追尾手段と、動画のフレーム画像から目領域を検出する検出手段と、検出手段により検出された目領域から、目の状態を判別する判別手段と、目の状態に応じて、テンプレートマッチングに用いるテンプレートを更新するか否かを決定する決定手段とを有し、決定手段は、目の状態が除外状態に該当する場合にはテンプレートを更新しないことを決定し、目の状態が除外状態に該当しない場合にはテンプレートを更新することを決定する、ことを特徴とする撮像装置によって達成される。
【発明の効果】
【０００８】
本発明によれば、高速かつ精度良く目領域を検出可能な撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図２】図１の追跡部の機能構成例を示すブロック図
【図３】実施形態における動画撮像時の処理に関するフローチャート
【図４】図３における被写体追跡処理に関するフローチャート
【図５】実施形態におけるテンプレートマッチングに関する図
【図６】図３における被写体検出処理に関するフローチャート
【図７】実施形態における目の状態の判別処理に関する図
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、本発明は画像中の特徴領域を検出可能な任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。
【００１１】
●（第１実施形態）
図１は第１実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。デジタルカメラ１００は動画および静止画の撮影ならびに記録が可能である。デジタルカメラ１００内の各機能ブロックは、バス１６０を介して互いに通信可能に接続されている。デジタルカメラ１００の動作は、主制御部１５１が有する１つ以上のプログラマブルプロセッサが例えばＲＯＭ１５５に記憶されているプログラムをＲＡＭ１５４に読み込んで実行し、各機能ブロックを制御することにより実現される。
【００１２】
被写体検出部１６１は、画像から特定の特徴を有する被写体領域を検出する。本実施形態では被写体検出部１６１が、人物の顔領域を被写体領域として検出し、さらに顔領域内の目領域を検出ならびに追尾し、目領域の位置やサイズを検出結果として出力するものとする。また、被写体検出部１６１がある画像で検出した顔領域や目領域と類似した領域を、その後撮影された画像で継続的に探索することにより、被写体追尾機能を実現することができる。被写体検出部１６１の構成および動作の詳細については後述する。
【００１３】
撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４、およびフォーカスモータ１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１は撮影光学系を構成する。なお、便宜上レンズ１０２、１１１、１２１、１３１を１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は撮像装置１００から取り外し可能な交換レンズとして構成されてもよい。
【００１４】
絞り制御部１０５は絞り１０３を駆動する絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。
【００１５】
フォーカス制御部１３３は、例えば撮像素子１４１から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。
【００１６】
このように、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施するが、フォーカス制御部１３３は撮像素子１４１から得られる画像信号のコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。また、撮像素子１４１とは別個に設けたＡＦセンサから得られる焦点検出用信号を用いて位相差検出方式のＡＦを実行してもよい。
【００１７】
撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ、垂直方向にｎ（ｎ，ｍは複数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、主制御部１５１からの指示に従ってセンサ制御部１４３が制御する。
【００１８】
撮像素子１４１から読み出された画像信号は信号処理部１４２に供給される。信号処理部１４２は、画像信号にノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を適用し、画像データとしてセンサ制御部１４３に出力する。センサ制御部１４３は信号処理部１４２から受信した画像データをＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。
【００１９】
画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。画像処理部１５２は、処理した画像データをＲＡＭ１５４に保存する。また、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報なども画像処理部１５２で生成することができる。特定の被写体領域に関する情報は、被写体検出部１６１より供給され、例えばホワイトバランス調整処理や被写体輝度の情報生成に利用することができる。なお、フォーカス制御部１３３がコントラスト検出方式のＡＦを行う場合、コントラスト評価値を画像処理部１５２が生成してフォーカス制御部１３３に供給することができる。
【００２０】
ＲＡＭ１５４に保存された画像データを記録する場合、主制御部１５１は画像データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、主制御部１５１は必要に応じて圧縮解凍部１５３で画像データを符号化し、符号化データをデータファイルに格納する。主制御部１５１は、生成したデータファイルを例えばメモリカードのような記録媒体１５７に記録する。
【００２１】
また、ＲＡＭ１５４に保存された画像データを表示する場合、主制御部１５１は表示部１５０での表示サイズに適合するように画像データを画像処理部１５２でスケーリングした後、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に書き込む。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイなどの表示装置に表示する。
【００２２】
デジタルカメラ１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画を表示部１５０に即時表示することにより、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示する動画およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。また、デジタルカメラ１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部１５０に表示する。これらの表示動作についても、主制御部１５１の制御によって実現される。
【００２３】
圧縮解凍部１５３は画像データを符号化したり復号したりする。例えば静止画や動画を記録する場合、予め定められた符号化方式によって画像データや音声データを符号化する。また、記録媒体１５７に記録された静止画データファイルや動画データファイルを再生する際、圧縮解凍部１５３は符号化データを復号してＲＡＭ１５４に格納する。
【００２４】
ＲＡＭ１５４はプログラムを実行するためのシステムメモリ、ビデオメモリ、バッファメモリなどとして用いられる。
ＲＯＭ１５５は主制御部１５１のプロセッサが実行可能なプログラム、各種の設定値、デジタルカメラ１００の固有情報、ＧＵＩデータなどを記憶する。ＲＯＭ１５５は電気的に書き換え可能であってよい。
【００２５】
操作部１５６は、ユーザがデジタルカメラ１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどの入力デバイス群の総称である。操作部１５６を通じた入力はバス１６０を通じて主制御部１５１が検知し、主制御部１５１は入力に応じた動作を実現するために各部を制御する。
【００２６】
主制御部１５１は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有し、例えばＲＯＭ１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより各部を制御し、デジタルカメラ１００の機能を実現する。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピードもしくは蓄積時間、絞り値、感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域の輝度情報に基づいて露出条件を決定することもできる。
【００２７】
主制御部１５１は、動画撮影時には絞り１０３は固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。主制御部１５１は決定した蓄積時感とゲインの大きさをセンサ制御部１４３に通知する。センサ制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。
【００２８】
被写体検出部１６１による被写体領域の検出結果は、例えば焦点検出領域の自動設定に用いることができる。この結果、特定の被写体領域に対する追尾ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行ったり、焦点検出領域の画素値に基づいて画像処理（例えばガンマ補正処理やホワイトバランス調整処理など）を行ったりすることもできる。なお、主制御部１５１は、現在の被写体領域の位置を表す指標（例えば領域を囲む矩形枠）を表示画像に重畳表示させてもよい。
【００２９】
バッテリ１５９は、電源管理部１５８により管理され、デジタルカメラ１００の全体に電源を供給する。記憶部１５５は、主制御部１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などを記憶する。例えば操作部１５６の操作により電源ＯＦＦ状態から電源ＯＮ状態への移行が指示されると、記憶部１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、主制御部１５１がプログラムを実行する。
【００３０】
（被写体検出部の構成）
図２は、被写体検出部１６１の機能構成例を示すブロック図である。
被写体検出部１６１には、ＲＡＭ１５４または画像処理部１５２から画像データが供給される。画像データは、顔検出部２０１、目検出部２０２、および追尾部２０５に入力される。顔検出部２０１は、本実施形態で被写体検出部１６１が検出する被写体領域である顔領域を検出する。顔検出部２０１は、公知の方法によって、人物の顔と思われる画像領域を顔領域として検出する。顔検出部２０１は、検出結果として、検出した顔領域ごとに、位置、大きさ、検出の信頼度といった情報を出力する。
【００３１】
目検出部２０２は、画像データから、顔検出部１１０から検出結果に基づいて顔領域を抽出し、顔領域から公知の方法によって目領域を検出する。目検出部２０２は、目領域ごとに、左右の目尻、目頭、上瞼、下瞼など目領域の特徴点の位置、検出の信頼度を検出結果として出力する。なお、顔領域の画像を顔検出部２０１が出力する場合、目検出部２０２が顔領域を抽出する必要はない。
【００３２】
目状態判別部２０３は、目検出部２０２が検出した特徴点の位置に基づいて、目の状態を判別し、判別結果によってメモリ２０４に格納されている追尾特徴量の更新要否を判定する。目状態判別部２０３の詳細に関しては後述する。
【００３３】
追尾部２０５では、供給される画像データに対してメモリ２０４に格納されている追尾特徴量をテンプレートとして用いたテンプレートマッチングを適用し、テンプレートと類似度の高い領域を探索する。追尾部２０５が探索した領域の情報が被写体検出部１６１の検出結果として出力される。
【００３４】
本実施形態では、目検出部２０２が検出した目領域の１つを追尾対象とする。顔検出部２０１が複数の顔領域を検出した場合には、所定の条件で代表顔領域を決定する。例えば顔検出部２０１は、画像の中心に最も近い顔領域、最も大きな顔領域、あるいは最も検出の信頼度が高い顔領域を代表顔領域として決定することができる。あるいは、検出の信頼度が閾値以上の顔領域のうち、画像の中心に最も近い顔領域といったように、複数の条件を組み合わせて代表顔領域を決定してもよい。また、顔検出部２０１が自動的に決定する代わりに、検出された顔領域をユーザに提示し、ユーザに代表顔領域を選択させてもよい。追尾部２０５の詳細に関しては後述する。
【００３５】
（撮像装置の処理の流れ）
図３から図５のフローチャートを用いて、デジタルカメラ１００による、被写体検出および追尾処理を伴う動画撮影動作に関して説明する。動画撮影動作は、例えば撮影スタンバイ時や動画記録時に実行される。なお、撮影スタンバイ時と動画記録時とでは動画の解像度などが異なるが、被写体検出および追尾処理に係る処理の内容は基本的に同様であるため、以下では特に区別せずに説明する。また、音声に関する処理については特に説明しないが、一般的なデジタルカメラと同様に、画像データと並行して取得し、記録や再生のための処理を適用するものとする。以下の動画撮影動作についても、主制御部１５１がＲＯＭ１５５に記憶されているプログラムをＲＡＭ１５４に読み込んで実行することにより実現される。
【００３６】
Ｓ３０１で主制御部１５１はデジタルカメラ１００の電源スイッチがオンであるかどうか判定し、オンと判定されなければ処理を終了し、オンと判定されれば処理をＳ３０２に進める。デジタルカメラ１００は、電源スイッチがオンされると、起動処理を行ったのち、撮影スタンバイ状態になる。
【００３７】
Ｓ３０２で取得手段としての主制御部１５１は撮影スタンバイ状態における１フレーム分の動画撮影処理を実行し、撮像素子１４１から１フレーム分の画像信号を取得する。なお、ここでは撮像素子１４１から、個々の画素が有する光電変換領域ごとの画像信号を読み出すものとする。ここで、個々の画素が有する２つの光電変換領域を領域Ａおよび領域Ｂと呼び、個々の画素の領域Ａから読み出した画像信号群からなる画像をＡ画像、個々の画素の領域Ｂから読み出した画像信号群からなる画像をＢ画像と呼ぶ。また、Ａ画像とＢ画像を画素単位で加算した画像をＡ＋Ｂ画像と呼ぶ。Ｓ３０２で主制御部１５１は、Ａ画像とＢ画像、またはＡ＋Ｂ画像とＡ画像もしくはＢ画像とを読み出す。後者の場合、読み出されなかったＡ画像またはＢ画像は、読み出されたＡ＋Ｂ画像とＡもしくはＢ画像との差分により得る事ができる。表示用画像はＡ＋Ｂ画像から生成し、Ａ画像およびＢ画像は位相差検出方式のＡＦに用いる。
【００３８】
画像処理部１５２によって生成した表示用の画像データはＲＡＭ１５４のビデオメモリ領域に書き込まれるとともに、被写体検出部１６１に供給される。
【００３９】
Ｓ３０３で主制御部１５１は、被写体検出部１６１に代表被写体に関する追尾処理を実行させる。Ｓ３０３を最初に実行する際には検出対象が未確定のため、実質的な処理は行われない。２回目以降の実行時には、被写体検出部１６１が現フレーム画像から主被写体領域を探索し、探索結果として、探索された主被写体領域（目領域）の大きさや位置、検出の信頼度などを主制御部１５１に供給する。主制御部１５１は主被写体領域に基づいて焦点検出領域を設定する。主制御部１５１は、例えば、主被写体領域が合焦するように焦点検出領域を設定することができる。被写体追尾処理の詳細については後述する。
【００４０】
Ｓ３０４で主制御部１５１は、Ｓ３０３で決定した焦点検出領域内の画素から読み出したＡ画像とＢ画像のデータをフォーカス制御部１３３に供給する。焦点検出処理を実行させる。フォーカス制御部１３３は、例えば同一行の複数の画素から得られるＡ画像とＢ画像との相関が最も高くなる相対位置（位相差）を求める。そして、フォーカス制御部１３３は位相差をデフォーカス量およびデフォーカス方向に変換する。
【００４１】
Ｓ３０５でフォーカス制御部１３３は、Ｓ３０４で求めたデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向に従ってフォーカスモータ１３２を駆動し、フォーカスレンズ１３１を移動させる。このようにして、Ｓ３０４およびＳ３０５において自動焦点検出（ＡＦ）処理が実行される。
【００４２】
Ｓ３０６で主制御部１５１は、被写体検出部１６１に被写体検出処理を実行させる。被写体検出部１６１は、現フレーム画像に対して被写体検出処理（ここでは代表被写体の目領域を検出する処理）を実行する。そして、被写体検出部１６１は、検出した被写体領域の画像を被写体追尾処理に用いるテンプレート（追尾特徴量）として記憶する。あるいは、被写体検出部１６１は、過去に保存したテンプレートを現フレーム画像で検出した被写体領域の画像で更新する。被写体検出処理の詳細については後述する。その後、主制御部１５１は処理をＳ３０１に戻す。
【００４３】
以後、Ｓ３０１で電源スイッチがオンであると判定されなくなるまで、主制御部１５１およびフォーカス制御部１３３を始めとする各機能ブロックにより、Ｓ３０２〜Ｓ３０６の処理を繰り返し実行する。これにより、時系列的に撮影される複数のフレーム画像に対して主被写体領域を追跡する被写体追跡機能が実現される。なお、図３では被写体追跡処理（Ｓ３０３）を各フレーム画像に実行する場合を示しているが、処理負荷や消費電力の軽減を目的としてｎフレーム画像ごと（ｎは２以上の整数）に被写体追尾処理を実行するようにしてもよい。
【００４４】
（被写体追尾処理）
次に、図４のフローチャートを用いて、Ｓ３０３における被写体追尾処理の詳細について説明する。被写体検出部１６１の追尾部２０５は、Ｓ４０１において、追尾対象が存在するか否かを判定し、追尾対象が存在すると判定されればＳ４０２へ処理を進め、追尾対象が存在すると判定されなければ被写体追尾処理を終了する。追尾部２０５は、例えばメモリ２０４に追尾特徴量が格納されていれば追尾対象が存在すると判定し、メモリ２０４に追尾特徴量が格納されていなければ追尾対象が存在しないと判定することができる。
【００４５】
Ｓ４０２において追尾部２０５は、メモリ２０４に格納されている追尾特徴量を用いて現フレーム画像で被写体領域を探索する。本実施形態において追尾特徴量は被写体検出処理において検出された主被写体の顔領域中の目領域の画像であってよい。追尾部２０５は、主被写体の目領域の画像をテンプレートとしたテンプレートマッチングを現フレーム画像に対して適用し、テンプレートと最も相関の大きな領域を現フレーム画像内の被写体領域として検出する。
【００４６】
図５は、テンプレートマッチングに関する図である。図５（ａ）は、テンプレート５０１と、テンプレート５０１を構成する画素５０２を模式的に示した図である。テンプレートマッチングは、テンプレートとして用いる画像と類似した画像領域を探索する処理である。したがって、追尾対象の画像、すなわち追尾対象の特徴量をテンプレートとしてメモリ２０４に格納する。ここでは、テンプレート５０１が水平画素数Ｗ、垂直画素数Ｈの大きさであり、テンプレート５０１を構成する画素の輝度値と類似した輝度値を有する領域を、現フレーム画像において探索する。
【００４７】
テンプレート５０１と、現フレーム画像中のテンプレート５０１と同じ大きさの領域との相関（類似度）の大きさは、位置が対応する画素間の差分絶対値和のような相関量によって表すことができる。ここで、パターンマッチングに用いるテンプレート５０１の特徴量T(i,j)は、テンプレート５０１内の画素の座標を図６（ａ）に示すような座標系で表すと、以下の式（１）で表現できる。
T(i, j) = {T(0, 0), T(1, 0), ..., T(W-1, H-1)}      （１）
なお、T(0, 0)からT(W-1, H-1)は座標(0,0)から(W-1, H-1)の画素の輝度値である。
【００４８】
図５（ｂ）は、現フレーム画像に設定された探索領域５０３と、探索領域５０３を構成する画素５０５を模式的に示した図である。探索領域５０３は現フレーム画像においてパターンマッチングを行う範囲（被写体領域を探索する範囲）であり、現フレーム画像全体もしくは一部であってよい。例えば、テンプレートを抽出したフレーム画像におけるテンプレートの位置（もしくは、直近に探索された被写体領域の位置）を中心とした所定の大きさの領域を探索範囲５０３として設定することができる。探索範囲５０３は水平画素数Ｘ、垂直画素数Ｙの大きさとし、Ｘ＞Ｗ、Ｙ＞Ｈとする。
【００４９】
探索領域５０３内の画素の座標は（x, y）（ｘ≧０，ｙ≧０）で表すものとする。領域５０４はテンプレート５０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有し、テンプレート５０１との類似度を算出する対象である。追尾部２０５は領域５０４に含まれる画素の輝度値と、テンプレート５０１に含まれる画素の輝度値との類似度を算出する。
パターンマッチングの対象である領域５０４の特徴量S(i, j)は、テンプレート５０１内の座標を図６（ｂ）に示すような座標系で表すと、以下の式（２）で表現できる。
S(i, j) = {S(0, 0), S(1, 0), ..., S(W-1, H-1)}      （２）
なお、S(0, 0)からS(W-1, H-1)は座標(0,0)から(W-1, H-1)の画素の輝度値である。
【００５０】
追尾部２０５は、テンプレート５０１と領域５０４との類似度を表す評価値V(x, y)として、以下の式（３）に示す差分絶対和(SAD: Sum of Absolute Difference)値を算出する。
【数１】
2020021250.tif 000003
ここで、V(x, y)は、領域５０４の左上頂点が座標(x, y)であるときの評価値である。追尾部２０５は、領域５０４を探索領域５０３の左上から右方向に１画素ずつずらし、またx=(X-1)-(W-1)に達すると、次はx=0として下方向に１画素ずらすことを繰り返し、各位置で評価値V(x, y)を算出する。ここでは評価値をSADとしているため、評価値V(x, y)が最小となる座標(x, y)が、テンプレート５０１と最も類似度が高い輝度パターンを有する領域５０４の位置を示す。追跡部２０５は、評価値V(x, y)が最小となる領域５０４を、探索領域５０３内に存在する被写体領域として検出する。なお、探索の信頼性が低い場合（例えば評価値V(x, y)の最小値が閾値を超える場合）、追尾部２０５は被写体領域が検出されなかったと判定してもよい。
【００５１】
なお、ここでは輝度値を用いたパターンマッチングについて説明した。しかし、テンプレートと探索領域とで同じ特徴量を用いれば、他の１つ以上の特徴量を用いたテンプレートマッチングを行ってもよい。例えば、複数の成分（例えば明度、色相、彩度）を有する特徴量を用いることもできる。また、類似度の評価値としてＳＡＤを用いる例を説明したが、他の評価値、例えば正規化相互相関（ＮＣＣ: Normalized Cross-Correlation）やＺＮＣＣ（Zero-means NCC）などを用いてもよい。
【００５２】
（被写体検出の処理の流れ）
次に、図６のフローチャートを用いて、図３のＳ３０６における被写体検出処理の詳細について説明する。なお、被写体検出処理は、撮影されたフレーム画像の全てに対して実行してもよいし、例えばｎフレーム（ｎ≧２）ごとのように間欠的に実行してもよい。
【００５３】
Ｓ６０１で、被写体検出部１６１の顔検出部２０１は、現フレームの画像に対して顔検出処理を行う。顔検出処理は、人間の顔に似た特徴量を有する画像領域を顔領域として検出する処理である。顔検出処理は公知の技術を用いて実施可能であるため、その詳細についての説明は省略する。
【００５４】
Ｓ６０２で、被写体検出部１６１の目検出部２０２は、顔検出部２０１が検出した顔領域に対して目検出処理を行う。目検出処理は、人間の目に似た特徴量を有する画像領域を目領域として検出する処理である。目検出処理は公知の技術を用いて実施可能であるため、その詳細についての説明は省略する。目検出部２０２は、目領域ごとに、左右の目尻、目頭、上瞼、下瞼など目領域の特徴点の位置、検出の信頼度を検出結果として出力する
【００５５】
Ｓ６０３で目状態判別部２０３は、目検出部２０２が検出した特徴点の位置に基づいて、目の状態を判別する。そして、Ｓ６０４で決定手段としての目状態判別部２０３は、目の状態の判別結果にしたがって、メモリ２０４に格納されている追尾特徴量（テンプレート）の更新要否を決定する。
【００５６】
テンプレートマッチングはテンプレートとして設定した画像（画素パターン）と類似度が高い領域を探索する手法である。そのため、被写体追尾機能を実現するためには、適切なテンプレートを設定する必要がある。また、被写体の見た目や大きさの変化に追従して精度良く被写体を検出するには、テンプレートを適切に更新する必要がある。具体的には、検出された被写体領域を新たなテンプレートとして設定することによりテンプレートを更新する。テンプレートの更新間隔を短くすれば被写体の見た目や大きさの変化に対する追従性が向上する。一方、更新間隔が短いと、ごく短時間で終了する見た目の変化がテンプレートに反映されやすくなり、誤検出の要因になり得る。例えば、目領域の画像をテンプレートとして用いる場合、瞬きによって目つむりの状態が撮影された際にテンプレートを更新すると、その後、目が開いた状態で撮影される画像について目領域が検出できなかったり、誤検出してしまったりする。
【００５７】
そのため、Ｓ６０３およびＳ６０４で、目状態判別部２０３は、現フレーム画像で検出された被写体領域（目領域）の状態に応じて、現フレーム画像で検出された被写体領域の画像を、新たなテンプレートとしてメモリ２０４に格納するか否かを決定する。より具体的には、目状態判別部２０３は、目領域の状態が予め定められた除外状態に該当する場合にはテンプレートを更新せず、除外状態に該当しない場合にはテンプレートを更新すると決定する。ここでは、除外状態の例として、顔領域や目領域の検出信頼度が低い場合、目つむり状態、もしくは目の開度が閾値未満の場合について説明するが、他の状態であってもよい。
【００５８】
例えば、Ｓ６０３において目状態判別部２０３は、Ｓ６０１における顔領域処理やＳ６０２における目検出処理における信頼度に基づいて目状態を判別することができる。例えば、目状態判別部２０３は、目領域の検出信頼度と、目領域を検出した顔領域の検出信頼度の両方が高い（例えば閾値以上である）か否かを判別することができる。そして、目領域と顔領域の検出信頼度の両方が高いと判別された場合には、Ｓ６０４で決定手段としての目状態判別部２０３はテンプレートを更新すると決定する。一方、目領域と顔領域の検出信頼度の１つ以上が低い（閾値未満である）と判別された場合には、Ｓ６０４で決定手段としての目状態判別部２０３はテンプレートを更新しないと決定する。信頼度に関する閾値は例えばテンプレートマッチングの精度への影響を勘案して実験的に定めることができる。
【００５９】
別の方法として、Ｓ６０３において目状態判別部２０３は、検出された目領域が目つむり状態であるか否かを判別することができる。そして、目領域が目つむり状態であると判別された場合、Ｓ６０４で目状態判別部２０３はテンプレートを更新しないと判定する。一方、目領域が目つむり状態でないと判別された場合、Ｓ６０４で目状態判別部２０３はテンプレートを更新すると判定する。
【００６０】
さらに別の手法として、Ｓ６０３において目状態判別部２０３は、検出された目領域について、目の開度を判別することができる。そして、目の開度が閾値未満であると判別された場合、Ｓ６０４で目状態判別部２０３はテンプレートを更新しないと判定する。一方、目の開度が閾値以上であると判別された場合、Ｓ６０４で目状態判別部２０３はテンプレートを更新すると判定する。
【００６１】
目つむり状態であるか否かの判定や目の開度の算出は、目検出処理の検出結果として得られる特徴点の位置関係に基づいて実施することができる。図７（ａ）は、被写体検出部１６１に入力されるフレーム画像７０１の例である。フレーム画像７０１には顔領域７０２が１つ存在する。そして、向かって右の目領域７０３が追尾対象としての被写体領域である。
【００６２】
図７（ｂ）は、目領域７０３と、目検出処理によって検出される特徴点の例を示している。たものである。目検出部２０２は目領域の検出結果として、目頭（ｘ１，ｙ１）、目尻（ｘ２，ｙ２）、上瞼（ｘ３，ｙ３）、下瞼（ｘ４，ｙ４）の座標を特徴点の位置として検出するものとする。この場合、上瞼（ｘ３，ｙ３）と下瞼（ｘ４，ｙ４）との距離ｄｈを、目頭（ｘ１，ｙ１）と目尻（ｘ２，ｙ２）との距離ｄｗで除算したｄｈ／ｄｗの値を眼の開度として求めることができる。また、開度が閾値未満の場合に、目つむり状態と判定することができる。なお、目つむり状態の判定に用いる閾値は、例えばテンプレートマッチングの精度への影響を勘案して実験的に定めることができる。
【００６３】
なお、ここで説明した目の開度の算出方法は単なる一例であり、他の公知の手法を用いて算出することができる。例えば、眉毛と瞳孔間の距離、若しくは眉毛と瞳孔の面積比を所定の基準と比較することでその変化量を算出し、眼の開度を判定することができる。また、眼領域において、白目部分と瞳部分を夫々グルーピングした後、瞳部分が変化していれば瞬き中と判定することができる。
【００６４】
なお、ここでは顔領域や目領域が検出された場合について説明したが、顔領域や目領域が検出されなかった場合にはテンプレートを更新しない。
【００６５】
以上説明したように本実施形態によれば、検出された目領域から目の状態を判別し、目の状態が予め定められた除外状態でない場合にテンプレートを更新するようにした。そのため、追従性かつ精度の良い被写体追尾を実現できる。
【００６６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６７】
また、上述の実施形態は本発明の理解を助けることを目的とした具体例に過ぎず、いかなる意味においても本発明を上述の実施形態に限定する意図はない。特許請求の範囲に規定される範囲に含まれる全ての実施形態は本発明に包含される。
【符号の説明】
【００６８】
１００…デジタルカメラ、１６１…被写体検出部、２０１…顔検出部、２０２…目検出部、２０３…目状態判別部、２０４…追尾特徴量、２０５…追尾部
【図１】
2020021250.tif 000004
【図２】
2020021250.tif 000005
【図３】
2020021250.tif 000006
【図４】
2020021250.tif 000007
【図５】
2020021250.tif 000008
【図６】
2020021250.tif 000009
【図７】
2020021250.tif 000010