(57)【要約】【課題】連続する入力画像から被写体の顔等の特徴部分を高速に抽出する。【解決手段】連続する複数の撮影画像の夫々から被写体の特徴部分画像を抽出する連続画像の被写体特徴部分抽出方法において、前記被写体の前記特徴部分画像を抽出した前記撮影画像中の特徴部分位置の情報を用い、前記連続する次の前記撮影画像の中から抽出する前記特徴部分画像の探索範囲を制限する（ステップＳ５）。これにより、高速に被写体の特徴部分を抽出することができる。【選択図】  図２
2004318331.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数の撮影画像の夫々から被写体の特徴部分画像を抽出する連続画像の被写体特徴部分抽出方法において、前記被写体の前記特徴部分画像を抽出した前記撮影画像中の特徴部分位置の情報を用い、前記連続する次の前記撮影画像の中から抽出する前記特徴部分画像の探索範囲を制限することを特徴とする連続画像の被写体特徴部分抽出方法。
【請求項２】
前記探索範囲を制限せずに前記特徴部分画像を前記撮影画像から抽出するときは、該撮影画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該撮影画像を撮影したカメラと特徴部分を有する被写体との間の距離情報に基づいて限定し、該限定した上限，下限の範囲内のテンプレートを用いて前記特徴部分画像のマッチング処理を行い該特徴部分画像を抽出することを特徴とする請求項１に記載の連続画像の被写体特徴部分抽出方法。
【請求項３】
請求項１または請求項２に記載の連続画像の被写体特徴部分抽出方法を実行することを特徴とする連続画像の被写体特徴部分抽出プログラム。
【請求項４】
請求項３に記載された連続画像の被写体特徴部分抽出プログラムが搭載されたことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は連写された画像やブラケット撮影された画像などの連続画像から顔等の被写体特徴部分を抽出する方法及びそのプログラム並びにこのプログラムを搭載したデジタルカメラに関する。
【０００２】
【従来の技術】
デジタルカメラには、例えば、下記特許文献１に記載されている様に、被写体の顔部分を画面内から抽出し、抽出した顔の目にデジタルカメラの焦点を自動的に合わせる自動焦点装置が搭載されているものがある。しかし、この特許文献１は、焦点合わせの技術について開示があるのみであり、被写体の顔部分をどの様にして抽出すれば高速に顔画像の抽出処理が可能かについての記載がない。
【０００３】
顔部分を画面内から抽出する場合、テンプレートマッチングが用いられる。これは、被写体画像からサーチウインドウで順次切り出した各部分画像と顔のテンプレートとの類似度を順次判定し、顔のテンプレートに対して閾値以上の類似度で一致するサーチウインドウ位置に被写体の顔が在ると判定するものである。
【０００４】
このテンプレートマッチング処理を行う場合、従来は、被写体の顔が画面内でどの程度の大きさに映っているか分からないため、顔のテンプレートとして小さなテンプレートから画面一杯の大きさのテンプレートまで大きさの異なるテンプレートを多数用意しておき、全てのテンプレートを用いてテンプレートマッチング処理を行い、顔画像を抽出している。
【０００５】
【特許文献１】
特開２００１―２１５４０３公報
【０００６】
【発明が解決しようとする課題】
被写体の顔等の特徴部分を撮影前などに抽出できれば、被写体の顔に常に自動焦点合わせをして撮影を行ったり、また、常に顔の肌色に合うようにホワイトバランスをとった撮影ができるなど、利点が多い。また、撮影後の画像データをパーソナルコンピュータ等に取り込んでユーザが手作業で画像処理する場合などにおいて、画像内の被写体の顔の位置を制御装置が抽出しておけば、例えば肌色調整等で制御装置はユーザに対し適切なガイドを提供することができる。
【０００７】
しかし、従来技術では、顔のテンプレートを多数用意し各テンプレートを用いたマッチング処理が必要なため、顔の抽出処理に時間がかかってしまうという問題がある。
【０００８】
特に、オートブラケット撮影や連写等によって複数の画像を連続して撮影する場合あるいは撮影した場合、各撮影画像毎に多数のテンプレートを用いて行う顔抽出処理に多大な時間を要し、高機能な演算処理機能を搭載した制御装置が必要になるという問題がある。
【０００９】
本発明の目的は、連続する複数の撮影画像から被写体特徴部分を高速且つ高精度に抽出することができる連続画像の被写体特徴部分抽出方法及びそのプログラム並びにデジタルカメラを提供することにある。
【００１０】
【課題を解決するための手段】
本発明の連続画像の被写体特徴部分抽出方法は、連続する複数の撮影画像の夫々から被写体の特徴部分画像を抽出する連続画像の被写体特徴部分抽出方法において、前記被写体の前記特徴部分画像を抽出した前記撮影画像中の特徴部分位置の情報を用い、前記連続する次の前記撮影画像の中から抽出する前記特徴部分画像の探索範囲を制限することを特徴とする。
【００１１】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。また、探索範囲を制限することで、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１２】
本発明の連続画像の被写体特徴部分抽出方法は、前記探索範囲を制限せずに前記特徴部分画像を前記撮影画像から抽出するときは、該撮影画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該撮影画像を撮影したカメラと特徴部分を有する被写体との間の距離情報に基づいて限定し、該限定した上限，下限の範囲内のテンプレートを用いて前記特徴部分画像のマッチング処理を行い該特徴部分画像を抽出することを特徴とする。
【００１３】
この構成により、制限範囲内において、マッチング処理対象画像をリサイズしながら決まった大きさのテンプレートとのマッチング処理を行うため、あるいはテンプレートの大きさをリサイズしながら決まった大きさのマッチング処理対象画像とのマッチング処理を行うため、マッチング処理で用いるテンプレートの数あるいは撮影画像から切り出すマッチング処理対象画像の大きさの数を限定することができ、マッチング処理の処理時間を短縮することができる。また、探索範囲を制限するため、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１４】
本発明の連続画像の被写体特徴部分抽出プログラムは、上記の連続画像の被写体特徴部分抽出方法を実行することを特徴とする。
【００１５】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。
【００１６】
本発明のデジタルカメラは、上記の連続画像の被写体特徴部分抽出プログラムが搭載されたことを特徴とする。
【００１７】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。また、探索範囲を制限することで、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、ＣＣＤやＣＭＯＳ等の固体撮像素子１と、固体撮像素子１の前段に置かれたレンズ２及び絞り３と、固体撮像素子１から出力される画像信号に対し相関二重サンプリング処理等を施すアナログ信号処理部４と、アナログ信号処理された画像信号をデジタル信号に変換するＡ／Ｄ変換部５と、デジタル信号に変換された画像信号に対してガンマ補正，同時化処理など施すデジタル信号処理部６と、このデジタル信号処理部６によって処理された画像信号を格納する画像メモリ７と、ユーザがシャッタボタンを押下したときに画像メモリ７に格納された画像信号（撮影データ）を外部メモリ等に記録する記録部８と、カメラ背面等に設けられ画像メモリ７の格納内容をスルー表示する表示部９とを備える。
【００２０】
このデジタルスチルカメラは更に、ＣＰＵやＲＯＭ，ＲＡＭでなる制御回路１０と、ユーザからの指示入力を受け付けると共に上記表示部９に対してオンデマンド表示処理を行う操作部１１と、撮像素子１から出力されデジタル信号処理部６によって処理された画像信号を取り込み制御回路１０からの指示に基づいて詳細は後述するように被写体の特徴部分この例では顔部分を抽出する顔抽出処理部１２と、レンズ２の焦点合わせや倍率制御を制御回路１０からの指示信号に基づいて行うレンズ駆動部１３と、絞り３の絞り量を制御回路１０からの指示信号に基づいて制御する絞り駆動部１４と、固体撮像素子１を制御回路１０からの指示信号に基づいて駆動制御する撮像素子制御部１５と、制御回路１０からの指示信号に基づいて被写体までの距離を計測する測距センサ１６とを備える。
【００２１】
図２は、顔抽出処理部１２が顔抽出プログラムに従って行う顔抽出処理の処理手順を示すフローチャートである。顔抽出プログラムは、図１に示す制御回路１０のＲＯＭ内に格納されており、ＣＰＵが顔抽出プログラムをＲＡＭに読み出し実行することで、顔抽出処理部１２が機能する。
【００２２】
デジタルスチルカメラの撮像素子１は、ユーザがシャッタボタンを押下する前であっても常時所定周期で画像信号を出力しており、デジタル信号処理部６は各画像信号をデジタル信号処理している。顔抽出処理部１２は、この画像信号を逐次取り込み、各入力画像（撮影画像）に対して以下の処理を行う。
【００２３】
ステップＳ１では、顔の探索処理を行う。図３は、この顔の探索処理の詳細処理手順を示すフローチャートである。図３において、顔抽出処理部１２は、先ず、入力画像のサイズを取得（ステップＳ１１）する。ユーザが例えば６４０×４８０画素数で撮影しようとしているのか、１２８０×９６０画素数で撮影しようとしているのかによって顔抽出処理に用いる入力画像のサイズが異なるカメラの場合には、このサイズ情報を取得する。入力画像のサイズが固定の場合にはこのステップＳ１１は不要である。次に、測距センサ１６によって計測した被写体までの距離情報を制御回路１０から取得する（ステップＳ１２）。
【００２４】
次のステップＳ１３では、ズームレンズを使用しているのか否かを判定し、ズームレンズを使用している場合にはズーム位置情報を制御回路１０から取得し（ステップＳ１４）、次にレンズの焦点距離情報を制御回路１０から取得する（ステップＳ１５）。ステップＳ１３でズームレンズを使用していないと判定した場合にはステップＳ１４を飛び越してステップＳ１５に進む。
【００２５】
以上の処理ステップによって取得した入力画像サイズ情報とレンズ焦点距離情報により、入力画像中における被写体である人の顔の大きさがどの程度の大きさになるかを決定できる。このため、次のステップＳ１６では、顔の大きさに合わせたサーチウインドウの大きさの上限，下限の範囲を決定する。
【００２６】
サーチウインドウとは、図４に示す様に、テンプレートマッチング処理を行う処理画像２１に対する顔画像の大きさ、即ち図５に示すテンプレート２２の大きさと同一の大きさのウインドウ２３である。このサーチウインドウ２３によって切り出した画像とテンプレート２２との正規化相互相関係数等を以下の処理ステップで求め、マッチング度合いを計算し、マッチング度合い即ち類似度が閾値に達しない場合には、サーチウインドウ２３を処理画像２１上で一定画素分例えば１画素分だけスキャニング方向２４にずらして次のマッチング処理用の画像を切り出す。
【００２７】
ここで、処理画像２１とは、入力画像をリサイズした画像である。例えば１２８０×９６０画素数の高精細な入力画像を処理画像としてマッチング処理を行うよりも、この入力画像を例えば２００×１５０画素数にリサイズした画像を処理画像とし、テンプレート（勿論、テンプレート側の顔画像も高精細な顔画像ではなく、画素数の少ない例えば２０×２０画素数の顔画像を用いる。）マッチングを行う方が、個々人の差違を無視した一般的な「顔」の検出が容易となる。
【００２８】
次のステップＳ１７では、サーチウインドウのサイズが範囲内であるか否か、即ち、処理画像２１内における顔の大きさの上限，下限の範囲内であるか否かを判定する。次に、サーチウインドウ２３の大きさに一致する大きさのテンプレート２２が存在するか否かを判定する（ステップＳ１８）。存在する場合には該当するテンプレートを選択し（ステップＳ１９）、存在しない場合にはテンプレートをリサイズしてサーチウインドウ２３の大きさに合わせたテンプレートを生成し（ステップＳ２０）、次のステップ２１に進む。
【００２９】
ステップＳ２１では、スキャニング方向２４（図４）に沿ってサーチウインドウ２３をスキャニングさせながらテンプレートマッチング処理を行い、類似度が閾値α以上となった画像部分が存在するか否かを判定する。
【００３０】
類似度が閾値α以上となる画像部分が存在しない場合には、ステップＳ２２に進み、サーチウインドウ２３の大きさを図６に示す様に変化させ、次に、使用するサーチウインドウ２３の大きさを決定してからステップＳ１７に進む。以下、ステップＳ１７→  …  →ステップＳ２１→ステップＳ２２→ステップＳ１７を繰り返す。
【００３１】
このように、本実施形態では、図６に示す様にサーチウインドウ２３の大きさを上限値から下限値まで（あるいは下限値から上限値まで）変化させながら、図７に示す様にテンプレートの大きさも変化させ、テンプレートマッチング処理を繰り返す。
【００３２】
ステップＳ２１で、閾値α以上の類似度を示す画像部分が検出されたときは、図２のステップＳ２の顔検出判定処理に進み、顔位置を特定し、その位置情報を制御回路１０に出力してこの顔検出処理を終了する。
【００３３】
ステップＳ１７→  …  →ステップＳ２１→ステップＳ２２→ステップＳ１７と繰り返されることでサーチウインドウ２３の大きさが上限，下限の範囲外に外れた場合には、ステップＳ１７における判定結果が否定（Ｎ）となる。この場合には図２のステップＳ２の顔検出判定処理に進み、「顔なし」と判定される。
【００３４】
この様に、本実施形態によれば、テンプレートマッチング処理で使用するテンプレートを複数種類用意し、各テンプレートを用いたマッチング処理を行うが、被写体までの距離情報に基づいて使用するテンプレートの上限，下限の大きさを限定するため、テンプレートマッチング処理回数を減らすことができ、顔の抽出処理を高精度，高速に行うことが可能となる。
【００３５】
図２において、ステップＳ２で「顔」の位置が抽出され、あるいは顔無しと判定された場合、次に、ステップＳ３に進み、連続した入力画像が存在するか否かを判定する。連続した画像が無い場合には、図３の顔の抽出処理（ステップＳ１）に戻る。即ち、新たに取り込まれた入力画像が前コマ（前入力画像）と異なるシーンの画像の場合にはステップＳ１で顔の探索処理を行う。
【００３６】
連続した画像が次々と取り込まれている場合には、ステップＳ３の判定結果は肯定（Ｙ）となる。この場合には、次にステップＳ４で、前コマで被写体の顔が抽出されたか否かを判定する。この判定結果が否定（Ｎ）の場合には、ステップＳ１に戻り、図３の顔の抽出処理を行う。
【００３７】
連続した画像が次々と取り込まれ前コマで被写体の顔が抽出されている場合には、ステップＳ４の判定結果が肯定（Ｙ）となり、ステップＳ５に進む。このステップＳ５では、サーチウインドウ２３のサーチ範囲の制限を行う。図３の顔の探索処理では、サーチウインドウ２３のサーチ範囲を、処理画像２１の全範囲としたが、前コマで顔の位置が検出されている場合は、図８の入力画像▲２▼に示す様に、顔の存在する蓋然性の高い範囲２１ａにサーチ範囲を制限する。
【００３８】
そして、次のステップＳ６で、この制限されたサーチ範囲２１ａで、顔画像の探索を行う。サーチ範囲が制限されているため、高速に顔画像を抽出することが可能となる。
【００３９】
ステップＳ６の後は、ステップＳ３に戻り、次の入力画像の顔探索処理に進む。オートブラケット撮影の場合には、被写体は静止し動かないことが多いため、オートブラケット撮影の指示入力が操作部１１からあった場合には、図８の入力画像▲２▼において、顔の探索範囲を更に限定することが可能である。
【００４０】
また、動きのある被写体を連写する等している場合には、図８の入力画像▲１▼と入力画像▲２▼から夫々抽出した顔画像の位置により被写体の速度や方向が分かるため、次コマの入力画像▲３▼では顔のサーチ範囲を更に限定することが可能となる。
【００４１】
この様に、本実施形態では、連続して入力する複数の入力画像から夫々顔画像を抽出する場合に、前コマで抽出された顔の位置により次コマにおけるサーチ範囲を制限するため、顔の抽出を高速に行うことが可能となる。このステップＳ６における顔抽出処理は、テンプレートマッチング処理に限るものではなく、他の方法によるものでもよい。
【００４２】
（第２の実施形態）
図９は、本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。この顔抽出処理プログラムを搭載するデジタルスチルカメラの構成は図１と同じであり、また図２の処理手順も同じあり、図３の処理手順に代えて図９の処理手順を用い点が異なる。
【００４３】
上述した第１の実施形態における図３の処理では、サーチウインドウ及びテンプレートの大きさを変化させながらテンプレートマッチング処理を行ったが、本実施形態では、サーチウインドウ及びテンプレートの大きさは固定し、処理画像２１の大きさの方をリサイズしながらテンプレートマッチング処理を行う。
【００４４】
ステップＳ１１からステップＳ１５までは第１の実施形態と同じである。ステップＳ１５の次に、本実施形態では、処理画像２１の大きさの上限，下限の範囲を決定する（ステップＳ２６）。そして、次のステップＳ２７では、処理画像２１の大きさが顔の大きさの上限，下限の大きさに見合った範囲内であるか否かを判定する。
【００４５】
ステップＳ２７の判定で、処理画像２１の大きさが上限，下限の範囲内であると判定された場合には、次にステップＳ２１に進み、テンプレートマッチング処理を行い、類似度が閾値α以上の画像部分が存在するか否かを判定する。類似度が閾値α以上の画像部分が検出できなかっ場合はステップＳ２１からステップＳ２８に戻って処理画像２１のリサイズを行い、テンプレートマッチング処理を繰り返す。閾値α以上の画像部分が検出された場合には、ステップＳ２１から図２のステップＳ２の顔検出判定処理に進んで顔位置を特定し、その位置情報を制御回路１０に出力しこの顔検出処理を終了する。
【００４６】
処理画像２１のリサイズによって処理画像のサイズが上限値から下限値まで変化した後（あるいは下限値から上限値まで変化した後）は、ステップＳ２７の判定結果が否定（Ｎ）となる。この場合には図２のステップＳ２に進み、「顔なし」と判定される。
【００４７】
この様に、本実施形態では、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度，高速に顔の抽出を行うことが可能となる。しかも、予め用意するテンプレートが１つで済むため、テンプレートの記憶容量を削減することもできる。
【００４８】
尚、上述した各実施形態では、デジタルスチルカメラを例に説明したが、携帯電話機等に搭載したデジタルカメラや動画撮影を行うデジタルビデオカメラ等の他のデジタルカメラにも本発明を適用可能である。また、被写体までの距離情報は、測距センサの計測値や既知の値を用いる場合に限られず、その距離情報取得方法は如何なる方法でもよく、更に、抽出対象は顔に限らず、他の特徴部分でも本発明を適用可能である。
【００４９】
また、上述した各実施形態の特徴抽出プログラムは、デジタルカメラに搭載する場合に限られず、例えば写真のプリンタや画像処理装置に搭載することで、被写体の特徴部分を高精度且つ高速に抽出することが可能となる。この場合、テンプレートの大きさ或いは処理画像の大きさを特徴部分画像の上限，下限の範囲に限定するために距離情報やズーム情報が必要となるが、これらの情報は、入力画像を撮影したカメラが撮影データにタグ情報として付加したものを用いるのが良い。また、オートブラケット撮影や連写された撮影画像であるか否かも、撮影データに付加されたタグ情報を利用するのが良い。
【００５０】
【発明の効果】
本発明によれば、連続した入力画像から被写体の特徴部分を抽出する場合に前コマで抽出された特徴部分の情報を利用してサーチ範囲を制限するため、高速化と高精度化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタルスチルカメラに搭載された顔抽出プログラムの処理手順を示すフローチャートである。
【図３】図１に示すステップＳ１の詳細処理手順を示すフローチャートである。
【図４】サーチウインドウによるスキャニングの説明図である。
【図５】顔のテンプレートの一例を示す図である。
【図６】サーチウインドウの大きさを変化させる例の説明図である。
【図７】テンプレートの大きさを変化させる例の説明図である。
【図８】連続する入力画像とサーチ範囲の説明図である。
【図９】本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。
【符号の説明】
１  撮像素子
２  レンズ
３  絞り
６  デジタル信号処理部
１０  制御回路
１２  顔抽出処理部
１６  測距センサ
２１  処理画像
２２  顔のテンプレート
２３  サーチウインドウ
２４  スキャニング方向
【図１】
2004318331.tif 000003
【図２】
2004318331.tif 000004
【図３】
2004318331.tif 000005
【図４】
2004318331.tif 000006
【図５】
2004318331.tif 000007
【図６】
2004318331.tif 000008
【図７】
2004318331.tif 000009
【図８】
2004318331.tif 000010
【図９】
2004318331.tif 000011