(57)【特許請求の範囲】
【請求項１】
画像データから顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔の位置に、前記顔のサイズに基づいて、サイズを変更した複数の領域を設定する設定手段と、
前記設定手段で設定された複数の領域のそれぞれの領域の画像データから、顔の表情に基づく評価値を算出し、それぞれの領域の画像データに対して算出された前記評価値に基づいて前記顔の表情評価値を得る評価値算出手段と、
複数の画像データから、前記複数の画像データのそれぞれで得られた前記表情評価値に基づいて、いずれかの画像データを選択して記憶手段に記憶させる選択手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記評価値算出手段は、前記複数の領域のそれぞれの領域の画像データに対して算出された評価値が、予め定めた標準値よりも高い方のみ、あるいは、低い方のみに分布している場合に、それぞれの領域の画像データに対して算出された評価値に基づいて前記顔の表情評価値を得ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価値算出手段は、前記複数の領域のそれぞれの領域の画像データに対して算出された評価値の中央値を前記顔の表情評価値とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表情評価値とは、目が開いている度数を示す目開き度であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表情評価値とは、笑顔である度数を示す笑顔度であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置と、
前記画像データを出力する撮像手段と、を有することを特徴とする撮像装置。
【請求項７】
画像データから顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の位置に、前記顔のサイズに基づいて、サイズを変更した複数の領域を設定する設定工程と、
前記設定工程において設定された複数の領域のそれぞれの領域の画像データから、顔の表情に基づく評価値を算出し、それぞれの領域の画像データに対して算出された前記評価値に基づいて前記顔の表情評価値を得る評価値算出工程と、
複数の画像データから、前記複数の画像データのそれぞれで得られた前記表情評価値に基づいて、いずれかの画像データを選択して記憶工程に記憶させる選択工程と、を含むことを特徴とする画像処理方法。
【請求項８】
画像処理装置の制御方法の各工程をコンピュータに実行させるプログラムであって、
画像データから顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の位置に、前記顔のサイズに基づいて、サイズを変更した複数の領域を設定する設定工程と、
前記設定工程において設定された複数の領域のそれぞれの領域の画像データから、顔の表情に基づく評価値を算出し、それぞれの領域の画像データに対して算出された前記評価値に基づいて前記顔の表情評価値を得る評価値算出工程と、
複数の画像データから、前記複数の画像データのそれぞれで得られた前記表情評価値に基づいて、いずれかの画像データを選択して記憶工程に記憶させる選択工程と、をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法に関し、特に、最良画像を記録するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、連続的に撮影された画像の中から、撮影者が残したい良い表情の顔が撮影された画像が自動的に記録されるような画像処理技術が望まれていた。良い表情とは、例えば、目を瞑っていない表情であり、良い笑顔の表情のことである。
【０００３】
最良画像を記録するための技術として、例えば、（特許文献１）では、連続して複数の画像を得る撮像手段があり、それらの画像における人物顔の状態などから撮影画像の順位づけを行う、という方法が提案されている。
【０００４】
また、逐次出力する画像に基づいて、それぞれ顔を検出し、その顔の評価値を求め、所定の表情であるか評価する評価手段において、顔の評価値に応じて所定の表情として認識する顔の評価値を変更する。そして、その評価値を用いて本画像を取得するか否かを判断するという方法が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２７２７４０号公報
【特許文献２】特開２０１０−２２０２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、顔の状態や、表情評価値は、撮影した画像に対し、その画像から検出された顔領域において、顔の状態や表情評価値を算出するため、検出される顔領域がバラつくと、算出される顔の状態や表情評価値にもバラつきが発生するという問題点があった。
【０００７】
このため、前述の特許文献に開示された従来技術では、人物顔の状態や表情評価値にバラつきがあると、順位づけ及び本画像を取得するか否かの判断を適切に行うことが困難となっていた。
本発明は前述の問題点に鑑み、表情評価値のバラつきを抑え、撮影者が残したい最良画像を選択できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、画像データから顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の位置に、前記顔のサイズに基づいて、サイズを変更した複数の領域を設定する設定手段と、前記設定手段で設定された複数の領域のそれぞれの領域の画像データから、顔の表情に基づく評価値を算出し、それぞれの領域の画像データに対して算出された前記評価値に基づいて前記顔の表情評価値を得る評価値算出手段と、複数の画像データから、前記複数の画像データのそれぞれで得られた前記表情評価値に基づいて、いずれかの画像データを選択して記憶手段に記憶させる選択手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、各画像における表情評価値のバラつきを抑えることが可能となり、撮影者が残したい良い表情の顔が撮影された最良画像を選択することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の撮像装置の構成例を示すブロック図である。
【図２】実施形態の撮像装置の画像選択処理の全体を説明するフローチャートである。
【図３】実施形態の画像表情評価値設定処理の手順を説明するフローチャートである。
【図４】実施形態の撮像装置の画像選択処理の手順を説明するフローチャートである。
【図５】実施形態を示し、撮影画像から表情評価値算出する様子を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態を説明する。図１は、本発明を適用した撮像装置１００の構成例を示すブロック図である。
図１において、１０１はズーム機構、フォーカスレンズ機構、絞りシャッター機構を含む撮影レンズである。１０２は被写体からの反射光を電気信号に変換する光電変換を行い、電気信号を出力する撮像素子である。１０３は撮像素子１０２の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。
【００１２】
１０４は画像処理部である。この画像処理部１０４にて、輝度に関する特定周波数帯域の信号成分を抽出し、被写体のピント状態を検出することも可能である。１０５はフォーマット変換部である。１０６は高速な内蔵メモリ(例えば、ランダムアクセスメモリなど、以下ＤＲＡＭと記す)である。１０７はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。
【００１３】
１０８は、撮影シーケンスなどシステムを制御するシステム制御部（ＣＰＵ）である。１０９はカメラを外部から操作するための操作部である。１１０は顔検出モードをＯＮまたはＯＦＦに切り替える等の設定を行う撮影モードスイッチである。１１１はシステムに電源を投入するためのメインスイッチ、１１２はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ(以下ＳＷ１と記す)である。１１３はＳＷ１の操作後、実際に撮影を行うための撮影スイッチ(以下、ＳＷ２と記す)である。
【００１４】
１１４は画像処理部１０４で処理された画像信号を用いて顔検出を行い、検出した一つまたは複数の顔情報（位置・大きさ・信頼度）をシステム制御部１０８に送る顔検出モジュールである。
【００１５】
顔検出モジュール１１４は、画像処理部１０４から送られる画像データに対して公知の顔検出処理を施し、撮像素子１０２の撮像画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。顔検出モジュール１１４では、画像における顔の領域や、顔の位置を検出することができる。
【００１６】
笑顔検出モジュール１１５は、顔検出モジュール１１４が検出した顔領域について、顔の笑顔レベルを算出する。具体的には、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、笑顔度の算出に必要な特徴量を取得する。
【００１７】
ここで、特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法を用いることができる。または、顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法を用いることができる。笑顔検出モジュール１１５は、前述したような手法を用いて取得した特徴量に基づいて、顔が笑顔である度合を示す笑顔度を算出する。
【００１８】
目領域検出モジュール１１６は、顔検出モジュール１１４が検出した顔領域から目の存在する目領域を検出する。目開き検出モジュール１１７は、目領域検出モジュール１１６が検出した目領域内のヒストグラムから、黒目に相当する輝度の領域の面積を検出する。そして、黒目に相当する輝度の領域の面積と目領域の大きさとの割合に応じて、どの程度目が開いているかの度数を示す目開き度を算出する。
【００１９】
なお、顔検出、笑顔レベル算出、目開きレベル算出の手法については、前述した手法に限定されるものではなく、公知の種々の手法を用いることができる。また、この笑顔検出モジュール１１５や、目開き検出モジュール１１７にて算出される笑顔度、目開き度は、顔検出モジュール１１４が検出する顔領域のバラつきにより、値がバラつきを持つ。本実施形態においては、後述処理を行うことにより、各画像における笑顔度、目開き度の値のバラつきを抑え、撮影者が残したい良い表情の顔が選択されるようにしている。
【００２０】
ＤＲＡＭ１０６は、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。操作部１０９は、例えば次のようなものが含まれる。撮像装置１００の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。
【００２１】
(全体動作)
次に、図２〜図４のフローチャート、及び図５を参照しながら、本発明の実施形態における撮像装置１００で行なわれる画像選択動作について説明する。図２〜図４のフローチャートの各処理は、図示しないＲＯＭに記録されたプログラムを、ワークメモリとして機能する図示しないＲＡＭに展開してシステム制御部１０８が実行することで実現する。
まず、Ｓ２０１にて、撮影待機中に撮像された画像から顔検出処理を実行する。
Ｓ２０２では、Ｓ２０１において検出した顔から目開き度、笑顔度を検出する。つまり、Ｓ２０２においては、表情評価値検出処理を行う。
Ｓ２０３では、標準顔パラメータを算出する。本実施形態においては、検出された顔のサイズ、顔位置を加算平均していくことで標準顔パラメータ算出処理を行う。
【００２２】
Ｓ２０４では、標準表情評価値計算処理を行う。標準表情評価値は、表情評価値を加算平均した値から、所定範囲内にある値を加算平均していくことで計算する。これにより、通常顔、つまり、目を開いていて、笑顔ではない時の標準となる表情評価値を取得することができ、取得した表情評価値を記憶しておく。本実施形態において、標準となる目開き度を、標準目開き度、標準となる笑顔度を、標準笑顔度とする。
【００２３】
Ｓ２０５では、撮影開始処理が行われたかを判断する処理を行う。撮影開始処理が行われていれば、Ｓ２０６に移る。行われていなければ、Ｓ２０１の顔検出へ戻る。
Ｓ２０６では、画像撮影を行い、Ｓ２０７では、所定枚数撮影を行ったかを判断する。本実施形態では、所定枚数を３枚とする。
【００２４】
撮影枚数は、あらかじめ決められた数値でもよいし、撮影状況により変更してもよい。撮影の状況により変更とは、例えば検出された顔が画面内で移動している場合に、顔が停止するまで撮影を連続して行うようにする方法がある。所定枚数撮影が完了すると、Ｓ２０８にて、撮影した画像から顔検出を行う。
【００２５】
次に、Ｓ２０９にて、撮影した画像から検出した顔領域と、撮影待機中に記憶された顔領域との比較を行う。本実施形態では領域を比較しているが、領域の比較に加えて位置を比較してもよい。
顔領域の差分が所定以内であれば、Ｓ２１０にて、撮影待機中に記憶された顔の標準パラメータを使用するように設定し、次に、Ｓ２１１にて、設定された顔領域にて表情評価値を検出する。次に、Ｓ２１６にて、所定枚数の処理が完了したか否かの判断を行う。
【００２６】
Ｓ２０９における比較の結果、顔領域の差分が所定以上あれば、Ｓ２１２にて、撮影画像から検出された顔領域を使用するように設定する。本実施形態では、この標準顔と比較する際の所定量を顔の検出サイズのバラつき量とする。顔の検出サイズバラつき量は、予め決められていてもよいし、撮影待機中に検出された顔領域のバラつきから求めてもよい。
【００２７】
Ｓ２１３にて、設定された顔領域にて表情評価値を検出する。次に、Ｓ２１４にて、設定された顔領域を所定倍し、Ｓ２１５にて、処理を行う所定回数の検出が完了したかの確認を行う。所定回数が完了していなければ、Ｓ２１３に戻り、所定倍された顔領域での表情評価値を検出する。本実施形態では、所定回数を、３回とする。
【００２８】
ここで、図５を用いて、表情評価値を同一の画像に対して表情評価値算出処理を複数回行う様子を説明する。５００は撮影画像である。５０１は検出された顔領域である。まず、検出された顔領域５０１に所定倍をかける。本実施形態では、０．９倍をかける。それが５０２で示す領域である。この領域５０２において、撮影画像５００から表情評価値を計算する。次に、検出された顔領域５０１と等倍の領域５０３にて、表情評価値を計算する。最後に顔領域を１．１倍した領域５０４において、撮影画像５００から表情評価値を計算する。これらの表情評価値を、それぞれ記憶しておく。なお、表情評価値算出に用いる領域が、検出可能領域を超える場合は、検出可能領域までとする。
【００２９】
Ｓ２１５の確認の結果、所定階数完了していれば、Ｓ２１６にて、撮影した所定枚数の処理が完了したか否かの判断を行う。所定枚数の処理が完了していなければ、Ｓ２０８に戻り、次の撮影画像に対して、顔検出を行う。
【００３０】
所定枚数の処理が完了していれば、Ｓ２１７にて、記憶された表情評価値を用い、それぞれの画像に付与する画像表情評価値を設定する。画像に付与する表情評価値のことを、画像表情評価値とする。各画像に付与する画像表情評価値設定処理に関しては、図３を用いて後述する。
【００３１】
次に、Ｓ２１８にて、各画像に付与された画像表情評価値を用いて、記録する画像を選択する。記録する画像を選択する方法に関しては、図４を用いて後述する。
次にＳ２１９にて選択された画像を記録媒体に記録して、処理を終了する。
【００３２】
（画像表情評価値設定処理の概要）
図３は、図２のＳ２１７にて行なわれる画像表情評価値設定処理の手順を説明するフローチャートである。
まず、Ｓ３０１にて、標準目開き度と、画像から検出された目開き度を比較する。目開き度は、左右の目二つの値が出てくるが、それぞれで比較を行う。
【００３３】
次に、Ｓ３０２にて、全ての目開き度の計算が完了したか否かの判断を行い、計算が完了していれば、Ｓ３０３に進み、計算が完了していなければＳ３０１に戻り、差分の計算を続ける。全ての目開き度とは、各画像に対して、顔領域を変更しながら検出した目開き度のことである。
【００３４】
差分の計算が完了したら、Ｓ３０３にて、その差分を用いて、画像の目開き度が、標準目開き度に対して、数値が高い方のみ、もしくは低い方のみに分布しているか否かの判断を行う。数値が高い方のみ、もしくは低い方のみに分布しているのは、表情が変化したと考えられる場合である。
【００３５】
Ｓ３０３の判断の結果、数値が高い方のみ、もしくは低い方のみに分布していると判断された場合は、Ｓ３０５にて、画像から検出された目開き度の中央値を選択する。中央値とは、複数ある数値の中間に位置する数値のこととする。数値が高い方のみ、もしくは低い方のみに分布していないと判断された場合は、Ｓ３０４にて、標準値を選択する。Ｓ３０５またはＳ３０４の処理を終了したら、Ｓ３０６にて、標準笑顔度と、画像から検出された笑顔度を比較する。
【００３６】
次に、Ｓ３０７にて、全ての笑顔度の計算が完了したか否かの判断を行い、計算が完了していれば、Ｓ３０８に進み、計算が完了していなければＳ３０６に戻り、差分の計算を続ける。全ての笑顔度とは、各画像に対して、顔領域を変更しながら検出した笑顔度のことである。
【００３７】
差分の計算が完了したら、Ｓ３０８にて、その差分を用いて、画像の笑顔度が、標準笑顔度に対して、片方に分布しているか否かの判断を行う。片方に分布しているとは、差分の数値が、全てプラスの数値、もしくはマイナスの数値となっており、表情が変化したと考えられる場合である。
【００３８】
片方に分布していると判断された場合は、Ｓ３１０にて、画像から検出された笑顔度の中央値を選択する。中央値とは、複数ある数値の中間に位置する数値のこととする。
数値が高い方のみ、もしくは低い方のみに分布していないと判断された場合は、Ｓ３０９にて、標準値を選択する。
【００３９】
本実施形態では、標準値を用いない場合は、画像から検出された評価値の中央値を取るとしたが、予め撮影待機中に 表情が変化した場合の標準値も記憶しておき、それらの数値とも比較し選択する、という方法も考えられる。
表情が変化した場合の標準値とは、撮影待機中に、瞬きで目を瞑った時の目開き度を加算平均し記憶した目瞑り変化標準値や、笑顔になった時の笑顔度を加算平均し記憶した笑顔変化標準値である。
【００４０】
画像から検出された目開き度と目開き標準値と比較し、目瞑り側、つまり数値が低い側に分布し、かつ、画像から検出された目開き度が、目瞑り変化標準値と比較し、その周りに存在している場合は、目瞑り変化標準値を使用する。また、画像から検出された笑顔度と標準笑顔度と比較し、笑顔側、つまり数値が高い側に分布し、かつ、画像から検出された笑顔度が、笑顔変化標準値と比較し、その周りに存在している場合は、笑顔変化標準値を使用する。
【００４１】
(画像選択処理の概要)
次に、図２のＳ２１８で行なわれる画像選択処理の手順を、図４のフローチャートを参照しながら説明する。
まず、Ｓ４０１にて、評価対象画像が目瞑り画像か否かの判断を行う。目瞑り画像か否かの判断は、撮影された全画像における目開き度を参照し、目瞑り判断基準値を作成する。その目瞑り判断基準値より、目開き度が所定以上低ければ、目瞑り画像であると判断する。ただし、目瞑り画像と判断された画像が、笑顔画像である、とも判断される場合は、目瞑り画像とはしないこととする。
【００４２】
笑顔画像か否かの判断は、撮影された全画像における笑顔度を参照し、笑顔基準値を作成し、その笑顔基準値よりも笑顔度が高い場合は、笑顔画像であると判断する。目瞑り画像だと判断された場合は、Ｓ４０２にて評価対象画像を保存候補から外す。目瞑り画像ではないと判断された場合には、Ｓ４０３に進む。
【００４３】
Ｓ４０３では、撮影された画像、全ての判断が完了したか否かの判断を行う。全ての画像の確認が完了していなければ、Ｓ４０１に戻る。全ての画像の確認が完了していれば、次に、保存候補となっている画像に対して、Ｓ４０４にて、最良の笑顔画像か否かの判断を行う。具体的には、Ｓ４０４にて評価対象画像の笑顔度が、最大値であるか否かの判断をする。評価対象画像の笑顔度が最大であれば、Ｓ４０５にて、その画像を最終保存候補とする。一方、Ｓ４０４にて、笑顔度が最大ではないと判断された場合は、Ｓ４０６に進む。
【００４４】
次に、Ｓ４０６にて、保存候補画像の判断が全て完了したか否かの判断を行う。保存候補画像の判断が全て完了していなければ、Ｓ４０４に戻り、笑顔の判断を行う。保存候補画像の判断が全て完了していれば、処理を完了する。
【００４５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
１００  撮像装置、１０１  撮影レンズ、１０２  撮像素子、１０３  Ａ／Ｄ変換部  、１０４  画像処理部、１０５  フォーマット変換部、１０６  ＤＲＡＭ、１０７  画像記録部、１０８  システム制御部、１０９  操作部、１１０  撮影モードスイッチ、１１１  メインスイッチ、１１２  撮影スタンバイスイッチ（ＳＷ１）、１１３  撮影スイッチ（ＳＷ２）、１１４  顔検出モジュール、１１５  笑顔検出モジュール、１１６  目領域検出モジュール、１１７  目開き検出モジュール
【図１】
0005930703.tif 000002
【図２】
0005930703.tif 000003
【図３】
0005930703.tif 000004
【図４】
0005930703.tif 000005
【図５】
0005930703.tif 000006