(57)【要約】【課題】本発明は、連続的に撮影された画像の中から、被写体の泣き顔や寝顔のような目を瞑った顔の画像を効率よく記録することができる撮像装置を提供する。【解決手段】得られた複数の画像から所定の条件に基づく顔評価値を算出し、特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する。そして、特定の被写体が目を瞑っている状態であると判断された場合は、目瞑り優先状態に切り替え、特定の被写体が目を開いている状態であると判断された場合は、目開き優先状態に切り替える。さらに、目瞑り優先状態のときに、特定の被写体が目を瞑っている状態であると判断された場合、及び、目開き優先状態のときに、特定の被写体が目を開いている状態であると判断された場合には、そうでない場合に比較して、顔評価値から画像評価値の値を高く算出する。そして、算出された画像評価値に応じて、記録する画像を選択する。【選択図】図３Ｂ
2012034276.tif 000002
【特許請求の範囲】
【請求項１】
被写体を連続して撮像することが可能な撮像手段と、
前記撮像手段から得られた画像から所定の条件に基づく第１の評価値を算出する第１の評価値算出手段と、
前記撮像手段から得られた画像から特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する判断手段と、
前記撮像手段から得られた複数の画像から前記特定の被写体が目を瞑っている状態であると判断された場合は、前記特定の被写体が目を瞑っている目瞑り画像を優先する目瞑り優先状態に切り替え、前記判断手段により前記特定の被写体が目を開いている状態であると判断された場合は、前記特定の被写体が目を開いている目開き画像を優先する目開き優先状態に切り替える切り替え手段と、
前記第１の評価値から、前記画像に付与する第２の評価値を算出する第２の評価値算出手段と、
前記算出された第２の評価値に応じて、記録する画像を選択する選択手段と
を備え、
前記第２の評価値算出手段は、前記目瞑り優先状態のときに、前記判断手段により前記特定の被写体が目を瞑っている状態であると判断された場合には、目を開いている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くし、前記目開き優先状態のときに、前記判断手段により前記特定の被写体が目を開いている状態であると判断された場合には、目を瞑っている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くすることを特徴とする撮像装置。
【請求項２】
前記目瞑り優先状態のときに、前記判断手段により前記特定の被写体が目を開いている状態であると判断された場合には、前記第１の評価値から第３の評価値を算出する第３の評価値算出手段と、
前記目開き優先状態のときに、前記判断手段により前記特定の被写体が目を瞑っている状態であると判断された場合には、前記第１の評価値から第４の評価値を算出する第４の評価値算出手段とをさらに備え、
前記第２の評価値算出手段は、前記第３の評価値または前記第４の評価値から前記第２の評価値を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の評価値算出手段は、前記特定の被写体の顔の位置、前記特定の被写体の特徴量、画像のピント状態、輝度を含む画像の状態から、前記第１の評価値を算出することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像手段が連続して複数の画像を撮像したときには、前記選択手段は、当該複数の画像のそれぞれに付与した第２の評価値のうち最も値が高い画像を選択することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第３の評価値算出手段は、前記第１の評価値を下げるように前記第３の評価値を算出し、
前記第４の評価値算出手段は、前記第１の評価値を下げるように前記第４の評価値を算出することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記判断手段は、前記目瞑り優先状態及び前記目開き優先状態のどちらの優先状態が連続して続いたかを判断し、
前記選択手段は、前記撮像手段により連続して撮影された複数の画像の中から１枚だけを選択する場合、前記判断手段により連続して続いたと判断された優先状態の画像から、前記第２の評価値の高い画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段は、前記撮像手段が連続して複数の画像を撮像したときには、目瞑り優先状態及び目開き優先状態のいずれも存在する場合は、それぞれの優先状態で前記第２の評価値が高い画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記切り替え手段は、優先状態が確定していない場合は、目開き優先状態とすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記第２の評価値算出手段は、前記第１の評価値を上げるように前記第２の評価値を算出し、
前記選択手段により選択された画像を記録する記録手段は、前記切り替え手段により優先状態が切り替わったときに画像を記録することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
被写体を連続して撮像することが可能な撮像手段を備える撮像装置の画像処理方法において、
前記撮像手段から得られた画像から所定の条件に基づく第１の評価値を算出する第１の評価値算出工程と、
前記撮像手段から得られた画像から特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する判断工程と、
前記撮像手段から得られた複数の画像から前記特定の被写体が目を瞑っている状態であると判断された場合は、前記特定の被写体が目を瞑っている目瞑り画像を優先する目瞑り優先状態に切り替え、前記判断工程にて前記特定の被写体が目を開いている状態であると判断された場合は、前記特定の被写体が目を開いている目開き画像を優先する目開き優先状態に切り替える切り替え工程と、
前記第１の評価値から、前記画像に付与する第２の評価値を算出する第２の評価値算出工程と、
前記算出された第２の評価値に応じて、記録する画像を選択する選択工程と
を備え、
前記第２の評価値算出工程では、前記目瞑り優先状態のときに、前記判断工程にて前記特定の被写体が目を瞑っている状態であると判断された場合には、目を開いている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くし、前記目開き優先状態のときに、前記判断工程にて前記特定の被写体が目を開いている状態であると判断された場合には、目を瞑っている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くすることを特徴とする画像処理方法。
【請求項１１】
被写体を連続して撮像することが可能な撮像手段を備える撮像装置の画像処理方法を撮像装置に実行させるためのプログラムにおいて、
前記撮像手段から得られた画像から所定の条件に基づく第１の評価値を算出する第１の評価値算出ステップと、
前記撮像手段から得られた画像から特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する判断ステップと、
前記撮像手段から得られた複数の画像から前記特定の被写体が目を瞑っている状態であると判断された場合は、前記特定の被写体が目を瞑っている目瞑り画像を優先する目瞑り優先状態に切り替え、前記判断ステップにて前記特定の被写体が目を開いている状態であると判断された場合は、前記特定の被写体が目を開いている目開き画像を優先する目開き優先状態に切り替える切り替えステップと、
前記第１の評価値から、前記画像に付与する第２の評価値を算出する第２の評価値算出ステップと、
前記算出された第２の評価値に応じて、記録する画像を選択する選択ステップと
を備え、
前記第２の評価値算出ステップでは、前記目瞑り優先状態のときに、前記判断ステップにて前記特定の被写体が目を瞑っている状態であると判断された場合には、目を開いている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くし、前記目開き優先状態のときに、前記判断ステップにて前記特定の被写体が目を開いている状態であると判断された場合には、目を瞑っている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法、並びに画像処理プログラムに関し、特に、連続的に撮影された複数の画像からユーザが所望する画像を優先的に選択して記録する撮像装置及び画像処理方法、並びに画像処理プログラムに関する。
【背景技術】
【０００２】
近年、連続的に撮影された画像の中から特定の被写体の顔が写っているものを自動的に記録する画像処理技術が望まれている。例えば、複数の画像のそれぞれに対して、所定条件に基づいた評価を行い、当該評価に基づいて画像の順位づけを行う撮像装置が提案されている（特許文献１参照）。この撮像装置では、撮影者が評価項目として、例えば、「目つぶれ」、「笑顔」を選択することができる。「目つぶれ」が選択された場合、画像評価部が、目が開いている状態の画像データには画像評価を高くし、目が閉じている状態の画像データには画像評価を低くする。そして、順位決定部５６が、画像データの画像評価値に基づいて、画像データに優先順位を決定し、画像選択部が、決定された優先順位の高い画像データを選択する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７２７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１記載の撮像装置では、評価項目として「目つぶれ」が選択されている場合は、目を瞑っていない画像データの画像評価値が高くなる。撮影者が被写体の泣き顔や寝顔のような目を瞑った顔を撮影したいと考えていた場合、それらの画像データの優先順位が低くなり、画像選択部により選択されない可能性が高くなることから、撮影者が望む画像が得られないおそれがある。
【０００５】
本発明は、上記問題に鑑みて成されたものであり、連続的に撮影された画像の中から、被写体の泣き顔や寝顔のような目を瞑った顔の画像を効率よく記録することができる撮像装置及び画像処理方法、並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、被写体を連続して撮像することが可能な撮像手段と、前記撮像手段から得られた画像から所定の条件に基づく第１の評価値を算出する第１の評価値算出手段と、前記撮像手段から得られた画像から特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する判断手段と、前記撮像手段から得られた複数の画像から前記特定の被写体が目を瞑っている状態であると判断された場合は、前記特定の被写体が目を瞑っている目瞑り画像を優先する目瞑り優先状態に切り替え、前記判断手段により前記特定の被写体が目を開いている状態であると判断された場合は、前記特定の被写体が目を開いている目開き画像を優先する目開き優先状態に切り替える切り替え手段と、前記第１の評価値から、前記画像に付与する第２の評価値を算出する第２の評価値算出手段と、前記算出された第２の評価値に応じて、記録する画像を選択する選択手段とを備え、前記第２の評価値算出手段は、前記目瞑り優先状態のときに、前記判断手段により前記特定の被写体が目を瞑っている状態であると判断された場合には、目を開いている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くし、前記目開き優先状態のときに、前記判断手段により前記特定の被写体が目を開いている状態であると判断された場合には、目を瞑っている状態であると判断された場合よりも、前記第１の評価値から算出される前記第２の評価値を高くすることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特定の被写体の泣き顔や寝顔のような目を瞑った顔の画像を効率よく記録できると共に、被写体の目が開いている画像をも効率よく記録することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置における目瞑り優先状態と目開き優先状態の切り替えを説明するための図であり、（ａ）は被写体が最初から目を開いている状態、（ｂ）は被写体が最初から目を閉じている状態、（ｃ）は被写体が最初は目を開いていて、途中から目を閉じた場合、（ｄ）は被写体が最初から目を閉じていて、途中で一度目を開くが再度目を閉じた場合を示す。
【図３Ａ】図１の撮像装置にて実行される画像選択処理の流れをフローチャートである（その１）。
【図３Ｂ】図１の撮像装置にて実行される画像選択処理の流れをフローチャートである（その２）。
【図３Ｃ】図１の撮像装置にて実行される画像選択処理の流れをフローチャートである（その３）。
【図４】図３ＡのステップＳ２０２における顔評価値算出処理を示すフローチャートである。
【図５】図４のステップＳ３０１における顔位置の評価を説明するための図であり、（ａ）は撮像装置を横に構えて撮影したときの画像における顔位置の基準位置の一例を示し、（ｂ）は撮像装置を縦に構えて撮影したときの画像における顔位置の基準位置の一例を示す。
【図６Ａ】本発明の第２の実施形態に係る撮像装置にて実行される画像選択処理の流れを示すフローチャートである（その１）。
【図６Ｂ】本発明の第２の実施形態に係る撮像装置にて実行される画像選択処理の流れを示すフローチャートである（その２）。
【図６Ｃ】本発明の第２の実施形態に係る撮像装置にて実行される画像選択処理の流れを示すフローチャートである（その３）。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
【００１１】
撮影レンズ１０１は、ズーム機構、フォーカスレンズ機構、絞りシャッター機構を含む撮影レンズである。撮像素子１０２は、被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子である。Ａ／Ｄ変換部１０３は、撮像素子１０２の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像データに対して画像処理を行う。また、画像処理部１０４は、輝度に関する特定周波数帯域の信号成分を抽出し、被写体のピント状態を検出することも可能である。
【００１２】
フォーマット変換部１０５は、画像処理部１０４から出力された画像データをＪＰＥＧフォーマット等に変換する画像フォーマット変換部である。ＤＲＡＭ１０６は、高速なデータアクセスが可能なＤＲＡＭ等で構成される。ＤＲＡＭ１０６は、一時的な画像記憶手段として或いは画像の圧縮伸張における作業用メモリなどに使用される。画像記録部１０７は、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。
【００１３】
システム制御部（以下、「ＣＰＵ」と記す）１０８は、撮影シーケンスなどのシステムを制御するシステム制御部である。操作部１０９は、撮像装置を外部から操作するための操作部である。操作部１０９は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うためのメニュースイッチ、撮影レンズのズーム動作を指示するためのズームレバー、撮影モードと再生モードの動作モードを切り換えるための切換スイッチなどである。
【００１４】
撮影モードスイッチ１１０は、顔検出モードをＯＮ又はＯＦＦに切り替える設定等を行うための撮影モードスイッチである。メインスイッチ１１１は、撮像装置の電源をＯＮ／ＯＦＦするためのメインスイッチである。ＳＷ１＿１１２は、ＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチである。ＳＷ２＿１１３は、ＳＷ１＿１１２の操作後に撮影を行うための撮影スイッチである。
【００１５】
顔検出部１１４は、画像処理部１０４で処理された画像データを用いて顔領域の検出を行い、検出した顔領域から顔情報（例えば、顔の位置、大きさ、信頼度等）を抽出してＣＰＵ１０８に送る。また、顔検出部１１４は、画像処理部１０４からの画像データに対して公知の顔検出処理を施し、画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、顔の特徴量（例えば、目、鼻、口などの顔器官）を抽出することで顔検出を行う方法等も開示されている。
【００１６】
笑顔検出部１１５は、顔検出部１１４で検出された顔領域から被写体の顔の笑顔レベルを算出する。具体的には、笑顔検出部１１５は、顔を構成する目、鼻、及び口等の輪郭、目頭、目尻、小鼻、口角及び唇の位置など、笑顔レベルの算出に必要な特徴量を抽出する。特徴量を抽出する方法としては、目や鼻といった物理的な形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法がある。また、顔の構成部位の複数のサンプル画像を用いてマシンラーニング学習により特徴量を抽出する手法もある。そして、笑顔検出部１１５は、抽出した特徴量に基づいて、笑顔の度合を示す笑顔レベルを算出し、顔が笑顔であるかどうかを判別する。笑顔レベルの算出手法としては、例えば、満点の笑顔と笑っていない顔から取得した特徴量の位置及び形状の差分に応じて、笑顔レベルを算出する手法がある。
【００１７】
目領域検出部１１６は、顔検出部１１４で検出された顔領域から目の存在する目領域を検出する。
【００１８】
目瞑り検出部１１７は、目領域検出部１１６で検出された目領域内のヒストグラムから、黒目に相当する輝度の領域の面積を検出する。そして、黒目に相当する輝度の領域の面積が、目領域の大きさに応じて、設定された閾値を下回った場合に目瞑りであると判断する。
【００１９】
視線検出部１１８は、目領域検出部１１６で検出された目領域から両目が検出され、かつ当該両目の間の距離が短いか否かを判別する。両目の間の距離が短いときは正面顔であると判断し、目領域検出部１１６で検出された目領域内の瞳の位置を検出する。そして、瞳の位置が目領域の中心に位置している場合は、視線方向が撮像装置に向いていると判定する。
【００２０】
上述した顔検出、笑顔レベルの算出、目瞑り検出、視線検出の手法については、上述したものに限定されるものではなく、公知の種々の手法を用いることができる。また、上述した顔検出部１１４〜視線検出部１１８は、ハードウェアで構成されていても、ソフトウェアで構成されていてもよい。
【００２１】
角度センサ部１１９は、例えば、ジャイロスコープ等で構成され、撮像装置自体の傾き量を検出してＣＰＵ１０８に送る機能を有する。
【００２２】
次に、図１の撮像装置における目瞑り状態／目開き状態の判定について説明する。
【００２３】
図２は、図１の撮像装置における目瞑り優先状態と目開き優先状態の切り替えを説明するための図である。図２（ａ）は被写体が最初から目を開いている状態、図２（ｂ）は被写体が最初から目を閉じている状態を示す。図２（ｃ）は被写体が最初は目を開いていて、途中から目を閉じた場合、図２（ｄ）は被写体が最初から目を閉じていて、途中で一度目を開くが再度目を閉じた場合を示す。
【００２４】
目瞑り優先状態、目開き優先状態とは、それぞれの状態を優先する状態のことである。すなわち、目瞑り優先状態とは、撮影者が、被写体が目瞑りしている画像を撮影したい状況であると判断して、撮像装置が目瞑り画像を優先的に選択する状態を意味する。被写体が目瞑りしている画像には、例えば、泣き顔や大笑い顔、寝顔などが含まれる。一方、目開き優先状態とは、撮影者が、被写体が目開きしている画像を撮影したい状況であると判断して、撮像装置が目開き画像を優先的に選択する状態を意味する。
【００２５】
図２（ａ）〜図２（ｄ）において、撮影枚数６０１は、撮像装置が連写撮影を行った際の撮影枚数である。被写体の目の状態６０２は、連写撮影により得られた複数の画像のそれぞれに写った被写体の目の状態である。撮像装置において、目を瞑っていると判定したときは「目瞑り」、目を開けていると判定したときは目開きとなる。なお、１つの画像に複数の被写体が写っている場合には、ユーザが指定した被写体の目の状態であってもよいし、最も多い被写体の目の状態であってもよい。優先状態６０３は、撮像装置の優先状態を示している。
【００２６】
図２（ａ）及び図２（ｂ）は最大撮影枚数（ここでは１５枚）まで撮影した場合であり、図２（ｃ）及び図２（ｄ）は、撮影者が撮像装置に撮影停止指示を行い、最大撮影枚数になる前に撮影を終了した場合である。
【００２７】
図２（ａ）に示す例では、被写体が最初から目を開いている状態であることが分かる。所々で、被写体の目瞑りが発生しているのは、被写体が瞬きを行うためである。この場合、撮像装置では、撮影者が、被写体が目を開いている状態を撮りたい状況であると判断する。
【００２８】
図２（ｂ）に示す例では、被写体が最初から目を閉じている状態であるが、優先状態６０３の初期設定は目開き優先状態である。そして、被写体の目の状態６０２が２枚連続して目瞑り状態であったことから、目開き優先状態から目瞑り優先状態に切り替わる。このような場合、撮像装置では、撮影者が、被写体が目を閉じている状態を撮りたい状況であると判断する。なお、本実施形態では、被写体の目の状態６０２が２枚連続して同じであった場合に優先状態６０３を切り替えているが、これに限定されるものではない。例えば、コマ速に応じて、優先状態の切り替えに要する枚数を可変としてもよい。
【００２９】
図２（ｃ）に示す例では、被写体が最初は目を開いているが、途中から目を閉じるようになっていることが分かる。この場合、目瞑り状態の方が目開き状態よりも撮影枚数が多いので、連写撮影された画像の中から１枚を選択して記録する設定が行われていたときは、撮影者が、被写体が目を閉じている状態を撮りたい状況であると判断する。
【００３０】
図２（ｄ）に示す例では、被写体が最初から目を閉じていて、途中で一度目を開くが、再度目を閉じるようになっていることが分かる。この場合、目開き状態の方が目瞑り状態よりも撮影枚数が多いので、連写撮影された画像の中から１枚を選択して記録する設定が行われていたときは、撮影者が、被写体が目を開いている状態を撮りたい状況であると判断する。
【００３１】
次に、上述した動作を踏まえて、図１の撮像装置における目瞑り状態／目開き状態判定処理の流れについて図３Ａ、図３Ｂ、図３Ｃを用いて説明する。
【００３２】
図３Ａ〜図３Ｃは、本発明の第１の実施形態に係る撮像装置で実行される画像選択処理の流れを示すフローチャートである。なお、本処理は、ＣＰＵ１０８が不図示のメモリから制御プログラムを読み出して実行することにより、図２に示す各機能部を制御することで成されるものとする。
【００３３】
図３Ａにおいて、ステップＳ２０１では、ＣＰＵ１０８は、撮像素子１０２等を制御して撮像処理を実行する。撮像処理では、撮像素子１０２から読み出された電荷信号が、Ａ／Ｄ変換部１０３、画像処理部１０４、フォーマット変換部１０５を介してＤＲＡＭ１０６に出力され、画像データとして書き込まれる。
【００３４】
次に、ステップＳ２０２では、ＣＰＵ１０８は、ＤＲＡＭ１０６に書き込まれた画像データから顔評価値（第１の評価値）を算出する（顔評価値算出処理）。ステップＳ２０２では、ＣＰＵ１０８は第１の評価値算出手段として機能する。この顔評価値算出処理の詳細については後述する。
【００３５】
次に、ステップＳ２０３にて、ＣＰＵ１０８は、目瞑り検出部１１７を制御して、撮影した画像から目瞑りしている被写体を検出する。次に、ステップＳ２０４において、ＣＰＵ１０８は、ステップＳ２０３の検出結果に基づいて、主被写体が目瞑り状態か否かを判定する。この主被写体とは、画面中央付近に存在し、サイズが最も大きいものとしてもよいし、予め登録していた被写体であってもよい。
【００３６】
ステップＳ２０４の判定の結果、ＣＰＵ１０８が、主被写体が目を閉じている状態、つまり目瞑り状態であると判断した場合、図３ＣのステップＳ２１４に進む。一方、主被写体が目を開いている状態、つまり目開き状態であると判断した場合、ステップＳ２０５に進む。
【００３７】
ステップＳ２０５では、ＣＰＵ１０８は、優先状態が目開き優先状態であるか否かの判定を行う。この優先状態の判定については、ＣＰＵ１０８が、ＤＲＡＭ１０６内の特定の領域に保存されている情報を読み出すことにより行われる。このＤＲＡＭ１０６内の特定の領域に保存される情報は、後述する処理により随時更新される。この情報の初期設定として、目開き状態が設定されていても、目瞑り状態が設定されていてもよい。
【００３８】
ステップＳ２０５の判定の結果、ＣＰＵ１０８が、目開き優先状態でない、すなわち目瞑り優先状態であると判定した場合はステップＳ２０９へ進む。一方、目開き優先状態であると判定した場合、ステップＳ２０６に進み、ＣＰＵ１０８は目瞑りカウンタをクリアする。目瞑りカウンタとは、目開き優先状態において、目瞑り状態の時間が、どの程度連続したかを測るための変数である。
【００３９】
次に、ステップＳ２０７にて、ＣＰＵ１０８は、目開き優先カウンタを＋１する。目開き優先カウンタとは、目開き優先状態の時間が、どの程度連続しているかを測るための変数である。目開き優先カウンタの値はＤＲＡＭ１０６に保存される。
【００４０】
次に、ステップＳ２０８にて、ＣＰＵ１０８は、目開き優先カウンタの値をＤＲＡＭ１０６に記録して、図３ＢのステップＳ２２３へ進む。目開き優先カウンタの値を記録する理由は、優先状態が何枚連続したかを判定するためである。連写撮影された画像の中から１枚を選択して記録する設定が行われていた場合、より長く優先状態が続いた方を優先的に残すこととする。より長く状態の続いた方を優先的に残すのは、撮影者が、そのような意図を持って連続撮影を続けていると考えられるからである。
【００４１】
ステップＳ２０９では、ＣＰＵ１０８は、目開きカウンタを＋１する。目開きカウンタとは、目瞑り優先状態において、目開き状態の時間が、どの程度連続したかを測るための変数である。
【００４２】
次に、ステップＳ２１０にて、ＣＰＵ１０８は、目瞑り優先状態での目開き顔評価値（第３の評価値）を算出する。ここでは、ステップＳ２０２で求めた顔評価値を下げるように計算が行われる。例えば、顔評価値から所定の数値（−１００など）を引いたり、顔評価値に０．５を掛けることなどが挙げられる。ステップＳ２１０では、ＣＰＵ１０８は第３の評価値算出手段として機能する。
【００４３】
次に、ステップＳ２１１にて、ＣＰＵ１０８は、目開きカウンタの値が所定値以上かの判定を行う。目開きカウンタの値が所定値以上であった場合、つまり所定回数以上目を開いている状態が連続していると判断された場合は、撮影者が、目を開いている被写体を撮影したい意志があると判断する。そして、ＣＰＵ１０８は、ステップＳ２１２にて目開き優先状態へ切り替える。つづいて、ステップＳ２１３にて、ＣＰＵ１０８は、目開き優先カウンタをクリアし、図３ＢのステップＳ２２３へ進む。
【００４４】
一方、ステップＳ２１１の判定の結果、目開きカウンタの値が所定値未満であると判定した場合は、図３ＢのステップＳ２２３へ進む。
【００４５】
図３Ｃにおいて、ステップＳ２１４では、ＣＰＵ１０８は、優先状態が目瞑り優先状態であるか否かの判定を行う。この判定の結果、ＣＰＵ１０８が、目瞑り優先状態でない、すなわち目開き優先状態であると判定した場合はステップＳ２１８へ進む。一方、目瞑り優先状態であると判定した場合、ステップＳ２１５に進み、ＣＰＵ１０８は目開きカウンタをクリアする。
【００４６】
次に、ステップＳ２１６にて、ＣＰＵ１０８は、目瞑り優先カウンタを＋１する。目瞑り優先カウンタとは、目瞑り優先状態の時間が、どの程度連続しているかを測るための変数である。目瞑り優先カウンタの値はＤＲＡＭ１０６に保存される。
【００４７】
次に、ステップＳ２１７にて、ＣＰＵ１０８は、目瞑り優先カウンタの値をＤＲＡＭ１０６に記録して、図３ＢのステップＳ２２３へ進む。目瞑り優先カウンタの値を記録する理由は、優先状態が何枚連続したかを判定するためである。連写撮影された画像の中から１枚を選択して記録する設定が行われていた場合、より長く優先状態が続いた方を優先的に残すこととする。より長く状態の続いた方を優先的に残すのは、撮影者が、そのような意図を持って連続撮影を続けていると考えられるからである。
【００４８】
ステップＳ２１８では、ＣＰＵ１０８は、目瞑りカウンタを＋１する。次に、ステップＳ２１９にて、ＣＰＵ１０８は、目開き優先状態での目瞑り顔評価値（第４の評価値）を算出する。ここでは、ステップＳ２０２で求めた顔評価値を下げるように計算が行われる。例えば、顔評価値から所定の数値（−１００など）を引いたり、顔評価値に０．５を掛けることなどが挙げられる。ステップＳ２１８では、ＣＰＵ１０８は第４の評価値算出手段として機能する。
【００４９】
次に、ステップＳ２２０にて、ＣＰＵ１０８は、目瞑りカウンタの値が所定値以上かの判定を行う。目瞑りカウンタの値が所定値以上であった場合、つまり所定回数以上目を閉じている状態が連続していると判断された場合は、撮影者が、目を瞑っている被写体を撮影したい意志があると判断する。そして、ＣＰＵ１０８は、ステップＳ２２１にて目瞑り優先状態へ切り替える。つづいて、ステップＳ２２２にて、ＣＰＵ１０８は、目瞑り優先カウンタをクリアし、図３ＢのステップＳ２２３へ進む。
【００５０】
図３Ｂにおいて、ステップＳ２２３では、ＣＰＵ１０８は、画像評価値を算出する。
ここでは、目瞑り優先状態で目瞑りと判定された場合又は目開き優先状態で目開きと判定された場合において、ステップＳ２０２で求めた顔評価値から、最終的に画像に付与する画像評価値（第２の評価値）が算出される。一方、目瞑り優先状態で目開きと判定された場合又は目開き優先状態で目瞑りと判定された場合、ステップＳ２１０で算出した目開き顔評価値又はステップＳ２１９で算出した目瞑り顔評価値から、最終的に画像に付与する画像評価値（第２の評価値）が算出される。ステップＳ２２３では、ＣＰＵ１０８は第２の評価値算出手段として機能する。
【００５１】
次に、ステップＳ２２４では、ＣＰＵ１０８は、処理の対象となる撮影画像が１枚目の画像かを判定する。この判定の結果、１枚目の画像であると判定した場合、ＣＰＵ１０８は、その１枚目の画像を記録予定画像としてＤＲＡＭ１０６に保存して、ステップＳ２２７へ進む。一方、１枚目の画像でない、つまり２枚目以降の画像であると判定した場合、ステップＳ２２５に進む。
【００５２】
ステップＳ２２５では、ＣＰＵ１０８は、撮影した画像の画像評価値（現在の画像評価値）と、記録予定画像としてＤＲＡＭ１０６に保存されている画像の評価値とを比較する。この比較対象となる撮影した画像の画像評価値は、ステップＳ２２３で算出した画像評価値である。
【００５３】
また、ステップＳ２２５では、ＣＰＵ１０８は、目瞑り優先カウンタの値と目開き優先カウンタの値を比較し、優先カウンタの値が所定値以上高い方を、画像評価値に関わらず、優先的に記録予定画像とする。すなわち、目瞑り優先カウンタの値と目開き優先カウンタの値を比較することで、どちらの優先状態が連続して続いたかを判断し、より長い時間、優先状態が続いた方の画像を優先する。
【００５４】
ステップＳ２２６では、ＣＰＵ１０８は、現在の画像評価値が高いか否かを判定する。ＣＰＵ１０８は、現在の画像評価値が高いと判断した場合、或いは、現在の優先カウンタの値が所定値以上高いと判断した場合は、ステップＳ２２７にて、記録予定画像を現在の画像に更新する。これにより、ＤＲＡＭ１０６に保存されている画像が現在の画像に置き換わる。ステップＳ２２６の判定の結果、ＣＰＵ１０８が、現在の画像評価値が高くないと判断した場合は、ステップＳ２２８へ進む。
【００５５】
ステップＳ２２８では、ＣＰＵ１０８は、現在の撮影枚数が最少撮影枚数であるかの判断を行う。最少撮影枚数とは、撮影指示が行われた場合に必ず撮影する枚数のことである。画像選択処理では、複数枚の撮影画像からユーザの撮影意図に沿う画像を選択するので、複数枚撮影する必要がある。ステップＳ２２８において、ＣＰＵ１０８が最少撮影枚数まで達していないと判断した場合、図３ＡのステップＳ２０１に戻り、撮影を継続する。ＣＰＵ１０８が最小撮影枚数まで達していると判断した場合は、ステップＳ２２９へ進む。
【００５６】
ステップＳ２２９では、ＣＰＵ１０８は、撮影終了指示が出されたかの判断を行う。撮影終了指示の態様については、撮影者が押下していたＳＷ２＿１１３を離すことであってもよいし、ユーザが操作部１０９を直接操作するものであってもよい。ＣＰＵ１０８は、撮影終了指示が出されたと判断した場合は、ステップＳ２３１にて、ＤＲＡＭ１０６に保存されている画像を画像記録部１０７へ記録し、本処理を終了する。
【００５７】
一方、ステップＳ２２９の判定の結果、撮影終了指示が出されていないと判断した場合、ＣＰＵ１０８は、現在の撮影枚数が最大撮影枚数撮影であるかの判断を行う。最大撮影枚数とは、連続して撮影する時間が所定時間以上過ぎてしまうと、撮影するシーンが変わってしまい、評価値の比較を行うことが困難になるので、同一シーンであるように設定する枚数のことである。最大撮影枚数まで撮影していないと判断された場合は、図３ＡのステップＳ２０１に戻り、撮影処理が行われる。一方、ステップＳ２３０の判定の結果、最大撮影枚数まで撮影していると判断された場合は、ステップＳ２３１にて、ＤＲＡＭ１０６に書き込まれている画像を画像記録部１０７へ記録し、本処理を終了する。
【００５８】
このように、本処理では、目瞑り優先状態であるときは、撮影者が、目瞑りしている画像、例えば、泣き顔や、大笑い顔、寝顔などを撮影したい状況であると判断し、目瞑り画像であっても、画像評価値を下げない。一方、目開き優先状態であるときは、撮影者は、目開きしている画像を撮影したい状況であると判断し、目瞑り画像の評価値を下げる。目開き優先状態又は目瞑り優先状態への切り替えは、連続してその状態が続く場合や、また撮影開始時にどの優先状態であったか、などにより判断することが可能である。また、ユーザが予め、どちらの状態を優先するか設定しておいてもよい。優先状態が確定していない場合は、目開き状態としておく。
【００５９】
次に、図３ＡのステップＳ２０２における顔評価値算出処理について図４を参照して説明する。
【００６０】
図４は、図３ＡのステップＳ２０２における顔評価値算出処理を示すフローチャートである。
【００６１】
まず、ステップＳ３０１では、ＣＰＵ１０８は、顔位置を評価する。具体的には、ＣＰＵ１０８は、顔検出部１１４にて検出された顔位置情報や撮影された画像の情報から、顔位置が、画面を六分割した交点付近若しくは画面中央付近、これら３点に近い位置にあるか否かで評価を行う。図５（ａ）、図５（ｂ）を用いて、ステップＳ３０１における顔位置の評価方法について説明する。
【００６２】
図５（ａ）の５０１は、撮影者が撮像装置を横に構えて撮像したときに撮影画像である。５０２は、撮影画像５０１の画面を六分割したときの交点、５０３は画面中央付近の点である。画面中央付近の点は、画面中心より少し上に配置される。
【００６３】
図５（ｂ）の５０５は、撮影者が撮像装置を縦に構えて撮像したときの撮影画像である。５０６は、撮影画像５０５の画面を六分割したときの交点、５０７は画面中央付近の点である。画面中法付近の点は、画面中心より上の方に配置される。
【００６４】
ステップＳ３０１では、顔検出部１１４により検出された顔位置がこれらの点に近ければ近いほど、ＣＰＵ１０８が、顔位置（第１の顔位置）の評価値を高くする。
【００６５】
次に、ステップＳ３０２では、ＣＰＵ１０８は、顔が画像からはみ出していないかを評価する。具体的には、ＣＰＵ１０８は、顔検出部１１４にて検出された顔のサイズ、座標、さらに、画像の座標情報から、顔がはみ出していないかを判定する。顔が画像からはみ出していると判断された場合、ＣＰＵ１０８は、顔位置（第２の顔位置）の評価値を低くする。
【００６６】
次に、ステップＳ３０３では、ＣＰＵ１０８は、笑顔の評価を行う。具体的には、笑顔検出部１１５にて検出された笑顔レベルによって、被写体が笑っていると判断された場合は、笑顔の評価値が高くなる。笑顔であるかの判断は、所定の閾値を設け、その閾値より高い数値の笑顔レベルが検出されることにより行う、などの方法がある。
【００６７】
次に、ステップＳ３０４では、ＣＰＵ１０８は、視線の評価を行う。目領域検出部１１６、視線検出部１１８により、視線が撮像装置に向いている判断された場合、ＣＰＵ１０８は、視線の評価値を高くする。
【００６８】
次に、ステップＳ３０５では、ＣＰＵ１０８は、輝度の評価を行う。輝度の評価は、顔付近の輝度がより適正であるかにより行われる。顔付近の輝度が適正から大きく外れていると判断された場合、ＣＰＵ１０８は、輝度の評価値を低くする。
【００６９】
次に、ステップＳ３０６では、ＣＰＵ１０８は、ピント状態の評価を行う。ＣＰＵ１０８は、画像処理部１０４にて抽出される特性周波数帯域の信号成分から画像のピント状態を検出し、ブレなどにより所定以上ピントが合っていないと判断した場合、ピント状態の評価値を低くする。
【００７０】
そして、ＣＰＵ１０８は、上述したステップＳ３０１〜Ｓ３０６にて得られた各評価値に基づいて、顔評価値を算出する。例えば、全ての評価値を足し合わせてもよいし、各評価値に重みづけを行い、算出してもよい。また、ピント評価値以外は足し合わせ、その足し合わせた値に対して、ピント評価値を掛けることによって算出してもよい。
【００７１】
上記第１の実施形態によれば、得られた複数の画像から所定の条件に基づく顔評価値を算出し、特定の被写体が目を瞑っている状態であるか、目を開いている状態であるかを判断する。そして、特定の被写体が目を瞑っている状態であると判断された場合は、目瞑り優先状態に切り替え、特定の被写体が目を開いている状態であると判断された場合は、目開き優先状態に切り替える。さらに、目瞑り優先状態のときに、特定の被写体が目を瞑っている状態であると判断された場合、及び、目開き優先状態のときに、特定の被写体が目を開いている状態であると判断された場合には、顔評価値から画像評価値を算出する。そして、算出された画像評価値に応じて、記録する画像を選択する。これにより、撮影者が意図する特定の被写体の泣き顔や寝顔のような目を瞑った顔の画像を効率よく記録できると共に、被写体の目が開いている画像をも効率よく記録することができる。
【００７２】
なお、上記実施形態では、記録予定画像を１枚だけ記録する場合について説明したが、複数枚を記録するようにしてもよい。例えば、予め設定された基準値を超える画像評価値が付与された画像のみを記録するように構成してもよい。また、記録する枚数を予め設定して、当該枚数に達したときに画像を記録するように設定してもよい。
【００７３】
［第２の実施形態］
本発明の第２の実施の形態に係る撮像装置は、その構成が図１を用いて説明した上記第１の実施の形態に係る撮像装置と同じであり、同一の構成要素については同一の符号を用いて、その説明を省略する。
【００７４】
本発明の第２の実施形態に係る撮像装置における画像選択処理について図６Ａ、図６Ｂ、図６Ｃを参照して説明する。
【００７５】
図６Ａ〜図６Ｃは、本発明の第２の実施形態に係る撮像装置で実行される画像選択処理の流れを示すフローチャートである。なお、図３Ａ〜図３Ｃを用いて説明したステップと同一のステップについては、同一のステップ番号を付して、その詳細な説明は省略する。
【００７６】
図６Ａでは、ステップＳ２０５の判定の結果、ＣＰＵ１０８が目開き優先状態であると判定した場合、ステップＳ４０１に進み、目開き優先状態での目開き顔評価値を算出する。ここでは、ステップＳ２０２で求めた顔評価値を上げるように計算が行われる。例えば、顔評価値に対して、所定数値を足したり、１より大きい所定係数を掛けたりすることが挙げられる。
【００７７】
そして、ステップＳ２０６に進み、ＣＰＵ１０８が目瞑りカウンタをクリアした後、図６ＢのステップＳ４０５へ進む。
【００７８】
また、図６Ａにおいて、ステップＳ２１２の後は、図３ＡのステップＳ２１３を実行することなく、図６ＢのステップＳ４０５へ進む。
【００７９】
図６Ｃでは、ステップＳ２１４の判定の結果、ＣＰＵ１０８が目瞑り優先状態であると判定した場合、ステップＳ４０２に進み、目瞑り優先状態での目瞑り顔評価値を算出する。ここでは、ステップＳ２０２で求めた顔評価値を上げるように計算が行われる。例えば、顔評価値に対して、所定数値を足したり、１より大きい所定係数を掛けたりすることが挙げられる。
【００８０】
そして、ステップＳ２１５に進み、ＣＰＵ１０８は目開きカウンタをクリアした後、図６ＢのステップＳ４０５へ進む。
【００８１】
また、図６Ｃにおいて、ステップＳ２２１の後は、図３ＣのステップＳ２２２を実行することなく、図６ＢのステップＳ４０５へ進む。
【００８２】
図６ＢのステップＳ４０５では、ＣＰＵ１０８は、画像評価値を算出する。ここでは、目瞑り優先状態で目瞑りと判定された場合又は目開き優先状態で目開きと判定された場合において、ステップＳ４０１やステップＳ４０２で求めた顔評価値から、最終的に画像に付与する画像評価値が算出される。反対に、目瞑り優先状態で目開きと判定された場合又は目開き優先状態で目瞑りと判定された場合では、ステップＳ２１１やステップＳ２２０で算出した目開き顔評価値又は目瞑り顔評価値から、最終的に画像に付与する画像評価値が算出される。
【００８３】
次に、ステップＳ２２４では、ＣＰＵ１０８は、処理の対象となる撮影画像が１枚目の画像かを判定する。本実施形態では、目開き、目瞑りの優先状態が切り替わった時点で、画像記録部１０７への画像データの記録が行われる。この記録が行われた後の１枚目も、ここで判断される。記録後の１枚目であれば、ＣＰＵ１０８が１枚目の画像であると判断し、ステップＳ２２７にて、記録予定画像を現在の画像に更新する。これにより、ＤＲＡＭ１０６に保存されている画像が現在の画像に置き換わる。
【００８４】
図６ＢのステップＳ４０３では、ＣＰＵ１０８は、目開き、目瞑りの優先状態が切り替わったか否かの判断を行う。優先状態が切り替わった場合、ＣＰＵ１０８は、それまでの評価において、記録予定画像としてＤＲＡＭ１０６に記録されている画像を画像記録部１０７へ記録して（ステップＳ４０４）、図６ＡのステップＳ２０１に戻り、撮像処理を行う。
【００８５】
このように、優先状態が切り替わるときに、画像の記録動作を行うことで、目開き優先状態、目瞑り優先状態において、撮影書の所望の画像を、それぞれ記録することが可能である。
【００８６】
上記第２の実施形態によれば、目開き、目瞑りの優先状態が切り替わったときに、目開き顔評価値、目瞑り顔評価値を算出するので、処理速度や処理効率を向上させることが可能となる。
【００８７】
上記実施形態では、本発明を撮像装置に適用した場合について説明したが、これに限定されず、画像処理装置であってもよいことは云うまでもない。なお、画像処理装置に適用された場合、撮像機能がなく、撮影終了指示や撮影枚数のカウント等を行わないことから、例えば、図３Ｂ、図６ＢのステップＳ２２８〜Ｓ２３０については削除されていてもよい。
【００８８】
また、上記実施形態では、連写撮影に適用した場合について説明したが、これに限定されず、動画撮影を行った際のそれぞれのフレーム画像に対して画像評価値を付与する場合にも適用できる。すなわち、動画の中から、画像評価値の高いフレーム画像を抽出したり、画像評価値を用いて連続するフレーム画像を区切る位置の目安としたりすることが可能となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８９】
１０１  撮像レンズ
１０２  撮像素子
１０４  画像処理部
１０８  システム制御部（ＣＰＵ）
１１４  顔検出部
１１５  笑顔検出部
１１６  目領域検出部
１１７  目瞑り検出部
１１８  視線検出部
【図１】
2012034276.tif 000003
【図２】
2012034276.tif 000004
【図３Ａ】
2012034276.tif 000005
【図３Ｂ】
2012034276.tif 000006
【図３Ｃ】
2012034276.tif 000007
【図４】
2012034276.tif 000008
【図５】
2012034276.tif 000009
【図６Ａ】
2012034276.tif 000010
【図６Ｂ】
2012034276.tif 000011
【図６Ｃ】
2012034276.tif 000012