(57)【要約】【課題】  本発明は、手間をかけずに簡単にして、瞼を閉じている顔の画像から瞼を開いている顔の画像に修正できる撮像装置を提供する。【解決手段】  撮像装置は、撮像素子、顔検出部、顔認識部、判断部、照合部、抽出部及び修正部を備える。撮像素子は、被写体の像を撮像し、画像を生成する。顔検出部は、画像の中から顔の領域を検出する。顔認識部は、顔を識別する特徴を顔の領域から認識する。判断部は、顔認識部の認識結果に基づいて、顔の領域内の瞼の開閉状態を判断する。照合部は、判断部により瞼を閉じていると判断された場合、メモリに記録されている他の画像を検索し、同一被写体でかつ瞼を開いている顔が存在するか否かを照合する。抽出部は、照合部が、同一被写体でかつ瞼を開いている顔を照合した場合、瞼を開いている顔の目の領域を少なくとも抽出する。修正部は、抽出部が抽出した抽出領域を、瞼を閉じている顔の画像に適合させて修正処理を行なう。【選択図】    図１
2013141104.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を撮像し、画像を生成する撮像素子と、
前記画像を解析して前記画像の中から顔の領域を検出する顔検出部と、
前記顔を識別する特徴を前記顔の領域から認識する顔認識部と、
前記顔認識部の認識結果に基づいて、前記顔の領域内の瞼の開閉状態を判断する判断部と、
前記判断部により前記瞼を閉じていると判断された場合、メモリに記録されている他の画像を検索し、同一被写体でかつ前記瞼を開いている顔が存在するか否かを照合する照合部と、
前記照合部が、前記同一被写体でかつ前記瞼を開いている顔を照合した場合、前記瞼を開いている顔の目の領域を少なくとも抽出する抽出部と、
前記抽出部が抽出した抽出領域を、前記瞼を閉じている顔の画像に適合させて修正処理を行なう修正部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記修正部は、前記抽出領域を拡大又は縮小することにより、前記瞼を閉じている顔の画像に適合させて修正処理を行なうことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記顔の傾きを検出する傾き検出部をさらに備え、
前記傾き検出部は、前記傾きを補正する傾き補正角度を算出し、
前記修正部は、前記傾き補正角度に基づいて、前記抽出領域を、前記瞼を閉じている顔の画像に適合させて修正処理を行なうことを特徴とする撮像装置。
【請求項４】
請求項１に記載の撮像装置において、
前記画像の輝度分布を解析する輝度解析部をさらに備え、
前記修正部は、輝度解析部の解析結果に基づいて、前記抽出領域の明るさを、前記瞼を閉じている顔の明るさに適合させて修正処理を行なうことを特徴とする撮像装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の撮像装置において、
前記修正部が修正処理した画像と前記特徴を示す特徴情報とを関連付けて登録するデータベースをさらに備え、
前記照合部は、前記判断部により前記瞼を閉じていると判断された場合、前記データベースを検索し、同一被写体でかつ前記瞼を開いている顔が存在するか否かを前記特徴情報に基づいて照合することを特徴とする撮像装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の撮像装置において、
前記顔検出部が複数の顔を検出した場合、前記顔認識部と、前記判断部と、前記照合部と、前記抽出部と、前記修正部とは、顔別に処理をそれぞれ行なうことを特徴とする撮像装置。
【請求項７】
請求項１から請求項６の何れか１項に記載の撮像装置において、
前記顔は、人物の顔であることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置の一種である電子カメラでの撮影では、撮影の瞬間に被写体である人物が瞼を閉じてしまうために、瞼を閉じた人物の撮影画像が生成してしまうことがある。
【０００３】
そこで、目の画像を多数保存するデータベースを用いて、そのデータベースから目の画像を選択し、閉じた瞼の領域を所望の目の画像に修正する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、例えば、オペレータに修正する目を選択入力させて、同一人物の目を修正している。そのため、オペレータが合致する目を判断するのに手間がかかるおそれが生じる。
【０００６】
そこで、本発明は、上記事情に鑑み、手間をかけずに簡単にして、瞼を閉じている顔の画像から瞼を開いている顔の画像に修正できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る撮像装置は、撮像素子と、顔検出部と、顔認識部と、判断部と、照合部と、抽出部と、修正部とを備える。撮像素子は、被写体の像を撮像し、画像を生成する。顔検出部は、画像を解析して画像の中から顔の領域を検出する。顔認識部は、顔を識別する特徴を顔の領域から認識する。判断部は、顔認識部の認識結果に基づいて、顔の領域内の瞼の開閉状態を判断する。照合部は、判断部により瞼を閉じていると判断された場合、メモリに記録されている他の画像を検索し、同一被写体でかつ瞼を開いている顔が存在するか否かを照合する。抽出部は、照合部が、同一被写体でかつ瞼を開いている顔を照合した場合、瞼を開いている顔の目の領域を少なくとも抽出する。修正部は、抽出部が抽出した抽出領域を、瞼を閉じている顔の画像に適合させて修正処理を行なう。
【０００８】
第２の発明は、第１の発明において、修正部は、抽出領域を拡大又は縮小することにより、瞼を閉じている顔の画像に適合させて修正処理を行なう。
【０００９】
第３の発明は、第１の発明において、傾き検出部をさらに備える。傾き検出部は、顔の傾きを検出する。傾き検出部は、傾きを補正する傾き補正角度を算出し、修正部は、その傾き補正角度に基づいて、抽出領域を、瞼を閉じている顔の画像に適合させて修正処理を行なう。
【００１０】
第４の発明は、第１の発明において、輝度解析部をさらに備える。輝度解析部は、画像の輝度分布を解析する。修正部は、輝度解析部の解析結果に基づいて、抽出領域の明るさを、瞼を閉じている顔の明るさに適合させて修正処理を行なう。
【００１１】
第５の発明は、第１から第４の発明の何れかにおいて、データベースをさらに備える。データベースは、修正部が修正処理した画像と特徴を示す特徴情報とを関連付けて登録する。照合部は、判断部により瞼を閉じていると判断された場合、データベースを検索し、同一被写体でかつ瞼を開いている顔が存在するか否かを特徴情報に基づいて照合する。
【００１２】
第６の発明は、第１から第５の発明の何れかにおいて、顔検出部が複数の顔を検出した場合、顔認識部と、判断部と、照合部と、抽出部と、修正部とは、顔別に処理をそれぞれ行なう。
【００１３】
第７の発明は、第１から第５の発明の何れかにおいて、顔は、人物の顔である。
【発明の効果】
【００１４】
本発明は、手間をかけず簡単にして、瞼を閉じている顔の画像から瞼を開いている顔の画像に修正できる撮像装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の電子カメラ１の構成例を説明するブロック図
【図２】自動修正モードの動作の一例を示すフローチャート
【図３】自動修正モードの処理の流れを模式的に説明する図
【図４】傾き補正処理の流れを模式的に説明する図
【図５】明るさ補正処理を模式的に説明する図
【図６】第１変形例を説明する図
【図７】第２変形例を説明する図
【発明を実施するための形態】
【００１６】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。ここでは、本発明の撮像装置の一実施形態である電子カメラを例に取り上げて説明する。
【００１７】
図１は、本実施形態の電子カメラ１の構成例を説明するブロック図である。ここで、本実施形態の電子カメラ１は、瞼を閉じている顔の画像（以下「瞼を閉じた画像」という。）から瞼を開いている顔の画像（以下「瞼を開いた画像」という。）に自動的に修正するモード（以下「自動修正モード」という。）を有する。自動修正モードの具体的な内容については、後述する。なお、瞼を閉じた画像は、慣用的に目を閉じた画像と表現し、瞼を開いた画像は、慣用的に目を開いた画像と表現しても良い。
【００１８】
電子カメラ１は、図１に示す通り、撮影光学系１０と、撮像素子１１と、信号処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、画像処理部１４と、フラッシュメモリ１５と、表示モニタ１６と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という。）１７と、操作部１８と、レリーズ釦１９と、ＣＰＵ２０と、バス２８とを備える。
【００１９】
このうち、信号処理部１２、ＲＡＭ１３、画像処理部１４、フラッシュメモリ１５、記録Ｉ／Ｆ部１７、表示モニタ１６及びＣＰＵ２０は、バス２１を介して互いに接続されている。
【００２０】
撮影光学系１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。
【００２１】
撮像素子１１は、被写体の像を撮像し、アナログの画像信号（画像）を生成する。そして、撮像素子１１が出力するアナログの画像信号は、信号処理部１２に入力される。なお、撮像素子１１の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１１の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。
【００２２】
ここで、撮像素子１１は、電子カメラの撮影モードにおいて、レリーズ釦１９の全押し操作に応答して記録用の撮影画像を撮像する。また、撮像素子１１は、撮影待機時にも所定間隔毎に構図確認用の画像（スルー画像）を連続的に撮像する。
【００２３】
なお、撮像素子１１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型、又は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサである。
【００２４】
信号処理部１２は、撮像素子１１が出力する画像信号に対してアナログ信号処理を施すアナログフロントエンド回路（ＡＦＥ）と、そのＡＦＥでアナログ信号処理が施された画像信号に対して、デジタル信号処理を施すデジタルフロントエンド回路（ＤＦＥ）とを有する。信号処理部１２のＡＦＥは、アナログの画像信号に対して相関二重サンプリングやゲイン調整をした後、アナログの画像信号をデジタルの画像信号に変換する（Ａ／Ｄ変換）処理等を行なう。ここで、信号処理部１２のＡＦＥは、画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度を調整できる。
【００２５】
また、信号処理部１２のＤＦＥは、Ａ／Ｄ変換されたデジタルの画像信号の修正処理等を行なう。この信号処理部１２が出力する画像信号は、ＲＧＢ信号の画像データとしてＲＡＭ１３に一時的に記録される。ＲＡＭ１３は、画像データを一時的に記録するバッファメモリである。
【００２６】
画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、必要に応じて各種の画像処理（例えば、ホワイトバランス処理、色補間処理、階調変換処理、輪郭強調処理等）を施す。
【００２７】
フラッシュメモリ１５は、電子カメラ１の制御を行なうプログラム等を予め記憶している不揮発性のメモリである。このフラッシュメモリ１５には、自動修正モードを実行するための自動修正モード用プログラムが予め記録されている。また、フラッシュメモリ１５は、データベース１５ａを有する。データベース１５ａには、自動修正モードで使用する情報テーブルを有する。この情報テーブルの内容の詳細については、図６を用いて後述する。
【００２８】
表示モニタ１６は、例えば液晶表示媒体により構成される。表示モニタ１６は、ＣＰＵ２０の指示に応じて各種画像や電子カメラ１の操作メニュー等を表示する。
【００２９】
記録Ｉ／Ｆ部１７には、着脱自在の記録媒体Ｍ１を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１７は、そのコネクタに接続された記録媒体Ｍ１にアクセスして画像の記録処理等を行なう。この記録媒体Ｍ１は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体Ｍ１を示している。
【００３０】
操作部１８は、ユーザの操作を受け付ける複数の釦（不図示）を有している。レリーズ釦１９は、半押し操作（撮像の準備動作開始）の指示入力と全押し操作（撮像の動作開始）との指示入力とを受け付ける。
【００３１】
ＣＰＵ２０は、各種演算及び電子カメラ１の制御を行なうプロセッサである。ＣＰＵ２０は、フラッシュメモリ１５に予め格納されたシーケンスプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。
【００３２】
本実施形態では、フラッシュメモリ１５内の自動修正モード用プログラムがＣＰＵ２０に読み込まれる。そして、ＣＰＵ２０は、自動修正モード用プログラムを実行することによって、顔検出部２０ａと、顔認識部２０ｂと、判断部２０ｃと、照合部２０ｄと、抽出部２０ｅと、傾き検出部２０ｆと、輝度解析部２０ｇと、修正部２０ｈとしても機能する。
【００３３】
顔検出部２０ａは、画像を解析して画像の中から顔の領域を検出する。具体的には、顔検出部２０ａは、撮像素子１１から出力された記録用の画像データに基づいて色の成分や輝度値を取得する。この場合、顔検出部２０ａは、肌色成分の領域を特定する等して、顔の領域を検出する。そして、顔検出部２０ａは、顔領域の画像内の位置情報（位置座標等）を特定する。
【００３４】
顔認識部２０ｂは、顔を識別する特徴を顔の領域から認識する。具体的には、顔認識部２０ｂは、例えば特開２００１−１６５７３号公報等に記載された特徴抽出処理によって顔の特徴（特徴部位）を抽出する。特徴部位としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔認識部２０ｂは、顔領域の位置情報を特定する。
【００３５】
判断部２０ｃは、顔認識部２０ｂの認識結果に基づいて、顔の領域内の瞼の開閉状態を判断する。具体的には、判断部２０ｃは、顔認識部２０ｂの認識した目の領域に対して、例えば、特開２０００−２３５６４８号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出する。そして、判断部２０ｃは、瞬きの度合いから、瞼の開閉状態を判断する。
【００３６】
照合部２０ｄは、判断部２０ｃにより瞼を閉じていると判断された場合、フラッシュメモリ１５や記録媒体Ｍ１に記録されている他の画像を検索し、同一被写体でかつ瞼を開いている顔が存在するか否かを照合する。照合部２０ｄは、例えば、周知のパターンマッチング処理により照合する。
【００３７】
ただし、瞼を開いている顔と、瞼を閉じている顔とでは、瞼の開閉状態が異なるので、目の付近のパターンマッチングが一致しなくなる。そのため、照合部２０ｄは、目の領域を除く他の特徴部位のパターンマッチングに基づいて、照合処理を行なう。
【００３８】
抽出部２０ｅは、照合部２０ｄが同一被写体でかつ瞼を開いている顔を照合した場合、瞼を開いている顔の目の領域を少なくとも抽出する。具体的には、抽出部２０ｅは、撮影画像の座標に基づいて、目の領域を抽出領域として抽出する。或いは、抽出部２０ｅは、目を含む領域を抽出領域としても良い。ここで、抽出するとは、例えば、その抽出領域を切り出すことを意味する。つまり、本実施形態では、目だけに限らず、目の領域と合わせて眉毛等、他の特徴部位も抽出領域として修正しても良い。
【００３９】
傾き検出部２０ｆは、画像を解析して、顔の傾きを検出する。輝度解析部２０ｇは、画像の輝度分布を解析する。修正部２０ｈは、抽出部２０ｅが抽出した抽出領域を、瞼を閉じた画像に適合させて修正処理を行なう。傾き検出部２０ｆ、輝度解析部２０ｇ及び修正部２０ｈの詳細は、動作の説明の際、後述する。
【００４０】
次に、本実施形態の電子カメラ１における自動修正モードにおける動作の一例を説明する。
【００４１】
図２は、自動修正モードの動作の一例を示すフローチャートである。図３は、自動修正モードの処理の流れを模式的に説明する図である。
【００４２】
ここでは、撮影者によりレリーズ釦１９の全押し操作がなされ、電子カメラ１が画像を取得したことを前提とする。なお、本実施形態では、説明をわかりやすくするため、今回撮影した画像であって、目の修正処理を行なう画像を撮影画像といい、既に記録媒体Ｍ１やフラッシュメモリ１５に記録されている撮影画像を単に画像ということがある。図３（ａ）は、撮影画像の一例を示している。図３（ａ）では、瞼を閉じた被写体の人物Ｐ１が写っている。
【００４３】
そして、図１に示す操作部１８が、先ず、自動修正モードの指示入力を受け付けた場合、ＣＰＵ２０は、図２に示すフローの処理を開始させる。なお、説明の便宜上、記録媒体Ｍ１には、被写体の顔が写っている画像が既に複数枚記録されていることとする。
【００４４】
ステップＳ１０１：ＣＰＵ２０の顔検出部２０ａは、顔検出処理を行なう。さらに、ＣＰＵ２０の顔認識部２０ｂは、認識処理を行なう。具体的には、顔検出部２０ａは、今回撮影された撮影画像の画像データを解析して、肌色成分の領域を特定する等して、顔の領域を検出する。続いて、顔認識部２０ｂは、顔の領域に対して、特徴抽出処理によって顔の特徴部位を抽出する。そして、ＣＰＵ２０は、ステップＳ１０２の処理に移行する。
【００４５】
ステップＳ１０２：ＣＰＵ２０の判断部２０ｃは、先ず、瞬き検出処理を行なう。具体的には、判断部２０ｃは、顔認識部２０ｂの認識した目の領域に対して、上述した瞬き検出処理によって、瞬きの度合いを検出する。そして、ＣＰＵ２０は、ステップＳ１０３の処理に移行する。
【００４６】
ステップＳ１０３：判断部２０ｃは、瞬きの度合いから、瞼の開閉状態を判断する。すなわち、判断部２０ｃは、瞼を閉じた画像か否かを判断する。瞼を閉じた画像の場合（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１０４の処理に移行する。一方、瞼を開いた画像の場合（ステップＳ１０３：Ｎｏ）、ＣＰＵ２０は、修正する必要がないため、図２に示すフローの処理を終了させる。
【００４７】
ステップＳ１０４：ＣＰＵ２０は、記録媒体Ｍ１等のメモリを参照し、ステップＳ１０４に移行する毎に、前回ステップＳ１０４で選択された画像に対して、時系列に１枚前に撮影された画像が有るか否かを判定する。ただし、１番初めにステップＳ１０４に移行した場合には、今回撮影された修正対象の撮影画像に対して、１枚前に撮影された画像が有るか否かを判定する。この際、ＣＰＵ２０は、例えば、画像がＥｘｉｆ（Exchangeable Image File Format）形式の画像ファイルの場合、ヘッダファイルの撮影日時の情報に基づいて、画像を検索する。
【００４８】
図３（ｂ）は、ステップＳ１０４からステップＳ１０８の処理を模式的に示している。ここで、１枚前に撮影された画像が有る場合（ステップＳ１０４：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１０５の処理に移行する。一方、１枚前に撮影された画像が無い場合（ステップＳ１０４：Ｎｏ）、ＣＰＵ２０は、図２に示すフローの処理を終了させる。
【００４９】
ステップＳ１０５：ＣＰＵ２０の照合部２０ｄは、照合処理を行なう。具体的には、照合部２０ｄは、撮像画像から顔認識部２０ｂが認識した顔と、記録媒体Ｍ１に記録されている顔を含む画像とを照合する。そして、照合部２０ｄは、目の領域を除く他の特徴部位のパターンマッチングに基づいて、照合処理を行なう。そして、ＣＰＵ２０は、ステップＳ１０６の処理に移行する。
【００５０】
ステップＳ１０６：ここで、瞼を開いている同一人物の画像を照合できた場合（ステップＳ１０６：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１０７の処理に移行する。一方、目の開いている同一人物の画像を照合できなかった場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０４の処理に戻る。
【００５１】
ステップＳ１０７：ＣＰＵ２０の抽出部２０ｅは、抽出処理を行なう。具体的には、抽出部２０ｅは、照合部２０ｄが照合した画像に基づいて、瞼を開いている顔の目の領域を含む抽出領域を抽出する。
【００５２】
ステップＳ１０８：ＣＰＵ２０の修正部２０ｈは、修正処理を行なう。具体的には、修正部２０ｈは、先ず、撮影画像に対して顔の目の領域と推定される箇所を抽出領域で置換する修正処理を行なう。ここで、修正部２０ｈは、必要に応じて、拡大縮小処理、傾き補正処理、明るさ補正処理の内で少なくとも１つを選択して修正処理を行なう。
【００５３】
（１）拡大縮小処理
修正部２０ｈは、抽出領域を拡大又は縮小することにより、瞼を閉じた画像に適合させて修正処理を行なう。具体的には、図３に示す通り、修正部２０ｈは、一例として、撮影画像の顔の輪郭（第１輪郭）と照合部２０ｄが照合した画像の顔の輪郭（第２輪郭）とが一致するように、第２輪郭を拡大又は縮小する。これにより、抽出領域（目の領域）が、撮影画像の目の領域に対して誤差の許容範囲内で一致することになる。そして、修正部２０ｈは、撮影画像に対して顔の目の領域と推定される箇所を抽出領域で置換する。これにより、修正部２０ｈは、撮影画像の顔のサイズと、照合部２０ｄが照合した画像の顔のサイズとが異なっていても、抽出領域を拡大又は縮小することにより、目の領域のサイズを補正した上で、瞼を閉じた画像から瞼を開いた画像に修正することができる。
【００５４】
（２）傾き補正処理
図４は、傾き補正処理の流れを模式的に説明する図である。図４（ａ）は、顔の傾きを例示する図である。本実施形態では、例えば、照合部２０ｄが照合した画像内の顔が、撮影画面内で傾いている場合がある。そこで、ＣＰＵ２０の傾き検出部２０ｆは、顔の傾きを検出する。図４（ｂ）は、顔の傾きの検出方法を例示する図である。傾き検出部２０ｆは、図４（ｂ）に示す通り、照合部２０ｄが照合した画像の輪郭を楕円形とみなして、その楕円形の長軸を中心線（Ｌ１）として求める。傾き検出部２０ｆは、画像内のＸＹ座標において、Ｙ軸方向の垂線（Ｌ２）と中心線（Ｌ１）とがなす角度θを算出する。傾き検出部２０ｆは、角度θが０度であれば、顔の傾きは生じていないと判定する。一方、傾き検出部２０ｆは、角度θが例えば時計回りに４５度であれば、顔が傾いていると判定する。ここで、本実施形態では、角度θを傾き補正角度とする。
【００５５】
図４（ｃ）は、傾きの補正を例示する図である。修正部２０ｈは、傾き補正角度に基づいて、傾きを補正した上で、抽出領域を、瞼を閉じた画像に適合させて修正処理を行なう。これにより、修正部２０ｈは、目の領域の傾きを補正した上で、瞼を閉じた画像から瞼を開いた画像に修正することができる。
【００５６】
（３）明るさ補正処理
図５は、明るさ補正処理を模式的に説明する図である。図５（ａ）は、太陽Ｓ１による晴天環境下で人物Ｐ１を撮影したことを模式的に示している。図５（ｂ）は、照明Ｓ２による室内照明下で人物Ｐ１を撮影したことを模式的に示している。
【００５７】
本実施形態では、図５（ａ）、（ｂ）に示す通り、例えば、撮影画像が晴天環境下で今回撮影され、照合部２０ｄが照合した画像が室内環境下で過去に撮影された場合が起こり得る。この場合、顔の明るさも異なることになる。そこで、輝度解析部２０ｇは、両方の画像の輝度を解析する。抽出部２０ｅは、照合部２０ｄが照合した画像から目を含む領域を抽出する（図５（ｃ）参照）。そして、修正部２０ｈは、抽出領域の目の周辺部分の明るさを、撮影画像の顔の明るさに適合させて修正処理を行なう（図５（ｄ）参照）。これにより、修正部２０ｈは、顔の明るさも考慮して修正処理をすることができる。修正部２０ｈによる修正処理が終了すると、ＣＰＵ２０は、ステップＳ１０９の処理に移行する。
【００５８】
ステップＳ１０９：ＣＰＵ２０は、修正処理した撮影画像の良否を判定する。ＣＰＵ２０は、例えば、照合部２０ｄが照合した顔の画像の解像度が、撮影画像と比較して著しく低い場合（所定の閾値以下）等、撮影画像として否と判定し、他の画像を検索することとする。そのため、修正処理した撮影画像の判定結果が否であれば（ステップＳ１０９：Ｎｏ）、ＣＰＵ２０は、ステップＳ１０４の処理に戻る。一方、修正処理した撮影画像の判定結果が良（ＯＫ）であれば（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１１１の処理に移行する。
【００５９】
ステップＳ１１０：ＣＰＵ２０は、修正処理した撮影画像を表示モニタ１６に表示させる。これは、撮影者に修正処理した撮影画像の良否を判定させるためである。
【００６０】
ステップＳ１１１：ＣＰＵ２０は、修正処理した撮影画像が撮影者にとって良いと判断されるか否かのユーザ入力（選択入力）を受け付ける。修正処理した撮影画像が撮影者にとって良いと判断される旨のユーザ入力を受け付けた場合（ステップＳ１１１：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１１２の処理に移行する。一方、修正した撮影画像が撮影者にとって良いと判断されない旨のユーザ入力を受け付けた場合（ステップＳ１１１：Ｎｏ）、ＣＰＵ２０は、ステップＳ１１３の処理に移行する。
【００６１】
ステップＳ１１２：ＣＰＵ２０は、修正処理された撮影画像の保存処理を行なう。具体的には、ＣＰＵ２０は、記録Ｉ／Ｆ部１７を介して、修正処理された撮影画像を記録媒体Ｍ１に記録する。そして、ＣＰＵ２０は、図２に示すフローの処理を終了させる。
【００６２】
ステップＳ１１３：ＣＰＵ２０は、撮影者から、他の画像を検索するか否かのユーザ入力（選択入力）を受け付ける。他の画像を検索する旨のユーザ入力を受け付けた場合（ステップＳ１１３：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１０４の処理に戻る。一方、他の画像を検索しない旨のユーザ入力を受け付けた場合（ステップＳ１１３：Ｎｏ）、ＣＰＵ２０は、図２に示すフローの処理を終了させる。
【００６３】
以上より、本実施形態の電子カメラ１は、特許文献１のように、例えば、オペレータに修正する目を選択入力させて、同一人物の目を修正する必要がない。
【００６４】
したがって、電子カメラ１では、手間をかけずに簡単にして、瞼を閉じた画像から瞼を開いた画像に修正できる。
【００６５】
つまり、電子カメラ１では、記録媒体Ｍ１やフラッシュメモリ１５内に撮り貯めた過去の写真（撮影画像）から、同一人物の写真を顔識別処理（顔認証）により探し出す。そして、電子カメラ１では、その探し出した写真から、目を含む領域を抜き出し、色やサイズ（大きさ、角度）を調節し、目を含む領域を置換することにより、撮影者のイメージに近い写真を実現することができる。
（第１変形例）
次に、上記の実施形態の第１変形例について説明する。上記の実施形態では、照合部２０ｄは、記録媒体Ｍ１やフラッシュメモリ１５に記録されている画像に対して、撮影日時を遡るようにして順次検索した。ここで、第１変形例では、照合部２０ｄは、先ず、データベース１５ａを検索して照合しても良い。
【００６６】
図６は、第１変形例を説明する図である。図６（ａ）は、撮影画像の一例を示す図である。なお、説明の便宜上、図６（ａ）の被写体の人物はＰ１とし、図３（ａ）に示す同一人物Ｐ１の撮影画像より、後に撮影されたこととする。図６（ｂ）は、データベース１５ａの構成例（情報テーブル）を示す図である。図６（ｃ）は、修正処理後の撮影画像の一例を示す図である。
【００６７】
第１変形例では、図２に示すフローチャートのステップＳ１１２の保存処理において、ＣＰＵ２０は、修正処理した撮影画像について、顔認識部２０ｂの特徴抽出処理で抽出した特徴を示す特徴情報（例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の情報）を人物毎に登録する。さらに、ＣＰＵ２０は、修正処理した撮影画像の保存先のアドレスをデータベースに関連付けておく。図６（ｂ）では、人物（Ｐ１、Ｐ２、Ｐ３）毎にそれぞれ特徴情報Ａ、Ｂ、Ｃが登録されていることを例示している。
【００６８】
これにより、新たな撮影画像（図６（ａ）参照）が撮影された場合、照合部２０ｄは、データベース１５ａの特徴情報を参照して、同一被写体の顔を照合する（図６（ｂ）参照）。そして、照合部２０ｄが照合できた場合、抽出部２０ｅは、記録先アドレスを参照して、人物特定した画像から抽出領域を抽出する。さらに、修正部２０ｈは、新たな撮影画像（図６（ａ）参照）に修正処理を施して、瞼の開いた撮影画像に修正する（図６（ｃ）参照）。
【００６９】
したがって、第１変形例では、予め瞼の開いた画像を検索しに行くと共に、データベース１５ａに登録されている照合用の画像に対しては、顔認識部２０ｂの特徴抽出処理を再度する必要がない分、検索の処理スピードが向上する。
（第２変形例）
次に、上記の実施形態の第２変形例について説明する。上記の実施形態では、撮影画像に一人の人物が存在する場合について例示したが、撮影画像には、複数の人物が存在しても良い。
【００７０】
図７は、第２変形例を説明する図である。図７（ａ）は、撮影画像の一例を示す。図７（ｂ）は、図７（ａ）に示す画像に対して修正処理後の撮影画像を示す。
図７（ａ）では、二人の人物Ｐ１、Ｐ２が撮影画像に写っている。ここで、顔検出部２０ａが複数の顔を検出した場合、顔認識部２０ｂと、判断部２０ｃと、照合部２０ｄと、抽出部２０ｅと、修正部２０ｈとは、顔別に処理をそれぞれ行なえば良い。また、必要に応じて、傾き検出部２０ｆ、輝度解析部２０ｇも、顔別に処理をそれぞれ行なえば良い。
【００７１】
これにより、第２変形例では、図７（ｂ）に示す通り、複数の人物についても個別に瞼を閉じている顔から瞼を開いている顔に修正することができる。
（補足説明）
（１）上記の実施形態では、本発明の適用可能な撮影装置として、レンズ一体型のコンパクト電子カメラを例示したが、この方式の電子カメラに限られない。本発明の適用可能な撮影装置は、例えば、一眼レフレックスタイプの電子カメラやクイックリターンミラーのないレンズ交換式の電子カメラも含まれる。また、本発明の適用可能な撮影装置は、カメラ機能を備えた携帯電話機、携帯情報端末（ＰＤＡ:Personal Digital Assistant）も含まれる。
【００７２】
（２）上記の実施形態では、被写体の顔として人物の顔を例示したが、例えば、ペット等の動物の顔を対象としても良い。この場合、顔検出部２０ａ、顔認識部２０ｂは、公知のペットの顔認識処理を用いて顔検出や特徴抽出処理を行なえば良い。これにより、本発明は、人物の顔に限られず、ペット等の動物にも適用することができる。
【００７３】
（３）上記の実施形態では、瞼を閉じた画像としては、例えば人物Ｐ１が完全に瞼を閉じている状態を例示していたが、瞼の開閉度に閾値を設定して、閾値以下の場合、瞼を閉じた画像としても良い。
【００７４】
（４）上記の実施形態では、第１変形例において、ＣＰＵ２０は、修正処理した撮影画像について、顔認識部２０ｂの特徴抽出処理で抽出した特徴情報を人物毎にデータベース１５ａに登録した。ここで、ＣＰＵ２０は、照合部２０ｄが照合した画像（修正処理の元になる画像）の特徴情報、記録先アドレスをデータベース１５ａにさらに登録しても良い。
【００７５】
（５）上記の実施形態では、傾き検出部２０ｆは、図４（ｂ）に示す通り、照合部２０ｄが照合した画像について、顔の傾きを検出したが、撮影画像の顔に対しても同様に傾きを検出しても良い。したがって、修正部２０ｈは、撮影画像の顔が傾いている場合には、その傾きに適合するようにして抽出領域の修正を行なっても良い。これにより、撮影画像の顔が傾いている場合でも手間をかけずに簡単にして、瞼の閉じた画像を瞼の開いた画像に修正できる。
【００７６】
（６）上記の実施形態において、記録媒体Ｍ１は、自動修正モード用プログラムをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体として用いても良い。ここで、自動修正モード用プログラムは、上述した通り、顔検出処理と、顔認識処理と、判断処理と、照合処理と、抽出処理と、修正処理とをコンピュータに実行させることを特徴とする。
【００７７】
（７）上記の実施形態では、自動修正モード用プログラムを電子カメラ１に組み込んで用いたが、自動修正モード用プログラムを例えばパーソナルコンピュータにインストールして、適用しても良い。
【符号の説明】
【００７８】
１・・・電子カメラ、１１・・・撮像素子、２０ａ・・・顔検出部、２０ｂ・・・顔認識部、２０ｃ・・・判断部、２０ｄ・・・照合部、２０ｅ・・・抽出部、２０ｈ・・・修正部
【図１】
2013141104.tif 000003
【図２】
2013141104.tif 000004
【図３】
2013141104.tif 000005
【図４】
2013141104.tif 000006
【図５】
2013141104.tif 000007
【図６】
2013141104.tif 000008
【図７】
2013141104.tif 000009