(57)【要約】【課題】  眼鏡を着用した人物の画像上での見映えをより向上させる手段を提供する。【解決手段】  画像処理プログラムは、データ取得部と、演算部とを有する画像処理装置に、以下のステップを実行させる。第１ステップでは、被写体を撮像して生成された画像のデータを、データ取得部から演算部が読み込む。第２ステップでは、被写体が着用する眼鏡の位置を画像のうちから演算部が検出する。第３ステップでは、画像のうちで眼鏡により生じる被写体上の影領域を演算部が推定する。第４ステップでは、影領域の明るさを演算部が補正する。【選択図】  図１
2008250407.tif 000002
【特許請求の範囲】
【請求項１】
データ取得部と、演算部とを有する画像処理装置に関する画像処理プログラムであって、
被写体を撮像して生成された画像のデータを、前記データ取得部から前記演算部が読み込む第１ステップと、
前記被写体が着用する眼鏡の位置を前記画像のうちから前記演算部が検出する第２ステップと、
前記画像のうちで前記眼鏡により生じる前記被写体上の影領域を前記演算部が推定する第３ステップと、
前記影領域の明るさを前記演算部が補正する第４ステップと、
を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記第３ステップにて、前記演算部は、前記画像内の前記眼鏡のフレーム外側でかつ前記被写体上の前記眼鏡の近傍に基準点を設定し、前記基準点のデータに基づいて前記影領域を推定することを特徴とする画像処理プログラム。
【請求項３】
請求項１に記載の画像処理プログラムにおいて、
前記第４ステップにて、前記影領域の階調値に所定の係数を乗じる階調補正処理および前記影領域の周辺領域のデータから前記影領域のデータを補間する補間処理の少なくとも一方を前記演算部が実行することを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記第３ステップにて、前記画像のうちで前記眼鏡により生じる前記被写体上の集光領域を前記演算部が推定し、
前記第４ステップにて、前記集光領域の明るさを前記演算部が補正することを特徴とする画像処理プログラム。
【請求項５】
データ取得部と、演算部とを有する画像処理装置に関する画像処理プログラムであって、
被写体を撮像して生成された画像のデータを、前記データ取得部から前記演算部が読み込む第１ステップと、
前記被写体が着用する眼鏡の位置を前記画像のうちから前記演算部が検出する第２ステップと、
前記画像のうちで前記眼鏡の内側に生じる前記被写体の歪み領域を前記演算部が推定する第３ステップと、
前記歪み領域を前記演算部が補正する第４ステップと、
を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
【請求項６】
請求項５に記載の画像処理プログラムにおいて、
前記第３ステップにて、前記演算部は、前記被写体の顔の内側に前記眼鏡が収まるときに、前記画像内の前記眼鏡のフレーム内側に基準点を設定し、前記基準点のデータに基づいて前記歪み領域を推定することを特徴とする画像処理プログラム。
【請求項７】
請求項５に記載の画像処理プログラムにおいて、
前記第３ステップにて、前記演算部は、前記被写体の顔の外側に前記眼鏡がはみ出すときに、前記画像内における前記眼鏡のフレームと前記顔の輪郭との交点の位置に基づいて前記歪み領域を推定することを特徴とする画像処理プログラム。
【請求項８】
請求項５に記載の画像処理プログラムにおいて、
前記第４ステップにて、前記演算部は、前記画像内の前記眼鏡のフレーム内側でかつ前記歪み領域と重複しない範囲のデータに基づいて、前記歪み領域の前記画像を変換することを特徴とする画像処理プログラム。
【請求項９】
請求項１または請求項５に記載の画像処理プログラムにおいて、
前記第２ステップにて、前記演算部は、前記画像内の前記眼鏡のフレーム内側で目が検出できないときに、前記第３ステップおよび前記第４ステップの処理を中止することを特徴とする画像処理プログラム。
【請求項１０】
請求項１または請求項５に記載の画像処理プログラムにおいて、
前記第２ステップにて、前記演算部は、前記眼鏡がサングラスであるときに、前記第３ステップおよび前記第４ステップの処理を中止することを特徴とする画像処理プログラム。
【請求項１１】
請求項１または請求項５に記載の画像処理プログラムにおいて、
前記第２ステップにて、前記演算部は、前記被写体の顔のサイズと前記眼鏡のサイズとの少なくとも一方が閾値以下のときに、前記第３ステップおよび前記第４ステップの処理を中止することを特徴とする画像処理プログラム。
【請求項１２】
被写体を撮像して生成された画像のデータを読み込むデータ取得部と、
前記被写体が着用する眼鏡の位置を前記画像のうちから検出する眼鏡検出部と、
前記画像のうちで前記眼鏡により生じる前記被写体上の影領域を推定する補正領域推定部と、
前記影領域の明るさを補正する補正処理部と、
を有することを特徴とする画像処理装置。
【請求項１３】
被写体を撮像して生成された画像のデータを読み込むデータ取得部と、
前記被写体が着用する眼鏡の位置を前記画像のうちから検出する眼鏡検出部と、
前記画像のうちで前記眼鏡の内側に生じる前記被写体の歪み領域を推定する補正領域推定部と、
前記歪み領域を補正する補正処理部と、
を有することを特徴とする画像処理装置。
【請求項１４】
請求項１２または請求項１３に記載の画像処理装置において、
前記画像のデータを生成する撮像部をさらに有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼鏡を着用した人物を対象として画像処理を行う画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
従来から、被写体認識の一つとして、被写体の顔画像から眼鏡の着用の有無を判定する技術が提案されている。一例として、特許文献１には、顔領域内の閉塞領域に着目して眼鏡を検出する装置が開示されている。
【特許文献１】特開２００４−７８７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、眼鏡を着用した状態の人物を撮像すると、眼鏡による陰影や輪郭の歪みが顔に表れて画像の出来映えが損なわれる可能性がある。そのため、眼鏡を着用した人物の画像をより好ましい状態に近づける手段が要請されていた。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、眼鏡を着用した人物の画像上での見映えをより向上させる手段を提供することにある。
【課題を解決するための手段】
【０００４】
第１の発明の画像処理プログラムは、データ取得部と、演算部とを有する画像処理装置に、以下のステップを実行させる。第１ステップでは、被写体を撮像して生成された画像のデータを、データ取得部から演算部が読み込む。第２ステップでは、被写体が着用する眼鏡の位置を画像のうちから演算部が検出する。第３ステップでは、画像のうちで眼鏡により生じる被写体上の影領域を演算部が推定する。第４ステップでは、影領域の明るさを演算部が補正する。
【０００５】
第２の発明は、第１の発明において、第３ステップでは、演算部は、画像内の眼鏡のフレーム外側でかつ被写体上の眼鏡の近傍に基準点を設定し、基準点のデータに基づいて影領域を推定する。
第３の発明は、第１の発明において、第４ステップでは、影領域の階調値に所定の係数を乗じる階調補正処理および影領域の周辺領域のデータから影領域のデータを補間する補間処理の少なくとも一方を演算部が実行する。
【０００６】
第４の発明は、第１の発明において、第３ステップでは、画像のうちで眼鏡により生じる被写体上の集光領域を演算部が推定する。また、第４ステップでは、集光領域の明るさを演算部が補正する。
第５の発明の画像処理プログラムは、データ取得部と、演算部とを有する画像処理装置に、以下のステップを実行させる。第１ステップでは、被写体を撮像して生成された画像のデータを、データ取得部から演算部が読み込む。第２ステップでは、被写体が着用する眼鏡の位置を画像のうちから演算部が検出する。第３ステップでは、画像のうちで眼鏡の内側に生じる被写体の歪み領域を演算部が推定する。第４ステップでは、歪み領域を演算部が補正する。
【０００７】
第６の発明は、第５の発明において、第３ステップでは、演算部は、被写体の顔の内側に眼鏡が収まるときに、画像内の眼鏡のフレーム内側に基準点を設定し、基準点のデータに基づいて歪み領域を推定する。
第７の発明は、第５の発明において、第３ステップでは、演算部は、被写体の顔の外側に眼鏡がはみ出すときに、画像内における眼鏡のフレームと顔の輪郭との交点の位置に基づいて歪み領域を推定する。
【０００８】
第８の発明は、第５の発明において、第４ステップでは、演算部は、画像内の眼鏡のフレーム内側でかつ歪み領域と重複しない範囲のデータに基づいて、歪み領域の画像を変換する。
第９の発明は、第１または第５の発明において、第２ステップでは、演算部は、画像内の眼鏡のフレーム内側で目が検出できないときに、第３ステップおよび第４ステップの処理を中止する。
【０００９】
第１０の発明は、第１または第５の発明において、第２ステップでは、演算部は、眼鏡がサングラスであるときに、第３ステップおよび第４ステップの処理を中止する。
第１１の発明は、第１または第５の発明において、第２ステップでは、演算部は、被写体の顔のサイズと眼鏡のサイズとの少なくとも一方が閾値以下のときに、第３ステップおよび第４ステップの処理を中止する。
【００１０】
なお、上記発明に関する構成を、画像処理方法や画像処理装置などに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１１】
本発明によれば、眼鏡により生じる被写体の影領域や歪み領域が補正され、眼鏡を着用した人物の画像上での見映えが改善される。
【発明を実施するための最良の形態】
【００１２】
図１は、本実施形態の画像処理システムの概略を示すブロック図である。画像処理システムは、電子カメラ１と、画像処理装置２とで構成される。
電子カメラ１は、画像処理の対象となる本画像を撮像する。この電子カメラ１は、撮像レンズ１１と、撮像部１２と、記録Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、制御部１５とを有している。撮像部１２、記録Ｉ／Ｆ１３および通信Ｉ／Ｆ１４は、それぞれ制御部１５に接続されている。
【００１３】
撮像レンズ１１は、撮像部１２の撮像面に被写体像を結像させる。撮像部１２は、撮像素子（不図示）で被写体像を撮像する。そして、撮像部１２は、撮像素子の出力に対して、Ａ／Ｄ変換と各種の画像処理とを施して画像のデータを生成する。なお、図１では、撮像部１２の個々の構成要素の図示は省略する。
記録Ｉ／Ｆ１３は、コネクタに接続された記憶媒体３（例えばメモリーカードなど）に対して画像のデータの書き込みを行う。また、通信Ｉ／Ｆ１４は、画像処理装置２とのデータ送受信を所定の通信規格に準拠して制御する。なお、電子カメラ１と画像処理装置２との通信は、有線または無線の公知の通信回線４を介して行われる。
【００１４】
制御部１５は、電子カメラ１の統括的な制御を行うプロセッサである。制御部１５はプログラムに従って電子カメラ１の各部動作を制御するとともに、撮像時に必要となる各種演算を実行する。
画像処理装置２は、電子カメラ１から取得した画像のデータに画像処理を施す。この画像処理装置２は、データ読込部２１と、通信部２２と、記憶部２３と、操作部２４と、モニタ２５と、ＣＰＵ２６とを有している。データ読込部２１、通信部２２、記憶部２３、操作部２４およびモニタ２５は、それぞれＣＰＵ２６と接続されている。なお、本実施形態の画像処理装置２は、例えばパーソナルコンピュータなどで構成される。
【００１５】
データ読込部２１は、記憶媒体３を接続するコネクタを有している。そして、データ読込部２１は、コネクタに接続された記憶媒体３から画像のデータを読み込む。通信部２２は、上記の通信回線４を介して、電子カメラ１とのデータ送受信を所定の通信規格に準拠して制御する。記憶部２３は、画像処理プログラムと、上記のプログラムの実行時に必要となるデータ群とを記憶している。この記憶部２３は、ハードディスクや、書き換え可能な不揮発性のフラッシュメモリなどにより構成されている。また、記憶部２３は、画像処理後の画像のデータを記憶することもできる。操作部２４は、画像処理プログラムに関する各種の操作入力をユーザーから受け付ける。モニタ２５には、ＣＰＵ２６の制御によって、各種の操作を行うときの操作画面や、画像処理前後の画像を示す表示画面などが表示される。
【００１６】
ＣＰＵ２６は、上記の画像処理プログラムに関する各種の演算処理を実行するためのプロセッサである。このＣＰＵ２６は、上記の画像処理プログラムの実行により、顔検出部２７、補正領域推定部２８および補正処理部２９として機能する。
顔検出部２７は、画像のデータに顔検出処理を施して、画像内に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２７は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部２７は、予め用意された顔画像と判定対象の画像との相関係数を求めて、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。
【００１７】
また、顔検出部２７は、上記の顔領域のうちから眼鏡を着用している人物を抽出する。一例として、顔検出部２７は、まず、顔領域と重複する閉塞領域（輪郭が環状に閉じている領域）を検出する。次に、顔検出部２７は、上記の閉塞領域と顔のパーツとの位置関係や大きさに基づいて閉塞領域が眼鏡であるか否かを判定し、この判定結果によって眼鏡を着用している人物を抽出する。
【００１８】
補正領域推定部２８は、眼鏡を着用している人物の顔領域から眼鏡によって見映えが損なわれる部分を推定し、その推定部分を画像処理のときの補正対象として指定する。具体的には、補正領域推定部２８は、（１）眼鏡のフレームやレンズによって顔領域に生じた影領域および集光領域と、（２）眼鏡のレンズによって画像が不自然に歪んで見える歪み領域とを推定する。
【００１９】
補正処理部２９は、補正領域推定部２８が推定した影領域および集光領域の画像の明るさを補正する。また、補正処理部２９は、補正領域推定部２８が推定した歪み領域の画像を補正する。
次に、図２の流れ図を参照しつつ、本実施形態の画像処理装置２による画像処理の一連の流れを説明する。ここで、図２の例では、ユーザーが電子カメラ１で眼鏡をかけた人物を予め撮影し、その画像のデータが電子カメラ１の記憶媒体３に格納されている状態を前提として説明を行う。
【００２０】
ステップ１０１：画像処理装置２のＣＰＵ２６は、補正対象となる画像データを電子カメラ１から取得する。Ｓ１０１において、電子カメラ１と画像処理装置２との間での画像のデータの受け渡しは、記憶媒体３の授受または通信回線４を介したデータ通信によって実現される。
ステップ１０２：ＣＰＵ２６は、ユーザーの入力に基づいて、画像処理を行う指定画像を決定する。
【００２１】
ステップ１０３：ＣＰＵ２６は、指定画像（Ｓ１０２）のデータに対して顔検出処理を施す。そして、ＣＰＵ２６は、検出した顔領域のうちで顔のサイズが閾値以上となるものを抽出し、補正対象となりうる顔領域の選別を行う。
ステップ１０４：ＣＰＵ２６は、Ｓ１０３で抽出された各々の顔領域のうちで、眼鏡を着用している人物の顔領域を抽出する。
【００２２】
ステップ１０５：ＣＰＵ２６は、Ｓ１０４で抽出された眼鏡の人物の顔領域のうちで、眼鏡のサイズが閾値以下のものを除外し、補正対象となりうる眼鏡の人物の顔領域を選別する。その後、ＣＰＵ２６は、Ｓ１０３からＳ１０５までの処理で選別された眼鏡の人物の顔領域の数と、各々の顔領域における眼鏡の位置とを、ワークメモリ（不図示）などに記録する。
【００２３】
ステップ１０６：ＣＰＵ２６は、補正対象となりうる眼鏡の人物の顔領域の数（Ｓ１０５で記録したもの）を、画像内での補正人数を示す第１カウンタの初期値に設定する。例えば、上記のステップで眼鏡を着用した人物が５人検出されている場合には、Ｓ１０６でのＣＰＵ２６は、第１カウンタの初期値を「５」に設定する。
ステップ１０７：ＣＰＵ２６は、第１カウンタの値が０値となったか（すなわち、補正対象となりうる眼鏡の人物への補正処理が全て終了したか）否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１０２で指定された指定画像に関する一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６はＳ１０８に移行する。
【００２４】
ステップ１０８：ＣＰＵ２６は、Ｓ１０５で抽出された眼鏡の人物の顔領域のうちで未補正のものから、補正処理の対象となる注目顔領域を指定する。その後、ＣＰＵ２６は、注目顔領域の指定後に第１カウンタをデクリメントする。すなわち、補正対象となりうる眼鏡の人物への補正処理が進むごとに、第１カウンタの値は逐次減少していくこととなる。
【００２５】
ステップ１０９：ＣＰＵ２６は、注目顔領域（Ｓ１０８）について、眼鏡のフレーム内側から目が検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、注目顔領域の人物がサングラスを着用している可能性が高く、その顔領域を補正する必要性は低いと考えられる。そのため、ＣＰＵ２６は、現在の注目顔領域に関する補正処理を終了し、Ｓ１０７に戻って上記の動作を繰り返す。
【００２６】
ステップ１１０：ＣＰＵ２６は、注目顔領域（Ｓ１０８）の補正処理の進捗をチェックする第２カウンタを初期化する。これにより、注目顔領域の変更があったときには、第２カウンタは０値の状態となる。
ステップ１１１：ＣＰＵ２６は、注目顔領域（Ｓ１０８）の両眼の補正処理が終了したか否かを判定する。具体的には、ＣＰＵ２６は、第２カウンタの値が「２」の状態のときに両眼の補正処理が終了したものと判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６は現在の注目顔領域に関する補正処理を終了し、Ｓ１０７に戻って上記の動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６はＳ１１２に移行する。
【００２７】
ステップ１１２：ＣＰＵ２６は、現在の注目顔領域における左右の目のうちで未補正の方を選択して処理対象に指定する。その後、ＣＰＵ２６は、第２カウンタをインクリメントする。すなわち、注目顔領域に対する補正処理について、一方の目に関する最初の補正処理の実行時には第２カウンタの値は「１」の状態となる。そして、他方の目に関する次の補正処理の実行時には第２カウンタの値は「２」の状態となる。
【００２８】
ステップ１１３：ＣＰＵ２６は、処理対象に指定された目（Ｓ１１２）について、眼鏡による影領域および集光領域を推定する。具体的には、ＣＰＵ２６は、以下の（１）〜（３）の要領で影領域および集光領域を推定する。なお、図３（ａ）に、顔領域上に生じる集光領域および影領域を模式的に示す。
（１）第１に、ＣＰＵ２６は、顔の明るさを判定するときの基準点を決定する。例えば、ＣＰＵ２６は、処理対象の目（Ｓ１１２）に対応する眼鏡のフレーム外側であって、指定画像でフレームの真下にある肌色部分に基準点を設定する。
【００２９】
（２）第２に、ＣＰＵ２６は、基準点の明るさに基づいて、顔領域上の影領域および集光領域を推定する。まず、ＣＰＵ２６は、眼鏡のフレーム内とその近傍の範囲について、顔の上下方向における画像の輝度変化を求める。なお、図３（ｂ）に、眼鏡近傍の画像上下方向の輝度分布図の一例を示す。
そして、ＣＰＵ２６は、眼鏡のフレーム内側のレンズ部分において、基準点と比べて画像の明るさが閾値以上となる肌色の範囲を眼鏡による集光領域と推定する。そして、ＣＰＵ２６は、集光領域の上端および下端の位置を求める。
【００３０】
また、ＣＰＵ２６は、基準点と比べて画像の明るさが閾値以下となる肌色の範囲を眼鏡による影領域と推定する。そして、ＣＰＵ２６は、影領域の上端および下端の位置を求める。
（３）第３に、ＣＰＵ２６は、顔の左右方向に所定間隔をおいて上記（２）の工程を繰り返す。そして、ＣＰＵ２６は、顔の左右方向の各々の位置で求めた集光領域の端部を結ぶことで、顔領域上における集光領域の範囲を特定する。また、ＣＰＵ２６は、上記の集光領域と同様に、顔領域上における影領域の範囲を特定する。
【００３１】
ステップ１１４：ＣＰＵ２６は、Ｓ１１３で集光領域または影領域が検出されたか否かを判定する。集光領域または影領域が検出された場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１５に移行する。一方、集光領域および影領域がいずれも検出されない場合（ＮＯ側）には、ＣＰＵ２６はＳ１１６に移行する。
ステップ１１５：ＣＰＵ２６は、Ｓ１１３で特定された集光領域の範囲および影領域の範囲に対する補正処理を行う。具体的には、ＣＰＵ２６は、集光領域の範囲について、画像の階調値に所定の係数を乗じて集光領域の画像の明るさを抑制する。また、ＣＰＵ２６は、影領域の範囲について、画像の階調値に所定の係数を乗じて影領域の画像の明るさを向上させる。なお、図３（ｂ）では、補正後における画像の明るさの状態を破線で示す。
【００３２】
ステップ１１６：ＣＰＵ２６は、顔領域の輪郭の内側に眼鏡のレンズが収まっているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１７に移行する。一方、上記要件を満たさない場合、すなわち、眼鏡の一部が顔領域からはみ出している場合（ＮＯ側）には、ＣＰＵ２６はＳ１２０に移行する。
ステップ１１７：ＣＰＵ２６は、眼鏡のレンズの部分において、背景の写り込みが生じた歪み領域を推定する。具体的には、まず、ＣＰＵ２６は、眼鏡のフレーム内側の範囲において、肌色の領域上に基準点を設定する。次に、ＣＰＵ２６は、上記の基準点での明るさおよび色情報に基づいて、眼鏡のフレーム内側で肌色以外の領域を特定する。そして、ＣＰＵ２６は、顔検出処理で検出した顔のパーツの位置と上記の肌色以外の領域とを照合する。その結果、顔パーツと合致しない領域がある場合には、ＣＰＵ２６はレンズ内に歪み領域（背景の写り込みが生じた範囲）があると推定する。なお、図４（ａ）に、Ｓ１１７での歪み領域を模式的に示す。
【００３３】
ステップ１１８：ＣＰＵ２６は、Ｓ１１７の推定処理で歪み領域が検出されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１９に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６は処理対象に指定された目（Ｓ１１２）に関する補正処理を終了し、Ｓ１１１に戻って上記動作を繰り返す。
ステップ１１９：ＣＰＵ２６は、Ｓ１１７で推定された歪み領域に対する補正処理を実行する。具体的には、ＣＰＵ２６は、基準点の肌色のデータに基づいて、上記の歪み領域内の画像を肌色の画像に変換する補間処理を行う。その後、ＣＰＵ２６は、補正された領域とその周辺領域とに公知のぼかし処理（例えば、点拡がり関数の空間フィルタによる畳み込み演算など）を施して、補正された領域とその周囲とで画像をなじませる。その後、ＣＰＵ２６は処理対象に指定された目（Ｓ１１２）に関する補正処理を終了し、Ｓ１１１に戻って上記動作を繰り返す。
【００３４】
ステップ１２０：ＣＰＵ２６は、眼鏡のレンズの部分において、顔の輪郭が歪んで見える歪み領域を推定する。具体的には、まず、ＣＰＵ２６は、眼鏡のフレームと顔領域の輪郭との交点を求める。そして、ＣＰＵ２６は、上記の交点を結ぶ仮想的な輪郭線（例えば交点を結ぶ直線）と、指定画像での顔の実際の輪郭線とで囲まれた範囲を歪み領域と推定する。ここで、上記の仮想的な輪郭線と実際の輪郭線とがほぼ重なる場合には、ＣＰＵ２６は上記の歪み領域がないものと推定してもよい。なお、図４（ｂ）に、Ｓ１２０での歪み領域を模式的に示す。
【００３５】
ステップ１２１：ＣＰＵ２６は、Ｓ１２０の推定処理で歪み領域が検出されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１２２に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６は処理対象に指定された目（Ｓ１１２）に関する補正処理を終了し、Ｓ１１１に戻って上記動作を繰り返す。
ステップ１２２：ＣＰＵ２６は、Ｓ１２０で推定された歪み領域に対する補正処理を実行する。具体的には、ＣＰＵ２６は、顔領域の輪郭線を上記の仮想的な輪郭線に置き換える。そして、ＣＰＵ２６は、眼鏡のフレーム内側における歪み領域以外の部分から求めた肌色のデータに基づいて、上記の歪み領域内の画像を肌色の画像に変換する補間処理を行う。その後、ＣＰＵ２６は、補正された領域とその周辺領域とに公知のぼかし処理を施して、補正された領域とその周囲とで画像をなじませる。その後、ＣＰＵ２６は処理対象に指定された目（Ｓ１１２）に関する補正処理を終了し、Ｓ１１１に戻って上記動作を繰り返す。以上で図２の説明を終了する。
【００３６】
以下、本実施形態の作用効果を説明する。
本実施形態の画像処理装置２は、眼鏡による顔の影領域および集光領域を推定するとともに、これらの領域で画像の明るさを補正する。そのため、補正後の画像では眼鏡による影や、眼鏡による顔のてかりが緩和されるので、眼鏡を着用した人物の画像上での見映えをより向上させることができる。
【００３７】
また、本実施形態の画像処理装置２は、眼鏡によって背景の写り込みや輪郭の歪みが生じた歪み領域を推定するとともに、これらの領域では画像を補間する補正を行う。そのため、補正後の画像では眼鏡のレンズによる背景の不自然な写り込みや輪郭の歪みが抑制されるので、眼鏡を着用した人物の画像上での見映えをより向上させることができる。
（実施形態の補足事項）
（１）上記実施形態のＳ１１５において、ＣＰＵ２６は、周辺の領域の色情報によって集光領域および影領域の画像を補間することで補正を行うようにしてもよい。また、Ｓ１１５でのＣＰＵ２６は、画像の明るさとともに色情報についても補正してもよい。
【００３８】
（２）上記実施形態のＳ１１３では眼鏡の真下に基準点を設定した例を説明したが、ＣＰＵ２６は、眼鏡のフレーム外側でかつ眼鏡近傍の任意の位置に基準点を設定して、影領域および集光領域を推定してもよい。
（３）上記実施形態のＳ１０９において、ＣＰＵ２６は眼鏡の内側から目が検出できない場合には眼鏡がサングラスであると推定しているが、例えば、ＣＰＵ２６は眼鏡のフレーム内側の色情報に基づいて、サングラスか否かを判定するようにしてもよい。
【００３９】
（４）上記実施形態では画像処理装置２が画像の補正を行う例を説明したが、電子カメラ１の制御部１５が上記の画像処理プログラムを実行し、電子カメラ１を本発明の画像処理装置として機能させてもよい。なお、上記の場合において、電子カメラ１の制御部１５は、撮像時または再生時のいずれで画像処理プログラムを実行してもよい。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【００４０】
【図１】本実施形態の画像処理システムの概略を示すブロック図
【図２】本実施形態の画像処理装置による画像処理を説明する流れ図
【図３】（ａ）顔領域上に生じる集光領域および影領域を示す模式図、（ｂ）眼鏡近傍の画像上下方向の輝度分布図
【図４】（ａ）Ｓ１１７での歪み領域を示す模式図、（ｂ）Ｓ１２０での歪み領域を示す模式図
【符号の説明】
【００４１】
１…電子カメラ、２…画像処理装置、１２…撮像部、１５…制御部、２１…データ読込部、２２…通信部、２６…ＣＰＵ、２７…顔検出部、２８…補正領域推定部、２９…補正処理部
【図１】
2008250407.tif 000003
【図２】
2008250407.tif 000004
【図３】
2008250407.tif 000005
【図４】
2008250407.tif 000006