(57)【要約】【課題】例えば色の異なる複数の環境光源下で撮影された被写体を、好ましい印象に補正することができる画像処理装置を提供する。【解決手段】入力画像から被写体を選択する選択部と、選択した被写体の色情報を取得する色情報取得部と、選択した被写体の立体形状情報を取得する形状情報取得部と、選択した被写体について目標とする色情報を取得する目標色取得部と、選択した被写体に対し、仮想光源からの光を加算または減算する補正を行う補正部と、補正部による補正を行う場合に、補正した被写体の色情報が目標とする色情報に近づくように、立体形状情報を用いて仮想光源の少なくとも色と向きとを設定する設定部と、を備える。【選択図】  図３
2020160945.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から被写体を選択する選択手段と、
選択した前記被写体の色情報を取得する色情報取得手段と、
選択した前記被写体の立体形状情報を取得する形状情報取得手段と、
選択した前記被写体について目標とする色情報を取得する目標色取得手段と、
選択した前記被写体に対し、仮想光源からの光を加算または減算する補正を行う補正手段と、
前記補正手段による補正を行う場合に、補正した前記被写体の色情報が前記目標とする色情報に近づくように、前記立体形状情報を用いて前記仮想光源の少なくとも色と向きとを設定する設定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体は人の顔であり、前記目標とする色情報は、目標とする肌色の色情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色情報取得手段は、前記被写体の肌色の色情報を取得することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記目標とする色情報は、前記人の顔における色信号の平均値であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記目標とする色情報は、前記人の顔における色信号の中央値であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記目標とする色情報は、前記人の顔における色信号の最頻値であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項７】
前記立体形状情報は、前記被写体の表面に対する法線方向の情報である法線情報であり、
前記設定手段は、前記被写体における画素ごとに、前記法線情報と前記色情報とを取得し、各画素の色情報に応じて各画素の法線情報に重みをつけた情報に基づいて、前記仮想光源の向きを設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記設定手段は、前記各画素の色情報に応じて重みをつけた法線方向を加算平均して得られる方向を、前記仮想光源の向きとして設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記設定手段は、前記被写体において、前記目標とする色情報から最も異なる色を補正の対象である補正対象色として選択することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記重みは、各画素の色成分が前記補正対象色をどれだけ含んでいるかに基づいて決定されることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記入力画像の撮影時の照明条件に基づいて前記補正対象色を設定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記設定手段は、ユーザーの指定した色を前記補正対象色として設定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１３】
入力画像から被写体を選択する選択工程と、
選択した前記被写体の色情報を取得する色情報取得工程と、
選択した前記被写体の立体形状情報を取得する形状情報取得工程と、
選択した前記被写体について目標とする色情報を取得する目標色取得工程と、
選択した前記被写体に対し、仮想光源からの光を加算または減算する補正を行う補正工程と、
前記補正工程において補正を行う場合に、補正した前記被写体の色情報が前記目標とする色情報に近づくように、前記立体形状情報を用いて前記仮想光源の少なくとも色と向きとを設定する設定工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１５】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像に、仮想的な光源の影響を反映させる画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、撮影後の画像中の被写体に対して、仮想的な光源からの光を照射し、リライティングを行う技術が知られている。これにより、ユーザーは、画像中の被写体に任意の陰影の付与、ならびに仮想光源色の付与を行うことができる。
【０００３】
例えば、特許文献１では、被写体の陰影情報を解析し、あらかじめ定めた目標条件を満たすように、照射する仮想光源の向きを定めている。これにより、ユーザーが直接仮想光源の向きを指定することなく、自動的にあらかじめ定めた条件に合う陰影を持つ被写体の画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−７２６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のリライティング手法では、予め定められた光源色の仮想光源を照射することしかできなかった。例えば撮影した画像中の被写体に、複数の、それぞれ色の異なる光源から光が照射されている場合、被写体は複数の色が混ざり合った状態になり、その中の特定の色の光源から照射された光によって被写体の印象が悪くなることがある。このような例のように、被写体の領域ごとに色味が異なる場合に、特許文献１に記載の技術では対応することができない。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、例えば色の異なる複数の環境光源下で撮影された被写体を、好ましい印象に補正することができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係わる画像処理装置は、入力画像から被写体を選択する選択手段と、選択した前記被写体の色情報を取得する色情報取得手段と、選択した前記被写体の立体形状情報を取得する形状情報取得手段と、選択した前記被写体について目標とする色情報を取得する目標色取得手段と、選択した前記被写体に対し、仮想光源からの光を加算または減算する補正を行う補正手段と、前記補正手段による補正を行う場合に、補正した前記被写体の色情報が前記目標とする色情報に近づくように、前記立体形状情報を用いて前記仮想光源の少なくとも色と向きとを設定する設定手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、例えば色の異なる複数の環境光源下で撮影された被写体を、好ましい印象に補正することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置の一実施形態であるデジタルカメラの構成を示すブロック図。
【図２】一実施形態のデジタルカメラの画像処理部の構成を示すブロック図。
【図３】一実施形態におけるリライティング処理部の構成を示すブロック図。
【図４】一実施形態におけるリライティングによる反射成分の演算を示す図。
【図５】一実施形態における仮想光源情報算出部の処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
図１は、本発明の画像処理装置の一実施形態であるデジタルカメラ１００の構成を示すブロック図である。
【００１２】
本実施形態におけるデジタルカメラ１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、測距部１０５、顔検出部１０６、記録部１０７、制御部１０８、メモリ１０９、操作部１１０、表示部１１１を備える。光学系１０１にはフォーカスレンズや絞り、シャッターが含まれる。光学系１０１は、撮影時には、フォーカスレンズを駆動し被写体のピント合わせを行うとともに、絞りやシャッターを制御することにより露光量の調節を行う。撮像素子１０２は、光学系１０１により結像された被写体像を光電変換によってアナログの電気信号に変換するＣＣＤやＣＭＯＳセンサ等からなる。
【００１３】
Ａ／Ｄ変換部１０３は、入力されたアナログの電気信号をデジタル信号に変換する。デジタル信号に変換された画像信号は、画像処理部１０４において、同時化処理、ホワイトバランス補正処理、合焦度算出処理、リライティング処理、ガンマ処理などが施され、記録部１０７に出力される。測距部１０５は、撮影時の被写体までの距離情報を取得し、距離マップを生成する。距離マップとは、撮影した画像の画素単位での被写体までの距離情報を示す二次元配列情報である。
【００１４】
顔検出部１０６は、画像処理部１０４で行うリライティング処理の被写体領域を決めるため、撮影画像中の人物の顔領域を検出する。この時、右目、左目、口などの顔器官の座標を検出し、右目と左目の距離など各顔器官同士の距離を算出する。その各顔器官同士の距離に基づいて、背景領域を含まないように、各器官の座標の重心座標を中心とする楕円領域を設定し、それを顔領域として検出する。記録部１０７は、画像処理部１０４から出力された画像信号をＪＰＥＧ等の形式に変換し、記録する。
【００１５】
制御部１０８は、本実施形態の撮像装置１００全体の動作制御を行う。例えば、撮影直前の被写体の明るさから、目標とする露光量を算出する。他にも、撮影した画像に基づいて所定の評価値を算出し、画像処理部１０４で行う画像処理のパラメータを決定する。メモリ１０９は、画像処理部１０４で用いる情報ならびに撮影時の設定や照明条件などが記憶されており、必要に応じて画像処理部１０４にその情報を出力する。操作部１１０は、ユーザーが撮像装置に対し操作指示を行うスイッチなどの複数の部材を有する。表示部１１１は、例えばカメラ背面に設置された液晶ディスプレイ等であり、撮影時の操作の補助を行うための画面や、記録部１０７に保存されている画像等を表示する。
【００１６】
図２は、本実施形態における画像処理部１０４の構成を示すブロック図である。画像処理部１０４は、同時化処理部２０１、ホワイトバランス補正処理部２０２、リライティング処理部２０３、ガンマ処理部２０４を備える。
【００１７】
画像処理部１０４の処理の流れについて説明する。Ａ／Ｄ変換部１０３でデジタル信号に変換された、ベイヤー配列の映像信号が画像処理部１０４に入力される。画像処理部１０４に入力された映像信号は同時化処理部２０１に入力され、入力されたベイヤー配列のＲＧＢ信号に対して同時化処理が行われ、色信号Ｒ，Ｇ，Ｂが生成される。生成されたＲ，Ｇ，Ｂの色信号はホワイトバランス補正処理部２０２に入力され、制御部１０７が算出したホワイトバランスゲイン値に基づいてＲＧＢの色信号にゲインがかけられ、ホワイトバランスが調整される。
【００１８】
ホワイトバランスが調整された色信号ＲＧＢはリライティング処理部２０３に出力される。リライティング処理部２０３では、ホワイトバランス補正処理部２０２から色信号ＲＧＢ、測距部１０５から距離マップＤ＿ＭＡＰ、顔検出部１０６から画像内の顔の座標や大きさを示した情報を受ける。そして、色信号Ｒ，Ｇ，Ｂに対して、仮想光源を照射した画像を生成し、処理後の色信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔをガンマ処理部２０４に出力する。ガンマ処理部２０４は、リライティング処理後の信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔが入力され、入力された信号にガンマ処理を施し、ガンマ処理後の色信号Ｒｇ，Ｇｇ，Ｂｇを記録部１０７に出力する。
【００１９】
続いて、図３はリライティング処理部２０３の構成を示すブロック図である。
【００２０】
リライティング処理部２０３は、法線取得部３０１、仮想光源情報算出部３０２、仮想光源拡散反射成分算出部３０３、仮想光源付加処理部３０４を備える。リライティング処理部２０３には、測距部１０５から距離情報が入力され、ホワイトバランス補正処理部２０２から色信号Ｒ，Ｇ，Ｂが入力され、顔検出部１０６から顔領域情報が入力される。
【００２１】
法線取得部３０１は、顔検出部１０６から入力された顔座標位置における被写体の表面の法線方向を取得する。本実施形態では、法線取得部３０１は、測距部１０５で計測した距離情報を参照し、被写体領域の法線情報を算出する（立体形状情報取得）。このようにして取得した法線情報Ｎを仮想光源情報算出部３０２と、仮想光源拡散反射成分算出部３０３へ出力する。
【００２２】
仮想光源情報算出部３０２には、ホワイトバランス処理部２０２からの色信号Ｒ，Ｇ，Ｂ（色情報取得）と、法線取得部３０１からの法線Ｎの情報が入力される。仮想光源情報算出部３０２は、後述する手法により、仮想光源の向きを示す３次元方向ベクトルＬ、仮想光源照射強度を示すα、光源色成分Ｒｗ，Ｇｗ，Ｂｗを算出し、仮想光源拡散反射成分算出部３０３へ出力する。
【００２３】
仮想光源拡散反射成分算出部３０３は、拡散反射成分Ｒｄ，Ｇｄ，Ｂｄを算出する。拡散反射成分の求め方について、図４を用いて説明する。
【００２４】
図４は撮影時のデジタルカメラ１００、被写体４０１、仮想光源４０２の位置関係と、仮想光源の反射特性を示した図である。
【００２５】
カメラ１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明を分かりやすくするために省略）における拡散反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写体位置の距離Ｋ１の二乗に反比例する値となる。仮想光源による拡散反射成分強度Ｐｄは（式１）で表すことができ、色ごとの拡散反射成分Ｒｄ，Ｇｄ，Ｂｄは（式２）で表すことができる。
【００２６】
【数１】
2020160945.tif 000003
【００２７】
Ｒｄ＝Ｐｄ×Ｒｗ×Ｒ
Ｇｄ＝Ｐｄ×Ｇｗ×Ｇ
Ｂｄ＝Ｐｄ×Ｂｗ×Ｂ                …（式２）
ここで、（式１）におけるＮは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。ｋｄは被写体の拡散反射率である。α、Ｌはそれぞれ仮想光源情報算出部３０２から入力された仮想光源の強さ、仮想光源の３次元方向ベクトルである。また（式２）におけるＲ，Ｇ，Ｂはホワイトバランス補正処理部２０２から入力された色信号Ｒ，Ｇ，Ｂである。Ｒｗ，Ｇｗ，Ｂｗは仮想光源の色を示すパラメータである。これらパラメータの算出方法は後述する。
【００２８】
仮想光源付加処理部３０４は、仮想光源拡散反射成分算出部３０３で算出した拡散反射成分Ｒｄ，Ｇｄ，Ｂｄを入力色信号Ｒ，Ｇ，Ｂに付加する処理を行う。仮想光源照射後色信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔは（式３）のように表すことができる。
【００２９】
Ｒ＿ｏｕｔ＝Ｒ＋Ｒｄ
Ｇ＿ｏｕｔ＝Ｇ＋Ｇｄ
Ｂ＿ｏｕｔ＝Ｂ＋Ｂｄ                …（式３）
このように算出した仮想光源照射後色信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔを
ガンマ処理部２０５へ出力する。
【００３０】
次に、図５は仮想光源情報算出部３０２の処理を示すフローチャートである。
【００３１】
Ｓ５０１において、仮想光源情報算出部３０２は、顔検出部１０６から顔検出情報を、ホワイトバランス補正処理部２０２から入力画像の色信号Ｒ，Ｇ，Ｂを、法線取得部３０１から顔領域法線情報を取得する。
【００３２】
Ｓ５０２において、顔検出部１０６から取得した顔領域内における目標とする肌色である補正目標色Ｒｔ，Ｇｔ，Ｂｔを算出する（目標色取得）。補正目標色Ｒｔ，Ｇｔ，Ｂｔは、たとえば、顔領域内の色信号Ｒ，Ｇ，Ｂそれぞれの平均値であるが、この他にも、顔領域内の色信号Ｒ，Ｇ，Ｂそれぞれの中央値や最頻値といった統計的に処理した値を用いることができる。
【００３３】
Ｓ５０３において、顔検出部１０６から取得した顔領域内における補正対象色Ｒｓ，Ｇｓ，Ｂｓを取得する。ここで補正対象色Ｒｓ，Ｇｓ，Ｂｓは撮影時の環境光源下での肌色のバランスを示すものであり、Ｒｓ＋Ｇｓ＋Ｂｓ＝１の関係を満たすものとする。補正対象色Ｒｓ，Ｇｓ，Ｂｓは、補正対象となる光源色が既知である場合、予めメモリ１０９に格納された既知光源色の値を参照することにより取得する。補正対象となる光源色はメモリ１０９に格納された撮影時の照明条件を参照すること、もしくは操作部１１０でユーザーから色の入力を受けることで知ることができる。
【００３４】
補正対象となる光源が未知の場合は、顔検出部１０６から取得した顔領域内の各画素の色信号Ｒ，Ｇ，Ｂのうち、補正目標色Ｒｔ，Ｇｔ，Ｂｔから最も異なる色信号Ｒ，Ｇ，Ｂに基づいて（式４）のように定める。（式４）におけるＲｅ，Ｇｅ，Ｂｅとは、顔領域内の色信号Ｒ，Ｇ，Ｂのうち、補正目標色Ｒｔ，Ｇｔ，Ｂｔと最も異なる色信号Ｒ，Ｇ，Ｂの値である。色信号同士の比較方法は公知の方法であり、たとえば、注目画素の色信号Ｒ，Ｇ，Ｂと補正目標色Ｒｔ，Ｇｔ，Ｂｔのユークリッド距離が最も大きくなる画素の色信号Ｒ，Ｇ，Ｂの値をＲｅ，Ｇｅ，Ｂｅとすればよい。
【００３５】
Ｒｓ＝Ｒｅ／（Ｒｅ＋Ｇｅ＋Ｂｅ）
Ｇｓ＝Ｇｅ／（Ｒｅ＋Ｇｅ＋Ｂｅ）
Ｂｓ＝Ｂｅ／（Ｒｅ＋Ｇｅ＋Ｂｅ）          …（式４）
Ｓ５０４において、各画素の補正対象色重みＣｗを取得する。補正対象色重みＣｗは、各画素の色信号Ｒ，Ｇ，Ｂが補正対象色Ｒｓ，Ｇｓ，Ｂｓの成分をどれだけ有しているかを示す値であり、（式５）のように表す。（式５）は注目画素の色信号Ｒ，Ｇ，Ｂと補正対象色Ｒｓ，Ｇｓ，Ｂｓの内積値を補正対象色重みＣｗとすることを示している。
【００３６】
Ｃｗ＝Ｒ×Ｒｓ＋Ｇ×Ｇｓ＋Ｂ×Ｂｓ        …（式５）
Ｓ５０５において、仮想光源の照射方向ベクトルＬを算出する。仮想光源の照射ベクトルＬは（式６）のように表す。（式６）は顔検出部１０６から取得した顔領域内の各画素１〜ｍの法線ベクトルＮ１〜Ｎｍを各画素の補正対象色重みＣｗ１〜Ｃｗｍを重みとする加算平均で得られる方向ベクトルを仮想光源の照射ベクトルＬとすることを示している。
【００３７】
【数２】
2020160945.tif 000004
【００３８】
Ｓ５０６において、仮想光源の強度αを算出する。仮想光源の強度αは（式７）のように表す。（式７）は、仮想光源を照射することにより被写体を補正目標色Ｒｔ，Ｇｔ，Ｂｔに近づけるような補正強度αを算出することを目的とした式である。仮想光源の強度αは正の値と負の値の両方を持つことがあり、正の値を持つ場合は、仮想光源による光の加算効果を付与し、負の値を持つ場合は、仮想光源による光の減算効果を付与する。
【００３９】
α＝−１×Ｃｔ／（Ｃｍａｘ−Ｃｔ）        …（式７）
（式７）において、Ｃｔとは補正目標色Ｒｔ，Ｇｔ，Ｂｔが、補正対象色Ｒｓ，Ｇｓ，Ｂｓの成分をどれだけ有しているかを示す値であり、補正目標色Ｒｔ，Ｇｔ，Ｂｔと補正対象色Ｒｓ，Ｇｓ，Ｂｓの内積値である。Ｃｍａｘとは顔検出部１０６から取得した顔領域内において、補正対象色Ｒｓ，Ｇｓ，Ｂｓの成分を多く有し、補正目標色Ｒｔ，Ｇｔ，Ｂｔから最も異なる画素のＣｗの値である。本実施形態では、Ｃｍａｘの値は、各画素の色信号Ｒ，Ｇ，Ｂと補正対象色Ｒｓ，Ｇｓ，Ｂｓの内積値ＣｗとＣｔの差分絶対値が最大となるＣｗの値である。これにより、Ｃｍａｘの値がＣｔより小さい場合、αは正の値をとり、補正目標値に近づくように仮想光源による照射効果を加算できる。また、Ｃｍａｘの値がＣｔより大きい場合、αは負の値をとり、補正目標に近づくように仮想光源による照射効果を減算することができる。
【００４０】
Ｓ５０７では、α＜０か否かが判断される。α＜０の場合はＳ５０８に進み、α＜０でない場合はＳ５０９に進む。
【００４１】
Ｓ５０８においては、α＜０の場合の仮想光源色Ｒｗ，Ｇｗ，Ｂｗを算出する。仮想光源色Ｒｗ，Ｇｗ，Ｂｗは仮想光源の色バランスを示し、Ｒｗ＋Ｇｗ＋Ｂｗ＝１となる特性を持つ。
【００４２】
α＜０の場合、仮想光源によって、補正色成分を減算することにより補正目標色に近づけるため、（式８）に示すように仮想光源色Ｒｗ，Ｇｗ，Ｂｗは補正対象色Ｒｓ，Ｇｓ，Ｂｓと等価でよい。
【００４３】
Ｒｗ＝Ｒｓ
Ｇｗ＝Ｇｓ
Ｂｗ＝Ｂｓ                …（式８）
Ｓ５０９においては、α≧０の場合の仮想光源色Ｒｗ，Ｇｗ，Ｂｗを算出する。α≧０の場合、仮想光源における照射効果を加算することにより補正目標色に近づけるため、（式９）に示すように仮想光源色Ｒｗ，Ｇｗ，Ｂｗは補正対象色Ｒｓ，Ｇｓ，Ｂｓと対称となる色バランスを有する。（式９）におけるＭＡＸ（Ｒｓ，Ｇｓ，Ｂｓ）とは補正対象色Ｒｓ，Ｇｓ，Ｂｓのうち最大値を選択する関数である。
【００４４】
Ｒｗ’＝ｍａｘ（Ｒｓ，Ｇｓ，Ｂｓ）−Ｒｓ
Ｇｗ’＝ｍａｘ（Ｒｓ，Ｇｓ，Ｂｓ）−Ｇｓ
Ｂｗ’＝ｍａｘ（Ｒｓ，Ｇｓ，Ｂｓ）−Ｂｓ
Ｒｗ＝Ｒｗ’／（Ｒｗ’＋Ｇｗ’＋Ｂｗ’）
Ｇｗ＝Ｇｗ’／（Ｒｗ’＋Ｇｗ’＋Ｂｗ’）
Ｂｗ＝Ｂｗ’／（Ｒｗ’＋Ｇｗ’＋Ｂｗ’）            …（式９）
Ｓ５１０において、上記のように算出した仮想光源の方向ベクトルＬ、仮想光源の強度α、仮想光源の色Ｒｗ，Ｇｗ，Ｂｗを仮想光源拡散反射成分算出部３０３へ出力する。
【００４５】
このようにして撮影時に被写体に照射された光源の色により悪くなった印象を、好ましい印象となるように補正する仮想光源を設定することができる。
【００４６】
なお、本実施形態では、法線情報をメモリ１０９から直接取得する例について説明したが、法線情報ではなくても、被写体の立体形状を示すものであればどのような情報であってもかまわない。例えば、被写体の立体形状を示す３次元のワイヤーフレーム情報であってもかまわない。この場合、ワイヤーフレームの各点の角度情報から法線情報を算出することができる。
【００４７】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【００４８】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００４９】
１００：デジタルカメラ、１０１：光学系、１０２：撮像素子、１０４：画像処理部、１０５：測距部、１０６：顔検出部、１０８：制御部
【図１】
2020160945.tif 000005
【図２】
2020160945.tif 000006
【図３】
2020160945.tif 000007
【図４】
2020160945.tif 000008
【図５】
2020160945.tif 000009