(57)【要約】      （修正有）【課題】被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような画像を生成する。【解決手段】画像処理装置は、被写体を含むシーンを撮像することにより得られる画像データを取得する画像取得手段３０１と、シーンを撮像した撮像装置から被写体までの距離情報を取得する第一の取得手段１０５と、被写体に関連する所定の特徴パターンに対応する法線情報を記憶する記憶手段２０２と、距離情報と記憶手段が記憶する法線情報に基づき、画像データに対するライティング処理に適用する法線情報を生成する生成手段３０４と、生成手段が生成した法線情報を用いて、画像データに対して、ライティング処理を実行するライティング処理手段３０６とを備える。【選択図】図３
2019062436.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含むシーンを撮像することにより得られる画像データを取得する画像取得手段と、
前記シーンを撮像した撮像装置から前記被写体までの距離情報を取得する第一の取得手段と、
前記被写体に関連する所定の特徴パターンに対応する法線情報を記憶する記憶手段と、
前記距離情報と前記記憶手段が記憶する前記法線情報に基づき、前記画像データに対するライティング処理に適用する法線情報を生成する生成手段と、
前記生成手段が生成した前記法線情報を用いて、前記画像データに対して、ライティング処理を実行するライティング処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記記憶手段は、所定の特徴パターンに対応する法線情報を前記撮像装置から前記被写体までの距離に応じて、複数、記憶し、
前記生成手段は、前記距離情報に基づいて、前記記憶手段が記憶する複数の法線情報から法線情報を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記距離情報に基づいて選択した法線情報を、前記距離情報に応じて変形することで、前記ライティング処理に適用する法線情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記記憶手段は、前記複数の法線情報を、前記撮像装置から前記被写体までの距離が短いほど、短い距離間隔で記憶することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記記憶手段が記憶する法線情報は、前記被写体の所定の特徴パターンにおいて、所定の領域毎に設定される領域別の法線情報を含むことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記距離情報に基づいて、前記領域別の法線情報を位置合わせすることで、前記ライティング処理に適用する法線情報を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記距離情報に基づいて選択された前記領域別の法線情報を、前記距離情報に応じて変形し、さらに統合することで、前記ライティング処理に適用する法線情報を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記被写体の種類を示す被写体情報を取得する第二の取得手段をさらに備え、
前記生成手段は、前記被写体情報に基づいて、前記被写体の所定の特徴パターンに対応する法線情報を生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像データから前記被写体を検出する検出手段をさらに備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記検出された被写体と、前記距離情報に基づいて選択された前記被写体の所定の特徴パターンに対応する法線情報とを位置合わせすることで、前記ライティング処理に適用する法線情報を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記被写体の所定の特徴パターンは、顔であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
被写体に関連する所定の特徴パターンに対応する法線情報を記憶する記憶手段を備えた画像処理装置における画像処理方法であって、
画像取得手段により、前記被写体を含むシーンを撮像することにより得られる画像データを取得する画像取得ステップと、
第一の取得手段により、前記シーンを撮像した撮像装置から前記被写体までの距離情報を取得する第一の取得ステップと、
生成手段により、前記距離情報と前記記憶手段が記憶する前記法線情報に基づき、前記画像データに対するライティング処理に適用する法線情報を生成する生成ステップと、
ライティング処理手段により、前記生成ステップにおいて生成した前記法線情報を用いて、前記画像データに対して、ライティング処理を実行するライティング処理ステップと
を含むことを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
人物を対象とした写真撮影において、顔の向きや構図、ライティング等は、被写体の印象を決める大きな要因の一つである。そのため、これらの撮影条件を写真撮影後に調整することで、被写体を補正することが行われている。例えば、特許文献１には、顔の立体形状を表す顔立体形状テンプレートより生成される顔モデルを用いて、被写体を補正する画像処理装置が開示されている。
【０００３】
この特許文献１の画像処理装置では、画像データから検出した顔情報（即ち、顔位置情報、顔の大きさ情報、顔部品情報、及び顔方向情報）に基づいて、顔立体形状テンプレートを変形させて被写体の顔モデルを生成している。また、特許文献１の画像処理装置では、検出された顔部品情報や顔の大きさ情報等に基づいて顔の立体形状を推定し、複数の顔立体形状テンプレートから被写体に適した顔立体形状テンプレートを選択している。これにより、顔の個人差や顔の向き等による見た目の違いに応じて、顔立体形状テンプレートを選択することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４９８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像処理装置のように、少なくとも被写体距離を考慮することなく、顔立体形状テンプレートを選択する場合、被写体距離が変化すると、被写体の見た目とは異なる顔立体形状テンプレートが選択される可能性がある。そして、これにより、顔モデルも被写体と似つかないように生成され、結果、その顔モデルを用いて補正された被写体は不自然なものとして生成される。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような画像を生成することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、被写体を含むシーンを撮像することにより得られる画像データを取得する画像取得手段と、前記シーンを撮像した撮像装置から前記被写体までの距離情報を取得する第一の取得手段と、前記被写体に関連する所定の特徴パターンに対応する法線情報を記憶する記憶手段と、前記距離情報と前記記憶手段が記憶する前記法線情報に基づき、前記画像データに対するライティング処理に適用する法線情報を生成する生成手段と、前記生成手段が生成した前記法線情報を用いて、前記画像データに対して、ライティング処理を実行するライティング処理手段とを備える。
【発明の効果】
【０００８】
本発明によれば、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置を備えた撮像装置の外観を示す図である。
【図２】画像処理装置を備えた撮像装置の内部構成を示すブロック図である。
【図３】画像処理装置の機能構成を示すブロック図である。
【図４】画像処理装置における処理の手順を示すフローチャートである。
【図５】カラー画像データと距離画像データを示す図である。
【図６】顔領域と器官位置を示す図である。
【図７】顔モデル法線情報取得処理の手順を示すフローチャートである。
【図８】顔モデル法線情報を示す図である。
【図９】法線画像データ生成処理の手順を示すフローチャートである。
【図１０】法線画像データ生成処理の概要を示す図である。
【図１１】ライティング処理の概要を示す図である。
【図１２】ライティング処理の結果を示す図である。
【図１３】顔モデル法線情報取得処理の手順を示すフローチャートである。
【図１４】領域別顔モデル法線情報を示す図である。
【図１５】顔モデル法線情報を示す図である。
【図１６】領域別顔モデル法線情報取得処理の手順を示すフローチャートである。
【図１７】顔法線画像データ生成処理の概要を示す図である。
【図１８】画像処理装置の機能構成を示すブロック図である。
【図１９】画像処理装置における処理の手順を示すフローチャートである。
【図２０】被写体モデル法線情報を示す図である。
【発明を実施するための形態】
【００１０】
（撮像装置の外観）
図１は、実施形態に係る画像処理装置を備えた撮像装置の外観を示す図であり、図１（ａ）は撮像装置の前面、図１（ｂ）は背面の外観を各々、示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、ストロボ１０４、距離画像取得部１０５、表示部１０６、及び操作ボタン１０７を備える。
【００１１】
光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、及びシャッターによって構成される鏡筒であり、被写体の光情報を集光する。撮像ボタン１０３は、ユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。ストロボ１０４は、ユーザの指示に従って、撮像の開始に合わせて発光させることが可能な照明である。
【００１２】
距離画像取得部１０５は、距離情報として、撮像指示に応じて撮像したシーンにおける被写体の距離画像データを取得する。ここで、距離画像データとは、画像の各画素の画素値として、その画素に対応する被写体距離を格納した画像データのことである。距離画像取得部１０５は、赤外光を発光する赤外発光部と、被写体に反射した赤外光を受光する受光部とを備える。距離画像取得部１０５は、赤外発光部において発光した赤外光が被写体に反射し、受光部が受光するまでの時間に基づいて、撮像装置から被写体までの距離値を算出する。そして、算出した距離値と受光部のセンサ画素数や画角等を含む距離撮像情報に基づいて、被写体の位置情報を算出し、距離画像データを生成する。なお、距離画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、距離画像取得部１０５の代わりに光学部１０２と同様の光学系を設け、異なる２つの視点から撮像された画像データ間の視差に基づいて、三角測量を行うことにより距離画像データを取得することもできる。
【００１３】
表示部１０６は、撮像装置１０１にて処理された画像データや他の各種データを表示する、液晶ディスプレイ等の表示装置である。なお、図１に示すように、撮像装置１０１は光学ファインダを備えていないので、フレーミング操作（ピントや構図の確認）は表示部１０６を用いて行われる。即ち、撮像装置１０１に関して、表示部１０６においてライブビュー画像を確認しながら撮像が行われるので、フレーミングやフォーカシングの操作が行われるとき、表示部１０６は、電子ファインダとしても機能する。その他、表示部１０６では、カメラ設定メニュー等も表示する。
【００１４】
操作ボタン１０７は、撮像装置１０１の動作モードの切り換え操作や、撮像時の各種パラメータ等をユーザが撮像装置１０１に指示するためのボタンである。なお、撮像装置１０１は、動作モードの一つとして、撮像された画像における照明の当たり具合を撮像後に補正するライティング処理モードを備える。そのため、ユーザは、操作ボタン１０７又は撮像ボタン１０３を用いて、ライティング処理モードへの切り替え、ライティング処理に用いる仮想照明の照明パラメータの設定、さらに照明の当たり具合を調整（補正）する被写体の選択等を行うことができる。また、ユーザは補正された画像データを出力する際に、距離画像データを出力するか否か等の指示をすることもできる。その他、表示部１０６は、タッチスクリーン機能を備えていてもよく、その場合、タッチスクリーンを用いたユーザ指示を操作ボタン１０７の入力として扱うことも可能である。
【００１５】
（撮像装置の内部構成）
図２は、実施形態に係る画像処理装置を備えた撮像装置の内部構成を示すブロック図である。ＣＰＵ２０１は、各構成の処理の全てに関わり、ＲＯＭ（Read Only Memory）２０２や、ＲＡＭ（Random Access Memory）２０３に格納された命令を順に読み込み、解釈することで処理を実行する。
【００１６】
ＲＯＭ２０２は、ＣＰＵ２０１により実行されるプログラムを記憶する。なお、本実施形態において、ＲＯＭ２０２は、複数の顔モデル法線情報及び領域別顔モデル法線情報を格納するものとする。顔モデル法線情報は、所定の形状の顔（顔モデル）に対応する、顔表面の法線ベクトルを画素値に格納した顔モデル法線画像データと、顔モデル法線画像データにおける目・鼻・口等の器官位置を示す顔モデル法線器官位置とを含む。また、領域別顔モデル法線情報は、顔輪郭・目・鼻・口等の領域に対応する法線ベクトルを画素値に格納した領域別顔モデル法線画像データと、領域別顔モデル法線画像データにおける器官位置を示す領域別顔モデル法線器官位置とを含む。ＲＡＭ２０３は、ＣＰＵ２０１により実行されるプログラムを記憶する。
【００１７】
光学系制御部２０４は、光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整する等のＣＰＵ２０１から指示された制御を行う制御回路である。また、光学系制御部２０４は、光学系の状態等に基づいて、フォーカスを合わせた被写体までの距離を取得し、ＲＡＭ２０３等に記憶することができる。
【００１８】
制御部２０５は、撮像ボタン１０３や操作ボタン１０７からのユーザ指示を受け取り、撮像モード、ライティング処理モード等への切り換え、被写体領域の選択、照明パラメータの設定等の制御を行う制御回路である。カラー撮像素子部２０６は、光学部１０２にて集光された光情報を電流値に変換する撮像素子である。カラー撮像素子部２０６は、ベイヤ配列等の所定の配列を有するカラーフィルタを備え、光学部１０２において集光された光から被写体の色情報を取得する。
【００１９】
Ａ／Ｄ変換部２０７は、カラー撮像素子部２０６において検知された被写体の色情報をデジタル信号値に変換し、ＲＡＷ画像データとする処理回路である。なお、本実施形態では、同時刻に撮像した距離画像データとＲＡＷ画像データを取得できるものとする。画像処理部２０８は、Ａ／Ｄ変換部２０７で取得されたＲＡＷ画像データに対して現像処理を行い、カラー画像データを生成する。また、画像処理部２０８は、カラー画像データや距離画像データを用いて、カラー画像データにライティング処理を施した補正画像データを生成する等の各種画像処理を実行する。なお、画像処理部２０８の内部構成及び機能は、後述の図３を用いて詳述する。
【００２０】
キャラクタージェネレーション部２０９は、文字やグラフィック等を生成する処理回路である。キャラクタージェネレーション部２０９により生成された文字やグラフィックは、表示部１０６において、画像データや補正画像データ等に重畳して表示される。エンコーダ部２１０は、画像処理部２０８において処理されたカラー画像データやライティング処理によって生成される補正画像データを含む各種画像データをＪｐｅｇ等のファイルフォーマットに変換する。
【００２１】
メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード等）に、画像データを送受信するためのインタフェースである。メディアＩ／Ｆ２１１としては、例えば、ＵＳＢ（Universal Serial Bus）等が用いられる。システムバス２１２は、データを送受信するためのバスである。
【００２２】
（画像処理部の内部構成）
図３は、実施形態に係る画像処理装置（画像処理部２０８）の機能構成を示すブロック図である。現像処理部３０１は、Ａ／Ｄ変換部２０７から取得したＲＡＷ画像データに対して、ホワイトバランス処理、デモザイク処理、ノイズリダクション処理、色変換処理等を施し、カラー画像データを生成する。なお、撮像装置１０１は、現像処理部３０１において生成されたカラー画像データを表示部１０６に出力して表示することや、ＲＡＭ２０３、ＰＣ／メディア２１３等の記憶装置に記憶することができる。
【００２３】
顔検出部３０２は、現像処理部３０１より取得したカラー画像データから被写体の顔情報を取得する。なお、被写体の顔情報には、カラー画像データにおいて被写体の顔が占める領域を示す顔領域と、顔に含まれる目や口等のカラー画像データにおける位置を示す器官位置とに関する情報が少なくとも含まれる。
【００２４】
顔モデル法線情報取得部３０３は、被写体までの距離情報に基づいて、複数の顔モデル法線情報から被写体に合う法線情報を選択する。本実施形態では、顔検出部３０２から取得した顔情報と距離画像取得部１０５から取得した距離画像データに基づいて、ＲＯＭ２０２から顔モデル法線情報を選択する。
【００２５】
法線生成部３０４は、顔検出部３０２から顔情報、顔モデル法線情報取得部３０３から顔モデル法線情報、距離画像取得部１０５から距離画像データを各々、取得すると、それらの情報に基づいて、カラー画像データに対応する法線画像データを生成する。
【００２６】
照明パラメータ設定部３０５は、制御部２０５から受け渡されるユーザ操作（指示）に基づいて、照明パラメータを設定する。なお、本実施形態における照明パラメータは、照明の位置、姿勢、強度、光源色等を含む。ライティング処理部３０６は、距離画像取得部１０５から距離画像データ、法線生成部３０４から法線画像データ、照明パラメータ設定部３０５から照明パラメータを各々、取得し、それらのデータに基づいて、カラー画像データにライティング処理を実行する。なお、撮像装置１０１では、ライティング処理により補正された補正画像データを、ＲＡＭ２０３やＰＣ／メディア２１３等の記憶装置に出力し、記憶することや、表示部１０６に出力して表示することができる。
【００２７】
（画像処理部の処理フロー）
図４は、実施形態に係る画像処理装置（画像処理部２０８）における処理の手順を示すフローチャートである。図４のフローチャートに示す処理において、画像処理部２０８は、先ず、カラー画像データから取得した顔情報と距離画像データに基づいて、顔モデル法線情報を選択する。画像処理部２０８は、次に、顔情報、顔モデル法線情報、及び距離画像データに基づいて、カラー画像データに対応する法線画像データを生成する。画像処理部２０８は、さらに、ユーザにより設定された照明パラメータ、距離画像データ及び法線画像データに基づいて、カラー画像データに仮想照明を付加するライティング処理を実行し、補正画像データを生成する。
【００２８】
以下、画像処理部２０８の処理手順に関して、詳述する。現像処理部３０１は、Ａ／Ｄ変換部２０７より取得したＲＡＷ画像データに基づいて、カラー画像データを生成する（Ｓ４０１）。カラー画像データは、例えば、図５（ａ）のように示され、また、カラー画像データ５０１の画素Ｉ（ｉ，ｊ）にはＲＧＢ値が画素値として格納されており、各々Ｉｒ（ｉ、ｊ）、Ｉｇ（ｉ、ｊ）、Ｉｂ（ｉ、ｊ）として示される。なお、カラー画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されているＲＡＷ画像データを取得し、現像処理部３０１により、その取得したＲＡＷ画像データからカラー画像データを生成することもできる。また、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されているカラー画像データを直接、取得することもできる。
【００２９】
画像処理部２０８は、距離画像取得部１０５から距離画像データを取得する（Ｓ４０２）。距離画像データは、例えば、図５（ｂ）のように示され、また、距離画像データ５０２の画素Ｄ（ｉ，ｊ）には、撮像装置から被写体までの距離値が格納されている。なお、距離画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されている距離画像データを直接、取得することもできる。
【００３０】
画像処理部２０８は、次に、ＲＡＭ２０３からフラグＳＷ１の状態を取得し、フラグＳＷ１の状態に基づいて、ライティング処理を実行するか否かを判定する（Ｓ４０３）。画像処理部２０８は、フラグＳＷ１がＯＦＦの場合はライティング処理を実行しないと判定し（Ｓ４０３ Ｎｏ）、ステップＳ４０４に処理を移行する。また、フラグＳＷ１がＯＮの場合はラインティング処理を実行すると判定し（Ｓ４０３ Ｙｅｓ）、ステップＳ４０５に処理を移行する。
【００３１】
ステップＳ４０３において、ライティング処理を実行しないと判定されると、画像処理部２０８は、ＲＡＭ２０３からフラグＳＷ２の状態を取得する。そして、画像処理部２０８は、フラグＳＷ２がＯＦＦの場合はカラー画像データのみを、フラグＳＷ２がＯＮの場合はカラー画像データと距離画像データをＰＣ／メディア２１３に出力し、記憶する（Ｓ４０４）。或いは、画像処理部２０８は、カラー画像データを表示部１０６に出力し、表示させることで、ユーザが確認できるようにすることもできる。なお、画像処理部２０８は、ステップＳ４０４における処理を実行すると、図４に示す処理を終了する。
【００３２】
また、ステップＳ４０３において、ライティング処理を実行すると判定されると、顔検出部３０２は、カラー画像データに基づいて、顔情報を検出（取得）する（Ｓ４０５）。ここで、顔情報に関して、図６を用いて説明する。図６に示されるように、顔情報には、顔領域６０１及び器官位置６０２が含まれる。顔領域は、画像データにおいて、顔が含まれる領域の画素の集合として示される。器官位置６０２は、顔領域内における目、鼻、口等に対応する座標として示される。
【００３３】
顔領域、器官位置の検出方法については、既存のアルゴリズムを適用することができる。既存のアルゴリズムとしては、テンプレートマッチングを用いたアルゴリズムや、Ｈａａｒ−Ｌｉｋｅ特徴量を用いたアルゴリズム等があり、本実施形態では、テンプレートマッチングを適用することで、顔領域・器官位置を検出する。
【００３４】
テンプレートマッチングを適用した検出では、先ず、カラー画像データに対して、閾値処理を実行することで、肌色の領域を顔候補領域として抽出する。次に、様々な大きさの顔画像のテンプレートを用いて、顔候補領域に対してマッチング処理を実行し、尤度を算出する。そして、その算出した尤度に基づいて、顔領域か否かの判定処理を実行し、顔領域を抽出する。器官位置についても、抽出された顔領域に対して、目、鼻、口の画像のテンプレートを用いて、同様にマッチング処理を実行し、尤度を算出する。そして、この尤度の大きさに基づいて、顔領域・器官位置の信頼度を算出する。以上の処理を実行することで、顔領域６０１、器官位置６０２を取得する。
【００３５】
次に、顔モデル法線情報取得部３０３は、被写体距離に基づいて、顔モデル法線情報を取得する（Ｓ４０６）。なお、顔モデル法線情報取得部３０３における顔モデル法線情報を取得する処理に関しては、後述の図７等を用いて詳述する。
【００３６】
法線生成部３０４は、ステップＳ４０２、Ｓ４０５、及びＳ４０６で各々、取得した、距離画像データ、顔情報、及び顔モデル法線情報に基づいて、ステップＳ４０１で生成されたカラー画像データに対応する法線画像データを生成する（Ｓ４０７）。なお、法線生成部３０４における法線画像データを生成する処理に関しては、後述の図９、図１０等を用いて詳述する。
【００３７】
照明パラメータ設定部３０５は、制御部２０５から受け渡されるユーザ操作に基づいて、照明パラメータを設定（決定）する（Ｓ４０８）。ライティング処理部３０６は、距離画像データ、法線画像データ、及び照明パラメータに基づいて、カラー画像データに対して、カラー画像データに仮想照明（仮想的な光源）を付加する等のライティング処理を実行し、補正画像データを生成する（Ｓ４０９）。なお、ライティング処理部３０６におけるライティング処理に関しては、後述の図１１等を用いて詳述する。
【００３８】
ライティング処理部３０６は、制御部２０５から受け渡されるユーザ操作（即ち、ユーザからの指示）に基づいて、ライティング処理を終了するか否かを判定する（Ｓ４１０）。画像処理部２０８は、ライティング処理部３０６によりライティング処理を終了すると判定されると処理をステップＳ４１１に移行し、また、ライティング処理を終了しないと判定されると処理をステップＳ４０８に返し、再び照明パラメータを設定する。
【００３９】
処理がステップＳ４１１に移行されると、画像処理部２０８は、ＲＡＭ２０３からフラグＳＷ２の状態を取得し、ライティング処理部３０６は、その取得したフラグＳＷ２の状態に基づいて、各種データを出力する。ライティング処理部３０６は、フラグＳＷ２がＯＦＦの場合はカラー画像データ及び補正画像データを、フラグＳＷ２がＯＮの場合はカラー画像データ、補正画像データ、及び距離画像データをＰＣ／メディア２１３に出力し、記憶する。その後、画像処理部２０８は、図４に示す処理を終了する。
【００４０】
（顔モデル法線情報取得処理）
ここでは、ステップＳ４０６において、顔モデル法線情報取得部３０３により実行される顔モデル法線情報取得処理（即ち、距離画像データと顔情報に基づいて、顔モデル法線情報を取得する処理）について説明する。
【００４１】
以下、顔モデル法線情報取得処理の手順に関して、図７を用いて詳述する。顔モデル法線情報取得部３０３は、先ず、顔検出部３０２より取得した顔情報と距離画像取得部１０５より取得した距離画像データに基づいて、被写体距離を算出する（Ｓ７０１）。なお、本実施形態では、顔領域（即ち、被写体の顔が占める領域）における距離値の平均を被写体距離とする。
【００４２】
顔モデル法線情報取得部３０３は、ステップＳ７０１で算出した被写体距離に基づいて、顔モデル法線情報を取得する（Ｓ７０２）。本実施形態では、図８に示す被写体距離に応じた複数の顔モデル法線情報から、ステップＳ７０１で算出した被写体距離に最も近い顔モデル法線情報を選択する。
【００４３】
図８は、被写体距離に応じた複数の顔モデル法線情報を例示したものである。図８において、顔モデル法線情報８０１、８０２、８０３は各々、０．５ｍ、１．５ｍ、５．０ｍの被写体距離に応じた顔モデル法線情報であり、これらの顔モデル法線情報はＲＯＭ２０２に格納されている。
【００４４】
顔モデル法線情報は、顔表面の法線ベクトル（即ち、被写体距離の位置から観察したときの顔表面の向き）を画素値に格納した顔モデル法線画像データと、顔モデル法線画像データにおける目・鼻・口等の器官位置を示す顔モデル法線器官位置とを含む。なお、顔モデル法線画像データにおける顔領域以外の領域における画素（即ち、背景画素）には、背景画素を示す画素値を格納するものとする。
【００４５】
図８に示されるように、正面顔の場合、被写体距離が短いほど目・口等の器官位置が中心から離れ（即ち、顔輪郭に近付き）、被写体距離が長くなるほど目・口等の器官位置が顔の中央に寄ったような見た目となる。このように、被写体距離によって、顔輪郭と目、鼻、口等のバランスは変化し、また、器官位置の変化は、被写体距離が短いほど、大きくなる。このため、顔モデル法線情報に関して、被写体距離が短いほど、短い距離間隔で顔モデル法線情報を保持しておくことが好ましい。
【００４６】
また、図８では、顔モデル法線情報が３つの場合を、その一例として説明したが、顔モデル法線情報の数は、これに限定されるものではない。したがって、例えば、ＲＯＭ２０２等の容量に応じて、顔モデル法線情報の数を２つに設定しても、また４つ以上に設定してもよい。なお、顔モデル法線情報の数を多く設定すれば、撮影時の条件により適合した顔モデル法線情報を選択することができる。
【００４７】
（法線画像データ生成処理）
ここでは、ステップＳ４０７において、法線生成部３０４により実行される法線画像データ生成処理（即ち、顔情報、顔モデル法線情報、及び距離画像データに基づいてカラー画像データに対応する法線画像データを生成する処理）について説明する。以下、法線画像データ生成処理の手順及び概要に関して、各々、図９及び図１０を用いて詳述する。
【００４８】
法線生成部３０４は、距離画像データに基づいて、被写体法線画像データを生成する（Ｓ９０１）。本実施形態の被写体法線画像データの生成に関して、法線生成部３０４は、先ず、距離画像データにおける画素の２次元的な座標値と、その画素の画素値から取得される距離値に基づいて、画素毎に３次元的な座標値を算出する。そして、法線生成部３０４は、次に、その算出した座標値に基づいて、各画素に対応する法線ベクトルを算出する。なお、着目画素に対応する法線ベクトルは、着目画素の近傍領域の３次元的な座標値から算出した勾配に基づいて、算出される。このようにして、法線生成部３０４は、被写体法線画像データ１００１を生成する。
【００４９】
法線生成部３０４は、次に、顔情報と顔モデル法線情報に基づいて、顔法線画像データを生成する（Ｓ９０２）。本実施形態の顔法線画像データの生成に関して、法線生成部３０４は、顔情報に含まれる器官位置６０２と、顔モデル法線情報に含まれる顔モデル法線器官位置に基づいて、顔モデル法線画像データを変形することで、顔法線画像データ１００２を生成する。なお、本実施形態では、アフィン変換を用いて、カラー画像データ５０１内の被写体の顔に合うように、顔モデル法線画像データを変形する。具体的には、器官位置６０２と顔モデル法線器官位置から最小二乗法を用いてアフィンパラメータを算出し、その算出したアフィンパラメータに基づいて顔モデル法線画像パラメータを変形することで、顔法線画像データ１００２を生成する。なお、顔法線画像データにおいて顔以外の背景画素は、背景画素を示す画素値を格納するものとする。
【００５０】
法線生成部３０４は、被写体法線画像データ１００１と顔法線画像データ１００２を生成すると、それらを統合し、さらに平滑化することで、法線画像データを生成する（Ｓ９０３）。具体的には、先ず、顔法線画像データ１００２の顔領域以外の領域における画素（即ち、背景画素）は被写体法線画像データ１００１の画素値、それ以外の画素は顔法線画像データ１００２の画素値となるように、画像データを統合する。即ち、統合法線画像データ１００３を生成する。法線生成部３０４は、次に、生成した統合法線画像データ１００３に対して、平滑化処理を実行することで、法線画像データ１００４を生成する。なお、本実施形態では、カラー画像データ５０１を参照画像として、統合法線画像データ１００３に平滑化処理を適用するものとする。また、この場合、例えば、カラー画像データ５０１を参照画像とするジョイントバイラテラルフィルタを適用すればよい。
【００５１】
以上のように処理することで、法線画像データを生成することができる。なお、法線画像データを生成する処理は、必ずしも上述の処理に限定されることはない。したがって、例えば、被写体法線画像データ１００１の生成を行うことなく、顔法線画像データ１００２のみから法線画像データを生成することもできる。また、この場合、被写体法線画像データ１００１の代わりに、全画素に適当な法線ベクトルを格納した画像データを与えればよい。
【００５２】
（ライティング処理）
ここでは、ステップＳ４０９において、ライティング処理部３０６により実行されるライティング処理について説明する。ステップＳ４０９のライティング処理は、上述のように、距離画像データ及び法線画像データに基づき、さらにユーザにより設定された照明パラメータに応じて、カラー画像データに対して仮想照明を付加し、補正画像を生成する処理である。本実施形態において、ライティング処理により生成される補正画像Ｉ’は、例えば、下式（１）に従って生成される。
【００５３】
【数１】
2019062436.tif 000003
【００５４】
式（１）において、Ｉ’ｒ、Ｉ’ｇ、Ｉ’ｂは補正画像データＩ’の画素値、Ｌｒｍ、Ｌｇｍ、Ｌｂｍはｍ番目の照明の色、ｋｍはｍ番目の照明に対する補正度合いを表す。さらに、ｍ番目の照明に対する補正度合いｋｍは、仮想照明の位置Ｑ、強度（照明の明るさ）α、姿勢Ｕ及び画素（ｘ、ｙ）に対応する距離値、法線ベクトルＮに基づいて決定され、例えば、下式（２）によって算出される。なお、仮想照明の色Ｌ、位置Ｑ、強度α、及び姿勢Ｕは、ユーザにより設定される照明パラメータである。また、ｔは仮想照明による補正度合いを調整する補正係数であり、本実施形態では１に設定する。
【００５５】
【数２】
2019062436.tif 000004
【００５６】
以下、式（２）について、図１１を用いて説明を補足する。図１１において、Ｑは、上述のように、仮想照明の位置を示しており、Ｐは画素（ｉ、ｊ）の三次元的な位置を示すものである。なお、Ｐは、距離画像データ５０２の画素値に基づいて取得された、撮像装置１０１から各画素までの距離値（即ち、各画素の距離値）、撮像装置１０１の画角、カラー画像データ５０１の画像サイズ等に基づいて、算出される。また、Ｗは、画素（ｉ、ｊ）の位置Ｐから仮想照明の位置Ｑまでの距離が大きくなるに従って、大きな値を返す関数である。即ち、関数Ｗにより、画素（ｉ、ｊ）が仮想照明に近いほど、明るくなるように補正される。
【００５７】
式（２）において、Ｋは、ρが小さいほど、大きな値を返す関数であり、ρは、画素（ｉ，ｊ）の位置Ｐから仮想照明の位置Ｑに向かうベクトルＶ（ｉ，ｊ）と、照明の姿勢Ｕのなす角度で示される。また、Ｎ（ｉ，ｊ）は画素（ｉ、ｊ）に対応する法線ベクトルである。加えて、式（２）の分子においてベクトルＶ（ｉ，ｊ）と法線ベクトルＮの内積を含むことから、画素Ｐ（ｉ，ｊ）から仮想照明に向かうベクトルＶと法線ベクトルＮとのなす角が小さい画素ほど明るくなるように補正される。このように補正することで、例えば、図１２等に示されるように、カラー画像データ５０１を、仮想照明により被写体を照らしたかのような補正画像１２０１に補正することができる。即ち、上式に示すように、ライティング処理を実行することで（補正画像を生成することで）、照明の位置と被写体の形状に応じた明るさの補正が可能となる。
【００５８】
以上のように、本発明では、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような別の画像を生成することができる。具体的には、撮影画像上で大きさが同程度の被写体であっても、焦点距離の長いレンズを利用して長い被写体距離で撮影した場合と、焦点距離の短いレンズを利用して短い被写体距離で撮影した場合とで、ライティング処理により、異なる効果をもたらす。
【００５９】
なお、本実施形態では、顔法線情報に関して、顔検出部３０２から取得した顔情報及び距離画像取得部１０５から取得した距離画像データに基づいて、ＲＯＭ２０２から取得する仕様として説明したが、距離画像データの取得方法は必ずしもこれに限られない。したがって、例えば、ステップＳ７０１において、光学系制御部２０４が被写体にフォーカスを合わせたときに取得した被写体距離に基づいて、ステップＳ７０２において顔法線情報を選択することもできる。また、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されているＲＡＷ画像データにタグ情報として被写体距離が含まれている場合は、ステップＳ７０１において、その被写体距離を取得して、ステップＳ７０２において顔法線情報を選択することもできる。
【００６０】
（第２実施形態）
第１実施形態では、被写体距離に応じて、複数の顔モデル法線情報から被写体に適した顔モデル法線情報を選択したが、本実施形態（第２実施形態）では、被写体距離に応じて領域別顔モデル法線情報から顔モデル法線情報を生成する。これにより、様々な被写体距離に対応する顔モデル法線情報を取得することができる。
【００６１】
図１４は、領域別顔モデル法線情報をその一例として示すものである。領域別顔モデル法線情報は、図１４（ａ）に示す領域別顔モデル法線画像データ１４０１〜１４０５と図１４（ｂ）に示す領域別顔モデル法線器官位置を含む。
【００６２】
図１４（ａ）に示す領域別顔モデル法線画像データ１４０１〜１４０５は、各々、顔概略形状、右目周辺領域、左目周辺領域、鼻周辺領域、口周辺領域における顔表面の法線ベクトルを、画素値に格納した画像データである。
【００６３】
また、図１４（ｂ）に示されるように、右目周辺領域、左目周辺領域、鼻周辺領域、口周辺領域に対応する領域別顔モデル法線画像データ１４０２〜１４０５には、各々、器官の基準とする位置を示す器官基準位置が設定されている。即ち、領域別顔モデル法線器官位置は、顔概略形状に対応する領域別顔モデル法線画像データ１４０１における被写体距離に応じた器官の位置を示している。なお、図１４に示す例では、０．５ｍ、１．５ｍ、５．０ｍの被写体距離に対応した領域別顔モデル法線器官位置を保持しているものとする（即ち、被写体距離毎に領域別顔モデル法線器官位置が格納される）。
【００６４】
第２実施形態では、ステップＳ４０６の顔モデル法線情報の取得処理が第１実施形態と異なる。図１３は、本発明の第２実施形態に係る画像処理装置（画像処理部２０８）における顔モデル法線情報の取得処理の手順を示すフローチャートである。
【００６５】
以下、顔モデル法線情報取得処理の手順に関して、図１３を用いて詳述する。顔モデル法線情報取得部３０３は、第１実施形態のステップＳ７０１と同様に、顔検出部３０２より取得した顔情報と距離画像取得部１０５より取得した距離画像データに基づいて、被写体距離を算出する（Ｓ１３０１）。
【００６６】
顔モデル法線情報取得部３０３は、被写体距離を算出すると、図１４に示す領域別顔モデル法線器官位置に基づいて、ステップＳ１３０１で取得した被写体距離に対応する顔モデル器官位置を、所定の補間処理により算出する（Ｓ１３０２）。
【００６７】
ここで、顔モデル器官位置の算出に関して、説明を補足する。取得した被写体距離をｌとした場合、領域別顔モデル法線器官位置が設定された被写体距離のうち、取得した被写体距離であるｌよりも小さく、またｌに最も近い被写体距離ｌＡに対応した領域別顔モデル法線器官位置の座標（ｘＡ、ｙＡ）を選択する。同様に、領域別顔モデル法線器官位置が設定された被写体距離のうち、取得した被写体距離であるｌよりも大きく、またｌに最も近い被写体距離ｌＢに対応した領域別顔モデル法線器官位置の座標（ｘＢ、ｙＢ）を選択する。そして、この場合、顔モデル器官位置（ｘ’、ｙ’）は、下式（３）のように求めることができる。
【００６８】
【数３】
2019062436.tif 000005
【００６９】
なお、式（３）において、ｗはｌ、ｌＡ、ｌＢから算出される重みであり、例えば、下式（４）のように求めることができる。
【００７０】
【数４】
2019062436.tif 000006
【００７１】
式（４）において、γは、重みｗを調整するためのパラメータであり、領域別顔モデル法線器官位置が設定された被写体距離の間隔（例えば、０．１ｍ、０．５ｍ、１．０ｍ 等）に応じて調整することができる。γに関して、領域別顔モデル法線器官位置が設定された被写体距離の間隔が、所定の値よりも短い間隔である場合には１に設定され、また、所定の値よりも長い間隔である場合には１より大きい値に設定される。このように設定することで、被写体距離が短いほど器官の移動量を大きく、被写体距離が長いほど器官の移動量を小さくすることができる。
【００７２】
顔モデル法線情報取得部３０３は、領域別顔モデル法線画像データと算出した顔モデル器官位置に基づいて、顔モデル法線画像データを生成する（Ｓ１３０３）。具体的には、顔概略形状に対応する領域別顔モデル法線画像データ１４０１に対して、顔モデル器官位置と器官基準位置が一致するように、その他の領域別顔モデル法線画像データ１４０２〜１４０５を位置合わせする。そして、領域別顔モデル法線画像データ１４０１に対して、領域別顔モデル法線画像データ１４０２〜１４０５の法線情報のある画素の画素値を上書きすることで、顔モデル法線画像データを生成する。図１５に、図１３に示す処理によって生成された顔モデル法線画像データ１５０１を、その一例として示す。
【００７３】
以上のように、本発明では、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような別の画像を生成することができる。なお、本実施形態では、領域別顔モデル法線情報として、被写体距離に関係なく、領域毎に１つの領域別顔モデル法線画像データを保持するものとして説明したが、異なる被写体距離に対応する領域別顔モデル法線画像データを各々、複数保持させてもよい。したがって、例えば、０．５ｍ、１．５ｍ、５．０ｍの被写体距離に対応する領域別顔モデル法線画像データを各々、保持し、ステップＳ１３０１で算出した被写体距離と最も近い被写体距離に対応する領域別顔モデル法線画像データを取得することもできる。また、領域（器官）毎に保持する、領域別顔モデル法線画像データの枚数を変更することもできる。例えば、顔概略形状や鼻周辺領域に対応する領域別顔モデル法線画像データは複数枚保持させ、右目周辺領域、左目周辺領域、口周辺領域に対応する領域別顔モデル法線画像データは一枚のみ保持させてもよい。
【００７４】
（第３実施形態）
第２実施形態では、領域別顔モデル法線情報に基づいて、顔モデル法線情報を生成したが、本実施形態（第３実施形態）では、被写体距離に応じて、領域別顔モデル法線情報を選択し、顔法線画像データを生成する。
【００７５】
第３実施形態では、第１実施形態との関係（比較）でステップＳ４０６が異なり、ステップＳ４０６の顔モデル法線情報の取得処理の代わりに、領域別顔モデル法線情報の取得処理を実行する。また、ステップＳ９０２の顔法線画像データ生成処理の処理内容が第１実施形態と異なる。以下、これらの処理（即ち、領域別顔モデル法線情報の取得処理及び顔法線画像データ生成処理）に関して、詳述する。
【００７６】
（領域別顔モデル法線情報取得処理）
ここでは、顔モデル法線情報取得部３０３において実行される領域別顔モデル法線情報取得処理について説明する。本実施形態では、領域別顔モデル法線情報の取得処理に関して、距離画像データと顔情報に基づいて、領域別顔モデル法線情報を取得する。図１６に、領域別顔モデル法線情報取得処理の手順を示す。
【００７７】
顔モデル法線情報取得部３０３は、第１実施形態のステップＳ７０１と同様に、顔検出部３０２より取得した顔情報と距離画像取得部１０５より取得した距離画像データに基づいて、被写体距離を算出する（Ｓ１６０１）。
【００７８】
顔モデル法線情報取得部３０３は、取得した被写体距離に対応する領域別顔モデル法線情報を選択する（Ｓ１６０２）。なお、ステップＳ１６０２の処理では、取得した被写体距離に最も近い領域別顔モデル法線情報を選択する。例えば、図１４に示す領域別顔モデル法線情報の場合には、領域別顔モデル法線画像データ１４０１〜１４０５と、領域別顔モデル法線器官位置のうち、取得した被写体距離に最も近いものを取得する。
【００７９】
（顔法線画像データ生成処理）
ここでは、法線生成部３０４において実行される顔法線画像データ生成処理について説明する。本実施形態では、ステップＳ１６０２で取得した領域別顔モデル法線情報（即ち、領域別顔モデル法線画像データ１４０１〜１４０５及び領域別顔モデル法線器官位置）に基づいて、顔法線画像データを生成する。図１７に、顔法線画像データ生成処理の概要を示す。
【００８０】
先ず、法線生成部３０４は、アフィン変換を用いて、カラー画像データ５０１における被写体の顔に合うように領域別顔モデル法線画像データを変形する。顔概略形状に対応する領域別顔モデル法線画像データ１４０１のアフィンパラメータは、器官位置６０２とステップＳ１６０２で選択された領域別顔モデル法線器官位置に基づいて、最小二乗法を用いて算出される。
【００８１】
次に、その他の領域別顔モデル法線画像データ１４０２〜１４０５のアフィンパラメータを、器官位置６０２と領域別顔モデル法線画像データ１４０２〜１４０５に対応する器官基準位置が一致するように、平行移動成分を補正したものとして算出する。これにより、領域別顔モデル法線画像データ１４０２〜１４０５を、カラー画像データ５０１の被写体の器官位置６０２に合わせて、変形することができる。
【００８２】
そして、法線生成部３０４は、以上のように算出した変換パラメータを用いて領域別顔モデル法線画像データ１４０１〜１４０５を変形し、領域別顔法線画像データ１７０１〜１７０５を生成する。さらに、法線生成部３０４は、領域別顔法線画像データ１７０１〜１７０５を統合することにより、顔法線画像データ１７０６を生成する。
【００８３】
即ち、本実施形態では、顔概略形状以外の領域別顔法線画像データ１７０２〜１７０５において法線情報を有する画素を、顔概略形状に対応する領域別顔法線画像データ１７０１に上書きすることで、顔法線画像データ１７０６を生成している。なお、領域別顔法線画像データ１７０２〜１７０５の全てにおいて背景となる画素（即ち、その領域に関連する法線情報を有さない画素）は、顔概略形状に対応する領域別顔法線画像データ１７０１の画素値で顔法線画像データ１７０６が生成される。
【００８４】
以上のように、本発明では、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような別の画像を生成することができる。なお、本実施形態では、ステップＳ１６０２において、取得した被写体距離に最も近い領域別顔モデル法線器官位置を選択していたが、第２実施形態のステップＳ１３０２で上述したように、補間処理により領域別顔モデル法線器官位置を算出してもよい。
【００８５】
また、本実施形態では、領域別顔モデル法線情報として、領域毎に１つの領域別顔モデル法線画像データを保持するものとして説明したが、異なる被写体距離に対応する領域別顔モデル法線画像データを各々、複数保持させてもよい。したがって、例えば、０．５ｍ、１．５ｍ、５．０ｍの被写体距離に対応する領域別顔モデル法線画像データを各々、保持し、ステップＳ１６０１で算出した被写体距離と最も近い被写体距離に対応する領域別顔モデル法線画像データを取得することもできる。
【００８６】
加えて、領域（器官）毎に保持する、領域別顔モデル法線画像データの枚数を変更することもできる。例えば、顔概略形状や鼻周辺領域に対応する領域別顔モデル法線画像データは複数枚保持させ、右目周辺領域、左目周辺領域、口周辺領域に対応する領域別顔モデル法線画像データは一枚のみ保持させてもよい。
【００８７】
（第４実施形態）
第１実施形態から第３実施形態までは、主に処理対象を人物として説明したが、本実施形態では、人物（より詳細には、人物の顔）に加えて他の被写体も処理対象とする。これにより、様々な被写体に対して被写体距離に応じた法線情報を取得することができる。
【００８８】
（画像処理部の内部構成）
図１８は、本発明の実施形態（第４実施形態）に係る画像処理装置（画像処理部２０８）の機能構成を示すブロック図である。図１８に示す画像処理部２０８の機能構成では、第１実施形態に係る画像処理装置（画像処理部２０８）との関係で、顔モデル法線情報取得部３０３の代わりに、被写体モデル法線情報取得部１８０１が実装される。加えて、法線生成部３０４の処理内容も異なる。
【００８９】
被写体モデル法線情報取得部１８０１は、被写体までの距離情報と被写体情報に基づいて、複数の被写体モデル法線情報から被写体に合う法線情報を選択する。本実施形態では、ユーザ操作により選択された被写体情報を制御部２０５から取得する。被写体情報は、カラー画像データに含まれる被写体の種類を表し、例えば、人物の他にも、犬、猫等から選択することができるものとする。また、この場合、人物以外の被写体である、犬、猫等のみを被写体の対象とすることもできる。
【００９０】
（画像処理部の処理フロー）
図１９は、本発明の実施形態に係る画像処理装置（画像処理部２０８）における処理の手順を示すフローチャートである。図１９に示すフローチャートは、図４に示すフローチャートとの関係（比較）で、ステップＳ１９０５〜ステップＳ１９０７の処理が異なる。
【００９１】
以下、ステップＳ１９０５〜ステップＳ１９０７の各処理について、説明する。図１９のステップＳ１９０３において、ライティング処理を実行すると判定されると、被写体モデル法線情報取得部１８０１は、制御部２０５からユーザ操作に基づいた被写体情報を取得する（Ｓ１９０５）。被写体モデル法線情報取得部１８０１は、被写体距離とステップＳ１９０５で取得した被写体情報に基づいて、複数の被写体モデル法線情報の中からカラー画像データ５０１の被写体に対応する被写体モデル法線情報を取得する（Ｓ１９０６）。なお、本実施形態では、被写体情報の種類と被写体距離に応じた法線画像データとテンプレート画像データを保持しているものとする。
【００９２】
ここで、図２０に、本実施形態における被写体モデル法線情報をその一例として示す。被写体モデル法線情報は、図２０に示されるように、被写体モデル法線画像データと被写体モデルテンプレート画像データを含む。図２０（ａ）に示す被写体モデル法線画像データ２００１、２００２、２００３は各々、０．５ｍ、１．５ｍ、５．０ｍの被写体距離に応じた被写体モデル法線画像データである。
【００９３】
また、図２０（ｂ）に示す被写体モデルテンプレート画像データ２００４、２００５、２００６は、被写体モデル法線画像データ２００１、２００２、２００３をカラー画像データ５０１に位置合わせするために利用される。本実施形態では、被写体モデルテンプレート画像データ２００４、２００５、２００６として、被写体モデル法線画像データ２００１、２００２、２００３に対応する輪郭情報を、画像データとして保持しているものとする。
【００９４】
なお、図２０では、被写体モデル法線情報として、人物の顔（特徴パターン）に対応する被写体モデル法線情報をその一例として説明したが、画像処理部２０８は、同様に、犬、猫等の様々な被写体モデル法線情報を被写体距離に応じて保持しているものとする。
【００９５】
法線生成部３０４は、被写体モデル法線情報に基づいて、法線画像データを生成する（Ｓ１９０７）。法線画像データの生成において、法線生成部３０４は、先ず、被写体モデルテンプレート画像データを用いて、カラー画像データ５０１の被写体に対して、被写体モデル法線画像データを位置合わせするためのパラメータを算出する。本実施形態では、カラー画像データ５０１における被写体の輪郭情報を抽出し、被写体モデルテンプレート画像データとマッチングすることで、位置合わせパラメータを算出する。
【００９６】
法線生成部３０４は、次に、算出した位置合わせパラメータに基づいて、被写体モデル法線画像データをカラー画像データ５０１に合わせて変換する。そして、法線生成部３０４は、第一実施形態と同様にカラー画像データを参照画像とする平滑化処理を施すことで、法線画像データを生成する。
【００９７】
以上のように、本発明では、被写体距離が変化しても、撮像画像から所望の照明条件下で撮影したかのような別の画像を生成することができる。なお、本実施形態では、制御部２０５等から取得した撮影時のユーザ操作に基づいて被写体情報を取得したが（即ち、制御部２０５を被写体情報取得手段として機能させたが）、被写体情報の取得方法は、必ずしもこれに限定されない。したがって、例えば、カラー画像データ５０１のタグ情報として被写体情報をＲＡＭ２０３等に記憶しておき、その被写体情報をＲＡＭ２０３から取得することもできる。また、別途、被写体検出処理部を具備させ、顔、犬、猫等、複数種類の被写体を検出し、これに基づいて、被写体情報を取得することもできる。
【００９８】
加えて、本実施形態では、被写体モデルテンプレート画像データとして輪郭情報を画像データとして保持させたが、被写体モデルのテクスチャや特徴点情報を保持させてもよい。なお、この場合、ステップＳ１９０７において、テクスチャや特徴点情報に基づいて、位置合わせパラメータを算出すればよい。
【００９９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１００】
その他、以上において、好ましい実施形態として、主に人物の顔等を例示し説明したが、被写体は、必ずしも人物の顔等に限定されない。したがって、例えば、所定の部分において法線にばらつきを有する物体であって、また、法線情報を格納する上でモデル化することが可能な物体であれば、その物体を本発明の被写体として適用することができる。
【符号の説明】
【０１０１】
１０５  距離画像取得部
２０８  画像処理部
３０１  現像処理部
３０３  顔モデル法線情報取得部
３０４  法線生成部
【図１】
2019062436.tif 000007
【図２】
2019062436.tif 000008
【図３】
2019062436.tif 000009
【図４】
2019062436.tif 000010
【図５】
2019062436.tif 000011
【図６】
2019062436.tif 000012
【図７】
2019062436.tif 000013
【図８】
2019062436.tif 000014
【図９】
2019062436.tif 000015
【図１０】
2019062436.tif 000016
【図１１】
2019062436.tif 000017
【図１２】
2019062436.tif 000018
【図１３】
2019062436.tif 000019
【図１４】
2019062436.tif 000020
【図１５】
2019062436.tif 000021
【図１６】
2019062436.tif 000022
【図１７】
2019062436.tif 000023
【図１８】
2019062436.tif 000024
【図１９】
2019062436.tif 000025
【図２０】
2019062436.tif 000026