(57)【特許請求の範囲】
【請求項１】
撮像画像から被写体における照明に関係した属性を示す撮像被写体情報と前記被写体についての撮像モード情報を取得する被写体情報取得部と、
照明設定情報をユーザ操作に応じて選択する照明設定情報選択部と、
前記照明設定情報選択部で選択された照明設定情報を、前記被写体情報取得部で取得された撮像被写体情報に基づいて前記被写体に対応した照明設定情報に調整する照明設定情報調整部とを備え
前記照明設定情報選択部は、前記被写体情報取得部で取得された撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する
画像処理装置。
【請求項２】
前記被写体情報取得部は、前記撮像被写体情報として前記撮像画像から被写体の三次元形状と反射特性を取得する
請求項１記載の画像処理装置。
【請求項３】
前記照明設定情報は予め設定した座標系を用いて生成されており、前記座標系を前記被写体に対応させることで前記照明設定情報を前記被写体に対応した照明設定情報に調整する
請求項１記載の画像処理装置。
【請求項４】
前記照明設定情報は、光源の配置と照明光に関する情報を含む光源情報と、前記光源情報で示された光源で照明される基準被写体のサイズと配置に関する情報を含む基準被写体情報を有する
請求項３記載の画像処理装置。
【請求項５】
前記照明設定情報調整部は、前記基準被写体のサイズと配置が前記撮像画像の被写体と一致するように前記座標系を前記被写体に対応させる
請求項４記載の画像処理装置。
【請求項６】
前記照明設定情報調整部は、前記撮像被写体情報と前記調整後の照明設定情報を用いて描画処理を行うことにより得られる被写体画像が飽和を生じないように、前記照明設定情報を調整する
請求項１記載の画像処理装置。
【請求項７】
前記照明設定情報選択部は、前記照明設定情報に関係付けられた設定選択画像を表示して、ユーザが選択した設定選択画像に対応する照明設定情報を選択した照明設定情報とする
請求項１記載の画像処理装置。
【請求項８】
前記照明設定情報選択部は、前記照明設定情報に基づいたプリセット情報を前記設定選択画像として表示して、ユーザが選択したプリセット情報に対応する照明設定情報を選択する
請求項７記載の画像処理装置。
【請求項９】
前記照明設定情報選択部は、プリセット画像を前記設定選択画像として表示して、ユーザが選択したプリセット画像から照明設定情報を取得する
請求項７記載の画像処理装置。
【請求項１０】
前記照明設定情報選択部は、照明設定情報に関係付けられているメタデータを前記設定選択画像として表示して、ユーザが選択したメタデータに対応する照明設定情報を選択する
請求項７記載の画像処理装置。
【請求項１１】
前記被写体情報取得部で取得された撮像被写体情報と、前記照明設定情報調整部で調整された照明設定情報に基づいて描画処理を行う画像生成部をさらに備える
請求項１記載の画像処理装置。
【請求項１２】
前記被写体を異なる視点位置から撮像した画像を前記撮像画像として取得する画像取得部をさらに備える
請求項１記載の画像処理装置。
【請求項１３】
被写体情報取得部において、撮像画像から被写体における照明に関係した属性を示す撮像被写体情報と前記被写体についての撮像モード情報を取得する工程と、
照明設定情報選択部において、ユーザ操作に応じて照明設定情報を選択する工程と、
照明設定情報調整部において、前記照明設定情報選択部で選択された照明設定情報を、前記被写体情報取得部で取得された撮像被写体情報に基づいて前記被写体に対応した照明設定情報に調整する工程と含み
前記照明設定情報を選択する工程では、前記被写体情報取得部で取得された撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関し、リライティングにおける照明環境を容易に設定できるようにする。
【背景技術】
【０００２】
従来、撮影時とは異なる照明環境を構築し再度照明および描画処理を行うリライティングと呼ばれる画像処理技術が画像の加工等で用いられている。【０００３】
リライティングに必要な情報は大きく分けて、被写体の形状、被写体の反射特性、光源の位置であり、これらは一般的な三次元コンピュータグラフィクの描画に用いられる要素と同じである。被写体の形状は、例えば複数カメラを用いたステレオマッチングにより奥行きを推定して、各画素に対応した三次元座標の集合からモデルを復元する方法が用いられる。被写体の反射特性および光源位置については、例えば球面ミラーにおける光源の反射を用いた手法が提案されている。【０００４】
また、適切なリライティング画像を生成するには、光源の個数および各光源の種類、配置、光強度といったパラメータをそれぞれ適切に設定しなければならない。このため、例えば特許文献１では、光源の強度のみを自動調整することが開示されている。また、特許文献２では、ランダムに生成した照明をリスト化して低周波領域のレンダリングに用いることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２２３９０６号公報
【特許文献２】特開２００３−２９６７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、適切なリライティング画像を生成するには、光源の個数および各光源の種類、配置、強度といったパラメータをそれぞれ適切に設定しなければならない。しかし、特許文献１や特許文献２では、光源の光強度だけでなく光源の配置を含めて任意の照明環境の構築に適用できるものではない。【０００７】
そこで、この技術では、リライティングにおける照明環境を容易に設定できる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、
撮像画像から被写体における照明に関係した属性を示す撮像被写体情報と前記被写体についての撮像モード情報を取得する被写体情報取得部と、
照明設定情報をユーザ操作に応じて選択する照明設定情報選択部と、
前記照明設定情報選択部で選択された照明設定情報を、前記被写体情報取得部で取得された撮像被写体情報に基づいて前記被写体に対応した照明設定情報に調整する照明設定情報調整部とを備え
前記照明設定情報選択部は、前記被写体情報取得部で取得された撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する画像処理装置にある。
【０００９】
この技術において、被写体情報取得部では、画像取得部によって取得された異なる視点位置の撮像画像から被写体における照明に関係した属性例えば被写体の三次元形状や反射特性が撮像被写体情報として取得される。【００１０】
照明設定情報選択部は、照明設定情報に関係付けられた設定選択画像を表示して、ユーザが選択した設定選択画像に対応する照明設定情報を選択した照明設定情報とする。例えば設定選択画像として、照明設定情報に基づいたプリセット情報を表示して、ユーザが選択したプリセット情報に対応する照明設定情報を選択した照明設定情報とする。または、設定選択画像として、プリセット画像を表示して、ユーザが選択したプリセット画像から照明設定情報を取得する。あるいは、設定選択画像として、照明設定情報に関係付けられているメタデータを表示して、ユーザが選択したメタデータに対応する照明設定情報を選択した照明設定情報とする。また、照明設定情報選択部は、被写体情報取得部で取得された被写体についての撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する。【００１１】
照明設定情報調整部は、照明設定情報選択部で選択された照明設定情報を、被写体情報取得部で取得された撮像被写体情報に基づいて被写体に対応した照明設定情報に調整する。照明設定情報は、例えば予め設定した座標系を用いて生成されており、照明設定情報調整部は、座標系を被写体に対応させることで照明設定情報を被写体に対応した照明設定情報に調整する。照明設定情報は、光源の配置と照明光に関する情報を含む光源情報と、光源情報で示された光源で照明される基準被写体のサイズと配置に関する情報を含む基準被写体情報を有しており、照明設定情報調整部は、基準被写体のサイズと配置が撮像画像の被写体と一致するように座標系を被写体に対応させる。また、照明設定情報調整部は、撮像被写体情報と調整後の照明設定情報を用いて描画処理を行うことにより得られる被写体画像が飽和を生じないように、照明設定情報の調整を行う。【００１２】
画像生成部は、被写体情報取得部で取得された撮像被写体情報と、照明設定情報調整部で調整された照明設定情報に基づいて描画処理を行うことで、ユーザが選択した照明環境での被写体画像を得る。【００１３】
この技術の第２の側面は、
被写体情報取得部において、撮像画像から被写体における照明に関係した属性を示す撮像被写体情報と前記被写体についての撮像モード情報を取得する工程と、
照明設定情報選択部において、ユーザ操作に応じて照明設定情報を選択する工程と、
照明設定情報調整部において、前記照明設定情報選択部で選択された照明設定情報を、前記被写体情報取得部で取得された撮像被写体情報に基づいて前記被写体に対応した照明設定情報に調整する工程と含み
前記照明設定情報を選択する工程では、前記被写体情報取得部で取得された撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する画像処理方法にある。
【発明の効果】
【００１４】
この技術によれば、被写体情報取得部によって、撮像画像から被写体における照明に関係した属性を示す撮像被写体情報が取得される。また、照明設定情報選択部によって、ユーザ操作に応じて照明設定情報が選択される。照明設定情報調整部では、選択された照明設定情報を撮像被写体情報に基づいて被写体に対応した照明設定情報とする処理が行われる。このため、ユーザが照明設定情報を選択すれば、選択した照明設定情報は被写体に対応した照明設定情報に調整されるので、調整後の照明設定情報を用いて描画処理を行うことにより、所望の照明環境で撮像された場合に相当する画像を生成することが可能となる。したがって、リライティングにおける照明環境の設定を容易とすることができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の画像処理装置の構成を例示した図である。
【図２】被写体の三次元形状を取得する方法を説明するための図である。
【図３】視差の求め方を説明するための図である。
【図４】球面ミラーを例示した図である。
【図５】球面ミラーをステレオカメラで撮像したときの輝点を模式化して示した図である。
【図６】球面ミラーの輝点と光源方向の関係を説明するための図である。
【図７】プリセット情報の要素を一覧として例示した図である。
【図８】光源情報を図で示した場合である。
【図９】プリセット情報の具体例を示す図である。
【図１０】アイコン画像を例示した図である。
【図１１】照明設定情報の調整処理を説明するための図である。
【図１２】第１の実施の形態の動作を示すフローチャートである。
【図１３】プリセット情報の選択動作を説明するための図である。
【図１４】第２の実施の形態の画像処理装置の構成を例示した図である。
【図１５】第２の実施の形態の動作を示すフローチャートである。
【図１６】第３の実施の形態の画像処理装置の構成を例示した図である。
【図１７】照明設定情報の選択を説明するための図である。
【図１８】第３の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．他の実施の形態
【００１７】
この技術の画像処理装置は、被写体情報取得部と照明設定情報選択部と照明設定情報調整部を備えている。被写体情報取得部は、撮像画像から被写体における照明に関係した属性を示す撮像被写体情報を取得する。照明設定情報選択部は、照明設定情報をユーザ操作に応じて選択する。照明設定情報選択部は、例えば照明設定情報に関係付けられた設定選択画像を表示して、ユーザが選択した設定選択画像に対応する照明設定情報を選択した照明設定情報とする。照明設定情報調整部は、照明設定情報選択部で選択された照明設定情報を、被写体情報取得部で取得された撮像被写体情報に基づいて被写体に対応した照明設定情報とする。
【００１８】
＜１．第１の実施の形態＞
第１の実施の形態では、照明設定情報の選択において、照明設定情報に基づいたプリセット情報を設定選択画像として表示して、ユーザが選択したプリセット情報に対応する照明設定情報を選択した照明設定情報とする場合について説明する。
【００１９】
［１−１．第１の実施の形態の構成］
図１は、第１の実施の形態の画像処理装置の構成を例示している。画像処理装置１０は、画像取得部１１、被写体情報取得部１２，プリセット情報選択部２１、照明設定情報調整部３１、画像生成部４１、画像表示部４５を有している。なお、プリセット情報選択部２１は、照明設定情報選択部に相当する。
【００２０】
画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、後述する被写体情報取得部１２で行う被写体の三次元形状の推定で、例えば視差をもとに各画素位置に対応した奥行きを求める場合、既知の間隔で横に並べた同一仕様の一対のカメラ(所謂ステレオカメラ)を用いて被写体の撮像画像を取得する。また、画像取得部１１は、後述する被写体情報取得部１２で行う光源の位置の推定において、例えばステレオカメラの右視点画像と左視点画像のそれぞれで球面上に生じた異なる位置の輝点を利用する。この場合、ステレオカメラの撮像範囲に球面ミラーを含めて被写体の撮像画像を取得する。
【００２１】
なお、画像取得部１１は、ステレオカメラを用いる構成に限らず、ステレオカメラで取得された撮像画像を記録媒体から読み出す構成であってもよく、またネットワーク等を介して、外部装置から上述のような撮像画像のデータを取得する構成であってもよい。
【００２２】
被写体情報取得部１２は、画像取得部１１で取得された撮像画像から被写体における照明に関係した属性を示す撮像被写体情報を取得する。ここで、照明を用いて被写体の撮像を行う場合、被写体の三次元形状や反射特性に応じて撮像画像が変化する。したがって、被写体情報取得部１２は、撮像被写体情報として例えば被写体の三次元形状を示す情報（以下「被写体形状情報」という）と反射特性を示す情報（以下「反射特性情報」という）を取得する。
【００２３】
被写体情報取得部１２は、被写体形状情報の取得方法として、ステレオカメラのそれぞれに写った被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求める。図２は、被写体の三次元形状を取得する方法を説明するための図である。ステレオカメラは、右カメラと左カメラの各光軸が互いに平行になるように設定されている。ここで、右カメラの焦点位置を原点として、被写体のある点（Ｘ，Ｙ，Ｚ）が左カメラの撮像面上の点（ｘＬ，ｙＬ)および右カメラの撮像面上の点（ｘＲ，ｙＲ）に射影されたとする。この場合、点（Ｘ，Ｙ，Ｚ）)は、点（ｘＬ，ｙＬ）と点（ｘＲ，ｙＲ）を用いて式（１）〜（３）のように表せる。
【００２４】
【数１】
0006493395.tif 000002
【００２５】
なお、式（１）〜（３）において、「ｆ」はカメラの焦点距離、「Ｂ」は基線間距離（右カメラと左カメラの光軸の間隔）を示している。
【００２６】
ここで、右カメラの光軸と左カメラの光軸が平行になっていれば、被写体の奥行きは撮像面における水平方向のずれとして表現される。この左右カメラ撮像面間の水平座標のずれ量（ｘＬ−ｘＲ）を視差と呼ぶ。
【００２７】
このように、式（１）乃至（３）を用いることで視差から奥行きを表現できるので、撮像面上のすべての画素について視差を求めることができれば、被写体の奥行きを求めることができる。具体的な視差の求め方としては、例えば図３のように、視差を求めたい基準点(ここでは右カメラ画像上の点（ｘＲ，ｙＲ）とする)に対して周辺画素を用いてブロックＢＲを設定する。また、ブロックＢＲと等しいサイズのブロックＢＬを左カメラ画像上に設定して、ブロックＢＲと最も類似度が高いブロックＢＬの位置を探索することで、点（ｘＲ，ｙＲ）に対応する点（ｘＬ，ｙＬ）を求める方法が一般的に用いられる。
【００２８】
次に、被写体情報取得部１２は、反射特性情報を取得する際に用いる光源情報を取得する。被写体情報取得部１２は、例えばステレオカメラで得られた撮像画像に含まれている球面ミラーの輝点を利用して光源の位置を取得する。なお、光源の位置の取得では、例えば文献「Light Source Estimation from Spherical Reflections, Schnieders, 2011」で開示された技術等を利用できる。
【００２９】
図４は、カメラを用いて撮像する球面ミラーを例示している。また、図５は、球面ミラーをステレオカメラで撮像したときの輝点を模式化して示しており、図５の（Ａ）は左カメラ画像の輝点、図５の（Ｂ）は右カメラ画像の輝点である。このように、カメラの位置が異なると、撮像画像では球面上の異なる位置に輝点が現れる。ここで、球面ミラーの大きさが既知であれば、撮像画像に対する円形検出によって抽出した円の大きさを用いて球面ミラーの奥行き、ひいては球面ミラーの三次元位置を求めることができる。
【００３０】
図６は、球面ミラーの輝点と光源方向の関係を説明するための図である。カメラの画像上における輝点ｐと対応する球面ミラー上の輝点Ｐにおいて、ベクトルＶＥを視点ＥＹから輝点方向に向かう光線ベクトル、ベクトルＶＮを輝点Ｐにおける球の法線ベクトルとする。このように光線ベクトルと法線ベクトルを設定すると、光源からの入射光の方向を示す入射光ベクトルＶＬは、式（４）に基づいて算出できる。なお、光線ベクトルＶＥは、輝点Ｐの三次元位置をＰＭ＝（Ｘ，Ｙ，Ｚ）Ｔとした場合、式（５）から算出できる。また、図６では、光線ベクトルＶＥと法線ベクトルＶＮがなす角度と、法線ベクトルＶＮと入射光ベクトルＶＬがなす角度が、ともに角度Ａｇで等しいことを示している。
【００３１】
【数２】
0006493395.tif 000003
【００３２】
ここで、ある光源Ｌｍについて、右カメラから見える輝点の三次元位置をＰＭＲ＝（ＸＲ，ＹＲ，ＺＲ）Ｔ、左カメラから見える輝点の三次元位置をＰＭＬ＝（ＸＬ，ＹＬ，ＺＬ）Ｔとする。この場合、三次元位置ＰＭＲ，ＰＭＬは、カメラから輝点方向に向かう光線ベクトルとミラーとの交点として求めることができる。すなわち、光源Ｌｍの位置は、三次元位置ＰＭＲ，ＰＭＬを用いて、式（６）（７）の連立方程式で表すことができる。
【００３３】
【数３】
0006493395.tif 000004
【００３４】
なお、位置ベクトルＶＢは、ＶＢ＝（−Ｂ，０，０）Ｔ、つまり左カメラの位置ベクトルである。また、法線ベクトルＶＮＲは輝点ＰＲにおける球の法線ベクトルであり、法線ベクトルＶＮＬは輝点ＰＬにおける球の法線ベクトルである。ここで、三角測量の原理により式（６）（７）における係数ｋＲ，ｋＬが定まり、光源ＬＳの位置を算出することができる。また、ミラー上の各輝点の色から光源の強度および色を求めることができる。
【００３５】
次に、被写体情報取得部１２は、被写体形状情報と光源情報を用いて被写体の反射特性情報を取得する。なお、反射特性情報の取得では、例えば文献「Principles of Appearance Acquisition and Representation, Weyrich et al., 2008」で開示された技術等を利用できる。
【００３６】
反射特性は、物体の反射モデルを予め仮定して、モデル内のパラメータを求めることによって推定することが一般的である。本技術では、ひとつの被写体は一様な双方向反射率分布関数（BRDF：Bidirectional Reflectance Distribution Function）で表せると仮定する。さらに、それはPhongのモデルによって表されるものとして推定を行う。Phongのモデルとは、物体の反射特性を環境光成分、拡散反射成分、鏡面反射成分の重ね合わせとして表現するモデルであり、被写体表面上のある点ｕを見込んだときの輝度Ｉｕは、式（８）で表される。
【００３７】
【数４】
0006493395.tif 000005
【００３８】
式（８）において強度ｉａは環境光の強度であり、強度ｉｍ，ｄは、光源ｍの拡散反射光の強度、強度ｉｍ，ｓは、光源ｍの鏡面反射光の強度である。また、入射光ベクトルＶＬｍは光源ｍから被写体への入射を示すベクトルである。法線ベクトルＶＮｕは点ｕにおける被写体の法線ベクトル、ベクトルＶｒｍは被写体表面における反射光ベクトル、ベクトルＶＦｕは点ｕから観測点へのベクトルである。係数ｑは鏡面反射の強度分布を調整するパラメータである。さらに、係数ｋａ，ｋｄ，ｋｓは物体の材質に応じた各成分の強度係数であり、反射特性を求めるには、この強度係数をそれぞれ推定すればよい。
【００３９】
ここで、被写体の三次元形状が明らかであるので、被写体の各点ｕにおいてベクトルＶＦｕおよび法線ベクトルＶＮｕを計算できる。また、光源を示す情報を用いることで、光源の位置および光源の色や強度が明らかとなるので、入射光ベクトルＶＬｍおよびベクトルＶｒｍを算出することができる。さらに、強度ｉｍ，ｄと、強度ｉｍ，ｓも既知であるとみなせる。強度ｉａは一般的に各光源の強度和として表されるため、この強度も計算可能である。すなわち、強度係数ｋａ，ｋｄ，ｋｓと鏡面反射パラメータを示す係数ｑ以外はすべて既知とみなせるため、上式を被写体上の各点ｕについて計算して、被写体のＢＲＤＦが一様である仮定からｋａ，ｋｄ，ｋｓ，ｑを連立して解くことが可能となる。すなわち、係数ｋａ，ｋｄ，ｋｓ，ｑを連立して解くことで、被写体の反射特性を示す情報を取得できる。また、反射特性の推定では、被写体の材質を規定して、材質に基づき拡散反射光の強度および鏡面反射光の強度の値を調整して、材質に応じた反射特性を示す情報を取得できるようにしてもよい。例えば材質が金属である場合は、鏡面反射光の強度の値を大きくして反射特性情報を取得する。
【００４０】
図１におけるプリセット情報選択部２１は、ユーザ操作に応じてプリセット情報を選択する。プリセット情報選択部２１は、予め光源情報を示すプリセット情報が１または複数記憶されている。プリセット情報選択部２１は、ユーザ操作に応じて選択したプリセット情報を、照明設定情報調整部３１に出力する。
【００４１】
図７は、プリセット情報の要素を一覧として例示している。プリセット情報は、例えば光源情報と基準被写体情報を有している。光源情報は、光源数情報と光源属性情報で構成されている。光源数情報は照明に用いる光源の数を示している。光源属性情報は、光源数情報で示された数の光源ごとに設けられている。光源属性情報は、例えば位置情報、方向情報、強度情報、色情報、種別情報、色温度情報等で構成されている。位置情報は、プリセット座標系の基準座標軸ｘｒ，ｙｒ，ｚｒごとに、基準中心Ｏｐからの光源の距離を示している。方向情報は、光源からの照射光の出射方向を示しており、例えば正規化したベクトルで方向が示されている。強度情報は、光源からの照射光の明るさを示しており、例えば明るさがルーメンの単位で示されている。色情報は、光源からの照射光の色を示しており、例えば色が三原色成分の各色成分の値として示されている。種別情報は、光源がどのようなタイプの光源であるか示しており、例えば点光源，面光源，スポット光源，平行光源，半球環境光源等のいずれであるか示されている。色温度情報は、光源からの照明光の色温度を示しており、例えば白色６５００Ｋ（ケルビン温度）を標準の色温度としている。なお、色温度の設定がない場合は、標準の色温度を用いる。
【００４２】
基準被写体情報は、例えばサイズ情報、重心情報、座標軸情報、材質情報、撮像モード情報等で構成されている。サイズ情報は、プリセット情報で想定している被写体に外接する球の半径を示している。なお、プリセット情報で想定している被写体を撮像された被写体と区別するため、プリセット情報で想定している被写体を基準被写体とする。重心情報は、基準被写体の重心がプリセット座標系のいずれの位置におかれるかを示す情報である。座標軸情報は、基準被写体の主要な３軸をプリセット座標系のどの方向に対応付けるか示した情報であり、例えばプリセット座標系において、基準被写体の主要な３軸がベクトル量として示される。材質情報は、撮像された被写体をどのような材質としてリライティングを行うか設定するための情報であり、材質の規定がない場合は、被写体の材質すなわち反射特性の推定で規定した材質とする。撮像モード情報は、撮像された被写体に対応した撮像モードであるかの判定等に用いる情報である。
【００４３】
図８は、光源情報を図で示した場合であり、例えば基準中心Ｏｐ、基準座標軸ｘｒ，ｙｒ，ｚｒ、光源の位置や種類，強度が示されている。また、基準半径Ｒｄは、基準被写体の重心をプリセット座標系の基準中心Ｏｐとした場合における基準被写体に外接する球の半径である。
【００４４】
図９はプリセット情報の具体例を示しており、２つの光源を用いて人物のリライティングを行う場合である。光源１は、（１，０，１）［単位：ｍ］の位置に設けて、照明方向を（−０．７０７，０，−０．７０７）の方向としている。光源１の明るさは３０００ルーメンであり、照明色は白色である。また、光源１は、（０．３×０．３）［単位：ｍ］のサイズの面光源であり、色温度は各色６５００Ｋに設定している。光源２は、光源１と同様な光源を用いて、（−０．８，０，１）［単位：ｍ］の位置に設けて、照明方向を（０．６２５，０，−０．７８１）の方向としている。基準被写体の重心はプリセット座標系の基準中心であり、基準被写体の座標系はプリセット座標系と一致させている。
【００４５】
基準被写体情報では、基準被写体のサイズを０．５ｍとしている。基準被写体の重心は、プリセット座標系の中心として、座標軸情報は、基準被写体の主要な３軸をプリセット座標系と一致させている。また、人物のリライティングを行うとして、照明環境を変更する被写体の材質を肌として、撮像モードをポートレートとしている。
【００４６】
プリセット情報選択部２１は、このようなプリセット情報を予め複数記憶しておき、ユーザ操作に応じてプリセット情報を選択する。
【００４７】
図１０は、画像処理装置１０の画像表示部４５でプリセット情報に対応して表示するアイコン画像を例示している。アイコン画像は、例えば基準被写体を模式化して示した画像とする。また、アイコン画像には光源に関する画像を含めてもよい。例えば、基準被写体が人物の顔である場合、図１０の（Ａ）に示すように、人物の顔をモデル化した画像と、光源に関する情報例えば光源の数や位置を示す画像を設ける。また、図１０の（Ｂ）に示すように、アイコン画像は光源に関する情報が含まれていない画像であってもよい。なお、図１０の（Ｃ）は、人物の上半身を撮像した場合のアイコン画像を例示している。
【００４８】
図１における照明設定情報調整部３１は、プリセット情報選択部２１で選択されたプリセット情報を撮像された被写体に応じて調整する。図１１は照明設定情報調整部３１で行われる照明設定情報の調整処理を説明するための図である。照明設定情報調整部３１は、プリセット情報で示された基準被写体のサイズと配置が撮像された被写体と一致するように予め設定した座標系を調整して、この座標系の調整に応じて光源に関する情報を調整する。なお、説明を簡単とするため、基準被写体の重心はプリセット座標系の基準中心であり、基準被写体の座標系はプリセット座標系と一致しているとする。
【００４９】
照明設定情報調整部３１は、図１１の（Ａ）に示す被写体に対して、図１１の（Ｂ）に示すように、プリセット座標系の基準中心Ｏｐ（基準被写体の重心）が撮像された被写体の重心に一致するように光源を配置する。次に、照明設定情報調整部３１は、図１１の（Ｃ）に示すように、プリセット情報で示されている基準半径Ｒｄ（基準被写体に外接する球の半径）が撮像された被写体に外接する球の半径と一致するように、基準半径Ｒｄのスケーリングを行う。すなわち、照明設定情報調整部３１は、プリセット光源座標系のスケール自体を変化させて、撮像された被写体の重心から光源までの距離を変化させる。
【００５０】
その後、照明設定情報調整部３１は、撮像された被写体の三次元形状および撮像画像の撮像モード等に基づき、撮像された被写体に座標軸を設定して、この座標軸にプリセット座標系の座標軸を対応させる。照明設定情報調整部３１は、例えば対象被写体が人物であれば、撮像画像から人物の顔を抽出して、図１１の（Ｄ）に示すように、顔の正面向きをプリセット座標系における基準座標軸ｚｒとする。また、照明設定情報調整部３１は、鉛直上方向を基準座標軸ｙｒ、これら両軸ベクトルと直交するベクトルすなわち両軸の外積ベクトルの方向を基準座標軸ｘｒと定める。また、撮像画像が風景の場合、照明設定情報調整部３１は、カメラ正面を主要な座標軸方向として、カメラ正面方向を基準座標軸ｚｒとして鉛直上方向を基準座標軸ｙｒ、両軸ベクトルと直交するベクトルの方向を基準座標軸ｘｒと定める。
【００５１】
照明設定情報調整部３１は、このような処理を行うことで撮像された被写体に対応させて光源の配置を調整する。さらに、照明設定情報調整部３１または画像生成部４１は、調整後の光源の配置をもとに描画処理を行う。ここで、被写体情報取得部１２は、被写体形状情報および反射特性情報を取得している。また、照明設定情報調整部３１は、ユーザが選択したプリセット情報に含まれる光源を、撮像された被写体に対応した配置としている。したがって、描画処理は、取得された被写体形状情報および反射特性情報と、調整後の光源の配置、および選択したプリセット情報に含まれる各光源の色や強度を用いて、従来のコンピュータグラフィックスと同様な手法を用いて行う。なお、被写体の反射モデルには、反射特性の推定と同じくPhongモデルを用いる。
【００５２】
また、照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出する。照明設定情報調整部３１は、画像全体の色および輝度の算出結果に基づき、輝度や色が飽和していることを判別した場合、輝度や色が飽和しないように光源の強度を調整する。例えば、照明設定情報調整部３１は、描画処理によって生成された画像の輝度値が飽和してしまう場合、全画素中における最大輝度値ＩＭＡＸが画像ダイナミックレンジの最大値ＩＲＡＮＧＥと一致するように、各光源ｍの強度ｉｍのスケーリングを行う。具体的には、式（９）に基づきスケーリング後の強度である修正強度ｉｍｃを計算する。
【００５３】
【数５】
0006493395.tif 000006
【００５４】
なお、各光源ｍの強度ｉｍのスケーリングは、輝度や色が飽和しないようになるまで繰り返し行ってもよい。
【００５５】
このような処理を行うと、プリセット情報選択部２１で選択されたプリセット情報と撮像画像に基づき光源情報を自動的に最適化できる。照明設定情報調整部３１は、撮像された被写体に応じて最適化された調整後のプリセット情報を画像生成部４１に出力する。
【００５６】
画像生成部４１は、描画処理を行う。画像生成部４１は、画像取得部１１で取得された撮像画像や被写体情報取得部１２で取得された撮像被写体情報、および照明設定情報調整部３１から供給された調整後のプリセット情報に基づいて描画処理を行う。画像生成部４１は、描画処理を行うことで、選択したプリセット情報と撮像された被写体に基づいた照明環境での撮像画像を生成して画像表示部４５に出力する。
【００５７】
画像表示部４５は、画像生成部４１で生成された画像を画面上に表示する。また画像表示部４５は、プリセット情報選択部２１と関係付けられており、プリセット情報選択部２１で選択可能なプリセット情報を示すアイコン画像等を表示してもよい。例えば画像表示部４５の画面上にタッチパネル等のユーザ操作入力手段を設けて、画像表示部４５の画面上に表示されたアイコン画像からいずれかのアイコン画像をユーザに選択させる。また、プリセット情報選択部２１は、ユーザによって選択されたアイコン画像に対応するプリセット情報を選択する。なお、プリセット情報選択部２１に画像表示機能を設けて、プリセット情報選択部２１で選択可能なプリセット情報を示すアイコン画像等を表示してもよい。
【００５８】
次に、第１の実施の形態の動作について説明する。図１２は、第１の実施の形態の動作を示すフローチャートである。
【００５９】
ステップＳＴ１で画像処理装置１０は画像を取得する。画像処理装置１０の画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、例えばステレオカメラで取得された撮像画像、ステレオカメラで取得されて記録媒体に記録されている撮像画像等を取得する。また、画像取得部１１は、これらの画像を、ネットワーク等を介して取得してもよい。画像処理装置１０は画像を取得してステップＳＴ２に進む。
【００６０】
ステップＳＴ２で画像処理装置１０は被写体の三次元形状を算出する。画像処理装置１０の被写体情報取得部１２は、画像取得部１１で取得された画像を用いて、例えば被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求めることで撮像された被写体の三次元形状を算出する。画像処理装置１０は、被写体の三次元形状を算出してステップＳＴ３に進む。
【００６１】
ステップＳＴ３で画像処理装置１０は被写体に対する光源位置と強度を算出する。画像処理装置１０の被写体情報取得部１２は、例えば撮像画像に含まれている球面ミラーの輝点に基づいて光源位置を推定して、球面ミラー上の各輝点の色から光源の色および強度を算出する。画像処理装置１０は被写体に対する光源位置と強度を算出してステップＳＴ４に進む。
【００６２】
ステップＳＴ４で画像処理装置１０は被写体の反射特性を算出する。画像処理装置１０の被写体情報取得部１２は、例えば物体の反射モデルを予め仮定して、ステップＳＴ２で算出した被写体の三次元形状とステップＳＴ３で算出した光源位置と強度に基づき反射特性を算出する。例えば、撮像された被写体の三次元形状が明らかなので、被写体の各点ｕにおいて観測点へのベクトルＶＦｕおよび被写体の法線ベクトルＶＮｕを計算する。また、光源の位置および光源の色や強度が明らかなので、入射光ベクトルＶＬｍおよび反射光ベクトルＶｒｍを算出することができる。さらに、強度ｉｍ，ｄと、強度ｉｍ，ｓを既知としてみなして、被写体のＢＲＤＦが一様である仮定に基づき、式（８）を利用して、強度係数ｋａ，ｋｄ，ｋｓ、および鏡面反射パラメータを示す係数ｑを算出する。画像処理装置１０は、このように被写体の反射特性を算出してステップＳＴ５に進む。
【００６３】
ステップＳＴ５で画像処理装置１０はプリセット情報の選択を行う。画像処理装置１０のプリセット情報選択部２１は、予め記憶されているプリセット情報からユーザ操作に応じてプリセット情報を選択する。プリセット情報選択部２１は、予め記憶されているプリセット情報から、ユーザ操作に応じてプリセット情報を選択する。例えば図１３に示すように、画像表示部４５の画面上にプリセット情報ＪＳ１〜ＪＳ３を表示して、いずれかのプリセット情報をユーザによって選択させる。画像処理装置１０は、ユーザ操作に応じてプリセット情報を選択してステップＳＴ６に進む。
【００６４】
ステップＳＴ６で画像処理装置１０は照明設定情報の調整を行う。画像処理装置１０の照明設定情報調整部３１は、照明設定情報すなわちステップＳＴ５で選択されたプリセット情報を、撮像された被写体の三次元形状等に応じて調整する。例えばプリセット座標系の中心位置と撮像された被写体の重心に一致させて、プリセット情報で定められた基準半径Ｒｄが撮像された被写体のサイズに対応するようにスケーリングを行う。さらに、プリセット情報の座標系の座標軸を、撮像された被写体に応じた座標軸に対応させて、プリセット情報で示された光源の配置を撮像された被写体に応じて調整する。画像処理装置１０は、このように照明設定情報を調整してステップＳＴ７に進む。
【００６５】
ステップＳＴ７で画像処理装置１０は描画処理を行う。画像処理装置１０の画像生成部４１は、ステップＳＴ１で取得した撮像画像、ステップＳＴ２で算出した被写体の三次元形状、ステップＳＴ４で算出した反射特性、ステップＳＴ６で調整したプリセット情報に基づき描画処理を行う。描画処理は、従来のコンピュータグラフィックスと同様な手法を用いて行う。画像処理装置１０は、描画処理を行い照明環境が変更された画像を生成してステップＳＴ８に進む。
【００６６】
ステップＳＴ８で画像処理装置１０は、画像の飽和がないか判別する。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出する。画像処理装置１０は、画像全体の色および輝度の算出結果に基づき、輝度や色の飽和を判別した場合にステップＳＴ９に進み、輝度や色の飽和がない場合は処理を終了する。
【００６７】
ステップＳＴ９で画像処理装置１０は光源の調整を行う。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像の輝度や色が飽和しないように光源を調整する。照明設定情報調整部３１は、例えば輝度が飽和してしまう場合、全画素中における最大輝度値が画像ダイナミックレンジの最大値と一致するように、各光源の強度のスケーリングを行う。また、色についても同様に、各光源の強度のスケーリングを行う。画像処理装置１０は、このような光源の調整を行いステップＳＴ７に戻る。
【００６８】
このような第１の実施の形態によれば、ユーザが選択したプリセット情報および撮像された被写体に応じて照明環境の設定が自動的に行われる。したがって、画像処理装置は、リライティングにおける照明環境を簡便に設定できるようになり、ユーザは所望のプリセット情報を選択するだけで、所望の照明環境で撮像された画像と同様な画像を得ることができる。
【００６９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、照明設定情報の選択において、プリセット画像を設定選択画像として表示して、ユーザが選択したプリセット画像から照明設定情報を取得する場合について説明する。
【００７０】
図１４は、第２の実施の形態の画像処理装置の構成を例示している。画像処理装置１０は、画像取得部１１、被写体情報取得部１２、プリセット画像選択部２２、照明設定情報取得部２３、照明設定情報調整部３１、画像生成部４１、画像表示部４５を有している。なお、プリセット画像選択部２２と照明設定情報取得部２３は、照明設定情報選択部に相当する。
【００７１】
画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、被写体情報取得部１２で行う被写体の三次元形状の推定において、例えば視差をもとに各画素位置に対応した奥行きを求める場合、既知の間隔で横に並べた同一仕様の一対のカメラ(所謂ステレオカメラ)を用いて被写体の撮像画像を取得する。また、画像取得部１１は、被写体情報取得部１２で行う光源の位置の推定において、ステレオカメラの右視点画像と左視点画像のそれぞれで球面上に生じた異なる位置の輝点を利用する。この場合、ステレオカメラの撮像範囲に球面ミラーを含めて被写体の撮像画像を取得する。なお、画像取得部１１は、ステレオカメラで取得された撮像画像を記録媒体から読み出す構成であってもよく、またネットワーク等を介して、外部装置から上述のような撮像画像のデータを取得する構成であってもよい。
【００７２】
被写体情報取得部１２は、画像取得部１１で取得された撮像画像から撮像被写体情報、例えば被写体形状情報と反射特性情報を取得する。被写体情報取得部１２は、例えばステレオカメラのそれぞれに写った被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求めることで、被写体形状情報を取得する。また、被写体情報取得部１２は、例えばステレオカメラで得られた撮像画像に含まれている球面ミラーの輝点を利用して光源情報例えば光源の位置や強度および色等を求める。さらに、被写体情報取得部１２は、被写体形状情報と光源情報に基づき、撮像された被写体の反射特性を示す反射特性情報を取得する。
【００７３】
プリセット画像選択部２２は、ユーザ操作に応じてプリセット画像を選択する。プリセット画像選択部２２は、異なる照明環境で撮像された画像をプリセット画像として予め１または複数記憶している。プリセット画像選択部２２は、ユーザ操作に応じて選択したプリセット画像を、照明設定情報取得部２３に出力する。プリセット画像選択部２２は、例えば画像表示部４５に表示されたプリセット画像を選択するユーザ操作が行われた場合、ユーザが選択したプリセット画像を、照明設定情報取得部２３に出力する。
【００７４】
照明設定情報取得部２３は、プリセット画像選択部２２で選択されたプリセット画像から、光源位置および強度を抽出する。なお、プリセット画像から光源位置および強度の抽出では、例えば文献「Single image based illumination estimation for lighting virtual object in real scene, Chen et al., 2011」で開示された技術等を利用できる。
【００７５】
照明設定情報取得部２３は、プリセット画像から例えば３つの特徴量、すなわちシーンの粗い三次元構造、被写体の陰影、被写体の反射特性を抽出する。シーンの三次元構造は、画像全体の色分布、エッジ、テクスチャ情報を特徴量として、予め用意しておいたシーン構造の機械学習データベースと照合することによって、粗いレベルでの三次元構造を求める。被写体の陰影および反射特性は、画像中の色情報を陰影成分と反射成分に分離することによって得ることができるが、この場合も三次元構造と同様に、予め用意しておいた色成分分離の機械学習データベースと照合することによって求めることができる。さらに、粗い三次元構造と被写体の陰影および反射特性を用いて、光源の位置および強度を求める。ここで、光源の数を１または少ない数に限定すれば、第１の実施の形態と同様に、式（８）における各光源ｍの入射光ベクトルＶＬｍおよび光源ｍの拡散反射光の強度ｉｍ，ｄと、光源ｍの鏡面反射光の強度ｉｍ，ｓを求める問題と考えることができる。したがって、第１の実施の形態と同様にして光源の方向と強度を算出できる。また、照明設定情報取得部２３は、求めた光源の方向と強度に加えて、三次元構造の重心を基準中心Ｏｐから三次元構造の各頂点までの距離のうち、最大のものを基準半径Ｒｄとする。また、照明設定情報取得部２３は、各光源は一様に基準中心Ｏｐから基準半径Ｒｄの位置にあると定めて、第１の実施の形態のプリセット情報と同様な情報を照明設定情報としてプリセット画像から取得する。
【００７６】
照明設定情報調整部３１は、照明設定情報取得部２３で取得された照明設定情報を撮像された被写体に応じて調整する。また、照明設定情報調整部３１または画像生成部４１は、調整後の照明設定情報に基づいて描画処理を行う。上述のように、被写体情報取得部１２は、被写体形状情報および反射特性情報を取得している。また、照明設定情報調整部３１は、ユーザが選択したプリセット画像から取得した照明設定情報を撮像された被写体に応じて調整している。したがって、描画は、被写体情報取得部１２で取得された被写体形状情報および反射特性と、照明設定情報調整部３１で調整された照明設定情報等を用いて、従来のコンピュータグラフィックスと同様な手法を用いて行う。
【００７７】
さらに、照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出して、画像全体の輝度や色が飽和していることを判別した場合、輝度や色が飽和しないように光源の強度を調整する。
【００７８】
画像生成部４１は、描画処理を行う。画像生成部４１は、画像取得部１１で取得された撮像画像や被写体情報取得部１２で取得された撮像被写体情報、および照明設定情報調整部３１から供給された調整後の照明設定情報に基づいて描画処理を行う。画像生成部４１は、描画処理を行い、選択したプリセット画像の生成時における照明環境を撮像された被写体に基づいて調整した照明環境での撮像画像を生成して画像表示部４５に出力する。
【００７９】
画像表示部４５は、画像生成部で生成された画像を画面上に表示する。また画像表示部４５は、プリセット画像選択部２２と関係付けられており、プリセット画像選択部２２で選択可能なプリセット画像を表示してもよい。例えば画像表示部４５の画面上にタッチパネル等のユーザ操作入力手段を設けて、画像表示部４５の画面上に表示されたプリセット画像からいずれかのプリセット画像をユーザに選択させる。また、プリセット画像選択部２２は、ユーザによって選択されたプリセット画像を選択する。なお、プリセット画像選択部２２に画像表示機能を設けて、プリセット画像選択部２２で選択可能なプリセット画像を表示してもよい。
【００８０】
次に、第２の実施の形態の動作について説明する。図１５は、第２の実施の形態の動作を示すフローチャートである。
【００８１】
ステップＳＴ１１で画像処理装置１０は画像を取得する。画像処理装置１０の画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、例えばステレオカメラで取得された撮像画像、ステレオカメラで取得されて記録媒体に記録されている撮像画像等を取得してステップＳＴ１２に進む。なお、画像取得部１１は、これらの画像を、ネットワーク等を介して取得してもよい。
【００８２】
ステップＳＴ１２で画像処理装置１０は被写体の三次元形状を算出する。画像処理装置１０の被写体情報取得部１２は、画像取得部１１で取得された画像を用いて、例えば被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求めることで撮像された被写体の三次元形状を算出してステップＳＴ１３に進む。
【００８３】
ステップＳＴ１３で画像処理装置１０は被写体に対する光源位置と強度を算出する。画像処理装置１０の被写体情報取得部１２は、例えば撮像画像に含まれている球面ミラーの輝点に基づいて光源位置を推定して、球面ミラー上の各輝点の色から光源の色および強度を算出する。画像処理装置１０は被写体に対する光源位置と強度を算出してステップＳＴ１４に進む。
【００８４】
ステップＳＴ１４で画像処理装置１０は被写体の反射特性を算出する。画像処理装置１０の被写体情報取得部１２は、例えば物体の反射モデルを予め仮定して、ステップＳＴ１２で算出した被写体の三次元形状とステップＳＴ１３で算出した光源位置と強度に基づき反射特性を算出してステップＳＴ１５に進む。
【００８５】
ステップＳＴ１５で画像処理装置１０はプリセット画像の選択を行う。画像処理装置１０のプリセット画像選択部２２は、予め記憶されているプリセット画像からユーザ操作に応じてプリセット画像を選択してステップＳＴ１６に進む。
【００８６】
ステップＳＴ１６で画像処理装置１０は照明設定情報を取得する。画像処理装置１０の照明設定情報取得部２３は、ステップＳＴ１５で選択されたプリセット画像から、照明設定情報例えば光源位置および強度を取得する。照明設定情報取得部２３は、プリセット画像から例えば３つの特徴量として、シーンの粗い三次元構造、被写体の陰影、被写体の反射特性を取得する。照明設定情報取得部２３は、取得した三次元構造と被写体の陰影および反射特性を用いて、光源の位置および強度を算出してステップＳＴ１７に進む。
【００８７】
ステップＳＴ１７で画像処理装置１０は照明設定情報を調整する。画像処理装置１０の照明設定情報調整部３１は、ステップＳＴ１６で取得された照明設定情報例えば光源の位置および強度を撮像された被写体の三次元形状等に応じて調整してステップＳＴ１８に進む。
【００８８】
ステップＳＴ１８で画像処理装置１０は描画処理を行う。画像処理装置１０の画像生成部４１は、ステップＳＴ１１で取得した撮像画像、ステップＳＴ１２で算出した被写体の三次元形状、ステップＳＴ１４で算出した反射特性、ステップＳＴ１７で調整された照明設定情報に基づき、従来と同様に描画処理を行う。画像処理装置１０は、描画処理を行い照明環境が変更された画像を生成してステップＳＴ１９に進む。
【００８９】
ステップＳＴ１９で画像処理装置１０は、画像の飽和がないか判別する。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出する。画像処理装置１０は、画像全体の色および輝度の算出結果に基づき、輝度や色の飽和を判別した場合にステップＳＴ２０に進み、輝度や色の飽和がない場合は処理を終了する。
【００９０】
ステップＳＴ２０で画像処理装置１０は光源の調整を行う。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像の輝度や色が飽和しないように光源を調整する。照明設定情報調整部３１は、例えば輝度が飽和してしまう場合、全画素中における最大輝度値が画像ダイナミックレンジの最大値と一致するように、各光源の強度のスケーリングを行う。また、色についても同様に、各光源の強度のスケーリングを行う。画像処理装置１０は、このような光源の調整を行いステップＳＴ１８に戻る。
【００９１】
このような第２の実施の形態によれば、ユーザが選択したプリセット画像および撮像された被写体に応じて照明環境の設定が自動的に行われる。したがって、画像処理装置は、リライティングにおける照明環境を簡便に設定できるようになり、ユーザは所望のプリセット画像を選択するだけで、所望の照明環境で撮像された画像と同様な画像を得ることができる。
【００９２】
また、第２の実施の形態では、プリセット画像から照明設定情報が生成されるので、第１の実施の形態のように光源に関する情報等で構成されたプリセット情報を予め生成する必要がない。したがって、予めプリセット画像を記憶させておき、ユーザは所望の照明環境のプリセット画像を選択するだけで、撮像された被写体を選択したプリセット画像と同等の照明環境で撮像した場合と同様な画像を得ることができるようになる。
【００９３】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、照明設定情報の選択において、照明設定情報に関係付けられているメタデータを設定選択画像として表示して、ユーザが選択したメタデータに対応する照明設定情報を選択する場合について説明する。なお、第３の実施の形態では、メタデータとして例えば写真家の名前を用いる場合、メタデータで示された名前の写真家が用いる照明環境を再現するための照明設定情報をメタデータと関係付けて記憶しておく。
【００９４】
図１６は、第３の実施の形態の画像処理装置の構成を例示している。画像処理装置１０は、画像取得部１１、被写体情報取得部１２、メタデータ選択部２４、対応情報選択部２５、照明設定情報調整部３１、画像生成部４１、画像表示部４５を有している。なお、メタデータ選択部２４と対応情報選択部２５は、照明設定情報選択部に相当する。
【００９５】
画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、被写体情報取得部１２で行う被写体の三次元形状の推定において、例えば視差をもとに各画素位置に対応した奥行きを求める場合、既知の間隔で横に並べた同一仕様の一対のカメラ(所謂ステレオカメラ)を用いて被写体の撮像画像を取得する。また、画像取得部１１は、被写体情報取得部１２で行う光源の位置の推定において、ステレオカメラの右視点画像と左視点画像のそれぞれで球面上に生じた異なる位置の輝点を利用する。この場合、ステレオカメラの撮像範囲に球面ミラーを含めて被写体の撮像画像を取得する。なお、画像取得部１１は、ステレオカメラで取得された撮像画像を記録媒体から読み出す構成であってもよく、またネットワーク等を介して、外部装置から上述のような撮像画像のデータを取得する構成であってもよい。
【００９６】
被写体情報取得部１２は、画像取得部１１で取得された撮像画像から撮像被写体情報、例えば被写体形状情報と反射特性情報を取得する。被写体情報取得部１２は、例えばステレオカメラのそれぞれに写った被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求めることで、被写体形状情報を取得する。また、被写体情報取得部１２は、例えばステレオカメラで得られた撮像画像に含まれている球面ミラーの輝点を利用して光源情報例えば光源の位置や強度および色等を求める。さらに、被写体情報取得部１２は、被写体形状情報と光源情報に基づき、撮像された被写体の反射特性を示す反射特性情報を取得する。
【００９７】
また、被写体情報取得部１２は、画像取得部１１で取得された撮像画像から撮像モード情報を取得する。被写体情報取得部１２は、撮像画像がどのような撮像モードの画像であるか撮像被写体情報等を用いて判定して撮像モード情報を取得する。被写体情報取得部１２は、例えば被写体が人物である場合はポートレートモード、被写体が花である場合はマクロモード等と判定する。
【００９８】
メタデータ選択部２４は、ユーザ操作に応じてメタデータを選択する。メタデータ選択部２４は、対応情報選択部２５に予め記憶されている照明設定情報と関係付けられているメタデータをユーザによって選択される。例えば、上述したようにメタデータとして写真家の名前を用いる場合、対応情報選択部２５にはメタデータで示された名前の写真家が用いる照明環境を再現するための照明設定情報を予め記憶しておく。メタデータ選択部２４は、ユーザが選択したメタデータを対応情報選択部２５へ出力する。
【００９９】
対応情報選択部２５は、メタデータ選択部２４から供給されたメタデータに対応する照明設定情報を選択して照明設定情報調整部３１に出力する。また、対応情報選択部２５は、照明設定情報が撮像モード情報ごとに設けられている場合、メタデータに対応する照明設定情報から、被写体情報取得部１２で取得された撮像モード情報と対応する照明設定情報を照明設定情報調整部３１に出力する。
【０１００】
このように、メタデータに対応する照明設定情報から撮像モード情報と対応する照明設定情報を選択する場合、対応情報選択部２５には、図７に示すプリセット情報にメタデータ（例えば写真家の名前）を示す要素を設けた照明設定情報を予め記憶させておく。また、対応情報選択部２５は、記憶されている照明設定情報からメタデータと被写体の撮像モードが一致する照明設定情報を選択すればよい。なお、照明設定情報は、外部装置に記憶された照明設定情報からネットワークを介して選択的に取得する構成であってもよい。また、ネットワークや記録媒体を介して対応情報選択部２５に新たな照明設定情報を追加できる構成としてもよい。
【０１０１】
図１７は、照明設定情報の選択を説明するための図である。対応情報選択部２５に設けられたデータベース２５１には、各写真家について撮像モードごとに照明設定情報が記憶されている。例えば写真家ＣＭａについては撮像モードＭＰ１〜ＭＰ３の照明設定情報（丸印で示す）が記憶されている。同様に写真家ＣＭｂについては撮像モードＭＰ１〜ＭＰ３の照明設定情報、写真家ＣＭｃについては撮像モードＭＰ１〜ＭＰ２の照明設定情報が記憶されている。
【０１０２】
ここで、例えば被写体情報取得部１２で取得された撮像モード情報が「撮像モードＭＰ１」であり、メタデータ選択部２４でユーザが選択したメタデータが「写真家ＣＭａ」であるとする。この場合、対応情報選択部２５は、写真家ＣＭａの照明設定情報から、撮像モードＭＰ１の照明設定情報（太線の丸印で示す）を選択して照明設定情報調整部３１に出力する。
【０１０３】
照明設定情報調整部３１は、メタデータ選択部２４から供給された照明設定情報を撮像された被写体に応じて調整する。また、照明設定情報調整部３１または画像生成部は、調整後の照明設定情報に基づいて描画処理を行う。上述のように、被写体情報取得部１２は、被写体形状情報および反射特性情報を取得している。また、照明設定情報調整部３１は、ユーザが選択したメタデータに関係した照明設定情報を撮像された被写体に応じて調整している。したがって、描画は、被写体情報取得部１２で取得された被写体形状情報および反射特性と、照明設定情報調整部３１で調整された照明設定情報等を用いて、従来のコンピュータグラフィックスと同様な手法を用いて行う。
【０１０４】
さらに、照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出して、画像全体の輝度や色が飽和していることを判別した場合、輝度や色が飽和しないように光源の強度を調整する。
【０１０５】
画像生成部４１は、描画処理を行う。画像生成部４１は、画像取得部１１で取得された撮像画像や被写体情報取得部１２で取得された撮像被写体情報、および照明設定情報調整部３１から供給された調整後の照明設定情報に基づいて描画処理を行う。画像生成部４１は、描画処理を行い、選択したプリセット画像の生成時における照明環境を撮像された被写体に基づいて調整した照明環境での撮像画像を生成して画像表示部４５に出力する。
【０１０６】
画像表示部４５は、画像生成部で生成された画像を画面上に表示する。また画像表示部４５は、メタデータ選択部２４と関係付けられており、メタデータ選択部２４で選択可能なメタデータを表示してもよい。例えば画像表示部４５の画面上にタッチパネル等のユーザ操作入力手段を設けて、画像表示部４５の画面上に表示されたメタデータからいずれかのメタデータをユーザに選択させる。なお、メタデータ選択部２４に画像表示機能を設けて、メタデータ選択部２４で選択可能なメタデータを表示してもよい。
【０１０７】
次に、第３の実施の形態の動作について説明する。図１８は、第３の実施の形態の動作を示すフローチャートである。
【０１０８】
ステップＳＴ３１で画像処理装置１０は画像を取得する。画像処理装置１０の画像取得部１１は、被写体の三次元形状と被写体の反射特性と光源の位置の推定が可能な画像を取得する。画像取得部１１は、例えばステレオカメラで取得された撮像画像、ステレオカメラで取得されて記録媒体に記録されている撮像画像等を取得してステップＳＴ３２に進む。なお、画像取得部１１は、これらの画像を、ネットワーク等を介して取得してもよい。
【０１０９】
ステップＳＴ３２で画像処理装置１０は被写体の三次元形状を算出する。画像処理装置１０の被写体情報取得部１２は、画像取得部１１で取得された画像を用いて、例えば被写体の各画素の視差を算出して、その視差をもとに各画素位置に対応した奥行きを求めることで撮像された被写体の三次元形状を算出してステップＳＴ３３に進む。
【０１１０】
ステップＳＴ３３で画像処理装置１０は被写体に対する光源位置と強度を算出する。画像処理装置１０の被写体情報取得部１２は、例えば撮像画像に含まれている球面ミラーの輝点に基づいて光源位置を推定して、球面ミラー上の各輝点の色から光源の色および強度を算出する。画像処理装置１０は被写体に対する光源位置と強度を算出してステップＳＴ３４に進む。
【０１１１】
ステップＳＴ３４で画像処理装置１０は被写体の反射特性を算出する。画像処理装置１０の被写体情報取得部１２は、例えば物体の反射モデルを予め仮定して、ステップＳＴ３２で算出した被写体の三次元形状とステップＳＴ３３で算出した光源位置と強度に基づき反射特性を算出してステップＳＴ３５に進む。
【０１１２】
ステップＳＴ３５で画像処理装置１０はメタデータの選択を行う。画像処理装置１０のメタデータ選択部２４は、予め記憶されているメタデータからユーザ操作に応じてメタデータを選択してステップＳＴ３６に進む。
【０１１３】
ステップＳＴ３６で画像処理装置１０は照明設定情報の選択を行う。画像処理装置１０の対応情報選択部２５は、ステップＳＴ３５で選択されたメタデータに関係付けられている照明設定情報をリライティング処理に用いる照明設定情報としてステップＳＴ３７に進む。なお、照明設定情報の選択では、被写体情報取得部１２で取得された撮像モード情報をさらに用いて、撮像モードが撮像モード情報で示された撮像モードと一致する照明設定情報を選択してもよい。
【０１１４】
ステップＳＴ３７で画像処理装置１０は照明設定情報を調整する。画像処理装置１０の照明設定情報調整部３１は、ステップＳＴ３６で選択された照明設定情報を撮像された被写体の三次元形状等に応じて調整してステップＳＴ３８に進む。
【０１１５】
ステップＳＴ３８で画像処理装置１０は描画処理を行う。画像処理装置１０の画像生成部４１は、ステップＳＴ３１で取得した撮像画像、ステップＳＴ３２で算出した被写体の三次元形状、ステップＳＴ３４で算出した反射特性、ステップＳＴ３７で調整された照明設定情報に基づき、従来と同様に描画処理を行う。画像処理装置１０は、描画処理を行い照明環境が変更された画像を生成してステップＳＴ３９に進む。
【０１１６】
ステップＳＴ３９で画像処理装置１０は、画像の飽和がないか判別する。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像を用いて画像全体の色および輝度を算出する。画像処理装置１０は、画像全体の色および輝度の算出結果に基づき、輝度や色の飽和を判別した場合にステップＳＴ４０に進み、輝度や色の飽和がない場合は処理を終了する。
【０１１７】
ステップＳＴ４０で画像処理装置１０は光源の調整を行う。画像処理装置１０の照明設定情報調整部３１は、描画処理によって生成された画像の輝度や色が飽和しないように光源を調整する。照明設定情報調整部３１は、例えば輝度が飽和してしまう場合、全画素中における最大輝度値が画像ダイナミックレンジの最大値と一致するように、各光源の強度のスケーリングを行う。また、色についても同様に、各光源の強度のスケーリングを行う。画像処理装置１０は、このような光源の調整を行いステップＳＴ３８に戻る。
【０１１８】
このような第３の実施の形態によれば、ユーザが選択したメタデータおよび撮像された被写体に応じて照明環境の設定が自動的に行われる。したがって、画像処理装置は、リライティングにおける照明環境を簡便に設定できるようになり、ユーザは所望のメタデータを選択するだけで、所望の照明環境で撮像された画像と同様な画像を得ることができる。
【０１１９】
また、第３の実施の形態では、メタデータと照明設定情報が関係付けられて記憶されている。したがって、例えば希望する写真家の名前を示しているメタデータを選択するだけで、撮像された被写体を所望の写真家が用いる照明環境で撮像した場合と同様な画像を得ることができるようになる。
【０１２０】
また、第３の実施の形態ではメタデータとして写真家の名前を用いる場合を例示したが、生成される画像の印象を示す単語等を表示して、印象を示す単語に対応した照明設定情報を単語に関係付けて記憶しておくようにしてもよい。
【０１２１】
＜４．他の実施の形態＞
上述の実施の形態では、プリセット情報やプリセット画像またはメタデータに対するユーザ選択操作に応じて照明設定情報を選択する場合について説明したが、プリセット情報の画像にメタデータを重畳させて表示してもよい。例えばプリセット情報の画像に撮像モード情報や生成される画像の印象を示す単語を重畳して表示する。また、プリセット画像から抽出した光源位置および強度に基づいたメタデータをプリセット画像に重畳させて表示してもよい。例えば、光源位置および強度がポートレートの撮像モードの場合に類似している場合、プリセット画像に撮像モード情報（ポートレート）を重畳して表示する。このように、プリセット情報やプリセット画像またはメタデータを組み合わせて表示すれば、ユーザは好みの照明環境を容易に選択できるようになる。
【０１２２】
また、プリセット情報やプリセット画像が数多く定義されている等の場合、被写体の撮像モードを判別して、判別した撮像モードと一致する撮像モード情報のプリセット情報やプリセット画像を優先してユーザに提示する。このように、撮像モード情報を利用してプリセット情報やプリセット画像の提示順序を制御すれば、ユーザは所望のプリセット情報やプリセット画像を容易に選択できるようになる。
【０１２３】
以上のように、この技術によれば、撮像した被写体に対してリライティングを行う場合、ユーザのプリセット情報やプリセット画像あるいはメタデータの選択操作に応じて照明設定情報を自動的に生成できる。したがって、専門的なノウハウや機材を持たない一般的なユーザにおいても、良好な所望の照明環境で撮像が行われた場合と同様な画像を作成することが極めて容易となる。また、リライティング処理で用いる照明設定情報の選択や調整は、一般のコンピュータグラフィクモデルの編集にも適用できるため、専門的な知識や用具を使わずに簡便にコンピュータグラフィクモデルの編集が可能となる。
【０１２４】
なお、撮像画像から撮像被写体情報を取得する方法や、プリセット画像から照明設定情報を取得する方法は、上述の方法に限らず他の方法を利用してもよい。
【０１２５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２６】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、所謂パッケージソフトウェアとして提供することができる。
【０１２７】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２８】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１２９】
また、本技術の画像処理装置は以下のような構成もとることができる。
（１）  撮像画像から被写体における照明に関係した属性を示す撮像被写体情報を取得する被写体情報取得部と、
照明設定情報をユーザ操作に応じて選択する照明設定情報選択部と、
前記照明設定情報選択部で選択された照明設定情報を、前記被写体情報取得部で取得された撮像被写体情報に基づいて前記被写体に対応した照明設定情報に調整する照明設定情報調整部と
を備える画像処理装置。
（２）  前記被写体情報取得部は、前記撮像被写体情報として前記撮像画像から被写体の三次元形状と反射特性を取得する（１）に記載の画像処理装置。
（３）  前記照明設定情報は予め設定した座標系を用いて生成されており、前記座標系を前記被写体に対応させることで前記照明設定情報を前記被写体に対応した照明設定情報に調整する（１）または（２）に記載の画像処理装置。
（４）  前記照明設定情報は、光源の配置と照明光に関する情報を含む光源情報と、前記光源情報で示された光源で照明される基準被写体のサイズと配置に関する情報を含む基準被写体情報を有する（３）に記載の画像処理装置。
（５）  前記照明設定情報調整部は、前記基準被写体のサイズと配置が前記撮像画像の被写体と一致するように前記座標系を前記被写体に対応させる（４）に記載の画像処理装置。
（６）  前記照明設定情報調整部は、前記撮像被写体情報と前記調整後の照明設定情報を用いて描画処理を行うことにより得られる被写体画像が飽和を生じないように、前記照明設定情報を調整する（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記照明設定情報選択部は、前記照明設定情報に関係付けられた設定選択画像を表示して、ユーザが選択した設定選択画像に対応する照明設定情報を選択した照明設定情報とする（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記照明設定情報選択部は、前記照明設定情報に基づいたプリセット情報を前記設定選択画像として表示して、ユーザが選択したプリセット情報に対応する照明設定情報を選択する（７）に記載の画像処理装置。
（９）  前記照明設定情報選択部は、プリセット画像を前記設定選択画像として表示して、ユーザが選択したプリセット画像から照明設定情報を取得する（７）に記載の画像処理装置。
（１０）  前記照明設定情報選択部は、照明設定情報に関係付けられているメタデータを前記設定選択画像として表示して、ユーザが選択したメタデータに対応する照明設定情報を選択する（７）に記載の画像処理装置。
（１１）  前記被写体情報取得部は、前記被写体についての撮像モード情報を取得して、
前記照明設定情報選択部は、前記被写体情報取得部で取得された撮像モード情報と一致する撮像モード情報を有した照明設定情報を選択する（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記被写体情報取得部で取得された撮像被写体情報と、前記照明設定情報調整部で調整された照明設定情報に基づいて描画処理を行う画像生成部をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記被写体を異なる視点位置から撮像した画像を前記撮像画像として取得する画像取得部をさらに備える（１）乃至（１２）のいずれかに記載の画像処理装置。
【産業上の利用可能性】
【０１３０】
この技術の画像処理装置と画像処理方法では、被写体情報取得部によって、撮像画像から被写体における照明に関係した属性を示す被写体情報が取得される。また、照明設定情報選択部によって、ユーザ操作に応じて照明設定情報が選択される。照明設定情報調整部では、選択された照明設定情報を被写体情報に基づいて被写体に対応した照明設定情報とする処理が行われる。このため、ユーザが照明設定情報を選択すれば、選択した照明設定情報は被写体に対応した照明設定情報に調整されるので、調整後の照明設定情報を用いて描画処理を行うことにより、所望の照明環境で撮像された場合に相当する画像を生成することが可能となり、リライティングにおける照明環境の設定を容易とすることができる。したがって、撮像機能を有する電子機器や、撮像画像の編集等を行う電子機器等に適している。
【符号の説明】
【０１３１】
１０・・・画像処理装置
１１・・・画像取得部
１２・・・被写体情報取得部
２１・・・プリセット情報選択部
２２・・・プリセット画像選択部
２３・・・照明設定情報取得部
２４・・・メタデータ選択部
２５・・・対応情報選択部
３１・・・照明設定情報調整部
４１・・・画像生成部
４５・・・画像表示部
【図１】
0006493395.tif 000007
【図２】
0006493395.tif 000008
【図３】
0006493395.tif 000009
【図４】
0006493395.tif 000010
【図５】
0006493395.tif 000011
【図６】
0006493395.tif 000012
【図７】
0006493395.tif 000013
【図８】
0006493395.tif 000014
【図９】
0006493395.tif 000015
【図１０】
0006493395.tif 000016
【図１１】
0006493395.tif 000017
【図１２】
0006493395.tif 000018
【図１３】
0006493395.tif 000019
【図１４】
0006493395.tif 000020
【図１５】
0006493395.tif 000021
【図１６】
0006493395.tif 000022
【図１７】
0006493395.tif 000023
【図１８】
0006493395.tif 000024