(57)【要約】【課題】少ない処理量で画像のライティングを制御することができるようにするものである。【解決手段】算出部は、被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、画像を分割した領域ごとの画素の輝度の平均値である領域平均値とに基づいて、領域ごとに画像の環境光の輝度を算出する。生成部は、算出部により算出された画像の領域ごとの環境光の輝度と、画像とに基づいて、所定の位置から被写体に光が照射されたときの被写体の画像である仮想撮影画像を生成する。本開示は、例えば、画像処理装置等に適用することができる。【選択図】図１
2015184952.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出部と、
前記算出部により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成部と
を備える画像処理装置。
【請求項２】
前記算出部は、前記領域ごとに、その領域の前記領域平均値と前記全体平均値との差分を前記画像の環境光の輝度として算出する
ように構成された
請求項１に記載の画像処理装置。
【請求項３】
前記所定の位置と前記領域平均値とに基づいて、前記算出部により算出された前記画像の前記領域ごとの環境光の輝度に乗算するゲインを決定する決定部と、
前記決定部により決定された前記ゲインと、前記算出部により算出された前記画像の前記領域ごとの環境光の輝度とを乗算することにより、前記領域ごとに、前記仮想撮影画像の環境光の輝度と前記画像の環境光の輝度の差分を予測する予測部と
をさらに備え、
前記生成部は、前記予測部により予測された前記差分と前記画像に基づいて前記仮想撮影画像を生成する
ように構成された
請求項１に記載の画像処理装置。
【請求項４】
前記決定部は、隣接する複数の前記領域からなる領域群の前記領域平均値の平均値に基づいて前記ゲインを補正し、
前記予測部は、前記決定部により補正された前記ゲインと前記画像の前記領域ごとの環境光の輝度とを乗算することにより、前記領域ごとに前記差分を予測する
ように構成された
請求項３に記載の画像処理装置。
【請求項５】
前記予測部により予測された前記領域ごとの前記差分を線形補間することにより、画素ごとの前記差分を生成する変換部
をさらに備え、
前記生成部は、前記変換部により生成された前記画素ごとの差分と前記画像とに基づいて、前記仮想撮影画像を生成する
請求項３に記載の画像処理装置。
【請求項６】
ユーザによる前記所定の位置の入力を受け付ける入力部
をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が、
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出ステップと、
前記算出ステップの処理により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成ステップと
を含む画像処理方法。
【請求項８】
コンピュータを、
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出部と、
前記算出部により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、少ない処理量で画像のライティングを制御することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、撮影後に画像を編集する様々な技術が考案されている。例えば、撮影後に画像の輝度を変更する技術が考案されている（例えば、特許文献１参照）。また、撮影後に画像の画角を変更する技術（例えば、特許文献２）、撮影後に複数の画像を合成する技術(例えば、特許文献３)、撮影後にライティング（光源）を制御する技術(例えば、特許文献４)なども考案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-158399号公報
【特許文献２】特開2011-29691号公報
【特許文献３】特開2012-138819号公報
【特許文献４】特開2010-135996号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影後に画像のライティングを制御する手法としては、複数の画像を用いて加工する手法や、高性能な画像解析を行って加工する手法といった、処理量の多い手法しか考案されていなかった。
【０００５】
本開示は、このような状況に鑑みてなされたものであり、少ない処理量で画像のライティングを制御することができるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の画像処理装置は、被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出部と、前記算出部により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成部とを備える画像処理装置である。
【０００７】
本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。
【０００８】
本開示の一側面においては、被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度が算出され、前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像が生成される。
【発明の効果】
【０００９】
本開示の一側面によれば、画像を編集することができる。また、本開示の一側面によれば、少ない処理量で画像のライティングを制御することができる。
【００１０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】ユーザによる所望の光源の位置の入力操作を説明する図である。
【図３】図１の領域平均部２２により分割される領域の例を示す図である。
【図４】図１の予測部２５による仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分の予測を説明する図である。
【図５】図１の決定部２４により領域平均値の平均値が算出される領域群の例を示す図である。
【図６】図１の決定部２４によるゲインの補正を説明する図である。
【図７】図１の変換部２６による仮想撮影画像の画素ごとの差分の生成を説明する図である。
【図８】図１の生成部２７により生成される仮想撮影画像の例を示す図である。
【図９】図１の画像処理装置１０の画像処理を説明するフローチャートである。
【図１０】コンピュータのハードウエアの構成例を示すブロック図である。
【図１１】本開示を適用したテレビジョン装置の概略構成例を示す図である。
【図１２】本開示を適用した携帯電話機の概略構成例を示す図である。
【図１３】本開示を適用した記録再生装置の概略構成例を示す図である。
【図１４】本開示を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図９）
２．第２実施の形態：コンピュータ（図１０）
３．第３実施の形態：テレビジョン装置（図１１）
４．第４実施の形態：携帯電話機（図１２）
５．第５実施の形態：記録再生装置（図１３）
６．第６実施の形態：撮像装置（図１４）
【００１３】
＜一実施の形態＞
（画像処理装置の一実施の形態の構成例）
図１は、本開示を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１４】
図１の画像処理装置１０は、画像処理部１１とタッチパネル１２により構成される。画像処理装置１０は、外部から入力された被写体の画像（以下、入力画像という）のライティングを制御して、所定の位置から被写体に光が照射されたときの被写体の画像を仮想撮影画像として生成し、出力する。
【００１５】
具体的には、画像処理装置１０の画像処理部１１は、全体平均部２１、領域平均部２２、算出部２３、決定部２４、予測部２５、変換部２６、および生成部２７により構成される。
【００１６】
画像処理部１１の全体平均部２１は、入力画像を構成する全ての画素の輝度の平均値である全体平均値を算出し、算出部２３に供給する。
【００１７】
領域平均部２２は、入力画像を複数の領域に分割する。領域平均部２２は、分割した領域ごとの画素の輝度の平均値である領域平均値を算出し、算出部２３と決定部２４に供給する。
【００１８】
算出部２３は、全体平均部２１から供給される全体平均値と領域平均部２２から供給される領域平均値とに基づいて、入力画像の環境光の輝度を算出する。具体的には、算出部２３は、領域ごとに、その領域の領域平均値と全体平均値との差分を求め、入力画像の環境光の輝度とする。算出部２３は、算出された領域ごとの環境光の輝度を予測部２５に供給する。
【００１９】
決定部２４は、タッチパネル１２から光源の位置を表す光源位置情報を取得する。決定部２４は、光源位置情報と領域平均部２２から供給される領域平均値とに基づいて、算出部２３により算出された環境光の輝度に乗算するゲインを決定する。なお、決定部２４は、入力画像に対して初めて仮想撮影画像を生成する場合、ゲインを０に決定する。
【００２０】
また、決定部２４は、領域平均値に基づいて、隣接する複数の領域からなる領域群の領域平均値の平均値を算出する。決定部２４は、領域群の領域平均値の平均値に基づいてゲインを補正する。決定部２４は、補正後のゲインを予測部２５に供給する。
【００２１】
予測部２５は、決定部２４から供給されるゲインと、算出部２３から供給される入力画像の領域ごとの環境光の輝度とを乗算することにより、領域ごとに、仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分を予測する。具体的には、予測部２５は、ゲインと入力画像の領域ごとの環境光の輝度の乗算値を、その領域の仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分の予測値とする。予測部２５は、予測された領域ごとの差分を変換部２６に供給する。
【００２２】
変換部２６は、予測部２５から供給される領域ごとの差分を線形補間することにより、画素ごとの差分を生成し、生成部２７に供給する。
【００２３】
生成部２７は、変換部２６から供給される画素ごとの差分と入力画像とに基づいて、仮想撮影画像を生成する。具体的には、生成部２７は、画素ごとに、差分と入力画像の輝度とを加算し、仮想撮影画像の輝度を生成する。なお、ゲインが０である場合、各画素の差分は０になるため、仮想撮影画像は入力画像そのものとなる。生成部２７は、生成された仮想撮影画像をタッチパネル１２に供給する。
【００２４】
タッチパネル１２は、表示部４１と入力部４２により構成される。タッチパネル１２の表示部４１は、生成部２７から供給される仮想撮影画像を表示する。
【００２５】
入力部４２は、ユーザのタップ操作による所望の光源の位置の入力を受け付ける。入力部は、受け付けられた光源の位置を表す光源位置情報を決定部２４に供給する。
【００２６】
なお、以下では、説明を簡単にするため、入力画像の光源の位置と仮想撮影画像の光源の位置は、水平方向についてのみ異なるものとして説明するが、垂直方向についてのみ異なる場合は、水平方向が垂直方向に代わる点を除いて水平方向についてのみ異なる場合と同様である。また、水平方向と垂直方向の両方について異なる場合、水平方向についてのみ異なる場合の処理と垂直方向についてのみ異なる場合の処理の両方が行われ、その結果得られる仮想撮影画像が合成される。
【００２７】
（ユーザによる所望の光源の位置の入力操作の説明）
図２は、ユーザによる所望の光源の位置の入力操作を説明する図である。
【００２８】
ユーザの所望の光源の位置が入力画像の被写体に照射可能な最も左側の位置である場合、図２Ａに示すように、ユーザは、表示部４１に表示中の仮想撮影画像６１の最も左側の位置を指でタップする。これにより、入力部４２は、入力画像の被写体に照射可能な最も左側の位置の所望の光源の位置としての入力を受け付ける。そして、入力部４２は、入力画像の被写体に照射可能な最も左側の位置を光源の位置として表す光源位置情報を決定部２４に供給する。その結果、入力画像の被写体に照射可能な最も左側の位置から光が照射された仮想撮影画像が表示部４１に表示される。
【００２９】
ユーザの所望の光源の位置が入力画像の被写体に照射可能な範囲の中央の位置である場合、図２Ｂに示すように、ユーザは、表示部４１に表示中の仮想撮影画像６１の中央の位置を指でタップする。これにより、入力部４２は、入力画像の被写体に照射可能な範囲の中央の位置の所望の光源の位置としての入力を受け付ける。そして、入力部４２は、入力画像の被写体に照射可能な範囲の中央の位置を光源の位置として表す光源位置情報を決定部２４に供給する。その結果、入力画像の被写体に照射可能な範囲の中央の位置から光が照射された仮想撮影画像が表示部４１に表示される。
【００３０】
ユーザの所望の光源の位置が入力画像の被写体に照射可能な最も右側の位置である場合、図２Ｃに示すように、ユーザは、表示部４１に表示中の仮想撮影画像６１の最も右側の位置を指でタップする。これにより、入力部４２は、入力画像の被写体に照射可能な最も右側の位置の所望の光源の位置としての入力を受け付ける。そして、入力部４２は、入力画像の被写体に照射可能な最も右側の位置を光源の位置として表す光源位置情報を決定部２４に供給する。その結果、入力画像の被写体に照射可能な最も右側の位置から光が照射された仮想撮影画像が表示部４１に表示される。
【００３１】
以上のように、ユーザは、所望の光源の位置に対応する仮想撮影画像６１内の位置を指でタップすることにより、所望の光源の位置を入力する。これにより、ユーザは、表示部４１に表示される仮想撮影画像の光源の位置を制御することができる。即ち、仮想撮影画像のライティング方向を制御することができる。
【００３２】
（領域の例）
図３は、図１の領域平均部２２により分割される領域の例を示す図である。
【００３３】
図３に示すように、領域平均部２２は、例えば、入力画像８０を５×３の領域８１に分割する。このように、領域平均部２２は、入力画像８０を比較的大きなサイズの領域８１に分割するので、領域平均値は、被写体に固有の明るさを表さず、空間場の明るさを表す。従って、領域平均値から全体平均値を減算した値が、撮影時の相対的な環境光の輝度に相当する。
【００３４】
（仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分の予測の説明）
図４は、図１の予測部２５による仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分の予測を説明する図である。
【００３５】
なお、図４において、横軸は、水平方向に並ぶ領域８１の水平方向の位置の座標であり、縦軸は、その領域８１の領域平均値および全体平均値を表す。ここでは、領域８１の水平方向の位置の座標は、左側ほど小さいものとする。
【００３６】
入力画像の水平方向に並ぶ領域８１の領域平均値が、図４の太い実線で示されるように、左側の領域８１ほど大きくなるように大きい傾きで変化する場合、入力画像の光源の位置は、被写体に照射可能な最も左側の位置であると推測される。従って、光源位置情報が表す位置が入力画像の被写体に照射可能な範囲の中央の位置である場合、空間場の明るさが均一になるように、決定部２４は、ゲインを−１に決定する。
【００３７】
即ち、ゲインが−１である場合、各領域８１の仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分の予測値は、その領域８１の入力画像の環境光の輝度となる。従って、図４の太い点線で示すように、各領域８１の仮想撮影画像の環境光の輝度は、細い実線で示す入力画像の全体平均値となる。その結果、仮想撮影画像の空間場の明るさは均一になる。よって、決定部２４は、光源位置情報が表す位置が入力画像の被写体に照射可能な範囲の中央の位置である場合、ゲインを−１に決定する。
【００３８】
一方、光源位置情報が表す位置が画像の被写体に照射可能な最も右側の位置である場合、決定部２４は、右側の空間場ほど明るくなるように大きい傾きで変化するように、ゲインを−２に決定する。即ち、ゲインが−２である場合、図４の太い一点鎖線で示すように、各領域８１の仮想撮影画像の環境光の輝度は、太い実線で示す入力画像の環境光の輝度を、細い実線で示す入力画像の全体平均値に対して反転させたものとなる。従って、仮想撮影画像の空間場の明るさは、右側の空間場ほど明るくなるように大きい傾きで変化する。よって、決定部２４は、光源位置情報が表す位置が画像の被写体に照射可能な最も右側の位置である場合、ゲインを−２に決定する。
【００３９】
以上のように、画像処理装置１０は、入力画像の光源の位置と光源位置情報が表す光源の位置とに基づいて、光源の位置の変化に対応して空間場の明るさが変化するように、仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分を予測する。
【００４０】
（領域群の例）
図５は、図１の決定部２４により領域平均値の平均値が算出される領域群の例を示す図である。
【００４１】
図５に示すように、決定部２４は、入力画像８０内の５×３の領域８１を垂直方向の位置が同一である領域８１ごとに、領域群１０１に分類する。従って、５×３の領域８１は、５個の１×３の領域８１からなる領域群１０１に分類される。
【００４２】
（ゲインの補正の説明）
図６は、図１の決定部２４によるゲインの補正を説明する図である。
【００４３】
決定部２４は、領域群１０１ごとに領域平均値の平均値を算出し、その平均値の隣接する領域群１０１どうしの差分を特徴量として算出する。そして、決定部２４は、領域群１０１の位置による特徴量の変化に基づいてゲインを補正する。
【００４４】
具体的には、図６に示すように、領域平均値の平均値が単調変化である場合、即ち、全ての領域群１０１の特徴量の符号(正負)が同一である場合、領域平均値が空間場を正しく表している可能性が高いため、決定部２４は、ゲインの補正量を１に決定する。また、領域平均値の平均値の変化が放物線を描く凹凸変化である場合、即ち、ある位置の領域群１０１より左側の領域群１０１と右側の領域群１０１の間で特徴量の符号が変化する場合、決定部２４は、ゲインの補正量を単調変化時に比べて小さい０．５に決定する。
【００４５】
さらに、領域平均値の平均値の変化が規則性のない複雑変化である場合、即ち、特徴量の符号が不規則に変化する場合、領域平均値が空間場を正しく表していない可能性が高いため、決定部２４は、ゲインの補正量を凹凸変化時に比べて小さい０にする。決定部２４は、以上のようにして設定された補正量をゲインに乗算することにより、ゲインを補正する。
【００４６】
なお、ゲインの補正量は、単調変化時、凹凸変化時、複雑変化時の順に大きい値であれば、図６の例に限定されない。
【００４７】
（仮想撮影画像の画素ごとの差分の生成の説明）
図７は、図１の変換部２６による仮想撮影画像の画素ごとの差分の生成を説明する図である。
【００４８】
図７に示すように、変換部２６は、仮想撮影画像の領域ごとの差分を、その領域の中心の画素１２１の差分とする。そして、変換部２６は、画素１２１間に位置する画素の差分を、その画素１２１の差分を用いて線形補間する。
【００４９】
なお、変換部２６による補間としては、線形補間のほか、多点補間や変極点の変化を滑らかにする補間などを採用することができる。
【００５０】
（仮想撮影画像の例）
図８は、図１の生成部２７により生成される仮想撮影画像の例を示す図である。
【００５１】
図８Ａに示すように、被写体に照射可能な最も左側の位置から光が照射された入力画像が仮想撮影画像１３１として表示されているとき、図２Ｂに示したように、ユーザが仮想撮影画像１３１の中央の位置を指でタップすると、図８Ｂに示すように、被写体に照射可能な範囲の中央の位置から光が照射された仮想撮影画像１３２が生成される。
【００５２】
一方、図２Ｃに示したように、ユーザが表示中の仮想撮影画像１３１の最も右側の位置を指でタップすると、図８Ｃに示すように、被写体に照射可能な最も右側の位置から光が照射された仮想撮影画像１３３が生成される。
【００５３】
（画像処理装置の処理の説明）
図９は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に入力画像が入力されたとき開始される。
【００５４】
図９のステップＳ１１において、画像処理装置１０の全体平均部２１は、全体平均値を算出し、算出部２３に供給する。
【００５５】
ステップＳ１２において、領域平均部２２は、入力画像を複数の領域に分割して領域平均値を算出し、算出部２３と決定部２４に供給する。
【００５６】
ステップＳ１３において、算出部２３は、領域ごとに、領域平均部２２から供給される領域平均値から、全体平均部２１から供給される全体平均値を減算し、その結果得られる差分を入力画像の環境光の輝度として求める。算出部２３は、算出された入力画像の領域ごとの環境光の輝度を予測部２５に供給する。
【００５７】
ステップＳ１４において、決定部２４は、ステップＳ２４において入力画像の表示部４１への表示が行われたかどうかを判定する。ステップＳ１４で入力画像の表示部４１への表示がまだ行われていないと判定された場合、即ち、画像処理においてまだ仮想撮影画像が生成されていない場合、処理はステップＳ１５に進む。
【００５８】
ステップＳ１５において、決定部２４は、ゲインを０に決定し、処理をステップＳ２１に進める。
【００５９】
一方、ステップＳ１４で入力画像の表示部４１への表示が既に行われたと判定された場合、即ち、画像処理において既に仮想撮影画像が生成された場合、処理はステップＳ１６に進む。
【００６０】
ステップＳ１６において、入力部４２は、ユーザによりタップ操作が行われたかどうかを判定する。ステップＳ１６でユーザによりタップ操作が行われていないと判定された場合、タップ操作が行われるまで、入力部４２は待機する。
【００６１】
一方、ステップＳ１６でユーザによりタップ操作が行われたと判定された場合、入力部４２は、ユーザのタップ操作による所望の光源の位置の入力を受け付け、受け付けられた光源の位置を表す光源位置情報を決定部２４に供給する。
【００６２】
そして、ステップＳ１７において、決定部２４は、タッチパネル１２から光源位置情報を取得する。ステップＳ１８において、決定部２４は、光源位置情報と領域平均値に基づいて、算出部２３により算出された環境光の輝度に乗算するゲインを決定する。
【００６３】
ステップＳ１９において、決定部２４は、領域平均部２２から供給される領域平均値に基づいて、領域群の領域平均値の平均値を算出する。ステップＳ２０において、決定部２４は、領域群の領域平均値の平均値に基づいてゲインを補正する。決定部２４は、補正後のゲインを予測部２５に供給し、処理をステップＳ２１に進める。
【００６４】
ステップＳ２１において、予測部２５は、決定部２４から供給されるゲインと、算出部２３から供給される入力画像の領域ごとの環境光の輝度とを乗算することにより、領域ごとに、仮想撮影画像の環境光の輝度と入力画像の環境光の輝度の差分を予測する。予測部２５は、予測された領域ごとの差分を変換部２６に供給する。
【００６５】
ステップＳ２２において、変換部２６は、予測部２５から供給される領域ごとの差分を線形補間することにより、画素ごとの差分を生成し、生成部２７に供給する。
【００６６】
ステップＳ２３において、生成部２７は、変換部２６から供給される画素ごとの差分と入力画像とに基づいて、仮想撮影画像を生成する。生成部２７は、生成された仮想撮影画像をタッチパネル１２に供給する。
【００６７】
ステップＳ２４において、タッチパネル１２の表示部４１は、生成部２７から供給される仮想撮影画像を表示する。なお、ゲインが０である場合、仮想撮影画像は入力画像そのものとなるため、最初のステップＳ２４では、表示部４１は、入力画像である仮想撮影画像を表示する。
【００６８】
ステップＳ２５において、画像処理装置１０は、画像処理を終了するかどうかを判定する。画像処理装置１０は、例えば、ユーザがタッチパネル１２に対して所定の操作を行い、画像処理の終了指示を入力する場合、ステップＳ２５において画像処理を終了すると判定する。一方、ユーザが画像処理の終了指示を入力しない場合、画像処理装置１０は、ステップＳ２５において画像処理を終了しないと判定する。
【００６９】
ステップＳ２５で画像処理を終了しないと判定された場合、処理はステップＳ１６に戻り、画像処理を終了すると判定されるまで、ステップＳ１６乃至Ｓ２５の処理が行われる。一方、ステップＳ２５で画像処理を終了すると判定された場合、処理は終了する。
【００７０】
以上のように、画像処理装置１０は、全体平均値と領域平均値に基づいて領域ごとに入力画像の環境光の輝度を算出し、その輝度と入力画像に基づいて仮想撮影画像を生成する。従って、少ない処理量で入力画像のライティングを制御することができる。その結果、例えば、逆光などで撮影された暗くて視認性の悪い撮影画像の光源の位置を、撮影後に容易に変更し、視認性を向上させることができる。
【００７１】
なお、上述した説明では、光源の位置を変更する場合について説明したが、ゲインを１より大きい値にすることにより光源の輝度を増加させたり、ゲインを０以上１未満の値にすることにより光源の輝度を減少させたりすることもできる。
【００７２】
また、図１の画像処理装置１０は、表示部４１と入力部４２が一体化されたタッチパネル１２を備えたが、表示部と入力部を別々に備えるようにしてもよい。例えば、画像処理装置１０は、ディスプレイなどを表示部として備え、キーボード、マウス、マイクロホンなどを入力部として備えるようにしてもよい。
【００７３】
入力部４２の代わりにマウスが用いられる場合には、ユーザは、マウスで表示部に表示された仮想撮影画像の所望の位置をクリックすることにより、所望の光源の位置を入力することができる。また、入力部４２の代わりにキーボードが用いられる場合には、ユーザは、所望の光源の位置の座標や所望の光源の位置の座標を指定するコマンドを入力することができる。
【００７４】
また、ゲインは、画像単位ではなく、領域単位で決められるようにしてもよい。
【００７５】
＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、少なくとも一部をLSI（Large Scale Integration）などのハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の全ての処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７６】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００７７】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００７８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【００７９】
入力部２０６は、キーボード、マウス、マイクロホン、タッチパネルの入力部などよりなる。出力部２０７は、ディスプレイ、スピーカ、タッチパネルの表示部などよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【００８０】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【００８１】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００８２】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００８３】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８４】
＜第３実施の形態＞
（テレビジョン装置の構成例）
図１１は、本開示を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【００８５】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【００８６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【００８７】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【００８８】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【００８９】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【００９０】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【００９１】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【００９２】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【００９３】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【００９４】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【００９５】
このように構成されたテレビジョン装置では、映像信号処理部９０５に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、少ない処理量で画像のライティングを制御することができる。
【００９６】
＜第４実施の形態＞
（携帯電話機の構成例）
図１２は、本開示を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【００９７】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【００９８】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【００９９】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０１００】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０１０１】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカード等のリムーバブルメディアである。
【０１０２】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０１０３】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０１０４】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、少ない処理量で画像のライティングを制御することができる。
【０１０５】
＜第５実施の形態＞
（記録再生装置の構成例）
図１３は、本開示を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０１０６】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０１０７】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０１０８】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０１０９】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０１１０】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０１１１】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０１１２】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０１１３】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０１１４】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０１１５】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０１１６】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０１１７】
このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、少ない処理量で画像のライティングを制御することができる。
【０１１８】
＜第６実施の形態＞
（撮像装置の構成例）
図１４は、本開示を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０１１９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０１２０】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０１２１】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０１２２】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０１２３】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０１２４】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０１２５】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。
【０１２６】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０１２７】
制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０１２８】
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、少ない処理量で画像のライティングを制御することができる。
【０１２９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１３０】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３１】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３４】
なお、本開示は、以下のような構成もとることができる。
【０１３５】
（１）
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出部と、
前記算出部により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成部と
を備える画像処理装置。
（２）
前記算出部は、前記領域ごとに、その領域の前記領域平均値と前記全体平均値との差分を前記画像の環境光の輝度として算出する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記所定の位置と前記領域平均値とに基づいて、前記算出部により算出された前記画像の前記領域ごとの環境光の輝度に乗算するゲインを決定する決定部と、
前記決定部により決定された前記ゲインと、前記算出部により算出された前記画像の前記領域ごとの環境光の輝度とを乗算することにより、前記領域ごとに、前記仮想撮影画像の環境光の輝度と前記画像の環境光の輝度の差分を予測する予測部と
をさらに備え、
前記生成部は、前記予測部により予測された前記差分と前記画像に基づいて前記仮想撮影画像を生成する
ように構成された
前記（１）または（２）に記載の画像処理装置。
（４）
前記決定部は、隣接する複数の前記領域からなる領域群の前記領域平均値の平均値に基づいて前記ゲインを補正し、
前記予測部は、前記決定部により補正された前記ゲインと前記画像の前記領域ごとの環境光の輝度とを乗算することにより、前記領域ごとに前記差分を予測する
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記予測部により予測された前記領域ごとの前記差分を線形補間することにより、画素ごとの前記差分を生成する変換部
をさらに備え、
前記生成部は、前記変換部により生成された前記画素ごとの差分と前記画像とに基づいて、前記仮想撮影画像を生成する
前記（３）または（４）に記載の画像処理装置。
（６）
ユーザによる前記所定の位置の入力を受け付ける入力部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
画像処理装置が、
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出ステップと、
前記算出ステップの処理により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成ステップと
を含む画像処理方法。
（８）
コンピュータを、
被写体の画像を構成する全ての画素の輝度の平均値である全体平均値と、前記画像を分割した領域ごとの前記画素の輝度の平均値である領域平均値とに基づいて、前記領域ごとに前記画像の環境光の輝度を算出する算出部と、
前記算出部により算出された前記画像の前記領域ごとの環境光の輝度と、前記画像とに基づいて、所定の位置から前記被写体に光が照射されたときの前記被写体の画像である仮想撮影画像を生成する生成部と
して機能させるためのプログラム。
【符号の説明】
【０１３６】
１０  画像処理装置，  ２３  算出部，  ２４  決定部，  ２５  予測部，  ２６  変換部，  ２７  生成部，  ４２  入力部
【図１】
2015184952.tif 000003
【図２】
2015184952.tif 000004
【図３】
2015184952.tif 000005
【図４】
2015184952.tif 000006
【図５】
2015184952.tif 000007
【図６】
2015184952.tif 000008
【図７】
2015184952.tif 000009
【図８】
2015184952.tif 000010
【図９】
2015184952.tif 000011
【図１０】
2015184952.tif 000012
【図１１】
2015184952.tif 000013
【図１２】
2015184952.tif 000014
【図１３】
2015184952.tif 000015
【図１４】
2015184952.tif 000016