(57)【要約】      （修正有）【課題】観察光源下で被写体に生じる陰影が再現された、高精細な撮影画像を取得する画像処理装置を提供する。【解決手段】同一の被写体について、第一の照明条件の下で撮影した第一の画像データ１００１と、該第一の照明条件よりも光量の小さな第二の照明条件の下で撮影した第二の画像データ１００２との明度の差分値を算出する差分値算出手段１０１３と、少なくとも第二の画像データから被写体の形状情報を算出する形状情報算出手段１０１５と、被写体の形状情報に応じて、差分値を用いて、第一の画像データの各画素の明度を補正する明度補正手段１０１４と、を有する。【選択図】図１
2019153173.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体について、第一の照明条件の下で撮影した第一の画像データと、該第一の照明条件よりも光量の小さな第二の照明条件の下で撮影した第二の画像データの明度の差分値を算出する差分値算出手段と、
前記第一の画像データと前記第二の画像データとのうちの少なくとも前記第二の画像データから前記被写体の形状情報を算出する形状情報算出手段と、
前記被写体の形状情報に応じて、前記差分値を用いて、前記第一の画像データの各画素の明度を補正する明度補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記被写体の形状情報は、当該被写体の表面凹凸の法線である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記明度補正手段は、前記法線が前記第二の照明条件の光の照射方向を向いているかを画素毎に判定し、判定結果が前記光の照射方向を向いていない場合、前記第一の画像データの各画素の明度を減少するように補正することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記明度補正手段は、前記判定結果が前記光の照射方向を向いている場合、前記第一の画像データの各画素の明度を増加するように補正することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記明度補正手段は、観察環境に前記被写体が配置される場合の、該観察環境の光源から該被写体へ照射する光の照射方向を取得し、
取得した前記光の照射方向と前記法線のなす角度を算出し、
算出した前記角度にも応じて、前記第一の画像データの各画素の明度を補正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記明度補正手段は、前記角度が小さいほど、前記第一の画像データの各画素の明度を減少するように補正することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記明度補正手段は、前記角度が大きいほど、前記第一の画像データの各画素の明度を増加するように補正することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
差分値算出手段により、同一の被写体について、第一の照明条件の下で撮影した第一の画像データと、該第一の照明条件よりも光量の小さな第二の照明条件の下で撮影した第二の画像データの明度の差分値を算出する差分値算出ステップと、
形状情報算出手段により、前記第一の画像データと前記第二の画像データとのうちの少なくとも前記第二の画像データから前記被写体の形状情報を算出する形状情報算出ステップと、
明度補正手段により、前記被写体の形状情報に応じて、前記差分値を用いて、前記第一の画像データの各画素の明度を補正する明度補正ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１から７の何れか一項に記載の画像処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影画像を補正する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
被写体を撮影する際に光源の光量が不十分である場合、ノイズ、及びボケによって画質が劣化し、高精細な画像を取得することは難しい。高精細な画像を取得するためには、例えば被写体の周囲にエレクトロニックフラッシュ（以下、フラッシュ）を複数配置して十分な光量を確保したうえで撮影すると良い。しかし、フラッシュ等の複数の光源を発光させて撮影を行うと、被写体の陰影が消失してしまうことがある。被写体の陰影が消失してしまうと、被写体の立体感が損なわれた平坦な画像しか得られない場合がある。このため、例えば文化財の複製プリントを作成する場合、フラッシュ光源で撮影された平坦な画像を基に出力を行うと、実際の環境光（例えば天井に固定された蛍光灯）の下で観察される原作の陰影を再現できないという課題がある。
【０００３】
この課題に対し、特許文献１では、フラッシュを点灯させて撮影した第１の画像とフラッシュを点灯せずに撮影した第２の画像の全画素の平均明度の比について算出した明度補正パラメータを用いて第１の画像の画素毎の明度を補正している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４３０４１号公報
【非特許文献】
【０００５】
【非特許文献１】Ｒｕｏ  Ｚｈａｎｇ  ｅｔ．ａｌ、”Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ：  Ａ  Ｓｕｒｖｅｙ”、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．２１，  ＮＯ．８，  ＡＵＧＵＳＴ  １９９９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、全画素の平均明度を用いて明度補正パラメータを算出することから、第２の画像にて平均明度と画素の明度で差が大きいと、この第２の画像の画素に対応する第１の画像の画素の明度を適切に補正できない場合があった。第２の画像にて平均明度を算出する範囲を全画素より減らすことが考えられるが、平均明度の算出範囲によっては陰影のコントラストの強弱が強調されすぎて不自然な画像となってしまう場合があった。
【０００７】
そこで本発明は、観察光源下で被写体に生じる陰影が再現された、高精細な撮影画像を取得することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理装置は、同一の被写体について、第一の照明条件の下で撮影した第一の画像データと、該第一の照明条件よりも光量の小さな第二の照明条件の下で撮影した第二の画像データの明度の差分値を算出する差分値算出手段と、前記第一の画像データと前記第二の画像データとのうちの少なくとも前記第二の画像データから前記被写体の形状情報を算出する形状情報算出手段と、前記被写体の形状情報に応じて、前記差分値を用いて、前記第一の画像データの各画素の明度を補正する明度補正手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、観察光源下で被写体に生じる陰影が再現された、高精細な撮影画像を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置による処理の概要を示す図。
【図２】画像処理装置の機能構成の一例を示す図。
【図３】本実施形態の画像処理を示すフローチャート。
【図４】ＵＩ部が表示するユーザインタフェースの一例を示す図。
【図５】実施形態１の明度補正処理を示すフローチャート。
【図６】実施形態２の明度補正処理を示すフローチャート。
【図７】撮影光源画像および観察光源画像の撮影方法を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
＜実施形態１＞
●明度補正処理の概要
本実施形態を説明するにあたり、まず代表的な適用先である文化財複製の事例を説明する。図１は、本実施形態の画像処理装置を文化財や絵画などの原作（以下、原作）の複製に適用した際の処理の概要を示す図である。画像処理装置１０１は、フラッシュを点灯させて原作を撮影した撮影光源画像１００１に対し明度補正処理を施すことで、複製品を実際に観察する光源下で原作を撮影した観察光源画像と同様の陰影を再現した明度補正画像１００３に変換する装置である。変換された明度補正画像１００３に対してプリントの出力特性に基づいた色補正処理１０１６を施すことで、色補正画像１００４に変換する。変換された色補正画像１００４をプリンタ出力処理１０１７することで複製品１００５を作成する。この複製品１００５には、ノイズおよびボケの少ない高精細な画像、かつ、原作が置かれている観察光源の下で原作と同じ陰影を再現することが要求されるため、撮影光源画像１００１に対して明度補正処理を行う必要がある。
【００１２】
本実施形態では、該明度補正処理を以下のように実施する。まず、フラッシュ１０１１を点灯させて原作を撮影した撮影光源画像１００１と、フラッシュを点灯させずに観察光源１０１２の下で原作を撮影した観察光源画像１００２の明度の差分値を差分値処理１０１３により画素毎に算出する。さらに、撮影光源画像１００１及び観察光源画像１００２、もしくは観察光源画像１００２単体の画像データから、各画素について原作の表面凹凸を表す形状情報として法線方向を形状情報（法線）算出処理１０１５により算出する。そして、撮影光源画像１００１及び観察光源画像１００２の明度の差分値と法線方向のデータを用いて、撮影光源画像１００１に対して明度補正処理１０１４を実施する。この明度補正処理１０１４により、撮影光源画像１００１は観察光源１０１２の下の原作と同じ陰影を再現した明度補正画像１００３に変換される。
【００１３】
以下、本実施形態について詳細に説明する。
●機能構成
図２は本実施形態における画像処理装置１０１の機能構成の一例を示す図である。画像処理装置１０１の各機能は、それぞれＲＯＭに格納されたプログラムがＲＡＭに展開され、ＣＰＵによって実行される。
【００１４】
画像処理装置１０１は、画像取得部１０３、形状情報算出部１０４、差分値算出部１０５、明度補正部１０６、ＵＩ部１０７、バッファメモリ１０８を有する。画像取得部１０３は、画像データ保持部１０２と接続している。
【００１５】
画像データ保持部１０２はカメラで撮影された画像データを保持する。画像取得部１０３は、画像データ保持部１０２から画像データを取得する。形状情報算出部１０４は画像取得部１０３で取得した画像データから形状情報を算出する。差分値算出部１０５は画像取得部１０３で取得した画像データを用いて画像データ間の差分値を算出する。明度補正部１０６は画像データの明度を補正する。ＵＩ部１０７は、ユーザが画像処理装置１０１に対して処理の指示を行うためのユーザインタフェース（以下、ＵＩ）を表示する。バッファメモリ１０８は、画像データ、および演算処理における演算結果などのデータを一時的に保存する。
なお、本実施形態における画像処理装置のハードウェア構成は、コンピュータなどの公知の技術によって構成可能であるため、ハードウェアの詳細な説明は省略する。
【００１６】
●画像処理概要
図３は画像処理装置１０１にて実行される画像処理のフローチャートである。図３のフローチャートで示される一連の処理は、ＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し実行することにより行われる。なお、画像データである撮影光源画像及び観察光源画像は画像データ保持部１０２に保持されている。観察光源画像の撮影条件（照明条件以外の条件（カメラの焦点位置、画角の大きさなど））は、撮影光源画像の撮影条件と同じであることが好ましい。原作（被写体）は原作表面（被写体面）が上下方向に沿うように縦壁に掛けられているものとする。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。
【００１７】
まずＳ１において、ＵＩ部１０７は、画像処理に必要な情報をユーザに入力してもらうためのＵＩを表示する。ＵＩ部１０７は、ＵＩへのユーザの入力を受け付ける。
【００１８】
図４は、ＵＩ部１０７に表示されるＵＩの一例を示す図である。ＵＩ４０１は、指示入力部４０１１、指示入力部４０１２、指示入力部４０１３、補正処理実行ボタン４０１４を有する。指示入力部４０１１は、フラッシュを点灯させて被写体（原作）を撮影した撮影光源画像を取得するよう、画像取得部１０３に指示するための指示入力部である。指示入力部４０１２は、フラッシュを点灯させず観察光源の下で被写体（原作）を撮影した観察光源画像を取得するよう、画像取得部１０３に指示するための指示入力部である。指示入力部４０１３は、撮影光源画像の明るさを補正する明度（陰影）補正処理が施された明度（陰影）補正画像の保存先および保存ファイル名を決定するよう、明度補正部１０６に指示するための指示入力部である。補正処理実行ボタン４０１４は、指示入力部４０１２に入力された観察光源画像などに基づき、指示入力部４０１１に入力された、被写体の撮影光源画像に対して明度補正処理を実行するよう、明度補正部１０６に指示するための明度補正処理実行ボタンである。すなわち、ＵＩ４０１の各指示入力部やボタンは、各指示入力部への入力やボタン操作が受け付けられると、該入力やボタン操作に応じて、所定の処理の実行を画像処理装置１０１の機能部に対し指示するように構成されている。なお、各指示入力部への入力やボタン操作が行われた場合の処理の詳細は後述する。
【００１９】
図３に戻る。Ｓ２において、ＵＩ４０１の指示入力部４０１１に画像ファイル名が入力されて受け付けられると、ＵＩ部１０７の指示により画像取得部１０３は、ＵＩ部１０７で受け付けられた画像ファイル名に基づき、画像データ保持部１０２から撮影画像を取得する。Ｓ２で取得する撮影画像は、フラッシュ等を点灯させた撮影用の光源による照明下で被写体が撮影された撮影光源画像である。この撮影光源画像は図７（ａ）に示すように、被写体（原作）１０２１の周囲に配置された複数（図示例では４つ）のフラッシュ１０１１により、十分な光量を確保した状態の照明下で被写体１０２１が撮影された画像である。すなわち、撮影光源画像１００１は、フラッシュ１０１１を点灯させる第一の照明条件で撮影された画像（第一の撮影画像データ）である。なお、第一の照明条件は、詳細につき後述する第二の照明条件よりも大きな光量が得られればよく、第二の照明条件に、さらにフラッシュ１０１１の点灯を加えて第一の照明条件としてもよい。つまり、図７（ａ）に示す第一の照明条件での撮影には、観察光源１０１２があってもよいし、なくても構わない。画像取得部１０３により取得された撮影光源画像（画像データ）は、バッファメモリ１０８の所定領域に格納される。
【００２０】
Ｓ３において、ＵＩ４０１の指示入力部４０１２に画像ファイル名が入力されて受け付けられると、ＵＩ部１０７の指示により画像取得部１０３は、ＵＩ部１０７で受け付けられた画像ファイル名に基づき、画像データ保持部１０２から撮影画像を取得する。Ｓ３で取得する撮影画像は、フラッシュ等の撮影用の光源を点灯させずに、実際に被写体を観察する環境光を生成する観察光源による照明下で被写体が撮影された観察光源画像である。実際に被写体を観察する環境光を生成する観察光源として、フラッシュ等の撮影用の光源を点灯させずに天井や壁などの所定の位置に固定された蛍光灯やスポットライト等の固定照明装置を用いることが可能である。この観察光源画像は図７（ｂ）に示すように、カメラ１０１８との位置関係も撮影光源画像の撮影時と同様とし、光源を観察光源１０１２のみとし、十分な光量を確保できない状態の照明下で図７（ａ）と同一の被写体１０２１が撮影された画像である。すなわち、観察光源画像１００２は、観察光源１０１２による第二の照明条件で撮影された画像（第二の撮影画像データ）である。なお、画像取得部１０３により取得された観察光源画像（画像データ）は、バッファメモリ１０８の所定領域に格納される。
【００２１】
Ｓ４において、形状情報算出部１０４は、Ｓ２及びＳ３で取得した撮影光源画像及び観察光源画像の画像データ、またはＳ３で取得した観察光源画像単体の画像データから被写体の表面凹凸を表す形状情報として法線方向を算出する。なお、形状情報算出部１０４による法線方向の算出処理は、第一及び第二の撮影画像データ（撮影光源画像及び観察光源画像）を取得した状態で、補正処理実行ボタン４０１４が押されることで実行される。法線方向は、全ての画素のそれぞれについて算出される。本実施形態では、法線方向の算出方法として隣接画素間の輝度の変化から法線を算出するシェイプフロムシェーディング（shape from shading）の手法を観察光源下での陰影（明度）情報が含まれる観察光源画像に対して適用する。シェイプフロムシェーディングは様々な手法が提案されており、上記非特許文献１に記載の公知技術を適用する。
【００２２】
また、本実施形態では、形状情報の算出方法として、撮影光源と観察光源の２光源のそれぞれで撮影した画像を用いる手法を例に説明した。形状情報の算出方法として、撮影光源の数量を増やしつつその都度被写体を撮影して複数の画像を取得し、取得した複数の画像から画像間の輝度の変化に基づいて法線を算出する照度差ステレオの手法を適用することも可能である。なお、形状情報算出部１０４により算出した形状情報（法線方向）は、バッファメモリ１０８の所定領域に格納される。形状情報として、本実施形態では法線を例に説明したが、撮影画像の画素（座標位置）に対応付けられた凹凸情報を示すベクトル情報を用いることも可能である。
【００２３】
Ｓ５において、差分値算出部１０５は、取得した画像データから撮影光源画像と観察光源画像との間の明度の差分値を算出する。なお、差分値算出部１０５による明度の差分値の算出処理は、第一及び第二の撮影画像データ（撮影光源画像及び観察光源画像）を取得した状態で、補正処理実行ボタン４０１４が押されることで実行される。本実施形態では、形状情報算出部１０４による法線方向の算出処理を行った後に、差分値算出部１０５による明度の差分値の算出処理が実行される。差分値算出部１０５による明度の差分値の算出処理は、形状情報算出部１０４による法線方向の算出処理と同時に実行することも可能である。また、差分値算出部１０５による明度の差分値の算出処理は、形状情報算出部１０４による法線方向の算出処理を行う前に実行することも可能である。本実施形態では、画像データのＲＧＢ画素値をＡｄｏｂｅ（登録商標）ＲＧＢやｓＲＧＢなどの変換式でＸＹＺ値に変換後、ＣＩＥ１９７６均等色空間式でＸＹＺ値をＬａｂ値に変換し、当該Ｌ値（輝度成分）の差分値を画素毎に算出する。例えば、下式（１）に示される、ｓＲＧＢによるＸＹＺ値への変換式により、ＲＧＢ値をＸＹＺ値に変換する。下式（２）に示される変換式により、変換されたＸＹＺ値をＬａｂ値に変換する。下式（３）に示される算出式により、観察光源画像のＬ値と撮影光源画像のＬ値からこの差分値Ｌｄ（ｘ、ｙ）を算出する。なお、差分値算出部１０５により算出した差分値Ｌｄ（ｘ、ｙ）は、バッファメモリ１０８の所定領域に格納される。
【００２４】
【数１】
2019153173.tif 000003
【００２５】
ここで、Ｘ、Ｙ、ＺはＸＹＺ表色系の三刺激値Ｘ、Ｙ、Ｚの値である。
【００２６】
【数２】
2019153173.tif 000004
【００２７】
ここで、X、Y、ZはXYZ表色系の三刺激値X、Y、Zの値、
Xw、Yw、Zwは白色点のX、Y、Zの値、
D65の場合はXw=95.05、Yw=100.0、Zw=108.91である。
【００２８】
【数３】
2019153173.tif 000005
【００２９】
ここで、Ld(x, y)は撮影光源画像及び観察光源画像の座標(x, y)におけるL値の差、
Lf(x, y)は観察光源画像の座標(x, y)におけるL値、
Ls(x, y)は撮影光源画像の座標(x, y)におけるL値である。
【００３０】
Ｓ６において、明度補正部１０６は、Ｓ４及びＳ５で算出したデータ（法線方向及び明度の差分値）を用いて撮影光源画像に対して明度補正処理を実行する。明度補正部１０６の処理の詳細は後述する。なお、明度補正処理が施された撮影光源画像は、指示入力部４０１３への入力操作により、保存先および保存ファイル名が決定されて画像データ保持部１０２に保持される。
【００３１】
●明度補正処理（Ｓ６）詳細
以下、上記Ｓ６において明度補正部１０６が実行する明度補正処理の詳細について、図５のフローチャートを用いて詳細に説明する。
【００３２】
まず、Ｓ６１において、明度補正部１０６は、Ｓ２で、ＵＩ４０１の指示入力部４０１１に入力されて受け付けられた撮影光源画像１００１を、バッファメモリ１０８から取得する。
【００３３】
Ｓ６２において、明度補正部１０６は、Ｓ６１で取得した撮影光源画像から１画素分の画素値を取得する。すなわち、明度補正部１０６は、撮影光源画像１００１に含まれる全ての画素から注目画素を決定し、決定した注目画素の画素値を取得する。
【００３４】
Ｓ６３において、明度補正部１０６は、Ｓ４で算出した法線方向からＳ６２で取得した画素値の座標に対応する法線方向を取得する。すなわち、明度補正部１０６は、Ｓ６２で決定した注目画素に対応する法線方向を取得する。
【００３５】
Ｓ６４において、明度補正部１０６は、Ｓ６３で取得した法線方向が照明方向を向いているかどうかを判定する。すなわち、注目画素について、法線方向が、観察光源である照明装置による光の照射方向（光の照明方向）に対してどのような向きとなっているかを判定する。本実施形態では、被写体よりも上方側で、該被写体に対して４５度の角度で観察光源の光が照射する、一般的な光の照射方向であるとする。なお、観察光源から被写体への光の照射方向は、被写体に対して上方側の４５度に限定されず、他の角度もとりえる。また、光の照射方向を公知技術により取得しておき、取得した光の照射方向に基づいて、Ｓ６３で取得した法線方向を判定すること可能である。被写体面に対して垂直方向を０度、被写体面上側をプラス方向とし、被写体面下側をマイナス方向とする。Ｓ６４で得られた判定結果に応じて次のステップへ進むことになる。具体的には、法線方向がプラス方向であると判定された場合は、注目画素の被写体面が光の照射方向を向いているが、光の照射方向と直交しない角度に位置付けられおり、Ｓ６５へと進む。法線方向がマイナス方向である場合は、注目画素の被写体面が光の照射方向を向かず、Ｓ６６へと進む。法線方向が０であると判定された場合は、注目画素の被写体面が光の照射方向を向き、光の照射方向と直交する角度に位置付けられており、Ｓ６７へと進む。
【００３６】
Ｓ６５において、明度補正部１０６は、取得した画素の明度をＳ５で算出した差分値に基づいて明度を増加するように下式（４）を用いて補正する。すなわち、Ｓ６２で決定した注目画素に関し、撮影光源画像のＬ値に、撮影光源画像及び観察光源画像のＬ値の差分値に形状係数（重みづけ）Ｗ１を乗算した数値を加算することによって、明度を算出する。
【００３７】
【数４】
2019153173.tif 000006
【００３８】
ここで、Lout(x, y)は変換後の座標(x, y)におけるL値、
Ls(x, y)は撮影光源画像の座標(x, y)におけるL値、
Ld(x, y)は撮影光源画像及び観察光源画像の座標(x, y)におけるL値の差、
W1は、座標(x, y)における法線ベクトルに応じた重みづけを示す形状係数である。
【００３９】
Ｓ６６において、明度補正部１０６は、取得した画素の明度をＳ５で算出した差分値に基づいて明度を減少するように下式（５）を用いて補正する。すなわち、Ｓ６２で決定した注目画素に関し、撮影光源画像のＬ値から、撮影光源画像及び観察光源画像のＬ値の差分値に形状係数（重みづけ）Ｗ１を乗算した数値を減算することによって、明度を算出する。
【００４０】
【数５】
2019153173.tif 000007
【００４１】
Ｓ６７において、明度補正部１０６は、全ての画素について補正処理を実行したかどうかを判定する。全ての画素について補正処理を実行していないと判定された場合は、未処理の画素があることから、Ｓ６２に戻り、Ｓ６２からＳ６６の処理が行われる。全ての画素について補正処理を実行したと判定された場合は、未処理の画素がないことから、明度補正処理を終える。
【００４２】
以上説明したように本実施形態によれば、観察する照明下で原作に生じる陰影が再現された、高精細な撮影画像を取得することが可能となる。
【００４３】
＜実施形態２＞
実施形態１では、撮影光源画像の明度補正処理を実行する際に、観察光源画像を参照し、観察光源下で生じる陰影を再現するように明度を補正する方法について説明した。実施形態２では、撮影光源画像の明度補正処理を実行する際に、陰影を再現する照明対象を撮影時の観察光源に限定せず、別の照明光源下で観察したときに生じる陰影を再現する処理方法ついて説明する。
【００４４】
なお、実施形態１との違いはＳ６で説明した明度補正部１０６の処理の違いであるため、Ｓ６の代わりにＳ７として明度補正部２０６の処理を新たに説明し、実施形態１と同様のその他の処理については説明を省略する。
【００４５】
●明度補正処理（Ｓ７）詳細
以下、Ｓ７において明度補正部２０６で行われる明度補正処理の詳細について、図６のフローチャートを用いて詳細に説明する。詳細につき後述する所定の閾値として９０度の場合について説明する。
【００４６】
まずＳ７１において、明度補正部２０６は、Ｓ２で、ＵＩ４０１の指示入力部４０１１に入力されて受け付けられた撮影光源画像１００１を、バッファメモリ１０８から取得する。
【００４７】
Ｓ７２において、明度補正部２０６は、Ｓ７１で取得した撮影光源画像から１画素分の画素値を取得する。すなわち、明度補正部２０６は、撮影光源画像に含まれる全ての画素から注目画素を決定し、決定した注目画素の画素値を取得する。
【００４８】
Ｓ７３において、明度補正部２０６は、Ｓ４で算出した法線方向からＳ７２で取得した画素値の座標に対応する法線方向を取得する。すなわち、明度補正部２０６は、Ｓ７２で決定した注目画素に対応する法線方向を取得する。
【００４９】
Ｓ７４において、明度補正部２０６は、Ｓ７２で取得した画素値の座標に対応する光源からの光の入射方向を取得する。光源からの光の入射方向は、魚眼レンズを用いた全方位画像から推定する手法や、形状が既知である物体を撮影し正反射と影を利用することにより推定する手法や、ユーザに照明の位置情報を直接入力させる手法など、公知技術により取得する。
【００５０】
Ｓ７５において、明度補正部２０６は、Ｓ７３で取得した法線方向とＳ７４で取得した光源からの光の入射方向のなす角度を算出する。
【００５１】
Ｓ７６において、明度補正部２０６は、Ｓ７５で算出した角度と所定の閾値との関係を判定する。すなわち、注目画素について、法線方向が、観察光源である照明装置による光の照射方向（光の照明方向）に対してどのような向きとなっているかを判定する。Ｓ７６で得られた判定結果に応じて次のステップへ進むことになる。具体的には、Ｓ７５で算出した角度が所定の閾値よりも大きいと判定された場合は、注目画素の被写体面が光の照射方向を向いているが、光の照射方向と直交しない角度に位置付けられおり、Ｓ７７へと進む。Ｓ７５で算出した角度が所定の閾値よりも小さいと判定された場合は、注目画素の被写体面が光の照射方向を向かず、Ｓ７８へと進む。Ｓ７５で算出した角度が所定の閾値と同じであると判定された場合は、注目画素の被写体面が光の照射方向を向き、光の照射方向と直交する角度に位置付けられており、Ｓ７９へと進む。
【００５２】
Ｓ７７において、明度補正部２０６は、取得した画素の明度をＳ５で算出した差分値に基づいて明度を増加するように下式（６）を用いて補正する。すなわち、Ｓ７２で決定した注目画素に関し、撮影光源画像のＬ値に、撮影光源画像及び観察光源画像のＬ値の差分値に形状係数（重みづけ）Ｗ１と光源係数（重みづけ）Ｗ２を乗算した数値を加算することによって、明度を算出する。
【００５３】
【数６】
2019153173.tif 000008
【００５４】
ここで、Lout(x, y)は変換後の座標(x, y)におけるL値、
Ls(x, y)は撮影光源画像の座標(x, y)におけるL値、
Ld(x, y)は撮影光源画像及び観察光源画像の座標(x, y)におけるL値の差、
W1は、座標(x, y)における法線ベクトルに応じた重みづけを示す形状係数、
W2は、座標(x, y)における光源ベクトルに応じた重みづけを示す光源係数である。
【００５５】
Ｓ７８において、明度補正部２０６は、取得した画素の明度をＳ５で算出した差分値に基づいて明度を減少するように下式（７）を用いて補正する。すなわち、Ｓ７２で決定した注目画素に関し、撮影光源画像のＬ値から、撮影光源画像及び観察光源画像のＬ値の差分値に形状係数（重みづけ）Ｗ１と光源係数（重みづけ）Ｗ２を乗算した数値を減算することによって、明度を算出する。
【００５６】
【数７】
2019153173.tif 000009
【００５７】
Ｓ７９において、明度補正部２０６は、全ての画素について補正処理を実行したかどうかを判定する。全ての画素について補正処理を実行していないと判定された場合は、未処理の画素があることから、Ｓ７２に戻り、Ｓ７２からＳ７８の処理が行われる。全ての画素について補正処理を実行したと判定された場合は、未処理の画素がないことから、明度補正処理を終える。
【００５８】
以上説明したように本実施形態によれば、ユーザが設定した観察環境下において原作に生じる陰影が再現された、高精細な撮影画像を取得することが可能となる。
【００５９】
［変形例］
以下に本実施形態の変形例について説明する。
上述の実施形態１では、法線方向が０であると判定されると明度を補正しない明度補正処理について説明した。法線方向が０であると判定された場合に、Ｓ６５またはＳ６６へ進む明度補正処理とすることも可能である。
【００６０】
実施形態１では、法線方向がプラスであると判定されると明度を増加させる補正を行う明度補正処理について説明した。法線方向がプラスであると判定された場合に、Ｓ６７へ進む明度補正処理とすることも可能である。
【００６１】
実施形態１では、被写体（原作）が壁に掛けられている場合の明度補正処理について説明した。被写体（原作）が、原作表面（被写体面）が左右方向に沿うように該被写体台に載せられている場合の明度補正処理とすることも可能である。
【００６２】
上述の実施形態２では、所定の閾値として９０度である場合について説明した。所定の閾値として他の角度を用いることも可能である。
【００６３】
上述の実施形態２では、Ｓ７５で算出した角度が所定の閾値と同じであると判定されると明度を補正しない明度補正処理について説明した。Ｓ７５で算出した角度が所定の閾値と同じであると判定された場合に、Ｓ７７またはＳ７８へ進む明度補正処理とすることも可能である。
【００６４】
上述の実施形態２では、Ｓ７５で算出した角度が所定の閾値より大きいと判定されると明度を増加させる補正を行う明度補正処理について説明した。Ｓ７５で算出した角度が所定の閾値より大きいと判定された場合に、Ｓ７９へ進む明度補正処理とすることも可能である。
【００６５】
上述の実施形態２では、Ｓ７５で算出した角度が所定の閾値より大きいと明度を増加させ、所定の閾値より小さいと明度を減少させる明度補正処理について説明した。Ｓ７５で算出した角度が所定の閾値より大きく、該角度が大きいほど明度を増加させ、Ｓ７５で算出した角度が所定の閾値より小さく、該角度が小さいほど明度を減少させるように補正する明度補正処理とすることも可能である。
【００６６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019153173.tif 000010
【図２】
2019153173.tif 000011
【図３】
2019153173.tif 000012
【図４】
2019153173.tif 000013
【図５】
2019153173.tif 000014
【図６】
2019153173.tif 000015
【図７】
2019153173.tif 000016