(57)【要約】【課題】物体の色や大局的な形状だけでなく反射特性も加味した見え方を再現する３次元形状を、短時間で導出すること。【解決手段】本発明は、物体に光を投影する投影手段と、該物体を撮影する撮影手段とを有する該物体の３次元形状を導出する装置であって、前記投影手段と前記撮影手段と前記物体との間で三角測量を行うことで、前記物体の大局的な３次元形状を導出する第１の形状導出手段と、前記撮影手段が前記物体を撮影することで得る撮影画像に基づき、各画素の輝度が鏡面反射光成分のみから成る鏡面反射光画像を作成する作成手段と、前記鏡面反射光画像における輝度分布の特徴を表す統計量に基づき、前記物体の微細表面形状を導出する第２の形状導出手段と、前記大局的な３次元形状と前記微細表面形状とを合成する合成手段とを有することを特徴とする装置である。【選択図】図２
2019066424.tif 000002
【特許請求の範囲】
【請求項１】
物体に光を投影する投影手段と、該物体を撮影する撮影手段とを有する該物体の３次元形状を導出する装置であって、
前記投影手段と前記撮影手段と前記物体との間で三角測量を行うことで、前記物体の大局的な３次元形状を導出する第１の形状導出手段と、
前記撮影手段が前記物体を撮影することで得る撮影画像に基づき、各画素の輝度が鏡面反射光成分のみから成る鏡面反射光画像を作成する作成手段と、
前記鏡面反射光画像における輝度分布の特徴を表す統計量に基づき、前記物体の微細表面形状を導出する第２の形状導出手段と、
前記大局的な３次元形状と前記微細表面形状とを合成する合成手段と
を有することを特徴とする装置。
【請求項２】
前記第１の形状導出手段の分解能と、前記鏡面反射光画像における画素サイズとに基づき、前記統計量を算出する算出手段を更に有することを特徴とする請求項１に記載の装置。
【請求項３】
前記算出手段は、着目画素を中心とする所定サイズの領域内に含まれる近傍画素群の画素値の確率に基づき前記統計量を算出し、
前記所定サイズは、前記分解能と前記画素サイズとに応じて決まることを特徴とする請求項２に記載の装置。
【請求項４】
前記鏡面反射光画像における所定の閾値以上の輝度を有する画素に対応する、前記物体の位置に対して、前記投影手段及び前記撮影手段との間で三角測量を行うことで得る３次元位置を用いて、前記物体の表面の法線方向を算出し、前記鏡面反射光画像における所定の閾値未満の輝度を有する画素に対応する、前記物体の位置に対して、前記統計量に基づき前記法線方向を算出する、算出手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の装置。
【請求項５】
前記法線方向に基づき、前記微細表面形状の高さを算出する算出手段を更に有することを特徴とする請求項４に記載の装置。
【請求項６】
前記撮影手段の前面には、第１の直線偏光子が備え付けられており、
前記投影手段の前面には、前記第１の直線偏光子と直交する第２の直線偏光子、及び、該第１の直線偏光子と平行な第３の直線偏光子が備え付けられており、
前記第２の直線偏光子と前記第３の直線偏光子との何れかを、前記投影手段の前面で切り替えて使用することができることを特徴とする請求項１乃至５の何れか１項に記載の装置。
【請求項７】
前記統計量は、エントロピーと、歪度と、最大最小差との何れかであることを特徴とする請求項１乃至６の何れか１項に記載の装置。
【請求項８】
物体に光を投影する投影手段と、該物体を撮影する撮影手段とを有する装置によって実行される、該物体の３次元形状を導出する方法であって、
前記投影手段と前記撮影手段と前記物体との間で三角測量を行うことで、前記物体の大局的な３次元形状を導出するステップと、
前記撮影手段が前記物体を撮影することで得る撮影画像に基づき、各画素の輝度が鏡面反射光成分のみから成る鏡面反射光画像を作成するステップと、
前記鏡面反射光画像における輝度分布の特徴を表す統計量に基づき、前記物体の微細表面形状を導出するステップと、
前記大局的な３次元形状と前記微細表面形状とを合成するステップと
を有することを特徴とする方法。
【請求項９】
コンピュータに請求項８に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の反射特性に依る見え方を再現するための技術に関する。
【背景技術】
【０００２】
近年、実在する任意の物体について、その物体の色や大局的な形状だけでなく微細な表面形状に依る反射特性も加味した見え方を再現した画面表示を行ったり、そのような見え方を再現した複製物を作成したりするニーズが強くなっている。物体の反射特性はその物体が有する微細な表面形状に応じて決まるため、色や大局的な形状だけでなく反射特性も加味した見え方を再現するためには、微細な表面形状や粗さ分布を得ることが必要となってくる。
【０００３】
従来、物体の色や３次元形状を計測する技術としては、光切断法、又は、所定のパターンを物体に投影する空間コード法若しくは位相シフト法を用いて、プロジェクタおよびカメラとの間で三角測量を行う手法が知られている。または、色模様などから特徴点を抽出した上で、複数の撮影位置からの特徴点方向から三角測量を行う手法が知られている。
【０００４】
しかし上述の手法では、投影パターンの周波数上限や特徴点の密度の低さなどが原因で、カメラの撮影画像の解像度程度の分解能で３次元形状を計測することができないという問題がある。そこで、非特許文献１では、光源方向を変化させて撮影を行うフォトメトリックステレオ法を用いて、３次元形状を推定している。フォトメトリックステレオ法により、カメラの撮影画像の解像度に近い精度で法線分布を測定できるので、この法線分布と三角測量により計測した大局的な３次元形状とに基づいて、３次元形状を高分解能に推定できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Diego Nehab, Efficiently Combining Positions and Normals for Precise 3D Geometry, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2005 TOG Homepage Volume 24 Issue 3, July 2005 Pages 536-543
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に記載の手法では、光源方向を変化させて複数回撮影しなければならないため、計測時間が長くなってしまうという課題がある。
【０００７】
そこで本発明は、上記の課題に鑑み、物体の色や大局的な形状だけでなく反射特性も加味した見え方を再現する３次元形状を、短時間で導出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、物体に光を投影する投影手段と、該物体を撮影する撮影手段とを有する該物体の３次元形状を導出する装置であって、前記投影手段と前記撮影手段と前記物体との間で三角測量を行うことで、前記物体の大局的な３次元形状を導出する第１の形状導出手段と、前記撮影手段が前記物体を撮影することで得る撮影画像に基づき、各画素の輝度が鏡面反射光成分のみから成る鏡面反射光画像を作成する作成手段と、前記鏡面反射光画像における輝度分布の特徴を表す統計量に基づき、前記物体の微細表面形状を導出する第２の形状導出手段と、前記大局的な３次元形状と前記微細表面形状とを合成する合成手段とを有することを特徴とする装置である。
【発明の効果】
【０００９】
本発明により、物体の色や大局的な形状だけでなく反射特性も加味した見え方を再現する３次元形状を、短時間で導出することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施例１における３次元形状導出システムの構成を示す図
【図２】実施例１における３次元形状導出処理のフローチャート
【図３】実施例１で用いる３次元形状計測用パターン
【図４】実施例１で導出する３次元形状の説明図
【図５】実施例１における３次元形状導出処理の概要を示す図
【図６】実施例２における３次元形状の高周波成分の生成処理のフローチャート
【図７】実施例２で導出する３次元形状の説明図
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。また、同一の構成については、同じ符号を付して説明する。
【００１２】
［実施例１］
＜３次元形状導出システムの構成について＞
以下、本実施例における、物体の見え方を再現する３次元形状導出システムの構成について、図１を用いて説明する。図示するように、この３次元形状導出システムは、形状測定用パターン等の光を、形状を導出する対象である物体（以下、対象物とする。）１００に投影するプロジェクタ１１０と、プロジェクタ１１０による投光下で対象物１００を撮影するカメラ１２０と、を備える。プロジェクタ１１０は対象物１００に対して４５度傾いた方向に設置される一方、カメラ１２０は対象物１００に対して−４５度傾いた方向に設置される。プロジェクタ１１０及びカメラ１２０には不図示のチルトレンズが装着されており、対象物１００のほぼ全領域で焦点がおおよそ合うよう調整されている。ただし、物体表面の凹凸により、プロジェクタの投影パターンにボケが生じるため、このガウシアンビームの光学系におけるガウス分布の１／ｅ2径は１００μｍ程度である。以下、対象物１００が微細な凹凸形状を含む略平面形状を有しており、この略平面形状を導出する場合について説明する。
【００１３】
カメラ１２０のレンズ前面には直線偏光子１２１が備え付けられており、プロジェクタ１１０のレンズ前面には、直線偏光子１２１と直交する直線偏光子１１１、及び、直線偏光子１２１と平行な直線偏光子１１２が取り付けられている。直線偏光子１１１と直線偏光子１１２との何れかをカメラ１２０のレンズ前面で切り替えて使用することができる。
【００１４】
例えば、プロジェクタ１１０のレンズ前面で、直線偏光子１１１ではなく直線偏光子１１２を使用する場合について検討する。この場合、直線偏光子１１２とカメラ１２０のレンズ前面に備え付けられている直線偏光子１２１とは平行関係にある。従ってこの状態で、プロジェクタ１１０による投光、カメラ１２０による撮影を行った場合、カメラ１２０において鏡面反射光と拡散反射光とが検出される。この結果、各画素が以下の式（１）で表される輝度を有する光画像（ＩｍａｇｅＡとする。）が得られる。  
（２×鏡面反射光成分＋拡散反射光成分）／４・・・式（１）
【００１５】
続いて、プロジェクタ１１０のレンズ前面で、直線偏光子１１２ではなく直線偏光子１１１を使用する場合について検討する。この場合、直線偏光子１１１とカメラ１２０のレンズ前面に備え付けられている直線偏光子１２１とは直交関係にある。従ってこの状態で、プロジェクタ１１０による投光、カメラ１２０による撮影を行った場合、カメラ１２０において鏡面反射光は検出されず拡散反射光のみ検出される。この結果、各画素が以下の式（２）で表される輝度を有する光画像（ＩｍａｇｅＢとする。）が得られる。  
拡散反射光成分／４・・・式（２）
【００１６】
ＩｍａｇｅＡとＩｍａｇｅＢとを用いた線形演算を行うことで、各画素の輝度が鏡面反射光成分のみの画像（鏡面反射光画像とする。）、又は、該輝度が拡散反射光成分のみの画像（拡散反射光画像とする。）を作成することが可能である。
【００１７】
＜３次元形状導出処理について＞
以下、本実施例における３次元形状導出処理について、図２〜図５を用いて説明する。図２（ａ）は、３次元形状導出処理のフローチャートであり、３次元形状導出システムが備えるＣＰＵによってＲＯＭ等の記憶媒体に格納されたプログラムが展開され実行されることで、図２（ａ）の各ステップの処理が実行される。また、図４は、３次元形状導出処理で作成される画像例を示し、図５は、３次元形状導出処理の概要を説明するためのイメージ図である。
【００１８】
まず、ステップＳ２１０において、プロジェクタ１１０により、３次元形状計測用パターンを対象物１００に投影し、カメラ１２０で対象物１００を撮影することで、ステップＳ２２０の三角測量で用いるための撮影画像を取得する。本ステップでは、３次元形状計測用パターンとして、図３（ａ）〜（ｃ）に示すような位相シフト用パターンである３種類の正弦波パターンと、図３（ｄ）〜（ｈ）に示すような位相接続用パターンである５種類のグレイコードパターンとを用いる。具体的には、直線偏光子１２１と直交関係にある直線偏光子１１１がプロジェクタ１１０のレンズ前面に配された状態（この状態では、対象物１００からの鏡面反射光が除去される。）で３種類の正弦波パターンの夫々が投影された対象物１００を撮影する。これにより、３種類の正弦波パターンの夫々に対応する撮影画像が得られる。同様に、直線偏光子１１１がプロジェクタ１１０のレンズ前面に配された状態で５種類のグレイコードパターンの夫々が投影された対象物１００を撮影する。これにより、５種類のグレイコードパターンの夫々に対応する撮影画像が得られる。
【００１９】
ステップＳ２２０において、カメラ１２０で撮影した対象物１００表面の各位置に対して投影時の位相オフセットを決定し、プロジェクタ１１０及びカメラ１２０と、対象物１００との間で三角測量を行う。これにより、対象物１００のおおよその（大局的な）３次元形状を導出する。尚、本ステップにおける三角測量で用いる、対象物１００とプロジェクタ１１０とカメラ１２０との間の相対位置関係、並びに、プロジェクタ１１０の投影行列及びカメラ１２０の撮影行列は既知であるものとする。本ステップで行う三角測量は既存の手法であるから、詳細な説明は省略する。このように本ステップでは従来の三角測量を行うことで、対象物１００のおおよその３次元形状を導出しているが、本ステップの分解能は、物体表面方向に対しておよそ１００μｍであり、後続のステップＳ２５０で実行する３次元形状導出処理の分解能より低い。従って、本ステップにおける３次元形状導出処理を、３次元形状の低周波成分の生成処理と呼ぶ。図４（ｂ）に、本ステップで導出したおおよその３次元形状を表す画像（３次元形状画像とする。）の一例を示す。図示するように、高さの値をグレイスケールで表現することで、高低差を認識することが可能である。また図５の符号５０１は、本ステップで導出したおおよその３次元形状の一例を表す俯瞰図である。
【００２０】
ステップＳ２３０において、プロジェクタ１１０により、全面投光となるような白パターンを対象物１００に投影し、カメラ１２０で対象物を２回撮影する。具体的には、直線偏光子１２１と直交関係にある直線偏光子１１１がプロジェクタ１１０のレンズ前面に配された状態で白パターンを対象物１００に投影し撮影することで、光画像ＩｍａｇｅＢを取得する。また、直線偏光子１２１と平行関係にある直線偏光子１１２がプロジェクタ１１０のレンズ前面に配された状態で白パターンを対象物１００に投影し撮影することで、光画像ＩｍａｇｅＡを取得する。
【００２１】
ステップＳ２４０において、ステップＳ２３０で取得した光画像ＩｍａｇｅＡ及び光画像ＩｍａｇｅＢを用いて、各画素の輝度が鏡面反射光成分のみの画像、即ち鏡面反射光画像を作成する。本ステップで作成する鏡面反射光画像の画素サイズは、カメラ１２０で撮影した光画像ＩｍａｇｅＡや光画像ＩｍａｇｅＢの画素サイズと等しく、ステップＳ２１０で導出される大局的な３次元形状を表す画像の画素サイズより小さい。具体的に本例では、画素サイズが２０μｍの鏡面反射光画像が作成されるものとする。図４（ａ）に、本ステップで作成する鏡面反射光画像の一例を示す。
【００２２】
ステップ２５０において、ステップＳ２４０で作成した鏡面反射光画像を用いて、３次元形状の高周波成分を生成する。本ステップにより、対象物１００の微細表面形状を導出することができる。尚、本ステップの詳細は、図２（ｂ）を用いて後述する。
【００２３】
ステップＳ２６０において、ステップＳ２５０で生成した３次元形状の高周波成分を、ステップＳ２２０で生成した３次元形状の低周波成分に合成する。具体的には、ステップＳ２２０で算出される大局的な３次元形状の高さに、ステップＳ２５０で算出される微細表面形状の高さを、スケールファクターｓを乗じた上で加算する。この加算処理は、微細表面形状の高さを算出可能な画素単位（本例では画素サイズ２０μｍの画素単位）で実行される。本ステップにより、最終的な３次元形状が導出される。図４（ｅ）に、本ステップで導出される３次元形状を表す３次元形状画像の一例を示す。また図５の符号５０５は、本ステップで導出される３次元形状の一例を表す俯瞰図である。以上が、本実施例における３次元形状導出処理の内容である。
【００２４】
＜３次元形状の高周波成分の生成処理（微細表面形状の導出処理）について＞
以下、本実施例における３次元形状の高周波成分の生成処理（図２（ａ）のステップＳ２５０）について、図２（ｂ）を用いて説明する。ステップＳ２５２において、ステップＳ２４０で作成した鏡面反射光画像の各画素について、対象物１００表面の法線分布の特徴を表す統計量に対応する、鏡面反射光画像の輝度分布の特徴を表す統計量として、エントロピーを算出する。詳細に説明すると、本ステップでは、鏡面反射光画像の画素値のヒストグラムをとり、その頻度分布を合計が１となるように正規化した上で、頻度分布における各画素値ｉの確率ｐiを用いて、以下の式（３）に従い各画素のエントロピーＨを算出する。
【００２５】
【数１】
2019066424.tif 000003
【００２６】
式（３）に示すように、任意の画素に対して統計量としてのエントロピーを算出する際、処理対象の画素（着目画素とする。）を中心とする所定サイズの領域内に含まれる近傍画素群を用いる。この領域のサイズは、ステップＳ２２０における大局的な３次元形状導出における分解能と、ステップＳ２５０で作成する鏡面反射光画像における画素サイズとに基づいて、具体的には、分解能の値を画素サイズの値で除算することで、予め決められる。本例の場合、上述の通り、大局的な３次元形状導出の分解能は１００μｍ、鏡面反射光画像における画素サイズは２０μｍであり、除算結果は１００μｍ／２０μｍ＝５である。従って、近傍画素群を規定する所定サイズの領域は、５ｐｉｘ×５ｐｉｘの矩形領域となる。図５の符号５０２は、本ステップで導出されるエントロピー情報の一例を示す図である。
【００２７】
ステップＳ２５４において、ステップＳ２５２で算出した各画素のエントロピー値を量子化する。本ステップで量子化されたエントロピーをＥとする。尚、本例では、量子化後の値が０−２５５の何れか１値となるような量子化（１６ビット量子化）を行うものとする。図４（ｃ）に、各画素がエントロピーＥを画素値として有する画像（エントロピー画像とする。）の一例を示す。図４（ｃ）において、白い箇所はエントロピーの値が２５５であり、黒い箇所はエントロピーの値が０である。
【００２８】
ステップＳ２５６において、ステップＳ２５４で導出したエントロピーＥに基づき、対象物１００の微細表面形状を導出する。詳細に説明すると、上記エントロピー画像（本例では画素サイズは２０μｍ）の各画素について、以下の式（４）に従い微細表面形状の高さｈを算出する。  
ｈFP＝ＥFPＳｉｎ（２π×ＸFP［μｍ］）／１００）＋ＥFPＳｉｎ（２π×ＹFP［μｍ］）／１００）・・・式（４）
式（４）において、ｈFPは着目画素における微細表面形状の高さ、ＥFPは着目画素におけるエントロピー、ＸFPは着目画素のＸ方向における位置、ＹFPは着目画素のＹ方向における位置を表す。尚、座標の原点はどこにとっても構わないが、ここではエントロピー画像の中心を原点にとるものとする。図４（ｄ）に、各画素が高さｈを画素値として有する画像の一例を示す。また図５の符号５０３は、本ステップで導出される微細表面形状の一例を表す俯瞰図である。符号５０４の拡大図に示すように、式（４）に従い細かい画素単位で高さを設定していくことは、低エントロピー領域については凹凸が小さい形状を配する一方、高エントロピー領域については凹凸が大きい形状を配することと同義である。凹凸が小さい形状が配される低エントロピー領域では、鏡面反射光成分が狭い範囲に分布する一方、凹凸が大きい形状が配される高エントロピー領域では、鏡面反射光成分が広い範囲に分布することとなる。尚、本例では、数式（４）を用いて、エントロピーから微細表面形状の高さを算出したが、数式の代わりに、エントロピーと微細表面形状の高さとの対応関係を保持するテーブルを用いて、該高さを導出しても良い。以上が、本実施例における３次元形状の高周波成分の生成処理の内容である。
【００２９】
＜本実施例の変形例など＞
以上説明したように、本実施例では、従来の三角測量を行って物体の大局的な３次元形状を計測する。そして、その計測における分解能に基づき、物体の鏡面反射光画像の各画素に対するエントロピーを算出する。そして、そのエントロピーに基づき、各画素に対する高さを算出することで、物体の微細表面形状を導出する。そして最後に、大局的な３次元形状と微細表面形状とを合成する。本実施例では、光源方向を変化させることなく、鏡面反射光画像を用いて物体の微細表面形状を導出するため、物体の見え方を再現する３次元形状を、短時間に導出することが可能である。
【００３０】
尚、上述の例では、対象物に光を投影するプロジェクタと、対象物を撮影するカメラとをシステムが備える構成を示したが、対象物に光を投影する投影手段と、対象物を撮影する撮影手段とを１つの装置が備える構成に対しても本実施例を適用できる。また、上述の例では、鏡面反射光画像の輝度分布の特徴を表す統計量としてエントロピーを用いたが、用いる統計量はエントロピーに限定されない。エントロピーに代えて、歪度、画素値のうちの最大値と最小値との差（最大最小差）、又は、標準偏差などを用いても良い。さらに、ステップＳ２２０における、おおよその３次元形状を導出する手法として三角測量法を用いたが、用いる手法は三角測量法に限定されない。三角測量法に代えて、光学的なＤＯＦ（Ｄｅｐｔｈ  Ｏｆ  Ｆｌｉｇｈｔ）法などの他の手法を用いても良い。
【００３１】
［実施例２］
本実施例では、物体の微細表面形状を導出する際に、鏡面反射光画像から物体表面の法線方向を推定できる点に対しては、その法線方向をそのまま用いる。一方、鏡面反射光画像から法線方向を推定できない点に対しては、上述の大局的な３次元形状導出における分解能に基づき算出される鏡面反射光画像の輝度分布を表す統計量を用いて、法線方向を求める。これにより、物体の微細表面形状に依る反射特性も加味した物体の見え方を、実施例１より忠実に再現することを可能としている。
【００３２】
以下、実施例１と異なる、３次元形状の高周波成分の生成処理（図２（ａ）のステップＳ２５０）について、図６を用いて説明する。尚、実施例１と同様の内容の説明は省略する。
【００３３】
＜３次元形状の高周波成分の生成処理（微細表面形状の導出処理）について＞
ステップＳ６００において、対象物１００の微細表面形状の高さを、撮影画像の画素単位で保持する高さバッファを初期化し、全ての画素に対して初期値０を設定する。
【００３４】
ステップＳ６０１において、対象物１００の表面の傾き、具体的には、ｘ軸に対する傾きとｙ軸に対する傾きとを、撮影画像の画素単位で保持する法線バッファを初期化し、全ての画素に対して初期値（０，０）を設定する。
【００３５】
ステップＳ６０２において、未処理の１画素に着目する（着目画素の選択）。
【００３６】
ステップＳ６０３において、鏡面反射光画像における着目画素に対する輝度が、所定の閾値以上であるか判定する。これにより、着目画素に対応する対象物１００の位置において、所定量以上の鏡面反射光の強度が得られるか分かる。本ステップの判定結果が真の場合、ステップＳ６０４に進む一方、該判定結果が偽の場合、ステップＳ６０５に進む。
【００３７】
鏡面反射光画像における着目画素に対する輝度が、所定の閾値以上の場合（ステップＳ６０３でＹＥＳの場合）について説明する。この場合、ステップＳ６０４において、プロジェクタおよびカメラとの間で三角測量を行うことで得られる３次元位置を用いて、着目画素に対応する対象物１００の位置における法線方向を求める。そして、この法線方向に基づき、ｘ方向に対する傾きとｙ方向に対する傾きとを算出し、法線バッファに格納する。図７（ｅ）は、本ステップで取得される法線情報の例を示す図であり、黒い部分が本ステップで法線方向が判明する部分を示し、白い部分が本ステップで法線方向が判明しない部分を示している。本ステップの後、ステップＳ６０８に進む。
【００３８】
続けて、鏡面反射光画像における着目画素に対する輝度が、所定の閾値未満の場合（ステップＳ６０３でＮＯの場合）について説明する。この場合、ステップＳ６０５において、実施例１と同様に、鏡面反射光画像を用いて式（３）に従い、着目画素のエントロピーを算出する。図７（ｂ）に、本実施例における鏡面反射光画像の一例を示し、図７（ｄ）に、エントロピー画像の一例を示す。
【００３９】
ステップＳ６０６において、ステップＳ６０５で算出したエントロピー値を量子化する。本実施例でも実施例１と同様に、量子化後の値が０−２５５の何れか１値となるような量子化（１６ビット量子化）を行う。本ステップで量子化されたエントロピーをＥ’とする。
【００４０】
ステップＳ６０７において、ゼロを中心とする（−ｓＥ’, −ｓＥ’）〜（ｓＥ’, ｓＥ’）の範囲内に分布する２次元乱数を生成し、着目画素に対するｘ方向に対する傾き、ｙ方向に対する傾きとして、法線バッファに格納する。図７（ｆ）は、本ステップで取得される法線情報の例を示す図であり、ｘ方向に対する傾きとｙ方向に対する傾きとを足した値をグレイスケールで表現している。
【００４１】
ステップＳ６０４又はステップＳ６０７で、着目画素に対するｘ方向身対する傾きとｙ方向に対する傾きとを算出した後、ステップＳ６０８において、未処理の画素があるか判定する。ステップＳ６０８の判定結果が真の場合、ステップＳ６０２に戻る一方、該判定結果が偽の場合、ステップＳ６０９に進む。
【００４２】
ステップＳ６０９及びＳ６１０で、各画素に対する微細表面形状の高さを算出する。まず、ステップＳ６０９において、ｘ方向に対する傾きのみを考慮した微細表面形状の高さを算出する。詳細に説明すると、対象画素が含まれる行の先頭（本例では左端）の画素に対する微細表面形状の高さを０とし、該行の先頭画素から該対象画素までの、該行に含まれる画素のｘ方向に対する傾きを積分することで、各画素に対する微細表面形状の高さを算出する。本ステップで算出された値は、高さバッファに上書き保存される。
【００４３】
次いで、ステップＳ６１０において、ｙ方向に対する傾きも考慮して微細表面形状の高さを算出する。詳細に説明すると、対象画素が含まれる列の先頭（本例では上端）の画素から該対象画素までの、該列に含まれる画素のｙ方向に対する傾きを積分する。そして、この積分によって得られた値を、ステップＳ６０９で上書き保存された値に加算する。本ステップにより、ｘ方向に対する傾きとｙ方向に対する傾きとを考慮した微細表面形状の高さが算出される。本ステップで算出された値は、高さバッファに上書き保存される。
【００４４】
ステップＳ６１１において、高さバッファに格納されているデータに、三角測量法を用いた大局的な３次元形状導出における分解能に対応した周波数を閾値とするハイパスフィルタを適用する。以上が、本実施例における３次元形状の高周波成分の生成処理の内容である。図７（ｇ）に、大局的な３次元形状に、本実施例における３次元形状の高周波成分生成処理で導出される微細表面形状を合成した３次元形状画像の一例を示す。
【００４５】
本実施例により、色や大局的な形状だけでなく微細表面形状に依る反射特性も加味した物体の見え方を、実施例１より忠実に再現することが可能である。
【００４６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
１００  対象物
１１０  プロジェクタ
１２０  カメラ
【図１】
2019066424.tif 000004
【図２】
2019066424.tif 000005
【図３】
2019066424.tif 000006
【図４】
2019066424.tif 000007
【図５】
2019066424.tif 000008
【図６】
2019066424.tif 000009
【図７】
2019066424.tif 000010