(57)【要約】【課題】  実際の物体の形状に対して再現度が高い形状を得るための画像処理を提供することを目的とする。【解決手段】  物体における拡散反射光を利用した三角測量により得られた、前記物体の形状を表す第１形状データを取得する第１取得手段と、前記物体の表面において反射した光を利用した演算により得られた、前記物体の表面に対する法線を表す第１法線データを取得する第２取得手段と、前記第１形状データが表す形状と、前記第１法線データが表す法線と、に対して周波数分解を行うことによって、前記形状の周波数成分と前記法線の周波数成分とを算出する第１算出手段と、前記形状の周波数成分と前記法線の周波数成分とに基づいて、前記第１形状データが表す形状よりも凹凸の振幅が大きい前記物体の形状を表す第２形状データを生成する第１生成手段と、を有することを特徴とする画像処理装置。【選択図】  図６
2019109798.tif 000002
【特許請求の範囲】
【請求項１】
物体における拡散反射光を利用した三角測量により得られた、前記物体の形状を表す第１形状データを取得する第１取得手段と、
前記物体の表面において反射した光を利用した演算により得られた、前記物体の表面に対する法線を表す第１法線データを取得する第２取得手段と、
前記第１形状データが表す形状と、前記第１法線データが表す法線と、に対して周波数分解を行うことによって、前記形状の周波数成分と前記法線の周波数成分とを算出する第１算出手段と、
前記形状の周波数成分と前記法線の周波数成分とに基づいて、前記第１形状データが表す形状よりも凹凸の振幅が大きい前記物体の形状を表す第２形状データを生成する第１生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１形状データは前記物体の表面における高さの分布を表すデータであり、前記第１法線データは前記物体の表面に対する法線の分布を表すデータであって、
前記第１形状データに基づいて、前記物体の表面に対する法線の分布を表す第２法線データを生成する第２生成手段をさらに有し、
前記第１算出手段は、さらに、前記第２法線データが表す法線に対して周波数分解を行うことによって、前記第２法線データが表す法線の周波数成分を算出し、
前記第１法線データが表す法線の周波数成分と、前記第２法線データが表す法線の周波数成分と、の周波数ごとの比を算出する第２算出手段をさらに有し、
前記第１生成手段は、前記形状の周波数成分と前記周波数ごとに比とに基づいて、前記第２形状データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１生成手段は、前記形状の周波数成分を前記周波数ごとの比を用いて補正することによって、前記第２形状データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１生成手段は、前記形状の周波数成分に前記周波数ごとの比を乗算することによって前記形状の周波数成分を補正し、前記補正された形状の周波数成分に対して前記周波数分解と逆の処理を行うことによって得られた形状を表す前記第２形状データを生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記周波数分解は、フーリエ変換であることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記周波数分解と逆の処理は、逆フーリエ変換であることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記第２生成手段は、前記第１形状データが表す高さを微分することによって算出される法線の分布を表す前記第２法線データを生成することを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１形状データは、互いに異なる複数のパターンが投影された物体を撮像することによって得られた画像に基づいて生成されたデータであることを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第１法線データは、前記物体の表面において光源からの光が反射した位置から、前記光源の位置への方向を表す第１ベクトルと、前記光が反射した位置から反射光を撮像する位置への方向を表す第２ベクトルと、を用いた演算によって得られた前記物体の表面に対する法線を表すデータであることを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第１法線データが表す法線の信頼度を算出する第３算出手段をさらに有し、
前記第１生成手段は、前記信頼度にさらに基づいて、前記第２形状データを生成することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記第３算出手段は、前記法線データが表す法線に含まれるノイズの評価を行うことによって、前記信頼度を算出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第３算出手段は、前記法線データが表す法線の分布から法線の空間的な変化の低周波成分を取り除くことによって得られた法線の分布の分散を算出することによって、前記ノイズの評価を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第３算出手段は、前記分散を表す値の逆数を前記信頼度として算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１生成手段は、前記形状の周波数成分と前記法線の周波数成分とに基づいた形状の補正における重みを算出し、前記重みに基づいて、前記第２形状データを生成することを特徴とする請求項１０乃至請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
物体の素材の特徴を表す情報を取得する第３取得手段をさらに有し、
前記第１生成手段は、前記情報にさらに基づいて、前記第２形状データを生成することを特徴とする請求項１乃至請求項１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記第１生成手段は、前記特徴が類似した領域ごとに、前記形状の周波数成分と前記法線の周波数成分とに基づいた形状の補正を行うことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記情報に基づいて、前記特徴が類似しているか否か応じた領域分割を行う分割手段をさらに有し、
前記第１生成手段は、前記領域分割の結果に基づいて、前記第２形状データを生成することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
コンピュータを請求項１乃至請求項１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１９】
物体における拡散反射光を利用した三角測量により得られた、前記物体の形状を表す第１形状データを取得する第１取得ステップと、
前記物体の表面において反射した光を利用した演算により得られた、前記物体の表面に対する法線を表す第１法線データを取得する第２取得ステップと、
前記第１形状データが表す形状と、前記第１法線データが表す法線と、に対して周波数分解を行うことによって、前記形状の周波数成分と前記法線の周波数成分とを算出する算出ステップと、
前記形状の周波数成分と前記法線の周波数成分とに基づいて、前記第１形状データが表す形状よりも凹凸の振幅が大きい前記物体の形状を表す第２形状データを生成する生成ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の形状を表すデータを生成するための画像処理技術に関する。
【背景技術】
【０００２】
周期的に輝度が変化する縞状のパターン光が照射された物体を撮像し、撮像によって得られた画像を用いた三角測量を行うことにより、物体の３次元形状を推定する技術が知られている。一方で、上述したパターン光を照射することによって物体の３次元形状を推定する方法においては、照射された光が物体の内部において散乱することにより、その内部散乱の影響が撮像画像においてボケとして現れる。このボケは、形状を推定する際の誤差の原因となる。そこで、特許文献１は、パターン光を用いた方法により推定された３次元形状を、物体の法線を表す情報を用いて補正することによって、表面に高周波な形状が付加された３次元形状を取得する方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１１−５２２３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する方法によって得られる形状は、物体の表面における高周波な形状が低解像度の３次元形状に付加された形状である。このため、実際の物体の形状に対して低周波な形状の再現度が高い形状を得ることができないという課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、実際の物体の形状に対して再現度が高い形状を得るための画像処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、物体における拡散反射光を利用した三角測量により得られた、前記物体の形状を表す第１形状データを取得する第１取得手段と、前記物体の表面において反射した光を利用した演算により得られた、前記物体の表面に対する法線を表す第１法線データを取得する第２取得手段と、前記第１形状データが表す形状と、前記第１法線データが表す法線と、に対して周波数分解を行うことによって、前記形状の周波数成分と前記法線の周波数成分とを算出する第１算出手段と、前記形状の周波数成分と前記法線の周波数成分とに基づいて、前記第１形状データが表す形状よりも凹凸の振幅が大きい前記物体の形状を表す第２形状データを生成する第１生成手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、実際の物体の形状に対して再現度が高い形状を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】物体において起こる光の反射を説明するための図
【図２】入射光が理想的な拡散反射を起こす場合の形状取得を説明するための図
【図３】入射光が実際の物体における拡散反射を起こす場合の形状取得を説明するための図
【図４】特許文献１が開示する方法による形状補正の例を示す図
【図５】画像処理装置のハードウェア構成を示すブロック図
【図６】画像処理装置の論理構成を示すブロック図
【図７】画像処理装置が実行する処理を示すフローチャート
【図８】ＵＩの一例を示す図
【図９】周波数強度比を算出する処理を示すフローチャート
【図１０】形状を補正する処理を示すフローチャート
【図１１】画像処理装置の論理構成を示すブロック図
【図１２】画像処理装置が実行する処理を示すフローチャート
【図１３】形状を補正する処理を示すフローチャート
【図１４】信頼度に応じた周波数強度比に対する重み付けの一例を示す図
【図１５】補正前の形状と補正後の形状とを比較するための図
【図１６】画像処理装置の論理構成を示すブロック図
【図１７】画像処理装置が実行する処理を示すフローチャート
【図１８】ＵＩの一例を示す図
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同一の符号を付して説明する。
【００１０】
［第１実施形態］
＜パターン光を用いた物体の形状取得における課題＞
パターン光を用いた物体の形状取得における課題を以下において説明する。パターン光を用いて物体の形状を取得する方法としては、公知の位相シフト法やステレオ位相シフト法がある。位相シフト法においては、明暗の縞パターンを位相をずらしながら対象物体に複数回投影し、縞パターンが投影された対象物体を撮像する。例えば、最初に投影した縞パターンに対して位相を２π／３、４π／３ずらしたパターンを投影し、対象物体を撮像することによって３種類の画像を取得する。このとき、撮像した各画像における同一画素位置の画素値（輝度）を用いて演算処理することにより各画素の位相が得られる。位相は投影装置（プロジェクタ）における投影角度に対応するため、投影装置と撮像装置との位置関係が既知であれば、三角測量の原理に基づいて対象物体の３次元形状が得られる。
【００１１】
図１に示すように、物体に照射された光は、物体の表面における鏡面反射の方向への反射（表面反射）と、物体の内部において乱反射した後に入射位置から出射する反射（拡散反射）と、を起こす。上述した３次元形状の取得方法においては、２種類の反射のうち、拡散反射光を参照することによって形状を取得する。理想的な拡散反射の場合、物体の内部において乱反射した光は入射位置から出射する。しかし、実際の物体においては、入射した光は物体の内部において乱反射し、入射位置とは別に入射位置とは異なる位置からも光が出射する。そのため、上述した方法における縞状のパターンは、入射位置とは異なる位置から出射する光により、得られた撮像画像においてボケてしまう。撮影画像における縞状パターンのボケは、３次元形状の取得において誤差の原因となる。
【００１２】
物体に入射した光が上述した理想的な拡散反射を起こす場合に、物体の形状の取得を行った例を図２に示す。物体の表面に凹凸がある場合の撮像画像における縞状パターンは、物体の表面が平滑である場合の撮像画像における縞状パターンからズレが生じる。このズレにより撮像画像の各画素に対応する位相が得られ、物体の形状を取得することができる。
【００１３】
物体に入射した光が上述した実際の物体における拡散反射を起こす場合に、物体の形状の取得を行った例を図３に示す。上述した物体の内部における光の乱反射により撮像画像における縞状パターンがボケてしまうため、撮像画像の各画素に対応する位相を得るためのズレを捉えにくくなってしまう。これにより、取得された形状は、実際の物体の形状に対して鋭さを失った平面に近い形状になってしまう。
【００１４】
一方で、上述した表面反射を利用して物体の表面の形状を取得する方法が知られている。この方法においては、鏡面反射の方向に光が反射されることを利用し、光源から照射される光の方向と撮像の方向とに基づいて、物体の表面に対する法線を推定する。表面反射は物体の内部における光の広がりの影響を受けないため、物体の表面の細かい傾きの変化を表す法線情報（法線マップ）を得ることができる。特許文献１においては、パターン光を用いて取得した形状を表面反射を利用して取得した法線情報を用いて補正することにより、パターン光を用いて取得した形状に高周波な形状が付加された形状を得る方法が開示されている。特許文献１が開示する方法により形状の補正を行った結果を図４に示す。補正後の形状は補正前の形状に対して高周波な形状が付加されたものであり、低周波な形状のつぶれに対する補正は行われていない。
【００１５】
これに対し、本実施形態においては、パターン光を用いて取得した形状に基づいて算出された法線情報と、表面反射を利用して取得した法線情報と、の周波数空間における周波数強度比を算出する。算出した周波数強度比を、周波数空間において、パターン光を用いて取得した形状に乗算することによって、表面反射を利用して得られた細かい傾きの変化を高周波な形状のみならず低周波な形状に反映した形状を得ることができる。
【００１６】
＜画像処理装置１のハードウェア構成＞
画像処理装置１のハードウェア構成例について説明する。図５は、本実施形態における画像処理装置の一例を示す図である。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、汎用Ｉ／Ｆ（インターフェース）１０４、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０５、ＶＣ（ビデオカード）１０６を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１７などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０７を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１７などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。汎用Ｉ／Ｆ１０４には、シリアルバス１２を介して、マウスやキーボードなどの入力デバイス１３やプリンタ１４が接続される。ＳＡＴＡＩ／Ｆ１０５には、シリアルバス１６を介して、ＨＤＤ１７や各種記録メディアの読み書きを行う汎用ドライブ１８が接続される。ＣＰＵ１０１は、ＨＤＤ１７や汎用ドライブ１８にマウントされた各種記録メディアを各種データの格納場所として使用する。ＶＣ１０６には、ディスプレイ１５が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１５に表示し、入力デバイス１３を介して得られたユーザの指示を表す入力情報を受信する。尚、画像処理装置１は、ディスプレイ１５やプリンタ１４に含まれていてもよい。
【００１７】
＜画像処理装置１の論理構成＞
次に、画像処理装置１の論理構成例を説明する。図６は、本実施形態における画像処理装置１の論理構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図６に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００１８】
画像処理装置１は、第１取得部６０１、第２取得部６０２、補正部６０３を有する。第１取得部６０１は、対象物体の形状を表す形状データＨを取得する。形状データＨが表す形状は、周期的に輝度が変化する縞状のパターンが投影された対象物体を撮像することによって画像を取得し、取得した画像を用いた三角測量を行うことによって得られる形状である。この撮像において、反射光は偏光等を用いて拡散反射光と表面反射光とに分離され、拡散反射光のみを用いた形状の取得が行われる。形状データＨは物体の表面における高さの２次元分布を表すデータであり、撮像画像における各画素に対して高さＨ（ｘ，ｙ）を保持している。第２取得部６０２は、対象物体の表面に対する法線を表す法線データＮＳを取得する。法線データＮＳが表す法線は、撮像の向きや照明の向きを変化させながら対象物体を撮像することによって得られた画像群に対して画像の位置合わせを行い、反射光が強く観測される場合の照明及び撮像の向きに基づいた演算によって得られる法線である。この撮像においても、反射光は偏光等を用いて拡散反射光と表面反射光とに分離され、表面反射光のみを用いた法線の取得が行われる。法線データＮＳは物体の表面に対する法線の２次元分布を表すデータであり、撮像画像における各画素に対して法線ベクトルＮＳ（ｘ，ｙ）を保持している。法線ベクトルＮＳ（ｘ，ｙ）は、ｘ成分、ｙ成分、ｚ成分を有する３次元ベクトルである。尚、高さＨ（ｘ，ｙ）と法線ベクトルＮＳ（ｘ，ｙ）とを取得するための撮像においては、同じ撮像システムを使用する必要はないが、物体に対して撮像画像の各画素が対応づいているものとする。補正部６０３は、第１算出部６０４、第２算出部６０５、生成部６０６を有する。第１算出部６０４は、高さＨ（ｘ，ｙ）に基づいて、法線ベクトルＮＨ（ｘ，ｙ）を算出する。法線ベクトルＮＨ（ｘ，ｙ）は、法線ベクトルＮＳ（ｘ，ｙ）と同様に、ｘ成分、ｙ成分、ｚ成分を有する３次元ベクトルである。第２算出部６０５は、法線ベクトルＮＳ（ｘ，ｙ）と法線ベクトルＮＨ（ｘ，ｙ）との周波数強度比Ｒ（ｕ，ｖ）を算出する。生成部６０６は、周波数強度比Ｒ（ｕ，ｖ）に基づいて高さＨ（ｘ，ｙ）を補正することによって、補正後の形状データ（以下、補正形状データと呼ぶ）を生成する。
【００１９】
＜画像処理装置１が実行する処理＞
図７は画像処理装置１が実行する処理のフローチャートである。以下、図７を用いて画像処理装置１が実行する処理の詳細を説明する。尚、下記の処理は、画像処理装置１が入力デバイス１３を介したユーザからの指示を受け付けることによって開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００２０】
Ｓ７１０において、第１取得部６０１及び第２取得部６０２は、ユーザからの指示に基づいて、データの格納先から形状データＨ及び法線データＮＳを取得する。図８はデータを取得するためのＵＩの一例である。形状データＨ及び法線データＮＳそれぞれに対し、ユーザによって指示されたデータの格納先を設定する。処理開始ボタンが押下されたことに応じて、格納先から形状データＨ及び法線データＮＳを取得し、以下の処理を開始する。尚、本実施形態においてはＨＤＤ１７をデータの格納先とするが、画像処理装置１に接続された他の装置であってもよいし、画像処理装置１が内部にデータの格納部を有していてもよい。
【００２１】
Ｓ７２０において、第１算出部６０４は、Ｓ７１０において取得された形状データＨが表す高さＨ（ｘ，ｙ）に基づいて、法線ベクトルＮＨ（ｘ，ｙ）を算出する。また、第２算出部６０５は、法線ベクトルＮＨ（ｘ，ｙ）と法線ベクトルＮＳ（ｘ，ｙ）との周波数強度比Ｒ（ｕ，ｖ）を算出する。ここで（ｕ，ｖ）は、高さＨ（ｘ，ｙ）及び法線ベクトルＮＳ（ｘ，ｙ）の２次元分布に対応する周波数のｘ成分及びｙ成分である。本ステップの処理の詳細については後述する。
【００２２】
Ｓ７３０において、生成部６０６は、周波数強度比Ｒ（ｕ，ｖ）に基づいて高さＨ（ｘ，ｙ）を補正することによって、補正後の形状を表す補正形状データＨ’を生成する。本ステップの処理の詳細については後述する。
【００２３】
＜Ｓ７２０における処理＞
Ｓ７２０において、第１算出部６０４は、Ｓ７１０において取得された形状データＨが表す高さＨ（ｘ，ｙ）に基づいて、法線ベクトルＮＨ（ｘ，ｙ）を算出する。また、第２算出部６０５は、法線ベクトルＮＨ（ｘ，ｙ）と法線ベクトルＮＳ（ｘ，ｙ）との周波数強度比Ｒ（ｕ，ｖ）を算出する。図９は、Ｓ７２０における処理を示すフローチャートである。以下、図９を用いてＳ７２０における処理について説明する。
【００２４】
Ｓ７２１において、第１算出部６０４は、Ｓ７１０において取得された形状データＨが表す高さＨ（ｘ，ｙ）に基づいて、法線ベクトルＮＨ（ｘ，ｙ）を算出する。法線ベクトルＮＨ（ｘ，ｙ）は、式（１）のように、高さＨ（ｘ，ｙ）を偏微分することによって算出される。
【００２５】
【数１】
2019109798.tif 000003
【００２６】
ここでＨｘ、Ｈｙは高さＨ（ｘ，ｙ）をｘ方向、ｙ方向それぞれに対して偏微分した値であり、撮像画像の１画素あたりの空間的な幅をｄとする場合、各偏微分は式（２）のように算出される。尚、式（１）におけるＴは転置行列を示すＴである。
【００２７】
【数２】
2019109798.tif 000004
【００２８】
さらに、第１算出部６０４は、式（１）を用いて算出した法線ベクトルＮＨ（ｘ，ｙ）に対して、ベクトルの大きさが１になるように正規化を行う。
【００２９】
【数３】
2019109798.tif 000005
【００３０】
以下の処理においては、正規化後の法線ベクトルＮＨ（ｘ，ｙ）を法線ベクトルＮＨ（ｘ，ｙ）として扱う。
【００３１】
Ｓ７２２において、第２算出部６０５は、法線ベクトルＮＨ（ｘ，ｙ）と法線ベクトルＮＳ（ｘ，ｙ）との周波数強度比Ｒ（ｕ，ｖ）を算出する。まず、各法線ベクトルのｚ成分に対して、式（４）のようにフーリエ変換を行うことによって、法線ベクトルの周波数成分ｆＮＨ（ｕ，ｖ）及びｆＮＳ（ｕ，ｖ）を算出する。
【００３２】
【数４】
2019109798.tif 000006
【００３３】
ここでＦＦＴはフーリエ変換を表し、（ｕ，ｖ）は２次元分布（ｘ，ｙ）に対応する周波数空間を示す。また、ＮＨ（ｘ，ｙ）ｚ及びＮＳ（ｘ，ｙ）ｚは法線ベクトルのｚ成分を表す。さらに、法線ベクトルＮＨ（ｘ，ｙ）に対する法線ベクトルＮＳ（ｘ，ｙ）の周波数強度比を式（５）を用いて算出する。
【００３４】
【数５】
2019109798.tif 000007
【００３５】
式（５）における比の算出は、各周波数に対して行う。｜ｆＮＨ（ｕ，ｖ）｜及び｜ｆＮＳ（ｕ，ｖ）｜は周波数強度を示し、各周波数において複素数が有する実部と虚部との二乗和の平方根により算出される。
【００３６】
＜Ｓ７３０における処理＞
Ｓ７３０において、生成部６０６は、周波数強度比Ｒ（ｕ，ｖ）に基づいて高さＨ（ｘ，ｙ）を補正することによって、補正後の形状を表す補正形状データＨ’を生成する。図１０は、Ｓ７３０における処理を示すフローチャートである。以下、図１０を用いてＳ７３０における処理について説明する。
【００３７】
Ｓ７３１において、生成部６０６は、形状データＨが表す高さＨ（ｘ，ｙ）に対してフーリエ変換を行うことによって、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）を算出する。ｆＨ（ｕ，ｖ）の算出は、以下の式（６）を用いて行う。
【００３８】
【数６】
2019109798.tif 000008
【００３９】
Ｓ７３２において、生成部６０６は、Ｓ７２２において算出された周波数強度比Ｒ（ｕ，ｖ）に基づいて、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）を補正する。周波数強度比Ｒ（ｕ，ｖ）は高さＨ（ｘ，ｙ）に対する法線ベクトルＮＳ（ｘ，ｙ）の周波数強度を表す。このため、高さＨ（ｘ，ｙ）に対して周波数強度比Ｒ（ｕ，ｖ）を掛け合わせることによって、法線ベクトルＮＳ（ｘ，ｙ）の周波数強度を高さＨ（ｘ，ｙ）に反映させることができる。よって、補正後の高さＨ’（ｘ，ｙ）の周波数成分ｆＨ’（ｕ，ｖ）を、式（７）を用いて算出する。
【００４０】
【数７】
2019109798.tif 000009
【００４１】
ここで、×は周波数成分ごとの掛け算を表す。
【００４２】
Ｓ７３３において、生成部６０６は、Ｓ７３２において算出した補正後の高さＨ’（ｘ，ｙ）の周波数成分ｆＨ’（ｕ，ｖ）に対して逆フーリエ変換を行うことによって、各画素に対して物体の高さＨ’（ｘ，ｙ）を保持する補正形状データＨ’を生成する。逆フーリエ変換は、以下の式（８）を用いて行う。
【００４３】
【数８】
2019109798.tif 000010
【００４４】
ここで、ＩＦＦＴは逆フーリエ変換を表し、周波数空間（ｕ，ｖ）から２次元分布（ｘ，ｙ）の空間への変換を行う。
【００４５】
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体における拡散反射光を利用した三角測量により得られた、物体の形状を表す形状データを取得する。また、物体の表面において反射した光を利用した演算により得られた、物体の表面に対する法線を表す法線データを取得する。形状データが表す形状と、法線データが表す法線と、に対して周波数分解を行うことによって、形状の周波数成分と法線の周波数成分とを算出する。形状の周波数成分と法線の周波数成分とに基づいて、形状データが表す形状よりも凹凸の振幅が大きい物体の形状を表す形状データを生成する。これにより、法線データが有する物体の表面についての詳細な情報を、形状データに反映することができる。したがって、実際の物体の形状に対して再現度が高い形状を得ることができる。
【００４６】
［第２実施形態］
第１実施形態においては、周波数強度比Ｒ（ｕ，ｖ）を用いて法線ベクトルＮＳ（ｘ，ｙ）の周波数情報を高さＨ（ｘ，ｙ）に反映させることによって、補正後の高さＨ’（ｘ，ｙ）を算出した。一方で、法線データＮＳが表す法線ベクトルＮＳ（ｘ，ｙ）には、撮像画像の画素値の飽和や、法線を取得する際に行われる画像の位置合わせのズレによりノイズが含まれる場合がある。この場合、ノイズを含んだ法線データＮＳの情報を形状の補正に用いると、補正によって得られる形状に法線ベクトルＮＳ（ｘ，ｙ）のノイズの影響が及ぶ。そこで、本実施形態においては、法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルに応じて、周波数強度比Ｒ（ｕ，ｖ）に重み付けを行うことによって、補正後の形状に対する法線ベクトルＮＳ（ｘ，ｙ）のノイズの影響を軽減する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００４７】
＜画像処理装置１の論理構成＞
以下において、本実施形態における画像処理装置１の論理構成を図１１を用いて説明する。画像処理装置１はＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図１１に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００４８】
画像処理装置１は、第１取得部６０１、第２取得部６０２、補正部１１０１を有する。第１取得部６０１及び第２取得部６０２は、第１実施形態の画像処理装置１における第１取得部６０１及び第２取得部６０２と同じであるため説明を省略する。補正部１１０１は、第１算出部６０４、第２算出部６０５、第３算出部１１０２、生成部１１０３を有する。第１算出部６０４及び第２算出部６０５は、第１実施形態の画像処理装置１における第１算出部６０４及び第２算出部６０５と同じであるため説明を省略する。第３算出部１１０２は、法線データＮＳが表す法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルに基づいて、法線の信頼度Ｄを算出する。生成部１１０３は、周波数強度比Ｒ（ｕ，ｖ）及び信頼度Ｄに基づいて高さＨ（ｘ，ｙ）を補正することによって、補正後の形状データ（以下、補正形状データと呼ぶ）を生成する。
【００４９】
＜画像処理装置１が実行する処理＞
図１２は、画像処理装置１が実行する処理のフローチャートである。以下、図１２を用いて画像処理装置１が実行する処理の詳細を説明する。尚、下記の処理は、画像処理装置１が入力デバイス１３を介したユーザからの指示を受け付けることによって開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００５０】
本実施形態におけるＳ７１０及びステップＳ７２０の処理は、第１実施形態におけるＳ７１０及びステップＳ７２０の処理と同じであるため説明を省略する。
【００５１】
Ｓ１２１０において、第３算出部１１０２は、法線データＮＳが表す法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルに基づいて、法線の信頼度Ｄを算出する。本ステップの処理の詳細については後述する。
【００５２】
ステップＳ１２２０において、生成部１１０３は、周波数強度比Ｒ（ｕ，ｖ）及び信頼度Ｄに基づいて高さＨ（ｘ，ｙ）を補正することによって、補正形状データを生成する。本ステップにおける処理の詳細については後述する。
【００５３】
＜Ｓ１２１０における処理＞
Ｓ１２１０において、第３算出部１１０２は、Ｓ７１０において取得された法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルに基づいて、法線の信頼度Ｄを算出する。信頼度Ｄは０以上の値であり、法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルが高い場合は小さく、ノイズレベルが小さい場合は大きい値となる。法線ベクトルＮＳ（ｘ，ｙ）におけるノイズは、物体の位置に関わらず、撮像画像の画素値の飽和や、画像の位置合わせのズレによって発生する。そこで、ノイズが画像の全体に対してランダムに発生すると仮定し、局所領域における法線のばらつきに基づいてノイズレベルの評価を行う。以下、法線ベクトルＮＳ（ｘ，ｙ）のｚ成分に着目し、ノイズレベルの評価値を算出する。まず、局所領域における法線の分布を得るため、法線ベクトルＮＳ（ｘ，ｙ）から大局的な法線の変化を除いた残差Ｎｄｉｆｆ（ｘ，ｙ）ｚを算出する。残差Ｎｄｉｆｆ（ｘ，ｙ）ｚの算出には式（９）を用いる。
【００５４】
【数９】
2019109798.tif 000011
【００５５】
ここで、Ｎ’Ｓ（ｘ、ｙ）ｚは法線ベクトルＮＳ（ｘ，ｙ）のｚ成分に対し、（２Ｍ＋１）×（２Ｍ＋１）画素サイズの平均フィルタをかけたものである。平均フィルタのフィルタサイズは物体の形状や撮像の際の解像度に応じて予め設定しておく。例えば、平均フィルタとして、フィルタサイズが７×７画素のフィルタを用いることができる。尚、本実施形態においては、法線ベクトルＮＳ（ｘ，ｙ）から法線データＮＳに対して平均フィルタ（ローパスフィルタ）による処理を行った結果ＮＳ’（ｘ，ｙ）を減算することによって、残差Ｎｄｉｆｆ（ｘ，ｙ）ｚを算出した。法線データＮＳに対して低周波成分を取り除くフィルタ（ハイパスフィルタ）による処理を行うことによって、残差Ｎｄｉｆｆ（ｘ，ｙ）ｚを算出してもよい。
【００５６】
次に残差Ｎｄｉｆｆ（ｘ，ｙ）ｚに対し、式（１０）を用いて分散値σを算出する。
【００５７】
【数１０】
2019109798.tif 000012
【００５８】
ここで、Ａは法線データＮＳに対応する撮像画像のｘ方向の画素数であり、Ｂは撮像画像のｙ方向の画素数である。また、｛Ｎｄｉｆｆ（ｘ，ｙ）ｚ｝ａｖｅは、残差Ｎｄｉｆｆ（ｘ，ｙ）ｚの平均値である。算出された分散値σは法線のばらつきを示す数値であり、ノイズレベルが大きいほど大きい値となる。一方、信頼度Ｄはノイズレベルが大きいほど小さい値となる。そこで、式（１１）のように、分散値σの逆数を信頼度Ｄとする。
【００５９】
【数１１】
2019109798.tif 000013
【００６０】
これにより、法線のノイズレベルに応じた信頼度Ｄが得られる。
【００６１】
＜Ｓ１２２０における処理＞
Ｓ１２２０において、生成部１１０３は、周波数強度比Ｒ（ｕ，ｖ）及び信頼度Ｄに基づいて高さＨ（ｘ，ｙ）を補正することによって、補正形状データを生成する。図１３は、Ｓ１２２０における処理を示すフローチャートである。以下、図１３を用いてＳ１２２０における処理について説明する。
【００６２】
Ｓ１２２１において、生成部１１０３は、形状データＨが表す高さＨ（ｘ，ｙ）に対してフーリエ変換を行う。本ステップにおける処理は、第１実施形態におけるＳ７３１の処理と同じ処理であるため説明を省略する。
【００６３】
Ｓ１２２２において、生成部１１０３は、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）を周波数強度比Ｒ（ｕ，ｖ）により補正する際に、周波数強度比Ｒ（ｕ，ｖ）に重み付けを行うための重みｗ（ｕ，ｖ）を算出する。法線の信頼度Ｄは、法線ベクトルＮＳ（ｘ，ｙ）のノイズレベルが大きい場合は小さく、ノイズレベルが小さい場合は大きい値となる。法線のノイズは物体の形状の高周波成分に対応するため、信頼度Ｄに応じて高周波における周波数強度比Ｒ（ｕ，ｖ）による補正を抑えることによって、補正後の形状に対する法線のノイズの影響を抑えることができる。信頼度Ｄに基づいて、式（１２）を用いて重みｗ（ｕ，ｖ）を算出する。
【００６４】
【数１２】
2019109798.tif 000014
【００６５】
ここでＡは、信頼度Ｄのスケールを調整するための値であり、入力デバイス１３を介したユーザからの指示に基づいて取得する。尚、ＨＤＤ１７などの記憶装置に予め記憶させておいた値を用いてもよい。
【００６６】
図１４は、信頼度Ｄに応じた周波数強度比Ｒ（ｕ，ｖ）に対する重み付けの一例を示す。この例においては、式（１２）におけるパラメータＡは１とした。信頼度Ｄが大きい（Ｄ＝１０）場合、ｗ（ｕ，ｖ）は周波数全域に対して一様に重みを持つ。一方で、信頼度Ｄが小さい（Ｄ＝０．０１）場合、ｗ（ｕ，ｖ）は高周波になるにつれて重みが小さくなる。この重みｗ（ｕ，ｖ）を用いて、補正後の高さＨ’（ｘ，ｙ）の周波数成分ｆＨ’（ｕ，ｖ）を式（１３）のように算出する。
【００６７】
【数１３】
2019109798.tif 000015
【００６８】
ここで、×は周波数成分ごとの掛け算を表す。また、ｍａｘ（１，Ｒ（ｕ，ｖ）×ｗ（ｕ，ｖ））は、式（１４）のように、１とＲ（ｕ，ｖ）×ｗ（ｕ，ｖ）とのうちより大きい値となる。
【００６９】
【数１４】
2019109798.tif 000016
【００７０】
これにより、重みｗ（ｕ，ｖ）が小さくなり、周波数強度比Ｒ（ｕ，ｖ）を補正後の形状に反映しない場合において、補正形状データＨ’は形状データＨが保持する高さに近い高さを保持することができる。
【００７１】
Ｓ１２２３において、生成部１１０３は、補正後の高さＨ’（ｘ，ｙ）の周波数成分ｆＨ’（ｕ，ｖ）に対して逆フーリエ変換を行うことによって、各画素に対して物体の高さＨ’（ｘ，ｙ）を保持する補正形状データＨ’を生成する。本ステップにおける処理は第１実施形態におけるＳ７３３の処理と同じ処理であるため説明を省略する。
【００７２】
＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、形状データＨの補正において、法線ベクトルＮＳ（ｘ，ｙ）が有するノイズのレベルの評価結果に基づいて、補正形状データＨ’を生成した。これにより、形状データの補正に対する、法線データが表す法線ベクトルのノイズの影響を軽減することができる。
【００７３】
図１５は、第１実施形態における処理を経て得られた補正後の形状と、第２実施形態における処理を経て得られた補正後の形状と、の一例を示す図である。第２実施形態における処理の結果の方が、第１実施形態における処理の結果よりも、補正後の形状における高周波なアーティファクトは抑制され、物体の表面における凹凸の変化が強調されるように補正されている。
【００７４】
＜変形例＞
本実施形態においては、法線ベクトルＮＳ（ｘ，ｙ）のｚ成分を用いてノイズの評価を行ったが、法線ベクトルＮＳ（ｘ，ｙ）のｘ成分やｙ成分を用いて評価を行ってもよい。
【００７５】
［第３実施形態］
上述した実施形態においては、形状データが表す高さの２次元分布全体に対して、同一の周波数強度比を用いて形状の補正を行った。一方で、拡散反射による形状のつぶれ度合いは、物体の素材に応じて異なる。例えば、光の散乱度合いが大きい素材によって構成された部分は形状がつぶれやすく、光の散乱度合いが小さい素材によって構成された部分は形状がつぶれにくい。そのため、拡散反射による低周波成分のつぶれを補正するためには、物体の素材に応じた周波数強度比による形状の補正が必要である。本実施形態においては、素材が同じ領域を示す素材情報にさらに基づいて形状の補正を行うことによって、物体の素材を考慮した形状の補正を行う。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００７６】
＜画像処理装置１の論理構成＞
画像処理装置１の論理構成を図１６を用いて説明する。画像処理装置１はＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図１６に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００７７】
画像処理装置１は、第１取得部６０１、第２取得部６０２、第３取得部１５０１、補正部１５０２を有する。第１取得部６０１及び第２取得部６０２は、第１実施形態の画像処理装置１における第１取得部６０１及び第２取得部６０２と同じであるため説明を省略する。第３取得部１５０１は、対象物体において同じ素材である領域を示すための素材情報Ｉを取得する。この素材情報Ｉは同じ素材の領域に対して同じ数値Ｉ（ｘ，ｙ）を有する２次元分布である。Ｉ（ｘ，ｙ）は、素材の質感などの特徴を表す特徴量である。本実施形態においては、同じ素材の領域は類似した色を有するという仮定において、高さＨ（ｘ，ｙ）に対応する撮像画像を素材情報Ｉとして取得する。尚、ユーザに素材が同じ領域を指定させるためのＵＩをディスプレイ１５に表示し、ユーザが入力した情報を素材情報Ｉとしてもよい。補正部１５０２は、第１算出部６０４、分割部１５０２、第２算出部１５０３、生成部１５０４を有する。第１算出部６０４は、第１実施形態の画像処理装置１における第１算出部６０４と同じであるため説明を省略する。分割部１５０２は、素材情報Ｉに基づいた領域分割を行うことによって、位置（ｘ，ｙ）ごとに素材ラベルＬ（ｘ，ｙ）を保持するラベルテーブルＬを生成する。第２算出部１５０３は、ラベルテーブルＬに基づいて、素材ラベルＬ（ｘ，ｙ）が同じ領域について法線ベクトルＮＨ（ｘ，ｙ）と法線ベクトルＮＳ（ｘ，ｙ）との周波数強度比Ｒ（ｕ，ｖ）を算出する。生成部１５０４は、ラベルテーブルＬに基づいて、素材ラベルＬ（ｘ，ｙ）が同じ領域の高さＨ（ｘ，ｙ）に対して周波数強度比Ｒ（ｕ，ｖ）を用いた補正を行うことによって、補正形状データＨ’を生成する。
【００７８】
＜画像処理装置１が実行する処理＞
図１７は、画像処理装置１が実行する処理のフローチャートである。以下、図１７を用いて画像処理装置１が実行する処理の詳細を説明する。尚、下記の処理は、画像処理装置１が入力デバイス１３を介したユーザからの指示を受け付けることによって開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００７９】
Ｓ１７１０において、第１取得部６０１、第２取得部６０２及び第３取得部１５０１は、ユーザからの指示に基づいて、データの格納先から形状データＨ、法線データＮＳ及び素材情報Ｉを取得する。図１８はデータを取得するためのＵＩの一例である。形状データＨ、法線データＮＳ及び素材情報Ｉそれぞれに対し、ユーザによって指示されたデータの格納先を設定する。処理開始ボタンが押下されたことに応じて、格納先から形状データＨ、法線データＮＳ及び素材情報Ｉを取得し、以下の処理を開始する。尚、本実施形態においてはＨＤＤ１７をデータの格納先とするが、画像処理装置１に接続された他の装置であってもよいし、画像処理装置１が内部にデータの格納部を有していてもよい
Ｓ１７２０において、分割部１５０２は、素材情報Ｉの画素値Ｉ（ｘ，ｙ）に基づいた領域分割を行うことによって、ラベルテーブルＬを生成する。具体的には、まず、素材情報Ｉとして取得した撮像画像に対して画素値Ｉ（ｘ，ｙ）に基づいた領域分割を行う。領域分割においては、画素値Ｉ（ｘ，ｙ）が類似する領域に同じ素材ラベルＬ（ｘ，ｙ）を割り当てる処理を行う。これにより、位置（ｘ，ｙ）ごとに素材ラベルＬ（ｘ，ｙ）を保持するラベルテーブルＬを生成する。
【００８０】
Ｓ１７３０において、第１算出部６０４は、Ｓ１７１０において取得された形状データＨが表す高さＨ（ｘ，ｙ）に基づいて、法線ベクトルＮＨ（ｘ，ｙ）を算出する。算出方法については、第１実施形態のＳ７２１と同様であるため、説明を省略する。
【００８１】
Ｓ１７４０において、第２算出部１５０３は、ラベルテーブルＬを参照し、同じ素材ラベルＬ（ｘ，ｙ）を有する領域ごとに以下のＳ１７５０、Ｓ１７６０、Ｓ１７７０の処理を実行する。
【００８２】
Ｓ１７５０において、第２算出部１５０３は、同じ素材ラベルＬ（ｘ，ｙ）＝Ｐを有する領域に対して、法線データが表す法線ベクトルＮＳ（ｘ，ｙ）とＳ１７３０において算出された法線ベクトルＮＨ（ｘ，ｙ）との周波数強度比を算出する。まず、各法線ベクトルのｚ成分に対してフーリエ変換を行うことによって、各法線ベクトルの周波数成分を算出する。フーリエ変換は式（１５）を用いて行う。
【００８３】
【数１５】
2019109798.tif 000017
【００８４】
ここでｆＮＨ（ｕ，ｖ）ＰおよびｆＮＳ（ｕ，ｖ）Ｐは素材ラベルＰを有する領域における各法線ベクトルの周波数成分を表す。また、δ（Ｌ（ｘ，ｙ），Ｐ）は式（１６）に示す値となる。
【００８５】
【数１６】
2019109798.tif 000018
【００８６】
次に、法線ベクトルＮＨ（ｘ，ｙ）の周波数成分ｆＮＨ（ｕ，ｖ）Ｐに対する法線ベクトルＮＳ（ｘ，ｙ）の周波数成分ｆＮＳ（ｕ，ｖ）Ｐの周波数強度比Ｒ（ｕ，ｖ）Ｐを算出する。周波数強度比Ｒ（ｕ，ｖ）Ｐの算出には、式（１７）を用いる。
【００８７】
【数１７】
2019109798.tif 000019
【００８８】
本ステップの処理により、同じ素材ラベルＰを有する領域について、周波数強度比Ｒ（ｕ，ｖ）Ｐを得ることができる。
【００８９】
Ｓ１７６０において、第２算出部１５０３は、Ｓ１７５０において算出した周波数強度比Ｒ（ｕ，ｖ）Ｐに基づいて、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）を補正する。まず、高さＨ（ｘ，ｙ）に対してフーリエ変換を行うことによって、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）を算出する。さらに、高さＨ（ｘ，ｙ）の周波数成分ｆＨ（ｕ，ｖ）に対して周波数強度比Ｒ（ｕ，ｖ）Ｐを乗算することによって、素材ラベルＰを有する領域における補正後の高さＨ’（ｘ，ｙ）の周波数成分ｆＨ’（ｕ，ｖ）Ｐを算出する。周波数成分ｆＨ’（ｕ，ｖ）Ｐの算出には式（１８）を用いる。
【００９０】
【数１８】
2019109798.tif 000020
【００９１】
さらに、ｆＨ’（ｕ，ｖ）Ｐに対して逆フーリエ変換を行うことによって、素材ラベルＰを有する領域における補正後の高さＨ’（ｘ，ｙ）Ｐを算出する。補正後の高さＨ’（ｘ，ｙ）Ｐの算出には式（１９）を用いる。
【００９２】
【数１９】
2019109798.tif 000021
【００９３】
Ｓ１７７０において、生成部１５０４は、Ｓ１７６０において算出された素材ラベルＰを有する領域における補正後の高さＨ’（ｘ，ｙ）Ｐを、式（２０）に従って、補正後の高さＨ’（ｘ，ｙ）を表す補正形状データＨ’に保持させる。
【００９４】
【数２０】
2019109798.tif 000022
【００９５】
式（１９）におけるδ（Ｌ（ｘ，ｙ），Ｐ）により、補正後の形状Ｈ’（ｘ，ｙ）Ｐを、補正形状データＨ’において素材ラベルＰを有する領域のみに保持させることができる。Ｐとは異なる素材ラベルＬ（ｘ，ｙ）を有する場合、補正後の形状Ｈ’（ｘ，ｙ）は補正形状データＨ’が予め保持する値となる。
【００９６】
＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、素材が互いに異なる領域ごとに周波数強度比の算出を行い、算出した周波数強度比に基づいて形状の補正を行った。これにより、素材に応じた形状の補正を行うことができる。
【００９７】
［その他の実施形態］
上述した実施形態においては、補正形状データＨ’を生成するまでで処理を終えたが、処理は上記一例に限定されない。例えば、補正形状データＨ’をＨＤＤ１７、ディスプレイ、１５、プリンタ１４などの外部の装置に出力してもよい。その際、それぞれ出力用のデータに変換してから出力してもよい。例えば、プリンタ１４にデータを出力する場合は、補正形状データＨ’が表す補正後の高さＨ’（ｘ，ｙ）を、記録媒体上に記録するインクやトナーの記録量に変換する。この変換には、補正後の高さＨ’（ｘ，ｙ）と記録量との対応関係を保持するテーブルを予め作成しておいて用いればよい。プリンタに出力するデータは、記録量を表すデータに限らず、インクのドット配置を表すドット配置データなどであってもよい。
【００９８】
第２実施形態においては法線のノイズレベルの評価結果を用いて形状の補正を行い、第３実施形態においては物体の素材に応じて形状の補正を行った。これら２つの形態を組み合わせて、形状の補正を行ってもよい。
【００９９】
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１００】
１  画像処理装置
６０１  第１取得部
６０２  第２取得部
６０５  第２算出部
６０６  生成部
【図１】
2019109798.tif 000023
【図２】
2019109798.tif 000024
【図３】
2019109798.tif 000025
【図４】
2019109798.tif 000026
【図５】
2019109798.tif 000027
【図６】
2019109798.tif 000028
【図７】
2019109798.tif 000029
【図８】
2019109798.tif 000030
【図９】
2019109798.tif 000031
【図１０】
2019109798.tif 000032
【図１１】
2019109798.tif 000033
【図１２】
2019109798.tif 000034
【図１３】
2019109798.tif 000035
【図１４】
2019109798.tif 000036
【図１５】
2019109798.tif 000037
【図１６】
2019109798.tif 000038
【図１７】
2019109798.tif 000039
【図１８】
2019109798.tif 000040