(57)【要約】【課題】複製作成に好適な画像を生成可能とする。【解決手段】画像処理装置は、被写体を構成する各領域の法線情報を取得する法線取得手段と、互いに異なる複数の撮影条件で前記被写体を撮影した複数の撮影画像を取得する画像取得手段と、複数の撮影画像と法線情報とに基づいて、被写体を構成する各領域について所定の撮影条件を満たすよう構成された補正画像を生成する生成手段と、を有する。【選択図】図２
2018032947.tif 000002
【特許請求の範囲】
【請求項１】
被写体を構成する各領域の法線情報を取得する法線取得手段と、
互いに異なる複数の撮影条件で前記被写体を撮影した複数の撮影画像を取得する画像取得手段と、
前記複数の撮影画像と前記法線情報とに基づいて、前記被写体を構成する各領域について所定の撮影条件を満たすよう構成された補正画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の撮影条件は、少なくとも前記被写体に対する照明方向と前記被写体に対する撮影方向とに関する条件を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の撮影条件は、各領域の法線方向に対して所定の角度をなす方向からの撮影画像である
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記被写体を構成する各領域について、前記所定の撮影条件を満たす撮影画像を前記複数の撮影画像から選択し、該選択した撮影画像における対応領域の色情報を決定し、前記補正画像における色情報とする
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記法線情報に基づいて、前記被写体に対する撮影方向に基づく画像形状の歪みと前記被写体の形状の歪みに基づく画像形状の歪みとを補正した形状補正画像を生成する形状補正手段を更に有し、
前記生成手段は、前記複数の撮影画像から生成された複数の形状補正画像と前記法線情報とに基づいて前記補正画像を生成する
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記形状補正手段は、前記被写体の画像を該画像の各領域における法線方向が同一方向となるように変形することにより前記形状補正画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記法線情報に基づいて前記被写体に対する撮影方向を決定し、前記被写体を撮影する撮影部の位置姿勢を制御し、前記複数の撮影画像を撮影するよう前記撮影部を制御する撮影制御手段を更に有する
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記撮影制御手段は、更に、前記法線情報に基づいて前記被写体に対する照明方向を決定し、前記被写体を照明する照明部の位置姿勢を制御する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
被写体を構成する各領域の法線情報を取得する法線取得工程と、
互いに異なる複数の撮影条件で前記被写体を撮影した複数の撮影画像を取得する画像取得工程と、
前記複数の撮影画像と前記法線情報とに基づいて、前記被写体を構成する各領域について所定の撮影条件を満たすよう構成された補正画像を生成する生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複製作成に利用する画像の生成技術に関するものである。
【背景技術】
【０００２】
近年、貴重な文化財を公開する活動と、将来にわたって保護、保存することとを両立するために、文化財の複製を作成することが広まっている。複製作成の一例として、文化財が障壁画や屏風といった日本画であれば、文化財を破損することなく画像を取得するため、デジタルカメラを用いて撮影を行い、撮影した画像を実物大で出力するという手法が一般的である。
【０００３】
特許文献１は、複数角度での撮影画像から被写体が持つ本来の色情報を復元する技術が開示している。また、複数角度での撮影画像中の被写体の前に遮蔽物が映っている場合は、遮蔽物が映っていない撮影角度での画像データの画素値を平均して、色情報を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、被写体によっては撮影角度などの撮影条件に依存して撮影により得られる色情報が異なる場合がある。そのため、例えば経年劣化によってたわみや反りなどの変形が生じた作品を撮影した場合、当該変形に依存して本来の色とは異なる色の撮影画像が得られることになる。しかしながら、上述の特許文献１に記載の技術では、このような問題に対処することが出来ない。
【０００６】
本発明はこのような問題を鑑みてなされたものであり、複製作成に好適な画像を生成可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、被写体を構成する各領域の法線情報を取得する法線取得手段と、互いに異なる複数の撮影条件で前記被写体を撮影した複数の撮影画像を取得する画像取得手段と、前記複数の撮影画像と前記法線情報とに基づいて、前記被写体を構成する各領域について所定の撮影条件を満たすよう構成された補正画像を生成する生成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、複製作成に好適な画像を生成可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態で使用される各種データを説明する図である。
【図２】第１実施形態に係る画像処理システムの構成を示すブロック図である。
【図３】第１実施形態における画像処理装置の動作を示すフローチャートである。
【図４】法線情報を説明する図である。
【図５】補正部における形状補正処理（Ｓ３）の詳細フローチャートである。
【図６】形状補正画像を説明する図である。
【図７】撮影画像と形状補正画像との間の対応座標を説明する図である。
【図８】生成部における生成処理（Ｓ４）の詳細フローチャートである。
【図９】第２実施形態に係る画像処理システムの構成を示すブロック図である。
【図１０】第２実施形態における画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮影部により得られた撮影画像に基づいて画像を生成する画像処理装置を例に挙げて以下に説明する。
【００１２】
＜システム構成＞
図１は、第１実施形態で使用される各種データを説明する図である。第１実施形態に係る画像処理装置１０１は、被写体１を複数の撮影角度で撮影した複数の撮影画像データ３を撮影部１０２から取得する。また、画像処理装置１０１は、被写体１の表面形状を示す法線情報４を計測部１０３から取得する。そして、画像処理装置１０１は、複数の撮影画像データ３と法線情報４とに基づいて、復元画像データ６を生成し出力部１０９に出力する。
【００１３】
ここでは、撮影部１０２は、図１に示すように、照明部である照明装置２による被写体１への照明方向と撮影部１０２による被写体１の撮影方向とのなす角が４５度となる状態で撮影を行うことを想定する。もちろん、４５度に限定されるものではなく他の角度となるように構成してもよい。
【００１４】
画像処理装置１０１は、複数の撮影角度（角度Ａ、Ｂ）により得られた複数の撮影画像データ３それぞれに対して、法線情報４を用いて画像形状の補正を行う。具体的には、撮影角度による変形を補正する射影変換や、被写体１自身の変形（たわみなど）に依存した画像の形状補正を行う。ここでは、同じ画像サイズの複数の形状補正画像データ５を生成する。そして、画像処理装置１０１は、法線情報４と複数の形状補正画像データ５を用いて復元画像データ６を生成する。
【００１５】
図２は、第１実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システムは、画像処理装置１０１、撮影部１０２、計測部１０３、出力部１０９を有している。また、画像処理装置１０１は、画像取得部１０４、情報取得部１０５、補正部１０６、保持部１０７、生成部１０８を含んでいる。
【００１６】
上述のように、画像処理装置１０１は、被写体の撮影画像データと被写体の法線情報を取得し、復元画像データを出力する処理を行う。撮影部１０２は、例えば、被写体を撮影し撮影画像データを出力するデジタルカメラである。計測部１０３は、被写体の表面形状情報を取得し、当該被写体の法線情報を出力する３次元形状計測カメラである。
【００１７】
画像取得部１０４は、撮影部１０２で撮影した撮影画像データを取得する機能部である。情報取得部１０５は、計測部１０３で計測した被写体の法線情報を取得する機能部（法線取得手段）である。補正部１０６は、様々な角度で撮影された撮影画像データに含まれる被写体画像に対して形状変換を施し形状補正画像データを生成する機能部である。
【００１８】
保持部１０７は、補正部１０６で補正された形状補正画像データと情報取得部１０５で取得した法線情報とを記憶する機能部である。生成部１０８は、法線情報と形状補正画像データから、被写体の本来の色を再現した２次元の復元画像データを生成する機能部である。出力部１０９は、例えば、復元画像データを紙などの記録媒体に印刷する印刷装置である。
【００１９】
なお、画像処理装置１０１は、例えば、コンピュータ（ＰＣ）とソフトウェアプログラムの組みあわせによっても実現可能である。もちろん、各機能部の一部または全部をＡＳＩＣ（特定用途向け集積回路）などのハードウェアにより実現してもよい。
【００２０】
＜画像処理システムの動作＞
図３は、第１実施形態における画像処理装置の動作を示すフローチャートである。
【００２１】
ステップＳ１では、画像取得部１０４は、撮影部１０２で撮影した撮影画像データ３を取得する。撮影画像データ３は、例えば、ＴＩＦＦやＪＰＧなどのビットマップ形式の画像データである。
【００２２】
ステップＳ２では、情報取得部１０５は、計測部１０３で計測した被写体１の法線情報４を取得する。法線情報４とは、被写体の表面の立体形状を元に作られた、被写体１の領域毎の法線方向を表すデータである。
【００２３】
図４は、法線情報を説明する図である。図４（ａ）は、計測部１０３が取得した被写体の表面形状情報に基づく立体形状データ４０１を例示的に示す図である。立体形状データ４０１は、法線情報を生成するための立体形状を表すデータであり、例えばワイヤーフレームデータである。ワイヤーフレームデータは、オブジェクトの形状を微小平面の集合体として表現される。すなわち、微小平面のそれぞれから法線方向を計算することにより法線情報を生成することが出来る。
【００２４】
図４（ｂ）は、立体形状データ４０１上のワイヤーフレームで囲まれた１つのメッシュ領域４０２の拡大図である。メッシュ領域４０２に対する法線ベクトルＮは、メッシュ領域４０２の４点の座標をＡＢＣＤとしたとき、以下の数式（１）のように算出できる。
【００２５】
【数１】
2018032947.tif 000003
【００２６】
この法線ベクトルを各メッシュ領域で算出することで全領域の法線情報を取得することができる。なお、メッシュの数は被写体のたわみや反りなどの形状変化に応じて数を変更することが望ましい。被写体の形状変化が大きい箇所には細かいメッシュが必要であるが、被写体の形状変化がほとんどなく平坦部であれば大まかなメッシュデータで構わない。
【００２７】
例えば、紙のカール量を曲率値として算出し、曲率値に応じて法線情報のデータ数を決定することができる。紙のカールの曲率値が１／Ｒの場合、５度の円弧の長さに相当する４πＲ×５／３６０＝０．１７Ｒの長さを紙面上での格子点の数とする。この場合、例えば、紙のカールの曲率値が１０ｃｍのとき、格子点の間隔は１．７ｃｍである。また、立体形状データの形式は、ワイヤーフレームに限らない。各部の法線方向を読み出すことのできるデータ形式であれば、ポリゴンデータ、サーフェスデータ、など任意のデータ形式で構わない。
【００２８】
図４（ｃ）は、法線情報の概念図である。法線情報４０３は、形状補正が施された２次元の被写体のワイヤーフレームで囲まれたメッシュ領域毎の法線に関連する情報を含んでいる。ここでは、メッシュ領域毎に法線角度として３次元のベクトル情報が記憶されているものとする。また、ここでは、メッシュ形状を正方格子で記述しているが、この形に限定せず三角形など任意のメッシュ形状でもよい。
【００２９】
ステップＳ３では、補正部１０６は、撮影画像データ３における被写体形状を補正し、保持部１０７に形状補正画像データ５を格納する。なお、Ｓ３の処理の詳細は後述する。
【００３０】
ステップＳ４では、生成部１０８は、法線情報４及び複数の形状補正画像データ５に基づき、被写体の各領域の法線方向から観察した色になるように２次元の復元画像データ６を生成する。なお、Ｓ４の処理の詳細は後述する。その後、ステップＳ５では、生成部１０８は、生成した復元画像データ６を出力部１０９に出力する。
【００３１】
＜補正部１０６における動作＞
図５は、補正部における形状補正処理（Ｓ３）の詳細フローチャートである。また、図６は、形状補正画像データを説明する図である。
【００３２】
図６（ａ）は、撮影角度ごとの撮影画像データと形状補正画像を表している。図示されるように、それぞれ異なる撮影角度で撮影された画像データに対して、撮影角度や被写体の形状変化を補正し、同じ画素数を持つ２次元の形状補正画像データを生成する。すなわち、形状補正画像データは、撮影画像データ内の被写体画像を構成する各領域の法線方向が同一方向となるように変形した画像データである。ここでは、法線形状を算出したメッシュデータを撮影画像データに適用し、図６（ｂ）に示すようにメッシュ領域毎に画像変換を施して補正画像データを生成する。
【００３３】
ステップＳ５０１では、補正部１０６は、撮影画像データＩの被写体形状に応じて、法線情報を用いて、法線情報４０３と同じ領域数を持つメッシュデータを生成する。メッシュデータの生成は、例えば法線情報４０３から３次元空間のメッシュデータ４０１に復元し、このメッシュデータを該当する撮影角度での撮影したデータになるように、射影変換すればよい。
【００３４】
なお、被写体の形状変化が単純な場合は、法線情報を用いずにメッシュデータを生成してもよい。例えば、撮影画像のエッジを抽出して被写体の輪郭を特定し、被写体のエッジ線分に対して等間隔になるようにメッシュの格子に相当する点群を形成し、格子点から被写体のエッジに対して平行に直線を引くことでメッシュデータを生成することも可能である。
【００３５】
ステップＳ５０２では、補正部１０６は、形状補正画像データＩ’のデータ領域を確保する。例えば、形状補正画像データＩ’の縦横の画素数がｗピクセル、ｈピクセルである場合、左上の座標を（１，１）、右下の座標を（ｗ、ｈ）とするｗ×ｈ個の画素値のデータが入るメモリを確保する。
【００３６】
ステップＳ５０３では、補正部１０６は、形状変換後の画素値を生成する処理を行う座標位置Ｐ’の初期値を（１，１）に設定する。
【００３７】
ステップＳ５０４では、補正部１０６は、処理対象の座標位置Ｐ’が属するメッシュの位置を検出し、メッシュを構成する点を選択する。まず、Ｓ５０１で生成した、メッシュの縦横方向の個数をそれぞれＮｍ＿ｗ、Ｎｍ＿ｈとする。この場合、形状補正画像データＩ’上の１つのメッシュデータの縦と横のピクセル数Ｐｉｘｗ、Ｐｉｘｈは、以下の数式（２）、（３）により算出される。
【００３８】
【数２】
2018032947.tif 000004
【００３９】
【数３】
2018032947.tif 000005
【００４０】
次に、形状補正画像データＩ’上の点Ｐ’（ｘｐ’、ｙｐ’）に該当するメッシュの位置を、左上を基準に横方向Ｍｗ番目、縦方向にＭｈ番目として規定し、以下の数式（４）、（５）のように算出する。なお、ｉｎｔ（）は、整数値を導出する（小数点以下を切り捨てる）関数である。
【００４１】
【数４】
2018032947.tif 000006
【００４２】
【数５】
2018032947.tif 000007
【００４３】
数式（４）、（５）の結果に基づいて、横方向Ｍｗ番、縦方向Ｍｈ番のメッシュを構成する点を選択する。
【００４４】
図７は、撮影画像と形状補正画像との間の対応座標を説明する図である。図７（ａ）は、撮影画像データＩ上の１つのメッシュ領域を表しており、図７（ｂ）は、図７（ａ）のメッシュ領域に対応した形状補正画像データＩ’におけるメッシュ領域を表している。処理座標Ｐ’を含むメッシュを構成する点として、Ａ’〜Ｄ’を検出する。
【００４５】
ステップＳ５０５では、補正部１０６は、処理中の座標位置Ｐ’に対応する撮影画像データＩ上の座標位置Ｐを算出する。図７（ｂ）において、点Ｐ’の再近傍点である点Ａ’を基準としたベクトルＡ'Ｐ’はベクトルＡ’Ｂ’およびベクトルＡ’Ｄ’を用いて次のように算出する。
【００４６】
【数６】
2018032947.tif 000008
【００４７】
点Ａ'、点Ｂ’、点Ｄ’、点Ｐ’の座標をそれぞれ（ｘＡ’、ｙＡ’）、（ｘＢ’、ｙＢ’）、（ｘＤ’、ｙＤ’）、（ｘＰ’、ｙＰ’）とする。その場合、ベクトルＡ’Ｂ’およびベクトルＡ’Ｄ’にかかる係数ｉ、ｊは、以下の数式（７）、（８）のように算出される。
【００４８】
【数７】
2018032947.tif 000009
【００４９】
【数８】
2018032947.tif 000010
【００５０】
算出されたｉ、ｊの値を用いて図７（ａ）におけるベクトルＡＰは、以下の数式（９）のように算出される。
【００５１】
【数９】
2018032947.tif 000011
【００５２】
数式（９）によるベクトルＡＰと点Ａの座標を用いて点Ｐの座標（ｘＰ、ｙＰ）を算出することが出来る。
【００５３】
ステップＳ５０６では、補正部１０６は、Ｓ５０５で求めた撮影画像データＩ上の座標位置Ｐにおける画素値を、形状補正画像データＩ’上の座標位置Ｐ’における画素値として設定する。
【００５４】
【数１０】
2018032947.tif 000012
【００５５】
ステップＳ５０７では、補正部１０６は、全座標について色情報の取得が完了したか否かを判断する。取得が完了していなければ、Ｓ５０８において次の座標を設定しＳ５０４〜Ｓ５０６の処理を行う。
【００５６】
以上の処理を他の撮影角度での撮影画像データに対しても行い、各撮影角度に対応する形状補正画像データＩ’と撮影角度データを保持部１０７に格納する。
【００５７】
＜生成部１０８における動作＞
図８は、生成部における生成処理（Ｓ４）の詳細フローチャートである。
【００５８】
ステップＳ８０１では、生成部１０８は、復元画像データＩ”のメモリ領域を確保する。ここでは、復元画像データＩ”は、形状補正画像データＩ’に対して色補正を行ったデータであり、形状補正画像データＩ’と同じ画素数をもつ画像データである。
【００５９】
ステップＳ８０２では、生成部１０８は、現在注目している座標位置に相当する法線情報を取得する。当該取得は、Ｓ５０４で示した方法と同じ手法が利用できる。すなわち、座標位置に対するメッシュ領域の位置を取得し、メッシュ領域に対する法線情報４０３から該当するメッシュ領域に対する法線情報を取得する。
【００６０】
ステップＳ８０３では、生成部１０８は、保持部１０７に、法線情報に基づいて、該当する所定の撮影条件（撮影角度および照明角度）での形状補正画像データＩ’があるかを確認する。ここでは被写体の法線方向と撮影角度の方向が一致しており、照明角度が法線方向に対して４５度の方向で照射されている形状補正画像データＩ’を探索する。形状補正画像データＩ’が存在する場合はＳ８０４に進み、存在しない場合はＳ８０５に進む。
【００６１】
ステップＳ８０４では、生成部１０８は、該当する法線方向での形状補正画像データＩ’での座標の画素値（対応領域の色情報）を取得し、復元画像データＩ”における対応する座標の画素値として格納する。なお、ｘ、ｙは該当するメッシュ領域の範囲内の座標値である。
【００６２】
【数１１】
2018032947.tif 000013
【００６３】
ステップＳ８０５では、生成部１０８は、上述の所定の撮影条件の近傍の２つの形状補正画像データＩ’を用いて、復元画像データＩ”の画素値を導出する。ここでは、近傍の２つの角度に該当する形状補正画像データをＩ’１、Ｉ’２とすると、以下の数式（１２）のように画素値データを計算する。なお、ｋは０以上１以下の値である。
【００６４】
【数１２】
2018032947.tif 000014
【００６５】
なお、数式（１２）に関して、重み値ｋは任意の方法で決定すればよい。２つの画像データの平均としてｋ＝０．５と設定してもよいし、上述の所定の条件である本来の法線角度Ｎに対する、上述の近傍の２つの角度Ｎ１、Ｎ２の角度差の比率からｋを決定してもよい。他にも、２つ以上の形状補正画像データＩ’を用いても構わないし、補間処理を行わず、法線角度が最も近い１つの形状補正画像データをＩ’のみを使用しても良い。
【００６６】
ステップＳ８０６では、生成部１０８は、色補正後の復元画像データＩ”内の全座標で色情報の取得が完了したかどうかを判定する。まだ未取得の領域がある場合は、Ｓ８０２に戻る。全座標での色情報の取得が完了した場合は処理を終了する。
【００６７】
なお、復元画像データＩ”において、撮影装置や照明装置の変動に起因してメッシュ間での微妙な色や輝度の差が発生し格子上のムラが目立つ場合は、Ｓ８０６の後に復元画像データＩ”に対して更に画像処理を施してもよい。また、予め形状補正画像データＩ’、撮影画像データＩのいずれかに対して画像処理を施すよう構成してもよい。
【００６８】
以上説明したとおり第１実施形態によれば、被写体の領域ごとの法線情報と当該被写体を撮影した複数の撮影画像データとに基づいて、復元画像データを生成する。具体的には、被写体画像の各領域に関して、所定の撮影条件を満たす撮影画像データを選択する。この構成により復元画像データを生成することで、被写体にたわみや反りがあった状態で撮影を行った場合であっても、たわみのない状態で観察される色情報を有する復元画像データを生成することが可能となる。
【００６９】
（第２実施形態）
第２実施形態では、被写体の法線情報に基づいて、色情報の取得に適した撮影角度を領域ごとに決定して撮影することで、復元画像データを生成する形態について説明する。
【００７０】
＜システム構成＞
図９は、第２実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システムは、第１実施形態と同様に、画像処理装置１０１、撮影部１０２、計測部１０３、出力部１０９を有している。また、画像処理装置１０１は、画像取得部１０４、情報取得部１０５、補正部１０６、保持部１０７、生成部１０８を含んでいる。ただし、第２実施形態に係る画像処理システムは、撮像部１０２における撮影制御を行う、撮影角度制御部９０１、照明角度制御部９０２を更に有する。
【００７１】
撮影角度制御部９０１は、被写体の法線情報に基づいて、撮影部１０２の位置姿勢（被写体に対する撮影角度）を制御する機能部である。照明角度制御部９０２は、被写体の法線情報に基づいて、照明装置の位置姿勢（被写体に対する照明角度）を制御する機能部である。
【００７２】
＜画像処理システム全体の動作＞
図１０は、第２実施形態における画像処理装置の動作を示すフローチャートである。
【００７３】
ステップＳ１０１では、情報取得部１０５は、被写体の法線情報を取得する。法線情報は、第１実施形態と同様にメッシュ領域毎の法線情報であるとする。
【００７４】
ステップＳ１０２では、情報取得部１０５は、撮影対象とする被写体の注目領域の法線情報を撮影角度制御部９０１および照明角度制御部９０２に出力する。
【００７５】
ステップＳ１０３では、撮影角度制御部９０１は、被写体に対するカメラの撮影方向が、注目領域の法線角度方向Ｎと一致するようにカメラの位置姿勢を制御する。さらに照明角度制御部９０２は、被写体に対する照明角度が、注目領域の法線角度方向Ｎに対して４５度の方向になるよう照明角度を制御する。その後、撮影部１０２による撮影を実施する。
【００７６】
ステップＳ１０４では、画像取得部１０４は、撮影部１０２で撮影された撮影画像データＩＮを取得する。ステップＳ１０５では、補正部１０６は、第１実施形態と同様に、撮影画像データＩＮの形状補正を実施し、形状補正画像データＩ’Ｎを生成する。更に、生成部１０８は、形状補正画像データＩ’Ｎにおける注目領域の画素値を、復元画像データの対応するメッシュ領域の画素値として設定し保存する。なお、ｘ、ｙは該当するメッシュ領域の範囲内の座標値である。
【００７７】
【数１３】
2018032947.tif 000015
【００７８】
ステップＳ１０６では、生成部１０８は、復元画像データの全メッシュ領域について色情報の取得が完了したか否かを判断する。取得が完了していなければ、次の注目領域を設定しＳ１０２〜Ｓ１０５の処理を行う。取得が完了するとＳ１０７に進む。
【００７９】
ステップＳ１０７では、生成部１０８は、生成した復元画像データ６を印刷装置などの出力部１０９に出力する。
【００８０】
以上説明したとおり第２実施形態によれば、撮影に先行して被写体の領域ごとの法線情報を取得し、当該法線情報に基づいて被写体の各領域に対する位置姿勢を決定する。この構成により、復元画像データの生成に利用する撮影画像データを効率的に取得することが可能となる。すなわち、不必要な撮影あるいは画像処理をする必要がなく、効率的に復元画像データを生成することが可能となる。
【００８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１０１  画像処理装置；  １０２  撮影部；  １０３  計測部；  １０４  画像取得部；  １０５  情報取得部；  １０６  補正部；  １０７  保持部；  １０８  生成部；  １０９  出力部
【図１】
2018032947.tif 000016
【図２】
2018032947.tif 000017
【図３】
2018032947.tif 000018
【図４】
2018032947.tif 000019
【図５】
2018032947.tif 000020
【図６】
2018032947.tif 000021
【図７】
2018032947.tif 000022
【図８】
2018032947.tif 000023
【図９】
2018032947.tif 000024
【図１０】
2018032947.tif 000025