(57)【要約】【課題】三次元メッシュモデルに対して適切なテクスチャ画像を生成することができない。【解決手段】画像取得部３１は、画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得する。メッシュモデル生成部３４は、取得された複数の画像を用いて被写体の表面をメッシュで表現した三次元メッシュモデルを生成する。重み係数算出部３６は、生成された三次元メッシュモデルの各メッシュに対し、メッシュと複数の画像の各々の撮影時の画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、複数の画像の各々の重み係数を算出する。そして、テクスチャ画像生成部３７は、三次元メッシュモデルの各メッシュに対応するテクスチャ画像を複数の画像から生成する場合に、メッシュに対する複数の画像の各々の重み係数に応じた重み付けを行ってテクスチャ画像を生成する。【選択図】図１
2019020952.tif 000002
【特許請求の範囲】
【請求項１】
画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得する画像取得部と、
前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成するメッシュモデル生成部と、
前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出する重み係数算出部と、
前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成するテクスチャ画像生成部と、
を含む画像処理装置。
【請求項２】
前記重み係数算出部は、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像は、照明光源からの照明光が照射されているときに前記画像撮影装置により被写体を撮影した画像であり、
前記重み係数算出部は、前記メッシュにおける前記画像の撮影時の前記照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像は、照明光源からの照明光が照射されているときに前記画像撮影装置により被写体を撮影した画像であり、
前記重み係数算出部は、前記メッシュの法線方向に対する前記画像の撮影時の前記照明光源からの照明光の入射角に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項５】
前記重み係数算出部は、指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点との位置関係及び姿勢を用いて、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュの法線方向と前記指定された視点からの視線方向とのなす角と、の差に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項６】
前記複数の画像は、照明光源からの照明光が照射されているときに前記画像撮影装置により被写体を撮影した画像であり、
前記重み係数算出部は、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点及び前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュにおける前記画像の撮影時の照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュにおける前記指定された照明光源からの照明光の正反射方向と前記指定された視点からの視線方向とのなす角と、の差に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項７】
前記複数の画像は、照明光源からの照明光が照射されているときに前記画像撮影装置により被写体を撮影した画像であり、
前記重み係数算出部は、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュの法線方向に対する前記画像の撮影時の照明光源からの照明光の入射角と、前記メッシュの法線方向に対する前記指定された照明光源からの照明光の入射角と、の差に応じて前記重み係数を算出する請求項１に記載の画像処理装置。
【請求項８】
前記複数の画像は、照明光源からの照明光が照射されているときに前記画像撮影装置により被写体を撮影した画像であり、
前記重み係数算出部は、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて第１の重み係数を算出し、前記メッシュにおける前記画像の撮影時の前記照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて第２の重み係数を算出し、前記メッシュの法線方向に対する前記画像の撮影時の前記照明光源からの照明光の入射角に応じて第３の重み係数を算出し、指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点との位置関係及び姿勢を用いて、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュの法線方向と前記指定された視点からの視線方向とのなす角と、の差に応じて第４の重み係数を算出し、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点及び前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュにおける前記画像の撮影時の照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュにおける前記指定された照明光源からの照明光の正反射方向と前記指定された視点からの視線方向とのなす角と、の差に応じて第５の重み係数を算出し、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュの法線方向に対する前記画像の撮影時の照明光源からの照明光の入射角と、前記メッシュの法線方向に対する前記指定された照明光源からの照明光の入射角と、の差に応じて第６の重み係数を算出したうえで、前記第１から前記第６までの重み係数のうちの２つ以上に基づいて、前記メッシュに対する前記画像の最終的な重み係数を算出する請求項１に記載の画像処理装置。
【請求項９】
画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得し、
前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成し、
前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出し、
前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成する
画像処理方法。
【請求項１０】
コンピュータを、請求項１〜請求項８の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の画像撮影装置により、２つ以上の異なる視点から撮影された複数枚の画像（多視点画像）を用いることで、被写体の立体形状を復元する技術が提案されている（例えば、非特許文献１）。
【０００３】
また、多視点画像上における各対応点の位置と、多視点画像の撮影に用いた画像撮影装置の位置、向き、及び画角といった幾何情報から、三角測量の原理を用いることで該当の対応点の三次元空間内における位置情報を算出する技術が提案されている（例えば、非特許文献２）。この技術では、対応点の位置情報を算出する処理を、検出された全ての対応点に施すことにより、被写体表面を構成する点の位置が求められる。また、位置情報が得られた３つの点の組み合わせを定めることで、被写体表面を構成する面（メッシュ）が得られる。また、全ての点の組み合わせが決定されると三次元メッシュモデルが生成される。そして、各メッシュに該当する領域の画像を多視点画像から抽出してテクスチャ画像とし、全てのメッシュに対してテクスチャ画像の貼り付けを行った後に、再現したい画像の視点に合わせて陰面処理を施すことで、任意視点における観察画像が生成される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】山尾、酒井、伊藤、青木、”動画像からの高精度・高密度な3次元点群の復元に関する検討”、情報処理学会研究報告、2013-CVIM-187(17),pp.1-8、2013.
【非特許文献２】矢口、木村、斎藤、金出、”未校正多視点カメラシステムを用いた任意視点画像生成”、情報処理学会論文誌コンピュータビジョンとイメージメディア（CVIM）Vol.42, No, SIG 6 (CVIM). pp.9-21, 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
各メッシュに貼り付けるテクスチャ画像を撮影画像（多視点画像）から抽出する際に適切な撮影画像が選択できない場合には、陰影や幾何的制約の影響により、テクスチャ画像における色、明るさ、及び空間解像度等の品質が不十分となる場合があった。そして、この場合、最終的に出力される任意視点からの画像も、実物に対する忠実度が低下する。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理装置は、画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得する画像取得部と、前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成するメッシュモデル生成部と、前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出する重み係数算出部と、前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成するテクスチャ画像生成部と、を含んで構成されている。
【０００８】
本発明に係る画像処理方法は、画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得し、前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成し、前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出し、前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成する。
【０００９】
また、本発明のプログラムは、コンピュータを、上記の画像処理装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、三次元メッシュモデルの各メッシュと画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じた重み係数を算出し、重み係数に応じた重み付けを行ってテクスチャ画像を生成することにより、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る画像処理システムのブロック図である。
【図２】被写体を複数の異なる視点から撮影する手法の一例を示す図である。
【図３】被写体を複数の異なる視点から撮影する手法の一例を示す図である。
【図４】被写体を複数の異なる視点から撮影する手法の一例を示す図である。
【図５】実施の形態に係る対応点の位置及び奥行きを算出する処理を説明するための図である。
【図６】実施の形態に係るメッシュを説明するための図である。
【図７】実施の形態に係るメッシュ幾何情報を算出する処理を説明するための図である。
【図８】実施の形態に係る重み係数を算出する処理の一例を説明するための図である。
【図９】実施の形態に係る重み係数を算出する処理の一例を説明するための図である。
【図１０】実施の形態に係る出力画像を生成する処理を説明するための図である。
【図１１】実施の形態に係る画像処理装置の画像処理の処理ルーチンを示すフローチャートである。
【図１２】変形例に係る画像処理システムのブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１３】
＜画像処理システムの構成＞
本実施の形態に係る画像処理システムの構成について説明する。図１に示すように、本実施の形態に係る画像処理システム１０は、画像撮影装置の一例としての複数のカメラ２０１〜２０Ｎと、画像処理装置３０とを備えている。
【００１４】
カメラ２０１〜２０Ｎは、被写体を複数の異なる視点から撮影可能なように、三次元的（例えば、水平方向）に配置される。なお、Ｎは２以上の整数である。例えば、図２に示すように、３台のカメラが水平方向に並べられて配置される。
【００１５】
なお、被写体を複数の異なる視点から撮影可能であれば、カメラは１台でもよい。例えば、図３に示すように、１台のカメラを固定し、被写体を一方向（図３の例では水平方向）に回転させながら、複数回被写体を撮影してもよい。また、例えば、図４に示すように、１台のカメラを一方向（図４の例では水平方向）に移動させて、複数の異なる位置で被写体を撮影してもよい。
【００１６】
本実施の形態に係る画像処理装置３０は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。画像処理装置３０は、機能的には図１に示すように、画像取得部３１、撮影幾何情報記憶部３２、立体形状推定部３３、メッシュモデル生成部３４、メッシュ幾何情報計算部３５、重み係数算出部３６、テクスチャ画像生成部３７、出力画像生成部３８、及び色再現処理部３９を備えている。
【００１７】
画像取得部３１は、照明光源からの照明光が照射されているときに立体形状の推定対象の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像（以下、単に「撮影画像」という）を取得する。また、画像取得部３１は、チェッカーパターン等の予め立体形状、及びテクスチャのパターンが既知の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の画像を取得する。詳細は後述するが、この予め撮影して得られた画像は撮影幾何情報の算出に用いられるため、以下では、「撮影幾何情報算出用画像」という。なお、立体形状の推定対象の被写体の一部の形状が既知である場合は、撮影画像が撮影幾何情報算出用画像を兼ねてもよい。
【００１８】
撮影幾何情報記憶部３２は、画像取得部３１により取得された撮影幾何情報算出用画像の各々に基づいて、カメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータ（画素数、画角度、及び焦点距離等）を算出する。撮影幾何情報算出用画像がチェッカーパターンを有する被写体を撮影した画像の場合、チェッカーパターンの各矩形の辺の長さが既知であるため、画像中の各矩形と既知の辺の長さとに基づいて、カメラ２０１〜２０Ｎと被写体との位置関係が算出される。また、撮影幾何情報算出用画像が立体形状が既知の被写体を撮影した画像の場合、被写体の立体形状と、画像内の被写体の輝度値と、カメラ２０１〜２０Ｎと被写体との位置関係とに基づいて、照明光源とカメラ２０１〜２０Ｎとの位置関係が算出される。そして、撮影幾何情報記憶部３２は、算出したカメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを、算出に用いた撮影幾何情報算出用画像を撮影したカメラ２０１〜２０Ｎにより撮影された撮影画像に対応付けて、撮影幾何情報データとしてメモリに出力する。なお、撮影幾何情報記憶部３２は、撮影幾何情報データを、電子ファイルとして不揮発性の記憶部に出力してもよい。また、撮影幾何情報データを予め記憶部に記憶しておき、撮影画像の撮影時に読み出してもよい。
【００１９】
立体形状推定部３３は、図５に示すように、複数の撮影画像の各ペア間で対応点の追跡を行い、撮影幾何情報データを用いて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出する。立体形状推定部３３は、この位置及び奥行きを算出する処理を、検出された全ての対応点について行うことによって、三次元点群データを生成する。なお、本実施の形態では、立体形状推定部３３は、画像間での対応点を検出する際に画像中の特徴量を算出するが、この特徴量の算出において、画像の振幅情報及び位相情報の少なくとも一方を使用する。
【００２０】
図６に示すように、立体形状推定部３３により生成された三次元点群データの中から３点を選択することで１つの面（三角形のメッシュ）を定義することができる。メッシュモデル生成部３４は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、立体形状推定部３３により生成された三次元点群データから、被写体表面をメッシュで表現した三次元メッシュモデルを生成する。
【００２１】
図７に示すように、各メッシュを構成する３点が決まると、３点の位置及び奥行きに基づいて、そのメッシュの法線を算出することができる。メッシュ幾何情報計算部３５は、メッシュの位置と法線の向きと撮影幾何情報データとを用いて、メッシュに対する各撮影画像を撮影した際のカメラ２０１〜２０Ｎの位置及び姿勢を算出する。また、メッシュ幾何情報計算部３５は、メッシュの位置と法線の向きと撮影幾何情報データとを用いて、メッシュと照明光源との位置関係及び照明光源からの照明光の入射角を算出する。なお、この入射角はメッシュの法線と照明光源からの照明光の光軸とがなす角である。また、以下では、メッシュ幾何情報計算部３５が算出したメッシュに対する各撮影画像を撮影した際のカメラの位置及び姿勢と、メッシュと照明光源との位置関係及び照明光源からの照明光の入射角と、を「メッシュ幾何情報データ」という。
【００２２】
重み係数算出部３６は、三次元メッシュモデルの各メッシュに対し、当該メッシュのメッシュ幾何情報データに基づいて、当該メッシュに対応する画像情報が含まれる撮影画像の各々の重み係数を算出する。
【００２３】
図８に示すように、メッシュの法線方向とカメラの光軸（視線方向）とが一致する撮影画像においては、メッシュ領域（テクスチャとして使用される領域）における空間解像度が最大となる。そこで、重み係数算出部３６は、テクスチャの解像度を最優先とする場合には、メッシュの法線方向とカメラの光軸とが一致する撮影画像の重み係数を１とし、一致しない撮影画像の重み係数を０とする。なお、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とが一致する撮影画像が無い場合は、メッシュの法線方向とカメラの光軸とが最も近い撮影画像の重み係数を１とし、それ以外の撮影画像の重み係数を０としてもよい。また、例えば、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲内の撮影画像の重み係数を１とし、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲外の撮影画像の重み係数を０としてもよい。また、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が小さいほど大きい値を重み係数として算出してもよい。この場合の重み係数としては、例えば、メッシュの法線方向とカメラの光軸とのなす角のコサイン値が挙げられる。
【００２４】
また、メッシュにおける照明光源からの照明光の正反射方向とカメラの光軸とが一致する場合、もしくは比較的近い場合には、メッシュに対応する撮影画像中の領域に照明光の正反射が含まれる可能性が高い。そこで、重み係数算出部３６は、テクスチャの色情報を最優先とする場合には、照明光の正反射の影響を除去するために、照明光の正反射方向とカメラの光軸とのなす角が所定の範囲内である撮影画像の重み係数を０とし、照明光の正反射方向とカメラの光軸とのなす角が所定の範囲外である撮影画像の重み係数を１とする。なお、重み係数算出部３６は、照明光の正反射方向とカメラの光軸とのなす角が大きいほど大きい値を重み係数として算出してもよい。この場合の重み係数としては、例えば、メッシュの法線方向とカメラの光軸とのなす角のサイン値が挙げられる。また、図９に示すように、照明光の入射角の影響を抑制するために、照明光の入射角のコサイン値を撮影画像の重み係数としてもよい。この場合の重み係数は０以上１以下の値となる。なお、照明光の入射角が小さいほど大きい値であれば、重み係数は照明光の入射角のコサイン値に限定されず、例えば、照明光の入射角のコサイン値のｎ乗（指数乗）を重み係数としてもよい。また、オイラーの公式に基づき、コサイン関数の代わりに、複素指数（exp(ai)＝cos a＋i sin a）の指数乗を重み係数として用いてもよい。
【００２５】
また、重み係数算出部３６は、空間解像度と色情報とのバランスを取る場合には、前述した３つの手法を組み合わせて撮影画像の重み係数を算出してもよい。例えば、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲内の撮影画像の重み係数を１とし、この重み係数に、照明光の入射角から算出される重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数としてもよい。また、例えば、３つの手法のそれぞれで算出された重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数としてもよい。
【００２６】
なお、１枚の撮影画像には複数のメッシュに対応する領域が含まれている場合が多いため、１枚の撮影画像には、複数のメッシュのそれぞれに関する重み係数がメッシュに対応付けられる形式となる。
【００２７】
また、空間解像度と色情報との何れを優先するか、又は空間解像度と色情報とのバランスを取るかは、例えば、ユーザにより指定することができる。
【００２８】
テクスチャ画像生成部３７は、撮影画像から各メッシュに対応する領域の画像を抽出し、各メッシュに対応するテクスチャ画像を生成する。この際、テクスチャ画像生成部３７は、各メッシュに対し、各撮影画像から抽出した画像に、各撮影画像の当該メッシュに対応付けられた重み係数を乗算し、乗算した結果を加算することによって、当該メッシュに対応するテクスチャ画像を生成する。なお、テクスチャ画像生成部３７は、重み係数が０の撮影画像は予め処理の対象外としてもよい。
【００２９】
出力画像生成部３８は、図１０に示すように、ユーザ等により指定された位置の視点から被写体を見た画像であって、例えば表示装置等の画像出力装置に出力するための画像（以下、「出力画像」という）を生成する。具体的には、出力画像生成部３８は、三次元メッシュモデル及びメッシュ幾何情報データに基づいて、テクスチャ画像生成部３７により生成されたテクスチャ画像を三次元メッシュモデルの各メッシュに貼り付ける。また、出力画像生成部３８は、指定された視点、照明光源の位置及び方向と、三次元メッシュモデル及びメッシュ幾何情報データとに基づいて、各メッシュと視点との位置関係、及び各メッシュに対する照明光の入射角を算出する。そして、出力画像生成部３８は、指定された視点からは観察できないメッシュを除去する陰面処理を行った後に、光線追跡処理並びに陰影処理を行うことによって、指定された視点から観察された被写体を表す画像に相当する出力画像を生成する。なお、撮影画像がマルチバンド画像の場合は、出力画像生成部３８が生成する出力画像もマルチバンド画像でもよい。
【００３０】
色再現処理部３９は、入力された色再現パラメータに基づき、出力画像生成部３８により出力された出力画像の各画素に対応する色を算出し、算出した各画素の色を画像出力装置に出力する。なお、色再現パラメータの例としては、カメラ２０１〜２０Ｎのカメラ感度等の光学特性、画像撮影時の照明光に関する分光情報、再現したい環境での照明光に関する分光情報、及び画像出力装置の特性データ等が挙げられる。
【００３１】
例えば、画像取得部３１により取得された撮影画像がカラー画像である場合、すなわち、出力画像生成部３８により出力された出力画像がカラー画像である場合、色再現処理部３９は、画像出力装置の特性に合わせた画像補正処理（色変換及びガンマ補正等）を行う。
【００３２】
また、出力画像生成部３８により出力された出力画像がマルチバンド画像である場合、色再現処理部３９は、色再現パラメータを用いて、分光反射率の推定、反射光スペクトルの算出、カラー画像（ＲＧＢ画像及びＬａｂ画像等）への変換、及び画像出力装置の特性に合わせた補正処理を順次行う。なお、この場合、色再現処理部３９は、分光反射率の推定及び反射光スペクトルの算出を行わずに、直接、マルチバンド画像からカラー画像を算出してもよい。また、色再現処理部３９による色再現処理は、テクスチャ画像生成部３７によるテクスチャ画像の生成時に行ってもよいし、出力画像生成部３８が出力画像を生成する際に用いるテクスチャ画像に対して行ってもよい。
【００３３】
＜画像処理システムの作用＞
次に、本実施の形態に係る画像処理システム１０の作用について説明する。複数のカメラ２０１〜２０Ｎが立体形状の推定対象の被写体を撮影して得られた複数の撮影画像が画像処理装置３０に入力されると、画像処理装置３０によって図１１に示す画像処理ルーチンが実行される。なお、ここでは、撮影幾何情報算出用画像は予め撮影され、カメラ２０１〜２０Ｎの各々に記憶されている場合について説明する。
【００３４】
ステップＳ１０では、画像取得部３１は、カメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像、及び複数の撮影幾何情報算出用画像をカメラ２０１〜２０Ｎから取得する。次に、ステップＳ１２では、撮影幾何情報記憶部３２は、前述したように、ステップＳ１０で取得された撮影幾何情報算出用画像の各々に基づいて、カメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを算出する。そして、撮影幾何情報記憶部３２は、算出したカメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを、算出に用いた撮影幾何情報算出用画像を撮影したカメラ２０１〜２０Ｎにより撮影された撮影画像に対応付けて、撮影幾何情報データとしてメモリに出力する。
【００３５】
次に、ステップＳ１４では、立体形状推定部３３は、ステップＳ１０で取得された複数の撮影画像の各ペア間で対応点の追跡を行い、各ペアの撮影画像に対応する撮影幾何情報データを用いて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出する。立体形状推定部３３は、この位置及び奥行きを算出する処理を、検出された全ての対応点について行うことによって、三次元点群データを生成する。
【００３６】
次に、ステップＳ１６では、メッシュモデル生成部３４は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、ステップＳ１４で生成された三次元点群データから、被写体表面をメッシュで表現した三次元メッシュモデルを生成する。
【００３７】
次に、ステップＳ１８では、メッシュ幾何情報計算部３５は、ステップＳ１６で生成された三次元メッシュモデルの各メッシュについて、メッシュの位置と法線の向きとステップＳ１２で算出された撮影幾何情報データとを用いて、メッシュ幾何情報データを算出する。次に、ステップＳ２０では、重み係数算出部３６は、前述したように、ステップＳ１６で生成された三次元メッシュモデルの各メッシュに対し、ステップＳ１８で算出された当該メッシュのメッシュ幾何情報データに基づいて、当該メッシュに対応する画像情報が含まれる撮影画像の各々の重み係数を算出する。
【００３８】
次に、ステップＳ２２では、テクスチャ画像生成部３７は、撮影画像から各メッシュに対応する領域の画像を抽出し、各メッシュに対応するテクスチャ画像を生成する。この際、テクスチャ画像生成部３７は、各メッシュに対し、各撮影画像から抽出した画像に、各撮影画像の当該メッシュに対応付けられた重み係数を乗算し、乗算した結果を加算することによって、当該メッシュに対応するテクスチャ画像を生成する。
【００３９】
次に、ステップＳ２４では、出力画像生成部３８は、三次元メッシュモデル及びメッシュ幾何情報データに基づいて、ステップＳ２２で生成されたテクスチャ画像を三次元メッシュモデルの各メッシュに貼り付ける。また、出力画像生成部３８は、指定された視点、照明光源の位置及び方向と、三次元メッシュモデル及びメッシュ幾何情報データとに基づいて、各メッシュと視点との位置関係、及び各メッシュに対する照明光の入射角を算出する。そして、出力画像生成部３８は、指定された視点からは観察できないメッシュを除去する陰面処理を行った後に、光線追跡処理並びに陰影処理を行うことによって、指定された視点から観察された被写体を表す画像に相当する出力画像を生成する。
【００４０】
次に、ステップＳ２６では、色再現処理部３９は、前述したように、入力された色再現パラメータに基づき、出力画像生成部３８により出力された出力画像の各画素に対応する色を算出し、算出した各画素の色を画像出力装置に出力する。ステップＳ２６の処理が終了すると、画像処理ルーチンが終了する。
【００４１】
以上説明したように、本実施の形態に係る画像処理装置によれば、三次元メッシュモデルの各メッシュと画像撮影装置及び照明光源との位置関係及び姿勢に応じた重み係数を算出し、重み係数に応じた重み付けを行ってテクスチャ画像を生成することにより、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる。
【００４２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４３】
例えば、上記実施の形態では、画像処理装置３０の各機能部を、プログラムを実行することによって実現する場合を例に説明したが、これに限定されない。例えば、画像処理装置３０の各機能部を、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組み合わせで実現してもよい。
【００４４】
また、上記実施の形態において、重み係数算出部３６は、メッシュの法線方向と画像の撮影時のカメラの光軸とがなす角と、メッシュの法線方向と出力画像生成部３８が出力画像を生成する際に使用する指定された視点からの視線方向とがなす角と、の差に応じて重み係数を算出してもよい（変形例１）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。
【００４５】
また、上記実施の形態において、重み係数算出部３６は、メッシュにおける画像の撮影時の照明光の正反射方向とカメラの光軸とのなす角と、メッシュにおける出力画像生成部３８が出力画像を生成する際に使用する指定された照明光源からの照明光の正反射方向と指定された視点からの視線方向とのなす角と、の差に応じて重み係数を算出してもよい（変形例２）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。
【００４６】
また、上記実施の形態において、重み係数算出部３６は、メッシュの法線方向に対する画像の撮影時の照明光の入射角と、メッシュの法線方向に対する出力画像生成部３８が出力画像を生成する際に使用する指定された照明光源からの照明光の入射角と、差に応じて重み係数を算出してもよい（変形例３）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。
【００４７】
これらの３つの変形例では、複数の異なる視点で撮影された画像に対し、指定された視点及び光源に応じて生成される出力画像（すなわち、再現したい画像）により近い状況で撮影されて得られた画像の重み係数が大きくなるため、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる。また、これらの３つの変形例では、図１２に示すように、重み係数算出部３６に対して、指定された視点及び照明光源の位置や姿勢等の再現環境幾何情報データが入力される。また、これらの３つの変形例の重み係数の算出手法と上記実施の形態で説明した３つの重み係数の算出手法との２つ以上を組み合わせて撮影画像の重み係数を算出してもよい。この場合、組み合わせの算出手法の各々により算出された重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数とする形態が例示される。
【００４８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００４９】
１０  画像処理システム
２０１〜２０Ｎ  カメラ
３０  画像処理装置
３１  画像取得部
３２  撮影幾何情報記憶部
３３  立体形状推定部
３４  メッシュモデル生成部
３５  メッシュ幾何情報計算部
３６  重み係数算出部
３７  テクスチャ画像生成部
３８  出力画像生成部
３９  色再現処理部
【図１】
2019020952.tif 000003
【図２】
2019020952.tif 000004
【図３】
2019020952.tif 000005
【図４】
2019020952.tif 000006
【図５】
2019020952.tif 000007
【図６】
2019020952.tif 000008
【図７】
2019020952.tif 000009
【図８】
2019020952.tif 000010
【図９】
2019020952.tif 000011
【図１０】
2019020952.tif 000012
【図１１】
2019020952.tif 000013
【図１２】
2019020952.tif 000014