(57)【要約】【課題】ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供する。【解決手段】関数算出装置は、参照視点画像及び複数の近傍視点画像を受信する正規化部と、参照視点画像及び近傍視点画像をステレオペア毎に平行化する正規化部と、平行化したステレオペアの視差を正規化する正規化部と、視差を正規化したステレオペアの参照視点画像及び近傍視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、マッチングウィンドウを定めるウィンドウ設定部と、マッチングウィンドウの間の１次元ＰＯＣ関数を、視差を正規化したステレオペア毎に算出する関数算出部と、１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する関数統合部と、を備える。【選択図】図１
2014174930.tif 000002
【特許請求の範囲】
【請求項１】
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、
平行化したステレオペアの視差を正規化する正規化部と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるウィンドウ設定部と、
前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、
を備えることを特徴とする関数算出装置。
【請求項２】
前記ウィンドウ設定部は、前記物体の表面の線分の長さに基づいて拡大縮小率を定め、前記拡大縮小率に基づいて、それぞれ前記マッチングウィンドウのサイズを定めることを特徴とする請求項１に記載の関数算出装置。
【請求項３】
前記ウィンドウ設定部は、前記物体の表面の法線ベクトルに基づいて傾きを定め、前記傾きに基づいて、それぞれ前記マッチングウィンドウを定めることを特徴とする請求項１又は請求項２に記載の関数算出装置。
【請求項４】
前記関数算出部は、前記マッチングウィンドウの間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする請求項１から請求項３のいずれか一項に記載の関数算出装置。
【請求項５】
前記関数算出部は、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の関数算出装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置。
【請求項７】
関数算出装置における関数算出方法であって、
受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、
平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、
正規化部が、平行化したステレオペアの視差を正規化するステップと、
ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるステップと、
関数算出部が、前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、
関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、
を有することを特徴とする関数算出方法。
【請求項８】
コンピュータに、
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、
平行化したステレオペアの視差を正規化する手順と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める手順と、
前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、
を実行させるための関数算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の相関関数を算出する関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムに関する。
【背景技術】
【０００２】
多方向から物体が撮像されている複数の２次元画像（以下、「多視点画像」という。）に基づいて、その物体の表面形状を復元する３次元復元技術がある。近年、３次元復元技術の発達に伴い、復元された物体の表面形状を表すメッシュモデル（３次元形状モデル）が、多視点画像のみに基づいて、高精度に生成されるようになった。
【０００３】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ステレオペア（画像ペア）間の基線長が長いほど、又は、３次元復元対象の物体がカメラに対して大きく傾いているほど、ステレオペア間の画像変形は大きくなる。特許文献１に開示された関数算出装置は、ステレオペア間の画像変形が大きい場合、ステレオペアの相関関数を精度良く算出することができない場合がある、という問題がある。ステレオペアの相関関数が精度良く算出されなければ、相関関数に基づくデプスマップ（奥行きマップ）の精度が低下してしまうので、そのデプスマップに基づくメッシュモデルの精度も低下してしまうこととなる。
【０００６】
本発明は、前記の点に鑑みてなされたものであり、ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、平行化したステレオペアの視差を正規化する正規化部と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるウィンドウ設定部と、前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、を備えることを特徴とする関数算出装置である。
【０００８】
また、本発明の一態様は、前記ウィンドウ設定部が、前記物体の表面の線分の長さに基づいて拡大縮小率を定め、前記拡大縮小率に基づいて、それぞれ前記マッチングウィンドウのサイズを定めることを特徴とする関数算出装置である。
【０００９】
また、本発明の一態様は、前記ウィンドウ設定部が、前記物体の表面の法線ベクトルに基づいて傾きを定め、前記傾きに基づいて、それぞれ前記マッチングウィンドウを定めることを特徴とする関数算出装置である。
【００１０】
また、本発明の一態様は、前記関数算出部が、前記マッチングウィンドウの間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする関数算出装置である。
【００１１】
また、本発明の一態様は、前記関数算出部が、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする関数算出装置である。
【００１２】
また、本発明の一態様は、関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置である。
【００１３】
また、本発明の一態様は、関数算出装置における関数算出方法であって、受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、正規化部が、平行化したステレオペアの視差を正規化するステップと、ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるステップと、関数算出部が、前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、
を有することを特徴とする関数算出方法である。
【００１４】
また、本発明の一態様は、コンピュータに、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、平行化したステレオペアの視差を正規化する手順と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、前記物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める手順と、前記マッチングウィンドウの間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、を実行させるための関数算出プログラムである。
【発明の効果】
【００１５】
本発明によれば、関数算出装置、関数算出方法及び関数算出プログラムは、ウィンドウ設定部が、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める。これにより、関数算出装置、関数算出方法及び関数算出プログラムは、ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態における、演算処理装置の構成を表す図である。
【図２】本発明の一実施形態における、１次元位相限定相関法の概要を表す図である。
【図３】本発明の一実施形態における、３次元点と視差との関係を表す図である。
【図４】本発明の一実施形態における、１次元位相限定相関法による相関関数をステレオペア毎に表す図である。
【図５】本発明の一実施形態における、関数算出装置の動作手順を表すフローチャートである。
【図６】本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表す図である。
【図７】本発明の一実施形態における、奥行きの探索手順を表すフローチャートである。
【図８】本発明の一実施形態における、ステレオペアのそれぞれに定められたマッチングウィンドウを表す図である。
【図９】本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表すフローチャートである。
【図１０】本発明の一実施形態における、生成されたメッシュモデルの例を表す図である。
【発明を実施するための形態】
【００１７】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、演算処理装置の構成が表されている。演算処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、バス４００を介して記憶装置２００及び出力装置３００に接続されている。
【００１８】
演算処理装置１００は、多視点画像を記憶装置２００から読み込み、これら多視点画像を構成するステレオペアの視差を正規化する。ここで、正規化とは、例えば、同一平面上に設置されていない複数のカメラから物体が撮像されたステレオペアの視差を、参照視点と、参照視点の近傍に仮想的に設置されたカメラからの視点（近傍視点）との視差となるように、カメラパラメータ（例えば、座標系、焦点距離）を用いて、視差を変換することである。正規化の詳細については、図３を用いて後述する。
【００１９】
また、演算処理装置１００は、視差が正規化されたステレオペアからマッチングウィンドウを定めて切り出し、切り出したマッチングウィンドウ毎にステレオペアの相関関数を算出する。また、演算処理装置１００は、マッチングウィンドウ毎に算出した相関関数のうち、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが高い相関関数のみを統合し、統合した相関関数に基づいてデプスマップｄｅｐを生成する。ここで、デプスマップとは、多視点画像に撮像されている物体の表面形状の奥行きを表すマップ情報である。また、演算処理装置１００は、生成したデプスマップｄｅｐに基づいて、物体の表面形状が復元されたメッシュモデルを生成し、生成したメッシュモデルを表すデータを出力装置３００に出力する。
【００２０】
以下では、画像信号の位相成分に着目した画像マッチング手法である位置限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づく相関関数（以下、「ＰＯＣ関数」という。）が、相関関数の一例として用いられるものとして説明を続ける。
【００２１】
まず、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率を用いて、ステレオペア間の画像変形を表現する場合について説明する。
【００２２】
１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法について説明する。
平行化したステレオペアでは、ステレオペアの一方の画像（以下、「参照視点画像」という。）から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像（以下、「近傍視点画像」という。）から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが１次元方向に並ぶので、演算処理装置１００は、１次元ＰＯＣ関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。
【００２３】
図２には、１次元位相限定相関法の概要が表されている。１次元画像におけるＮ（Ｎは、正の整数）個の点について、１次元画像信号ｆ(ｎ)、及び１次元画像信号ｇ（ｎ）が与えられた場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の平行移動量は、１次元ＰＯＣに基づいて算出される。ここで、１次元画像信号の離散時間インデックスｎは、ｎ＝−Ｍ，…，Ｍ（Ｍは、正の整数）であるとする。また、Ｎ＝２Ｍ＋１とする。
【００２４】
１次元画像信号ｆ(ｎ)の１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＤＦＴ) 結果は、式（１）により表される。また、１次元画像信号ｇ(ｎ) の１次元離散フーリエ変換結果は、式（２）により表される。
【００２５】
【数１】
2014174930.tif 000003
【００２６】
ここで、ｋ＝−Ｍ，…，Ｍは、離散周波数インデックスである。また、ＷＮ＝ｅ−ｊ２π／Ｎは、回転因子である。また、ＡＦ (ｋ) 及びＡＧ(ｋ) は、振幅スペクトルである。また、θＦ（ｋ）及びθＧ（ｋ）は、位相スペクトルである。また、正規化相互パワースペクトルＲ（ｋ）は、式（３）により表される。
【００２７】
【数２】
2014174930.tif 000004
【００２８】
ここで、上付き線が付いているＧ（ｋ）は、Ｇ（ｋ）の複素共役である。また、θＦ（ｋ）−θＧ（ｋ）は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の位相差スペクトルである。
【００２９】
また、１次元ＰＯＣ関数ｒ（ｎ）は、正規化相互パワースペクトルＲ（ｋ）の１次元逆離散フーリエ変換(Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＩＤＦＴ) として、式（４）により表される。
【００３０】
【数３】
2014174930.tif 000005
【００３１】
ステレオペアである１次元画像信号ｆ（ｎ）及び１次元画像信号ｇ（ｎ）が、微小な平行移動量δだけ互いに平行移動した関係にある場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) のＰＯＣ関数ｒ(ｎ) は、式（５）により表される。
【００３２】
【数４】
2014174930.tif 000006
【００３３】
式（５）は、１次元画像信号が平行移動量δだけ微小に平行移動した場合のＰＯＣ関数の一般形を表している。ここで、αは、相関ピークの高さ（ピーク値）を表現するために導入されたパラメータである。無相関なノイズが画像に加わると、相関ピークの高さαの値が減少するため、実際にはα≦１となる。この場合、ＰＯＣ関数の相関ピークの高さαは、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ)の類似度の指標に相当する。また、相関ピークの位置座標は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) の平行移動量δに相当する。
【００３４】
したがって、１次元画像信号間の類似度は、相関ピークの高さαに基づいて算出される。また、１次元画像信号間の平行移動量δは、相関ピークの位置座標に基づいて、サブピクセル精度で算出される。
【００３５】
実際の多視点画像では、視点の基線長の変化に伴う歪み、及びデジタル画像に生じるノイズの影響により、平行移動量δに推定誤差が生じることがある。そこで、１次元ＰＯＣ関数を用いて平行移動量δを算出する際に重要となる各種の高精度化手法について、以下に説明する。
【００３６】
１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）では、信号波形が周期的に循環することを仮定するため、信号波形の端点での不連続性が問題となる。この不連続性の影響を軽減するため、１次元画像信号ｆ(ｎ) 及びｇ(ｎ) に対して窓関数ｗ（ｎ）を適用する。以下では、窓関数として、式（６）に示す１次元ハニング窓を用いるものとする。
【００３７】
【数５】
2014174930.tif 000007
【００３８】
また、自然画像では一般に低周波数成分にエネルギーが集中し、高周波数成分のエネルギーは低周波数成分と比較して小さくなることが知られている。このため、エイリアシング（周波数成分の折り返し）、雑音（ノイズ）、歪みなどの外乱が画像に加わった場合、高周波数成分の信号対雑音比（ＳＮ比）は大幅に低下する。
【００３９】
そこで、演算処理装置１００（図１を参照）は、信頼性の低い高周波数成分の影響を抑制するため、正規化相互パワースペクトルＲ（ｋ）を算出する際に、低域通過型のスペクトル重み付け関数Ｈ(ｋ)を適用する。以下では、スペクトル重み付け関数として、式（７）に表されるガウス関数を用いるものとする。
【００４０】
【数６】
2014174930.tif 000008
【００４１】
ここで、σは、ガウス関数の幅を表す定数である。以下では、一例として、σ＝√（０．５）とする。この場合、相関ピークモデルは、式（８）に表されるガウス型になる。
【００４２】
【数７】
2014174930.tif 000009
【００４３】
平行移動量δは一般に実数値であるため、ＰＯＣ関数の相関ピークの位置座標は、サンプリング格子点の間、すなわち、画像のピクセル間に存在する。そこで、演算処理装置１００は、相関ピークモデルを表す式（８）を、実際に算出されたＰＯＣ関数の数値データに対してフィッティングすることにより、画像のピクセル間に存在する相関ピークの位置座標を推定する。この場合、相関ピークの高さα、及び平行移動量δが、フィッティングパラメータとなる。以下では、フィッティング手法の一例として、非線型最小２乗問題の解法の一つである「Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法」を用いるものとする。
【００４４】
演算処理装置１００は、ＰＯＣ関数に基づく画像マッチング手法をステレオペア間の対応付けに適用する場合、物体表面の注目点が撮像された画像における対応点の座標を中心にマッチングウィンドウを定めて切り出し、切り出したウィンドウ間のＰＯＣ関数を算出する。この場合、わずか１組のウィンドウに基づいてＰＯＣ関数の相関ピークの位置座標を高精度に算出することは、ノイズの影響もあることから困難である。
【００４５】
そこで、演算処理装置１００は、注目点が撮像された複数のステレオペアからマッチングウィンドウをそれぞれ定めて切り出し、切り出した複数のマッチングウィンドウから１次元画像信号を抽出する。また、１次元画像信号に基づく１次元ＰＯＣ関数は、複数のステレオペアに基づいて平均化されることで統合される。以下、平均化されたＰＯＣ関数を「平均ＰＯＣ関数」という。相関ピークα及び平行移動量δの算出に平均ＰＯＣ関数を用いることで、ノイズの影響を抑えることが可能となる。
以上が、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法についての説明である。
【００４６】
図１に戻り、演算処理装置１００の構成の説明を続ける。演算処理装置１００は、関数算出装置１１０と、デプスマップ生成装置１２０と、メッシュモデル生成装置１３０とを備える。関数算出装置１１０は、ＰＯＣ関数の相関ピークの位置座標、すなわち、マッチングウィンドウの平行移動量δに基づいて、画像に撮像された３次元点（注目点）の座標を算出する。関数算出装置１１０は、正規化部１１１と、ウィンドウ設定部１１２と、関数算出部１１３と、関数統合部１１４とを備える。
【００４７】
正規化部１１１は、ステレオペアを構成する参照視点画像及び近傍視点画像を平行化する。また、正規化部１１１は、注目ピクセル及びカメラパラメータに基づいて、複数のステレオペアの視差を正規化する。複数のステレオペアの視差を正規化することにより、関数算出装置１１０は、カメラが同一平面上に設置されていない場合でも、相関関数を統合することができる。
【００４８】
正規化部１１１は、カメラパラメータ（例えば、座標系、焦点距離）が既知である多視点画像Ｖ＝｛Ｖ０，…，ＶＦ−１｝のうち、参照視点画像ＶＲ∈Ｖと、その近傍の視点から撮像された近傍視点画像Ｃ＝｛Ｃ０，…，ＣＫ−１｝⊂Ｖ−｛ＶＲ｝とを、記憶装置２００から読み込む。ここで、Ｆは、多視点画像の枚数である。また、Ｋは、近傍視点画像Ｃの枚数である。
【００４９】
正規化部１１１は、近傍視点画像Ｃのいずれかと参照視点画像ＶＲとの組から成るＫ組のステレオペアを、カメラパラメータにより平行化する。また、関数算出装置１１０は、平行化したステレオペアを構成する参照視点画像及び近傍視点画像からマッチングウィンドウを定めて切り出し、切り出したマッチングウィンドウの視差を正規化する。
【００５０】
正規化部１１１は、ステレオペアから切り出されたマッチングウィンドウの視差を、次のように正規化する。ここで、予め定められた世界座標と一致するように、参照視点画像ＶＲのカメラ座標が予め定められる。
【００５１】
正規化部１１１は、平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）におけるマッチングウィンドウの視差を、３次元点Ｍ＝（Ｘ，Ｙ，Ｚ）について算出する場合、参照視点画像ＶＲ及び近傍視点画像Ｃｉを、カメラパラメータにより平行化する。ここで、参照視点画像ＶＲのカメラ座標に対する回転行列Ｒｉは、式（９）により表される。
【００５２】
【数８】
2014174930.tif 000010
【００５３】
この場合、平行化したステレオペアにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、３次元点Ｍとの関係は、式（１０）により表される。
【００５４】
【数９】
2014174930.tif 000011
【００５５】
また、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、視差ｄｉとの関係は、式（１１）により表される。
【００５６】
【数１０】
2014174930.tif 000012
【００５７】
ここで、（ｕｉ，ｖｉ）は、平行化した参照視点画像ＶＲにおける、３次元点Ｍｉの対応点のピクセル座標を表す。また、（ｕ０ｉ，ｖ０ｉ）は、平行化した参照視点画像ＶＲにおける画角中心を表す。また、βｉは焦点距離を表す。また、Ｂｉは、ステレオペア間の基線長を表す。
【００５８】
３次元点Ｍと視差ｄｉとの関係は、式（１０）及び式（１１）に基づいて、式（１２）により表される。
【００５９】
【数１１】
2014174930.tif 000013
【００６０】
また、参照視点画像ＶＲと近傍視点画像Ｃｊ∈Ｃ−｛Ｃｉ｝との間には、式（１３）により示される関係が成り立つ。
【００６１】
【数１２】
2014174930.tif 000014
【００６２】
また、予め定められた世界座標における３次元点Ｍの座標は、式（１２）及び式（１３）に基づいて、式（１４）〜（１６）により表される。
【００６３】
【数１３】
2014174930.tif 000015
【００６４】
平行化したステレオペアＶＲ-Ｃｉの視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊの視差ｄｊとには、式（１７）により表される関係が成り立つ。
【００６５】
【数１４】
2014174930.tif 000016
【００６６】
したがって、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊにおける視差ｄｊとは、参照視点画像ＶＲにおける対応点のピクセル座標と、カメラパラメータとに依存する視差の倍率ｓにより関係付けられる。ここで、カメラパラメータは、焦点距離βｉ、及びステレオペア間の基線長Ｂｉである。
【００６７】
つまり、正規化された視差ｄは、各ステレオペアの視差の倍率ｓが考慮されることにより定められる。平行化したステレオペアＶＲ-Ｃｉ(ｉ＝０，…，Ｋ−１) が与えられた場合、平行化した各ステレオペアの視差ｄｉと、正規化された視差ｄとには、式（１８）により表される関係が成り立つ。式（１８）により、正規化部１１１は、平行化したステレオペアの視差を正規化する。
【００６８】
【数１５】
2014174930.tif 000017
【００６９】
ここで、ｓｉは、平行化した各ステレオペアの視差の倍率である。また、平行化していない参照視点画像ＶＲにおける対応点のピクセル座標（ｕ，ｖ）について、平行化した各ステレオペアの視差の倍率ｓｉは、式（１７）に基づいて式（１９）により表される。
【００７０】
【数１６】
2014174930.tif 000018
【００７１】
ここで、｜ｓ｜は、式（２０）により表される。
【００７２】
【数１７】
2014174930.tif 000019
【００７３】
この場合、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉは、式（２１）により表される。
【００７４】
【数１８】
2014174930.tif 000020
【００７５】
また、ウィンドウ設定部１１２は、視差を正規化したステレオペアについて、物体表面の注目点が撮像された画像における対応点を中心に、マッチングウィンドウを定める。また、関数算出部１１３は、ウィンドウ設定部１１２が定めたマッチングウィンドウの間のＰＯＣ関数を算出する。また、関数統合部１１４は、関数算出部１１３が算出した複数のＰＯＣ関数を統合する。
【００７６】
図３には、３次元点と視差との関係が表されている。平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）における視差は、３次元点Ｍ及び参照視点画像ＶＲを通る視線方向に、３次元点Ｍから微小量ΔＭ＝（ΔＸ，ΔＹ，ΔＺ）だけずれた位置に在る点Ｍ’（＝Ｍ＋ΔＭ）に基づいて定められる。
【００７７】
この場合、３次元点Ｍ’は、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、式（１２）とに基づいて、式（２２）により表される。
【００７８】
【数１９】
2014174930.tif 000021
【００７９】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける、真の位置に在る３次元点Ｍの視差ｄｉに対して、３次元点Ｍの視差ｄｉに誤差δｉが生じた場合、３次元点Ｍの視差ｄｉと、３次元点Ｍ’の視差ｄ’ｉとには、式（２３）により表される関係が成り立つ。
【００８０】
【数２０】
2014174930.tif 000022
【００８１】
局所的な画像変形は平行移動による画像変形のみであると仮定した場合、参照視点画像ＶＲにおける対応点を中心に定めて切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に定めて切り出したマッチングウィンドウｇｉとの平行移動量δｉは、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉ間の１次元ＰＯＣ関数の相関ピークの位置座標に基づいて算出される。
【００８２】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける平行移動量δiと、平行化したステレオペアＶＲ-Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ}) における平行移動量δj とが一致しない場合には、平行化したステレオペアＶＲ-Ｃｉに基づく相関ピークの位置座標と、平行化したステレオペアＶＲ-Ｃｊに基づく相関ピークの位置座標とは、一致しない。
【００８３】
例えば、図３では、平行化したステレオペアＶＲ‐Ｃ０の基線長Ｂ０よりも、平行化したステレオペアＶＲ‐Ｃ１の基線長Ｂ１の方が長い。このため、奥行き方向への同じ変化量ΔＺに対しては、平行化したステレオペアＶＲ‐Ｃ１における対応点の平行移動量δ１は、平行化したステレオペアＶＲ‐Ｃ０における対応点の平行移動量δ０より大きい。
【００８４】
図１に戻り、演算処理装置１００の構成の説明を続ける。ウィンドウ設定部１１２は、平行化した各ステレオペアから定めて切り出したマッチングウィンドウを、正規化された視差に基づいて拡大又は縮小する。関数算出部１１３は、ウィンドウ設定部１１２が定めて切り出したマッチングウィンドウの間の１次元ＰＯＣ関数を算出する。
【００８５】
関数統合部１１４は、関数算出部１１３が算出した１次元ＰＯＣ関数をステレオペア間で平均化することにより、１次元ＰＯＣ関数を統合する。これにより、マッチングウィンドウ毎に算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で統一される。ここで、３次元点Ｍについて正規化された視差ｄと、３次元点Ｍ’について正規化された視差ｄ’（＝ｄ＋δ）とに基づいて、３次元点Ｍ’は、式（２４）により表される。
【００８６】
【数２１】
2014174930.tif 000023
【００８７】
したがって、平行化したステレオペアＶＲ‐Ｃiにおける対応点を中心に切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に切り出したマッチングウィンドウｇｉとの平行移動量は、ｓｉδとなる。そこで、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉのウィンドウサイズは、それぞれｓｉｗと定められる。ウィンドウサイズｗは、予め定められた基準サイズである。
【００８８】
また、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されることで、１次元画像信号のマッチングウィンドウのウィンドウサイズは、ウィンドウサイズｗに共通化される。以下、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｆｉを、マッチングウィンドウｆｉ’と表記する。同様に、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｇｉを、マッチングウィンドウｇｉ’と表記する。
【００８９】
マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’に基づいて算出された１次元ＰＯＣ関数の相関ピークの位置座標は、マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’間の平行移動量δに相当する。ここで、平行化したステレオペアＶＲ‐Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ｝）から切り出したマッチングウィンドウのサイズは、ウィンドウサイズｓｊｗである。平行化したステレオペアＶＲ‐Ｃｊの１次元ＰＯＣ関数の相関ピークは、ウィンドウサイズｓｉｗとは異なるウィンドウサイズｓｊｗが（１／ｓｊ）倍に拡大又は縮小されることで、平行化したステレオペアＶＲ‐Ｃｉの１次元ＰＯＣ関数の相関ピークと一致するようになる。
【００９０】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小に加えて、対象物体の表面形状に応じたウィンドウサイズとなるように、マッチングウィンドウをさらに拡大又は縮小してもよい。
【００９１】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小の倍率を決定する際に、ウィンドウサイズ（倍率）を変化させた複数のマッチングウィンドウ毎に画像マッチングを実行し、１次元ＰＯＣ関数の相関ピークが最も高くなるウィンドウサイズを採用してもよい。
【００９２】
なお、多視点画像に基づいて３次元復元することを考慮すれば、複数のステレオペアにおいて、それぞれの左右の画像から切り出されたマッチングウィンドウのウィンドウサイズには、ステレオペア間で互いに関係性がある（例えば、近い位置に在るステレオペア同士では、同じようなウィンドウサイズとなる）。そこで、ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、マッチングウィンドウのサイズに制約を加えてもよい。
【００９３】
図４には、１次元位相限定相関法による相関関数（１次元ＰＯＣ関数）が、ステレオペア毎に表されている。図４（Ａ）には、正規化された視差の倍率ｓが考慮されず、平行化したすべてのステレオペアから、同じウィンドウサイズｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、マッチングウィンドウの間の平行移動量δｉは、ステレオペア毎に異なる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致しない。
【００９４】
一方、図４（Ｂ）には、正規化された視差の倍率ｓが考慮され、平行化した各ステレオペアから、同じウィンドウサイズｓｉｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、正規化された視差の倍率ｓが考慮されたことで、マッチングウィンドウの間の平行移動量δｉは、ステレオペア毎で同じになる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致する。したがって、平行化した各ステレオペアに基づいて算出された１次元ＰＯＣ関数は、位置座標がステレオペア間で一致しているので統合可能である。
【００９５】
関数統合部１１４は、ステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。予め定められた世界座標における３次元点Ｍ（注目点）の座標は、統合した１次元ＰＯＣ関数の相関ピークの位置座標に基づく平行移動量δを用いて、式（２５）により表される。
【００９６】
【数２２】
2014174930.tif 000024
【００９７】
ここで、オクルージョン（手前に在る物体が、背後に在る物体を隠す状態）により、３次元点Ｍが近傍視点画像Ｃｉ∈Ｃに写っていない場合、又は、物体境界において複数の視差を持つ領域からマッチングウィンドウが切り出された場合、そのマッチングウィンドウから算出される１次元ＰＯＣ関数の相関ピークの位置座標に、非常に大きい誤差が生じることが予想される。また、マッチングウィンドウの間の画像変形が平行移動のみによって近似できない場合、そのマッチングウィンドウから算出されるＰＯＣ関数の相関ピークの高さαが低くなることが、実験的に知られている。
【００９８】
そこで、関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力する。
【００９９】
デプスマップ生成装置１２０は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、デプスマップを生成する。これにより、デプスマップ生成装置は、オクルージョン及び物体境界などの影響を抑えながら、デプスマップを生成することができる。
【０１００】
メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。
【０１０１】
記憶装置２００は、参照視点画像ＶＲと、近傍視点画像Ｃと、デプスマップを表すデータと、メッシュモデルを表すデータとを記憶する。また、記憶装置２００は、処理に用いられる各種パラメータ、及びプログラムを記憶する。
【０１０２】
出力装置３００には、メッシュモデルを表すデータが入力される。出力装置３００は、メッシュモデルを表すデータに基づいて、復元された物体の表面形状を表示する。出力装置３００は、例えば、液晶ディスプレイ装置である。
【０１０３】
次に、関数算出装置の動作手順について説明する。
図５は、関数算出装置の動作手順を表すフローチャートである。関数算出装置１１０の正規化部１１１（図１を参照）は、参照視点画像ＶＲ及び近傍視点画像Ｃを、記憶装置２００から読み込む（ステップＳ１）。正規化部１１１は、ステレオペアを構成する参照視点画像ＶＲ及び近傍視点画像Ｃを平行化し、平行化したステレオペアの視差を正規化する（ステップＳ２）。
【０１０４】
ウィンドウ設定部１１２（図１を参照）は、ステレオペアから切り出すマッチングウィンドウのウィンドウサイズを、視差の倍率に基づいて拡大又は縮小する（ステップＳ３）。関数算出部１１３は（図１を参照）、拡大又は縮小されたマッチングウィンドウの間の１次元ＰＯＣ関数を算出する（ステップＳ４）。
【０１０５】
関数統合部１１４（図１を参照）は、算出された１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する（ステップＳ５）。デプスマップ生成装置１２０（図１を参照）は、統合された１次元ＰＯＣ関数に基づいて、デプスマップを生成する（ステップＳ６）。メッシュモデル生成装置１３０は、デプスマップに基づいて、メッシュモデルを生成する（ステップＳ７）。
【０１０６】
＜画像ピラミッドを用いて奥行きを探索する方法について＞
関数算出装置１１０は、３次元点Ｍの奥行きを探索する（座標を算出する）場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置１２０は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、３次元点Ｍ群の世界座標を表すデプスマップを算出することができる。
【０１０７】
図６には、画像ピラミッドの各階層での関数算出装置の動作手順が表されている。ここで、奥行き探索処理への入力情報は、参照視点画像ＶＲと、その近傍視点画像Ｃ＝{Ｃ０，…，ＣＫ−１} である。また、奥行き探索処理からの出力情報は、デプスマップｄｅｐと、相関値マップｃｏｒｒと、信頼値マップｃｏｎｆである。また、デプスマップ算出処理に用いられる各パラメータは、相関ピークの高さの閾値ｔｈｃｏｒｒと、画像ピラミッドの階層数Ｈと、基準サイズであるウィンドウサイズｗと、平均ＰＯＣ関数を算出する処理に用いるライン数Ｌである。
【０１０８】
正規化部１１１（図１を参照）は、参照視点画像ＶＲと、その近傍の視点から撮像された近傍視点画像Ｃとを、記憶装置２００から読み込む。そして、正規化部１１１は、ステレオペアＶＲ-Ｃｉ（ｉ＝０，…，Ｋ−１）を平行化する。さらに、関数算出部１１３は、平行化したステレオペアＶＲ-Ｃｉの画像ピラミッド（階層画像）を生成する。
【０１０９】
以下、平行化したステレオペアＶＲ-Ｃｉを構成する参照視点画像をＶｒｅｃｔ，ｉ，０と、近傍視点画像をＣｒｅｃｔ，ｉ，０と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、参照視点画像Ｖｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、参照視点画像Ｖｒｅｃｔ，ｉ，ｈと表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、近傍視点画像Ｃｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、近傍視点画像Ｃｒｅｃｔ，ｉ，ｈと表記する。
【０１１０】
関数算出部１１３（図１を参照）は、画像ピラミッドの最上層Ｈ−１に対して、画像全体のマッチングを実行することにより、奥行きを探索する開始座標Ｚｉｎｉｔを定める。この開始座標Ｚｉｎｉｔは、参照視点画像Ｖｒｅｃｔ，ｉ，Ｈ−１と、近傍視点画像Ｃｒｅｃｔ，ｉ，Ｈ−１との１次元ＰＯＣ関数の相関ピークの位置座標に基づいて、各ステレオペア（ｉ＝０，…，Ｋ−１）について視差が算出されることにより定められる。
【０１１１】
関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍ＝ (ｕ，ｖ）について、奥行き（デプス）、相関値及び信頼値を算出し、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを、記憶装置２００に記憶させる。ここで、関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍの座標を、参照視点画像ＶＲ上で変化させながら処理を繰り返すことで、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを算出する。
【０１１２】
以下、ステレオペアの一方を構成する参照視点画像Ｖｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍｉが投影された対応点を、ｍｉ，ｈ＝ (ｕｉ，ｈ， ｖｉ，ｈ)と表記する。また、ステレオペアの他方を構成する近傍視点画像Ｃｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍｉが投影された対応点を、ｍ’ｉ，ｈ＝ (ｕ’ｉ，ｈ，ｖ’ｉ，ｈ) と表記する。
【０１１３】
図７は、奥行きの探索手順を表すフローチャートである。正規化部１１１は、参照視点画像ＶＲ上の任意の点ｍにおける視差の倍率ｓｉ（ｉ＝０，…，Ｋ−１）を、式（１９）に基づいて算出する。この場合、平行化した参照視点画像Ｖｒｅｃｔ，ｉ，０における対応点ｍｉ＝ (ｕｉ，ｖｉ）は、平行化したステレオペアを構成する画像の変形に用いられる射影行列に基づいて算出される（ステップＳａ１）。
【０１１４】
関数算出部１１３は、画像ピラミッドの階層ｈ＝Ｈ−１、及び３次元点Ｍ＝Ｍｉｎｉｔと初期設定し、世界座標における３次元点Ｍの座標の探索を、画像ピラミッドの最上層Ｈ−１から開始する。ここで、Ｍｉｎｉｔは、参照視点画像ＶＲにおいて、任意の点ｍの座標を通る視線上で奥行きがＺｉｎｉｔの位置に在る３次元点である（ステップＳａ２）。
【０１１５】
ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数Ｌの大きさで、対応点ｍｉ，ｈを中心に参照視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｆｉ，ｈを定めて切り出す。また、ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数Ｌの大きさで、対応点ｍｉ，ｈを中心に近傍視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｇｉ，ｈを定めて切り出す。関数算出部１１３は、切り出されたマッチングウィンドウｆｉ，ｈ及びマッチングウィンドウｇｉ，ｈに基づいて、1次元ＰＯＣ関数ｒｉ，ｈを算出する（ステップＳａ３）。
【０１１６】
関数統合部１１４は、1次元ＰＯＣ関数ｒｉ，ｈのうち、相関ピークの高さαi≧閾値ｔｈｃｏｒｒである1次元ＰＯＣ関数を平均化することにより、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（ステップＳａ４）。以下、相関ピークの高さαｉ≧閾値ｔｈｃｏｒｒとなる1次元ＰＯＣ関数の個数を、Ｋ’と表記する。
【０１１７】
関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈに対して関数フィッティングを実行することにより、平均ＰＯＣ関数の相関ピークの高さαと、平均ＰＯＣ関数の相関ピークの位置座標（平行移動量δに相当）とを算出する。関数統合部１１４は、平行移動量δ及び式（２５）に基づいて、世界座標（参照視点画像のカメラ座標）における３次元点Ｍの座標を更新する（ステップＳａ５）。
【０１１８】
関数統合部１１４は、画像ピラミッドの階層が最下層であるか否かを判定する（ステップＳａ６）。画像ピラミッドの階層が最下層である場合（ステップＳａ６：Ｙｅｓ）、デプスマップ生成装置１２０は、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが閾値以上である３次元点Ｍ群のデプスマップを生成する（ステップＳａ７）。
【０１１９】
ここで、デプスマップｄｅｐ(ｍ)は、階層ｈ＝０（最下層）である場合における１次元ＰＯＣ関数ｒａｖｅ，０と、３次元点Ｍ＝ (Ｘ，Ｙ，Ｚ) とを用いて、式（２６）のように予め定義される。同様に、相関値マップｃｏｒｒ(ｍ)は、式（２７）のように予め定義される。また、同様に、信頼値マップｃｏｎｆ(ｍ)は、式（２８）のように予め定義される。
【０１２０】
【数２３】
2014174930.tif 000025
【０１２１】
一方、ステップＳａ６において、画像ピラミッドの階層が最下層でない場合（ステップＳａ６：Ｎｏ）、関数統合部１１４は、階層ｈから値１を減算し、ステップＳａ３に処理を戻す（ステップＳａ８）。
【０１２２】
以上により、デプスマップ生成装置１２０は、閾値以上である相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆに基づいてデプスマップｄｅｐを生成することにより、３次元点Ｍ群について信頼性が高い座標を算出することができる。
【０１２３】
以上が、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率を用いて、ステレオペア間の画像変形を表現する場合についての説明である。
【０１２４】
次に、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率のみならず、マッチングウィンドウの拡大縮小率、及び、マッチングウィンドウのスキュー（歪み）を用いて、ステレオペア間の画像変形を表現する場合（提案手法）について説明する。
【０１２５】
ステレオペア間の画像は、撮影された３次元復元対象の物体の表面形状と、カメラの位置関係とに応じて、非線形に変形する。関数算出装置１１０のウィンドウ設定部１１２（図１を参照）は、ステレオペア間の画像変形を軽減するように、マッチングウィンドウを定める。より具体的には、ウィンドウ設定部１１２は、線分に基づく拡大縮小率、及び、法線ベクトルに基づく傾きの少なくとも一方に基づいて、マッチングウィンドウを定める。
【０１２６】
これにより、関数算出装置１１０は、ステレオペア間の基線長が長い場合、又は、３次元復元対象の物体がカメラに対して大きく傾いている場合など、ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる。関数算出装置１１０は、画像に撮像された３次元点（注目点）の座標を、高精度に算出することができる。また、デプスマップ生成装置１２０は、高精度な画像マッチングを実行して、デプスマップを生成することができる。
【０１２７】
平行化したステレオペア間では、垂直座標軸又は水平座標軸と、エピポーラ線とが平行になっているので、ステレオペア間の画像変形は、１次元方向に限定されている。したがって、３次元復元対象の物体が局所的には平面であると仮定された場合、平行化したステレオペアの参照視点画像Ｖｒｅｃｔ，ｉと、近傍視点画像Ｃｒｅｃｔ，ｉ とのマッチングウィンドウの間の画像変形は、マッチングウィンドウの拡大縮小率、及び、マッチングウィンドウのスキュー（例えば、スキューの傾き）を用いて、表現することができる。
【０１２８】
以下では、平行化したステレオペアＶＲ-Ｃｉ、すなわち、平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉにおいて、３次元点Ｍｉ＝ [Ｘｉ，Ｙｉ，Ｚｉ]と、３次元点Ｍｉの法線ベクトルｎｉ＝ [ｎＸ，ｉ， ｎＹ，ｉ， ｎＺ，ｉ] とが与えられた場合について、拡大縮小率ξi と、傾きκi とを算出する方法について説明する。
【０１２９】
なお、３次元点Ｍｉの座標系は、平行化した参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標系により表現されている。また、法線ベクトルｎｉの座標系も、平行化した参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標系により表現されている。これら参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標は、ステレオペアの参照視点画像Ｖｒｅｃｔ，ｉ及び近傍視点画像Ｃｒｅｃｔ，ｉが平行化される際に、その近傍視点画像Ｃｒｅｃｔ，ｉのカメラパラメータに基づいて回転されている。
【０１３０】
図８には、ステレオペアのそれぞれに定められたマッチングウィンドウが表されている。図８では、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉは、エピポーラ線が水平座標軸と平行になるように、平行化されているものとする。また、３次元平面（物体表面）は、カメラに対して大きく傾いているものとする。
【０１３１】
まず、拡大縮小率ξiに基づいて画像変形を軽減する場合について、図８を用いて説明する。３次元点Ｍｉ及び法線ベクトルｎｉにより定まる３次元平面（物体表面）と、エピポーラ平面との交線上に、３次元点Ｍｉを中心とする単位線分が仮定されたとする。
【０１３２】
当該単位線分が参照視点画像Ｖｒｅｃｔ，ｉに投影された線分の長さｗ１，ｉは、式（２９）により表される。また、当該単位線分が近傍視点画像Ｃｒｅｃｔ，ｉに投影された線分の長さｗ２，ｉは、式（３０）により表される。
【０１３３】
【数２４】
2014174930.tif 000026
【０１３４】
ここで，ψ１，ｉは、参照視点画像Ｖｒｅｃｔ，ｉにおける光軸と、視線とが成す角を表す。また、ψ２，ｉは、近傍視点画像Ｃｒｅｃｔ，ｉにおける光軸と、視線とが成す角を表す。また、φ１，ｉは、法線ベクトルｎｉがエピポーラ平面に投影された投影ベクトルと、視線とが成す角を表す。また、φ２，ｉは、法線ベクトルｎｉがエピポーラ平面に投影された投影ベクトルと、視線とが成す角を表す。
【０１３５】
当該単位線分が参照視点画像Ｖｒｅｃｔ，ｉに投影された線分の長さｗ１，ｉと、当該単位線分が近傍視点画像Ｃｒｅｃｔ，ｉに投影された線分の長さｗ２，ｉとの関係は、式（２９）及び式（３０）に基づいて、式（３１）又は式（３２）により表される。
【０１３６】
【数２５】
2014174930.tif 000027
【０１３７】
また、マッチングウィンドウの拡大縮小率ξi は、式（３３）により表される。なお、エピポーラ線が垂直座標軸と平行になるように、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉが平行化された場合でも、マッチングウィンドウの拡大縮小率ξi は、式（３３）により表される。
【０１３８】
【数２６】
2014174930.tif 000028
【０１３９】
ウィンドウ設定部１１２（図１を参照）は、視差の倍率ｓｉと、ウィンドウサイズｗとに基づいて、近傍視点画像Ｃｒｅｃｔ，ｉの水平方向（幅方向）のウィンドウサイズをｓｉｗピクセルに、近傍視点画像Ｃｒｅｃｔ，ｉの垂直方向のウィンドウサイズをＬピクセルに定める（図８の右下に示すマッチングウィンドウを参照）。
【０１４０】
一方、ウィンドウ設定部１１２は、視差の倍率ｓｉと、ウィンドウサイズｗと、拡大縮小率ξiとに基づいて、参照視点画像Ｖｒｅｃｔ，ｉの水平方向（幅方向）のウィンドウサイズをξiｓｉｗピクセルに、参照視点画像Ｖｒｅｃｔ，ｉの垂直方向のウィンドウサイズをＬピクセルに定める（図８の左下に示すマッチングウィンドウを参照）。このように、ウィンドウ設定部１１２は、拡大縮小率ξiに基づいて、ステレオペア間の局所的な画像変形を軽減させることができる。
【０１４１】
なお、参照視点画像Ｖｒｅｃｔ，ｉの水平方向のウィンドウサイズをξi倍する代わりに、近傍視点画像Ｃｒｅｃｔ，ｉの水平方向のウィンドウサイズを１／ξi倍した場合には、1次元ＰＯＣ関数ｒｉ，ｈの相関ピークの位置座標は、ξi倍されることになる。このため、他のステレオペアＶｒｅｃｔ，ｊ‐Ｃｒｅｃｔ，ｊ(ｊ∈｛１，…，Ｋ−１｝−{ｉ｝）に基づいて算出された１次元ＰＯＣ関数ｒｊ，ｈの相関ピークの位置座標は、１次元ＰＯＣ関数ｒｉ，ｈの相関ピークの位置座標と一致しなくなる。
【０１４２】
次に、傾きκiに基づいて画像変形を軽減する場合について、図８を用いて説明する。３次元点Ｍｉ及び法線ベクトルｎｉにより定まる３次元平面（物体表面）上に、直線を仮定する。この直線は、参照視点画像Ｖｒｅｃｔ，ｉに投影された場合に、参照視点画像Ｖｒｅｃｔ，ｉにおける３次元点Ｍｉの対応点ｍｉ＝ [ｕｉ，ｖｉ] を通り、垂直座標軸に平行となるように、３次元平面（物体表面）上に仮定される。
【０１４３】
このように３次元平面上に仮定された直線は、近傍視点画像Ｃｒｅｃｔ，ｉにおける３次元点Ｍｉの対応点ｍＣｉ＝ [ｕＣｉ，ｖｉ] を通り、傾きκiを有する直線として、近傍視点画像Ｃｒｅｃｔ，ｉに投影されることになる。この３次元平面上に仮定された直線は，式（３４）を満たす[Ｘ，Ｙ，Ｚ] により表される。
【０１４４】
【数２７】
2014174930.tif 000029
【０１４５】
ここで、座標（ｕ０ｉ，ｖ０ｉ）は、参照視点画像Ｖｒｅｃｔ，ｉの中心座標を表す。
また、βiは、参照視点画像Ｖｒｅｃｔ，ｉの焦点距離を表す。また、｜｜ｔｃａｍ，ｉ｜｜は、ステレオペア間の基線長を表す。また、ｖ’ｉは、参照視点画像Ｖｒｅｃｔ，ｉ上の任意の垂直座標を表す。
【０１４６】
図８に示されているように、近傍視点画像Ｃｒｅｃｔ，ｉが参照視点画像Ｖｒｅｃｔ，ｉに対してＸ軸正方向にある場合、傾きκiについて式（３４）を解くことにより、式（３５）が得られる。
【０１４７】
【数２８】
2014174930.tif 000030
【０１４８】
一方、近傍視点画像Ｃｒｅｃｔ，ｉが参照視点画像Ｖｒｅｃｔ，ｉに対してＸ軸負方向にある場合、傾きκiの正負が逆転する。したがって、式（３５）は、より一般的に、式（３６）により表される。なお、エピポーラ線が垂直座標軸と平行になるように、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉが平行化された場合でも、傾きκiは、式（３３）により表される。
【０１４９】
【数２９】
2014174930.tif 000031
【０１５０】
ウィンドウ設定部１１２は、近傍視点画像Ｃｒｅｃｔ，ｉにおけるマッチングウィンドウを、例えば、スキューの傾きがκiとなるように定める。また、ウィンドウ設定部１１２は、エピポーラ線と直交する座標軸と、マッチングウィンドウの中心座標との位置ずれに基づいて、マッチングウィンドウを構成する各ラインの中心座標を定める。このように、ウィンドウ設定部１１２は、ステレオペア間の局所的な画像変形を軽減させるように、傾きκiに基づいて、マッチングウィンドウを定める。
【０１５１】
関数統合部１１４（図１を参照）は、拡大縮小率ξi及び傾きκiに基づいてステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０（図１を参照）に出力する。
【０１５２】
デプスマップ生成装置１２０は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、プレーンスイーピングを用いた奥行き探索と、画像ピラミッドを用いた階層的探索とにより、多視点画像からデプスマップを生成する。
【０１５３】
＜画像ピラミッドを用いて奥行きを探索する方法について＞
図９は、画像ピラミッドの各階層での関数算出装置の動作手順を表すフローチャートである。
（ステップＳｂ１）正規化部１１１（図１を参照）は、カメラパラメータが既知である参照視点画像Ｖｒｅｃｔ，ｉと、カメラパラメータが既知である近傍視点画像Ｃｒｅｃｔ，ｉとを、記憶装置２００から読み込む。正規化部１１１は、Ｋ組の平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉ（ｉ＝０，…，Ｋ−１）を生成する。ここで、正規化部１１１は、Ｋ組の平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉ（ｉ＝０，…，Ｋ−１）について、階層毎に２分の１ずつ画像を縮小した階層数Ｈの画像ピラミッドを生成する。
【０１５４】
（ステップＳｂ２）正規化部１１１は、参照視点画像Ｖｒｅｃｔ，ｉ上の座標ｍi＝ [ｕi，ｖi] について、各ステレオペアにおける視差の倍率ｓｉを算出する。
【０１５５】
（ステップＳｂ３）３次元復元対象の３次元平面（物体表面）の法線ベクトルｎｉが算出されていないため、関数統合部１１４（図１を参照）は、画像ピラミッドの最上層Ｈ−１で、３次元点Ｍiの奥行きと、法線ベクトルｎｉとを変化させながら、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（画像マッチング）。
【０１５６】
ここで、３次元点Ｍiの奥行きを変化させる刻み幅は、ウィンドウサイズｗの４分の１に相当する長さでもよい。また、参照視点画像Ｖｒｅｃｔ，ｉに正対する法線ベクトルｎiを基準に、Ｘ軸及びＹ軸回りに±（π／８）の範囲で回転させた９個の法線ベクトルｎについて、平均ＰＯＣ関数ｒａｖｅ，ｈが算出されてもよい。
【０１５７】
（ステップＳｂ４）関数統合部１１４は、平均ＰＯＣ関数の相関ピークの高さαｉが最も高くなる３次元点Ｍiの奥行き、及び法線ベクトルｎiを選択する。また、関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈの相関ピークの位置座標に基づいて、３次元点Ｍiの奥行きを更新する。なお、法線ベクトルｎiは、選択された法線ベクトルｎiを基準にして、より精度良く定められてもよい。
【０１５８】
（ステップＳｂ５）関数統合部１１４は、最上層Ｈ−１で選択した法線ベクトルｎiに基づいて、ステレオペア間の平均ＰＯＣ関数ｒａｖｅ，ｈを算出し、平均ＰＯＣ関数の相関ピークの高さαｉが最も高くなる３次元点Ｍiの奥行きを更新する。また、関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈの相関ピークの位置座標に基づいて、３次元点Ｍiの奥行きを更新する。
【０１５９】
（ステップＳｂ６）関数統合部１１４は、画像ピラミッドの階層が最下層ｈ＝０であるか否かを判定するを判定する。画像ピラミッドの階層が最下層である場合（ステップＳｂ６：Ｙｅｓ）、関数統合部１１４は、ステップＳｂ８に処理を進める。一方、画像ピラミッドの階層が最下層でない場合（ステップＳｂ６：Ｎｏ）、関数算出部１１３は、ステップＳｂ７に処理を進める。
【０１６０】
（ステップＳｂ７）関数統合部１１４は、階層ｈから値１を減算し（一つ下の階層に処理を移動させ）、ステップＳｂ５に処理を戻す。
（ステップＳｂ８）関数統合部１１４は、更新された３次元点Ｍiの奥行きを、座標ｍiに対応する３次元点Ｍiの奥行きと定める。
【０１６１】
（ステップＳｂ９）関数統合部１１４は、参照視点画像Ｖｒｅｃｔ，ｉ上の全ての座標ｍiについて、３次元点Ｍiの奥行きを定めたか否かを判定する。参照視点画像Ｖｒｅｃｔ，ｉ上の全ての座標ｍiについて、３次元点Ｍiの奥行きを定めた場合（ステップＳｂ９：Ｙｅｓ）、関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力し、処理を終了する。一方、参照視点画像Ｖｒｅｃｔ，ｉ上のいずれかの座標ｍiについて、３次元点Ｍiの奥行きを定めていない場合（ステップＳｂ９：Ｎｏ）、関数統合部１１４は、ステップＳｂ２に処理を戻す。
【０１６２】
関数算出装置１１０は、奥行きを探索する参照視点画像Ｖｒｅｃｔ，ｉを変更し、その参照視点画像Ｖｒｅｃｔ，ｉについても、同様に処理を実行する。デプスマップ生成装置１２０は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、デプスマップを生成する。メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。
【０１６３】
図１０には、生成されたメッシュモデルの例が表されている。図１０では、３次元復元対象の物体（Ｆｏｕｎｔａｉｎ−Ｐ１１）が、仮想的なカメラ（撮像装置）に対して大きく傾いている。
【０１６４】
図１０（Ａ）には、正規化相互相関(Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ‐Ｃｏｒｒｅｌａｔｉｏｎ: ＮＣＣ)（近傍視点画像のうち最も基線長の長いステレオペアにおいて、奥行き変化の刻み幅ΔＺが１／１０ピクセルとなるように設定された場合）に基づく、画像マッチングを用いたプレーンスイーピング手法により生成されたメッシュモデルの例が、比較のため表されている。また、図１０（Ｂ）には、マッチングウィンドウの拡大縮小率及び傾きをいずれも用いず画像変形を軽減させていないＰＯＣ関数に基づく、画像マッチングを用いたプレーンスイーピング手法により生成されたメッシュモデルの例が、比較のため表されている。また、図１０（Ｃ）には、マッチングウィンドウの拡大縮小率及び傾きを用いて画像変形を軽減させたＰＯＣ関数に基づく、画像マッチングを用いた上記の提案手法により生成されたメッシュモデルの例が、表されている。また、図１０（Ｄ）には、真値のメッシュモデルの例が表されている。
【０１６５】
参照視点画像ＶＲにおけるデプスマップ（奥行きマップ）の算出値及び真値のピクセル毎の誤差率ｅは、式（３６）により表される。
【０１６６】
【数３０】
2014174930.tif 000032
【０１６７】
ここで、Ｚｃａｌｃｕｌａｔｅｄは、参照視点画像ＶＲにおけるデプスマップの算出値を表す。また、Ｚｇｒｏｕｎｄ ｔｒｕｔｈは、参照視点画像ＶＲにおけるデプスマップの真値を表す。
【０１６８】
復元点数と誤対応点数について比較する。マッチングウィンドウの拡大縮小率及び傾きの少なくとも一方を用いて画像変形を軽減させた上記の提案手法は、正規化相互相関（ＮＣＣ）による手法（図１０（Ａ）を参照）に比べ、復元点数が多く、誤対応点が少ない（誤差率ｅが小さい）という結果が、図１０（Ｃ）に示されている。
【０１６９】
なお、正規化相互相関による手法において、復元する点の信頼値の閾値を上げることで誤対応点数を減らすことは可能であるが、その場合、復元点数も減少してしまうこととなる。一方、マッチングウィンドウの拡大縮小率及び傾きの少なくとも一方を用いて画像変形を軽減させた上記の提案手法では、そのようなことが無い。このように、関数算出装置１１０（図１を参照）は、格別の効果を奏するものである。
【０１７０】
また、マッチングウィンドウの拡大縮小率及び傾きの少なくとも一方を用いて画像変形を軽減させた上記の提案手法は、マッチングウィンドウの拡大縮小率及び傾きをいずれも用いず画像変形を軽減させていないＰＯＣ関数に基づく、画像マッチングを用いたプレーンスイーピング手法（図１０（Ｂ）を参照）に比べ、復元点数が多く、誤対応点が少ない（誤差率ｅが小さい）という結果が、図１０（Ｃ）に示されている。このように、関数算出装置１１０は、格別の効果を奏するものである。
【０１７１】
上記の提案手法を実行する関数算出装置１１０は、ウィンドウ設定部１１２が、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める。
【０１７２】
これにより、関数算出装置１１０、関数算出方法及び関数算出プログラムは、３次元復元対象の物体がカメラに対して大きく傾いている場合でも、ステレオペアの相関関数を精度良く算出することができる。同様に、関数算出装置１１０、関数算出方法及び関数算出プログラムは、ステレオペア間の基線長が長いでも、ステレオペアの相関関数を精度良く算出することができる。
【０１７３】
以上のように、関数算出装置１１０は、所定方向から物体を撮像した画像である第１視点画像、及び所定方向以外から物体を撮像した画像である複数の第２視点画像を受信する正規化部１１１（受信部）と、第１視点画像及び第２視点画像をステレオペア毎に平行化する正規化部１１１（平行化部）と、平行化したステレオペアの視差を正規化する正規化部１１１と、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるウィンドウ設定部１１２と、マッチングウィンドウの間の相関関数を、視差を正規化したステレオペア毎に算出する関数算出部１１３と、算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部１１４と、を備える。
【０１７４】
関数算出方法は、関数算出装置１１０における関数算出方法であって、正規化部１１１（受信部）が、所定方向から物体を撮像した画像である第１視点画像、及び所定方向以外から物体を撮像した画像である複数の第２視点画像を受信するステップと、正規化部１１１（平行化部）が、第１視点画像及び第２視点画像をステレオペア毎に平行化するステップと、正規化部１１１が、平行化したステレオペアの視差を正規化するステップと、ウィンドウ設定部１１２が、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定めるステップと、関数算出部１１３が、マッチングウィンドウ間の相関関数を、視差を正規化したステレオペア毎に算出するステップと、関数統合部１１４が、算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、を有する。
【０１７５】
関数算出プログラムは、コンピュータに、所定方向から物体を撮像した画像である第１視点画像、及び所定方向以外から物体を撮像した画像である複数の第２視点画像を受信する手順と、第１視点画像及び第２視点画像をステレオペア毎に平行化する手順と、平行化したステレオペアの視差を正規化する手順と、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める手順と、マッチングウィンドウの間の相関関数を、視差を正規化したステレオペア毎に算出する手順と、算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、を実行させる。
【０１７６】
この構成により、関数算出装置１１０、関数算出方法及び関数算出プログラムは、ウィンドウ設定部１１２が、視差を正規化したステレオペアを構成する第１視点画像及び第２視点画像に、物体の表面の線分及び法線ベクトルの少なくとも一方に基づいて、それぞれマッチングウィンドウを定める。
これにより、関数算出装置１１０、関数算出方法及び関数算出プログラムは、ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる。
【０１７７】
ウィンドウ設定部１１２は、物体の表面の線分の長さに基づいて拡大縮小率ξを定め、拡大縮小率ξに基づいて、それぞれマッチングウィンドウのサイズを定めてもよい。
ウィンドウ設定部１１２は、物体の表面の法線ベクトルに基づいて傾きκを定め、傾きκに基づいて、それぞれマッチングウィンドウを定めてもよい。
【０１７８】
関数算出部１１３は、マッチングウィンドウの間の相関関数として、位相限定相関法に基づく相関関数を算出してもよい。
関数算出部１１３は、画像ピラミッドの階層に応じて相関関数を算出してもよい。
【０１７９】
デプスマップ生成装置１２０は、関数算出装置１１０が統合した相関関数に基づいて、デプスマップを生成してもよい。
これにより、デプスマップ生成装置１２０は、算出された相関関数に基づいて、デプスマップを精度良く生成することができる。
【０１８０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１８１】
また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１８２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１８３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１８４】
１００…演算処理装置、１１０…関数算出装置、１１１…正規化部（受信部、平行化部）、１１２…ウィンドウ設定部、１１３…関数算出部、１１４…関数統合部、１２０…デプスマップ生成装置、１３０…メッシュモデル生成装置、２００…記憶装置、３００…出力装置、４００…バス
【図１】
2014174930.tif 000033
【図２】
2014174930.tif 000034
【図３】
2014174930.tif 000035
【図４】
2014174930.tif 000036
【図５】
2014174930.tif 000037
【図６】
2014174930.tif 000038
【図７】
2014174930.tif 000039
【図８】
2014174930.tif 000040
【図９】
2014174930.tif 000041
【図１０】
2014174930.tif 000042