(57)【要約】【課題】視点方向および光源方向などの条件に応じて変化する複数のテクスチャ画像を用いて、任意サイズの高次元テクスチャを合成する。【解決手段】複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する。該参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する。量子化レベルに対応する参照高次元テクスチャの階層性に従って、参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成する。この合成された新規インデックス画像と、先に生成されたコードブックとを組み合わせて新規高次元テクスチャを生成する。【選択図】    図１
2004272580.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成装置であって、
前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成手段と、
前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化手段と、
前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成手段と、
前記インデックス画像合成手段により合成された新規インデックス画像と、前記参照高次元テクスチャ量子化手段により生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成手段と、
を備える高次元テクスチャ合成装置。
【請求項２】
前記参照高次元テクスチャ生成手段は、入力した全ての前記参照テクスチャ画像から同一ピクセルの色情報を取り出し、該色情報を前記取得条件または作成条件ごとに配列化し、高次元ピクセルデータを生成し、生成した前記高次元ピクセルデータを前記コードブックに登録し、該コードブックのアドレスを、ピクセルのインデックス情報とし、各ピクセルのインデックス情報をまとめて画像化することにより参照インデックス画像を生成する請求項１記載の高次元テクスチャ合成装置。
【請求項３】
前記参照高次元テクスチャ量子化手段は、コードブックのサイズに依存して決まる１つ以上の量子化レベルに従って、前記参照高次元テクスチャをベクトル量子化（Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＶＱ）することにより、各々の量子化レベルごとに高次元テクスチャを出力する請求項１記載の高次元テクスチャ合成装置。
【請求項４】
前記ベクトル量子化は、全探索ベクトル量子化（Ｆｕｌｌ  Ｓｅａｒｃｈ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＦＳＶＱ）であり、クラスタリングのある量子化レベルにおいて誤差がゼロのクラスタが存在する場合、該クラスタリングの後のクラスタリングに該クラスタ以外のクラスタを用いるよう該クラスタを固定化する請求項３記載の高次元テクスチャ合成装置。
【請求項５】
前記ベクトル量子化は、木構造ベクトル量子化（Ｔｒｅｅ  Ｓｔｒｕｃｔｕｒｅｄ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＴＳＶＱ）であり、コードブックを構成する木構造に従って高次元ピクセルデータの類似性を探索する請求項３記載の高次元テクスチャ合成装置。
【請求項６】
前記インデックス画像合成手段は、ある１つの量子化レベルにおける参照高次元テクスチャを受け取り、前記新規インデックス画像を生成し、新規インデックス画像の初期画像として、参照インデックス画像に含まれるインデックスをランダムに選出したノイズ画像を用い、新規インデックス画像をスキャンしながら任意探索サイズの類似ピクセル探索を行ない、任意サイズのブロックごとにインデックスを書き換え、類似ピクセル探索において、インデックスを書き換えたいブロックの近傍ブロックの中で、書き換え済みのブロックと、参照インデックス内の同様の形状をもったブロックとの類似性を評価することによって最適なインデックスを探索し、前記スキャンおよびインデックスの書き換えを任意の回数行なう際に、書き換えブロックのサイズおよび近傍ブロックのサイズをスキャンごとに変化させる請求項１記載の高次元テクスチャ合成装置。
【請求項７】
前記インデックス画像合成手段は、前記参照高次元テクスチャ量子化手段から２つ以上の任意の量子化レベルにおける参照高次元テクスチャを受け取り、量子化レベルに応じた階層性を利用して、任意サイズの新規インデックス画像を生成し、コードブックサイズの小さいものから順に、下位階層から上位階層の高次元テクスチャと位置付けて、下位階層の高次元テクスチャから順に処理し、類似ピクセル探索において、参照インデックス内の同様の形状をもったブロックとの類似性の評価を、１つ前の階層で生成した新規インデックス画像と参照インデックス画像との間で行なうことによって最終的な評価値とする請求項１記載の高次元テクスチャ合成装置。
【請求項８】
前記インデックス画像合成手段は、前記参照高次元テクスチャ量子化手段から２つ以上の任意の量子化レベルにおける参照高次元テクスチャを受け取り、量子化レベルに応じた階層性を利用して、任意サイズの新規インデックス画像を生成し、ある１つの量子化レベルにおける参照インデックス画像を用い、類似ピクセル探索においては、該参照インデックス画像よりも下位階層の参照インデックス画像を利用し、近傍ブロックのインデックスが、下位階層において初めて一致する階層の量子化誤差を近似的な評価値とする請求項１記載の高次元テクスチャ合成装置。
【請求項９】
インデックス画像合成の類似ピクセル探索における高次元ピクセルデータの類似性の評価値にＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、相関値、または内積の少なくともいずれかを用いる請求項６乃至８のいずれかに記載の高次元テクスチャ合成装置。
【請求項１０】
インデックス画像合成の類似ピクセル探索における高次元ピクセルデータの類似性の評価において木構造ベクトル量子化を利用した高次元テクスチャ量子化手段の出力データを利用し、木構造を成したコードブックに対する木のなぞりによって評価し、複数の階層におけるインデックス画像合成について同一の木構造によって評価する請求項６乃至８のいずれかに記載の高次元テクスチャ合成装置。
【請求項１１】
複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を目標テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、目標高次元テクスチャを生成する目標高次元テクスチャ生成手段と、
前記参照高次元テクスチャ量子化手段により生成されたコードブックを用いて、前記目標高次元テクスチャを量子化し、目標インデックス画像を生成する目標インデックス画像生成手段と、をさらに具備し、
前記インデックス画像合成手段は前記目標インデックス画像を用いる請求項１乃至１０のいずれかに記載の高次元テクスチャ合成装置。
【請求項１２】
前記目標高次元テクスチャ生成手段は、入力した全ての目標テクスチャ画像から同一ピクセルの色情報を取り出し、該色情報を前記取得条件または作成条件ごとに配列化し、高次元ピクセルデータを生成し、生成された前記高次元ピクセルデータを前記コードブックに登録し、該コードブックのアドレスを、ピクセルのインデックス情報とし、各ピクセルのインデックス情報をまとめて画像化することにより目標高次元テクスチャ画像を生成する請求項１１記載の高次元テクスチャ合成装置。
【請求項１３】
前記目標インデックス画像生成手段は、前記参照高次元テクスチャ量子化手段により１つ以上の量子化レベルで生成された１つ以上のコードブックおよび前記目標高次元テクスチャを入力し、それぞれの量子化レベルにおける目標インデックス画像を生成し、目標高次元テクスチャのコードブックを、参照高次元テクスチャ量子化手段から入力したコードブックに置き換え、目標高次元テクスチャの各ピクセルのインデックスを、もっとも類似性の高い高次元ピクセルデータが存在するコードブックのインデックスに変更し、変更した全てのピクセルのインデックスを画像化したものを目標インデックス画像として出力する請求項１１記載の高次元テクスチャ合成装置。
【請求項１４】
前記類似ピクセル探索の類似性評価の評価値を、インデックスを書き換えたいブロックの近傍ブロックの中で、書き換え済みではないブロックと同位置の目標インデックス画像のブロックと、参照インデックス内の同様の形状をもったブロックとの類似性の評価値とする請求項１１乃至１３のいずれかに記載の高次元テクスチャ合成装置。
【請求項１５】
前記インデックス画像合成手段は、前記参照高次元テクスチャ量子化手段から２つ以上の任意の量子化レベルにおける参照高次元テクスチャを受け取り、量子化レベルに応じた階層性を利用して、任意サイズの新規インデックス画像を生成し、
類似ピクセル探索においては、新規インデックス画像の合成に用いている参照インデックス画像よりも、下位階層の参照インデックス画像を利用し、近傍ブロックのインデックスが、下位階層において初めて一致する階層の量子化誤差を近似的な評価値とする請求項１１乃至１４のいずれかに記載の高次元テクスチャ合成装置。
【請求項１６】
前記新規高次元テクスチャ生成手段は、任意の量子化レベルにおいて合成された新規インデックス画像と、任意の量子化レベルのコードブックとを組み合わせる際に、該コードブックの量子化レベルに合わせて、新規インデックス画像を書き換える請求項１乃至１５のいずれかに記載の高次元テクスチャ合成装置。
【請求項１７】
請求項１に記載の前記インデックス画像合成手段により合成された新規インデックス画像と、前記参照高次元テクスチャ量子化手段により生成されたコードブックとの組み合わせから構成される新規高次元テクスチャのデータ構造。
【請求項１８】
前記新規高次元テクスチャを特定の取得条件または作成条件に対応する１つ以上の新規テクスチャ画像に変換する新規テクスチャ画像変換手段をさらに具備する請求項１乃至１６のいずれかに記載の高次元テクスチャ合成装置。
【請求項１９】
前記新規テクスチャ画像変換手段は、前記新規インデックス画像の各ピクセルに格納されたインデックスに基づいて前記コードブックから高次元ピクセルデータを読み出し、該高次元ピクセルデータから前記特定の取得条件または作成条件に対応する色情報を抽出する請求項１８に記載の高次元テクスチャ合成装置。
【請求項２０】
複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成方法であって、
前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成ステップと、
前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化ステップと、
前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成ステップと、
前記インデックス画像合成ステップにおいて合成された新規インデックス画像と、前記参照高次元テクスチャ量子化ステップにおいて生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成ステップと、
を備える高次元テクスチャ合成方法。
【請求項２１】
複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成プログラムであって、
コンピュータに、
前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成手順と、
前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化手順と、
前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成手順と、
前記インデックス画像合成ステップにおいて合成された新規インデックス画像と、前記参照高次元テクスチャ量子化ステップにおいて生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成手順と、
を実行させるための高次元テクスチャ合成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィックス分野における高品位テクスチャマッピングに好適な画像合成技術に属し、視点方向や光源方向などの条件に応じて変化する多数のテクスチャ画像から、これら条件に応じた任意サイズのテクスチャ画像を合成するための装置、方法、およびプログラムに関する。ならびに本発明は、多数のテクスチャ画像を種々の記録媒体に効率的に格納し管理するためのデータ構造に関する。
【０００２】
【従来の技術】
３次元物体の見え方、すなわち３次元物体の形状およびその表面の色や質感は、この３次元物体を眺める方向（視点方向）および光を照射する方向（光源方向）に依存して変化する。３次元コンピュータグラフィックスの分野では、３次元物体の表面をポリゴンと称する多数の２次元平面単位に分割し、ポリゴンごとに描画を行って２次元画像を生成し、これを３次元物体の表示画像としている。
【０００３】
視点方向および光源方向が変化する際の３次元物体の見え方は、表示ポリゴンの向き（３次元姿勢）やポリゴンの光学的特性（輝度等）を視点方向および光源方向とともに変化させることで表現することができる。ところが、従来は描画の単位であるポリゴンの向き（３次元姿勢）を定義する法線と視点方向あるいは光源方向との関係を計算するためには浮動小数点精度のベクトル演算が必須であり、これはハードウェアおよびソフトウェアのどちらの観点からみても演算コストが高く、実用化が困難であった。そこで、ポリゴンを構成する頂点単位に設定した色でポリゴン内部を一様に塗りつぶすフラットシェーディングと呼ばれる描画手法や、ポリゴンを構成する頂点単位に設定した色に基づいて単調な線形補間によりポリゴン内部に色を塗るスムースシェーディングと呼ばれる描画手法が用いられることがある。
【０００４】
また、例えば模様や柄などポリゴン内部のディテールを表現したいという要求に対してはテクスチャマッピングと呼ばれる手法が用いられる。テクスチャマッピングとは、模様や柄が表現された画像（テクスチャ画像）をポリゴン表面に配置（マッピング）する画像処理技術である。ポリゴンを構成する頂点単位でテクスチャ画像内の対応する画像内座標を定義するなどしてテクスチャ画像の向きを制御したり、テクスチャ画像に実写画像を用いる等、これまでになされたテクスチャマッピングへの幾つかの改良は、より高品質なレンダリングを可能にした。しかし、このような改良を行ったとしても、このテクスチャマッピングでは、視点方向や光源方向に応じて変化すべき物体表面の光学的特性を表現することまでは行えない。これは、ポリゴンの３次元姿勢とは無関係に単一のテクスチャ画像を貼り付けているためである。
【０００５】
物体表面の光学的特性を表現するために、従来、いくつかの改良手法が提案されているが、以下に説明するように、これらの改良手法にはそれぞれ固有の問題がある。
【０００６】
（１）物体表面の法線ディテールを擬似的に変化させ、光学的な特性を変化させる手法がある。これには、バンプマッピングと呼ばれる手法が存在するが、法線のゆらし計算など３次元ベクトル計算が必要であり、計算コストが高いという問題がある。
【０００７】
（２）一般にポリゴン表面のテクスチャ成分を視線方向、光源方向に応じて表現したものをＢＴＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｔｅｘｔｕｒｅ  Ｆｕｎｃｔｉｏｎ）と呼ぶ（下記非特許文献１参照）。しかし、ＢＴＦのデータにおいて視点方向および光源方向を表す４個の変数のすべてを変化させながら画像のサンプリングをこれまでに行った例はなく、２個あるいは３個の変数を変化させたサブセットを扱っている（下記非特許文献２参照）。
【０００８】
（３）光源方向や視点方向に依存した輝度変化を関数で近似する手法として、ＰＴＭ（Ｐｏｌｙｎｏｍｉａｌ  Ｔｅｘｔｕｒｅ  Ｍａｐｐｉｎｇ）と呼ばれる手法が提案されている（下記特許文献１参照）。ＰＴＭでは、ピクセル毎の輝度変化を２次元光源方向パラメータの２次関数で近似し、その関数係数（６つ）を持つテクスチャに変換して保持する。描画時には、この関数係数テクスチャから描画対象ピクセルの関数係数を取り出す。そして、取り出した関数係数と光源方向パラメータとの積和演算により、光源依存なテクセル・カラー情報を求めている。近年のグラフィックス・ハードウェアでは、ハードウェア上の演算ユニットをプログラマブルに利用してシェーディングを行なう機能（ピクセルシェーダ）が実装されている。そのため、ＰＴＭのような演算を高速に実行させることが可能となってきている。しかし、視点方向も含めた輝度変化を関数化する場合、さらに高次な関数化が必要となる。その結果、関数係数が増えるのみならず、関数近似に要する時間も多大になることが予想され、視点方向と光源方向の双方に依存したテクスチャを生成することは原理上、困難である。
【０００９】
（４）一方、視点方向に応じた画像を生成する手法としては、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ（下記特許文献２および非特許文献３参照）やＬｕｍｉｇｒａｐｈ（下記非特許文献４参照）に代表されるイメージベース・レンダリング手法がある。イメージベース・レンダリング手法は、離散的に設定された複数視点画像から、新規視点から見た画像をサンプリングによって生成しようとするものである。しかし、視点自由度や画質を高めようとすると複数視点画像を大量に用意しておく必要があり、データ量が膨大になるという問題がある。
【００１０】
従来のテクスチャマッピングにおいては、３次元物体の表面の大きさに対してテクスチャ画像のサイズが小さい場合、テクスチャ画像を繰り返し配置しながら、マッピングを行なっている。しかしこの方法では、テクスチャ画像の模様や柄が単調な繰り返しパターンとして現れてしまったり、境界線が目立ってしまったりする。これは、観察者に不自然な印象を与える。
【００１１】
そこで近年では、小さなテクスチャ画像から任意サイズのテクスチャ画像を合成する方式が提案されている（下記非特許文献５および非特許文献６参照）。これは、元の小さなテクスチャ画像を参照しながら、任意サイズのテクスチャ画像をスキャンし、元の画像に近いテクスチャ画像を合成するというものである。またその応用として、参照している小さなテクスチャ画像の他に目標とするテクスチャ画像を用意し、この目標とするテクスチャ画像の模様や柄を有し、かつ、参照している小さなテクスチャ画像の素材に近い画像を合成する方式も提案されている。
【００１２】
しかし、このような従来のテクスチャ画像合成技術は、単に１枚のテクスチャ画像を合成するというものであり、多視点／多光源についての多数のテクスチャ画像を一括に扱って合成することはできない。
【００１３】
【特許文献１】
米国特許第６２９７８３４号明細書
【００１４】
【特許文献２】
米国特許第６０９７３９４号明細書
【００１５】
【非特許文献１】
Ｄａｎａ，  ｅｔ．ａｌ，  ”Ｒｅｆｌｅｃｔａｎｃｅ  ａｎｄ  Ｔｅｘｔｕｒｅ  ｏｆ  Ｒｅａｌ  Ｗｏｒｌｄ  Ｓｕｒｆａｃｅｓ”，  ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ，１８（１）：１−３４，１９９９．
【００１６】
【非特許文献２】
Ｃｈｅｎ，  ｅｔ．ａｌ，  ”Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｍａｐｐｉｎｇ  Ｅｆｆｉｃｉｅｎｔ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ａｎｄ  Ｈａｒｄｗａｒｅ  Ｒｅｎｄｅｒｉｎｇ  ｏｆ  Ｓｕｒｆａｃｅ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ  ２００２，ｐｐ．４４７−４５６．
【００１７】
【非特許文献３】
Ｌｅｖｏｙ，  ｅｔ．ａｌ，  ”Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ  １９９６，ｐｐ．３１−４２．
【００１８】
【非特許文献４】
Ｇｏｒｔｌｅｒ，  ｅｔ．ａｌ，  ”Ｔｈｅ  Ｌｕｍｉｇｒａｐｈ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ  １９９６，ｐｐ．４３−５４．
【００１９】
【非特許文献５】
Ｌｉ−Ｙｉ  Ｗｅｉ，  Ｍａｒｃ  Ｌｅｖｏｙ，  ”Ｆａｓｔ  Ｔｅｘｔｕｒｅ  Ｓｙｎｔｈｅｓｉｓ  Ｕｓｉｎｇ  Ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ  ２０００，  ｐｐ．４７９−４８８．
【００２０】
【非特許文献６】
Ｍｉｃｈａｅｌ  Ａｓｈｉｋｈｍｉｎ，  ”Ｓｙｎｔｈｅｓｉｚｉｎｇ  Ｎａｔｕｒａｌ  Ｔｅｘｔｕｒｅｓ”，  ２００１  ＡＣＭ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｔｅｒａｃｔｉｖｅ  ３Ｄ  Ｇｒａｐｈｉｃｓ，  ｐｐ．２１７−２２６．
【００２１】
【発明が解決しようとする課題】
以上述べたように、視点方向および光源方向に応じて変化する物体表面の光学的特性をテクスチャで表現した場合には、視点方向や光源方向が異なる大量のテクスチャ画像が必要であり、また演算量も膨大となる。かかる問題を解決した実用的なシステムはこれまでに提供されていない。また、大量のテクスチャ画像を一括に扱ったテクスチャ合成手法が存在しないため、任意サイズのテクスチャ画像を視点方向および光源方向に応じて変化させた時に、物体表面の光学的特性をリアルに表現することもできない。
【００２２】
そこで、本発明では、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することを目的とする。また、テクスチャマッピングにおいて効率的な演算が可能となる高次元テクスチャのデータ構造を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明の一観点に係る高次元テクスチャ合成装置は、複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成装置である。この装置は、前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成手段と、前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化手段と、前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成手段と、前記インデックス画像合成手段により合成された新規インデックス画像と、前記参照高次元テクスチャ量子化手段により生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成手段と、を備える。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００２５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力し、同一のピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成部１０１と、生成された参照高次元テクスチャを、１つ以上の量子化レベルに従ってベクトル量子化し、コードブックを生成する参照高次元テクスチャ量子化部１０２とを備える。なお、参照高次元テクスチャの生成方法、高次元テクスチャのデータ構造およびベクトル量子化方法の詳細については後述する。
【００２６】
また、量子化済み参照高次元テクスチャを入力し、この量子化済み参照高次元テクスチャに基づいて、類似ピクセル探索を繰り返すことにより任意サイズの新規インデックス画像を合成するインデックス画像合成部１０３を備える。なお、新規インデックス画像の合成方法の詳細については後述する。
【００２７】
さらに、インデックス画像合成部１０３で生成された新規インデックス画像と参照高次元テクスチャ量子化部１０２で生成されたコードブックとを組み合わせ、高次元テクスチャのデータ構造に従った新規高次元テクスチャを生成する新規高次元テクスチャ生成部１０４と、新規高次元テクスチャを入力し、特定の取得条件あるいは作成条件に対応したテクスチャ画像を出力する新規テクスチャ画像変換部１０５とを備える。
【００２８】
図２は第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１の装置から新規テクスチャ画像変換部１０５を取り除いた構成を有する。この装置は、新規高次元テクスチャ生成部１０４から出力された新規高次元テクスチャに基づいて新規テクスチャ画像を出力するものであり、任意の３次元物体への効率的なテクスチャマッピングを行なうことができる。
【００２９】
図３は第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理の各々を詳細に説明する。
【００３０】
図４は参照高次元テクスチャ生成部１０１における参照高次元テクスチャ生成（３０１）のフローチャートである。まず、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力する（４０１）。本実施形態では、複数のカメラ位置（以下、視点と呼ぶ）および光源位置で取得した実写画像を用いる。ここでは、前述した通り、視点方向または光源方向に応じて変化する物体表面の光学的特性をリアルに表現することを目的としている。
【００３１】
図５は様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図である。撮像物体表面の法線ベクトルを軸とし、撮像物体表面が赤道面（赤道を通る面）となる球極座標系を考える。この座標系において、極角θと方位角φとを用いると、入力データとしてあらかじめ用意する多視点／多光源テクスチャ画像は、視点方向（θＥ，φＥ）、光源方向（θＩ，φＩ）の４パラメータで指定することができる。そこで、本実施形態では、ある特定の視点／光源で取得したテクスチャ画像をＴ（θＥ，φＥ，θＩ，φＩ）というパラメータで識別する。また、本実施形態では、視点方向のサンプルをθＥの軸にＷ個、φＥの軸にＸ個とし、光源方向のサンプルをθＩの軸にＹ個、φＩの軸にＺ個とする。したがって、Ｗ×Ｘ視点とＹ×Ｚ光源のすべての組み合わせで取得した（Ｗ×Ｘ）×（Ｙ×Ｚ）枚のテクスチャ画像が、参照テクスチャ画像として入力される。
【００３２】
図４における処理（４０２）以降は、参照高次元テクスチャを生成するための繰り返し処理からなる。高次元テクスチャのデータ構造の一例を図６に示す。高次元テクスチャは、コードブックとインデックス画像とで構成される。コードブックは、高次元ピクセルデータと呼ばれるデータ（後述）の集まりで構成され、インデックス画像は、コードブック内の高次元ピクセルデータを指定するためのインデックス情報の集まりで構成される。本実施形態では、Ｒ成分／Ｇ成分／Ｂ成分それぞれの色成分に対して、インデックス画像とコードブックを作成するようにしている。なお、ＲＧＢ成分のすべてを一括に扱う高次元テクスチャや、輝度成分と色成分とが分離された高次元テクスチャなども同様に作成することができる。高次元ピクセルデータとは、あるピクセルにおける色情報を集めたものであり、Ｒ成分／Ｇ成分／Ｂ成分の高次元ピクセルデータをそれぞれＲ（ｌ），Ｇ（ｍ），Ｂ（ｎ）とする。これらは、それぞれインデックスｌ、ｍ、ｎに対応する高次元ピクセルデータである。図５に示されるＲ成分／Ｇ成分／Ｂ成分のコードブックサイズは、それぞれＬ、Ｍ、Ｎである。このコードブックサイズが大きいほど、高次元ピクセルデータは多様なものとなる。
【００３３】
参照高次元テクスチャは、以下のような手順で生成される。参照テクスチャ画像のあるピクセル（ｉ，ｊ）に注目し（４０２）、全ての参照テクスチャ画像の中から、注目しているピクセル（ｉ，ｊ）の色情報を抽出する（４０３）。
【００３４】
図７は、複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図である。前記（Ｗ×Ｘ）×（Ｙ×Ｚ）枚の参照テクスチャ画像から同一ピクセルの色成分を取り出して、それらを所定のフォーマットに合わせて１つのデータにまとめ、高次元ピクセルデータを生成する（４０４）。次に、生成した高次元ピクセルデータをコードブックに登録し、注目ピクセル（ｉ，ｊ）に対してインデックスを割り当てる（４０５）。以上の処理を全ピクセルに対して行ない（４０６）、参照高次元テクスチャ生成の処理を終了する。
【００３５】
図８は本実施形態における高次元ピクセルデータの形式を説明するための図である。これは、横軸φＩ、縦軸θＩとして並べたある特定視点における光源依存ピクセルデータをブロック化し、そのブロックを横軸θＥ、縦軸φＥとして視点ごとに並べた形式である。参照テクスチャ画像が全てＵ×Ｖピクセルであった場合、参照高次元テクスチャ生成部１０１の入出力は以下のようになる。
【００３６】
【表１】
2004272580.tif 000003
【００３７】
図９は参照高次元テクスチャ量子化部１０２における参照高次元テクスチャ量子化（３０２）のフローチャートである。まず、参照高次元テクスチャを入力し、Ｒ成分／Ｇ成分／Ｂ成分を別々に分割する（９０１）。次に、Ｒ成分／Ｇ成分／Ｂ成分いずれかの成分の参照高次元テクスチャを入力し（９０２）、量子化処理を開始する。量子化レベルｑといったパラメータを用意し、初期値０からインクリメントしていく（９０３、９０７）。量子化レベルでは、コードブックサイズの指定を行ない、ｑの値が大きくなるほど、コードブックサイズを大きくする。コードブックサイズが参照テクスチャ画像のピクセル数と等しくなった量子化レベルで量子化処理を終了する（９０６）。参照テクスチャ画像のサイズが３２×３２ピクセルであった場合の、量子化レベルの設定方法の例を以下に示す。
【００３８】
【表２】
2004272580.tif 000004
【００３９】
各量子化レベルにおける量子化処理は、一般によく知られたベクトル量子化（Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＶＱ）を利用すればよい。しかし本実施形態では、本装置に適した改良方式を用いることとする。すなわち、誤差ゼロのクラスタを固定する処理を追加した全探索ベクトル量子化（Ｆｕｌｌ  Ｓｅａｒｃｈ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＦＳＶＱ）、もしくは木構造のコードブックを出力する木構造ベクトル量子化（Ｔｒｅｅ  Ｓｔｒｕｃｔｕｒｅｄ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ：ＴＳＶＱ）である。前者の方式は、前処理として誤差ゼロのクラスタを固定してしまい、これを以後のクラスタ分割の対象には含めない。この方式によれば、全探索でありながらも、比較的短時間で目的の量子化レベルまで達することができる。一方、後者の方式は、木構造を成すようなクラスタ分割をしていくものである。この方式によって、前述の方式に比べて、量子化の精度が落ちる反面、短時間で量子化することができる。さらに、ＴＳＶＱによって量子化を行なった場合には、後述するインデックス画像合成部においても処理時間に大きな効果をもたらす。
【００４０】
量子化を行なった後、それぞれの量子化レベルにおける参照高次元テクスチャ、すなわち、インデックス画像とコードブックを出力する（９０５）。以上の処理をＲ成分／Ｇ成分／Ｂ成分に対して行ない（９０８）、参照高次元テクスチャ量子化の処理を終了する。
【００４１】
参照高次元テクスチャ量子化部１０２が出力する量子化済み参照高次元テクスチャの構成を図１０に示す。Ｒ成分／Ｇ成分／Ｂ成分が、それぞれ別々に、量子化レベルごとの参照高次元テクスチャを保持している。ｑが大きくなるほど、コードブックサイズが大きくなっており、参照高次元テクスチャが階層的に表現されている。
【００４２】
図１１はインデックス画像合成部１０３におけるインデックス画像合成（３０３）のフローチャートである。まず、パラメータを入力する（１１０１）。このパラメータは、参照テクスチャ画像サイズ、参照テクスチャ画像数（高次元ピクセルデータのサイズ）、参照高次元テクスチャ名（入力ファイル名）、新規テクスチャ画像サイズ、新規高次元テクスチャ名（出力ファイル名）、階層数Ｈ、各階層における量子化レベル（Ｒ成分／Ｇ成分／Ｂ成分）、各階層におけるスキャン回数Ｓｈ、各スキャンにおける書き換えブロックサイズ、各スキャンにおける近傍ブロックサイズを含む。
【００４３】
次に、階層番号ｈを初期化（ｈ＝０）し、階層番号がＨ−１となるまで階層ごとのインデックス画像合成処理を行なう（１１０２、１１１１、１１１２）。各階層では、パラメータで指定された量子化レベルの参照高次元テクスチャを入力する（１１０３）。各階層における量子化レベルの指定は、Ｒ成分／Ｇ成分／Ｂ成分ごとに別々に行ない、階層番号が大きくなるほど指定する量子化レベルを大きくする。
【００４４】
次に、入力した参照高次元テクスチャ内に存在する高次元ピクセルデータの類似性を計算する（１１０４）。この処理は、後述する類似ピクセル探索を行なう際に用いられる評価値を計算する処理を含む。入力した参照高次元テクスチャのインデックス画像に注目し、全通りのピクセルの組み合わせについて、インデックスが指し示す高次元ピクセルデータ間の類似性をＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、相関値、または内積を評価値として用いることによって評価する。なお、参照高次元テクスチャ量子化部１０２により、上述したＴＳＶＱによる量子化が行なわれた場合には、木構造を成すコードブックをなぞるだけで類似性を評価できるため、１１０４において計算を行なう必要は無い。
【００４５】
次に、新規インデックス画像の初期画像として、参照インデックス画像に存在するインデックスをランダムに割り当てたノイズ画像を生成する（１１０５）。
【００４６】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がＳｈ−１になるまで新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１１０６、１１０９、１１１０）。
【００４７】
各スキャンにおける新規インデックス画像の合成（１１０７）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えには、類似ピクセル探索を用いる。類似ピクセル探索とは、書き換えるブロックの近傍ブロックを利用し、参照インデックス画像内に存在する同じ形状のブロックの中から、もっとも類似性の高いブロックを見つけることである。
【００４８】
参照インデックス画像内に存在する同じ形状のブロックを全通り評価してもよいが、始めから候補をリストアップしておいてもよい。近傍ブロックの各ピクセルが参照している位置に対応するブロックを候補とし、その中から選出するという方法もある。近傍ブロックのピクセル数が２０であった場合、候補は高々２０個ということになり、効率よく探索することができる。
【００４９】
類似ピクセル探索には、現在の階層ｈのデータだけではなく、１つ前の階層ｈ−１のデータも用いる。１つ前の階層を用いることによって、１つ前の階層での処理を反映させることができ、精度が向上する。
【００５０】
図１２は類似ピクセル探索におけるブロックの選び方を説明する図である。類似ピクセル探索ではＬ字型探索（図１２（ａ））もしくは方形探索（図１２（ｂ））のいずれかを行なう。図１２の場合においては、書き換えブロック１２０のサイズを３×３ピクセル、近傍ブロック１２１のサイズを７×７ピクセルとしている。また、方形探索では７×７ピクセルの近傍ブロックの全てを利用して探索を行なうのに対して、Ｌ字型探索では、７×７ピクセルの近傍ブロックのうち既に書き換えが行なわれた部分のブロックを利用して探索を行なう。なお本実施形態の方形探索では、書き替え済みのブロックと書き替え済みでないブロックの両者からなるブロック１２２を用いる。
【００５１】
図１３は階層ｈにおける類似ピクセル探索を説明するための図である。ｈ＝０の時は、階層０でのＬ字型探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでのＬ字型探索と、階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。
【００５２】
以上の処理では、各階層ごとに、あるいは各スキャンごとに、書き換えブロックサイズや近傍ブロックサイズを任意に変更できる。書き換えブロックサイズに関しては、これを下位の階層において拡大すれば、おおまかなテクスチャの特徴を捉えることができ、上位の階層において縮小すれば、細部のテクスチャの特徴を捉ることができる。計算時間に大きく影響する近傍ブロックサイズは、できるだけ小さいことが好ましい。全ての階層について全てのスキャンにより新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１１０８）。
【００５３】
次に、新規高次元テクスチャ生成部１０４における新規高次元テクスチャ生成（３０４）について説明する。新規高次元テクスチャ生成部１０４では、まず、インデックス画像合成部１０３から出力された新規インデックス画像と、参照高次元テクスチャ量子化部１０２から出力された様々な量子化レベルでのコードブックを入力する。次に、任意の階層で合成された新規インデックス画像と、任意の量子化レベルでのコードブックとを組み合わせることによって、新規高次元テクスチャを生成する。ただし、新規インデックス画像とコードブックとの量子化レベルが一致していれば、両者を組み合わせるだけであるが、一致していなければ、コードブックの量子化レベルに合わせて新規インデックス画像を書き換える必要がある。書き換えの際には、参照インデックス画像のどのピクセルを参照しているかを調べることによって、他の量子化レベルでインデックスと対応づける。
【００５４】
新規高次元テクスチャ生成部１０４に様々な量子化レベルの新規高次元テクスチャを出力させることにより、ディテールのはっきりした鮮明な新規テクスチャ画像からおおまかな柄だけを再現したような粗い新規テクスチャ画像まで、様々なテクスチャ画像を生成することができる。
【００５５】
次に、新規テクスチャ画像変換部１０５おける新規テクスチャ画像生成（３０５）について説明する。新規テクスチャ画像変換部１０５では、まず、新規高次元テクスチャを入力し、生成したい新規テクスチャ画像の視点／光源条件を与える。次に、ピクセルごとにインデックス画像内のインデックスからコードブックを参照し、指定された視点／光源条件の色情報を取り出し、新規テクスチャ画像を描画していく。すべてのピクセルを描画した後、新規テクスチャ画像を出力する。
【００５６】
出力された新規テクスチャ画像は、３次元物体へのテクスチャマッピングに適用することができる。３次元物体の各ポリゴンの法線と、視点方向および光源方向との関係を計算し、対応する視点／光源に最も近い新規テクスチャ画像をマッピングすればよい。また、複数の新規テクスチャ画像を用いて補間することによって、よりリアルな画像を生成することもできる。ただし、ポリゴン単位でピクセルを描画するため、必ずしも新規テクスチャ画像を生成する必要はなく、新規高次元テクスチャからピクセルの色情報を抽出しながら描画することもできる。新規高次元テクスチャを用いてテクスチャマッピングすることによって、メモリを有効に活用することができる。
【００５７】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、第１の実施形態で示した装置に目標テクスチャを利用する処理を追加したものである。参照高次元テクスチャ生成部１４０１は、第１の実施形態で示した参照高次元テクスチャ生成部１０１と同様である。参照高次元テクスチャ量子化部１４０３は、第１の実施形態で示した参照高次元テクスチャ量子化部１０２に、目標インデックス画像生成部１４０４へのコードブックの出力処理を追加したものである。インデックス画像合成部１４０５は、第１の実施形態で示したインデックス画像合成部１０３と同様の構成であるが、類似ピクセル探索において目標インデックス画像を利用するように変更したものである。新規高次元テクスチャ生成部１４０６および新規テクスチャ画像変換部１４０７は、それぞれ第１の実施形態で示した新規高次元テクスチャ生成部１０４、新規テクスチャ画像変換部１０５と同様の構成である。本実施形態においては、目標高次元テクスチャ生成部１４０２と目標インデックス画像生成部１４０４の存在が、第１の実施形態と大きく異なる部分である。目標高次元テクスチャ生成部１４０２では、参照高次元テクスチャ生成部１４０１と同様に、１つ以上の目標テクスチャ画像から目標高次元テクスチャを生成する。また、目標インデックス画像生成部１４０４は、参照高次元テクスチャ量子化部１４０３から出力されたコードブックに対応するように、目標インデックス画像を生成する。
【００５８】
図１５は第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１４の装置から新規テクスチャ画像変換部１４０７を取り除いた構成を有し、第１の実施形態の図２で示した高次元テクスチャ合成装置と同様の用途に用いられる。すなわち、最終的な出力画像として、新規テクスチャ画像を出力する。
【００５９】
図１６は図１４に示される第２の実施形態の高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理について、第１の実施形態と異なる部分に絞って説明する。本実施形態では、目標高次元テクスチャ生成部１４０２に、複数の異なる条件で取得あるいは作成された１つ以上の目標テクスチャ画像を入力する。目標テクスチャ画像のサイズは、要求する新規テクスチャ画像サイズと等しいものとする。
【００６０】
目標高次元テクスチャ生成部１４０２では、図４に示したものと同様のフローチャートに従って目標高次元テクスチャを生成する。ただし、高次元ピクセルデータのフォーマットは参照高次元テクスチャ生成部１４０１と同様のものとし、視点／光源の位置に対応した高次元ピクセルデータのそれぞれの部分に、それぞれの視点／光源の位置で目標とする目標テクスチャ画像の色情報を書き込む。目標のない視点／光源の位置には、データを書き込まない。
【００６１】
目標インデックス画像生成部１４０４では、まず、目標高次元テクスチャと、参照高次元テクスチャ量子化部１４０３で生成されたコードブックとを入力する。次に、目標高次元テクスチャのコードブックを参照高次元テクスチャのコードブックに置き換え、インデックスの書き換えを行なう。インデックスを書き換える際には、目標高次元テクスチャ生成器１４０２で生成された高次元ピクセルデータとコードブック内の高次元ピクセルデータとを比較し、もっとも類似性の高い高次元ピクセルデータに対応するインデックスを割り当てる。ただし、類似性の評価では、目標のない視点／光源の位置は比較対象に含めず、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、相関値、または内積によって評価を行なう。以上のような処理を参照高次元テクスチャ量子化部１４０３から入力される量子化レベルに応じた複数のコードブックに対して行ない、各量子化レベルに応じた目標インデックス画像を出力する。
【００６２】
インデックス画像合成部１４０５では、第１の実施形態で示したインデックス画像合成部１０３と同様の処理に加え、目標インデックス画像を入力する処理と、目標インデックス画像を利用した類似ピクセル探索処理とが行なわれる。
【００６３】
図１７は階層ｈにおける類似ピクセル探索を説明するための図である。目標インデックス画像は、階層ｈにおける量子化レベルのものが用いられる。ここでは、ｈ＝０の時は、階層０での方形探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでの方形探索と階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。階層ｈでは、図１２（ｄ）に示すような方形探索を行なう。方形ブロックの中で、書き換え済みのブロック１２２１に関しては、新規インデックス画像のブロックを利用し、書き換え済みでないブロック１２２２に関しては、目標インデックス画像を利用する。階層ｈ−１では、図１２（ｃ）に示すような方形探索を行なう。他の部分の処理方法は、第１の実施形態で説明したものと同様である。
【００６４】
（第３の実施形態）
本実施形態は、第１の実施形態および第２の実施形態におけるインデックス画像合成部を変更したものである。まず概略構成を説明する。本実施形態の高次元テクスチャ合成装置は、第１の実施形態で述べた図１の装置、または第２の実施形態で述べた図１４の装置とほぼ同様の構成であり、インデックス画像合成部を除く他の構成要素は、第１の実施形態または第２の実施形態と同じ機能を持つ。図１８はこのインデックス画像合成部におけるインデックス画像合成のフローチャートである。本実施形態に係るインデックス画像合成部では、まずパラメータを入力する（１８０１）。本装置は、各階層ごとにスキャンをするものではないため、１つのスキャン回数Ｓを設定するだけでよい。それ以外のパラメータは第１の実施形態または第２の実施形態と同様である。
【００６５】
次に、全階層の参照インデックス画像と量子化誤差を入力する（１８０２）。本装置では、１つの新規インデックス画像を合成するために、量子化誤差が異なる２つ以上の参照インデックス画像を用いる。また、近似的な類似性評価を行なうために、各階層の量子化誤差を用いる。また、目標インデックス画像が存在する場合には、目標インデックス画像も入力する。
【００６６】
次に、新規インデックス画像の初期画像を生成する（１８０３）。これは、第１の実施形態または第２の実施形態と同様のノイズ画像とする。
【００６７】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がＳ−１となるまで、新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１８０４、１８０８，１８０８）。
【００６８】
各スキャンにおける新規インデックス画像の合成（１８０５）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えでは、入力した参照インデックス画像の中で最上位（量子化誤差が最も小さい）のものを参照しながら、類似ピクセル探索を行なう。探索の方法は第１の実施形態ならびに第２の実施形態と同様であり、評価の方法が異なる。本実施形態における類似ピクセル探索では、量子化誤差の異なる２つ以上の参照インデックス画像の階層性を利用して評価を行なう。ピクセルの類似性評価の具体例を図１９に示す。書き換えるブロックの近傍ブロック（Ｌ字型もしくは方形）と、参照インデックス画像もしくは目標インデックス画像中の同じ形状のブロックとの類似性を評価するために、上位階層の参照インデックス画像もしくは目標インデックス画像から順に参照していく。比較している２つのブロック中のあるピクセルのインデックスが、ある階層で初めて一致した場合、その階層の量子化誤差を、そのピクセルにおける近似的な誤差であるとする。このような近似的な誤差をブロック中の全ピクセルに対して求め、ブロックの類似性を評価する。各スキャンにおける新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１８０６）。
【００６９】
以上説明した本発明の実施形態によれば、視点方向または光源方向などの条件によって変化するテクスチャ画像を用いて、任意サイズの新規テクスチャ画像を合成することができる。第１の実施形態で述べた装置によれば、参照テクスチャ画像の特性をそのまま再現したものを合成することができ、第２の実施形態で述べた装置によれば、目標テクスチャ画像に近い柄や模様を保持しつつ、かつ参照テクスチャ画像の特性を再現したような新規テクスチャ画像を合成することができる。また第３の実施形態で述べた装置によれば、高次元ピクセルデータを用いた計算を可能な限り省くことができ、データ量や計算時間において効率的であり、しかも合成の精度を維持することができる。また、上述した高次元テクスチャのデータ構造によれば、高次元のテクスチャ画像データを効率よく保持することができ、効率的なテクスチャマッピングを実現することができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
例えば、複数の異なる条件で取得あるいは作成した１つ以上の画像、映像、音声などのマルチメディアデータを利用し、それぞれの条件に対応した任意サイズあるいは任意時間長のマルチメディアデータを合成する装置に本発明を適用することもできる。この高次元マルチメディアデータ合成装置は、１つ以上のマルチメディアデータから、同一の位置あるいは同一の時間のデータを取り出してまとめ、高次元マルチメディアデータを生成する高次元マルチメディアデータ生成部と、高次元マルチメディアデータを、１つ以上の量子化レベルで量子化する高次元マルチメディアデータ量子化部と、量子化レベルに応じた高次元マルチメディアデータの階層性を利用して、量子化インデックスの空間的あるいは時間的な配列を、任意サイズあるいは任意時間長の配列に合成するインデックス合成部と、インデックス合成部で合成された新規インデックスデータと、高次元マルチメディアデータ量子化部で生成されたコードブックとを合わせて、新規高次元マルチメディアデータを生成する新規高次元マルチメディアデータ生成部と、を備える。
【００７２】
【発明の効果】
本発明によれば、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することのできる高次元テクスチャ合成装置、方法、およびプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図
【図２】第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図３】第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図４】参照高次元テクスチャおよび目標高次元テクスチャ生成のフローチャート
【図５】様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図
【図６】高次元テクスチャのデータ構造の一例を示す図
【図７】複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図
【図８】高次元ピクセルデータの形式を示す図
【図９】参照高次元テクスチャ量子化のフローチャート
【図１０】階層化された高次元テクスチャの構成を示す図
【図１１】インデックス画像合成のフローチャート
【図１２】類似ピクセル探索を説明するための図
【図１３】階層ｈにおける類似ピクセル探索を説明するための図
【図１４】本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図
【図１５】第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図１６】第２の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図１７】階層ｈにおける類似ピクセル探索を説明するための図
【図１８】本発明の第３の実施形態に係るインデックス画像合成のフローチャート
【図１９】ピクセルの類似性評価を説明するための図
【符号の説明】
１０１…参照高次元テクスチャ、１０２…参照高次元テクスチャ量子化部、１０３…インデックス画像合成部、１０４…新規高次元テクスチャ生成部、１０５…新規テクスチャ画像変換部
【図１】
2004272580.tif 000005
【図２】
2004272580.tif 000006
【図３】
2004272580.tif 000007
【図４】
2004272580.tif 000008
【図５】
2004272580.tif 000009
【図６】
2004272580.tif 000010
【図７】
2004272580.tif 000011
【図８】
2004272580.tif 000012
【図９】
2004272580.tif 000013
【図１０】
2004272580.tif 000014
【図１１】
2004272580.tif 000015
【図１２】
2004272580.tif 000016
【図１３】
2004272580.tif 000017
【図１４】
2004272580.tif 000018
【図１５】
2004272580.tif 000019
【図１６】
2004272580.tif 000020
【図１７】
2004272580.tif 000021
【図１８】
2004272580.tif 000022
【図１９】
2004272580.tif 000023