(57)【特許請求の範囲】
【請求項１】
境界表現方式で形状表現され且つテクスチャの付与された複数の３次元データを処理装置によって１つの３次元データに合成する方法であって、
前記処置装置は、処理部および主メモリを有し、
前記処理部によって、
前記複数の３次元データを、境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いたボリューム方式の形状表現に変換し、且つ前記ボクセルの特徴量に前記テクスチャの属性を付与するステップと、
前記ボクセルの特徴量を混合することによって前記複数の３次元データを統合するステップと、
統合された３次元データを境界表現方式の形状表現に逆変換するステップと、
を実行することを特徴とする３次元データの合成方法。
【請求項２】
前記処理部によって、さらに
前記統合された３次元データが格納されたボクセルと位置を同じくする３次元データのボクセルに付与されたテクスチャ属性に対して、３次元局所フィルタを適用するステップを実行する、
請求項１記載の３次元データの合成方法。
【請求項３】
境界表現方式で形状表現され且つテクスチャの付与された複数の３次元データを１つの３次元データに合成する装置であって、
前記複数の３次元データを、境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いたボリューム方式の形状表現に変換し、且つ前記ボクセルの特徴量に前記テクスチャの属性を付与する手段と、
前記ボクセルの特徴量を混合することによって前記複数の３次元データを統合する手段と、
統合された３次元データを境界表現方式の形状表現に逆変換する手段と、を有してなることを特徴とする３次元データの合成装置。
【請求項４】
前記統合された３次元データが格納されたボクセルと位置を同じくする３次元データのボクセルに付与されたテクスチャ属性に対して、３次元局所フィルタを適用する手段を有する、
請求項３記載の３次元データの合成装置。
【請求項５】
境界表現方式で形状表現され且つテクスチャの付与された複数の３次元データを１つの３次元データに合成する処理装置によって実行されるコンピュータプログラムが記録されたコンピュータ読取り可能な記録媒体であって、
前記複数の３次元データを、境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いたボリューム方式の形状表現に変換し、且つ前記ボクセルの特徴量に前記テクスチャの属性を付与する手段と、
前記ボクセルの特徴量を混合することによって前記複数の３次元データを統合する手段と、
統合された３次元データを境界表現方式の形状表現に逆変換する手段と、
を前記処理装置に実現させることを特徴とする、
コンピュータプログラムが記録されたコンピュータ読取り可能な記録媒体。
【請求項６】
前記統合された３次元データが格納されたボクセルと位置を同じくする３次元データのボクセルに付与されたテクスチャ属性に対して、３次元局所フィルタを適用する手段を前記処理装置にさらに実現させる、
請求項５記載のコンピュータプログラムが記録されたコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の３次元データを合成して１つの形状及びテクスチャ画像を表す３次元データを合成する方法及び装置に関する。
【０００２】
【従来の技術】
従来より、光切断法によって物体の３次元データを非接触で計測する３次元計測装置がしばしば用いられる。このような３次元計測装置を用いる場合には、１つの物体に対し、計測方向を変えて複数回にわたって計測を行い、物体の全周についての複数の３次元データ（ポリゴンデータ）を取得する。そして、取得した複数の３次元データを繋ぎ合わせることよって、物体の全体についての１つの３次元データを合成する。
【０００３】
また、物体を計測することに代えて、ＣＧによって作成した３次元データをつなぎ合わせて合成する手法もある。
このように、１つの物体についての複数の部分データから物体の全体形状を示す１つの３次元データを合成する手法として、ポリゴンデータをそのまま処理する手法が一般的に用いられている。ポリゴン処理による形状合成（形状統合）の手法を示す例として、「Zippered Polygon Meshes from Range Images 」（Greg Turk and Marc Levoy, In Proceedings of ACM SIGGRAPH '94, PP. 311-318. ACM Press, 1994) がある。そこには、ポリゴンジッピング（Polygon Zipping)と呼称される方法で位置合わせを行った後にポリゴンメッシュのつなぎ合わせを行う方法が提示されている。
【０００４】
また、メタボールと呼称される３次元形状の表現法がある。これは、点電荷を参考にしたポテンシャル場を人手で関数定義して点ポテンシャルの位置を調整したり、ポテンシャルの強度（大きさ）を制御をしてモデリング手段とする方法である。これについて、「分布関数による物体モデリングと画像生成」（電子通信学会論文誌  ８５／４，Ｖｏｌ．Ｊ６８−Ｄ４．）が参考となる。しかし、一般的なポリゴンなどの既存の形状をそれに該当するポテンシャルを構成する関数定義に変換する方法が提示されていないので、人為的形状操作の容易でないモデリング技法という評価が一般的である。
【０００５】
また、ポリゴンデータ（ポリゴンメッシュデータ）などのような境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いた形状表現に変換し、ボクセルの特徴量を混合することによって複数の３次元データを統合する方法が、ボリューム方式として提案されている〔「A Volumetric Method for Building Complex Models from Range Images 」 Brain Curless and Marc Levoy, Stanford University, In Proceedings of ACM SIGGRAPH '96, PP. 303-312. ACM Press, 1996) 〕。
【０００６】
ボリューム方式の合成方法によると、ポリゴンデータの状態のままで合成する場合と比べて、データの接続部分の連結が滑らかに行われ、処理時間も短縮される。
【０００７】
ところが、３次元データにテクスチャ画像が付与されている場合において、ボリューム方式によるとテクスチャ画像に対しては何らの処理を行わない。したがって、その場合には、ボリューム方式によって３次元データを合成した後に、合成処理とは全く別個に、合成された３次元データに対してテクスチャ画像を投影することとなる。
【０００８】
【発明が解決しようとする課題】
したがって、従来においては、元の形状から変形されているかも知れない３次元データに対して、テクスチャ画像を投影することとなり、その結果、テクスチャ画像が歪んでしまう可能性が大きい。
【０００９】
すなわち、３次元データの合成が行われると、各３次元データの周辺部分が統合されるので、周辺部分の形状が変形し易い。形状が変形すると、そこに投影されるテクスチャ画像がずれた位置に投影されることとなり、その結果、テクスチャ画像も変形してしまう。
【００１０】
例えば、図８において、テクスチャ画像付きに２つの３次元データＤＡ，ＤＢをボリューム方式によって合成する場合を想定する。この場合に、３次元データＤＡ，ＤＢの合成によって３次元データＤＣが生成される。元の３次元データＤＡ上の点Ｐ２は、合成によって３次元データＤＣ上の点Ｐ３に移動する。
【００１１】
ところが、合成後の３次元データＤＣにテクスチャ画像を投影する際に、テクスチャ画像は観測方向に沿って投影されるから、図８に示すように、３次元データＤＣの点Ｐ３上へは、元の３次元データＤＡの点Ｐ１上のテクスチャ画像が投影されることとなる。つまり、３次元データＤＣ上の点Ｐ３に対しては、本来投影されるべきテクスチャ画像とは異なったものが投影されることとなる。その結果、３次元データＤＣに投影されるテクスチャ画像が歪み、テクスチャ効果の破綻が大きくなる。
【００１２】
本発明は、上述の問題に鑑みてなされたもので、テクスチャの付与された複数の３次元データを１つの３次元データに合成する際に、ボクセルの特徴量にテクスチャの属性を付与することにより、合成によって形状が変形した場合においても破綻の少ないテクスチャ効果を得ることを目的とする。
【００１３】
請求項１の発明に係る方法は、境界表現方式で形状表現され且つテクスチャの付与された複数の３次元データを処理装置によって１つの３次元データに合成する方法であって、前記処置装置は、処理部および主メモリを有し、前記処理部によって、前記複数の３次元データを、境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いたボリューム方式の形状表現に変換し、且つ前記ボクセルの特徴量に前記テクスチャの属性を付与するステップと、前記ボクセルの特徴量を混合することによって前記複数の３次元データを統合するステップと、統合された３次元データを境界表現方式の形状表現に逆変換するステップと、を実行する。
【００１４】
請求項２の発明に係る方法は、前記処理部によって、さらに前記統合された３次元データが格納されたボクセルと位置を同じくする３次元データのボクセルに付与されたテクスチャ属性に対して、３次元局所フィルタを適用するステップを実行する。
【００１５】
請求項３の発明に係る装置は、境界表現方式で形状表現され且つテクスチャの付与された複数の３次元データを１つの３次元データに合成する装置であって、前記複数の３次元データを、境界表現方式の形状表現から、ボリュームを構成する複数のボクセルの特徴量を用いたボリューム方式の形状表現に変換し、且つ前記ボクセルの特徴量に前記テクスチャの属性を付与する手段と、前記ボクセルの特徴量を混合することによって前記複数の３次元データを統合する手段と、統合された３次元データを境界表現方式の形状表現に逆変換する手段と、を有してなる。
【００１６】
【発明の実施の形態】
図１は本実施形態に係る３次元データ合成装置１のブロック図である。
図１において、３次元データ合成装置１は、処理装置１１、ディスプレィ装置１２、キーボード１３、マウス１４、及び媒体ドライブ装置１５などからなる。処理装置１１は、プログラム及びデータを格納したハードディスク装置及び主メモリ、外部機器との間の種々のインタフェース、その他の種々の機器又は回路を備えており、ＯＳの下でプログラムを実行してその処理結果をディスプレィ装置１２の表示面に表示し又は外部へ出力する。
【００１７】
媒体ドライブ装置１５は、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、又は光磁気ディスクなど、そこにセットされる記録媒体にアクセスしてデータ又はプログラムを読み出し又は書き込む。以下に説明する３次元データの合成方法を実行するためのプログラムは、ハードディスク装置又は記録媒体に格納され、主メモリ上に適時ローディングされ、処理部によって実行される。このような３次元データ合成装置１は、例えばパーソナルコンピュータ、ワークステーション、又は汎用コンピュータを用いて実現される。
【００１８】
また、処理装置１１には、被写体である種々の物体を撮影してその３次元データＤ１を入力するための３次元入力装置（３次元計測装置）３が接続されている。
【００１９】
３次元入力装置３は、例えば光切断法によって物体の３次元データＤ１を非接触で計測する。また、３次元入力装置３から、３次元データＤ１ではなく、３次元データＤ１を生成するための元となるデータを出力し、処理装置１１によって３次元データＤ１を演算によって求めてもよい。また、処理装置１１において、ＣＧ又はＣＡＤによって３次元データを作成することが可能であり、これら種々の３次元データを合成することにより、元の物体とは別の形状を容易に創り出すことができる。
【００２０】
３次元入力装置３は、３次元データのテクスチャ画像として用いるために、物体についての２次元画像を撮影して出力することができる。撮影によって得られたテクスチャ画像は、３次元入力装置３の内部で、又は処理装置１１において、３次元データＤ１に貼り付けられ、テクスチャ画像付きの３次元データＤ１が得られる。
【００２１】
処理装置１１において、テクスチャ画像付きの３次元データを合成するに当たり、それらを境界表現方式の形状表現からボリューム（Ｖｏｌｕｍｅ）を構成する複数のボクセル（Ｖｏｘｅｌ）の特徴量を用いたボリューム方式の形状表現に変換する。その際に、ボクセルの特徴量にテクスチャの属性を付与する。そして、ボクセルの特徴量を混合することによって、複数の３次元データを統合する。その後、統合された３次元データを境界表現方式の形状表現に逆変換し、これを出力する。詳細は後述する。
【００２２】
次に、テクスチャ付き３次元データの合成処理についてさらに詳しく説明する。
まず、テクスチャ属性の合成処理を距離ポテンシャルの合成と同じようにして行う場合について説明する。
【００２３】
図２は合成処理を示すフローチャートである。
図２において、テクスチャ付きの複数の３次元データを入力し（＃１１）、入力した３次元データを互いに位置合わせする（＃１２）。位置合わせの行われた３次元データについて、それぞれの形状情報を距離ポテンシャルに変換して各ボクセルに格納するとともに（＃１３）、境界表面のテクスチャ属性をサンプリングしてその属性値を各ボクセルに格納する（＃１４）。距離ポテンシャル及び属性値をボリューム方式によって合成し（＃１５）、合成された距離ポテンシャル及び属性値を境界表現に逆変換する（＃１６）。
【００２４】
このように、本実施形態においては、ボクセルに対して、元の３次元データの形状情報（距離情報）のみでなく、テクスチャ属性（テクスチャ情報）をもその特徴量として与える。テクスチャ属性として、例えば、表面の色を表すカラー情報、表面の凹凸の状態を表すバンプ、及び透明性を表すトランスパレンシーマッピングなどがある。テクスチャ属性は、３次元データの面の部分つまり境界部分についてのみ与えられ、面でない部分についてはテクスチャ属性は定義されない。
【００２５】
例えば、テクスチャ属性がカラー情報である場合に、カラー情報の属性値は、赤、緑、青の３原色の量ｒ，ｇ，ｂで表されるから、距離ポテンシャルをｄとして、各ボクセルの特徴量は（ｄ，ｒ，ｇ，ｂ）によって表される。
【００２６】
そして、ボリューム方式による合成処理を行う際に、距離ポテンシャルとともにテクスチャ属性をも合成する。これによって、合成により形状が変形した場合でも、それに対するテクスチャ画像のずれを軽減することができ、テクスチャ効果の低下が抑えられる。
【００２７】
次に、テクスチャ属性の合成を局所フィルタを用いて行う場合について説明する。
図３は他の実施形態の合成処理を示すフローチャート、図４は局所フィルタの適用の様子を示す図である。
【００２８】
図３において、テクスチャ付きの複数の３次元データを入力し（＃２１）、入力した３次元データを互いに位置合わせする（＃２２）。位置合わせの行われた３次元データについて、それぞれの形状情報を距離ポテンシャルに変換して各ボクセルに格納するとともに（＃２３）、境界表面のテクスチャ属性をサンプリングしてその属性値を各ボクセルに格納する（＃２４）。
【００２９】
ステップ＃２５において、境界部分のボクセルを選択する。この処理に際して、距離ポテンシャルを合成して形状統合を行い、その結果に対して等値面抽出法を適用して境界表現に変換し、境界部分に座標を持つボクセルをしきい値処理などによって選択する。
【００３０】
そして、図４に示すように、境界部分のボクセルに注目し、合成前のボクセルの属性値に局所フィルタＦＴを適用して、その結果を合成後のボクセルに格納する（＃２６）。すなわち、ステップ＃２５で選択されたボクセルに注目し、ステップ＃２４で得た属性値つまり元の３次元データのテクスチャ画素を処理対象として、３次元的な局所フィルタＦＴを適用し、合成後における各ボクセルの属性値を決定する。なお、この場合の局所フィルタＦＴのパラメータは適宜調整可能である。
【００３１】
ステップ＃２５で行われた形状統合後の境界表現に、ステップ＃２６で得られた属性値を投影し、その点の属性値とする（＃２７）。そして、合成された距離ポテンシャル及び属性値を境界表現に逆変換する（＃２８）。
【００３２】
すなわち、図３に示す実施形態では、３次元データの境界領域に対して局所フィルタＦＴを適用し、これによってテクスチャ属性を合成する。局所フィルタＦＴは、例えば、５×５×５、９×９×９、１２×１２×１２、その他の種々のサイズの３次元の空間フィルタである。局所フィルタＦＴとして、例えば、平均化処理フィルタ又はメディアン（中間値）フィルタなどが用いられる。
【００３３】
図４で示されるように、境界部分に局所フィルタＦＴを適用することによって、局所フィルタＦＴ内の属性値が合成後の形状に沿って混ぜ合わされる。
例えば、上に述べた例のように、各ボクセルの特徴量が（ｄ，ｒ，ｇ，ｂ）で表される場合に、局所フィルタＦＴとして平均化処理フィルタを用いると、それぞれの要素についての平均値が中央の注目ボクセルの特徴量の要素となる。
【００３４】
したがって、合成後の３次元データＤ３上の点Ｐ３は、合成前の３次元データＤ１Ａの点Ｐ１に近い部分のテクスチャ属性のみでなく、本来的に受け継ぐべき点Ｐ２をも含めた周辺部分全体のテクスチャ属性を受け継ぐこととなる。
【００３５】
これによって、テクスチャ属性の接合が滑らかに行われ、形状に対するテクスチャ画像のずれを軽減してテクスチャ効果の低下を効果的に抑えることができる。
【００３６】
ここで、ボリューム方式の形状表現について、図６及び図７を参照して説明する。
ボリューム方式では、３次元空間を、ｘ，ｙ，ｚの各方向に小さな単位の格子に分割し、この単位格子によって構成される小さな立方体状のボクセルを用いて形状を表現する。例えば、図６（Ａ）に示す四角錐状の物体Ｑ１を、図６（Ｂ）に示す多数のボクセルＢＸを用いて表現する。
【００３７】
一般に、各ボクセルには何らかの属性値（特徴量）が付与されている場合が多い。属性値に基づいて、適用用途に応じたデータ処理が行われる。
このようなボクセルを用いたデータ表現は、従来において医用工学の分野でのＣＴ（Computer Tomography ）による人体などの内部構造の可視化手法としてしばしば用いられる。
【００３８】
本実施形態に関するボリューム方式の形状処理においては、ボクセル群に格納される属性を、ポリゴンデータなどの３次元データから導出することの可能な属性としている。これにより、ボリューム方式の形状処理は、３次元データの処理における中間的な手段として位置付けることできる。
【００３９】
例えば、図６の例では、各ボクセルにおいて、ポリゴンデータで規定されるポリゴンからの距離に相当するポテンシャル値を計算する。例えば、ポテンシャル値を距離値と等しくする。ボクセルＢＸ、視点ＶＰ、及びポリゴンデータＰＭが、図７に示す位置関係にあるとする。視点ＶＰは、例えば３次元入力装置３の設置位置である。視点ＶＰの向きが観測の方向、つまり視線ＶＬである。
【００４０】
視線ＶＬ上において、ボクセルＢＸから１つのポリゴンＰＧの点ｘまでの距離ｄｘに基づいて、ポテンシャル値を決定する。このとき、ポリゴンＰＧに対してボクセルＢＸが視点ＶＰの側にある場合は、ポテンシャル値の符号は負となり、視点ＶＰの反対側にある場合は正となるのが一般的である。
【００４１】
ポテンシャル値の計算は、多視点から得られた複数のポリゴンデータＰＭのそれぞれに対して行われる。したがって、通常、各ボクセルに対応して複数のポテンシャル値が得られることになる。
【００４２】
これら複数のポテンシャル値の合計値が、各ボクセルの加算ポテンシャル値となる。
このように、ポテンシャル値を付与されたボクセル群が空間的に分布することから、ボリュームは距離ポテンシャル場と見なすことができる。
【００４３】
そして、各ボクセルの加算ポテンシャル値に基づいて、マーチンキューブ法（Marching Cubes  法) などの手法を用い、再度ポリゴンデータを生成することができる。
【００４４】
次に、ボリューム方式による合成（形状統合）について、図５を参照して説明する。
図５において、枠Ａ及び枠Ｂ内のそれぞれの左側に示すように、２つの３次元データＤ１ａ，Ｄ２ａが入力される。２つの３次元データＤ１ａ，Ｄ２ａは、それぞれ太線で示す部分が互いに重複する部分である。
【００４５】
これら３次元データＤ１ａ，Ｄ２ａは、それぞれの枠内の右側に示すようにポテンシャル化を行う。ポテンシャル化によって、３次元形状が距離ポテンシャル（距離関数）により表現されることとなる。距離ポテンシャルとは、物体の表面の位置が視点から見てどこにあるかを相対的に示すための概念である。
【００４６】
枠Ｃ内の左側には、ポテンシャル化された３次元データＤ１ａ，Ｄ２ａ、つまり距離ポテンシャルにより表現されたデータを、それぞれの重複部分が互いに一致するように配置した状態が示されている。距離ポテンシャルによる表現では、物体を視点からポテンシャル方向に見ている。この例では、３つのデータのうち、中央のデータＤ２ｂのポテンシャル値を「０」とし、それよりも所定距離だけ視点に近づいた位置のポテンシャル値を「−０．５」とし、所定距離だけ視点から離れた位置のポテンシャル値を「＋０．５」としている。したがって、ポテンシャル方向は図に矢印で示す方向である。
【００４７】
なお、ポテンシャル値は、形状表面の処理のために必要と考えられる近傍の点、例えば近傍の全てのボクセルにおいて算出される。ポテンシャル値が「−０．５」の空間上の点を結んだものがポテンシャル値「−０．５」の等高線となり、ポテンシャル値が「＋０．５」の空間上の点を結んだものがポテンシャル値「＋０．５」の等高線となる。
【００４８】
枠Ｃ内の右側には、ポテンシャル表現されたデータを、ポテンシャル値（距離値）の加算などによる混合演算によって統合した状態が示されている。このような統合のための手法として、従来の技術の項で述べたような種々の公知の手法を用いることができる。
【００４９】
このように、３次元データをポテンシャル化することにより、例えばポリゴンデータのような境界表現方式で形状表現されていた境界部分、つまり物体の表面形状を、ボクセルで表現することができる。そして、複数の３次元データを合成するに当たり、データの接続部分の連結が滑らかに行われ、処理時間も短縮できるなどの効果がある。
【００５０】
そして、枠Ｃ内の右側のデータに上で述べたマーチンキューブ法などの公知の等値面抽出法を適用することにより、ポテンシャル値が「０」の形状データＤ２ｃを抽出し、境界表現方式の形状表現に逆変換する。これによって、ボクセル表現からポリゴン表現に戻し、枠Ｄに示す３次元データＤ３ａが生成される。なお、マーチンキューブ法については、ＵＳＰ４７１０８７６に詳しい。
【００５１】
上に述べたように、本実施形態の３次元データ合成装置１によると、境界部分に局所フィルタＦＴを適用することによって、属性値が合成後の形状に沿って混ぜ合わされる。これによって、形状に対するテクスチャ画像のずれが軽減される。また、ボリューム方式の処理自体が比較的単純であるため、演算処理がコスト的に有利となる。ボクセルを処理単位としているので、画像処理の画素間並列性に相当するボクセル間の並列処理などを行うことによって、さらなる高速化を図ることが可能である。
【００５２】
【発明の効果】
本発明によると、テクスチャの付与された複数の３次元データを１つの３次元データに合成する際に、ボクセルの特徴量にテクスチャの属性を付与することにより、合成によって形状が変形した場合においても破綻の少ないテクスチャ効果を得ることができる。
【図面の簡単な説明】
【図１】本実施形態に係る３次元データ合成装置のブロック図である。
【図２】合成処理を示すフローチャートである。
【図３】他の実施形態の合成処理を示すフローチャートである。
【図４】局所フィルタの適用の様子を示す図である。
【図５】ボリューム方式による形状統合を説明するための図である。
【図６】ボリューム方式の形状表現を説明するための図である。
【図７】ボリューム方式における距離ポテンシャルの算出方法を説明するための図である。
【図８】従来におけるテクスチャ処理の問題点を説明するための図である。
【符号の説明】
１  ３次元データ合成装置
３  ３次元入力装置
１１  処理装置
Ｄ１，Ｄ１Ａ，Ｄ１Ｂ  ３次元データ
ＢＸ  ボクセル
ＦＴ  局所フィルタ（３次元局所フィルタ）
【図１】
0004292645.tif 000002
【図２】
0004292645.tif 000003
【図３】
0004292645.tif 000004
【図４】
0004292645.tif 000005
【図５】
0004292645.tif 000006
【図６】
0004292645.tif 000007
【図７】
0004292645.tif 000008
【図８】
0004292645.tif 000009