(57)【特許請求の範囲】
【請求項１】
互いに相違する複数のカメラ位置を視点として観測される３次元物体の色に関する情報を含む画像情報及び視点からの距離情報から、各視点を原点とした透視変換によって得られる２次元平面を格子状に標本化し、格子点で表される２次元平面の画像情報に変換するとともに、各格子点における距離情報から世界座標系で表される３次元物体の位置情報に変換する手段と、
前記３次元物体の各格子点のうち、隣接する３点を頂点とする三角形を１つの小平面とした三角パッチで定義づけて、前記３次元物体の表面形状の三角パッチの頂点の情報を取得する複数の頂点情報取得手段と、
取得した複数の視点からの前記世界座標系で表される３次元物体の各頂点の位置座標を量子化する量子化手段と、
量子化後の代表値が一致する場合に、当該一致する頂点を１つの頂点とするとともに、当該重複する頂点の各画像情報を平均化して、統合した画像情報を有する頂点からなる三角パッチで統合する頂点統合手段とを具えることを特徴とする３次元物体モデリング装置。
【請求項２】
前記頂点の情報が、透明度に関する情報を有することを特徴とする請求項１記載の３次元物体モデリング装置。
【請求項３】
前記頂点情報取得手段が、
前記２次元平面上に投影された表面形状を、前記三角パッチに分割する分割手段を有することを特徴とする請求項１又は２記載の３次元物体モデリング装置。
【請求項４】
前記頂点情報取得手段が、前記２次元平面上に投影された表面形状のうちの対象とする領域のみを抽出する領域抽出手段を更に有することを特徴とする請求項３記載の３次元物体モデリング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、レンジファインダー装置などによって計測される３次元物体の画像情報（色情報）及び距離情報を、３次元コンピュータグラフィックスなどの分野で用いられる三角パッチによって表現される形状情報及び画像情報に変換する３次元物体モデリング装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、互いに相違する複数のカメラ位置で観測される３次元物体の画像情報及び距離情報を取得する装置が、例えば特願２０００−７７９１号に記載されている。一方、３次元コンピュータグラフィックスの分野では、例えば１９９９年に東京電機大学出版局から刊行された村上伸一による「コンピュータグラフィックスの基礎理論」に記載されているように、３次元物体の形状を、その物体を構成する表面の形状によって表現する方法が用いられており、この表面形状を三角形を単位とした小平面の集合で定義する三角形パッチモデルが通常的に使用されている。
【０００３】
【発明が解決しようとする課題】
互いに相違する複数の視点位置で観測される３次元物体までの距離情報は、３次元空間に分布した複数の点の集合である。その結果、点の個数が多くなるに従って、全ての点間の距離や位置関係を考慮しながら、被写体となっている３次元物体の表面形状を三角パッチに分割して表面形状を表現する場合、分割手法が非常に複雑になるという不都合がある。
【０００４】
本発明の目的は、互いに相違する複数の視点位置で観測される３次元物体の画像情報及び距離情報から３次元物体の表面形状を容易に表現することができる３次元物体モデリング装置及びその方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明による３次元物体モデリング装置は、
互いに相違する複数のカメラ位置を視点として観測される３次元物体の色に関する情報を含む画像情報及び視点からの距離情報から、各視点を原点とした透視変換によって得られる２次元平面を格子状に標本化し、格子点で表される２次元平面の画像情報に変換するとともに、各格子点における距離情報から世界座標系で表される３次元物体の位置情報に変換する手段と、
前記３次元物体の各格子点のうち、隣接する３点を頂点とする三角形を１つの小平面とした三角パッチで定義づけて、前記３次元物体の表面形状の三角パッチの頂点の情報を取得する複数の頂点情報取得手段と、
取得した複数の視点からの前記世界座標系で表される３次元物体の各頂点の位置座標を量子化する量子化手段と、
量子化後の代表値が一致する場合に、当該一致する頂点を１つの頂点とするとともに、当該重複する頂点の各画像情報を平均化して、統合した画像情報を有する頂点からなる三角パッチで統合する頂点統合手段とを具えることを特徴とするものである。
【０００６】
本発明による３次元物体モデリング装置によれば、複数の頂点情報取得手段によって取得された三角形パッチの頂点のうち、同一位置における頂点の情報を平均化し及び平均化した情報を有する頂点に統合するので、処理すべき頂点の個数が減少し、その結果、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【０００７】
前記頂点の情報が、透明度に関する情報を有することもできる。この場合、透明度の情報と３次元物体のカラー信号成分（ＲＢＧ信号値、輝度・色差信号値等）の各成分について、ある１個の頂点に統合される全ての点のカラー信号値の平均値を、その頂点に対応するカラー信号として、３次元物体の表面の色情報を表現する。
【０００８】
好適には、前記頂点情報取得手段が、
前記２次元平面上に投影された表面形状を、前記三角パッチに分割する分割手段を有する。
【０００９】
この場合、２次元平面上で互いに近接する点は、それらの点に投影されている３次元物体表面上の点の３次元空間においても互いに近接するものと近似すると、３次元的に分布する物体上の所定の点に隣接する別の点として、投影した２次元平面上の隣接する格子点を利用することができる。
【００１０】
格子状に整列した点の集合を、容易に三角パッチに分割することができる。各々の視点で観測された距離情報を三角パッチに分割して表現した後、複数の視点位置で観測した距離情報から各々分割した三角パッチを重ね合わせる。
【００１１】
好適には、前記頂点情報取得手段が、前記２次元平面上に投影された表面形状のうちの対象とする領域のみを抽出する領域抽出手段を更に有する。これによって、モデリングを所望する領域を有効に抽出することができる。
【００１３】
本発明の別の態様によれば、
互いに相違する複数のカメラ位置を視点として観測される３次元物体の色に関する情報を含む画像情報及び視点からの距離情報から、各視点を原点とした透視変換によって得られる２次元平面を格子状に標本化し、格子点で表される２次元平面の画像情報に変換するとともに、各格子点における距離情報から世界座標系で表される３次元物体の位置情報に変換するステップと、
前記３次元物体の各格子点のうち、隣接する３点を頂点とする三角形を１つの小平面とした三角パッチで定義づけて、前記３次元物体の表面形状の三角パッチの頂点の情報をそれぞれ取得するステップと、
取得した複数の視点からの前記世界座標系で表される３次元物体の各頂点の位置座標を量子化するステップと、
量子化後の代表値が一致する場合に、当該一致する頂点を１つの頂点とするとともに、当該重複する頂点の各画像情報を平均化して、統合した画像情報を有する頂点からなる三角パッチで統合する頂点統合ステップとを含む３次元物体モデリング方法として特徴づけることもできる。
【００１４】
本発明による３次元モデリング方法によれば、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【００１５】
前記頂点の情報が、透明度に関する情報を有することもできる。この場合、透明度の情報と３次元物体のカラー信号成分（ＲＢＧ信号値、輝度・色差信号値等）の各成分について、ある１個の頂点に統合される全ての点のカラー信号値の平均値を、その頂点に対応するカラー信号として、３次元物体の表面の色情報を表現する。
【００１６】
好適には、前記頂点情報取得ステップが、前記２次元平面上に投影された表面形状を、前記三角パッチに分割する分割ステップを有する。
【００１７】
好適には、前記頂点情報取得ステップが、前記２次元平面上に投影された表面形状のうちの対象とする領域のみを抽出する領域抽出ステップを更に有する。
【００１９】
【発明の実施の形態】
本発明による３次元モデリング装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による３次元モデリング装置を示す図である。この３次元モデリング装置は、ｎ個の頂点情報取得部１−１，１−２，１−３，．．．，１−ｎと、頂点統合部２とを有する。
【００２０】
頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、互いに相違する複数のカメラ位置で観測される３次元物体の画像情報としてのＲＧＢ値についての情報を有する信号ｃ１，ｃ２，ｃ３，．．．，ｃｎ及び距離情報としての３次元座標の情報を有する信号ｄ１，ｄ２，ｄ３，．．．，ｄｎがそれぞれ入力される。なお、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、同一構成を有し、その詳細については後に説明する。
【００２１】
頂点統合部２は、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎからの量子化後の座標についての情報を有する信号Ｑ１，Ｑ２，Ｑ３，．．．Ｑｎ、三角パッチの頂点情報を有する信号Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ並びにＲＧＢ値についての情報及び切り出し情報（例えば、透明度）についての情報を有する信号Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎとが入力される。これらの信号についても後に説明する。
【００２２】
入力された信号Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎが有する情報のうち、同一位置を示す情報は、共通のインデックス番号で表される。また、信号Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎが有するこれらに対応する画像についての情報、すなわち、ＲＧＢ値についての情報及び切り出し情報は、それぞれ平均化される。さらに、重複する三角パッチは削除される。
【００２３】
頂点統合部２は、統合後の三角パッチの頂点情報を有する、すなわち、統合後の全ての三角パッチをそれぞれ３頂点インデックスの組で表した信号Ｐを出力する。
【００２４】
また、頂点統合部２は、統合後の頂点に割当てたインデックス番号及びその頂点の世界座標における３次元位置（Ｘｗ，Ｙｗ，Ｚｗ）並びに画像情報すなわちＲＧＢ値についての情報及び切り出し情報を有する信号Ｃを出力する。なお、信号Ｃは、必ずしも透明度についての情報を有する必要がないが、被写体上の点が半透明であり、透明度を示す場合には必要となる。
【００２５】
本実施の形態によれば、同一位置における頂点の情報を平均化し及び平均化した情報を有する頂点に統合するので、処理すべき頂点の個数が減少し、その結果、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【００２６】
図２は、図１の頂点情報取得部を詳細に示す図である。ここでは、頂点情報取得部１−１について説明する。頂点情報取得部１−１は、透視変換部１１と、領域抽出部１２と、三角パッチ分割部１３と、座標変換部１４と、量子化部１５とを有する。
【００２７】
透視変換部１１は、信号ｃ１，ｄ１が入力され、モデリング対象である３次元物体の画像情報と、被写体までの距離情報について、視点を原点とする透視変換を行い、投影された２次元平面上で格子状に標本化したＲＢＧ値についての情報を有する信号ｃ及びそれに対応する距離情報を有する信号ｅを領域抽出部１２に出力する。なお、本実施の形態では、距離情報として、視点から投影平面に下ろした垂線をｚ軸とした場合、被写体上の点の位置のｚ座標Ｚｃを使用する。
【００２８】
また、透視変換部１１は、視点における透視変換のための座標系（以下、カメラ座標と称する。）を世界座標系に変換するために必要となる座標変換行列Ｍの要素についての情報を有する信号ｆを座標変換部１４に供給する。Ｍは、視点位置と投影する平面の向きによって決定される３×４行列であり、カメラ座標系での被写体上の点の３次元座標位置（Ｘｃ，Ｙｃ，Ｚｃ）と、世界座標系での被写体上の点の３次元座標位置（Ｘｗ，Ｙｗ，Ｚｗ）とを、以下の式（１）によって関係付ける。
【００２９】
【数１】
0004169909.tif 000002
【００３０】
領域抽出部１２は、画像中からモデリングの対象とする被写体のみを抽出する。なお、抽出を行わずに画像全体をモデリングの対象とすることもできる。抽出方法として、撮影時に背景を特定の色（例えば青色）とし、背景に用いた色領域を、しきい値処理によって信号ｃが有するＲＧＢ値についての情報から抽出し、それ以外の領域を、モデリング領域として切り出す方法（クロマキー処理）、予め設定された距離範囲に存在する被写体を、信号ｅが有する距離情報からモデリング領域として切り出す方法、信号ｃ，ｅを予め記録し、手動によって切り出し領域を自由に設定する方法等がある。
【００３１】
領域抽出部１２は、信号ｅと、 後に説明する切り出し情報αを有する信号ｇとを三角パッチ分割部１３に出力する。このような切り出し情報αによって、切り出し情報αがしきい値αｘよりも大きい場合には、それがモデリング情報であると定義される。
【００３２】
なお、被写体が半透明な物体である場合、切り出し情報を透明度の定義として利用することもできる。この場合、αの値が小さくなるに従って透明度を高くし、αｘを完全に透明な物体のしきい値と定義すると、透明な物体以外をモデリング対象とすることとなり、切り出し情報αがしきい値αｘよりも大きい場合をモデリング領域と定義したことになる。
また、領域抽出部１２は三角パッチの頂点情報を有する信号Ｐ１を頂点統合部２に出力する。
【００３３】
次に、三角パッチ分割部１３の動作を、図３を参照して説明する。この場合、投影面に格子状に並んだ画素から水平及び垂直の画素間隔が１である４点からなる正方形を考える。なお、図３において、●は、モデリング領域内画素を表し、○は、モデリング領域外画素を表す。
【００３４】
図３Ａ−Ｄの場合のように、モデリング領域内画素の個数が２個以下の場合、三角パッチ（小平面）を定義しない。図３Ｅに示すように、モデリング領域内画素の個数が３個の場合、その３点を頂点とする三角形を一つの小平面と定義する。
【００３５】
図３Ｆに示すように、モデリング領域内画素の個数が４個である場合、正方形を、一方の対角線によって２個の三角形に分割し、２個の小平面を定義する。対角線の選択方法として、右上から左下（又は左上から右下）のように固定する方法、ランダムに選択する方法、２本の対角線の３次元座標での距離を比較し、短い方を選択する方法等がある。
【００３６】
三角パッチ分割部１３は、信号ｅを座標変換部１４に出力するとともに、信号Ｐ１を頂点統合部２に出力する。信号Ｐ１は、各々の小平面をなす三角パッチの頂点を規定するものであり、例えば、画素位置を示す２次元座標値３対からなるインデックスを、全ての三角パッチについて列挙すればよい。なお、撮像面上での三角パッチ分割の例を図３Ｇに示す。
【００３７】
座標変換部１４は、カメラ座標での被写体のｚ座標Ｚｃと、カメラの焦点距離Ｆｃを用いて、
【００３８】
【数２】
0004169909.tif 000003
【００３９】
によって画素位置（Ｘｉ，Ｙｉ）をカメラ座標（Ｘｃ，Ｙｃ）に変換し、その後、カメラ座標で示された３次元位置情報（Ｘｃ，Ｙｃ，Ｚｃ）を、式（１）によって世界座標（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。このような世界座標（Ｘｗ，Ｙｗ，Ｚｗ）の情報を有する信号ｈは、量子化部１５に供給される。
【００４０】
量子化部１５の動作を、図４を参照して説明する。なお、図４において、−５Δｘ，−３Δｘ，−Δｘ，Δｘ，３Δｘ，５Δｘはそれぞれ、量子化しきい値を表し、−６Δｘ，−４Δｘ，−２Δｘ，０，２Δｘ，４Δｘ，６Δｘはそれぞれ、量子化代表値を表す。
【００４１】
例えば、３Δｘ≦Ｘｗ≦５Δｘの場合、Ｘｗは代表値４Δｘに丸められる。なお、Ｙｗ，Ｚｗについても同様にして丸められる。量子化部１５は、量子化後の被写体上の点の座標位置（ｘｗ，ｙｗ，ｚｗ）についての情報を有する信号Ｑ１を頂点統合部２に出力する。
【００４２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、従来既知の他の任意の構成を有することができる。また、画像情報として、輝度・色差情報のような他のカラー画像情報を用いることができる。
【図面の簡単な説明】
【図１】  本発明による３次元モデリング装置の実施の形態を示す図である。
【図２】  図１の頂点情報取得部を詳細に示す図である。
【図３】  図２の三角パッチ分割部の動作を説明するための図である。
【図４】  図２の座標位置量子化部の動作を説明するための図である。
【符号の説明】
１，１−１，１−２，１−３，．．．，１−ｎ  頂点情報取得部
２  頂点統合部
１１  透視変換部
１２  領域切り出し部
１３  三角パッチ分割部
１４  座標変換部
１５  量子化部
ｃ，ｃ１，ｃ２，ｃ３，．．．，ｃｎ，Ｃ，Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎ，ｄ１，ｄ２，ｄ３，．．．，ｄｎ，ｅ，ｆ，ｇ，ｈ，Ｐ，Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ，Ｑ１，Ｑ２，Ｑ３，．．．，Ｑｎ  信号
【図１】
0004169909.tif 000004
【図２】
0004169909.tif 000005
【図３】
0004169909.tif 000006
【図４】
0004169909.tif 000007