(57)【要約】【課題】対象オブジェクトを撮影した映像を元に対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い全周のレンダリングを行うこと。【解決手段】カメラ位置・姿勢情報演算部１４にて、画像入力装置４の移動により対象オブジェクトを動画像または時系列的に連続的な画像列として撮影した画像内の複数の位置の情報の時系列的な変化により画像入力装置４の位置・姿勢情報を算出し、画像と対応する位置・姿勢情報関連付け部１５にて上記位置・姿勢情報と各画像とを関連付け、モデルの位置・姿勢に基づいたレンダリング情報演算部１６にてデータベース１１に登録された各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、テクスチャ投影情報演算部１７にて３次元形状モデル上にその関連付けに基づいて各位置・姿勢情報に対応する画像列内の画像を投影して表示する。【選択図】      図１
2005141655.tif 000002
【特許請求の範囲】
【請求項１】
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする３次元モデリング装置。
【請求項２】
上記位置・姿勢情報算出手段は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする請求項１に記載の３次元モデリング装置。
【請求項３】
上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする請求項２に記載の３次元モデリング装置。
【請求項４】
上記位置・姿勢情報算出手段は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする請求項２に記載の３次元モデリング装置。
【請求項５】
上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行う手段を更に具備することを特徴とする請求項２に記載の３次元モデリング装置。
【請求項６】
上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出する自動対応付け手段を更に具備することを特徴とする請求項２に記載の３次元モデリング装置。
【請求項７】
上記自動対応付け手段は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする請求項６に記載の３次元モデリング装置。
【請求項８】
上記画像入力装置の位置・姿勢情報を計測する補助位置・姿勢計測装置を更に具備し、
上記位置・姿勢情報算出手段は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記補助位置・姿勢計測装置によって計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記補助位置・姿勢計測装置によって計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする請求項２に記載の３次元モデリング装置。
【請求項９】
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
【請求項１０】
上記位置・姿勢情報の算出は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする請求項９に記載の３次元モデリング方法。
【請求項１１】
上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする請求項１０に記載の３次元モデリング方法。
【請求項１２】
上記位置・姿勢の算出は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする請求項１０に記載の３次元モデリング方法。
【請求項１３】
さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行うことを特徴とする請求項１０に記載の３次元モデリング方法。
【請求項１４】
さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出することを特徴とする請求項１０に記載の３次元モデリング方法。
【請求項１５】
上記対応付けの自動的な算出は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする請求項１４に記載の３次元モデリング方法。
【請求項１６】
上記画像入力装置の位置・姿勢情報を計測し、
上記位置・姿勢の算出は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする請求項１０に記載の３次元モデリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象オブジェクトの３次元形状モデルに対して、対象オブジェクトを撮影した動画像または連続する画像列に基づいて得られるカメラの位置・姿勢情報に基づいて、テクスチャを最適にマッピングすることにより、高画質な任意視点３次元モデルを生成する３次元モデリング装置及び３次元モデリング方法に関する。
【背景技術】
【０００２】
近年、バーチャルリアリティの分野、インターネット上、さらには地図情報分野等、様々な場面で３次元モデルデータが有効に利用されるようになってきている。３次元モデルデータを作成するためには、３次元形状を計測するために、３次元レーザスキャナのような専用の計測装置が必要であるが、このような装置では、３次元オブジェクトの高精細なテクスチャ情報を簡易に生成することができない。そのため、形状計測手段とは別な手段によりテクスチャを撮影し、３次元形状モデルの各ポリゴンに対して、対応するテクスチャ領域を手作業により領域分割を行い、更に、撮影時の視点方向によるテクスチャの歪みを補正した上で各ポリゴンに対してテクスチャマッピングを行うという方法がとられていた。
【０００３】
また、上記手法を簡略化する方法として、特許文献１には、表示対象物体の概略形状モデルと、表示対象物体を撮影方向の情報を有する異なる方向から撮影した複数の画像とを利用して、レンダリングを行おうとする視点方向と撮影方向とが最も近い撮影画像を複数の撮影画像の中から選択し、その撮影画像を、撮影位置を視点として投影を行い、投影された概略形状を、レンダリングを行おうとする視点方向からスクリーン上に透視投影して表示する方法が開示されている。
【０００４】
あるいは、特許文献２では、複数の異なる視点からの撮影画像からパッチ面毎に最も解像度の高い画像を選択してそれぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う手法を用いている。さらに、各テクスチャ画像の光源条件の不一致による画像間、すなわちパッチ面の間の濃淡値の差の補正処理を実行する処理も行っている。この補正処理として、各フレーム間の画像濃淡値補正処理、各パッチ間のテクスチャ画像のずれ補正処理、各パッチ間の境界部分の濃淡スムージング補正処理を適用することにより、高画質なテクスチャマッピングを可能として品質の高い３次元画像の生成を可能としている。
【０００５】
また、非特許文献１に示されるように、形状モデルを有する３次元オブジェクトに対して対象オブジェクトを動画像として撮影し、そのカメラ位置・姿勢情報より３次元オブジェクトのレンダリング、及び対応するテクスチャの投影を行うことにより、テクスチャ付き３次元オブジェクトのレンダリングを行う手法も提案されている。
【特許文献１】特開２００１−２４３４９７号公報
【特許文献２】特開２００２−２４８５０号公報
【非特許文献１】IEEE Virtual Reality 2003 (March 22-26, 2003 LosAngeles California), P.61 "Augmented Virtual Environment (AVE): Dynamic Fusion of Imagery and 3D Models"
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の手法では、撮影の方向を予め何らかの手段で取得する必要があり、そのための装置を他に有している必要があり、撮影時の煩雑さをさけることはできない。また、各撮影方向は、一定の間隔を持っているため、マッピングを行うのに適切な方向が複数選択されてしまうことがあり、そのような場合にはどちらがより適切であるかを判断する手段を有していない。さらに、最適テクスチャを選択する判断基準が方向のみであるため、対象オブジェクトとの距離に関する考慮がなされておらず、撮影位置が離れていてテクスチャが不鮮明な画像を選択してしまう可能性を持つという課題もある。
【０００７】
このことは、上記特許文献２の手法に関しても同様に言える課題となる。
【０００８】
さらに、上記非特許文献１の例においては、画像入力装置の位置・姿勢情報を算出するために利用している画像上の情報として、線分のみを用いているため、位置・姿勢の算出に必要な情報が得られる線分が抽出されない場合には精度の良いモデリングを行うことができないという課題を有する。
【０００９】
本発明は、上記の点に鑑みてなされたもので、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、さらに、３次元モデルを構成する各ポリゴンに対して最適なテクスチャをマッピングし、さらに対象とする全周のレンダリングを行うことが可能な３次元モデリング装置及び３次元モデリング方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明の３次元モデリング装置の一態様は、
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする。
【００１１】
また、上記の目的を達成するために、本発明の３次元モデリング方法の一態様は、
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、さらに、３次元モデルを構成する各ポリゴンに対して最適なテクスチャをマッピングし、さらに対象とする全周のレンダリングを行うことが可能な３次元モデリング装置及び３次元モデリング方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１４】
［第１実施形態］  
図１は、本発明の第１実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
【００１５】
即ち、この３次元モデリング装置は、コンピュータ等の演算装置１と、ＣＲＴや液晶モニタ等の表示装置２と、マウス等の指示装置３と、カメラ等の画像入力装置４と、ＧＰＳやジャイロ等の補助位置・姿勢計測装置５とから構成される。そして、上記演算装置１は、データベース１１、データ入力部１２、特徴点・線・領域抽出処理演算部１３、カメラ位置・姿勢情報演算部１４、画像と対応する位置・姿勢情報関連付け部１５、モデルの位置・姿勢に基づいたレンダリング情報演算部１６、テクスチャ投影情報演算部１７、複数視点画像統合演算部１８、及びポリゴンと最適テクスチャ関連付け部１９を基本構成として持つ。
【００１６】
ここで、上記データベース１１は、予め不図示の３次元形状計測装置により対象オブジェクトを計測して得たモデリングの対象となる３次元形状モデルが登録されており、さらに、データ入力部１２乃至ポリゴンと最適テクスチャ関連付け部１９より処理されたデータを新規に登録するためのものである。なお、このデータベース１１は、演算装置１が持つものとしているが、ネットワークを介して接続された他のコンピュータが備えるものであっても構わない。
【００１７】
また、上記データ入力部１２は、上記画像入力装置４によって動画像または時間的に連続する画像列として撮影した画像や、上記補助位置・姿勢計測装置５で計測された上記画像入力装置４の位置・姿勢情報を受けるものである。
【００１８】
上記特徴点・線・領域抽出処理演算部１３は、上記データ入力部１２によって入力された動画像または連続する画像列の各画像等のデータより後の処理において必要となる特徴となる点、線分、領域を認識・抽出する。
【００１９】
上記カメラ位置・姿勢情報演算部１４は、上記特徴点・線・領域抽出処理演算部１３で抽出された特徴点・線分・領域より各画像に対する画像入力装置４の位置・姿勢情報を算出する。
【００２０】
上記画像と対応する位置・姿勢情報関連付け部１５は、上記カメラ位置・姿勢情報演算部１４によって求められた位置・姿勢情報とそれに対応する上記データ入力部１２によって入力された各画像とを対応付けるものである。
【００２１】
上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６は、上記データベース１１に記憶されている３次元形状モデルを上記位置・姿勢情報に基づいてレンダリングを行う。
【００２２】
上記テクスチャ投影情報演算部１７は、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６によってレンダリングされた３次元形状モデルに対して、テクスチャをマッピングまたは投影を行うものである。
【００２３】
上記複数視点画像統合演算部１８は、３次元モデルを構成する各ポリゴンに対して、テクスチャ投影情報演算部１７での複数の視点より撮影・入力された画像より、最適なテクスチャを選択または合成して全周画像の作成を行うものである。
【００２４】
そして、上記ポリゴンと最適テクスチャ関連付け部１９は、その複数視点画像統合演算部１８で選択または合成した最適なテクスチャとポリゴンとを関連付けして、上記データベース１１に登録するものである。
【００２５】
このような構成の３次元モデリング装置においては、図２（Ａ）に示すような３次元形状モデルが、上述したように予め３次元形状計測装置により計測を行って、データベース１１に登録してある。この３次元形状モデルは、頂点情報、頂点接続情報からなるものとなる。但し、その他、任意の３次元形状表現形式を利用することも可能である。また、計測は、レーザスキャナ、ステレオ計測、光切断法等の一般的な３次元形状計測器で行うことが可能であり、３次元ソリッドモデルを生成する。
【００２６】
そして、３次元モデリング装置においては、図３（Ａ）のフローチャートに示すような動作を実施する。
【００２７】
即ち、まず、画像入力装置４により対象オブジェクトの連続視点移動画像の撮影を行って、データ入力部１２によりそれを入力する（ステップＳ１１）。図２（Ｂ）は、その撮影の場面を表した図である。対象とするオブジェクトに対して視点を移動しながら動画像または連続する画像列として撮影する。なお、ここでは、この撮影した画像をリアルタイムでデータ入力部１２によって取り込むものとして説明するが、撮影した画像を一旦記録媒体に記録しておき、後ほどデータ入力部１２で取り込んで以降の処理を実施しても良いことは勿論である。
【００２８】
次に、特徴点・線・領域抽出処理演算部１３により、そのような動画像または時間的に連続する画像列として撮影した又は取り込んだ各画像内において、特徴となる点や線分、領域を対象特徴物として抽出する（ステップＳ１２）。この対象特徴物の抽出は、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタをかけて、抽出することとする。
【００２９】
次に、カメラ位置・姿勢情報演算部１４にて、上記抽出された対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、画像内での時間的変化を追跡することにより、三角測量の原理により、各特徴対象物までの距離を算出し（ステップＳ１３）、さらに、これらの情報に基づいて画像入力装置４（カメラ）の位置・姿勢を算出すると共に、画像と対応する位置・姿勢情報関連付け部１５によって、その算出した位置・姿勢情報とそれに対応する各画像とを関連付ける（ステップＳ１４）。なお、この特徴点、特徴線分、特徴領域の画像列間における追跡処理は、カルマンフィルタによる方法や、画像間の差分を取ること等、任意の手段での追尾処理を利用することが可能である。
【００３０】
その後、モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、上記データベース１１に登録されている対象物の３次元形状モデルを読み出し、上記算出された画像入力装置４の位置・姿勢情報に基づいた３次元モデルをレンダリングして表示装置２上に表示する（ステップＳ１５）。
【００３１】
そして、テクスチャ投影情報演算部１７により、その表示された３次元モデル上に、図２（Ｃ）に示すように、撮影されたテクスチャ画像をマッピングまたは投影する（ステップＳ１６）。
【００３２】
以上の手法により、３次元モデルへのテクスチャマッピングまたは投影を行うことができる。
【００３３】
その後、特にフローチャートには示していないが、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、視点の移動と共にレンダリング領域が変化する処理を行い、複数視点画像統合演算部１８によって、その視点移動の前後で重複する領域を検出し、その重複する領域での最適テクスチャを選択または合成する処理を行うこととなる。通常は、レンダリングを行う視点でのテクスチャを利用してマッピングまたは投影を行うことになるが、３次元形状を表現するポリゴンの方向等の条件によっては、その視点位置におけるテクスチャより、前後の視点位置におけるテクスチャを利用した方が高画質化を図れる場合がある。即ち、例えば、ポリゴンに垂直な方向に対して視点方向がより近い方のテクスチャの方が歪みが小さく、画質が良くなる可能性が高い。条件としては、視点方向の角度のみでなく、距離等、任意の条件を対応させることが可能である。さらに、重複する領域に対してマッピングまたは投影されるテクスチャ領域に対し、双方のテクスチャの各画素において平均を求めることにより新たにテクスチャを合成することで高画質化を図ることも可能である。
【００３４】
こうして各ポリゴンに対して最適に選択または合成されたテクスチャは、テクスチャ投影情報演算部１７により、３次元モデル上にマッピングまたは投影される。
【００３５】
このようにすることで、図２（Ｄ）に示すように、全周画像のテクスチャマッピングを行うことが可能となる。
【００３６】
また、そのような各ポリゴンに対して最適に選択または合成されたテクスチャは、ポリゴンと最適テクスチャ関連付け部１９により、ポリゴンと共にデータベース１１に登録しておき、生成された３次元オブジェクトの表示を行う際に、そのデータベース１１を参照することにより、予め処理されたものとして各ポリゴンに対してマッピングまたは投影されるテクスチャを用いることが可能となり、リアルタイムでの視点移動を行うことが可能となる。
【００３７】
さらに、上記手法により算出された情報はすべてデータベース１１にデータベース化して登録しておき、処理後、任意にデータベースからデータを読み出すことにより、途中の処理を改めて行うことなく３次元モデルとテクスチャとの対応付けを行うことが可能となり、簡易に３次元モデリングを行うことが可能となる。
【００３８】
本実施形態を表示装置２に表示する際には例えば、図４に示すような画面構成を設定することができ、表示画面上にアクティブウィンドウとして表示される前表示領域２１内部に、テクスチャマッピングまたは投影の行われた３次元画像レンダリングウィンドウ２１Ａが表示され、このウィンドウ２１Ａ内では３次元オブジェクトの任意視点での表示を行うことができる。また、サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎを設け、各視点におけるテクスチャマッピングまたは投影された画像と撮影時の生画像とが表示できるようにしておく。さらに、コントロールパネル２１Ｃも設け、３次元画像の視点移動制御、各サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎ内での表示画像の切り替え等の制御を行うことができる。但し、視点変更は、３次元画像レンダリングウィンドウ２１Ａ内で指示装置３の操作によっても行えるようにしておくことが可能である。
【００３９】
［第２実施形態］  
次に、図３（Ｂ）のフローチャートを参照して、本発明の第２実施形態を説明する。
【００４０】
即ち、本実施形態に係る３次元モデリング装置においても、上記第１実施形態で説明したステップＳ１１乃至ステップＳ１３と同様の処理を行う。
【００４１】
ここで、ステップＳ１３の処理では、各特徴のトラッキングにおいて画像入力装置４（カメラ）の位置・姿勢情報を推定することができる。そこで、カメラ位置・姿勢情報演算部１４にて、その検出された特徴の数だけの位置・姿勢が推定されることになる（ステップＳ１４’）。この場合、各特徴点、特徴線分、特徴領域ごとに独立に画像列間における特徴追尾を行うことになる。
【００４２】
そして、カメラ位置・姿勢情報演算部１４はさらに、これらの複数の推定された情報を最適化する、例えば平均値を用いることで、精度の良い位置・姿勢情報を得ることが可能となる（ステップＳ２０）。この複数の推定された位置・姿勢情報を最適化する手法としては、様々な手法が考えられるが、例としては、特徴となる点と線分と領域とをそれぞれ最適化した後で、点、線分、領域で得られた３通りの位置・姿勢情報をさらに最適化する手法や、点、線分、領域を特に分類することなくすべて同等に扱い最適化する手法も考えられる。
【００４３】
こうして最適化された位置・姿勢情報が推定された後、モデルの位置・姿勢に基づいたレンダリング情報演算部１６では、その最適化された位置・姿勢情報に基づいて、精度の良い３次元形状モデリングを行うことが可能となる（ステップＳ１５’）。以降の処理は、上記第１実施形態と同様である。
【００４４】
［第３実施形態］  
次に、図５（Ａ）のフローチャートを参照して、本発明の第３実施形態を説明する。
【００４５】
即ち、本実施形態に係る３次元モデリング装置においては、まず、上記第２実施形態で説明したステップＳ１１乃至ステップＳ１４’と同様の処理を行う。その後、各特徴点、特徴線分、特徴領域への重み付け設定を実行する（ステップＳ３０）。そして、上記第２実施形態で説明したステップＳ２０乃至ステップＳ１６と同様の処理を行う。
【００４６】
本実施形態では、各特徴の最適化の手法を具体的に述べる。各特徴の画像列間の追尾の精度と利用している特徴の有効性に関連性があると考えられる。即ち、長い画像列間に亘り追尾が連続して行われる特徴ほど、位置・姿勢の推定に利用する特徴としては精度の良いものと考えることができる。そこで、本実施形態では、追尾の可能な画像列の長さ（例えばフレーム数）をその特徴に対する重みとして設定し、この重み情報を、位置・姿勢推定の最適化条件として利用する。
【００４７】
この重み情報の利用法としては、各特徴で推定された位置・姿勢に対して重みを乗じた上で加重平均をとり、位置・姿勢とする方法を採る。
【００４８】
さらに、特徴としては、点、線分、領域といった複数のタイプ・形状の特徴を利用するため、これらの各タイプの特徴ごとに、先ず加重平均法による位置・姿勢推定を行った後で、各タイプの加重平均に対してさらに、各特徴タイプに対する重み設定を行った上で、再度加重平均をとったものを最終的な位置・姿勢情報として利用する方法もある。この方法を採用するメリットとしては、入力する画像の種類により、点を用いるのが適切な画像タイプである場合や、線分を利用することが適切な画像タイプである場合、領域を利用することが適切な画像タイプである場合などの画像タイプによる特徴形状の適・不適があるため、重み設定を行う精度を高めることができるというものである。
【００４９】
［第４実施形態］  
次に、図５（Ｂ）のフローチャートを参照して、本発明の第４実施形態を説明する。
【００５０】
即ち、本実施形態に係る３次元モデリング装置においては、まず、上記第３実施形態で説明したステップＳ１１乃至ステップＳ１４’と同様の処理を行う。その後、ＧＰＳ、ジャイロ等の補助位置・姿勢計測装置５から得られた情報との融合処理を実行する（ステップＳ４０）。そして、上記第３実施形態で説明したステップＳ３０乃至ステップＳ１６と同様の処理を行う。
【００５１】
つまり、画像から得られる情報のみでなく、画像入力装置４に付随した補助位置・姿勢計測装置５を利用する構成を取ることも可能であり、画像のみからでは位置・姿勢の推定が困難である場合には、この補助位置・姿勢計測装置５、例えば、ＧＰＳやジャイロのような装置により得られた位置・姿勢情報を、画像から得られる位置・姿勢情報と合わせて用いることにより、位置・姿勢情報の推定の連続性を高めることを可能とする。
【００５２】
このように、画像と、画像以外の手段とを統合して利用する際にも、双方に重み係数を設定し、上記第３実施形態と同様、最適化処理を行うことにより、時間的にも長い期間精度の良い位置・姿勢情報を推定し続けることが可能となる。
【００５３】
［第５実施形態］  
次に、本発明の第５実施形態を説明する。
【００５４】
３次元形状モデリングを行う際には、画像入力装置４の位置・姿勢推定を行う際の特徴点、特徴線分、特徴領域と３次元形状モデルとの対応付けを行う必要がある。本実施形態は、この特徴と３次元形状モデルとの対応付けを手動で行う方法に関するものである。
【００５５】
そのような対応付けを行う際には、図６に示すように、表示装置２の表示画面上にアクティブウィンドウとして表示されるウィンドウ２２内部に、連続テクスチャ画像表示ウィンドウ２２Ａ、連続テクスチャ画像表示ウィンドウコントロールパネル２２Ｂ、３次元画像レンダリングウィンドウ２２Ｃ、及び３次元画像レンダリングウィンドウコントロールパネル２２Ｄが表示される。
【００５６】
ここで、上記連続テクスチャ画像表示ウィンドウ２２Ａ内では、動画像の時系列としての画像列が連続的または任意のシーンを抽出して、テクスチャ画像として表示することが可能である。上記連続テクスチャ画像表示ウィンドウコントロールパネル２２Ｂは、この連続テクスチャ画像表示ウィンドウ２２Ａにテクスチャ画像を動画像として連続的に表示することや、任意のシーンを選択して表示するためのコントロールを行うための操作が行えるようになっている。
【００５７】
また、上記３次元画像レンダリングウィンドウ２２Ｃは、３次元形状表示を行うためのレンダリングウィンドウとなっており、上記３次元画像レンダリングウィンドウコントロールパネル２２Ｄは、この３次元画像レンダリングウィンドウ２２Ｃでの３次元レンダリング表示において任意視点表示を行う等の操作を行えるようになっている。
【００５８】
そして、テクスチャ上の特徴と３次元形状モデルとの対応付けを行う際には、テクスチャに対し特徴抽出のフィルタリング処理を行うことにより、連続テクスチャ画像表示ウィンドウ２２Ａにおいてテクスチャ上に抽出された特徴点、特徴線分、特徴領域を重畳表示しておき、マウス等の指示装置３により指定できるようにしておく。
【００５９】
次に、３次元画像レンダリングウィンドウ２２Ｃに表示される３次元形状モデル（３次元レンダリング画像）に対し、３次元画像レンダリングウィンドウコントロールパネル２２Ｄまたはマウス等の指示装置３による任意視点表示操作により、上記連続テクスチャ画像表示ウィンドウ２２Ａに表示されたテクスチャ画像と同一視点表示になるように操作する。
【００６０】
ここで、３次元画像レンダリングウィンドウ２２Ｃ上でも、マウス等の指示装置３により、指示した位置の点、線分、ポリゴン等を指示、特定できるような処理が行えるようになっている。その上で、連続テクスチャ画像表示ウィンドウ２２Ａに表示されたテクスチャ上に重畳された特徴と、３次元画像レンダリングウィンドウ２２Ｃに表示された３次元レンダリング画像上で対応する位置との対応付けを行う。そして、必要な数の特徴の対応付けが行われた時点で、特徴追尾操作を行うようにし、特徴追尾による画像入力装置２の位置・姿勢情報を算出する。
【００６１】
なお、連続的な特徴追尾が途中でとぎれた場合には、そのシーンにおいて再び特徴対応付け操作を行うことにより、即ち、同様な操作を繰り返すことにより、各連続画像に対応する位置・姿勢情報を推定する。この際、複数の特徴により追尾を行うことになるが、前述の第２乃至第４実施形態で説明したような最適位置・姿勢推定方法を用いた位置・姿勢情報の算出を行えば良い。
【００６２】
［第６実施形態］  
次に、本発明の第６実施形態を説明する。本実施形態は、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する位置とを自動的に設定する例である。
【００６３】
即ち、テクスチャ上の特徴点、特徴線分、特徴領域と、３次元形状モデル内での対応する位置との対応付けを行うためには、３次元形状モデル上で、対応する位置を特定する認識処理が必要になるが、ここでは、３次元形状モデルを複数の適切な間隔の角度でレンダリングされた画像を複数生成し、生成された複数のレンダリング画像とテクスチャ画像との類似度を算出し、最も類似度の高いレンダリング画像を参照画像として採用し、テクスチャ上の特徴との対応付けを行う手法を用いる。最も類似度の高いレンダリング画像が選択された後では、テクスチャ画像と３次元形状モデルのレンダリング画像とが、ウィンドウ上で位置が合うように設定した上で、テクスチャから得られる特徴位置と対応する特徴位置における３次元形状モデルの点、線分、ポリゴンを対応付けし、動画像として連続的に配列されているテクスチャ画像間での特徴追尾による位置・姿勢の変化と共に３次元レンダリング画像も合わせて視点移動を行い、テクスチャ画像の視点が変わっても常に３次元画像レンダリングウィンドウ上での３次元形状モデルのレンダリングもテクスチャの変化する視点に伴ったレンダリングが行われるように設定しておく。
【００６４】
このように設定した上で、テクスチャにおける連続画像列での特徴追尾による位置・姿勢推定処理と共に、３次元形状モデルでは、テクスチャに対応する視点を探索した上でのレンダリングを行い、テクスチャの連続する各画像ごとに位置・姿勢の推定を行うと共に、それに伴う３次元形状モデルとの自動的な対応付けを行い、３次元形状モデルの生成が自動的な処理として行われることになる。
【００６５】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６６】
例えば、前述した各実施形態における位置・姿勢情報は、撮影されたそれぞれの画像を基にその撮影された画像入力装置４の位置及び姿勢を算出されたものでも良いし、ジャイロ、ＧＰＳまたは光学的位置測定装置などの補助位置・姿勢計測装置５を用いて対象オブジェクトに対する絶対的または相対的位置を特定するものであっても良い。したがって、このような補助位置・姿勢計測装置５を備えた３次元モデリング装置においては、撮影された各画像とそのときの画像入力装置４の姿勢（カメラ視線方向）のみを推定・追尾することによって、対象オブジェクトのモデリング処理を実行することが可能となる。
【００６７】
即ち、上記のような補助位置・姿勢計測装置５を備える３次元モデリング装置においては、当該位置情報を画像処理により推定する処理を必要とせずに、対象オブジェクトのモデリングが実現できる。
【００６８】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６９】
（１）  対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする３次元モデリング装置。
【００７０】
（対応する実施形態）
この（１）に記載の３次元モデリング装置に関する実施形態は、第１乃至第６実施形態が対応する。
【００７１】
（作用効果）
この（１）に記載の３次元モデリング装置によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
【００７２】
（２）  上記位置・姿勢情報算出手段は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（１）に記載の３次元モデリング装置。
【００７３】
（対応する実施形態）
この（２）に記載の３次元モデリング装置に関する実施形態は、第２乃至第６実施形態が対応する。
【００７４】
（作用効果）
この（２）に記載の３次元モデリング装置によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
【００７５】
（３）  上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする（２）に記載の３次元モデリング装置。
【００７６】
（対応する実施形態）
この（３）に記載の３次元モデリング装置に関する実施形態は、第２実施形態が対応する。
【００７７】
（作用効果）
この（３）に記載の３次元モデリング装置によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
【００７８】
（４）  上記位置・姿勢情報算出手段は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする（２）に記載の３次元モデリング装置。
【００７９】
（対応する実施形態）
この（４）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。
【００８０】
（作用効果）
この（４）に記載の３次元モデリング装置によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
【００８１】
（５）  上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行う手段を更に具備することを特徴とする（２）に記載の３次元モデリング装置。
【００８２】
（対応する実施形態）
この（５）に記載の３次元モデリング装置に関する実施形態は、第５実施形態が対応する。
【００８３】
（作用効果）
この（５）に記載の３次元モデリング装置によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
【００８４】
（６）  上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出する自動対応付け手段を更に具備することを特徴とする（２）に記載の３次元モデリング装置。
【００８５】
（対応する実施形態）
この（６）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
【００８６】
（作用効果）
この（６）に記載の３次元モデリング装置によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
【００８７】
（７）  上記自動対応付け手段は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする（６）に記載の３次元モデリング装置。
【００８８】
（対応する実施形態）
この（７）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
【００８９】
（作用効果）
この（７）に記載の３次元モデリング装置によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
【００９０】
（８）  上記画像入力装置の位置・姿勢情報を計測する補助位置・姿勢計測装置を更に具備し、
上記位置・姿勢情報算出手段は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記補助位置・姿勢計測装置によって計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記補助位置・姿勢計測装置によって計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（２）に記載の３次元モデリング装置。
【００９１】
（対応する実施形態）
この（８）に記載の３次元モデリング装置に関する実施形態は、第４実施形態が対応する。
【００９２】
（作用効果）
この（８）に記載の３次元モデリング装置によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
【００９３】
（９）  対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
【００９４】
（対応する実施形態）
この（９）に記載の３次元モデリング方法に関する実施形態は、第１乃至第６実施形態が対応する。
【００９５】
（作用効果）
この（９）に記載の３次元モデリング方法によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
【００９６】
（１０）  上記位置・姿勢情報の算出は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（９）に記載の３次元モデリング方法。
【００９７】
（対応する実施形態）
この（１０）に記載の３次元モデリング方法に関する実施形態は、第２乃至第６実施形態が対応する。
【００９８】
（作用効果）
この（１０）に記載の３次元モデリング方法によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
【００９９】
（１１）上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする（１０）に記載の３次元モデリング方法。
【０１００】
（対応する実施形態）
この（１１）に記載の３次元モデリング方法に関する実施形態は、第２実施形態が対応する。
【０１０１】
（作用効果）
この（１１）に記載の３次元モデリング方法によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
【０１０２】
（１２）  上記位置・姿勢の算出は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする（１０）に記載の３次元モデリング方法。
【０１０３】
（対応する実施形態）
この（１２）に記載の３次元モデリング方法に関する実施形態は、第３実施形態が対応する。
【０１０４】
（作用効果）
この（１２）に記載の３次元モデリング方法によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
【０１０５】
（１３）  さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行うことを特徴とする（１０）に記載の３次元モデリング方法。
【０１０６】
（対応する実施形態）
この（１３）に記載の３次元モデリング方法に関する実施形態は、第５実施形態が対応する。
【０１０７】
（作用効果）
この（１３）に記載の３次元モデリング方法によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
【０１０８】
（１４）  さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出することを特徴とする（１０）に記載の３次元モデリング方法。
【０１０９】
（対応する実施形態）
この（１４）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
【０１１０】
（作用効果）
この（１４）に記載の３次元モデリング方法によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
【０１１１】
（１５）  上記対応付けの自動的な算出は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする（１４）に記載の３次元モデリング方法。
【０１１２】
（対応する実施形態）
この（１５）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
【０１１３】
（作用効果）
この（１５）に記載の３次元モデリング方法によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
【０１１４】
（１６）  上記画像入力装置の位置・姿勢情報を計測し、
上記位置・姿勢の算出は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（１０）に記載の３次元モデリング方法。
【０１１５】
（対応する実施形態）
この（１６）に記載の３次元モデリング方法に関する実施形態は、第４実施形態が対応する。
【０１１６】
（作用効果）
この（１６）に記載の３次元モデリング方法によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の第１乃至第６実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
【図２】（Ａ）は対象オブジェクトの３次元形状モデルを示す図、（Ｂ）は画像入力装置による対象オブジェクトの連続視点移動画像の撮影場面を表した図、（Ｃ）は３次元モデル上へのテクスチャ画像のマッピングまたは投影を説明するための図であり、（Ｄ）は全周画像のテクスチャマッピングを説明するための図である。
【図３】（Ａ）は第１実施形態に係る３次元モデリング装置の動作フローチャートを示す図であり、（Ｂ）は本発明の第２実施形態に係る３次元モデリング装置の動作フローチャートを示す図である。
【図４】第１実施形態における表示画面構成の例を示す図である。
【図５】（Ａ）は第３実施形態に係る３次元モデリング装置の動作フローチャートを示す図であり、（Ｂ）は本発明の第４実施形態に係る３次元モデリング装置の動作フローチャートを示す図である。
【図６】本発明の第５実施形態における表示画面構成の例を示す図である。
【符号の説明】
【０１１８】
１…演算装置、  ２…表示装置、  ３…指示装置、  ４…画像入力装置、  ５…補助位置・姿勢計測装置、  １１…データベース、  １２…データ入力部、  １３…特徴点・線・領域抽出処理演算部、  １４…カメラ位置・姿勢情報演算部、  １５…画像と対応する位置・姿勢情報関連付け部、  １６…モデルの位置・姿勢に基づいたレンダリング情報演算部、  １７…テクスチャ投影情報演算部、  １８…複数視点画像統合演算部、  １９…ポリゴンと最適テクスチャ関連付け部、  ２１…前表示領域、  ２１Ａ…３次元画像レンダリングウィンドウ、  ２１Ｂ−１〜２１Ｂ−ｎ…サブウィンドウ、  ２１Ｃ…コントロールパネル、  ２２…ウィンドウ、  ２２Ａ…連続テクスチャ画像表示ウィンドウ、  ２２Ｂ…連続テクスチャ画像表示ウィンドウコントロールパネル、  ２２Ｃ…３次元画像レンダリングウィンドウ、  ２２Ｄ…３次元画像レンダリングウィンドウコントロールパネル。
【図１】
2005141655.tif 000003
【図２】
2005141655.tif 000004
【図３】
2005141655.tif 000005
【図４】
2005141655.tif 000006
【図５】
2005141655.tif 000007
【図６】
2005141655.tif 000008