(57)【要約】【課題】カメラ位置・姿勢情報を映像より取得して、３次元モデルを構成する各ポリゴンに対してテクスチャをマッピングすること。【解決手段】画像入力部１２で入力した対象オブジェクトの連続視点移動画像からカメラ位置・姿勢情報演算部１４にてその撮影を行った画像入力装置４の位置・姿勢を算出し、画像と対応する位置・姿勢情報関連付け部１５によって、その算出した位置・姿勢情報とそれに対応する各画像とを関連付ける。そして、モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、データベース１１に登録されている対象物の３次元形状モデルを読み出し、上記算出された画像入力装置４の位置・姿勢情報に基づいた３次元モデルをレンダリングして表示装置２上に表示し、テクスチャ投影情報演算部１７により、その表示された３次元モデル上に、撮影されたテクスチャ画像をマッピングまたは投影する。【選択図】      図１
2005063041.tif 000002
【特許請求の範囲】
【請求項１】
３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
対象オブジェクトの形状情報を入力する形状情報入力手段と、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力する画像入力手段と、
上記画像入力手段によって入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を、上記画像入力手段によって入力された動画像を構成する画像列または上記画像入力手段によって入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付け手段で関連付けされた各テクスチャ画像を投影して表示する投影表示手段と、
を具備することを特徴とする３次元モデリング装置。
【請求項２】
上記位置・姿勢情報算出手段は、上記画像入力手段によって入力された動画像または画像列における画像内の特徴点、特徴的な線分、特徴的な形状の少なくとも一つを抽出し、それら抽出した特徴的な点、線分、形状を追跡し、三角測量の原理に基づいて、上記画像入力装置の位置・姿勢情報を算出することを特徴とする請求項１に記載の３次元モデリング装置。
【請求項３】
時間変化と共に算出された上記画像入力装置の各位置の姿勢情報ごとに投影されるテクスチャ画像が上記レンダリング手段によってレンダリングされた３次元モデル上を移動する際に、既に投影された領域に対しては、その領域に投影されたテクスチャ画像を保持し、上記画像入力装置の位置・姿勢の変化と共に一度でも投影が行われた領域に対しては、投影されたテクスチャ画像が残されてレンダリングが行われることを特徴とする請求項１または２に記載の３次元モデリング装置。
【請求項４】
上記画像入力装置の位置・姿勢の移動と共に投影されるテクスチャ画像に対し、３次元形状モデルに対応付けられる画像の変化と共に３次元モデルの各ポリゴンに対応付けられる画像領域が変化するときに、各ポリゴンと対応する画像領域とが最適に対応付けられるように、各ポリゴンごとにマッピングするテクスチャ画像の更新を行うか否かを判断する判断手段をさらに具備することを特徴とする請求項３に記載の３次元モデリング装置。
【請求項５】
上記判断手段は、各ポリゴン領域のテクスチャ画像の更新を行うか否かの判断を行う基準として、上記画像入力装置の視線方向と対応するポリゴンの垂線方向との角度が小さい方を選択することを特徴とする請求項４に記載の３次元モデリング装置。
【請求項６】
上記画像入力手段が入力する動画像または時系列的に連続的な画像列は、共通な撮影領域を含むように上記画像入力装置により複数の方向から撮影された動画像または画像列であり、
上記位置・姿勢情報算出手段は、その複数の方向から撮影された動画像または画像列を構成する各画像よりそれぞれ上記画像入力装置の位置・姿勢情報を算出し、
上記投影表示手段は、上記複数の方向から撮影された動画像または画像列における共通な領域のテクスチャマッピングを行う際に、レンダリングに適切なテクスチャ画像を選択または複数のテクスチャ画像より適切なテクスチャ画像を生成する、
ことを特徴とする請求項１乃至５の何れかに記載の３次元モデリング装置。
【請求項７】
上記投影表示手段は、上記共通な領域におけるレンダリングに適切なテクスチャ画像の選択基準として、該領域内の３次元モデルの各ポリゴンの垂線方向と上記画像入力装置の視線方向とのなす角度が小さい方を選択することを特徴とする請求項６に記載の３次元モデリング装置。
【請求項８】
対象オブジェクトを撮影した動画像または画像列の各画像と対応する位置・姿勢情報、さらに、３次元モデルの各ポリゴンに対応する最適テクスチャ画像とを関連付けした上でデータベース化して登録しておき、
任意視点レンダリングを行う際に、常に各ポリゴンに対して最適なテクスチャ画像を対応させてレンダリングが行える、
ことを特徴とする請求項１乃至７の何れかに記載の３次元モデリング装置。
【請求項９】
対象オブジェクトを撮影した動画像または画像列を異なる時間帯において取得し、
取得された任意時間帯の動画像または画像列から得たテクスチャ画像を投影してレンダリングする、
ことを特徴とする請求項１乃至８の何れかに記載の３次元モデリング装置。
【請求項１０】
３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
対象オブジェクトの形状情報を入力し、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力し、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行い、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングし、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
【請求項１１】
コンピュータに、３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行わせるプログラムにおいて、
対象オブジェクトの形状情報を入力する機能と、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力する機能と、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する機能と、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う機能と、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングする機能と、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象オブジェクトの３次元形状モデルに対して、対象オブジェクトを撮影した動画像または連続する画像列に基づいて得られるカメラの位置・姿勢情報に基づいて、テクスチャを最適にマッピングすることにより、高画質な任意視点３次元モデルを生成する３次元モデリング装置及び方法、ならびに、コンピュータにそのような３次元モデリング装置の機能を実現させるためのプログラムに関する。
【背景技術】
【０００２】
近年、バーチャルリアリティの分野、インターネット上、さらには地図情報分野等、様々な場面で３次元モデルデータが有効に利用されるようになってきている。３次元モデルデータを作成するためには、３次元形状を計測するために、３次元レーザスキャナのような専用の計測装置が必要であるが、このような装置では、３次元オブジェクトの高精細なテクスチャ情報を簡易に生成することができない。そのため、形状計測手段とは別な手段によりテクスチャを撮影し、３次元形状モデルの各ポリゴンに対して、対応するテクスチャ領域を手作業により領域分割を行い、更に、撮影時の視点方向によるテクスチャの歪みを補正した上で各ポリゴンに対してテクスチャマッピングを行うという方法がとられていた。
【０００３】
また、上記手法を簡略化する方法として、特許文献１には、表示対象物体の概略形状モデルと、表示対象物体を撮影方向の情報を有する異なる方向から撮影した複数の画像とを利用して、レンダリングを行おうとする視点方向と撮影方向とが最も近い撮影画像を複数の撮影画像の中から選択し、その撮影画像を、撮影位置を視点として投影を行い、投影された概略形状を、レンダリングを行おうとする視点方向からスクリーン上に透視投影して表示する方法が開示されている。
【０００４】
あるいは、特許文献２では、複数の異なる視点からの撮影画像からパッチ面毎に最も解像度の高い画像を選択してそれぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う手法を用いている。さらに、各テクスチャ画像の光源条件の不一致による画像間、すなわちパッチ面の間の濃淡値の差の補正処理を実行する処理も行っている。この補正処理として、各フレーム間の画像濃淡値補正処理、各パッチ間のテクスチャ画像のずれ補正処理、各パッチ間の境界部分の濃淡スムージング補正処理を適用することにより、高画質なテクスチャマッピングを可能として品質の高い３次元画像の生成を可能としている。
【０００５】
また、非特許文献１に示されるように、形状モデルを有する３次元オブジェクトに対して対象オブジェクトを動画像として撮影し、そのカメラ位置・姿勢情報より３次元オブジェクトのレンダリング、及び対応するテクスチャの投影を行うことにより、テクスチャ付き３次元オブジェクトのレンダリングを行う手法も提案されている。
【特許文献１】特開２００１−２４３４９７号公報
【特許文献２】特開２００２−２４８５０号公報
【非特許文献１】IEEE Virtual Reality 2003 (March 22-26, 2003 LosAngeles California), P.61 "Augmented Virtual Environment (AVE): Dynamic Fusion of Imagery and 3D Models"
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の手法では、撮影の方向を予め何らかの手段で取得する必要があり、そのための装置を他に有している必要があり、撮影時の煩雑さをさけることはできない。また、各撮影方向は、一定の間隔を持っているため、マッピングを行うのに適切な方向が複数選択されてしまうことがあり、そのような場合にはどちらがより適切であるかを判断する手段を有していない。さらに、最適テクスチャを選択する判断基準が方向のみであるため、対象オブジェクトとの距離に関する考慮がなされておらず、撮影位置が離れていてテクスチャが不鮮明な画像を選択してしまう可能性を持つという課題もある。
【０００７】
このことは、上記特許文献２の手法に関しても同様に言える課題となる。
【０００８】
さらに、上記非特許文献１の例においては、投影されるテクスチャが、位置・姿勢に基づいているため、視線方向が変化するに従い、投影される位置が変化し、テクスチャのマッピングされる位置がずれていくため、オブジェクト全周のレンダリングが行えないという課題を有する。
【０００９】
本発明は、上記の点に鑑みてなされたもので、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、３次元モデルを構成する各ポリゴンに対してテクスチャをマッピングする３次元モデリング装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、請求項１に記載の発明による３次元モデリング装置は、
３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
対象オブジェクトの形状情報を入力する形状情報入力手段と、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力する画像入力手段と、
上記画像入力手段によって入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を、上記画像入力手段によって入力された動画像を構成する画像列または上記画像入力手段によって入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付け手段で関連付けされた各テクスチャ画像を投影して表示する投影表示手段と、
を具備することを特徴とする。
【００１１】
また、請求項２に記載の発明による３次元モデリング装置は、請求項１に記載の発明による３次元モデリング装置において、
上記位置・姿勢情報算出手段は、上記画像入力手段によって入力された動画像または画像列における画像内の特徴点、特徴的な線分、特徴的な形状の少なくとも一つを抽出し、それら抽出した特徴的な点、線分、形状を追跡し、三角測量の原理に基づいて、上記画像入力装置の位置・姿勢情報を算出することを特徴とする。
【００１２】
また、請求項３に記載の発明による３次元モデリング装置は、請求項１または２に記載の発明による３次元モデリング装置において、
時間変化と共に算出された上記画像入力装置の各位置の姿勢情報ごとに投影されるテクスチャ画像が上記レンダリング手段によってレンダリングされた３次元モデル上を移動する際に、既に投影された領域に対しては、その領域に投影されたテクスチャ画像を保持し、上記画像入力装置の位置・姿勢の変化と共に一度でも投影が行われた領域に対しては、投影されたテクスチャ画像が残されてレンダリングが行われることを特徴とする。
【００１３】
また、請求項４に記載の発明による３次元モデリング装置は、請求項３に記載の発明による３次元モデリング装置において、
上記画像入力装置の位置・姿勢の移動と共に投影されるテクスチャ画像に対し、３次元形状モデルに対応付けられる画像の変化と共に３次元モデルの各ポリゴンに対応付けられる画像領域が変化するときに、各ポリゴンと対応する画像領域とが最適に対応付けられるように、各ポリゴンごとにマッピングするテクスチャ画像の更新を行うか否かを判断する判断手段をさらに具備することを特徴とする。
【００１４】
また、請求項５に記載の発明による３次元モデリング装置は、請求項４に記載の発明による３次元モデリング装置において、
上記判断手段は、各ポリゴン領域のテクスチャ画像の更新を行うか否かの判断を行う基準として、上記画像入力装置の視線方向と対応するポリゴンの垂線方向との角度が小さい方を選択することを特徴とする。
【００１５】
また、請求項６に記載の発明による３次元モデリング装置は、請求項１乃至５の何れかに記載の発明による３次元モデリング装置において、
上記画像入力手段が入力する動画像または時系列的に連続的な画像列は、共通な撮影領域を含むように上記画像入力装置により複数の方向から撮影された動画像または画像列であり、
上記位置・姿勢情報算出手段は、その複数の方向から撮影された動画像または画像列を構成する各画像よりそれぞれ上記画像入力装置の位置・姿勢情報を算出し、
上記投影表示手段は、上記複数の方向から撮影された動画像または画像列における共通な領域のテクスチャマッピングを行う際に、レンダリングに適切なテクスチャ画像を選択または複数のテクスチャ画像より適切なテクスチャ画像を生成する、
ことを特徴とする。
【００１６】
また、請求項７に記載の発明による３次元モデリング装置は、請求項６に記載の発明による３次元モデリング装置において、
上記投影表示手段は、上記共通な領域におけるレンダリングに適切なテクスチャ画像の選択基準として、該領域内の３次元モデルの各ポリゴンの垂線方向と上記画像入力装置の視線方向とのなす角度が小さい方を選択することを特徴とする。
【００１７】
また、請求項８に記載の発明による３次元モデリング装置は、請求項１乃至７の何れかに記載の発明による３次元モデリング装置において、
対象オブジェクトを撮影した動画像または画像列の各画像と対応する位置・姿勢情報、さらに、３次元モデルの各ポリゴンに対応する最適テクスチャ画像とを関連付けした上でデータベース化して登録しておき、
任意視点レンダリングを行う際に、常に各ポリゴンに対して最適なテクスチャ画像を対応させてレンダリングが行えることを特徴とする。
【００１８】
また、請求項９に記載の発明による３次元モデリング装置は、請求項１乃至８の何れかに記載の発明による３次元モデリング装置において、
対象オブジェクトを撮影した動画像または画像列を異なる時間帯において取得し、
取得された任意時間帯の動画像または画像列から得たテクスチャ画像を投影してレンダリングする、
ことを特徴とする。
【００１９】
また、上記の目的を達成するために、請求項１０に記載の発明による３次元モデリング方法は、
３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
対象オブジェクトの形状情報を入力し、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力し、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行い、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングし、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する、
ことを特徴とする。
【００２０】
また、上記の目的を達成するために、請求項１１に記載の発明によるプログラム装置は、
コンピュータに、３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行わせるプログラムにおいて、
対象オブジェクトの形状情報を入力する機能と、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力する機能と、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する機能と、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う機能と、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングする機能と、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する機能と、
を実現させるためのものであることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、さらに、３次元モデルを構成する各ポリゴンに対して最適なテクスチャをマッピングし、さらに対象とする全周のレンダリングを行う３次元モデリング装置、方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００２３】
［第１実施形態］  
図１は、本発明の第１実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
【００２４】
即ち、この３次元モデリング装置は、コンピュータ等の演算装置１と、ＣＲＴや液晶モニタ等の表示装置２と、マウス等の指示装置３と、カメラ等の画像入力装置４とから構成される。そして、上記演算装置１は、データベース１１、画像入力部１２、特徴点・線・領域抽出処理演算部１３、カメラ位置・姿勢情報演算部１４、画像と対応する位置・姿勢情報関連付け部１５、モデルの位置・姿勢に基づいたレンダリング情報演算部１６、及びテクスチャ投影情報演算部１７を基本構成として持つ。
【００２５】
ここで、上記データベース１１は、予め不図示の３次元形状計測装置により対象オブジェクトを計測して得た３次元形状モデルを登録しておくものである。なお、このデータベース１１は、演算装置１が持つものとしているが、ネットワークを介して接続された他のコンピュータが備えるものであっても構わない。
【００２６】
また、上記画像入力部１２は、上記画像入力装置４によって動画像または時間的に連続する画像列として撮影した画像を受けるものである。
【００２７】
上記特徴点・線・領域抽出処理演算部１３は、上記画像入力部１２によって入力された動画像または連続する画像列の各画像内より後の処理において必要となる特徴となる点、線分、領域を認識・抽出する。
【００２８】
上記カメラ位置・姿勢情報演算部１４は、上記特徴点・線・領域抽出処理演算部１３で抽出された特徴点・線分・領域より各画像に対する画像入力装置４の位置・姿勢情報を算出する。
【００２９】
上記画像と対応する位置・姿勢情報関連付け部１５は、上記カメラ位置・姿勢情報演算部１４によって求められた位置・姿勢情報とそれに対応する上記画像入力部１２によって入力された各画像とを関連付けるものである。
【００３０】
上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６は、上記データベース１１に記憶されている３次元形状モデルを上記位置・姿勢情報に基づいてレンダリングを行う。
【００３１】
そして、上記テクスチャ投影情報演算部１７は、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６によってレンダリングされた３次元形状モデルに対して、テクスチャをマッピングまたは投影を行うものである。
【００３２】
このような構成の３次元モデリング装置においては、図２（Ａ）に示すような３次元形状モデルが、上述したように予め３次元形状計測装置により計測を行って、データベース１１に登録してある。この３次元形状モデルは、頂点情報、頂点接続情報からなるものとなる。但し、その他、任意の３次元形状表現形式を利用することも可能である。また、計測は、レーザスキャナ、ステレオ計測、光切断法等の一般的な３次元形状計測器で行うことが可能であり、３次元ソリッドモデルを生成する。
【００３３】
そして、３次元モデリング装置においては、図３（Ａ）のフローチャートに示すような動作を実施する。
【００３４】
即ち、まず、画像入力装置４により対象オブジェクトの連続視点移動画像の撮影を行って、画像入力部１２によりそれを入力する（ステップＳ１１）。図２（Ｂ）は、その撮影の場面を表した図である。対象とするオブジェクトに対して視点を移動しながら動画像または連続する画像列として撮影する。なお、ここでは、この撮影した画像をリアルタイムで画像入力部１２によって取り込むものとして説明するが、撮影した画像を一旦記録媒体に記録しておき、後ほど画像入力部１２で取り込んで以降の処理を実施しても良いことは勿論である。
【００３５】
次に、特徴点・線・領域抽出処理演算部１３により、そのような動画像または時間的に連続する画像列として取り込んだ各画像内において、特徴となる点や線分、領域の抽出を行う（ステップＳ１２）。この特徴領域の抽出は、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタをかけて、抽出することとする。
【００３６】
次に、カメラ位置・姿勢情報演算部１４にて、上記抽出された特徴領域の画像内での時間的変化を追跡することにより、三角測量の原理により、各特徴領域までの距離を算出し（ステップＳ１３）、さらに、これらの情報に基づいて画像入力装置４の位置・姿勢を算出し、また、画像と対応する位置・姿勢情報関連付け部１５によって、その算出した位置・姿勢情報とそれに対応する各画像とを関連付ける（ステップＳ１４）。
【００３７】
その後、モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、上記データベース１１に登録されている対象物の３次元形状モデルを読み出し、上記算出された画像入力装置４の位置・姿勢情報に基づいた３次元モデルをレンダリングして表示装置２上に表示する（ステップＳ１５）。
【００３８】
そして、テクスチャ投影情報演算部１７により、その表示された３次元モデル上に、図２（Ｃ）に示すように、撮影されたテクスチャ画像をマッピングまたは投影する（ステップＳ１６）。
【００３９】
以上の手法により、３次元モデルへのテクスチャマッピングまたは投影を行うことができる。
【００４０】
［第２実施形態］  
次に、本発明の第２実施形態を説明する。本実施形態においては、３次元モデリング装置の演算装置１は、上記第１実施形態の構成に加えてさらに、複数の視点より撮影・入力された画像に対して合成を行い、全周画像の作成を行う複数視点画像統合演算部１８（図１参照）を有している。
【００４１】
対象となるオブジェクトを視点を移動しながら撮影を行う場合、視点の移動と共に撮影される領域も同時に移動することになる。撮影される領域が移動するため、３次元モデルへのテクスチャのマッピングまたは投影を行う際にもその領域の移動が生じ、移動と共にマッピングまたは投影では表示されていた領域が移動していくことになる。
【００４２】
即ち、図４（Ａ）において、視点の移動が、視点５１→視点５２→視点５３と移動していく場合、視点５２でマッピングまたは投影の行われる領域が移動するため、視点５１ではマッピングまたは投影されていた領域６１のテクスチャが無くなり、さらに、視点５３でのテクスチャマッピングまたは投影においては、領域６２のテクスチャが無くなる、という現象を生じてしまうことになる。しかしながら、視点の移動と共にテクスチャのマッピングまたは投影の行われなくなった領域であっても、前の視点状態ではテクスチャがマッピングまたは投影されていたので、その領域にマッピングまたは投影されていたテクスチャ領域を保持し、５２，５３の視点移動があっても、６１，６２の領域は前の視点５１におけるテクスチャを残しておくようにすることにより、テクスチャのマッピングまたは投影される領域が次第に増加していくことになる。
【００４３】
図３（Ｂ）は、本第２実施形態に係る３次元モデリング装置の動作フローチャートである。但し、ステップＳ１１乃至ステップＳ１６の処理は上記第１実施形態と同様であるので、図３（Ｂ）では、ステップＳ１６以降のみを示している。
【００４４】
即ち、先に述べた手法によりテクスチャマッピングまたは投影を行った後（ステップＳ１６）、複数視点画像統合演算部１８では、視点変化に従ったレンダリング領域の移動が行われ（ステップＳ２１）、次の視点でのレンダリングが行われなくなった領域を検出して（ステップＳ２２）、その検出したレンダリングが行われなくなった領域に対して前の視点でレンダリングされていたテクスチャ領域を合わせてマッピングまたは投影する（ステップＳ２３）。
【００４５】
このようにすることで、図２（Ｄ）に示すように、全周画像のテクスチャマッピングを行うことが可能となる。
【００４６】
［第３実施形態］  
次に、本発明の第３実施形態を説明する。本実施形態は、視点の移動において、前後のテクスチャマッピングまたは投影領域で重複する領域に関する最適テクスチャ生成処理法に関するものである。
【００４７】
本実施形態においては、３次元モデリング装置の演算装置１における複数視点画像統合演算部１８は、３次元モデルを構成する各ポリゴンに対して、テクスチャ投影情報演算部１７での複数視点画像より、最適なテクスチャを選択または合成する処理を行う。そしてさらに、演算装置１は、その複数視点画像統合演算部１８で選択または合成した最適なテクスチャとポリゴンとを関連付けして、上記データベース１１に登録するポリゴンと最適テクスチャ関連付け部１９（図１参照）を有している。
【００４８】
図３（Ｃ）は、本第３実施形態に係る３次元モデリング装置の動作フローチャートである。但し、ステップＳ１１乃至ステップＳ１６の処理は上記第１実施形態と同様であるので、図３（Ｃ）では、ステップＳ１６以降のみを示している。
【００４９】
即ち、先に述べた手法によりテクスチャマッピングまたは投影を行った後（ステップＳ１６）、さらに、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、視点の移動と共にレンダリング領域が変化する処理を行う（ステップＳ３１）。例えば、図４（Ｂ）に示すように、視点の移動が、視点５１→５２→５３と変化する際に、視点５１の位置でレンダリングされる領域及び視点５２の位置でレンダリングされる領域のうち、領域６３は、両方の視点位置でレンダリングできる領域となっている。視点５２と視点５３における重複領域６４も同様なことが言える。
【００５０】
そこで、複数視点画像統合演算部１８は、このような重複領域６３，６４の検出を行い（ステップＳ３２）、検出した重複する領域での最適テクスチャを選択または合成する処理を行う（ステップＳ３３）。通常は、レンダリングを行う視点でのテクスチャを利用してマッピングまたは投影を行うことになるが、３次元形状を表現するポリゴンの方向等の条件によっては、その視点位置におけるテクスチャより、前後の視点位置におけるテクスチャを利用した方が高画質化を図れる場合がある。即ち、例えば、ポリゴンに垂直な方向に対して視点方向がより近い方のテクスチャの方が歪みが小さく、画質が良くなる可能性が高い。条件としては、視点方向の角度のみでなく、距離等、任意の条件を対応させることが可能である。さらに、重複する領域に対してマッピングまたは投影されるテクスチャ領域に対し、双方のテクスチャの各画素において平均を求めることにより新たにテクスチャを合成することで高画質化を図ることも可能である。
【００５１】
こうして各ポリゴンに対して最適に選択または合成されたテクスチャは、テクスチャ投影情報演算部１７により、３次元モデル上にマッピングまたは投影される（ステップＳ３４）。
【００５２】
また、そのような各ポリゴンに対して最適に選択または合成されたテクスチャは、ポリゴンと最適テクスチャ関連付け部１９により、ポリゴンと共にデータベース１１に登録しておき（ステップＳ３５）、生成された３次元オブジェクトの表示を行う際に、そのデータベース１１を参照することにより、予め処理されたものとして各ポリゴンに対してマッピングまたは投影されるテクスチャを用いることが可能となり（ステップＳ３６）、リアルタイムでの視点移動を行うことが可能となる。
【００５３】
［第４実施形態］  
次に、本発明の第３実施形態を説明する。
【００５４】
図２（Ｃ）では、複数の方向より撮影された画像を、各方向よりマッピングまたは投影する手法が示されている。複数の視点からのテクスチャマッピングまたは投影情報の表示装置２内への表示の構成として、図５に示すような表示を行う。
【００５５】
本実施形態においては、複数の視点から、重複する領域を持つようにそれぞれ動画像を撮影し、広範囲、さらには全周の３次元オブジェクト生成を行うことを目的とする。各方向からの画像に対して上述の手法と同様な３次元モデリングを行うが、重複する領域に対して、最適なテクスチャを選択することを特徴とする。撮影された画像間の重複する領域に関して各視点でのテクスチャが上記第３実施形態に従って作成されたものであれば、それぞれ最適化された上で視点方向の数だけ選択の自由度を持つことになるが、この場合においても第３実施形態で視点移動において重複する領域のテクスチャの最適化を行ったのと同様な手法を用いることにより最適なテクスチャを選択または合成することができる。または、各視点移動中の重複する領域のテクスチャすべてと、各視点方向における重複する領域のテクスチャとをすべて並列の状態で比較し最適なテクスチャを選択することや、これらのテクスチャすべてを用いて画素ごとの平均値をとることによる合成を行うことによる最適化を行うことにより最適なテクスチャを生成することも可能である。
【００５６】
本実施形態を表示装置２に表示する際には例えば、図５に示すような画面構成を設定することができ、表示画面上にアクティブウィンドウとして表示される前表示領域２１に内部に、テクスチャマッピングまたは投影の行われた３次元画像レンダリングウィンドウ２１Ａが表示され、このウィンドウ２１Ａ内では３次元オブジェクトの任意視点での表示を行うことができる。また、サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎを設け、各視点におけるテクスチャマッピングまたは投影された画像と撮影時の生画像とが表示できるようにしておく。さらに、コントロールパネル２１Ｃも設け、３次元画像の視点移動制御、各サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎ内での表示画像の切り替え等の制御を行うことができる。但し、視点変更は、３次元画像レンダリングウィンドウ２１Ａ内で指示装置３の操作によっても行えるようにしておくことが可能である。
【００５７】
［第５実施形態］  
次に、本発明の第５実施形態として、任意視点でのレンダリングを行う場合、３次元オブジェクトを構成する各ポリゴンに対して、視点ごとの最適化されたテクスチャを生成することを特徴とする方法を、図６を用いて説明する。
【００５８】
ここでは、３次元形状モデルを構成するポリゴン等の各構成要素に対して、各視点ごとに最適なテクスチャを関連付けしてデータベース化しておく方法である。視点が変化することにより、例えば、各ポリゴンの向きは変化するため、レンダリングを行う視点方向に依存してマッピングまたは投影するのに最適なテクスチャが異なる可能性がある。そのため、各構成要素（ポリゴン）ごとに、異なる視点に対する最適なテクスチャを関連付けてデータベース化しておくことにより、３次元モデルのレンダリングを行う際に、視点ごとに最適なテクスチャが適用されるため、常に高画質な３次元レンダリングが行われることになる。
【００５９】
［第６実施形態］  
次に、本発明の第６実施形態を説明する。本実施形態は、同方向視点の動画像として、異なる時間帯における動画像を複数撮影することを特徴とするものである。
【００６０】
この実施形態に対しても、図６により説明を行う。上記第１乃至第５実施形態で述べた方法により、ある時間ｔ１における３次元モデルの生成を行うことができるが、同様な手法を、異なる複数の時間帯（時間ｔ２，…，ｔｎ）において取得したテクスチャ画像を用いて、予め設定された１つの３次元形状モデルに対して、適用することも可能である。さらには、３次元形状モデルとして複数のものを利用し、さらに時間帯に関しても、それぞれ複数の時間帯のテクスチャを関連付けておくことも可能である。例えば、同一の日における、朝、昼、夜のテクスチャであったり、季節として、春夏秋冬に対してそれぞれテクスチャを撮影しておくことも可能である。これらの、図６に示す異なる時間帯ｔ１，ｔ２，…，ｔｎに対する、各ポリゴン、視点位置における最適テクスチャを算出した上で、データベース１１に登録しておき、利用者は、任意の時間帯における任意視点の最適な高画質３次元画像を得ることが可能となる。
【００６１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６２】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００６３】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６４】
（１）  ３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
対象オブジェクトの形状情報を入力する形状情報入力手段と、
対象オブジェクトを画像入力装置の移動（即ち視点の移動）により撮影して得られた動画像または時系列的に連続的な画像列を入力する画像入力手段と、
上記画像入力手段によって入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を、上記画像入力手段によって入力された動画像を構成する画像列または上記画像入力手段によって入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付け手段で関連付けされた各テクスチャ画像を投影して表示する投影表示手段と、
を具備することを特徴とする３次元モデリング装置。
【００６５】
（対応する実施形態）  
この（１）に記載の３次元モデリング装置に関する実施形態は、第１乃至第６実施形態が対応する。ここで、上記形状情報入力手段は上記データベース１１に対応し、上記画像入力手段は上記画像入力部１２に対応し、上記位置・姿勢情報算出手段は上記カメラ位置・姿勢情報演算部１４に対応し、上記関連付け手段は上記画像と対応する位置・姿勢情報関連付け部１５に対応し、上記レンダリング手段は上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６に対応し、上記投影表示手段は上記テクスチャ投影情報演算部１７に相当する。  
（作用効果）  
この（１）に記載の３次元モデリング装置によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるので、他の画像入力装置の位置・姿勢計測手段を利用せずに済むため、簡易なシステムを構成することが可能である。
【００６６】
（２）  上記位置・姿勢情報算出手段は、上記画像入力手段によって入力された動画像または画像列における画像内の特徴点、特徴的な線分、特徴的な形状の少なくとも一つを抽出し、それら抽出した特徴的な点、線分、形状を追跡し、三角測量の原理に基づいて、上記画像入力装置の位置・姿勢情報を算出することを特徴とする（１）に記載の３次元モデリング装置。
【００６７】
（対応する実施形態）  
この（２）に記載の３次元モデリング装置に関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（２）に記載の３次元モデリング装置によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置位置・姿勢情報の算出ができるので、他の画像入力装置位置・姿勢計測手段を利用せずに済むため、簡易なシステムを構成することが可能である。位置・姿勢算出のためには異なる視点間での対応する点が必要になるが、画像中、特徴となる点、線分、形状等任意の情報を利用することができるため、ロバストで精度のより良い位置・姿勢情報を算出することが可能となる。
【００６８】
（３）  時間変化と共に算出された上記画像入力装置の各位置の姿勢情報ごとに投影されるテクスチャ画像が上記レンダリング手段によってレンダリングされた３次元モデル上を移動する際に、既に投影された領域に対しては、その領域に投影されたテクスチャ画像を保持し、上記画像入力装置の位置・姿勢の変化と共に一度でも投影が行われた領域に対しては、投影されたテクスチャ画像が残されてレンダリングが行われることを特徴とする（１）または（２）に記載の３次元モデリング装置。
【００６９】
（対応する実施形態）  
この（３）に記載の３次元モデリング装置に関する実施形態は、第２実施形態が対応する。  
（作用効果）  
この（３）に記載の３次元モデリング装置によれば、視点移動と共にテクスチャマッピングを行う場合、視点移動と共にレンダリングされる領域も移動し、レンダリング領域から外れた領域はテクスチャがマッピングされなくなっていくが、領域の移動を検出し、移動済みの領域に対しては、その前までマッピングされていたテクスチャを記憶させておいてそのテクスチャをレンダリングすることによりテクスチャマッピングされる領域が増加していき、レンダリングできる視点位置が増加する。
【００７０】
（４）  上記画像入力装置の位置・姿勢の移動と共に投影されるテクスチャ画像に対し、３次元形状モデルに対応付けられる画像の変化と共に３次元モデルの各ポリゴンに対応付けられる画像領域が変化するときに、各ポリゴンと対応する画像領域とが最適に対応付けられるように、各ポリゴンごとにマッピングするテクスチャ画像の更新を行うか否かを判断する判断手段をさらに具備することを特徴とする（３）に記載の３次元モデリング装置。
【００７１】
（対応する実施形態）  
この（４）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。ここで、上記判断手段は上記複数視点画像統合演算部１８に対応する。  
（作用効果）  
この（４）に記載の３次元モデリング装置によれば、視点移動と共にテクスチャマッピングの領域が移動していくき、複数の視点において、重なる領域が存在することになり、通常は対応する視点におるテクスチャを利用することになるが、視線方向とポリゴン垂線の方向とのなす角や撮影条件等の問題により別なテクスチャを利用した方が高画質になる可能性があるため、常に、同一の領域をレンダリングする複数の視点のテクスチャを比較し、各ポリゴン毎に最適にレンダリングできるテクスチャを選択することにより、高画質な３次元画像を生成することが可能になる。
【００７２】
（５）  上記判断手段は、各ポリゴン領域のテクスチャ画像の更新を行うか否かの判断を行う基準として、上記画像入力装置の視線方向と対応するポリゴンの垂線方向との角度が小さい方を選択することを特徴とする（４）に記載の３次元モデリング装置。
【００７３】
（対応する実施形態）  
この（５）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（５）に記載の３次元モデリング装置によれば、（４）における最適テクスチャ選択の判断基準として、ポリゴンの垂線と画像入力装置の視線方向との角度を参照し、角度が小さい方を選択することにより、正面に近い画像を選択できることになるため、テクスチャマッピングする際の画像の歪みが最小限に抑えられるため、より現実に近い画像を選択できることになり、高画質な３次元画像を生成することが可能になる。
【００７４】
（６）  上記画像入力手段が入力する動画像または時系列的に連続的な画像列は、共通な撮影領域を含むように上記画像入力装置により複数の方向から撮影された動画像または画像列であり、
上記位置・姿勢情報算出手段は、その複数の方向から撮影された動画像または画像列を構成する各画像よりそれぞれ上記画像入力装置の位置・姿勢情報を算出し、
上記投影表示手段は、上記複数の方向から撮影された動画像または画像列における共通な領域のテクスチャマッピングを行う際に、レンダリングに適切なテクスチャ画像を選択または複数のテクスチャ画像より適切なテクスチャ画像を生成する、
ことを特徴とする（１）乃至（５）の何れかに記載の３次元モデリング装置。
【００７５】
（対応する実施形態）  
この（６）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（６）に記載の３次元モデリング装置によれば、対象とする３次元モデルの全周３次元画像を生成するためには複数の視点から撮影することが必要になるが、撮影の際には重なる領域を持つように撮影を行い、重なった領域に対しては最適な方のテクスチャを利用するか、または重なる領域に対応する複数のテクスチャの合成処理を行うことにより、最適なテクスチャを生成した上でテクスチャマッピングを行うことで、より高画質な３次元画像を生成することが可能になる。
【００７６】
（７）  上記投影表示手段は、上記共通な領域におけるレンダリングに適切なテクスチャ画像の選択基準として、該領域内の３次元モデルの各ポリゴンの垂線方向と上記画像入力装置の視線方向とのなす角度が小さい方を選択することを特徴とする（６）に記載の３次元モデリング装置。
【００７７】
（対応する実施形態）  
この（７）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（７）に記載の３次元モデリング装置によれば、対象とする３次元モデルの全周３次元画像を生成するためには複数の視点から撮影することが必要になるが、撮影の際には重なる領域を持つように撮影を行い、重なった領域に対しては最適な方のテクスチャを利用するか、または重なる領域に対応する複数のテクスチャの合成処理を行うことにより、最適なテクスチャを生成した上でテクスチャマッピングを行うことで、より高画質な３次元画像を生成することが可能になる。最適テクスチャ選択の条件としては、画像入力装置の視線情報とポリゴンの垂線の方向とのなす角を判断基準として利用し、角度の小さい方を採用することにより、正面から撮影したものに近い画像を選択することができ、歪み量が小さくできるため、より現実の画像に近い３次元画像を生成することが可能である。
【００７８】
（８）  対象オブジェクトを撮影した動画像または画像列の各画像と対応する位置・姿勢情報、さらに、３次元モデルの各ポリゴンに対応する最適テクスチャ画像とを関連付けした上でデータベース化して登録しておき、
任意視点レンダリングを行う際に、常に各ポリゴンに対して最適なテクスチャ画像を対応させてレンダリングが行える、
ことを特徴とする（１）乃至（７）の何れかに記載の３次元モデリング装置。
【００７９】
（対応する実施形態）  
この（８）に記載の３次元モデリング装置に関する実施形態は、第５実施形態が対応する。  
（作用効果）  
各ポリゴンに対して最適なテクスチャを選択または生成する処理はコストのかかる処理となるため、リアルタイムでのレンダリングには向かない可能性がある。そのため、この（８）に記載の３次元モデリング装置では、最適なテクスチャを選択した後で、対応するポリゴンと関連付けを行った上でデータベースに登録しておき、次に利用する際にはデータベースを参照するようにすることで、リアルタイムでのレンダリングが可能となり、より使い易い３次元画像を生成することができる。
【００８０】
（９）  対象オブジェクトを撮影した動画像または画像列を異なる時間帯において取得し、
取得された任意時間帯の動画像または画像列から得たテクスチャ画像を投影してレンダリングする、
ことを特徴とする（１）乃至（８）の何れかに記載の３次元モデリング装置。
【００８１】
（対応する実施形態）  
この（９）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。  
（作用効果）  
３次元形状モデルは変化することはないが、テクスチャに関しては、時間帯、または季節による変化を生じることがある。そのため、この（９）に記載の３次元モデリング装置では、異なる時間帯でのテクスチャを撮影、さらに、各ポリゴンとの最適テクスチャ対応付け処理を行った情報をデータベース化しておくことにより、利用者は任意の時間帯での３次元画像のレンダリングを行うことができるようになり、生成された３次元画像の利用範囲が広範となる。
【００８２】
（１０）  ３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
対象オブジェクトの形状情報を入力し、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力し、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行い、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングし、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
【００８３】
（対応する実施形態）  
この（１０）に記載の３次元モデリング方法に関する実施形態は、第１乃至第６実施形態が対応する。  
（作用効果）  
この（１０）に記載の３次元モデリング方法によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるので、他の画像入力装置の位置・姿勢計測手段を利用せずに済むため、簡易なシステムを構成することが可能である。
【００８４】
（１１）  コンピュータに、３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行わせるプログラムにおいて、
対象オブジェクトの形状情報を入力する機能と、
対象オブジェクトを画像入力装置の移動により撮影して得られた動画像または時系列的に連続的な画像列を入力する機能と、
上記入力された動画像または画像列に基づいて上記画像入力装置の位置・姿勢情報を算出する機能と、
上記算出された上記画像入力装置の位置・姿勢情報を、上記入力された動画像を構成する画像列または上記入力された時系列的に連続的な画像列に含まれる各テクスチャ画像に対して関連付けを行う機能と、
上記入力された対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報に従って上記画像入力装置の各位置・姿勢に対応する３次元モデルをレンダリングする機能と、
上記レンダリングされた３次元モデル上に、上記画像入力装置の各位置・姿勢に対応する、上記関連付けされた各テクスチャ画像を投影して表示する機能と、
を実現させるためのプログラム。
【００８５】
（対応する実施形態）  
この（１１）に記載のプログラムに関する実施形態は、第１乃至第６実施形態が対応する。  
（作用効果）  
この（１１）に記載のプログラムによれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるので、他の画像入力装置の位置・姿勢計測手段を利用せずに済むため、簡易なシステムを構成することが可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明の第１乃至第３実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
【図２】（Ａ）は対象オブジェクトの３次元形状モデルを示す図、（Ｂ）は画像入力装置による対象オブジェクトの連続視点移動画像の撮影場面を表した図、（Ｃ）は３次元モデル上へのテクスチャ画像のマッピングまたは投影を説明するための図であり、（Ｄ）は全周画像のテクスチャマッピングを説明するための図である。
【図３】（Ａ）は第１実施形態に係る３次元モデリング装置の動作フローチャートを示す図、（Ｂ）は本発明の第２実施形態に係る３次元モデリング装置の動作フローチャートを示す図であり、（Ｃ）は本発明の第３実施形態に係る３次元モデリング装置の動作フローチャートを示す図である。
【図４】（Ａ）は対象オブジェクトを視点を移動しながら撮影を行う場合の視点の移動と共に撮影される領域が移動することを説明するための図であり、（Ｂ）は複数の視点位置でレンダリング可能な重複領域を説明するための図である。
【図５】本発明の第４実施形態における複数の視点からのテクスチャマッピングまたは投影情報を表示するための表示画面構成の例を示す図である。
【図６】本発明の第５実施形態における３次元形状モデルを構成するポリゴン等の各構成要素に対して各視点ごとに最適なテクスチャを関連付けしてデータベース化しておく方法及び本発明の第６実施形態における異なる時間帯についてデータベース化しておく方法を説明するための、各構成要素についての各視点及び各時間での最適テクスチャの関係を示す図である。
【符号の説明】
【００８７】
１…演算装置、  ２…表示装置、  ３…指示装置、  ４…画像入力装置、  １１…データベース、  １２…画像入力部、  １３…特徴点・線・領域抽出処理演算部、  １４…カメラ位置・姿勢情報演算部、  １５…画像と対応する位置・姿勢情報関連付け部、  １６…モデルの位置・姿勢に基づいたレンダリング情報演算部、  １７…テクスチャ投影情報演算部、  １８…複数視点画像統合演算部、  １９…ポリゴンと最適テクスチャ関連付け部、  ２１…前表示領域、  ２１Ａ…３次元画像レンダリングウィンドウ、  ２１Ｂ−１〜２１Ｂ−ｎ…サブウィンドウ、  ２１Ｃ…コントロールパネル、  ５１〜５３…視点、  ６１，６２…領域、  ６３，６４…重複領域。
【図１】
2005063041.tif 000003
【図２】
2005063041.tif 000004
【図３】
2005063041.tif 000005
【図４】
2005063041.tif 000006
【図５】
2005063041.tif 000007
【図６】
2005063041.tif 000008