(57)【要約】【課題】カメラと対象物の相対位置や向きなどの情報がなくても時系列画像からテクスチャを獲得することを可能とする。【解決手段】対応表作成機構１３は，時系列画像を複数のシーケンスに分割し，空間情報復元機構２１により復元された空間情報中の各点に対し，空間情報における特徴点番号，シーケンス番号，シーケンスにおける特徴点番号の対応情報をシーケンス対応表１４に記録する。フレーム選択機構１１は，シーケンス対応表１４を参照して３次元形状の面を構成する各３次元点の画像（フレーム）上の座標を取得し，その座標情報に基づいてテクスチャ獲得用フレームを選択する。テクスチャ座標決定機構１２は，３次元形状の面の各頂点の画像上の座標を求め，テクスチャ獲得用フレームからテクスチャ画像を切り出す。【選択図】図１０
2005063129.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置に格納された時系列画像から３次元点群を獲得し，該３次元点群から３次元形状を復元し，該３次元形状の面のテクスチャ画像を前記時系列画像に含まれる画像から獲得するコンピュータによるテクスチャ画像獲得方法であって，
前記時系列画像を複数の部分画像列に分割するステップと，
前記部分画像列において特徴点の画像上の座標を用いて３次元点群の座標値を求めるステップと，
前記３次元点群に含まれる各点に対して，前記３次元点群の座標値を求める際に用いた部分画像列，および，該部分画像列での画像上の座標データとの対応関係を求め，対応関係情報として記憶するステップと，
前記記憶した対応関係情報から３次元形状の面を構成する各３次元点の画像上の座標を取得し，取得した３次元点の画像上の座標に基づいてテクスチャを獲得する画像を前記時系列画像から選択するステップと，
選択した画像からテクスチャを獲得するステップとを有する
ことを特徴とするテクスチャ画像獲得方法。
【請求項２】
請求項ｌに記載のテクスチャ画像獲得方法において，
前記テクスチャを獲得する画像を前記時系列画像から選択するステップでは，
前記３次元形状の面を構成する３次元点の画像上の座標に基づいて各画像の重心を求め，各画像の重心が各画像の中心に最も近い画像を前記テクスチャを獲得する画像として選択する
ことを特徴とするテクスチャ画像獲得方法。
【請求項３】
請求項１または請求項２に記載のテクスチャ画像獲得方法において，
前記テクスチャを獲得するステップでは，
テクスチャを貼り付けようとする前記３次元形状の面の各頂点について，前記３次元点群の座標値を求める際に用いた画像上の座標を求め，
その求めた画像上の座標に基づき，前記選択した画像からテクスチャ画像を切り出す
ことを特徴とするテクスチャ画像獲得方法。
【請求項４】
請求項ｌまたは請求項２に記載のテクスチャ画像獲得方法において，
前記テクスチャを獲得するステップでは，
テクスチャを貼り付けようとする前記３次元形状の面に含まれる点の，３次元座標と画像上の座標との対応関係から，平行移動またはスケール変換または回転移動を含む合成変換を決定し，
前記決定した合成変換によって，前記３次元形状の面の頂点の３次元座標を画像上の座標に変換し，
前記変換された画像上の座標に基づき，前記選択した画像からテクスチャ画像を切り出す
ことを特徴とするテクスチャ画像獲得方法。
【請求項５】
請求項４に記載のテクスチャ画像獲得方法において，
前記合成変換によって，前記３次元形状の面の頂点の３次元座標を画像上の座標に変換する処理は，テクスチャを貼り付けようとする前記３次元形状の面の各頂点のうち，３次元座標値を求める際に用いた画像上の座標が存在しない頂点のみについて実行する
ことを特徴とするテクスチャ画像獲得方法。
【請求項６】
時系列画像から３次元点群を獲得する空間情報復元手段と，該３次元点群から３次元形状を復元する形状復元手段とを備え，前記３次元形状の面のテクスチャ画像を前記時系列画像に含まれる画像から獲得するテクスチャ画像獲得装置において，
前記時系列画像を複数の部分画像列に分割し，該部分画像列において特徴点の画像上の座標を用いて３次元点群の座標値を求め，該３次元点群に含まれる各点に対して，前記３次元点群の座標値を求める際に用いた部分画像列，および，該部分画像列での画像上の座標データとの対応関係を求める対応関係情報作成手段と，
前記３次元点群に含まれる各点と前記部分画像列と該部分画像列での画像上の座標データとの対応関係の情報を記憶する対応関係情報記憶手段と，
前記対応関係情報記憶手段から３次元形状の面を構成する各３次元点の画像上の座標を取得し，取得した３次元点の画像上の座標に基づいてテクスチャを獲得する画像を前記時系列画像から選択する画像選択手段と，
前記画像選択手段により選択した画像からテクスチャを獲得するテクスチャ獲得手段とを備える
ことを特徴とするテクスチャ画像獲得装置。
【請求項７】
請求項１から請求項５までのいずれか１項に記載のテクスチャ画像獲得方法をコンピュータに実行させるためのテクスチャ画像獲得プログラム。
【請求項８】
請求項１から請求項５までのいずれか１項に記載のテクスチャ画像獲得方法をコンピュータに実行させるためのテクスチャ画像獲得プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は時系列画像からのテクスチャ画像獲得技術に関し，特に，長い時系列画像から広域のテクスチャ付き３次元形状を復元するシステムにおいて，テクスチャ画像を効率的に獲得する方法に関するものである。
【背景技術】
【０００２】
映像から３次元の点群を獲得し，その点群から３次元形状を獲得する技術が知られている（例えば，非特許文献１，非特許文献２参照）。
【０００３】
このような技術により，例えば図１に示すように，ヘリコプターの空撮映像から３次元点群を獲得して，市街地の３次元形状データ（市街地空間モデル）を構築し，災害シミュレーションやカーナビゲーションシステムなどの基礎データに利用されている（非特許文献３参照）。映像は単位時間ごとに撮影されたフレームと呼ばれる画像列から構成されているため，以下，映像を時系列画像と呼ぶ。
【０００４】
図２は，地上の建物を空撮する例を示した図である。図２に示すように，例えば，ヘリコプターに搭載したビデオカメラで撮影時刻０１１，０１２，０１３，０１４，０１５において対象建物を空撮していく。
【０００５】
図３は，撮影された時系列画像の例を示す。図３から分かるように，一般に対象物が映し出されているフレーム数は限られているため，長い時系列画像から広域の３次元形状を復元する場合には，部分的な画像列（シーケンス）ごとに３次元点群を獲得する必要がある。
【０００６】
さらに，大きな構造物は複数のシーケンスにまたがる場合も考えられるため，複数の連続するシーケンスから獲得された複数の点群を一つの点群に統合した後で形状の復元を行う必要がある。この統合後の点群を，シーケンスごとの点群と区別するために，以下では空間情報と呼ぶ。
【０００７】
図４は，時系列画像から一定枚数のシーケンスヘの分割を説明する図である。図４に示すように，例えば，対象建物群の時系列画像からそれぞれＮ枚のフレームを切り出し，Ｎ枚ごとにシーケンス１からシーケンス４を生成する。なお，図４に示す例では，各シーケンスは，Ｍ枚のフレームが後続するシーケンスとオーバーラップするように生成されている。
【０００８】
長い時系列画像から広域の３次元形状を復元する場合，シーケンスごとに３次元座標値を持った点群を獲得し，点群を統合して空間情報を生成し，空間情報から形状の復元を行う。さらに，形状を画像から復元しているため，形状面のテクスチャ画像を取得することが可能である。
【０００９】
図５に従来技術のブロック構成図を示す。２は，１または複数のＣＰＵおよびメモリなどから構成されるテクスチャ画像獲得装置，２１は時系列画像から３次元の点群を獲得して空間情報を復元する空間情報復元機構，２２は空間情報から３次元形状を復元する形状復元機構，２３はテクスチャを獲得するテクスチャ取得機構，２４はファイルサーバ，２５はテクスチャ画像が保存されるテクスチャ保存装置である。ファイルサーバ２４には，時系列画像，後述する追跡座標値，空間情報，形状データなどのデータが格納される。
【００１０】
以下，図５の各構成要素で使われている技術を簡単に説明する。空間情報復元機構２１において，各シーケンスから３次元の点群を獲得する方法としては，「ステレオ画像法」や「オプティカルフロー」といった手法がある（非特許文献４参照）。いずれの方法においても撮影方向の異なる画像間で特徴点の対応関係をとる必要があり，時系列画像中で特徴点の対応関係を見つけ出す処理は「特徴点の追跡」と呼ばれている。
【００１１】
特徴点を追跡する場合，まず図６のように，図３に示す撮影された時系列画像から１フレーム（例えば，撮影時刻０１３のｉｍａｇｅ１３．ｔｉｆ）を選んで４つの特徴点を設定する。撮影時刻０１１から撮影時刻０１５までの時系列画像中で，この特徴点の追跡を行う様子を図７に示す。追跡処理の結果は，各特徴点の各フレームにおける画像座標値として，図８のように保存される。以下では，これらの座標値を追跡座標値と呼ぶ。
【００１２】
追跡座標値は，シーケンスごとに保存される。例えば，図８において，ｉｍａｇｅ１１．ｔｉｆからｉｍａｇｅ１５．ｔｉｆまでの各画像における特徴点１の追跡座標値は，（３００，６００），（３００，５００），（３００，４００），（３００，３００），（３００，２００）である。
【００１３】
形状復元機構２２において，空間情報から形状を復元する方法としては，図９に示すように，入力された空間情報から同じ高さの点集合を見つけ出して，空間情報を同じ高さの点集合に分割して，水平面上で，その点集合の凸包や外接長方形を形成することで，形状の平面図形とする方法が提案されている（非特許文献１，非特許文献５参照）。形状の平面図形から３次元モデルが得られる。
【００１４】
テクスチャ取得機構２３におけるテクスチャの獲得方法としては，非特許文献６，非特許文献７では，カメラの位置および姿勢に関する情報を用いて形状モデルを画像中に投影し，時系列画像の中から対象物がもっとも画像の中心に写っているフレーム（最適フレーム）を選択し，そのフレームからテクスチャを切り出す方法が示されている。
【非特許文献１】石川裕治，宮川勲，若林佳織，有川知彦，“ＭＤＬ基準に基づく３次元点集合からの形状モデル復元”，画像の認識・理解シンポジウム（ＭＩＲＵ２００２）論文集，ｖｏｌ. １，ｐｐ．１６５−１７０，情報処理学会，２００２
【非特許文献２】宮川勲，長井茂，有川知彦，“カメラ運動を拘束した因子分解法による空間情報復元”，電子情報通信学会論文誌，ｖｏｌ．Ｊ８５−Ｄ−II，ｎｏ．５，ｐｐ．８９８−９６６，２００２
【非特許文献３】大谷尚通，石川裕治，桑田喜隆，井上潮，“都市３次元地図を用いた防災情報提供システム”，第１０回機能図形情報システムシンポジウム講演論文集，１９９９年４月
【非特許文献４】井口征士，佐藤宏介，「３次元画像計測」，昭晃堂
【非特許文献５】石川裕治，宮川勲，若林佳織，有川知彦，“線分制約を取り入れた３次元特徴点集合からの建物モデル復元手法”，情報処理学会（第５６回全国大会），２００３
【非特許文献６】川崎洋，谷田部智之，池内克史，坂内正夫，「Ｏｍｎｉ  ビデオカメラからの３次元都市の自動生成」，コンピュータビジョンとイメージメディア，１１９−４，１９９９．１１．１７，情報処理学会
【非特許文献７】M.Uehara and H.Zen, "Building a Digital Town : From Digital Map to 3D Map by Mobile Observation", The Second International Symposium on Mized Reality(ISMR2001),March,2001.
【発明の開示】
【発明が解決しようとする課題】
【００１５】
従来手法ではテクスチャを獲得する際に，カメラの位置および姿勢を知る必要がある。しかし，カメラの位置や姿勢というような情報を正確に獲得することは難しい。例えば，カメラに対して位置や姿勢を記録するセンサを取り付ける必要があり，さらに，センシングされた情報について，各撮影時刻で正確に位置と姿勢を記録できなくてはならない。このような手段の実現には高いコストが掛かる。
【００１６】
さらに，そのような情報を記録できたとしても，時系列画像は多数のフレームから構成されるため，最適フレームを選択する処理に時間が掛かるという問題がある。
【００１７】
本発明は，上記従来技術の問題点を解決し，カメラと対象物の相対位置や向きなどの情報がなくても時系列画像からテクスチャを獲得することができ，かつ，テクスチャ獲得に掛かる処理時間を短縮することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するため，本発明のテクスチャ画像獲得方法は，記憶装置に格納された時系列画像から３次元点群を獲得し，該３次元点群から３次元形状を復元し，該３次元形状の面のテクスチャ画像を前記時系列画像に含まれる画像から獲得するコンピュータによるテクスチャ画像獲得方法であって，前記時系列画像を複数の部分画像列に分割するステップと，前記部分画像列において特徴点の画像上の座標を用いて３次元点群の座標値を求めるステップと，前記３次元点群に含まれる各点に対して，前記３次元点群の座標値を求める際に用いた部分画像列，および，該部分画像列での画像上の座標データとの対応関係を求め，対応関係情報として記憶するステップと，前記記憶した対応関係情報から３次元形状の面を構成する各３次元点の画像上の座標を取得し，取得した３次元点の画像上の座標に基づいてテクスチャを獲得する画像を前記時系列画像から選択するステップと，選択した画像からテクスチャを獲得するステップとを有することを特徴とする。
【００１９】
また，前記テクスチャを獲得する画像を前記時系列画像から選択するステップでは，前記３次元形状の面を構成する３次元点の画像上の座標に基づいて各画像の重心を求め，各画像の重心が各画像の中心に最も近い画像を前記テクスチャを獲得する画像として選択することを特徴とする。
【００２０】
また，前記テクスチャを獲得するステップでは，テクスチャを貼り付けようとする前記３次元形状の面の各頂点について，前記３次元点群の座標値を求める際に用いた画像上の座標を求め，その求めた画像上の座標に基づき，前記選択した画像からテクスチャ画像を切り出すことを特徴とする。
【００２１】
また，前記テクスチャを獲得するステップでは，テクスチャを貼り付けようとする前記３次元形状の面に含まれる点の，３次元座標と画像上の座標との対応関係から，平行移動またはスケール変換または回転移動を含む合成変換を決定し，前記決定した合成変換によって，前記３次元形状の面の頂点の３次元座標を画像上の座標に変換し，前記変換された画像上の座標に基づき，前記選択した画像からテクスチャ画像を切り出すことを特徴とする。
【００２２】
また，前記合成変換によって，前記３次元形状の面の頂点の３次元座標を画像上の座標に変換する処理は，テクスチャを貼り付けようとする前記３次元形状の面の各頂点のうち，３次元座標値を求める際に用いた画像上の座標が存在しない頂点のみについて実行することを特徴とする。
【００２３】
また，本発明のテクスチャ画像獲得装置は，時系列画像から３次元点群を獲得する空間情報復元手段と，該３次元点群から３次元形状を復元する形状復元手段とを備え，前記３次元形状の面のテクスチャ画像を前記時系列画像に含まれる画像から獲得するテクスチャ画像獲得装置において，前記時系列画像を複数の部分画像列に分割し，該部分画像列において特徴点の画像上の座標を用いて３次元点群の座標値を求め，該３次元点群に含まれる各点に対して，前記３次元点群の座標値を求める際に用いた部分画像列，および，該部分画像列での画像上の座標データとの対応関係を求める対応関係情報作成手段と，前記３次元点群に含まれる各点と前記部分画像列と該部分画像列での画像上の座標データとの対応関係の情報を記憶する対応関係情報記憶手段と，前記対応関係情報記憶手段から３次元形状の面を構成する各３次元点の画像上の座標を取得し，取得した３次元点の画像上の座標に基づいてテクスチャを獲得する画像を前記時系列画像から選択する画像選択手段と，前記画像選択手段により選択した画像からテクスチャを獲得するテクスチャ獲得手段とを備えることを特徴とする。
【００２４】
本発明は，コンピュータとソフトウェアプログラムによっても実現でき，そのプログラムを記録媒体に記録することも，ネットワークを通して提供することも可能である。
【発明の効果】
【００２５】
本発明により，時系列画像から形状を復元すると共に，その形状面のテクスチャを獲得する際に，追跡処理時の特徴点の画像座標を利用することで，３次元形状を画像フレームに投影する必要がない。そのため，カメラと対象物の相対位置や向きを知る必要がなく，そのような情報を取得・管理するためのコストを削減できる。
【００２６】
また，本発明は，シーケンス対応表を作成しておくことにより，テクスチャ獲得のためのフレームを特定する際に，時系列画像全体を検索するのではなく，特定のシーケンスだけを検索すればよいため，テクスチャ獲得に掛かる処理時間を短縮できる。
【００２７】
シーケンス対応表の作成は一回の処理で済むが，フレームの検索はテクスチャを貼り付けなければならない面の数だけ行われるため，時系列画像が長い場合，処理時間の短縮効果はより大きくなる。
【発明を実施するための最良の形態】
【００２８】
上記の課題を解決するために行われた本発明の構成例を図１０に示す。本発明のテクスチャ画像獲得装置１は，図５に示す従来のテクスチャ画像獲得装置２の構成要素からテクスチャ取得機構２３を除き，対応表作成機構１３，シーケンス対応表１４，フレーム選択機構１１，テクスチャ座標決定機構１２を加えて構成される。以下，順に説明する。
【００２９】
対応表作成機構１３は，空間情報に含まれる各点Ｐに対して，Ｐの３次元座標を獲得するために利用されたシーケンスＳ，および，図８に示すシーケンスＳの追跡座標値データの中で点Ｐに対応する点Ｐ’をそれぞれ求めてシーケンス対応表１４に記録する。図８では，あるシーケンスＳi の特徴点は１から４まで４つあることを示しているが，対応表作成機構１３では，点Ｐの３次元座標がシーケンスＳi から獲得された場合，Ｐが１から４の，どの特徴点に対応付けられるかを特定してシーケンス対応表１４に記録する。
【００３０】
フレーム選択機構１１は，テクスチャを貼り付ける面に含まれる空間情報中の点集合Ｑを特定する。次に，シーケンス対応表１４を用いて点集合Ｑに含まれる点の追跡座標値をファイルサーバ２４から取得し，各フレームの画像座標を得る。その画像座標からテクスチャを獲得するためのフレームＦを選択する。図７に示すようにシーケンス中の各フレームで画像座標を求め，画像座標がフレームの中心に配置されているフレームを選択する方法がある。この方法によると，例えば，図７に示す撮影時刻０１３のフレームが選択される。
【００３１】
テクスチャ座標決定機構１２は，点集合Ｑの中からテクスチャを貼り付ける面の頂点を特定し，フレームＦにおける画像座標を用いてテクスチャ画像をフレームＦから切り出し，テクスチャ保存装置２５に記録する。
【００３２】
テクスチャを貼り付ける面の頂点が点集合Ｑに含まれていない場合には，点集合Ｑの３次元座標とフレームＦにおける画像座標との間で，回転移動，平行移動，スケール変換の合成変換を生成し，その変換によって頂点の３次元座標を画像座標に変換する。なお，生成する合成変換は，回転移動，平行移動，スケール変換の一部を含むものであってもよい。
【００３３】
以上の工夫により，追跡座標値を利用してテクスチャ画像を獲得することができるため，モデル形状のフレームに対する投影が不要になり，カメラの位置や姿勢を知る必要がなくなる。また，テクスチャを獲得するフレームを選択する際には，時系列画像全体ではなく，ある一つのシーケンスの中だけを探索するので処理時間が短くなる。
【００３４】
以下，本発明の実施の形態について詳細に説明する。ＮＴＳＣやハイビジョンなどの映像では，１秒間に３０枚のフレームが画像データとして記録され，ファイルサーバ２４に格納される。時系列画像は撮影した時刻とフレームのファイル名の組を保存することで管理される。ファイルサーバ２４における時系列画像の管理の例を図１１に示す。
【００３５】
図１１の例では，ファイルサーバ２４には，撮影時刻００１に対応して画像ファイル「ｉｍａｇｅ１．ｔｉｆ」が，撮影時刻００２に対応して画像ファイル「ｉｍａｇｅ２．ｔｉｆ」が，撮影時刻００３に対応して画像ファイル「ｉｍａｇｅ３．ｔｉｆ」が，撮影時刻００４に対応して画像ファイル「ｉｍａｇｅ４．ｔｉｆ」が，撮影時刻００５に対応して画像ファイル「ｉｍａｇｅ５．ｔｉｆ」が，時系列画像情報としてそれぞれ保存されている。
【００３６】
ファイルサーバ２４に格納されている１シーケンス分の追跡座標値の例は図８に示した通りであり，図８に示すような追跡座標値が各シーケンスに対して保存されているものとする。また，空間情報は各点の３次元座標値の列であり，１から始まる番号が順に振られているとする。
【００３７】
シーケンス対応表１４の作成方法は，シーケンスごとに獲得された３次元点群がどのようにして一つの空間情報にまとめられたかに依存する。本発明の実施の形態では，各シーケンスの３次元点群は，追跡座標値の順と同じ順番で並べるとする。そして，シーケンス開始時刻の順番で３次元点群の座標値を連結し，空間情報の３次元座標値の列を生成する。
【００３８】
対応表作成機構１３が生成するシーケンス対応表１４の例を，図１２に示す。シーケンス対応表１４には，空間情報における特徴点番号，シーケンス番号，シーケンスにおける特徴点番号の対応情報が格納される。対応表作成機構１３は，図１２のシーケンス番号の欄とシーケンスにおける特徴点番号の欄を埋めていくことで，空間情報中の各特徴点が，どのシーケンスのどの特徴点であるかを，シーケンス対応表１４に記録する。シーケンス対応表１４では，シーケンスにおける特徴点番号の代わりに，図８に示す特徴点の追跡座標値データを記録してもよい。
【００３９】
対応表作成機構１３によるシーケンス対応表生成処理フローの一例を，図１３に基づいて説明する。最初にシーケンスを撮影開始時刻の順に整列させ（ステップＳ１），空間情報の特徴点番号ｉおよびその特徴点のシーケンスの番号ｊをそれぞれ１に初期化する（ステップＳ２）。
【００４０】
シーケンスＳj において，追跡を行って３次元点群を獲得した特徴点の数Ｎを，ファイルサーバ２４にあるシーケンスＳj の追跡座標値のデータから取得する（ステップＳ３）。空間情報は各シーケンスの３次元座標値を順に連結したデータであるから，空間情報のｉからｉ＋Ｎ−１の特徴点は同じシーケンスＳj に含まれる。そこで，それらの点が所属していたシーケンスの番号としてｊをシーケンス対応表１４に記録する（ステップＳ４）。
【００４１】
さらに，空間情報に含まれる点の３次元座標値は追跡座標値と同じ順番で並べられているから，空間情報のｉからｉ＋Ｎ−１の特徴点に対して，シーケンスＳj における特徴点の番号として１からＮをシーケンス対応表１４に記録する（ステップＳ５）。その後，ｉにＮを加え，ｊに１を加える（ステップＳ６）。以上の処理をすべてのシーケンスＳ1 〜ＳM に対して繰り返し（ステップＳ７），すべてのシーケンスに対して以上の処理を実施した時点で処理を終了し，シーケンス対応表１４を出力する。
【００４２】
上記の実施の形態では，各シーケンスから獲得された３次元座標値を単に連結して空間情報を構成していたが，空間情報の分割・管理などの利便性を考慮して，例えばある特定の座標軸に沿って３次元座標値を並べて空間情報を生成することも考えられる。
【００４３】
このような場合でも，空間情報を配列する際に行われた処理が分かっていれば，配列前と配列後の位置を比較することで，シーケンス対応表１４を構成することができる。さらに，空間情報復元機構２１の内部に対応表作成機構を持たせ，空間情報を生成する処理の中で，配列前後の対応関係を保持して，シーケンス対応表１４を作成してもよい。また，配列処理が不明な場合でも，各シーケンスの３次元点群を保存しておけば，３次元座標値をキーとして空間情報との対応付けが可能である。
【００４４】
次に，フレーム選択機構１１によるフレーム選択処理フローの一例を図１４に基づいて説明する。本実施の形態では，図２，図３に示すように空撮映像から復元した形状にテクスチャを貼り付ける場合を考え，側面はほとんど画像に写っていないため，地上構造物の上面をテクスチャの貼り付け対象面とする。
【００４５】
図９に示すように，空間情報から３次元形状を復元する際には，同じ高さの点の部分集合を見つけて上面を形成する。よって，この形成過程を保存することで，面に含まれる点の集合を特定することは容易である。形成過程に関する情報が保存されていない場合には，水平面上で面が包含している点を集めてもよい。
【００４６】
フレーム選択機構１１の処理としては，テクスチャを貼り付ける各面Ａに対して，図１４に示すフローチャートに従った処理を行う。最初にテクスチャを貼り付ける面Ａに含まれる空間情報の点を列挙し，それをＱ（＝｛ｑi ｝）とする（ステップＳ１１）。
【００４７】
シーケンス対応表１４からｑi が属するシーケンスを求める。図１５に示すように，一つの地上構造物が複数のシーケンスの撮影領域にまたがって存在し，結果として上面が複数のシーケンスの特徴点から構成される場合がある。このような場合，本実施の形態では，所属する点が最も多いシーケンスの番号をｊｍａｘとし，最も多くの点を含むシーケンスＳjmaxからテクスチャ獲得用のフレームを選択する（ステップＳ１２）。点集合ＱにはシーケンスＳjmaxに属する点だけを残して他の点は削除する（ステップＳ１３）。
【００４８】
次に，シーケンス対応表１４により各ｑi のシーケンスＳjmaxにおける特徴点番号ｋを求め（ステップＳ１４），ファイルサーバ２４からシーケンスＳjmaxの画像座標値を取得して，シーケンスＳjmaxの各フレームｆにおける各ｑi の画像座標を得る（ステップＳ１５）。
【００４９】
各フレームｆの｛ｑi ｝の画像座標から重心Ｇｆを求め，重心Ｇｆがフレームの中心に最も近いフレームを上面のテクスチャ獲得用フレームとして選択する（ステップＳ１６）。このように画像の中心付近に多数の特徴点が分布するようなフレームを選択することで，上面がフレームからはみ出るような状態を回避することができる。
【００５０】
図１５に示した地上構造物の上面を対象に，上記のフレーム選択機構１１によるフレーム選択処理を用いて，テクスチャ獲得用フレームを選択する処理の例を図１６に示す。図１５（Ａ）は，図１５（Ｂ）に示す地上構造物の上面が属するＸ−Ｙ平面に含まれる３次元点（シーケンスの特徴点）を示す。
【００５１】
図１５（Ａ）に示す３次元点は，シーケンスＳj から獲得された３次元点とシーケンスＳj+1 から獲得された３次元点とから構成される。図１５（Ａ）に示す地上構造物の上面にはシーケンスＳj+1 の特徴点のほうが多いので，シーケンスＳj+1 の点だけで以後の処理を進める。
【００５２】
シーケンスＳj+1 は，撮影時刻０２０から撮影時刻０４０までの２１枚のフレームから構成されるとする。それぞれのフレームで特徴点の画像座標を求め，図１６に二重丸で示した重心を算出する。その結果，算出された重心とフレームの中心との距離が最も近くなる撮影時刻０２９のフレームをテクスチャを獲得するのに最適なフレームとして選択する。
【００５３】
以上の手続きにより，テクスチャを貼り付ける各面に対して，テクスチャ獲得用フレームが決定されるので，最後にテクスチャ座標決定機構１２によりテクスチャ画像を切り出す。
【００５４】
テクスチャ座標決定機構１２によるテクスチャ座標決定処理フローの一例を図１７に示す。テクスチャ座標決定機構１２の手続きは，テクスチャを貼り付ける各面Ａに対して実行する。まず，フレーム選択機構１１による処理の結果として面Ａに割り当てられたフレームをＦとする（ステップＳ２１）。
【００５５】
フレーム選択機構１１と同様にして面Ａに含まれる空間情報の点ｑi を集めてＱ（＝｛ｑi ｝）とする（ステップＳ２２）。シーケンス対応表１４を参照し，点ｑi が属するシーケンスがフレームＦを含んでいれば点ｑi のフレームＦにおける画像座標ｒi を得る（ステップＳ２３）。フレームＦにおける画像座標を得られない点ｑi は点集合Ｑから取り除く。
【００５６】
ここまでのステップにおいて，面Ａのすべての頂点の画像座標が得られれば（ステップＳ２４），ステップＳ３０に進み，図１８に示すように，フレームＦから部分画像を切り出して，面Ａのテクスチャ画像を獲得することができる。
【００５７】
ステップＳ３０においては，図１８に示すように，面Ａの頂点の画像座標の集合を含む最小の部分画像（点線で囲まれた範囲の画像）をフレームＦから取得し，面Ａのテクスチャ画像として切り出す。
【００５８】
面Ａの頂点のうち，フレームＦ上の画像座標が得られない点がある場合には，図１９に示すように，空間情報の３次元座標系（ＸＹＺ）からフレームＦ上の画像座標系（ｘｙ）に変換する関数Ｔを生成し，関数Ｔを使って，面Ａの頂点に対してフレームＦ上の画像座標を得る。
【００５９】
例えば，図１９に示すように，空間情報の３次元座標系（ＸＹＺ）上の点（Ｘ1 ，Ｙ1 ，Ｚave ）からフレームＦ上の画像座標系（ｘ1 ，ｙ1)に変換する関数Ｔを生成し，生成された関数Ｔを使って，空間情報の座標系における面Ａの頂点（Ａ1 ，Ｂ1 ，Ｚ0 ）のフレームＦ上の画像座標（ａ1 ，ｂ1 ）を得る。なお，Ｚave は面Ａ上の点の座標値Ｚの平均値である。
【００６０】
図１９に示すように，面の形状を点集合の凸包ではなく，最小外接四角形とすると，その頂点が元の点集合に含まれていないことが多い。また，図１５に示したように別々のシーケンスから頂点が獲得されている場合もあるため，単一のフレームＦ上ですべての頂点の画像座標が得られるとは限らない。そのため，頂点の３次元座標から画像座標を得る手段が必要となる。
【００６１】
本実施の形態では，空撮画像は直下安定撮影されているとし，空間情報の３次元座標系のＸ−Ｙ平面と画像座標系のｘ−ｙ平面は平行と仮定する。よって関数Ｔを２次元座標の変換関数とし，平行移動（ベクトルｔ），スケール変換（スケールｓ），回転移動（回転角θ）の合成変換によって，Ｘ−Ｙ平面の点をｘ−ｙ平面の点に変換する。面Ａの中の点に対して，Ｘ−Ｙ平面およびｘ−ｙ平面上の点をそれぞれｑ’i ，ｒi とし，ｔ，ｓ，θを以下の順に求める（ステップＳ２５）。
・「平行移動」：｛ｑ’i ｝および｛ｒi ｝の重心をそれぞれＧ，ｇとし，ｔ＝（ｔｘ，ｔｙ）＝ｇ−Ｇとする（ステップＳ２６）。
・「スケール変換」：すべての点に対して，Ｖi ＝ｑ’i −Ｇ，ｖi ＝ｒi −ｇを求め，‖ｖi ‖／‖Ｖi ‖の平均値をｓとする（ステップＳ２７）。
・「回転移動」：すべての点に対し，Ｖi からｖi への回転角θi を求め，その平均値をθとする（ステップＳ２８）。
【００６２】
面Ａは既に求められているため，その各頂点の座標を（Ａj ，Ｂj ，Ｃj ）とおけば，それらのＸ−Ｙ平面における座標は（Ａj ，Ｂj ）となる。この座標を以下の式（１）に代入することにより，各頂点の画像座標（ａj ，ｂj ）を求める（ステップＳ２９）。
【００６３】
【数１】
2005063129.tif 000003
【００６４】
以上のようにして頂点の画像座標が求まれば，先に示した図１８と同様にして，頂点の画像座標（ａj ，ｂj ）の集合を含む最小の部分画像をフレームＦから取得し，面Ａのテクスチャ画像として保存することにより（ステップＳ３０），テクスチャ画像を獲得することができる。
【００６５】
本実施の形態では，直下撮影された空撮映像を考えて，平行な平面（Ｘ−Ｙ平面とｘ−ｙ平面）の間の変換を考えたが，より複雑な位置関係の場合でも，パラメータを増やした変換関数を想定し，３次元座標値と画像座標値の間にパラメータの数よりも多くの対応関係があれば，連立方程式を解く原理により，変換関数を定めることができる。
本発明は，広範囲な対象物を長いシーケンスの映像として撮影した結果得られた時系列画像から，テクスチャつきの３次元モデルを復元する際に利用できる。具体的には以下のような対象分野が例として挙げられる。
・空撮映像から広域市街地の３次元モデルを構築し，都市計画や災害シミュレーションに用いる。
・車載したカメラから街並みを撮影し，通り沿いのビル街のテクスチャ付き３次元モデルを作成する。得られたモデルデータはカーナビゲーションに利用できる。
【００６６】
以上のような適用分野では，従来一般にカメラの位置や姿勢をＧＰＳやジャイロによって取得しているが，（１）ＧＰＳ衛星の電波受信がうまくいかない場合がある，（２）センサの位置とカメラの位置とのずれを正しく補正できない，（３）機器が高価である，などの問題がある。画像データのみを用いる本発明の手法は，このような問題の解決に有効である。
【図面の簡単な説明】
【００６７】
【図１】映像からの３次元形状獲得技術の利用例を示す図である。
【図２】地上の建物の空撮の例を示す図である。
【図３】撮影された時系列画像を示す図である。
【図４】時系列画像から一定枚数のシーケンスヘの分割を説明する図である。
【図５】従来技術のブロック構成図である。
【図６】特徴点の設定例を示す図である。
【図７】特徴点を追跡する処理を説明する図である。
【図８】特徴点の追跡結果（追跡座標値）の例を示す図である。
【図９】空間情報からの形状復元手法を示す図である。
【図１０】本発明の構成例を示すブロック図である。
【図１１】時系列画像の保存形式の例を示す図である。
【図１２】シーケンス対応表の例を示す図である。
【図１３】シーケンス対応表生成処理フローの一例を示す図である。
【図１４】フレーム選択処理フローの一例を示す図である。
【図１５】二つのシーケンスにまたがる復元対象物体の例を示す図である。
【図１６】テクスチャ獲得用フレームを選択する処理の例を示す図である。
【図１７】テクスチャ座標決定処理フローの一例を示す図である。
【図１８】テクスチャ画像の切り出し処理の例を示す図である。
【図１９】空間情報の３次元座標系と画像座標系の変換の説明図である。
【符号の説明】
【００６８】
１，２  テクスチャ画像獲得装置
１１  フレーム選択機構
１２  テクスチャ座標決定機構
１３  対応表作成機構
１４  シーケンス対応表
２１  空間情報復元機構
２２  形状復元機構
２３  テクスチャ取得機構
２４  ファイルサーバ
２５  テクスチャ保存装置
【図１】
2005063129.tif 000004
【図２】
2005063129.tif 000005
【図３】
2005063129.tif 000006
【図４】
2005063129.tif 000007
【図５】
2005063129.tif 000008
【図６】
2005063129.tif 000009
【図７】
2005063129.tif 000010
【図８】
2005063129.tif 000011
【図９】
2005063129.tif 000012
【図１０】
2005063129.tif 000013
【図１１】
2005063129.tif 000014
【図１２】
2005063129.tif 000015
【図１３】
2005063129.tif 000016
【図１４】
2005063129.tif 000017
【図１５】
2005063129.tif 000018
【図１６】
2005063129.tif 000019
【図１７】
2005063129.tif 000020
【図１８】
2005063129.tif 000021
【図１９】
2005063129.tif 000022