(57)【特許請求の範囲】
【請求項１】
車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元方法であって、
各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する過程と、
対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、
前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める過程と、
それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する過程と、
前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、
対象物の表面形状を獲得・復元する過程と
を具備することを特徴とする撮影対象物表面の自動獲得・復元方法。
【請求項２】
請求項１記載の撮影対象物表面の自動獲得・復元方法において、
獲得した対象物表面の３次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、
対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、
前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、
前記の３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する過程と
を具備することを特徴とする撮影対象物の自動獲得・復元方法。
【請求項３】
前記対象物は、地面もしくは道路面であることを特徴とする請求項１または２に記載の撮影対象物表面の自動獲得・復元方法。
【請求項４】
車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元装置であって、
各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する位置情報取得手段と、
対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、
前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める手段と、
それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する手段と、
前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、
対象物の表面形状を獲得・復元する獲得・復元手段と
を具備することを特徴とする撮影対象物表面の自動獲得・復元装置。
【請求項５】
請求項４記載の撮影対象物表面の自動獲得・復元装置において、
対象物表面形状として獲得した個々の多角形な３次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、
前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、
前記３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する３次元モデル獲得・復元手段と
を具備することを特徴とする撮影対象物の自動獲得・復元装置。
【請求項６】
前記対象物は、地面もしくは道路面であることを特徴とする請求項４または５記載の撮影対象物表面の自動獲得・復元装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物表面の３次元座標値を求め、撮影対象物の表面、外観に関するモデルを自動獲得・復元する方法及び装置に関し、特に、標高データを計測する測量分野に適用して有効な技術に関係するものである。
【０００２】
【従来の技術】
従来、標高データは、衛星等を利用した宇宙測量により対象物の５０メートルメッシュの間隔(１０メートルメッシュの標高データ等は、５０メートルメッシュ間隔のサンプル点から計算により算出したもの)で、各サンプル点の３次元座標値として測量されている。
【０００３】
【発明が解決しようとする課題】
しかし、図１２に示すように、サンプル点が荒く、街区レベルでの標高を正確に測量することは不可能である。
【０００４】
また、近年のリモートセンシング技術の発展により、飛行機にレーザ測定器を搭載し、宇宙測量よりも精度よく標高データを測定することが可能となった。
【０００５】
しかし、図１３に示すように、樹木や、車等の遮断物もレーザ計測してしまうため、道路や街区周辺の標高データを厳密に測定することは困難であった。
【０００６】
そこで、道路を撮影した映像から、道路上の幾何情報を利用し、画像処理的アプローチから、道路面を自動生成する研究が行われている。
【０００７】
しかし、道路面の起伏や隆起状態を正確に獲得するには至っておらず、道路を構成する両端の幾何情報(センターライン、歩道と道路との境界等)に依存している。このような画像処理を主体とした獲得・復元方法においては、光学情報獲得・復元を併用した精度の高い道路モデルを構築する方法は確立されていない。
【０００８】
また、対象物、特に都市空間の道路などは、コンピュータグラフィックスのエディタツール、またはクリエータにより創作されており、実写の映像とかけはなれた非現実的な地面や道路を作るのが現状である。
【０００９】
本発明の目的は、宇宙測量あるいは航空測量あるいは復元した対象物の３次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することが可能な技術を提供することにある。
【００１０】
本発明の他の目的は、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することが可能な技術を提供することにある。
【００１１】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【００１２】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、下記のとおりである。
第１の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元方法であって、各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する過程と、対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める過程と、それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する過程と、前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、対象物の表面形状を獲得・復元する過程とを具備するものである。
【００１３】
第２の発明は、前記第１の発明の撮影対象物表面の自動獲得・復元方法において、獲得した対象物表面の３次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、前記の３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する過程とを具備するものである。
【００１４】
第３の発明は、前記第１または第２の発明の撮影対象物表面の自動獲得・復元方法において、前記対象物は、地面もしくは道路面である。
【００１５】
第４の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元装置であって、各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する位置情報取得手段と、対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める手段と、それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する手段と、前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、対象物の表面形状を獲得・復元する獲得・復元手段とを具備するものである。
【００１６】
第５の発明は、前記第４の発明の撮影対象物表面の自動獲得・復元装置において、対象物表面形状として獲得した個々の多角形な３次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、前記３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する３次元モデル獲得・復元手段とを具備するものである。
【００１７】
第６の発明は、前記第４または第５の発明の撮影対象物表面の自動獲得・復元装置において、前記対象物が、地面もしくは道路面である。
【００１８】
本発明のポイントは、例えば、画像入力装置を移動しながら地面、または、道路を撮影して取得した時系列画像と、前記時系列画像と、それと同期して計測する位置センサ情報を用いて、画像入力装置で撮影した地面、または、道路の３次元的形状を獲得し、同時に、地面または道路面上のテクスチャーデータを高品質に逐次獲得することにより、地面、または、道路モデルを復元することを特徴とする。
【００１９】
本発明の方法を利用することにより、宇宙測量もしくは航空測量からの標高データと比較して、地面もしくは標高面、または、道路面の形状を、簡易的、かつ、精度よく獲得・復元することが可能となる。また、コンピュータグラフィックスに利用できるような実写に近い地面、または、道路モデルとして利用することが可能である。
【００２０】
以下、本発明について、本発明による実施形態(実施例)とともに図面を参照して詳細に説明する。
【００２１】
なお、実施形態(実施例)を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２２】
【発明の実施の形態】
(実施例１)
図１は、本発明の実施例１の道路面の獲得・復元装置の概略構成を示すブロック図、図２は本実施例１のカメラ、移動手段及び座標系の設定の概要構成を示す模式図、図３は本実施例１の道路面の獲得・復元装置の処理手順を示すフローチャートである。
【００２３】
以下では、カメラ(画像入力装置)１１を車両(移動手段)１２に搭載して車載撮影(図２)しながら、各時刻ｉでのカメラ視点位置(Ｘi，Ｙi，Ｚi)で映している画像の画像中心に該当する道路面(地面)１０の３次元的面(または形状：図２においては(Ｘj，Ｙj，Ｚj−Ｈｃ)での画像中心に投影される地面点)を獲得・復元する実施例について説明する。
【００２４】
ここで、カメラ１１の視点位置は、センシング位置と等価であることを前提としている。図２において、Ｐ１は時刻ｉでのカメラ１１の視点位置(Ｘi，Ｙi，Ｚi)、Ｐ２は時刻ｊでのカメラ１１の視点位置(Ｘj，Ｙj，Ｚj)、Ｈｃは車高である。
【００２５】
本実施例１の道路面の獲得・復元装置は、図１に示すように、センシング部１、データ蓄積部２、傾斜情報取得部３、地面情報取得部４、幾何情報獲得部５、方位取得部６、モデル構築部７、及びモデル出力部８で構成されている。
【００２６】
本実施例１の道路面の獲得・復元装置の処理動作手順について説明する。
【００２７】
前記センシング部１では、逐次、カメラ視点の位置情報を取得する。このセンシングデータは、データ蓄積部２において、ある一定量の時系列のセンシングデータ分が蓄積もしくは記憶される。この蓄積されたデータは、傾斜情報取得部３、地面情報取得部４、方位取得部６へ伝達される。傾斜情報取得部３では、各々のセンシング位置での地面の傾斜を計算し、地面情報取得部４では、これらの傾斜情報とカメラ視点位置情報から地面の位置情報に変換する。また、方位取得部６では、センシング点での方位角が計算され、地面のスリット面生成に使用される。ー方、幾何情報獲得部５では、蓄積された地面点として変換されたデータを、あるカメラ視点位置での画像面に投影し、これら時系列の投影データの中から、その画像の中心に位置する地面(中心面)の３次元座標値を獲得する。この処理をセンシングしたカメラ視点位置情報に対して実行され、モデル構築部７で、地面もしくは道路面モデルを構築し、要求するモデル形式に従ったデータ形式をモデル出力部８から出力される。
【００２８】
次に、図３を用いて本実施例１の動作処理手順を説明する。
【００２９】
図３に示すように、センシング入力データ１０１として、そのときのカメラ視点情報、すなわち、位置情報(Ｘｉ，Ｙｉ，Ｚｉ)が時系列に取得される(図２)。これらのデ−タは、センシングデータ蓄積部１０３において、適宜データ蓄積を行っている。以下の処理は、図２に示すように、位置情報(Ｘi，Ｙi，Ｚi)が取得されてから、ある量分だけ蓄積したセンシング入力データ１０１の中から、地面の３次元座標値(Ｘj，Ｙj，Ｚj−Ｈｃ)として獲得する。
【００３０】
前記図２は説明のため地面が平坦の場合としているが、以下の処理は、一般的な説明をするため、傾斜している場合について記載する。また、説明を簡単にするために、主軸をＹ（車両の進行方向）とした場合について説明する。通常は、移動手段(車両等)１２は、定義上設定した座標系(例えば、国家座標系)Ｘ−Ｙ平面を移動するが、各々の時間での移動手段１２の進行方向をＹ軸としても、一般性を失わない。このＹ軸を設定することで、方位取得部６(図１)では、Ｙ軸からの方位が計算されている。
【００３１】
まず、時刻ｉのときのカメラ視点に関する位置情報(Ｘi，Ｙi，Ｚi)を取得し、カメラ視点(Ｘi，Ｙi，Ｚi)として設定する。このとき、この視点における仰角、すなわち、カメラ１１が水平面と為す角θi(Ｘ軸周りの回転)が計算され、透視投影計算時のカメラパラメータとして利用される。同時に、そのときの方位φiも取得され、スリット面のモデル化のときに利用される。次に、センシングデータの蓄積部１０３から、逐次、時刻ｉ以外の時刻ｊのときのカメラ視点の位置情報(Ｘj，Ｙj，Ｚj)をロードする（１０５）。このとき、図４に示すように、時刻ｊを前後する時刻ｊ−１と時刻ｊ＋１での位置情報(Ｐ３，Ｐ４)の差分計算(Ｐ４−Ｐ３)から、そのときの傾斜角θj、並びに地面点への変換量(Ｙjd，Ｚjd)＝(Ｈｃ×sinθj，−Ｈｃ×cosθj)を計算する（１０６）。カメラ視点の位置が(Ｘj，Ｙj，Ｚj)のとき、地面の位置情報は、(Ｘjg，Ｙjg，Ｚjg)＝(Ｘj，Ｙj＋Ｙjd，Ｚj＋Ｚjd)となる（１０７）。ここで、Ｈｃは平坦部における地面からカメラ視点位置までの高さ、すなわち、車高である。
【００３２】
図５に示すように、地面位置へ変換された位置情報(Ｘjg，Ｙjg，Ｚjg)は、カメラ１１の水平面に対する仰角θiを考慮したカメラパラメータにより、時刻ｉのときのカメラ視点における画像面へ透視投影される（１０８）。投影された点(ｘj，ｙj)の中で、画像中心の座標値(Ｃx，Ｃy)との誤差が、ある許容誤差ε以内になる点を集計し（１０９）、集計した中から、それらの平均値を算出し、３次元座標値を獲得する。この点は、時刻ｉのときのカメラ視点に関する位置情報で操影したときの画像における画像中心に相当する点の３次元座標値である（１１１）。このように、逐次、地面上の３次元座標値を獲得していく。
【００３３】
地面を形成する面は、図６に示すように、個々のスリット面で近似して、逐次復元していき、地面の３次元形状をモデル化する。そのとき、地面の幅に指定があった場合は、その幅に設定し（１１２）、指定がない場合は、デフォルトで幅を与えて、スリット面幅を設定する。さらに、獲得した３次元座標値間の中間点から、スリット面の(進行方向に沿った)長さを設定する。このときのスリット面は、Ｘ′−Ｙ′での矩形面であるため、Ｘ−Ｙでのスリット面とするのに、方位情報取得部において出力されると、それからの相対的方位を加味した獲得時の方位φｊ（１０４）を使って座標変換する（１１３）。これを、図６の右の図にて説明する。図６において、スリット面の中心を、Ｑｊ(Ｘｊｇ，Ｙｊｇ)とする。尚、Ｚ軸は、ここでは関係が無い。そのとき、地面幅がＬとＲで与えられ、Ｑと前後して獲得したスリット面中心の座標値を(Ｘj−１g，Ｙj−１g)、(Ｘj＋１g，Ｙj＋１g)とする。スリット面の四隅の座標値Ｐj1'、Ｐj2'、Ｐj3'、Ｐj4'は、数１の式となる。
【００３４】
【数１】
Ｐj1'(ＸjuＲ',ＹjuＲ')＝(Ｘjg＋Ｒ,Ｙjg＋(Ｙj＋１g−Ｙjg)／２)
Ｐj2'(ＸjdＲ',ＹjdＲ')＝(Ｘjg＋Ｒ,Ｙjg−(Ｙj−１g−Ｙjg)／２)
Ｐj3'(ＸjdＬ',ＹjdＬ')＝(Ｘjg−Ｌ,Ｙjg−(Ｙj−１g−Ｙjg)／２)
Ｐj4'(ＸjuＬ',ＹjuＬ')＝(Ｘjg−Ｌ,Ｙjg＋(Ｙj＋１g−Ｙjg)／２)
さらに、このスリット面の方位角φjであることにより、スリット面の四隅の３次元座標値は、それぞれ数２の式となる。
【００３５】
【数２】
Ｐj1(ＸjuＲ,ＹjuＲ)＝(ＸjuＲ'×cosφj−ＹjuＲ'×sinφj,ＸjuＲ'×sinφj＋ＹjuＲ'×cosφj)
Ｐj2(ＸjdＲ,ＹjdＲ)＝(ＸjdＲ'×cosφj−ＹjdＲ'×sinφj,ＸjdＲ'×sinφj＋ＹjdＲ'×cosφj)
Ｐj3(ＸjdＬ,ＹjdＬ)＝(ＸjdＬ'×cosφj−ＹjdＬ'×sinφj,ＸjdＬ'×sinφj＋ＹjdＬ'×cosφj)
Ｐj4(ＸjuＬ,ＹjuＬ)＝(ＸjuＬ'×cosφj−ＹjuＬ'×sinφj,ＸjuＬ'×sinφj＋ＹjuＬ'×cosφj)
なお、Ｐj1とＰj4は、次のスリット面(Ｑj＋１(Ｘj＋１g,Ｙ＋１g))のＰj＋１2，Ｐj＋１3と等価とし、Ｐj2とＰj3は、１つ前のスリット面(Ｑj−１(Ｘj＋１g，Ｙ＋１g))のＰj−１1，Ｐj−１4と等価にする。
【００３６】
このように、スリット面の中心の座標値(Ｘjg,Ｙjg)が獲得されると、その前後の中心座標値(Ｘj−１g,Ｙj−１g)、(Ｘj＋１g,Ｙj＋１g)と地面幅ＬとＲ、並びに方位角φｊにより、逐次、スリット面を四隅の座標値Ｐjl、Ｐj2、Ｐj3、Ｐj4によりポリゴン表現し、３次元モデル形式に従って、道路をモデル化し（１１４）、３次元モデル化した地面モデルデータを出力する（１１５）。
【００３７】
(実施例２)
画像入力装置(カメラ)を車両に搭載して車載撮影(図２)しながら、各時刻ｉでのカメラ視点(Ｘi,Ｙi,Ｚi)で映している道路面上の対象部分の３次元的構造、または形状(図２において、(Ｘj,Ｙj,Ｚj−Ｈｃ))、並びに地面(道路面)の光学情報、またはテクスチャー情報を獲得、復元する例について説明する。本実施例２では、前記実施例１で獲得した地面の形状に加えて、地面の光学情報、またはテクスチャー情報を同時に獲得し、より現実に近い地面としてモデル復元するものである。なお、以下では、前記実施例１と異なる部分のみに限定して説明する。
【００３８】
図７は、本発明の実施例２の道路面のモデル自動獲得・復元装置の概略構成を示すブロック図、図８は本実施例２の全体処理動作の手順を示すフローチャート、図９は本実施例２のテクスチャー獲得処理手順を示すフローチャートである。
【００３９】
本実施例２の道路面のモデル自動獲得・復元装置は、図７に示すように、画像入力部２１では、時系列に画像を取り込み、後処理等の用途に応じて蓄積する。光学情報取得部２２では、獲得した幾何情報から形成されるスリット面を使い、その中の光学情報を、時系列画像中から探索し、最適と判断した時点で獲得する手段を有している。こうして獲得された光学情報は、パノラマ画像生成部２３でパノラマ画像として変形、変換され、テクスチャーマッピング用の画像として蓄積される。モデル構築部７では、３次元ビューワに合わせて、幾何情報と光学情報を合成、加工し、モデル出力部８から地面、道路モデルが出力される。
【００４０】
本実施例２の道路面のモデル自動獲得・復元装置装置の処理動作において、前記実施例１と同じ処理動作手順の説明は、ここでは省略する。
【００４１】
図８及び図９に示すように、地面を形成するスリット面が逐次獲得された場合、そのスリット面の形状を用いて、時刻ｋでの光学情報を獲得する。すなわち、スリット面を獲得した時刻ｊで光学情報を獲得するのではなく、できるだけカメラ視点に近く、地面のテクスチャーが最も高品質であるような場所に、スリット面が移動した時刻ｋで、光学情報を獲得する(３０４)。
【００４２】
光学情報獲得には、図９に示すように、時刻ｋでのカメラ視点(Ｘk,Ｙk,Ｚk)と、スリット面の幾何情報を入力とする（３０４，３０６）。また、センシングデータと同期して撮影された画像データも入力データである(３０１，３０２，３０３)。
【００４３】
時刻ｊで獲得したスリット面の幾何情報は、時刻ｋでのカメラ視点(Ｘk,Ｙk,Ｚk)でのカメラパラメータにより、画像面へ投影される(３０５)。このとき、スリット面は、画像面においてある領域を占めている。ここで、この占有領域が、フレームアウトせず、かつ、最大の領域かどうかの判定を行う(３０７）。もし、次の時刻ｋ＋１において(３０８)、フレームアウトせず、かつ、占有領域が大きければ、そのときの投影により変形したスリット面形状を記憶する(３０３)。時刻ｋを逐次更新し、フレームアウトせず、最大の占有領域をもつ変形したスリット面を獲得する(図１０)。
【００４４】
さらに、この変形形状から、元の矩形形状へ変形するための正射影変換係数を算出し(３０９)、この変換係数を使って、テクスチャーを切り出して（３１０）、光学情報を獲得する。この獲得した光情報をテクスチャー正射影変換し（３１１）、テクスチャーデータ蓄積部（テクスチャーデータベース）に格納される（３１２）。これにより、画像中心付近での光学情報に比較して、遅延して獲得した光学情報は、高品質となる。こうして、スリット面が獲得されるたびに、前述したように、その面に対応する光学情報を獲得する。得られた正射影型スリット画像は、逐次、テクスチャーデータ蓄積部(テクスチャーデータベース)に、逐次格納される。
【００４５】
図１１に、パノラマ画像での各スリット面の２次元座標値設定、並びに幾何情報へのテクスチャーマッピングを示す。図１１の左図は、生成したパノラマ画像において、スリット面の四隅の２次元座標値を設定していることを示す図である。スリット面は連続して獲得され、図１１のような座標系で設定される。
【００４６】
また、図１１の右図では、スリット面の幾何情報、すなわち、スリット面の四隅の３次元座標値と、２次元座標値との間の関係を示すものである。このように、幾何情報に、光学情報を組み合わせて地面または道路のモデルを出力する（図８の２１４,２１５）。
【００４７】
以上説明したように、本実施例２によれば、幾何情報に、光学情報を組み合わせることにより、現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【００４８】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。例えば、道路面以外の地面、水面等の表面を有する全てのものにも適用できることはいうまでもない。
【００４９】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明すれば、下記のとおりである。
【００５０】
本発明によれば、宇宙測量あるいは航空測量あるいは復元した対象物の３次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することができる。
【００５１】
また、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【図面の簡単な説明】
【図１】本発明の実施例１の地面、道路面の獲得・復元装置の概略構成を示すブロック図である。
【図２】本実施例１のカメラ、移動手段及び座標系の設定の概要構成を示す模式図である。
【図３】本実施例１の地面、または道路面の獲得・復元装置の処理動作の手順を示すフローチャートである。
【図４】本実施例１の各々のカメラ位置と地面の勾配を考慮した地面点の算出を説明するための図である。
【図５】本実施例１の各々の地面点の画像面への透視投影と３次元座標値としての獲得を説明するための図である。
【図６】本実施例１のスリット面としての地面生成を説明するための図である。
【図７】本発明の実施例２の地面、または道路面の獲得・復元装置の概略構成を示すブロック図である。
【図８】本実施例２の道路面の獲得・復元装置の全体処理動作の手順を示すフローチャートである。
【図９】本実施例２のテクスチャー獲得処理手順を示すフローチャートである。
【図１０】本実施例２の遅延させた光学情報獲得処理を説明するための図である。
【図１１】本実施例２のパノラマ画像生成とテクスチャーマッピングを説明するための図である。
【図１２】従来の市販されている装置による標高データの例を示す図である。
【図１３】従来の航空測量におけるレーザ計測を説明するための図である。
【符号の説明】
１…センシング部                ２…データ蓄積部
３…傾斜情報取得部              ４…地面情報取得部
５…幾何情報獲得部              ６…方位取得部
７…モデル構築部                ８…モデル出力部
１０…道路面(地面)            １１…カメラ(画像入力装置)
１２…車両(移動手段)
Ｐ１…時刻ｉでのカメラ１１の視点位置(Ｘi，Ｙi，Ｚi)
Ｐ２…時刻ｊでのカメラ１１の視点位置(Ｘj，Ｙj，Ｚj)
Ｈｃ…車高                      ２１…画像入力部
２２…光学情報取得部            ２３…パノラマ画像生成部
【図１】
0003691401.tif 000002
【図２】
0003691401.tif 000003
【図３】
0003691401.tif 000004
【図４】
0003691401.tif 000005
【図５】
0003691401.tif 000006
【図６】
0003691401.tif 000007
【図７】
0003691401.tif 000008
【図８】
0003691401.tif 000009
【図９】
0003691401.tif 000010
【図１０】
0003691401.tif 000011
【図１１】
0003691401.tif 000012
【図１２】
0003691401.tif 000013
【図１３】
0003691401.tif 000014