(57)【特許請求の範囲】
【請求項１】
全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、実空間を撮影して取得した時系列画像から、実空間に対応する空間モデルに関して対象物体の表面の光学情報またはテクスチャ情報を獲得する空間物体表面テクスチャ獲得処理方法において、
画像入力装置の光学的な中心位置を表現する位置情報を含む外部パラメータを取得し、その時刻と同期して全方位画像を撮影して時系列画像として記憶する第１のステップと、
空間モデルにおける事前に格納された対象物体の三次元位置情報と画像入力装置の三次元位置情報とにより、画像入力装置の撮像面と同一な平面上で全方位上の位相角を変化させながら、所定の長さ以内で画像入力装置の中心に最も近い対象物体を抽出する第２のステップと、
第２のステップで抽出された前記対象物体の代表点を全方位画像上に投影した点と画像中心とを結んだ直線が進行方向と直交する直線の方位角に最接近するときの全方位画像を最適な対象画像として獲得する第３のステップと、
該対象物体の空間モデルのテクスチャ対象面を前記第３のステップで獲得された最適な対象画像上に投影することで取得できる対象物体の輪郭または境界を形成する曲線または境界を形成する直線で囲まれたシルエット領域を獲得する第４のステップと、
該シルエット領域から対象物体の表面のテクスチャデータを獲得する第５のステップとを有する
ことを特徴とする空間物体表面テクスチャ獲得処理方法。
【請求項２】
上記第５のステップにおいて、
該シルエット領域で囲まれた画像を微小領域に分割し、
当該微小領域を少なくとも画像入力装置の内部パラメータと幾何学変換式とを用いて変形し、
変形された当該微小領域を合成して対象物体の表面のテクスチャデータを獲得する
ことを特徴とする請求項１記載の空間物体表面テクスチャ獲得処理方法。
【請求項３】
全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、実空間を撮影して取得した時系列画像から、実空間に対応する空間モデルに関して対象物体の表面の光学情報またはテクスチャ情報を獲得する空間物体表面テクスチャ獲得処理装置において、
画像入力装置の光学的な中心位置を表現する位置情報を含む外部パラメータを取得し、その時刻と同期して全方位画像を撮影して時系列画像として記憶する記憶手段と、
空間モデルにおける事前に格納された対象物体の三次元位置情報と画像入力装置の三次元位置情報とにより、画像入力装置の撮像面と同一な平面上で全方位上の位相角を変化させながら、所定の長さ以内で画像入力装置の中心に最も近い対象物体を抽出する範囲内判断手段と、
範囲内判断手段で抽出された前記対象物体の代表点を全方位画像上に投影した点と画像中心とを結んだ直線が進行方向と直交する直線の方位角に最接近するときの全方位画像を最適な対象画像として獲得する最適対象画像獲得手段と、
該対象物体の空間モデルのテクスチャ対象面を前記最適対象画像獲得手段で獲得された最適な対象画像上に投影することで取得できる対象物体の輪郭または境界を形成する曲線または境界を形成する直線で囲まれたシルエット領域を獲得するシルエット領域獲得手段と、
該シルエット領域から対象物体の表面のテクスチャデータを獲得するテクスチャデータ獲得手段と、
を有する
ことを特徴とする空間物体表面テクスチャ獲得処理装置。
【請求項４】
上記テクスチャデータ獲得手段において、
該シルエット領域で囲まれた画像を微小領域に分割し、
当該微小領域を少なくとも画像入力装置の内部パラメータと幾何学変換式とを用いて変形し、
変形された当該微小領域を合成して対象物体の表面のテクスチャデータを獲得する
ことを特徴とする請求項３記載の空間物体表面テクスチャ獲得処理装置。
【請求項５】
全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、実空間を撮影して取得した時系列画像から、実空間に対応する空間モデルに関して対象物体の表面の光学情報またはテクスチャ情報を獲得する空間物体表面テクスチャ獲得処理方法について、
コンピュータに、
画像入力装置の光学的な中心位置を表現する位置情報を含む外部パラメータを取得し、その時刻と同期して全方位画像を撮影して時系列画像として記憶する第１のステップと、
空間モデルにおける事前に格納された対象物体の三次元位置情報と画像入力装置の三次元位置情報とにより、画像入力装置の撮像面と同一な平面上で全方位上の位相角を変化させながら、所定の長さ以内で画像入力装置の中心に最も近い対象物体を抽出する第２のステップと、
第２のステップで抽出された前記対象物体の代表点を全方位画像上に投影した点と画像中心とを結んだ直線が進行方向と直交する直線の方位角に最接近するときの全方位画像を最適な対象画像として獲得する第３のステップと、
該対象物体の空間モデルのテクスチャ対象面を前記第３のステップで獲得された最適な対象画像上に投影することで取得できる対象物体の輪郭または境界を形成する曲線または境界を形成する直線で囲まれたシルエット領域を獲得する第４のステップと、
該シルエット領域から対象物体の表面のテクスチャデータを獲得する第５のステップとを有する
手順からなる空間物体表面テクスチャ獲得処理方法を実行させるためのプログラムを記録した記録媒体。
【請求項６】
上記空間物体表面テクスチャ獲得処理方法における第５のステップにおいて、
該シルエット領域で囲まれた画像を微小領域に分割し、
当該微小領域を少なくとも画像入力装置の内部パラメータと幾何学変換式とを用いて変形し、変形された当該微小領域を合成して対象物体の表面のテクスチャデータを獲得する
手順を有する請求項５記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、実空間例えば都市の建物などに対応する空間モデルの建物などの面に対応する壁面の状態などを表すテクスチャデータを獲得する空間物体表面テクスチャ獲得処理方法およびそのための装置およびその方法を実行させるためのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、都市空間データの側面に貼るテクスチャデータを獲得するには、スチルカメラによる定点撮影から得られた画像あるいはビデオカメラによる移動撮影から得られた画像を元に行われてきたが、カメラ画角の制限により、一度に側面全体のテクスチャを獲得することは困難であった。
【０００３】
図１は有限画角のカメラで撮影した例を示す図であり、カメラで獲得される画像の範囲は被写体の一部のみであることを表している。
【０００４】
また、定点撮影の場合に、側面全体のテクスチャを獲得するためには複数の画像を撮影する必要があり、さらにテクスチャとするため画像のつなぎ合わせを行う必要があり、効率が悪かった。
【０００５】
図２は複数の画像によるつなぎ合わせが必要な例を示す図であり、複数のカメラで取得した画像をつなぎ合わせて１つの画像が得られる状況を表している。
【０００６】
また、移動撮影の場合に、側面全体のテクスチャを獲得するためには、あらゆる高さの建物を想定するために、複数のカメラを設置して撮影を行う必要があり、さらにテクスチャとするための画像のつなぎ合わせを行う必要があり、効率が悪かった。
【０００７】
図３は複数の画像によるつなぎ合わせが必要な例を示す図であり、カメラを上下方向に移動させた場合の画像をつなぎ合わせる必要のあることを表している。
【０００８】
全方位または全周囲カメラが開発され、景観全体を一度に取得し、仮想空間における２．５次元的な空間の構築が行われている。しかし、背景空間としての取得の用途が多く、全方位的画像処理または全方位的画像の特徴を生かした手法により、建物モデルのテクスチャデータとして効率よく獲得することは、あまり行われていない。
【０００９】
【発明が解決しようとする課題】
本発明は、有限画角を有するカメラでは困難であった、建物側面全体のテクスチャデータを効率よく獲得することを目的としている。
【００１０】
【課題を解決するための手段】
本発明は、景観全体を投影するという特徴のある全方位カメラを使用して、カメラ自体の位置情報（外部パラメータ）と全方位カメラ特有の内部パラメータと全方位カメラの光学的投影性とから、都市景観を撮影した全方位画像にもとづいて設定した範囲で対象となるモデルを種々の空間データ中から検索し、検索された空間モデルから決定した代表点を全方位画像上に投影して得られた全方位画像上の位相により、最適なテクスチャ画像とする全方位画像を検索し、該全方位画像中から、検索された空間モデルを投影して取得したシルエット領域を抽出し、該シルエット領域を処理して獲得した対象物体表面のテクスチャを獲得することを特徴とする。
なお、本発明において、「空間モデル」は、市街地などの空間をモデル化したものであり、建物や道路などの三次元位置・形状などのデータ群（集合）で表されるものである。また「空間データ」は、空間モデルに含まれる個別オブジェクト（建物あるいは道路など）の、三次元位置や形状やテクスチャなどの個別情報に対応している。
【００１１】
本発明の方法を利用することにより、全方位カメラを搭載し、移動しながら、都市空間、景観の中を、一度に、種々の空間データの側面テクスチャデータをより効率的に獲得することが可能となる。
【００１２】
【発明の実施の形態】
（実施例１）
特許請求第１項に関する実施例１について説明する。以下では、説明上、空間中の構造または形状を直方体と仮定し、全方位カメラは、魚眼レンズを搭載したカメラとし、このカメラを車両にマウントして移動しながら、全方位画像を取得するものとする。また、取得した位置情報は、全方位カメラの光学的な中心座標値とする。尚、空間中の物体の形状は、任意の形状であっても、この発明は、成立する。本発明を説明する準備として、図５に示す座標系を設定する。
【００１３】
なお図５は説明のために設定した座標系を示す図である。
図５においては３次元座標において、対象物体（重心をもって代表する）を全方位カメラにて観測しつつ進行方向軸に沿って移動する状況を表している。図５において位置Ａにて重心を見た場合にＸＹ平面上で進行方向軸に対して角度φa で観測されている。なお進行方向軸はＸ軸に対して角度φの方向である。全方位カメラで見た際のフレーム上での座標軸（ｉ，ｊ）が用意されている。全方位カメラの魚眼レンズが半球状のものとみて、当該半球の表面と重心をみる『視線』との交点をＸＹ平面上への投影点Ｑと位置Ａとの距離をｌａ（エルａ──以下同じ）として示している。交点Ｑの座標（ｉ，ｊ）への投影に対応する投影式は
（ｉ2 ＋ｊ2 ）1/2 ＝ｆ・θ              ─────（１）
（但し、ｆは焦点距離；θは上記重心をみる方向とＸＹ平面とのなす角度）
で与えられる。
【００１４】
図４は、本発明の装置構成図である。本装置は、魚眼レンズ部１、光学調整部からなる光学系２、この光学系２から撮像されて得られる全方位画像生成部３、位置情報をセンシングする位置情報取得部４、獲得された全方位画像を記憶する全方位画像記憶部５、獲得された位置情報を記憶する位置情報記憶部６、種々の空間データを保持する空間データ記憶部７、該空間データ中の代表点（実施例では重心点とする）を算出するモデル重心算出部８、空間データと位置情報とをもとに全方位画像中に該モデルの重心点を投影するモデル重心投影部９、獲得された重心投影画像を元に最もテクスチャ獲得に適した画像を全方位画像シーケンスから検索する最適画像検索部１０、検索された画像に該モデルの対象面を投影するシルエット投影部１１、検索された画像からテクスチャを獲得するテクスチャ獲得部１２、獲得されたテクスチャデータを種々の空間データの側面テクスチャデータとしてマッピングするテクスチャマッピング部１３から構成される。なお１４は同期信号を発生する同期信号発生器、１５はテクスチャデータを記憶するテクスチャデータ記憶部を表している。
【００１５】
図５において、種々の空間データ中のある建物モデルを構成する点から算出されるモデルの重心点をＰ（Ｘｐ，Ｙｐ，Ｚｐ）とし、点Ｐが全方位画像中に投影される点Ｑまでの距離をｌａ、画像中心Ａ（Ｘａ，Ｙａ，Ｚａ）からの進行方向軸に対して点Ｑの存在する方向の角度をφａとする。位置Ａにおける全方位画像入力装置または全方位画像カメラの位置情報の座標値を（Ｘａ，Ｙａ，Ｚａ）とし、全方位画像入力装置のＸＹ平面上での回転をφとする。また、全方位画像入力装置は光軸方向の回転が無く、対象面に平行に移動したと仮定する。
【００１６】
図５においては、位置Ａにおいて対象物体（の重心）を観測したカメラ（魚眼レンズ）が図示の進行方向軸に沿った方向に移動して位置Ｂに達した際に、元の対象物体がどの対象物体であったかを判定する判定態様をも説明している。
【００１７】
図５に示す如く、対象物体の候補となり得る物体が複数個存在している。この場合、位置Ｂでの位置情報（座標値）が判明しており、当該位置Ｂからの検索範囲として半径Ｒを与える。この状態の下で、図示の進行方向軸から角度ξの方向に長さＲの直線を引いて、その直線上に存在する物体を見出す。この際に、物体には図示の『テクスチャ獲得対象となる面』に相当する『面』が存在しており、当該『面』に対して上記の直線が交差した場合をもって、対象物体が見出されたとする。図５に示す場合には、当該交差が生じたその向こうにも当該直線が他の物体と交差するが、そのような物体は、対象物体とはみなさない。また、半径Ｒを超える範囲の物体も対象物体とはみなさない。なお、このように対象物体を検索するが、図５に示す角度ξは０から２πの範囲で変化されつつ検索される。
【００１８】
換言すれば、図５において、系列データの位置情報と、手入力などによって与えられる検索範囲の半径をＲとしたとき、全方位カメラの撮像面と同一な平面上で、全方位カメラ中心から、長さＲ、全方位カメラの進行軸からの位相角ξにて直線を引き、その直線上に存在する空間データの中で、最も全方位カメラ中心に近いモデルを、対象モデル候補として記憶する。この処理をξが０から微少角△ξ間隔で２πになるまで行い、候補として記憶されている全てのモデルを対象モデルとして決定する。
【００１９】
図７は対象物体を検索するためのフローを示す図である。
（Ｓ１）：位置Ｂにおいて検索範囲として半径Ｒを入力する。
（Ｓ２）：角度ξを０にプリセットする。
（Ｓ３）：全方位カメラの位置情報（即ち位置Ｂ）を与える。
（Ｓ４）：位置Ｂから長さＲで角度ξの線分を与える。
（Ｓ５）：空間データを抽出してくる。
（Ｓ６）：線分上を探索する。
（Ｓ７）：線分上にモデル（物体）が存在するか否かを調べる。ＮＯであればステップ（          Ｓ９）にジャンプする。
（Ｓ８）：線分上のモデルからカメラ位置（位置Ｂ）までの距離が最小のモデルを対象モ          デル候補として記憶しておく。
（Ｓ９）：角度ξが２πに達したか否かをチェックする。ＹＥＳであればステップ（Ｓ１          １）の検索終了となる。
（Ｓ１０）：角度ξをΔξだけ増加する。そしてステップ（Ｓ４）に戻る。
（Ｓ１１）：検索終了となり、ステップ（Ｓ８）で得られているモデルを対象モデル（物            体）とする。
【００２０】
もし、回転があった場合には、それぞれの位置情報から回転値を算出し、この回転成分を考慮することにより、以下の手法を容易に適用することが出来る。
【００２１】
次に、対象モデルの重心点Ｐが全方位画像中に投影される点Ｑ（ｌａ，φａ）を、全方位画像を撮影した際の全方位カメラの位置情報を用いて以下の式を用いて算出する（なお、図５との整合をとるために、上記検索を行った位置Ｂが、図５において位置Ａであったとみなして説明することにする）。
【００２２】
【数１】
0003735247.tif 000002
【００２３】
なお式（２）におけるｆは式（１）における焦点距離であり、当該ｆに対して乗算する値は式（１）における角度θである。
【００２４】
この時の式（２）（即ちｌａ）が最小となるような全方位画像を、対象物体が全方位カメラに最も接近した位置で獲得された全方位画像と判定し、その全方位画像を最適な対象画像とする。
【００２５】
図６は最適データを検索するためのフローを示す図である。言うまでもなく、図６のフローは図７におけるステップ（Ｓ８）内の処理に対応している。
（Ｓ１２）：空間データを抽出する。
（Ｓ１３）：時系列データ中の位置情報を抽出する。
（Ｓ１４）：対象モデルを検索する。
（Ｓ１５）：対象モデルを記憶する。
（Ｓ１６）：モデルの重心を算出する。
（Ｓ１７）：モデルの重心点を、図５に示すＸＹ平面に投影する。
（Ｓ１８）：角度φａを算出する。
（Ｓ１９）：式（２）のｌａは最小値かを調べる。換言すれば、ｆは固定値であることか            ら、（π／２−φａ）が最小値か否かを調べる。
（Ｓ２０）：最小値であれば、当該時点での候補として記憶する。
（Ｓ２１）：次のデータを呼び出す。
（Ｓ２２）：次のデータが存在しなければ、ステップ（Ｓ２０）での記憶データを最適な            対象画像（対象物体の画像）として決定する。
【００２６】
ここで、最適な対象画像からテクスチャを切り出すイメージ図を図８に示す。
図８はテクスチャの切り出しを説明するための図である。図８の右側に対象物体がＸＹ平面に投影した形で表されており、図８の左側に図５に示した位置Ａが存在するものとして表されている。
【００２７】
対象物体中でテクスチャを獲得する対象となる面を構成する辺のなかで、カメラ光軸と平行な線分、換言すればカメラ撮像面に対して垂直な辺に対応する線分をとらえ、当該線分を全方位画像上に投影した線分をもってＡｔ→Ａｇ、Ｂｔ→Ｂｇとし、各線分について、画像中心の進行方向の軸からの角度をそれぞれθａ、θｂとする。
【００２８】
全画像中の線分Ａｔ→Ａｇと線分Ｂｔ→Ｂｇとの間を結ぶシルエット領域を獲得し、角度θｔ（θａ≦θｔ≦θｂ）におけるシルエット領域を線分Ｌｔで分割し、線分Ｌｔ上の各ピクセルについて、全方位カメラの内部パラメータをもとに空間上での長さの整合性がとれるように各ピクセルを伸縮し、テクスチャ画像を構成する線分として獲得、格納する。
【００２９】
図９は線分上のピクセルの伸縮を説明するための図である。
図８において得られたシルエット領域における、角度θｔでの線分が図９の中央部の左側に「線分上のピクセル」として描き直されており、この線分上のピクセルを「空間中の長さと整合性がとれるように伸縮」した線分が図９の中央部の右側に描かれている。この「伸縮された線分」がテクスチャ画像に格納されてゆき、図９に示す「獲得するテクスチャ画像」となる。この処理をθａからθｂまで、△θ単位で処理をし、矩形のテクスチャ画像を獲得する。
【００３０】
図１０はテクスチャの獲得のためのフローを示す図である。
（Ｓ２３）：最適データ（最適対象物体）についての位置情報や全方位画像を抽出する。
（Ｓ２４）：対象空間データを抽出する。
（Ｓ２５）：カメラの内部パラメータを抽出する。
（Ｓ２６）：図８に示す線分Ａｔ→Ａｇ、Ｂｔ→Ｂｇを算出する。
（Ｓ２７）：図８に示すシルエット領域を獲得する。
（Ｓ２８）：角度θｔをθａとθｂとの間にとり、角度θｔをΔθ変化させる。（Ｓ２９            ）：図８に示す線分Ｌｔを算出する。
（Ｓ３０）：線分Ｌｔ上のピクセルを伸縮する。
（Ｓ３１）：得られたテクスチャを格納する。
（Ｓ３２）：角度θｔが角度θｂに達したか否かを調べ、θｂに達するまでの間にはステ            ップ（Ｓ２８）に戻る。
（Ｓ３３）：テクスチャが獲得される。
【００３１】
上記の手法により、過去に保有している空間モデルにテクスチャ情報が存在していない場合にも獲得されたテクスチャを対象面モデルにマッピングしたり、その獲得されたテクスチャによって、テクスチャマップデータを更新したりする事が可能である。
【００３２】
（実施例２）
特許請求第１項に対応する他の実施例について説明する。ここでは、実施例１の場合と異なる箇所のみ記載する。
【００３３】
図１１は実施例２の場合におけるテクスチャの切り出しを説明するための図である。
実施例１におけるテクスチャ画像獲得において得たシルエット領域において画像中心から長さＬｒの位置をとり、当該シルエット領域内の位置から、線分Ａｔ→Ａｇ、Ｂｔ→Ｂｇ上の対応する位置まで描かれる曲線を微少領域としてシルエット領域を分割し、得られる曲線Ｒｔを直線状に（図１１の上部に示すように）変形して格納し、対象『物体の「テクスチャの獲得の対象となる面』に対応するテクスチャ画像を獲得する。
【００３４】
（実施例３）
図１２は更に他の実施例における矩形領域の設置とテクスチャ画像の獲得を説明するための図である。
【００３５】
ここでは、実施例１と異なる箇所のみ記載する。
実施例１におけるテクスチャ画像獲得において得たシルエット領域において、全方位カメラの中心から対象物体の重心点までひいた直線に対して直交し、且つ、シルエット領域の輪郭で曲線部分と接する２つの直線とシルエット領域の輪郭の直線とで囲まれた矩形を獲得し、シルエット領域の頂点Ａｔ、Ａｇ、Ｂｔ、Ｂｇが、それぞれＫat、Ｋag、Ｋbt、Ｋbgに合うような幾何学的変形（アフィン変換など）を行って、対象物体のテクスチャ獲得の対象となる面の矩形のテクスチャ画像を獲得する。
【００３６】
【発明の効果】
以上説明した如く、本発明によれば、例えば、都市空間モデルにおける対象物体の表面（カメラによって獲得される物体の表面）に対応するテクスチャ（建物などの場合には建物の壁面に対応する）データを獲得することができる。
【図面の簡単な説明】
【図１】  有限画角のカメラで撮影した例を示す図である。
【図２】  複数の画像によるつなぎ合わせが必要な例を示す図である。
【図３】  複数の画像によるつなぎ合わせが必要な例を示す図である。
【図４】  実施例１の装置構成を示す図である。
【図５】  実施例を説明するために設定した座標系を示す図である。
【図６】  最適データを検索するためのフローを示す図である。
【図７】  対象物体を検索するためのフローを示す図である。
【図８】  テクスチャの切り出しを説明するための図である。
【図９】  線分上のピクセルの伸縮を説明するための図である。
【図１０】  テクスチャの獲得のためのフローを示す図である。
【図１１】  実施例２の場合におけるテクスチャの切り出しを説明するための図である。
【図１２】  実施例３の場合における矩形領域の設置とテクスチャ画像の獲得を説明するための図である。
【符号の説明】
１：魚眼レンズ部（全方位カメラ）
２：光学調整部
３：全方位画像生成部
４：位置情報取得部
５：全方位画像記憶部
６：位置情報記憶部
７：空間データ記憶部
８：モデル重心算出部
９：モデル重心投影部
１０：最適画像検索部
１１：シルエット投影部
１２：テクスチャ獲得部
１３：テクスチャマッピング部
１４：同期信号発生器
１５：テクスチャデータ記憶部
【図１】
0003735247.tif 000003
【図２】
0003735247.tif 000004
【図３】
0003735247.tif 000005
【図４】
0003735247.tif 000006
【図５】
0003735247.tif 000007
【図６】
0003735247.tif 000008
【図７】
0003735247.tif 000009
【図８】
0003735247.tif 000010
【図９】
0003735247.tif 000011
【図１０】
0003735247.tif 000012
【図１１】
0003735247.tif 000013
【図１２】
0003735247.tif 000014