(57)【特許請求の範囲】
【請求項１】
移動車両に搭載され、全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、移動しつつ実空間を撮影して取得した時系列画像から、実空間における対象点の位置座標を獲得する空間データ処理装置において、
前記画像入力装置の固有の投影式を利用して、空間データに保有された対象点の位置座標Ｐの撮影画像上における投影座標の軌跡を求め、この軌跡により探索範囲を絞り込み、時刻ｉにおける撮影画像上での対象点の極座標の位相角φq(i)を求める位相角φq(i)探索手段と、
前記位置座標Ｐに対して時刻ｉにおける撮影画像上での対象点の極座標の位相角φp(i)を、前記投影式と時刻ｉの画像入力装置の位置座標とを利用して求める位相角φp(i)探索手段と、
位置座標Ｐを移動させてみて、複数の時刻において求められるφp(i)とφq(i)について、φp(i)とφq(i)の差が全体で最小となる位置座標Ｐを求める位置座標獲得手段とを有する
ことを特徴とする空間データ処理装置。
【請求項２】
移動車両に搭載され、全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、移動しつつ実空間を撮影して取得した時系列画像から、
前記画像入力装置の固有の投影式を利用して、空間データに保有された対象点の位置座標Ｐの撮影画像上における投影座標の軌跡を求め、この軌跡により探索範囲を絞り込み、時刻ｉにおける撮影画像上での対象点の極座標の位相角φq(i)を求める位相角φq(i)探索手段と、
前記位置座標Ｐに対して時刻ｉにおける撮影画像上での対象点の極座標の位相角φp(i)を、前記投影式と時刻ｉの画像入力装置の位置座標とを利用して求める位相角φp(i)探索手段と、
位置座標Ｐを移動させてみて、複数の時刻において求められるφp(i)とφq(i)について、φp(i)とφq(i)の差が全体で最小となる位置座標Ｐを求める位置座標獲得手段と
を有し、実空間における対象点の位置座標を獲得する
データ処理装置が用いられ、
前記位相角φq(i)探索手段が、前記画像入力装置の固有の投影式を利用して、空間データに保有された対象点の位置座標Ｐの撮影画像上における投影座標の軌跡を求め、この軌跡により探索範囲を絞り込み、時刻ｉにおける撮影画像上での対象点の極座標の位相角φq(i)を求め、
前記位相角φp(i)探索手段が、前記位置座標Ｐに対して時刻ｉにおける撮影画像上での対象点の極座標の位相角φp(i)を、前記投影式と時刻ｉの画像入力装置の位置座標とを利用して求め、
前記位置座標獲得手段が、位置座標Ｐを移動させてみて、複数の時刻において求められるφp(i)とφq(i)について、φp(i)とφq(i)の差が全体で最小となる位置座標Ｐを求める
ようにしたことを特徴とする空間データ処理方法。
【請求項３】
移動車両に搭載され、全方角を一度に撮像して全方位画像を得る画像入力装置を用いて、移動しつつ実空間を撮影して取得した時系列画像から、
前記画像入力装置の固有の投影式を利用して、空間データに保有された対象点の位置座標Ｐの撮影画像上における投影座標の軌跡を求め、この軌跡により探索範囲を絞り込み、時刻ｉにおける撮影画像上での対象点の極座標の位相角φq(i)を求める位相角φq(i)探索手段と、
前記位置座標Ｐに対して時刻ｉにおける撮影画像上での対象点の極座標の位相角φp(i)を、前記投影式と時刻ｉの画像入力装置の位置座標とを利用して求める位相角φp(i)探索手段と、
位置座標Ｐを移動させてみて、複数の時刻において求められるφp(i)とφq(i)について、φp(i)とφq(i)の差が全体で最小となる位置座標Ｐを求める位置座標獲得手段と
を有し、実空間における対象点の位置座標を獲得する
データ処理装置を用いて空間データを獲得する空間データ処理方法について、当該処理方法を記述したプログラムを記録した記録媒体において、
当該処理方法が
前記位相角φq(i)探索手段において、前記画像入力装置の固有の投影式を利用して、空間データに保有された対象点の位置座標Ｐの撮影画像上における投影座標の軌跡を求め、この軌跡により探索範囲を絞り込み、時刻ｉにおける撮影画像上での対象点の極座標の位相角φq(i)を求め、
前記位相角φp(i)探索手段において、前記位置座標Ｐに対して時刻ｉにおける撮影画像上での対象点の極座標の位相角φp(i)を、前記投影式と時刻ｉの画像入力装置の位置座標とを利用して求め、
前記位置座標獲得手段において、位置座標Ｐを移動させてみて、複数の時刻において求められるφp(i)とφq(i)について、φp(i)とφq(i)の差が全体で最小となる位置座標Ｐを求めるようにした
ことを特徴とする空間データ処理方法を記述したプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、実空間での例えば建物の形状または構造を獲得するに当たって、獲得した空間データと実空間とを正しく対応づけ得るようにした空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、固定の画角を有するカメラを使用した場合、空撮画像の場合には、十分な高度を考慮すれば、対象の物体を一度に、１つの画像として撮影可能だが、車載撮影などのカメラアングルでは、所望する撮影対象物がフレーム上でフレームイン並びにフレームアウトされることが生じるなど、全体の概観を撮影することが困難であった。
【０００３】
また全方位または全周囲カメラが開発され景観全体を一度に取得することが可能となり、２．５次元的な空間としての仮想空間獲得というアプリケーションに多く利用されている。
【０００４】
また、従来から、空間データを画像上に投影し、最適化アルゴリズムにより内部パラメータ、外部パラメータを調整し、空間データから、カメラ視点の位置座標、カメラ姿勢情報等を校正、補正するようにして、保有している空間データと実空間とのすり合わせを行うことが行われている。
【０００５】
【発明が解決しようとする課題】
本発明では、種々の空間データと実際の景観中の空間形状との差異を、全方位画像の中から位相差という指標で検出し、全方位画像と空間データとが整合するように、その空間データを構成する３次元座標値を補正、校正し、より精度を向上させることを主な目的としている。
【０００６】
【課題を解決するための手段】
本発明は、景観全体を投影するという特徴のある全方位カメラを使用して、カメラ自体の位置情報（外部パラメータ）、並びに、全方位カメラ特有の内部パラメータと、全方位カメラの光学的投影性とを考慮し、種々の空間データを全方位画像上に投影したときの位相とそれに対応する画像中の対象点との位相差を検出し、時系列画像に合わせて、その位相差を低減させることで、その空間データを校正、補正し、より精度の高い空間データを構築することを特徴とする。
【０００７】
本発明の方法を利用することにより、全方位カメラを搭載し、移動しながら、都市空間、景観の中を撮影することにより、保有した空間データを実空間上とすり合せて、より現実世界に近い空間データを獲得、更新、構築することが可能となる。
【０００８】
【発明の実施の形態】
（実施例１）
特許請求第１項に関する実施例について説明する。以下では、説明上、空間中の構造または形状を直方体と仮定し、全方位カメラは、魚眼レンズを搭載したカメラとし、このカメラを車両にマウントして移動しながら、全方位画像を取得するものとする。尚、空間中の物体の形状は、任意の形状であっても、この発明は成立する。
【０００９】
図１は、本発明の装置構成図である。本装置は、魚眼レンズ部１、光学調整部からなる光学系２、この光学系２から撮像されて得られる画像生成部３、位置情報をセンシングする位置情報取得部６、保有した空間データを全方位画像上に投影したり、各位置での投影点の軌跡を予測する軌跡予測部１１、さらに、全方位画像中の対象物体の対象点の検出と空間データとの位相差を検出する位相差検出部７、これらの位相差を低減させて空間データを校正・補正するデータ補正処理部８、並びに、補正した空間データについて更新された空間データとして保有する補正データ更新処理部９から構成されている。なお図示の４は同期信号発生器、５は対象点探索部、１０は空間データ保有部、１２は投影処理部を表している。
なお、上記１０，１１，５，１２が本発明にいう位相角φp(i)探索手段としての働きを行い、上記４，３，５，６が位相角φq(i)探索手段としての働きを行い、上記７，８，９が位置座標獲得手段としての働きを行っている。
【００１０】
本発明を説明する準備として、図２に示す座標系を設定する。
なお図２は説明のために設定した座標系を示す図である。
【００１１】
図２においては３次元座標において、対象物体（実空間の）に対して保有されている空間データが獲得時の計測誤差などによって多少位置ずれした状態で獲得されている。なお、本発明においては、この両者をすり合わせて、この位置ずれを補正するようにしている。
【００１２】
図２においては、今、全方位カメラが位置Ａ（Ｘa ，Ｙa ，Ｚa ）に存在していて図示の進行軸の方向に移動しつつあるものとしている。進行軸の方向はＸ軸に対して角度φF の方向である。そして、全方位カメラの視野に対して、図示の座標系（ｉ，ｊ）が定義されている。また、全方位カメラが半球状の表面をもつ魚眼レンズをもっているものとして、（ｉ）空間データを代表する点Ｐ（Ｘp ，Ｙp ，Ｚp ）を観測した際の視線と魚眼レンズの半球状の表面との交点を座標系（ｉ，ｊ）平面に投影した位置を（Ｉap，Ｊap）とし、(ii)対象物体を代表する点Ｑ（Ｘq ，Ｙq ，Ｚq ）を観測した際の視線と魚眼レンズの半球状の表面との交点を座標系（ｉ，ｊ）平面に投影した位置を（Ｉaq，Ｊaq）とし、(iii) 点Ｐを観測した視線の方向が図示の進行軸に対して角度φAPであり、(iv)点Ｑを観測した視線の方向が図示の進行軸に対して角度φAQであるとしている。
【００１３】
なお座標系（ｉ，ｊ）平面への投影に当たっては、投影式
（ｉ2 ＋ｊ2 ）1/2 ＝ｆ・θ              ─────（１）
（但し、ｆは焦点距離；θは上記の視線と光軸とのなす角度）
を用いる。
【００１４】
即ち、位置Ａでの全方位カメラの位置情報（全方位画像のカメラ視点の３次元座標値または空間中の点が集光する点）をＡ（Ｘa ，Ｙa ，Ｚa ）とする。このとき、点Ｐをもつものが保有する空間データであり、その内の点をＰ（Ｘp ，Ｙp ，Ｚp ）とする。また、実際の都市景観中の空間座標が点Ｑをもつものとし、その内の点をＱ（Ｘq ，Ｙq ，Ｚq ）とする。また、このＰ点やＱ点が全方位画像上に投影される２次元座標値（投影点）を、それぞれ（Ｉap，Ｊap）、（Ｉaq，Ｊaq）とし、進行軸と投影点から画像中心まで引いた直線との為す角を、それぞれφAP、φAQとする。また、進行軸と世界座標系（図２では、Ｘ軸）と為す角をφF としている。
【００１５】
本発明では、Ｐ点とＱ点とのＸＹ座標値の不一致を全方位画像上の位相差から自動検出し、Ｐ点とＱ点とが一致するようにＰ点のＸＹ座標値を補正して、Ｑ点になるようにするための処理フローを説明する（空間データの高さ情報については位置ずれがなく正しいものとする、すなわち、Ｚp ＝Ｚq とする）。
【００１６】
まず全方位カメラの位置情報が与えられた場合または取得された場合、所有しまたは蓄積している空間データの中から、ある範囲（例えば、位置Ａでの３次元座標Ａ（Ｘa ，Ｙa ，Ｚa ）を中心とした半径Ｒ内）に存在する全空間データをデータロードする。この中で、より対象を絞り込むため、全方位画像中において、進行軸からみて半円の領域を対象とするようにする。図２では、左側の半円の領域を対象としている。
【００１７】
絞り込まれた範囲での空間データＰ点は、全方位カメラの内部パラメータや外部パラメータ等のカメラパラメータによって、全方位画像へ投影され、２次元座標値（Ｉap，Ｊap）、並びに、進行軸と２次元座標値（Ｉap，Ｊap）から画像中心まで引いた直線との為す角φAPを計測する。（Ｉap，Ｊap）は、以下の式にて算出される。
Ｉap＝［ｆ｛π／２−tan -1((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 
＋（Ｙp −Ｙa ）2 ）1/2 ）｝cos φAP］／Ｍ＋Ｉ              （２）
Ｊap＝［ｆ｛π／２−tan -1((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 
＋（Ｙp −Ｙa ）2 ）1/2 ）｝sin φAP］／Ｍ＋Ｊ              （３）
φAP＝ tan-1((Ｙp −Ｙa ）／（Ｘp −Ｘa ))−φF                   （４）
但し、Ｍ［ｍ］：１画素に対応する空間中の物理的長さ
（Ｉ，Ｊ）：画像中心の座標値
ｆ［ｍ］：焦点距離
また、Ｐ点は、任意の時刻ｔｉでの位置情報が与えられるとまたはそれを取得すると、そのときの全方位画像中への投影が以下の式（５）に従って一意に決定し、それは、ある曲線として予測することができる。これは、全方位画像中の極座標表示（Ｌx ，φx ）とした場合、画像中心までの長さＬx と、画像中心から投影点までの直線と進行軸と為す位相φx を予測する。
Ｌx （φx ）＝ｆ tan-1(tan｛π／２− tan-1((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 
＋（Ｙp −Ｙa ）2 ）1/2 ）｝sin φAP）            （５）
一方、空間データの対象となる実際の対象物体は、Ｑ点として投影される。この全方位座標値は、Ｐ点の近傍の領域に対して、φx ＝φAPのとき、投影点は、（Ｉap，Ｊap）となることを利用し、位置座標が与えられたとき、点（Ｉap，Ｊap）を通過する対象点の軌跡を、式（６），（７），（８）に従って計算する（この軌跡群を、Ｒ−ｈ曲線と称する）。
【００１８】
Ｌ＝（（Ｉ−Ｉap)2＋（Ｊ−Ｊap)2）1/2                           （６）
φA ＝ tan-1｛（（Ｉ−Ｉap)2／（Ｊ−Ｊap)2）1/2 ｝              （７）
Ｌx （φx ）＝ｆ× tan-1((tan （Ｌ／ｆ）sin φA ）／sin φx ）
０＜φx ＜π                （８）
位置座標が与えられたとき、（Ｌx ，φx ）の変数を、このＲ−ｈ曲線（式（８）のＬx （φx ））から全方位軌跡予測による探索範囲の絞り込みを行い、画像中心から伸ばした直線上にエッジ検出等の画像処理を行い、２次元座標値（Ｉaq，Ｊaq）を、高速、かつ、正確に検出する。同時に、進行方向と、画像中心から２次元座標値（Ｉaq，Ｊaq）までの直線との為す角（位相）φAQを取得する。
【００１９】
この位相獲得処理において、空間データと対象物体との位置が異なれば（図４では、Ｐ点とＱ点が異なっているものとしている）、時系列において、位相差
φAP−φAQ
が検出できる。この位相差は、一様ではなく、全方位カメラの位置情報により変化する。
【００２０】
各位置情報に従った位相差φpq(i) を以下の式に従って検出する。
Φq(i)＝π／２− tan-1｛（Ｉ−Ｉq(i)）／（Ｊ−Ｊq(i)）｝        （９）
Φp(i)＝ tan-1((Ｙp −Ｙp(i)）／（Ｘp −Ｘp(i) )) −φFi        （10）
φFi＝ tan-1((Ｙp (i) −Ｙp (i-1) ))／（Ｘp(i)−Ｘp(i-1) ))     （11）
Φpq(i) ＝｜Φp(i)−  Φq(i)｜                                  （12）
Ｑ点の全方位座標値、並びに位相、並びに位相差φpq(i) は、カメラの位置情報が変化するに従い、逐次獲得する。
【００２１】
図４はカメラの各位置での空間データと対象物体との位相差を示す図である。全方位カメラが進行軸に沿って位置Ａから位置Ｓをへて位置Ｔへと移動するにつれ、点Ｐと点Ｑとは、順に
（Ｉp(1)，Ｊp(1)），（Ｉq(1)，Ｊq(1)）
（Ｉp(i)，Ｊp(i)），（Ｉq(i)，Ｊq(i)）
（Ｉp(j)，Ｊp(j)），（Ｉq(j)，Ｊq(j)）
のように観測される。
【００２２】
空間データの補正に当たっては、図１に示すデータ補正処理部８において、Ｐ点のＸＹ座標値を変化させて、上記Ａ，Ｓ，Ｔでの時系列における全位相差φpq(i) を全体的で最小にするような差分（ｄＸ，ｄＹ）を求める。すなわち、Ｐ点に対して（Ｘp ＋ｄＸ，Ｙp ＋ｄＹ，Ｚp ）≒（Ｘq ，Ｙq ，Ｚq ）となるような差分（ｄＸ，ｄＹ）を求める。
【００２３】
図３は実施例の処理フローである。
（Ｓ１）：処理が開始される。
（Ｓ２）：カメラの移動に対応して最初に時刻ｔを設定し以後ｄｔを加算してゆく。
（Ｓ３）：カメラの位置情報を取得する。
（Ｓ４）：空間データのデータベースをアクセスする。
（Ｓ５）：カメラの位置から所定の（設定した）半径Ｒ内に存在する空間データを抽出する。
（Ｓ６）：カメラの位置からの全方位投影を得る。
（Ｓ７）：処理の対象としている半円範囲内に投影されているか否かを調べる。
ＹＥＳの場合ステップ（Ｓ８）に向かうが、ＮＯの場合には次の全方位投影を得る処理に向かう。
（Ｓ８）：Ｐ点の座標（Ｉap，Ｊap）を計測する。
（Ｓ９）：Ｐ点に対応するφp （ｔ）を計測する。
（Ｓ１０）：次にＱ点を探索すべく位相φx を微小変化させる。
（Ｓ１１）：Ｑ点を探索すべくＰ点の軌跡（Ｒ−ｈ曲線）を予測する。
（Ｓ１２）：軌跡を考慮して対象であるＱ点を探索する。
（Ｓ１３）：対象点を検出したか否かをチェックする。ＮＯの場合にはステップ（Ｓ１０）に戻り、位相φx をｄφだけ変化させ、ステップ（Ｓ１２）に向かう。
（Ｓ１４）：実空間の対象物体に対応するＱ点の位相φQ （ｔ）を計測する。
【００２４】
この状態において、あるカメラ位置（例えば図４における位置Ａ）の下で得られた
φQ （ｔ）−  φP （ｔ）
が求まる。以下、カメラの移動に対応するようにステップ（Ｓ２）における時刻を（ｔ＋ｄｔ）として、ステップ（Ｓ３）にて新しく（移動した──例えば図４において位置Ａから位置Ｓに移動した）カメラ位置の下で、上記と同様にステップ（Ｓ６)(Ｓ７)(Ｓ８)(Ｓ９)(Ｓ１０)(Ｓ１１)(Ｓ１２)(Ｓ１３)(Ｓ１４）を行ない、上記新しいカメラ位置の下で得られた
φQ （ｔ＋ｄｔ）−  φP （ｔ＋ｄｔ）
を得る。勿論、以下同様にして、図４における位置Ｔのカメラ位置でも
φQ （ｔ＋２ｄｔ）−  φP （ｔ＋２ｄｔ）
を得る。
【００２５】
このようにして、空間データに対応する位置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）にある場合において、カメラが図４におけるように位置Ａから位置Ｓをへて位置Ｔに進んだ際に得られる所の位相差
φQ （ｔ）−  φP （ｔ）
φQ （ｔ＋ｄｔ）−  φP （ｔ＋ｄｔ）
φQ （ｔ＋２ｄｔ）−  φP （ｔ＋２ｄｔ）
…
が求まり、これらの例えば２乗平均をとることによって、『位置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）存在するとした状態の下での２乗平均位相差』が得られる。次に位置ＰをＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚp ）に移動させてみて（なお上述の如く、Ｚp ＝Ｚq としている）、同様の２乗平均位相差を得るようにしてゆく。即ち、
（Ｓ１５）：位置ＰをＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚp ）に移動する。そして上述の『２乗平均位相差』を得る。
（Ｓ１６）：得られた２乗平均位相差を、それ以前に得られている『最小値をもつ２乗平均位相差』と比較する。
（Ｓ１７）：位置Ｐを上述の如く移動させて行った際に、最も小さい値の『２乗平均位相差』を求める。
（Ｓ１８）：当該『最も小さい値の２乗平均位相差』を得たときの位置Ｐに対する補正量（ｄｘ，ｄｙ）を獲得する。そして、空間データベース上で位置Ｐの座標を変更する。
（Ｓ１９）：上述の如くして得られた補正を加味した獲得結果を出力する。
【００２６】
なお、上記において、実空間上での景観とそれから獲得されている空間データとの間のずれを補正するための方法と装置とを説明したが、当該方法はプログラムの形で記述した上で記録媒体に記録しておくことができる。したがって、本発明は当該記録媒体をも発明の対象とするものである。
【００２７】
【発明の効果】
以上説明した如く、本発明によれば、空間データが実際の対象物体の位置座標と異なる場合にも、自動補正を行い、空間データ更新することができる。また、Ｐ点、Ｑ点以外の複数の座標値に対して適用し、空間データの座標値を補正することができる。
【００２８】
このように、データ補正を行うことで、実際の対象物体（又はその形状）が変化した場合でも、データ更新を行うことができ、また空間データに誤りがある場合には、データ修正することができる。
【図面の簡単な説明】
【図１】実施例の装置構成図である。
【図２】実施例を説明のために設定した座標系を示す図である。
【図３】実施例の処理フローである。
【図４】カメラの各位置での空間データと対象物体との位相差を示す図である。
【符号の説明】
１：魚眼レンズ部（全方位カメラ）
２：光学調整部（光学系）
３：画像生成部
４：同期信号発生部
５：対象点探索部
６：位置情報取得部
７：位相差検出部
８：データ補正処理部
９：補正データ更新処理部
１０：空間データ保有部
１１：軌跡予測部
１２：投影処理部
【図１】
0003735248.tif 000002
【図２】
0003735248.tif 000003
【図３】
0003735248.tif 000004
【図４】
0003735248.tif 000005