(57)【要約】【課題】全方位カメラを使ってその運動を復元し、測位データ精度並みの正確さで、測位データが欠落する区間を補間した位置測定をする。【解決手段】時系列画像データベース１はカメラを使って取得した時系列画像情報を格納し、測位情報データベース２はＧＰＳ受信アンテナなどにより測位情報を保存し、特徴点計測部３は時系列画像上の特徴点を時系列に追跡して特徴点の画像座標値を測定し、運動復元処理部４は画像座標値からカメラの運動を復元し、測位情報抽出部５は測位情報データベース２から信頼性の高い測位情報を抽出し、測位情報変換部６は抽出した測位情報もとに、復元したカメラ運動を位置情報として変換し、測位補間部７は変換した位置情報により、信頼性の低い測位情報を補間する。【選択図】  図１
2004177362.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測方法であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の過程と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記過程で得た変換後の画像運動で補間する第２の過程と、
を有することを特徴とする位置計測方法。
【請求項２】
請求項１において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測方法。
【請求項３】
請求項１において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の過程により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測方法。
【請求項４】
画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測装置であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の手段と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記手段で得た変換後の画像運動で補間する第２の手段と、
を有することを特徴とする位置計測装置。
【請求項５】
請求項４において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測装置。
【請求項６】
請求項４において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間するのに十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の手段により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測装置。
【請求項７】
請求項１〜３のいずれか１項に記載の位置計測方法を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【請求項８】
請求項１〜３のいずれか１項に記載の位置計測方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラなどの画像入力装置を使って取得した屋外の時系列画像全般に対して利用可能であり、時系列画像からカメラ視点に関する並進運動の復元によって、カーナビゲーション、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）サービスなどで利用されている自律航法計測、自己位置推定、自己位置同定などに利用する位置計測方法および装置に関する。
【０００２】
特に、一度に３６０度の景観情報を撮影できる全方位カメラを好適に利用できるものである。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像から、エピポーラ面解析を用いた運動解析手法や因子分解法を利用した手法によりカメラ運動の復元、自己位置推定をすることができる。しかし、視野角の狭いカメラを移動手段などを利用して撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像取得が困難であることに加えて、微小な並進運動と回転運動の認識が難しく、時系列映像中にランダム性の雑音が混入することで、より一層、微小な並進運動と回転運動を正確に復元することは難しくなる。また、有限画角のカメラを使用する場合は、被写体がフレームイン、または、フレームアウトするため、カメラの回転運動を大域的に、または、長期的に復元することは困難である。このような有限画角の問題を回避するために、一度に３６０度の景観を取得する手段として、全方位カメラによる撮像が考えられる。
【０００４】
一方、屋外においては、近年、高精度になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジャイロセンサなどの測位情報取得装置を使うことで画像入力の位置情報、姿勢情報に関する状態を測位することができる（例えば、非特許文献１参照）。カーナビゲーションやＧＰＳサービスにおいても、このような測位取得情報を利用して、車両の位置をユーザに提供したり、行き先などの自動ナビゲーションする機能を有している。
【０００５】
しかし、ディファレンシャルＧＰＳの受信状態が悪い場所では測位値を正確に計測することができないため、これまでの技術ではジャイロセンサ、磁気センサ、車速センサ等を駆使した自律航法計測によるデータ補間などの対策がとられてきた。
【０００６】
また、カーナビゲーションでは、地図情報を保持して、測位値が正確でない場合などは、マップマッチングなどの処理により現在位置を補正することも行われている（例えば、非特許文献２参照）。
【０００７】
しかし、このような自律航法計測では、移動観測手段の突発的かつ微小な揺れに対するカメラ姿勢を正確に検出することは困難である。さらに、市街地のようなロケーションでは、品質の高いＧＰＳデータを取得する条件として、ＧＰＳ衛星の幾何的配置が整った時間帯に、市街地での位置情報測定が限定されるのが現状の技術である。
【０００８】
なお、本発明に関連する位置計測方法として、種々の文献がある（例えば、非特許文献３および非特許文献４）。
【０００９】
【非特許文献１】
「特集：さまざまな次世代ＧＰＳ測位方式」，情報処理，情報処理学会，２００２年  Ｖｏｌ．４３，  Ｎｏ．８，ｐ．８２７−８５９
【００１０】
【非特許文献２】
パイオニア株式会社：「現在地がわかる仕組み」，［ｏｎｌｉｎｅ］，２００１年６月２６日，パイオニア株式会社  ［平成１４年１０月１５日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ／／ｗｗｗ．ｐｉｏｎｅｅｒ．ｃｏ．ｊｐ／ｅ−ｐｌａｃｅ／０３１０２．ｈｔｍｌ＞
【００１１】
【非特許文献３】
関森大介、臼井智也、升谷保博、宮崎文夫，全方位画像上の床領域に基づく移動ロボットの高速な障害物回避と自己位置推定”、情処学会論文誌，情報処理学会，２００１年，Ｖｏｌ．４２，Ｎｏ．ＳＩＧ１３（ＣＶＩＭ３）、ｐ．１１０−１１８
【００１２】
【非特許文献４】
Ｐ．Ｃｈａｎｇ  ａｎｄ  Ｍ．Ｈｅｒｂｅｒｔ，“Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｏｍｎｉｄｅｉｒｅｃｔｉｏｎａｌ  Ｖｉｓｉｏｎ，  ＩＥＥＥ，２０００年，ｐ．１２７−１３３
【００１３】
【発明が解決しようとする課題】
一般に、視野角の狭いカメラから取得した時系列画像からカメラの動きを推定、解析する場合、時系列画像に混入するランダム雑音の影響により、カメラの微小な動きと雑音とを正確に認識することは容易ではなかった。これに対して、全方位カメラのような一度に３６０度の景観を観測する手段を使って屋外景観の時系列画像を取得し、全方位画像からの自己位置推定や自己位置運動推定をしたロボットの経路選択、障害物回避方法があるが（例えば、前記非特許文献３参照）、屋外環境などで使用するに十分な精度で求めることは困難とされている（例えば、非特許文献４参照）。
【００１４】
一方、ＧＰＳ測位取得装置などを利用した位置情報計測を行う場合は、ＧＰＳ衛星の幾何学的配置、または、測位条件の良好な時間帯に限定される。加えて、位置計測の周囲の環境において、市街地一般には街路樹が多く、高層な建物が立ち並ぶような見通しの良くない屋外環境では、ＧＰＳセンサを利用した測位は不利である。
【００１５】
図６に、市街地中を車両が通過する図を示す。この例では、車両は交差点Ａを左折し、交差点Ｂを通過して、交差点Ｃまで走行している。このとき、ＧＰＳ測位取得装置を利用すると、●印で示すように、各々の現在位置を測位することができる。しかし、交差点Ａを曲がって、点１ａから点１ｂの付近から、周囲の建物によるビルシャドウが影響し、測位データを正常に受信することが困難となる。または、ＧＰＳ測位に十分な衛星数を捕獲できないため、正確な位置情報を取得することはできない。つまり、点１ｂ以降は○印で示すように、３次元測位に十分な測位データを正確に受信できない。ところが、交差点Ｂ付近の点２ｂと点２ａのあたりでは、見通しが良くなり、再び、測位データを受信できるようになる。同様に、点３ａと点３ｂのあたりから、周辺の建物の影響で測位データが入らなくなったりするが、再度、点４ｂと点４ａのあたりから、測位データを受けることができるようになる。
【００１６】
現状のカーナビゲーションシステム（前記の非特許文献２）では、測位データが欠落する場合は、地図情報を保有して、車速センサなどのセンサ装置を入力とし、保有した地図とのマップマッチングを行い、現在位置を特定している。
【００１７】
しかし、地図情報は必ずしも精度が高いものとは言えず、屋外の建物配置も建て直しや新築などで変化するため、地図情報を更新する必要がある。また、車速センサ、ジャイロセンサを駆使した自律航法計測手法により、測位データを補間することができるが、車両の微小な動きまでを把握することは困難で、現在位置を正確に特定することは難しい。
【００１８】
よって、本発明の目的は、全方位カメラを使ってその運動を把握し、測位データ精度並みの正確さで、測位データが正確でない区間を補間した位置測定ができる位置測定方法、装置、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
本発明は、全方位カメラを使って取得した市街地景観の時系列画像から、市街地中の運動を復元することを可能とし、また、ＧＰＳ測位データとして利用すること、並に信頼性が高く、高精度な位置情報として利用することができ、カーナビゲーションなどの道路案内サービスにも利用でき、さらに、建物形状計測や空間計測での測量における測位位置の位置情報としても利用することができるようにしたもので、以下の方法、装置、プログラム、記録媒体を特徴とする。
【００２０】
（１）画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測方法であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の過程と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記過程で得た変換後の画像運動で補間する第２の過程と、
を有することを特徴とする位置計測方法。
【００２１】
（２）上記の（１）において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測方法。
【００２２】
（３）上記の（１）において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の過程により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測方法。
【００２３】
（４）画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測装置であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の手段と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記手段で得た変換後の画像運動で補間する第２の手段と、
を有することを特徴とする位置計測装置。
【００２４】
（５）上記の（４）において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測装置。
【００２５】
（６）上記の（４）において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間するのに十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の手段により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測装置。
【００２６】
（７）上記の（１）〜（３）のいずれか１に記載の位置計測方法を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【００２７】
（８）上記の（１）〜（３）のいずれか１に記載の位置計測方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００２８】
【発明の実施の形態】
（実施形態１）
図１は本発明の請求項１等に関する基本構成図である。本実施形態では、カメラに全方位カメラを利用し、魚眼レンズを使用した全方位カメラ撮像装置の場合を説明するが、六角錘ミラーや双曲線ミラーなどで構成した全方位カメラ撮像装置で取得した時系列画像に対しても適用可能である。
【００２９】
図１の基本構成図について説明する。全方位カメラを使って取得した全方位画像などの映像情報を格納する、または、一時保存するための時系列画像データベース１と、ＧＰＳ受信アンテナなどにより測位情報を取得した際に一時保存するための測位情報データベース２と、時系列画像上の特徴点を時系列に追跡して特徴点の画像座標値を測定する特徴点計測部３と、画像座標値からカメラの運動を復元する運動復元処理部４と、測位情報データベース２から信頼性の高い測位情報を抽出する測位情報抽出部５と、抽出した測位情報もとに、復元したカメラ運動を位置情報として変換する測位情報変換部６と、変換した位置情報により、信頼性の低い測位情報を補間する測位補間部７とから構成される。
【００３０】
これら各部からなる位置計測装置の構成に対応させた位置計測方法は、図２に示す処理Ｓｔｅｐ１〜Ｓｔｅｐ７からなるソフトウェア構成で実現される。
【００３１】
以上の位置計測装置または位置計測方法の詳細を、図３の処理フローを参照して説明する。
【００３２】
まず、時系列画像取得（Ｓｔｅｐ１）のための時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用したり、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。また、データベース１には、全方位カメラ撮像装置からリアルタイムで画像情報が取り込まれ、画像処理での一時的なデータ保管として利用することもできる。測位情報取得（Ｓｔｅｐ２）には、複数のＧＰＳから得た受信情報から時系列化した測位情報を求め、これらをハードディスク構成などにされる測位情報データベース２に保存可能にする。
【００３３】
さて、特徴点計測（Ｓｔｅｐ３）では、市街地景観を撮影した全方位画像を時系列画像データベース１から取り出し（Ｓ１１）、全方位画像上に特徴点を設定する（Ｓ１２）。
【００３４】
この特徴点設定には、濃淡の１次元的、または、２次元的変化による勾配値が大きくなる画素を検出したり、またはエッジ検出やハフ変換などの画像処理手法により特徴点を自動的に発生させるか、または、オペレータが介在して適当に特徴点をマークするなどして初期画像上に特徴点を配置する。図４の例では、建物の外郭に位置する角点を特徴点として▲印で表している。このとき配置する特徴点の数をＰ個（ｊ＝１、２、…、Ｐ）とし、配置したときの特徴点の２次元座標値として、値（ｘ１ｊ，ｙ１ｊ）：ｊ＝１、２、…、Ｐを記録しておく。
【００３５】
次に、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化に着目した手法、特徴点を中心とした画素パターンを各フレーム間の追跡方法、または、全方位画像特有の射影歪みを考慮した手法を駆使して追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘｉｊ，ｙｉｊ）を計測する（Ｓ１３）。
【００３６】
この計測において、時系列画像を読み出し続けた場合、特徴点が画像間で消失したり、オクルージョンなどにより隠れてしまったときは追跡を停止し、特徴点追跡を終了する（Ｓ１４）。計測可能であった画像座標値は２次元データとしてデータベースＤＢ１に記録する（Ｓ１５）。
【００３７】
特徴点追跡が終了した時点で、読み出した時系列画像の数は、初期画像を含めてＦ枚とする（ｉ＝１，２、…、Ｆ）。図４の例では、シーン１の部分に対応しており、以下では点１ａの位置での全方位画像を初期画像として、点２ａを最終フレームとする例について説明する。
【００３８】
一方、測位情報抽出（Ｓｔｅｐ５）では、測位情報データベース２から特徴点計測部３で測定したフレームに該当する時間の測位情報を取り出す（Ｓ１６）。測位情報は、主として緯度経度、標高、方位などから構成されている。図４に、市街地中の車両の移動に伴う、測位情報（○と●印で示す）と建物外郭に設定する特徴点（▲、口、並びに、■印で示す）の例を示す。
【００３９】
このとき、測位情報抽出では、ＧＰＳ受信データの品質をチェックする（Ｓ１７）。すなわち、測位精度に関する品質、見通しのあるＧＰＳ衛星数、ＤＯＰ（Ｄｉｌｕｔｉｏｎ  ｏｆ  Ｐｒｅｃｉｓｉｏｎ）値の諸条件を満たすときの測位情報のみを抽出する。この品質チェックを経た測位情報は、日本国内で地理的座標系として一般的に利用されている日本測地系での位置情報に変換する（Ｓ１８）。この位置情報は、一旦、位置情報データベースＤＢ２に一時保存しておく（Ｓ１９）。
【００４０】
図４の例では、点１ａの位置情報と、点２ａの位置情報を位置情報データベースに、時間情報で管理して保存しておく。この位置情報として保存するデータを（Ｇｘｉ，Ｇｙｉ），ｉ＝１，Ｆとする。
【００４１】
次に、運動復元処理（Ｓｔｅｐ４）では、例えば、特願２００２−２９２３６６「全方位カメラ運動と空間情報の復元方法…」の発明を利用して、全方位カメラ視点に関するカメラ運動、すなわち、カメラのＸＹＺ軸方向の並進運動を復元する（Ｓ２０）。このカメラ運動の復元方法は、時系列の全方位画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、全方位カメラ視点の運動を復元する方法であり、詳細には時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を集計したデータを、カメラ視点の運動を表現する運動行列と、外界の物体の外観を表現する形状行列に分解し、運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を復元する。
【００４２】
なお、運動復元において、市街地での車両の運動では、カメラの微小な姿勢の変化はあっても、Ｚ軸方向の並進運動（坂道での上り下り）はないものとする。
【００４３】
さらに、カメラ視点と位置情報は一致させている。この位置合わせについては、例えば、特願２００２−３１９２３２「姿勢・位置情報計測方法…」の発明を利用することができる。この位置合わせ方法は、車両などに全方位カメラを搭載し、さらにＧＰＳなどの複数の測位センサからの測位値データを使って位置合わせを行う。このとき、全方位カメラと各測位センサは、時間的に同期がとれており、全方位カメラが撮影する標本点が測位データと、現在の全方位カメラ位置から計算した座標値に射影されるように、全方位カメラの位置を姿勢を調整する。調整が完了すると、各測位センサから得られる測位データから重心計算をして全方位カメラ位置を算出する。
【００４４】
以上の運動復元処理方法を利用して、図４の例では、点１ａの位置から点２ａの位置までのＸＹ並進運動を求めたとする。ここで、並進運動を（Ｔｘｉ，Ｔｙｉ）：ｉ＝１、２、…、Ｆとする。Ｚ方向の値は、点１ａから点２ａの区間で滑らかに一定として、点１ａでの標高値と点２ａでの標高値の平均で埋める。
【００４５】
次に、測位情報変換（Ｓｔｅｐ６）での処理に移行する。まず、位置情報を抽出し（Ｓ２１）、位置情報が２点以上あるかどうかをチェックする（Ｓ２２）。この場合、位置情報データベースＤＢ２に、（Ｇｘｉ，Ｇｙｉ），ｉ＝１，Ｆの２点の位置情報を一時保存してあるため、このチェックを通過する。
【００４６】
このチェックを通過できない場合は、位置情報および運動復元処理（Ｓｔｅｐ４）において求めたカメラ運動を並進運動データベースＤＢ３に一時退避させておき（Ｓ２３）、次のシーンに移行する。
【００４７】
チェックを通過した場合、下記の式（１）の変換係数を求めてこの変換係数から構成されるアフィン変換行列により、式（３）によりＸＹ並進運動（Ｔｘｉ，Ｔｙｉ）；ｉ＝１、２、…、Ｆを（Ｌｘｉ，Ｌｙｉ、Ｌｚｉ）；ｉ＝１，２、…、Ｆに座標変換する（Ｓ２４）。この式で、（Ｇｘｋ，Ｇｙｋ，Ｇｚｋ）は、時系列に従って最初に抽出した第ｋフレームでの位置情報（Ｇｘｋ，Ｇｙｋ，Ｇｚｋ），ｉ＝ｋである。この例ではｋ＝１であり、点１ａから点２ａの区間において、ＧＰＳ品質等が良好という条件を満たす測位データのＺ値（標高）を求める。または、点１ａから点２ａの区間で滑らかに一定値として、点１ａでの標高値を点２ａでの標高値の平均としてもよい。例では、Ｇ３Ｋ＝（Ｇ３１＋Ｇ３Ｆ）／２となる。
【００４８】
同様に、（Ｔｘｋ，Ｔｙｋ）は、位置情報と時間的にリンクする第ｋフレームでのＸＹ並進運動（Ｔｘｋ，Ｔｙｋ），ｉ＝ｋ（この例ではｋ＝１）である。また、位置情報データベースＤＢ２に記憶してある時間のときのＸＹ並進運動と位置情報から係数ａとｂを求めるため、ＸＹ並進運動を（Ｔｘｌ，Ｔｙｌ），ｌ＝１、２位置情報を（Ｇｘｌ，Ｇｙｌ，Ｇｚｌ），ｌ＝１、２としている。ここで、ｌは、保存されている位置情報に対して、新たに時間順に振り直した番号である。
【００４９】
なお、３個以上（Ｌ個）、位置情報がある場合は、式（２）に基づいて係数ａとｂを求める。式中の行列の右肩の＋記号は、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ型逆行列を意味する。
【００５０】
【数１】
2004177362.tif 000003
【００５１】
【数２】
2004177362.tif 000004
【００５２】
【数３】
2004177362.tif 000005
【００５３】
（Ｌｘｉ，Ｌｙｉ、Ｌｚｉ）；ｉ＝１、２、…、Ｆに変換したデータは、位置情報として位置情報データベースＤＢ２に保存する（Ｓ２５）。さらに、状態フラグ処理（後述）を行い（Ｓ２６）、状態フラグを設定して処理を終了する（Ｓ２７）。
【００５４】
状態フラグは、下記の表で示すように、３通りの状態を表すためのビット情報である。本実施形態では、状態フラグの値が０に対応する。
【００５５】
【表１】
2004177362.tif 000006
【００５６】
以上、本発明の実施形態により、全方位映像の特徴点の時間的動きを使って、全方位カメラ視点の並進運動を復元し、市街地空間での高精度な位置情報を求めることができ、測位情報が正確に得られない区間においても、車両（視点）の位置を正確に同定することができる。
【００５７】
（実施形態２）
本発明の請求項２等に関する実施形態について説明する。なお、実施形態１に対して、図３における、位置情報が２点以上ない場合の処理が追加されるので、この部分のみを説明する。
【００５８】
実施形態１の特徴点計測（Ｓｔｅｐ３）において、□印を付けた特徴点の追跡を行い、図４では点Ｘ２の次の点の位置以降で特徴点を追跡できなかったとする（図４のシーン２）。このとき、実施形態１と同様に、画像座標値から、運動復元処理において、カメラの並進運動を復元する。復元した並進運動を（Ｔｘｉ、Ｔｙｉ）；ｉ＝１、２、…、Ｍとする。そして、位置情報を抽出したときに、位置情報の数が２点未満と判定されるので、復元したカメラの並進運動を一時的に記憶、または、保存しておく（Ｓ２３）。
【００５９】
次に、シーン２の前半、または、後半において、位置情報が存在するかチェックする（Ｓ２８）。シーン２の場合、先頭の頭に位置情報があり、それ以降は全て測位情報の信頼性が低い状態にある。つまり、後フレームの並進運動、すなわち、点Ｘ１と点Ｘ２の位置での並進運動（Ｔｘｐ２，Ｔｙｐ２）と（Ｔｘｑ２，Ｔｙｑ２）を一時的に格納しておく（Ｓ２９）。次に、図５に示すように、状態フラグの内容を参照し、この事例では、状態フラグに０が立っているが、区間を補間できないので、何も処理せず（処理０）、状態フラグに１を立てて処理を終了する。
【００６０】
引き続いて、次のシーンに対する処理を進行させる。状態フラグ値が１のままなので、初期画像を点Ｘ１での全方位画像にセットする。実施形態１の特徴点計測において、■印を付けた特徴点を特徴点追跡を行い、図４では点４ａの次の点の位置以降で特徴点を追跡できなかったとする（図４のシーン３）。
【００６１】
このとき、実施形態１と同様に、画像座標値から、運動復元処理において、カメラの並進運動を復元する。ここで、ＸＹ並進運動を（Ｔｘｉ，Ｔｙｉ）；ｉ＝１、２、…、Ｎとする。そして、位置情報を抽出したときに、位置情報の数が２点未満と判定されるので、復元したカメラの並進運動を一時的に記憶、または、保存しておく。
【００６２】
次に、シーン３の前半、または、後半において、位置情報が存在するかチェックする。シーン３の場合、末尾に位置情報があり、それより前方では全て測位情報の信頼性が低い状態にある。つまり、前フレームの並進運動、すなわち、点Ｘ１と点Ｘ２の位置での並進運動（Ｔｘｐ３，Ｔｙｐ３）と（Ｔｘｑ３，Ｔｙｑ３）を一時的に格納しておく（Ｓ３０）。そして、図５に示すように、状態フラグの内容を参照して、この事例では、先の辞令からの続きで状態フラグに１が立っていることになる。状態フラグ処理では、処理１を実行する。
【００６３】
まず、先に一時保存しておいた（Ｔｘｐ２，Ｔｙｐ２）と（Ｔｘｑ２，Ｔｙｑ２）を取り出し、（Ｔｘｐ３，Ｔｙｐ３）と（Ｔｘｑ３，Ｔｙｑ３）との間で式（４）に示すような変換行列［Ａ］を求める。さらに、式（５）によりシーン２での並進運動の延長上という位置付けで、シーン３の並進運動を統合し、統合し、された後の並進運動を（Ｔ”ｘｉ，Ｔ”ｙｉ）：ｉ＝１、２、…、Ｍ＋Ｎを得る。この統合により、先頭と末尾で合計２点の信頼性の高い位置情報を確保したことになるので、実施形態１と同様に、日本測地系での位置情報に変換でき、シーン２とシーン３の区間を補間することができる。この処理１が終了すると、状態フラグを０としておく。
【００６４】
【数４】
2004177362.tif 000007
【００６５】
【数５】
2004177362.tif 000008
【００６６】
以上のように、信頼性の高い測位情報が２点以下の場合でも、シーン間を接続した並進運動を復元し、各視点での位置情報を補間することが可能となる。
【００６７】
なお、本発明は、図２に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００６８】
【発明の効果】
以上ように、本発明によれば、全方位カメラを使ってその運動を復元することにより、ＧＰＳセンサ等による測位データが欠落する区間においても、測位情報を高精度に補間した位置測定ができる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示す位置計測装置の基本構成図。
【図２】本発明の位置計測方法の基本構成図。
【図３】本発明の位置計測方法の詳細な処理フロー。
【図４】実施形態における市街地中の測位情報取得を説明する図。
【図５】本発明の実施形態２の要部処理フロー。
【図６】市街地中の測位情報取得を説明する図。
【符号の説明】
１…時系列画像データベース
２…測位情報データベース
３…特徴点計測部
４…運動復元処理部
５…測位情報抽出部
６…測位情報変換部
７…測位補間部
【図１】
2004177362.tif 000009
【図２】
2004177362.tif 000010
【図３】
2004177362.tif 000011
【図４】
2004177362.tif 000012
【図５】
2004177362.tif 000013
【図６】
2004177362.tif 000014