(57)【要約】【課題】全方位画像から全方位カメラの姿勢を推定し空間情報を獲得する。【解決手段】特徴点設定部２は、画像抽出部１で抽出した全方位画像中に特徴点を設定する。パラメータ計算部３は、特徴点の画像座標値を求め、これとカメラパラメータとから特徴点の位相ρｊと仰角φｊのパラメータを計算し、ρｊと外部情報入力部１４からの空間情報及びカメラ姿勢情報の初期値とから位相ρ’ｊと仰角φ’ｊのパラメータを計算する。座標計算部１１は、ρｊ，φｊから第１の変換座標値を計算し、ρ’ｊ，φ’ｊから第２の変換座標値を計算する。最適化判定部１２は、第１と第２の変換座標値間の誤差が許容値以下か否か判定し、以下ならば、この時の空間情報とカメラ姿勢情報をパラメータ出力部４から出力する。以下でないならば、パラメータ更新部１３が空間情報とカメラ姿勢情報を更新して前述の計算と判定を繰り返す。【選択図】　図５
2004020398.tif 000002
【特許請求の範囲】
【請求項１】
全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する方法であって、
撮影された全方位画像において１つ以上の特徴点を設定・抽出する過程と、
前記撮影された全方位画像において前記特徴点の表示座標値を求める過程と、前記表示座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を算出する過程とを有する
ことを特徴とする空間情報獲得方法。
【請求項２】
全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する方法であって、
撮影された全方位画像において１つ以上の特徴点を設定・抽出する過程と、
前記撮影された全方位画像において前記特徴点の表示座標値を求める過程と、前記表示座標値に対して全方位カメラのカメラパラメータを用いて第１の座標変換を施すことにより第１の変換座標値を求める過程と、
全方位カメラの姿勢情報および前記特徴点の実空間における位置を仮定する過程と、
前記仮定した姿勢情報および前記表示座標値を用いて前記仮定した位置に対して第２の座標変換を施すことにより第２の変換座標値を求める過程と、
前記１つ以上の特徴点の各々に対して前記第１の変換座標値と前記第２の変換座標値との差分または誤差を求める過程と、
前記差分または誤差が許容値以下になるように前記仮定した姿勢情報および前記仮定した位置を補正する過程と、
前記補正後の前記仮定した位置を外界の空間形状に関する空間情報とする過程とを有する
ことを特徴とする空間情報獲得方法。
【請求項３】
前記第１の座標変換が、
【数１】
2004020398.tif 000019
で表され、
前記第２の座標変換が、
【数２】
2004020398.tif 000020
で表される
（但し、
ｘｊ，ｙｊ…特徴点の表示座標値、
Ｃｘ，Ｃｙ…カメラパラメータである射影中心、
ｆ…カメラパラメータである焦点距離、
Ｄ…カメラパラメータである全方位画像解像度、
ρｊ…特徴点の位相パラメータ、
φｊ…特徴点の仰角パラメータ、
ｕｊ，ｖｊ…第１の変換座標値、
Ｒｊ…特徴点の空間座標値上の奥行き、
Ｘｊ’，Ｙ’ｊ，Ｚ’ｊ…空間中の特徴点の仮定した位置、
θｉ，χｉ，ωｉ…全方位カメラの仮定した姿勢情報、
ρ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた位相パラメータ、
φ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた仰角パラメータ、
ｕ’ｊ，ｖ’ｊ…第２の変換座標値）
ことを特徴とする請求項２に記載の空間情報獲得方法。
【請求項４】
全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、
撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、
前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を算出する手段とを有する
ことを特徴とする空間情報獲得装置。
【請求項５】
全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、
撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、
前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値に対して第１の座標変換を施すことにより第１の変換座標値を求める手段と、
全方位カメラの姿勢情報および前記特徴点の実空間における位置を仮定する手段と、
前記仮定した姿勢情報および前記表示座標値を用いて前記仮定した位置に対して第２の座標変換を施すことにより第２の変換座標値を求める手段と、
前記１つ以上の特徴点の各々に対して前記第１の変換座標値と前記第２の変換座標値との差分または誤差を求める手段と、
前記差分または誤差が許容値以下になるように前記仮定した姿勢情報および前記仮定した位置を補正する手段と、
前記補正後の前記仮定した位置を外界の空間形状に関する空間情報とする手段とを有する
ことを特徴とする空間情報獲得装置。
【請求項６】
前記第１の座標変換が、
【数３】
2004020398.tif 000021
で表され、
前記第２の座標変換が、
【数４】
2004020398.tif 000022
で表される
（但し、
ｘｊ，ｙｊ…特徴点の表示座標値、
Ｃｘ，Ｃｙ…カメラパラメータである射影中心、
ｆ…カメラパラメータである焦点距離、
Ｄ…カメラパラメータである全方位画像解像度、
ρｊ…特徴点の位相パラメータ、
φｊ…特徴点の仰角パラメータ、
ｕｊ，ｖｊ…第１の変換座標値、
Ｒｊ…特徴点の空間座標値上の奥行き、
Ｘｊ’，Ｙ’ｊ，Ｚ’ｊ…空間中の特徴点の仮定した位置、
θｉ，χｉ，ωｉ…全方位カメラの仮定した姿勢情報、
ρ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた位相パラメータ、
φ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた仰角パラメータ、
ｕ’ｊ，ｖ’ｊ…第２の変換座標値）
ことを特徴とする請求項５に記載の空間情報獲得装置。
【請求項７】
請求項１乃至３のいずれかに記載の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとした
ことを特徴とする空間情報獲得プログラム。
【請求項８】
請求項１乃至３のいずれかに記載の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとし、
前記プログラムを、前記コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする空間情報獲得プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一度に３６０度の景観を撮影する全方位カメラを画像入力装置として使用し、取得した全方位画像から、全方位カメラの視点に関する自己位置、または、自己運動を推定する技術に関する。
【０００２】
さらに、その全方位画像に映っている外界の構造、景観、または、空間情報の測量、または、獲得・復元する技術に関係する。
【０００３】
また、全方位カメラを装着した移動ロボットや車両などに対して、方向、方位、または、全方位カメラと一体とした姿勢などを検出するセンシング技術に関係する。
【０００４】
【従来の技術】
全方位カメラは、一度に３６０度の景観を撮影する画像入力装置として開発され、マシン・ナビゲーション、自動走行や運動制御を目的とした視覚センサとして応用されてきた。特に、大局的な映像シーンを取得する手段として有効であり、屋外撮影においては多様な建物を撮影、屋内撮影では広域な室内空間を一度に撮影することができる。このような全方位カメラの大半は、カメラ光軸を鉛直上向きに設置して用いられることが多い。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の全方位カメラでは、光軸を鉛直方向に沿って真上方向に全方位カメラをマウントして全方位画像を取得できるとは限らないし、厳密には、カメラ光軸が微小な傾きを有している可能性がある。つまり、全方位カメラは全方位を一度に撮像する画像入力装置として有効な手段であるが、カメラ光軸を鉛直方向に平行に向けたり、または、カメラ光軸と垂直な面を水平面に平行に設置したりすることが物理的に困難であるため、この姿勢が傾いたことを考慮せず時系列画像解析を行った場合、この姿勢が傾いていることによる姿勢誤差が解析誤差の原因となる。
【０００６】
また、時系列の全方位画像から、カメラ運動と物体形状を同時に復元するコンピュータビジョンにおいては、時系列画像における特徴点の追跡、オプティカルフロー、または、対応点の探索など、２次元画像座標系の点群の軌跡を正確に測定することが重要な前処理となる。全方位画像の場合、射影的歪みが激しい画像であり、固定的なパターンマッチングでは、正確なオプティカルフローを得ることが難しい。仮に、雑音にロバストな追跡や射影歪みを考慮した手法により特徴点を追跡できたとしても、屋外映像においては、樹木や信号機などのオクルージョン物体が存在し、対象物が映っている全映像シーンにおいて、特徴点追跡、対応点探索、さらに、オプティカルフローが正確に観測できる保証はない。
【０００７】
本発明は、上述の問題を解決するため、全方位カメラで取得した全方位画像から、そのときのカメラの姿勢を推定し、同時に、外界の空間情報を獲得することが課題である。特に、時系列に取得した全方位画像に対して、特徴点追跡、対応点探索、または、オプティカルフローなどの前処理を必要とせず、各々の全方位画像から、カメラの姿勢（Ｙａｗ（θ），Ｒｏｌｌ（χ），Ｐｉｔｃｈ（ω））と、被写体である外界の空間情報、または、空間形状を獲得することが主な課題である。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する方法であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する過程と、前記撮影された全方位画像において前記特徴点の表示座標値を求める過程と、前記表示座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を算出する過程とを有することを特徴とする空間情報獲得方法を解決の手段とする。
【０００９】
あるいは、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する方法であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する過程と、前記撮影された全方位画像において前記特徴点の表示座標値を求める過程と、前記表示座標値に対して全方位カメラのカメラパラメータを用いて第１の座標変換を施すことにより第１の変換座標値を求める過程と、全方位カメラの姿勢情報および前記特徴点の実空間における位置を仮定する過程と、前記仮定した姿勢情報および前記表示座標値を用いて前記仮定した位置に対して第２の座標変換を施すことにより第２の変換座標値を求める過程と、前記１つ以上の特徴点の各々に対して前記第１の変換座標値と前記第２の変換座標値との差分または誤差を求める過程と、前記差分または誤差が許容値以下になるように前記仮定した姿勢情報および前記仮定した位置を補正する過程と、前記補正後の前記仮定した位置を外界の空間形状に関する空間情報とする過程とを有することを特徴とする空間情報獲得方法を解決の手段とする。
【００１０】
あるいは、前記空間情報獲得方法において、前記第１の座標変換が、
【００１１】
【数５】
2004020398.tif 000003
【００１２】
で表され、前記第２の座標変換が、
【００１３】
【数６】
2004020398.tif 000004
【００１４】
で表される（但し、ｘｊ，ｙｊ…特徴点の表示座標値、Ｃｘ，Ｃｙ…カメラパラメータである射影中心、ｆ…カメラパラメータである焦点距離、Ｄ…カメラパラメータである全方位画像解像度、ρｊ…特徴点の位相パラメータ、φｊ…特徴点の仰角パラメータ、ｕｊ，ｖｊ…第１の変換座標値、Ｒｊ…特徴点の空間座標値上の奥行き、Ｘｊ’，Ｙ’ｊ，Ｚ’ｊ…空間中の特徴点の仮定した位置、θｉ，χｉ，ωｉ…全方位カメラの仮定した姿勢情報、ρ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた位相パラメータ、φ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた仰角パラメータ、ｕ’ｊ，ｖ’ｊ…第２の変換座標値）ことを特徴とする空間情報獲得方法を解決の手段とする。
【００１５】
あるいは、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を算出する手段とを有することを特徴とする空間情報獲得装置を解決の手段とする。
【００１６】
あるいは、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値に対して第１の座標変換を施すことにより第１の変換座標値を求める手段と、全方位カメラの姿勢情報および前記特徴点の実空間における位置を仮定する手段と、前記仮定した姿勢情報および前記表示座標値を用いて前記仮定した位置に対して第２の座標変換を施すことにより第２の変換座標値を求める手段と、前記１つ以上の特徴点の各々に対して前記第１の変換座標値と前記第２の変換座標値との差分または誤差を求める手段と、前記差分または誤差が許容値以下になるように前記仮定した姿勢情報および前記仮定した位置を補正する手段と、前記補正後の前記仮定した位置を外界の空間形状に関する空間情報とする手段とを有することを特徴とする空間情報獲得装置を解決の手段とする。
【００１７】
あるいは、前記空間情報獲得装置において、前記第１の座標変換が、
【００１８】
【数７】
2004020398.tif 000005
【００１９】
で表され、前記第２の座標変換が、
【００２０】
【数８】
2004020398.tif 000006
【００２１】
で表される（但し、ｘｊ，ｙｊ…特徴点の表示座標値、Ｃｘ，Ｃｙ…カメラパラメータである射影中心、ｆ…カメラパラメータである焦点距離、Ｄ…カメラパラメータである全方位画像解像度、ρｊ…特徴点の位相パラメータ、φｊ…特徴点の仰角パラメータ、ｕｊ，ｖｊ…第１の変換座標値、Ｒｊ…特徴点の空間座標値上の奥行き、Ｘｊ’，Ｙ’ｊ，Ｚ’ｊ…空間中の特徴点の仮定した位置、θｉ，χｉ，ωｉ…全方位カメラの仮定した姿勢情報、ρ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた位相パラメータ、φ’ｊ…Ｘｊ’，Ｙ’ｊ，Ｚ’ｊで求めた仰角パラメータ、ｕ’ｊ，ｖ’ｊ…第２の変換座標値）ことを特徴とする空間情報獲得装置を解決の手段とする。
【００２２】
あるいは、前述の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする空間情報獲得プログラムを解決の手段とする。
【００２３】
あるいは、前述の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとし、前記プログラムを、前記コンピュータが読み取りできる記録媒体に記録したことを特徴とする空間情報獲得プログラムを記録した記録媒体を解決の手段とする。
【００２４】
本発明は、上述の構成により、全方位カメラ装置を画像入力装置として使用した時系列映像解析、または、コンピュータビジョンにおいて、時系列間の特徴点追跡、対応点探索、などのオプティカルフローを必要とせず、各々の全方位画像から、カメラ視点に関する姿勢情報と、外界の空間形状に関する空間情報を獲得、復元することを可能にする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２６】
『実施形態例１』
本実施形態例は、全方位カメラから取得した全方位画像から、外界の空間形状に関する空間情報を獲得する手法である。
【００２７】
図１に、本実施形態例の基本構成図を示す。本発明は、処理対象とする全方位画像を設定・抽出する画像抽出部１、処理対象とする全方位画像中に特徴点を設定する特徴点設定部２、特徴点設定部２で設定・抽出され選択された特徴点の画像座標値（表示座標値）を求め、この画像座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を計算するパラメータ計算部３、並びに、計算された空間情報を出力するパラメータ出力部４から構成される。
【００２８】
図２は、本発明に関する実施形態例１の処理フロー図である。本実施形態例においては、等距離射影（光軸からの入射角に比例した射影）の光学系で設計されている魚眼レンズを用いた全方位カメラで全方位画像を取得する場合について説明する。なお、本発明は、他の光学射影、例えば、立体射影、または等立体射影を用いた場合にも適用可能であり、また、魚眼レンズを使用しない他の全方位カメラ撮像装置（双曲線ミラーや六角錘ミラーで構成した全方位カメラなど）で取得した全方位の時系列画像や多視点の全方位画像に対しても適用可能である。
【００２９】
以下では、全方位カメラと空間情報の関係が、図３のように、全方位カメラの進行軸に沿って、物体が存在することを前提とする。
【００３０】
図３では、全方位カメラを、半球型の光学レンズでモデル化しており、空間中の点Ｐ（Ｘｊ，Ｙｊ，Ｚｊ）は、等距離射影の光学射影設計の元で、射影中心Ｃを中心とする画像面状の射影点ｐ（ｘｊ，ｙｊ）に射影される。このとき、Ｘ軸からの位相ρｊ、並びに、仰角φｊという角度パラメータにより特徴付けられる。また、空間中の点Ｐに対して、進行軸に平行な直線上において進行軸からの垂線の足を下ろしたときの点Ｂ、並びに、高さを点Ｐと同じにした点を点Ａとする。このとき射影中心Ｃから点Ｂまでの距離（奥行き）をＲｊ、点Ｂから点Ａまでの距離、すなわち、点ＰのＺ軸方向の高さをｈｊとする。
【００３１】
また、図４に示すように、外界の空間情報は、射影中心を円の中心とした円の内部に射影され、このときの円周がイメージサークル（仰角０度の映像化限界）である。空間中の点Ｐが射影される画像面での画像座標ｐ（ｘｊ，ｙｊ）は、射影中心（Ｃｘ，Ｃｙ）から、距離（径）ｒｊ離れた点であり、射影中心から伸ばした線分がｘ軸と為す角は、図３の位相ρｊと同一のものである。
【００３２】
次に、図２の処理フローに従って、本発明を説明する。本実施形態例は、全方位画像中において設定・抽出した１つ以上の特徴点と、全方位カメラ固有のカメラパラメータと、特徴点の画像座標値から得られる位相パラメータから、空間情報パラメータを計算することにより、外界の空間形状に関する空間情報を獲得する。
【００３３】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘｊ，ｙｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を抽出して設定したりしても構わず、以下の処理には何ら影響しない。
【００３４】
次に、パラメータ計算部３は、図４でのカメラパラメータである射影中心（Ｃｘ，Ｃｙ）から、各々の特徴点まで径を伸ばしたときの位相パラメータρｊを式（１）
【００３５】
【数９】
2004020398.tif 000007
【００３６】
に従って、各々の特徴点に対して求める。ここで、カメラパラメータとして、焦点距離ｆ、画像座標値の１画素の物理的重み付けを表現する固定値である全方位画像解像度Ｄを設定する。さらに、外界の空間中での各々の特徴点Ｐに対して、式（２）
【００３７】
【数１０】
2004020398.tif 000008
【００３８】
を使ってｈｊを計算する。これで、特徴点の高さｈｊ、すなわち、外界の空間形状に関する空間情報を獲得し、パラメータ出力部４から出力する。
【００３９】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各画像に設定・抽出した特徴点に関する空間情報ｈｊを獲得することができる。
【００４０】
『実施形態例２』
本実施形態例は、全方位カメラから取得した全方位画像から、全方位カメラの姿勢情報と、外界の空間形状に関する空間情報を獲得する手法である。
【００４１】
図５に、本実施形態例の基本構成図を示す。本実施形態例は、処理対象とする全方位画像を抽出する画像抽出部１、処理対象とする全方位画像中に特徴点を設定・抽出する特徴点設定部２、特徴点設定部２で設定・抽出され選択された特徴点の全方位画像中の画像座標値（表示座標値）を求め、この画像座標値とカメラパラメータとから特徴点のパラメータを計算するとともに、これらの画像座標値と特徴点のパラメータと外部情報入力部１４から入力する外界の空間情報およびカメラの姿勢情報の初期値（仮定した値）とから特徴点の別のパラメータを計算するパラメータ計算部３、先の特徴点のパラメータを用いて第１の変換座標値を計算するとともに、後の特徴点のパラメータを用いて第２の変換座標値を計算する座標計算部１１、第１の変換座標値と第２の変換座標値との間で差分または誤差を求め、許容値以下に最適化されたかどうかを判定する最適化判定部１２、最適化判定部１２で最適化されていないと判定されたときに空間情報とカメラの姿勢情報を更新（補正）するパラメータ更新部１３、並びに、最適化されたと判定されたときの空間情報とカメラの姿勢情報を出力するパラメータ出力部４から構成される。
【００４２】
本発明を、図６の処理フローに沿って説明する。本実施形態例は、画像中において設定・抽出した１つ以上の特徴点と、全方位カメラ固有のカメラパラメータと、特徴点の画像座標値から得られる位相パラメータと仰角パラメータから第１の変換座標値を計算する第一のステップと、第一のステップで設定した特徴点の位相パラメータと、外界の空間形状に関する空間情報の初期値を適当に与え、さらに、全方位カメラの方位情報の初期値を適当に与えて得られた位相パラメータと仰角パラメータから第２の変換座標値を計算する第二のステップと、第一のステップで得た第１の変換座標値と、第二のステップで得た第２の変換座標値との間の差分または誤差を求め、その差分または誤差を低減するように、適当に与えた外界の空間形状に関する空間情報並びに全方位カメラの方位情報を変化させ、この誤差が最小となるときの外界の空間形状に関する空間情報並びに全方位カメラの方位情報を探索する第三のステップにより、カメラの姿勢情報と外界の空間情報とを獲得する。
【００４３】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘｊ，ｙｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を抽出して設定したりしても構わず、以下の処理には何ら影響しない。
【００４４】
次に、パラメータ計算部３において、画像中の座標値（ｘｊ，ｙｊ）から式（１）に従い、パラメータρｊと、式（３）
【００４５】
【数１１】
2004020398.tif 000009
【００４６】
に従ってパラメータφｊを求める。
【００４７】
次に、座標計算部１１において、式（４）
【００４８】
【数１２】
2004020398.tif 000010
【００４９】
から、第１の変換座標値（ｕｊ，ｖｊ）を得る。
【００５０】
一方、外部情報入力部１４は、特徴点の高さｈｊの初期値を適当に与え、パラメータ計算部３は、式（５）
【００５１】
【数１３】
2004020398.tif 000011
【００５２】
により、パラメータφ’ｊを得る。ただし、Ｒｊ＝１とする。
【００５３】
次に、座標計算部１１は、方位角θｊ＝０と初期化して、式（６）
【００５４】
【数１４】
2004020398.tif 000012
【００５５】
により、第２の変換座標値（ｕ’ｊ，ｖ’ｊ）を求める。
【００５６】
次に、最適化判定部１２は、式（７）
【００５７】
【数１５】
2004020398.tif 000013
【００５８】
の誤差ΔＡを求める。ここで、許容誤差εを適当に設定しておき、この誤差ΔＡが式（８）
ΔＡ≦ε　…式（８）
を満足するかしないかを判定する。
【００５９】
上記判定において、式（８）を満足しない場合、パラメータ更新部１３は、式（９）
【００６０】
【数１６】
2004020398.tif 000014
【００６１】
のパラメータ更新を行う。
【００６２】
この誤差を許容誤差以下になるようにパラメータを更新する手法として、例えば、文献［１］「Ｎｕｍｅｒｉｃａｌ　Ｒｅｃｉｐｅｓ　ｉｎ　Ｃ，Ｗｉｌｌｉａｍ　Ｈ．Ｐｒｅｓｓ，Ｓａｕｌ　Ａ．Ｔｅｕｋｏｌｓｋｙ，Ｗｉｌｌｉａｍ　Ｔ．Ｖｅｔｔｅｒｌｉｎｇ，Ｂｒｉａｎ　Ｐ．Ｆｌａｎｎｅｒｙ」（（日本語版）−１０．５　多次元の方向集合（Ｐｏｗｅｌｌ）法−Ｃ言語による数値計算のレシピ、丹慶勝市、奥村晴彦、佐藤俊郎、小林誠（訳）、技術評論社）に掲載されているＰｏｗｅｌｌ法、または、ニューラルネットワーク、遺伝的アルゴリズムなどを応用して実現することができる。
【００６３】
続いて、パラメータが更新されたことにより、上述のステップに戻り、パラメータ計算部３においてパラメータφ’ｊを式（５）から再度計算し、さらに、方位角θｉが更新されたことにより、座標計算部１１において式（６）を使って第２の変換座標値（ｕ’ｊ，ｖ’ｊ）を再度計算する。同様に、最適化判定部１２により、このときの誤差ΔＡを求め、許容誤差以下かどうかの判定を行い、そうでないと、さらに、パラメータ更新部１３により式（９）のパラメータ更新を行い、許容誤差以下であれば、その時点でのパラメータをパラメータ出力部４における出力結果とする。
【００６４】
最終的に、式（８）を満たすパラメータｈｊ、並びに、θｉを獲得する。こうして、外界の空間形状に関する空間情報ｈｊ、並びに、方位角θｉを獲得することができる。
【００６５】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各々の画像に設定・抽出した特徴点の空間情報ｈｊと、各画像を取得したときの方位角θｉを獲得することができる。
【００６６】
『実施形態例３』
本発明は、実施形態例２に対して、図３においてＺ軸周りの回転、すなわち、方位角θ、並びに、その他の回転角を求める手法であり、実施形態例２との差分のみを記載することにする。なお、本実施形態例で獲得するその他の回転角とは、図３において、Ｘ軸周りの回転（回転パラメータχｉ）と、Ｙ軸周りの回転（回転パラメータωｉ）である。
【００６７】
本発明を、図７の処理フローに沿って説明する。本実施形態例は、実施形態例２の第二のステップにおいて、外界の空間形状に関する空間情報の初期値を与え、さらに、全方位カメラの方位情報とその他の回転情報の初期値を適当に与えて得られた位相パラメータと仰角パラメータから第２の変換座標値を計算し、実施形態例２の第三のステップにおいて、第一のステップで得た第１の変換座標値と、第二のステップで得た第２の変換座標値との間の差分または誤差を求め、その差分または誤差を低減するように、適当に与えた外界の空間形状に関する空間情報、全方位カメラの方位情報並びにその他の回転情報を変化させ、この差分または誤差が最小となるときの外界の空間形状に関する空間情報、全方位カメラの方位情報並びにその他の回転情報を探索する。
【００６８】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘｊ，ｙｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を設定したりしても構わず、以下の処理には何ら影響しない。
【００６９】
次に、パラメータ計算部３において、画像中の座標値（ｘｊ，ｙｊ）から式（１）に従い、パラメータρｊと、式（３）に従ってパラメータφｊを求め、座標計算部１１において、式（４）から、第１の変換座標値（ｕｊ，ｖｊ）を得る。
【００７０】
一方、外部情報入力部１４は、特徴点の高さｈｊの初期値（ただし、Ｒｊ＝１とする）を適当に与え、さらに、その他の回転角を表す回転パラメータの初期値として、χｉ＝ωｉ＝０として与え、パラメータ計算部３は、式（１０）
【００７１】
【数１７】
2004020398.tif 000015
【００７２】
により（Ｘ’ｊ，Ｙ’ｊ，Ｚ’ｊ）を求め、さらに、これらの座標値から、パラメータρ’ｊとパラメータφ’ｊを式（１１）
【００７３】
【数１８】
2004020398.tif 000016
【００７４】
を用いて得る。
【００７５】
次に、座標計算部１１は、方位角θｉ＝０と初期化して、式（１２）
【００７６】
【数１９】
2004020398.tif 000017
【００７７】
により、第２の変換座標値（ｕ’ｊ，ｖ’ｊ）を求める。
【００７８】
次に、最適化判定部１２は、式（７）の誤差ΔＡを求める、ここで、許容誤差εを適当に設定しておき、この誤差ΔＡが式（８）を満足するかしないかを判定する。
【００７９】
上記判定において、式（８）を満足しない場合、パラメータ更新部１３は、式（１３）
【００８０】
【数２０】
2004020398.tif 000018
【００８１】
のパラメータ更新を行う。この誤差を許容誤差以下になるようにパラメータを更新する手法として、例えば、上述の文献［１］に掲載されているＰｏｗｅｌｌ法、または、ニューラルネットワーク、遺伝的アルゴリズムなどを応用して実現することができる。
【００８２】
続いて、パラメータが更新されたことにより、上述のステップに戻り、パラメータ計算部３においては式（１０）を再度計算し、座標計算部１１においては式（１１）を再度計算し、さらに、方位角θｉが更新されたことにより、式（１２）を使って第２の変換座標値（ｕ’ｊ，ｖ’ｊ）を再度計算する。同様に、最適化判定部１２により、このときの誤差ΔＡを求め、許容誤差以下かどうかの判定を行い、そうでないと、パラメータ更新部１３により、さらに式（１３）のパラメータ更新を行い、許容誤差以下であれば、その時点でのパラメータをパラメータ出力部４における出力結果とする。
【００８３】
最終的に、式（８）を満たすパラメータｈｊ、方位角θｉ、並びに回転角χｉと回転角ωｉを獲得する。こうして、外界の空間形状に関する空間情報ｈｊ、方位角θｉ，Ｘ軸周りの回転角χｉ，Ｙ軸周りの回転角ωｉを獲得することができる。
【００８４】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各々の画像に設定・抽出した特徴点の空間情報ｈｊと、各画像を取得したときの方位角θｉ，Ｘ軸周りの回転角χｉ，Ｙ軸周りの回転角ωｉを獲得することができる。
【００８５】
本発明の式（１）（３）（４）および式（１）（１０）（１１）（１２）による座標変換の効果を以下に述べる。
【００８６】
画像座標値（ｘｊ，ｙｊ）から位相ρｊと仰角φｊを求め、（ｕｊ，ｖｊ）に座標変換すると、Ｒ−ｈ曲線が、ｖ軸に対して平行な直線に変換される。ここで、Ｒ−ｈ曲線とは、全方位カメラの進行軸を中心として二分する左右の側面に対して、全方位カメラ視点から側面までの距離をＲ、高さをｈとしたとき、位相ρを−π／２＜ρ＜π／２まで変化させて得られる全方位射影曲線のことである。従って、特徴点として奥行きＲｊおよび高さｈｊがそれぞれ互いに等しい点の集合（廊下の天井と側壁が交わる線上の点など）を設定することにより、ｕｖ平面上の直線を用いて空間情報および姿勢情報を補正することができるようになる。この場合、ｘｙ平面上のＲ−ｈ曲線を用いて空間情報およびカメラの姿勢情報を補正する場合に比べ、はるかに高精度な計測が可能となる。
【００８７】
また、本座標変換では、仰角φｊが小さい特徴点（基底に近い点）ほど、ｖ軸から離れた点に、測定誤差が強調されて変換される。すなわち、同じ操作により特徴点を測定した場合、ｘｙ平面上では分かりづらかった誤差や不一致がｕｖ平面上ではより正確に把握できるようになる。従って、この強調された誤差が最小となるように空間情報およびカメラの姿勢情報を補正すれば、やはり高精度な計測が可能となる。
【００８８】
なお、図１および図５で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図６、および図７で示した処理の過程をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００８９】
【発明の効果】
以上の説明で明らかなように、本発明によれば、全方位カメラの取得画像から、外界の空間情報を獲得する際に、全方位カメラの姿勢情報を自動的に補正するようにしたので、全方位カメラの設置角度が誤差を有していても、計測誤差を低減することができる。また、座標変換を適用することで、計測誤差をより一層低減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例１の基本構成図である。
【図２】実施形態例１の処理フローを示す図である。
【図３】魚眼レンズの等距離射影による光学射影の説明図である。
【図４】全方位画像上の座標値の説明図である。
【図５】本発明の実施形態例２および実施形態例３の基本構成図である。
【図６】実施形態例２の処理フローを示す図である。
【図７】実施形態例３の処理フローを示す図である。
【符号の説明】
１…画像抽出部
２…特徴点設定部
３…パラメータ計算部
４…パラメータ出力部
１１…座標計算部
１２…最適化判定部
１３…パラメータ更新部
１４…外部情報入力部
【図１】
2004020398.tif 000023
【図２】
2004020398.tif 000024
【図３】
2004020398.tif 000025
【図４】
2004020398.tif 000026
【図５】
2004020398.tif 000027
【図６】
2004020398.tif 000028
【図７】
2004020398.tif 000029