(57)【特許請求の範囲】
【請求項１】
魚眼レンズ特性を有する魚眼カメラの校正方法であって、
前記魚眼カメラにより校正部材を被写体として撮像する撮像工程と、
撮像された前記校正部材の被写体像を基に内部パラメータの初期値を算出する第１の初期値算出工程と、
算出された前記内部パラメータの初期値を基に、前記魚眼カメラの画像平面での前記被写体像上の各像点の座標を極座標変換することで、前記魚眼カメラのカメラ座標系で表される前記被写体像の球面画像を形成する球面画像形成工程と、
世界座標系における前記校正部材上の各物点と各前記物点に対応する前記球面画像上の像点との間で前記内部パラメータ及び前記魚眼カメラの外部パラメータを含んで表される変換式群において、前記内部パラメータの前記初期値を前記変換式群に代入して線形推定することによって前記外部パラメータの初期値を算出する第２の初期値算出工程と、
前記変換式群を基に決定される第１の目的関数に、前記外部パラメータの前記初期値を代入して前記第１の目的関数を最小化することによって前記外部パラメータの第１推定値を算出すると共に、算出された前記外部パラメータの推定値を前記第１の目的関数に代入して最小化することによって前記内部パラメータの第１推定値を算出する推定値算出工程と、
前記画像平面における前記被写体像の像点と、前記物点の前記画像平面への投影点との間の二乗距離の合計を示す第２の目的関数に、前記内部パラメータ及び前記外部パラメータの前記第１推定値を代入し、最小化することによって、前記内部パラメータ及び前記外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、
を備え、
前記内部パラメータは、前記画像平面の原点と、前記被写体像の視界領域のアスペクト比と、前記被写体像上の像点の前記原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、
前記放射歪みパラメータは、前記魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、
前記第１の初期値算出工程では、
楕円を示す式で前記校正部材の前記被写体像をフィッティングすることで、前記楕円の中心を前記原点の初期値とし、前記楕円のアスペクト比を前記視界領域のアスペクト比の初期値とし、前記テーラー展開された前記射影方程式を基に前記放射歪みパラメータの初期値を算出することを特徴とする魚眼カメラの校正方法。
【請求項２】
前記魚眼カメラにおいて前記射影方式に基づいた画像平面における像点と原点との距離をｒとし、前記入射角をθとし、Ｎを０以上の整数としたとき、テーラー展開された前記射影方程式は、
【数１】
0004825980.tif 000069
により表され、式（１）における各項の係数としてのｋ２ｊ＋１が前記放射歪みパラメータであり、前記第１の初期値算出工程では、
前記楕円を示す式を、
【数２】
0004825980.tif 000070
として式（２）で前記被写体像をフィッティングして得られる（ｘ０，ｙ０）を前記原点の初期値とし、ｄ／ｃを前記視界領域のアスペクト比の初期値とし、
前記魚眼カメラの最大視野角θｍａｘの半分を前記入射角θとした場合に成立する
【数３】
0004825980.tif 000071
を基に取得される式（３）における各項の係数をそれぞれ前記放射歪みパラメータの初期値とする請求項１に記載の魚眼カメラの校正方法。
【請求項３】
前記外部パラメータは、前記世界座標系を前記カメラ座標系に変換するための回転行列Ｒ及び並進ベクトルＴを含んでおり、
前記回転行列Rを［ｒ１，ｒ２，ｒ３］とし、
前記並進ベクトルＴを［ｔｘ，ｔｙ，ｔｚ］とし、
前記世界座標系における前記校正部材上の各物点の位置ベクトルをＭｗｉとし、
各前記物点に対応しており前記内部パラメータを利用して表される前記球面画像上の像点の位置ベクトルｍｉを［ｕｉ，ｖｉ，ｓｉ］としたとき、
前記変換式群は、
【数４】
0004825980.tif 000072
であり、
前記第１の目的関数η２は、
【数５】
0004825980.tif 000073
であることを特徴とする請求項１又は２に記載の魚眼カメラの校正方法。
【請求項４】
前記内部パラメータは、前記被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、
前記第１の初期値算出工程では、前記接線歪みパラメータを０として、前記画像平面の原点、前記視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、
前記推定値算出工程では、前記接線歪みパラメータを０とした場合の前記第１の目的関数を基に前記内部パラメータ及び前記外部パラメータの第１推定値を算出し、
前記カメラパラメータ算出工程は、
前記接線歪みパラメータを０とした場合の前記第２の目的関数を基に前記内部パラメータのうち前記原点、前記アスペクト比及び前記放射歪みパラメータ並びに前記外部パラメータの前記校正用パラメータ値を算出する工程と、
前記接線歪みパラメータを含んでおり、算出された前記原点、前記アスペクト比及び前記放射歪みパラメータ及び外部パラメータの前記校正用パラメータ値を代入して得られる前記第２の目的関数を最小化することによって前記接線パラメータの校正用パラメータ値を算出する工程と、
を有することを特徴とする請求項１に記載の魚眼カメラの校正方法。
【請求項５】
前記校正部材は、市松模様を有する校正パターンであり、
前記物点は、前記校正パターンの格子点であることを特徴とする請求項１〜４の何れか一項に記載の魚眼カメラの校正方法。
【請求項６】
前記校正部材は、市松模様を有する３つの校正パターンを互いに略直交するように組み合わせてなるボックスパターンであり、
前記物点は、前記ボックスパターンの格子点であり、
前記世界座標系は、前記ボックスパターンの角部を原点としていることを特徴とする請求項１〜４の何れか一項に記載の魚眼カメラの校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼カメラの校正方法に関するものであり、特に、移動ロボット等に好適に利用される距離算出装置、距離算出方法、構造解析装置及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法に関するものである。
【背景技術】
【０００２】
移動ロボットや車両等の移動体をナビゲーションするためには、移動体周囲の詳細な３次元情報が必要である。この３次元情報を得るため、一対のカメラによって取得されたステレオ画像が利用されている（非特許文献１参照）。より具体的には、ピンホールカメラモデルに基づいてステレオ画像を構成する一対の画像の対応点間の視差を算出し、その視差を利用して移動体と周囲の情景内の構造物までの距離を算出する。
【非特許文献１】R. Yang and M. Pollefeys , “Multi-Resolution Real-Time Stereo onCommodity Graphics Hardware,” 2003 Conference on Computer Vision and PatternRecognition (CVPR ’03) ,Volume 1, pp211-217, ,2003
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年、周囲の視覚監視には、より広い（例えば、半球以上の）視野を持つ魚眼レンズを利用した視覚センサーが用いられてきている。このような視覚センサーでは、魚眼レンズを利用して被写体像を取得しているため、半球以上の視野内の情景が一度に取得される。そして、魚眼レンズによって取得された被写体像を画像空間での球面上に投影することで球面画像を形成することができる。
【０００４】
しかしながら、ステレオ画像から距離を算出する従来の手法は、前述したようにピンホールカメラモデルに基づいたものであるため、一対の魚眼レンズを利用して取得された一対の球面画像を利用して距離を求めることは困難であった。
【０００５】
そこで、本発明は、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る魚眼カメラの校正方法は、魚眼レンズ特性を有する魚眼カメラの校正方法であって、魚眼カメラにより校正部材を被写体として撮像する撮像工程と、撮像された校正部材の被写体像を基に内部パラメータの初期値を算出する第１の初期値算出工程と、算出された内部パラメータの初期値を基に、魚眼カメラの画像平面での被写体像上の各像点の座標を極座標変換することで、魚眼カメラのカメラ座標系で表される被写体像の球面画像を形成する球面画像形成工程と、世界座標系における校正部材上の各物点と各物点に対応する球面画像上の像点との間で内部パラメータ及び魚眼カメラの外部パラメータを含んで表される変換式群において、内部パラメータの初期値を変換式群に代入して線形推定することによって外部パラメータの初期値を算出する第２の初期値算出工程と、変換式群を基に決定される第１の目的関数に、外部パラメータの初期値を代入して第１の目的関数を最小化することによって外部パラメータの第１推定値を算出すると共に、算出された外部パラメータの推定値を第１の目的関数に代入して最小化することによって内部パラメータの第１推定値を算出する推定値算出工程と、画像平面における被写体像の像点と、物点の画像平面への投影点との間の二乗距離の合計を示す第２の目的関数に、内部パラメータ及び外部パラメータの第１推定値を代入し、最小化することによって、内部パラメータ及び外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、を備え、内部パラメータは、画像平面の原点と、被写体像の視界領域のアスペクト比と、被写体像上の像点の原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、放射歪みパラメータは、魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、第１の初期値算出工程では、楕円を示す式で校正部材の被写体像をフィッティングすることで、楕円の中心を原点の初期値とし、楕円のアスペクト比を視界領域のアスペクト比の初期値とし、テーラー展開された射影方程式を基に放射歪みパラメータの初期値を算出することを特徴とする。
【０００７】
上記校正方法によれば、放射歪みを含めて内部パラメータや外部パラメータが校正されているので、放射歪みを有する撮像画像に対してもより正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。
【０００８】
また、上記作用を好適に奏する射影方程式および第１の初期値算出工程は、具体的には、以下の方式が挙げられる。すなわち、魚眼カメラにおいて射影方式に基づいた画像平面における像点と原点との距離をｒとし、入射角をθとし、Ｎを０以上の整数としたとき、テーラー展開された射影方程式は、
【数１】
0004825980.tif 000002
により表され、式（１）における各項の係数としてのｋ２ｊ＋１が放射歪みパラメータであり、第１の初期値算出工程では、楕円を示す式を、
【数２】
0004825980.tif 000003
として式（２）で被写体像をフィッティングして得られる（ｘ０，ｙ０）を原点の初期値とし、ｄ／ｃを視界領域のアスペクト比の初期値とし、魚眼カメラの最大視野角θｍａｘの半分を入射角θとした場合に成立する
【数３】
0004825980.tif 000004
を基に取得される式（３）における各項の係数をそれぞれ放射歪みパラメータの初期値とする。
【０００９】
また、上記作用を好適に奏する変換式群および第１の目的関数としては、具体的には、以下の式が挙げられる。すなわち、  外部パラメータは、世界座標系をカメラ座標系に変換するための回転行列Ｒ及び並進ベクトルＴを含んでおり、回転行列Rを［ｒ１，ｒ２，ｒ３］とし、並進ベクトルＴを［ｔｘ，ｔｙ，ｔｚ］とし、世界座標系における校正部材上の各物点の位置ベクトルをＭｗｉとし、各物点に対応しており内部パラメータを利用して表される球面画像上の像点の位置ベクトルｍｉを［ｕｉ，ｖｉ，ｓｉ］としたとき、変換式群は、
【数４】
0004825980.tif 000005
であり、第１の目的関数η２は、
【数５】
0004825980.tif 000006
である。
【００１０】
本発明に係る魚眼カメラの校正方法は、内部パラメータが、被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、第１の初期値算出工程では、接線歪みパラメータを０として、画像平面の原点、視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、推定値算出工程では、接線歪みパラメータを０とした場合の第１の目的関数を基に内部パラメータ及び外部パラメータの第１推定値を算出し、カメラパラメータ算出工程は、接線歪みパラメータを０とした場合の第２の目的関数を基に内部パラメータのうち原点、アスペクト比及び放射歪みパラメータ並びに外部パラメータの校正用パラメータ値を算出する工程と、接線歪みパラメータを含んでおり、算出された原点、アスペクト比及び放射歪みパラメータ及び外部パラメータの校正用パラメータ値を代入して得られる第２の目的関数を最小化することによって接線パラメータの校正用パラメータ値を算出する工程と、を有することを特徴としてもよい。
【００１１】
上記校正方法によれば、接線歪みも含めて内部パラメータや外部パラメータが校正されているので、接線歪みを有する撮像画像に対しても正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。
【００１２】
また、上記作用を好適に奏する校正部材としては、具体的には、市松模様のボックスパターンが挙げられる。
【発明の効果】
【００１３】
本発明の魚眼カメラの校正方法によれば、魚眼カメラの内部パラメータ及び外部パラメータをより正確に求められるので、被写体までの距離をより正確に算出できる。そのため、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用することが可能である。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）
【００１５】
図１は、本発明に係る構造解析装置の一実施形態を適用したナビゲーションシステムのの構成を示すブロック図である。ナビゲーションシステム１は、車両や移動ロボットなどの移動体に適用される。ナビゲーションシステム１は、移動体周囲の情景（シーン）を被写体として撮影し、撮影によって取得された被写体の画像を利用して被写体の３次元構造を抽出する構造解析装置１００を備える。また、ナビゲーションシステム１は、構造解析装置１００で抽出された被写体の３次元構造を表示する表示部２００と、操作者が各種指示を入力するための入力部３００とを有する。
【００１６】
表示部２００は、例えばディスプレイであって、構造解析装置１００で抽出した被写体の３次元構造を表示して操作者に示す。また、入力部３００は、例えば、表示部２００に設けられたタッチパネルやボタンなどであって、操作者が指示コマンドを入力するためのものである。入力部３００は、入力された指示を構造解析装置１００に入力する。
【００１７】
構造解析装置１００は、車両や移動ロボット等の移動体において周囲の情景を取得できる位置（例えば、自動車等の車両ではボンネット上）に取り付けられているステレオカメラ部１０を有する。ステレオカメラ部１０は、カメラ（第１のカメラ部）１１ｌ及びカメラ（第２のカメラ部）１１ｒを含んで構成されている。
【００１８】
カメラ１１ｌは、魚眼レンズ（第１の魚眼レンズ）１２ｌと、魚眼レンズ１２ｌの結像面（画像平面）に配置されたＣＣＤカメラ（第１の撮像部）１３ｌとを有し、魚眼レンズ１２ｌで結像された像をＣＣＤカメラ１３ｌで撮像する。カメラ１１ｒも同様に、魚眼レンズ（第２の魚眼レンズ）１２ｒと、ＣＣＤカメラ（第２の撮像部）１３ｒとを有し、魚眼レンズ１２ｒで結像された像をＣＣＤカメラ１３ｒで撮像する。カメラ１１ｌ，１１ｒは、魚眼レンズ１２ｌ，１２ｒの光軸が互いに略平行になるように配置されている。魚眼レンズ１２ｌ，１２ｒの画角は例えば約１８５°であり、その射影方式は等距離射影方式である。魚眼レンズ１２ｌ，１２ｒは必ずしも１枚のレンズを意味するものではなく、魚眼レンズ特性を有するレンズ系も含む意味である。
【００１９】
図２（ａ）は、カメラ１１ｌで取得される被写体像（第１の被写体像）２ｌの一例を示す模式図であり、図２（ｂ）は、カメラ１１ｒで取得される被写体像（第２の被写体像）２ｒの一例を示す模式図である。図２に示すように、カメラ１１ｌ，１１ｒは、魚眼レンズ特性を有するので、取得された画像の視野範囲は略円形になる。また、魚眼レンズ１２ｌ，１２ｒを利用していることから、カメラ１１ｌ，１１ｒ周囲のより広い視野内の環境情報を一度に取得できる。
【００２０】
構造解析装置１００は、被写体像２ｌに対応する球面画像（第１の球面画像）及び被写体像２ｒに対応する球面画像（第２の球面画像）を利用して各カメラ１１ｌ，１１ｒから点Ｐまでの距離ρｌ，ρｒを算出する。点Ｐは、被写体のうちカメラ１１ｌ，１１ｒの視野の重なり領域に位置する実空間上の点である。カメラ１１ｌ，１１ｒから点Ｐまでの距離とは、魚眼レンズ１２ｌ，１２ｒの焦点から点Ｐまでの距離の意味であり、図１では模式的に示している。
【００２１】
構造解析装置１００において利用する球面画像について説明する。図３は、球面画像の斜視図である。
【００２２】
図３に示すように、空間に半径ｆを有する球と、球の外側に点Ｐがあるとする。点Ｐと球の中心を結ぶ直線Ｒ１と球面３との交点をｐとしたとき、点ｐを点Ｐの球面３への投影点と呼ぶ。このように球の周りの点から球面３への投影によって得られる画像を球面画像とする。すなわち、球面画像とは焦点が球の中心にある球面３である。この場合、半径ｆは、点Ｐを結像するために用いられるレンズなどの結像手段の焦点距離に相当する。以下、球面３を球面画像３とも表記する。このような球面画像３は、全天周を表示することが可能である。なお、本明細書では、球面射影に従って得られた部分的な球面も球面画像とする。
【００２３】
図３に示すように、球の中心を原点Ｏｃとしたカメラ座標系Ｓｃをとり、点Ｐの球面３への投影線Ｒ１の天頂角をθとし、Ｘｃ軸に対する方位角をφとし、点Ｐのカメラ座標系Ｓｃにおける位置ベクトルＭｃを、
【数６】
0004825980.tif 000007
とすると、実空間上の点Ｐの投影点ｐの位置ベクトルｍは、
【数７】
0004825980.tif 000008
と表される。ここで、スケールパラメータρを、
【数８】
0004825980.tif 000009
とし、λを（ｆ／ρ）とすると、式（６）と式（７）とから、
【数９】
0004825980.tif 000010
が成り立つ。これはスケールパラメータρを除けば、ｍとＭｃとは等しいことを意味する。更に、ｆ＝１としたときの球面画像を正規球面画像とも称す。以下では、特に断らない限り、球面画像３は、正規球面画像で表されるものとする。
【００２４】
この球面画像を魚眼レンズによって結像された被写体像から形成する方法について説明する。図４（ａ）は、魚眼レンズの結像特性を示す図であり、図４（ｂ）は、図４（ａ）に示した魚眼レンズの画像平面の平面図である。魚眼レンズの光軸をＺｃ軸とし、魚眼レンズの焦点を通りＺｃ軸に直交する平面をＸｃＹｃ平面とする３次元座標系をカメラ座標系Ｓｃとする。また、魚眼レンズの光軸と画像平面との交点である画像中心を原点としたｘｙ平面を画像座標系とする。画像座標系のｘ軸は、―Ｘｃ軸方向に延びており、ｙ軸は、―Ｙｃ軸方向に延びている。
【００２５】
実空間上の点Ｐは、魚眼レンズによってｘｙ平面上の点ｑ（ｒ，φ）で表される点ｑに投影される。この画像座標系の原点（画像中心）ｏからの距離ｒは、魚眼レンズの射影方式を等距離射影方式とすると、
【数１０】
0004825980.tif 000011
と表される。ここで、天頂角θは、魚眼レンズに入射する入射光線と魚眼レンズの光軸とのなす角度である。なお、魚眼レンズに入射する入射光線は、図１における投影線Ｒ１に相当する。
【００２６】
式（１０）よりｒが分かれば天頂角θが算出できるので、式（７）に示すように、点ｐの位置ベクトルｍが算出されることになる。本明細書では、平面画像としての被写体像の画素位置としての点ｑ（ｒ，φ）を式（７）を利用して変換することを球面画像に変換すると称す。
【００２７】
ところで、画像平面とカメラ座標系ＳｃのＸｃＹｃ平面とは、互いに平行であって焦点距離ｆだけ離れている。そのため、球面画像では、画像中心を原点ｏとした３次元座標系としての画像座標系で表した点ｐの座標と、カメラ座標系Ｓｃで表した点ｐの座標とは一致する。よって、以下では、特に断らない限り、焦点を原点としたカメラ座標系Ｓｃで説明する。
【００２８】
図１に示すように、構造解析装置１００は、球面画像及びステレオ法を利用して距離ρｌ，ρｒを算出する解析装置２０を有する。解析装置２０は、例えば、パーソナルコンピュータであり、球面画像形成部２１と、メモリ部２２と、パラメータ算出部２３と、校正部２４と、経緯度画像形成部２５と、対応点探索部２６と、距離算出手段２７と構造解析部２８とを有する。また、解析装置２０は、入力部３００に接続されており、入力部３００によって入力された操作者からの指示に応じて球面画像形成部２１、パラメータ算出部２３、校正部２４、経緯度画像形成部２５、対応点探索部２６、距離算出手段２７及びＣＣＤカメラ１３ｌ，１３ｒを制御する制御部２９を有する。メモリ部２２は、例えば、不揮発性メモリである。
【００２９】
球面画像形成部２１は、メモリ部２２に記憶された第１のテーブルを参照して、被写体像２ｌに対応する球面画像（第１の球面画像）３ｌ、及び、被写体像２ｒに対応する球面画像（第２の球面画像）３ｒを形成する（図８参照）。第１のテーブルには、各被写体像２ｌ，２ｒの画素位置としての点ｑの座標と、球面画像３ｌ，３ｒ上の画素位置としての点ｐの座標との対応関係が登録されている。各球面画像３ｌ，３ｒは、メモリ部２２に記憶されており魚眼レンズ１２ｌ，１２ｒの焦点を原点Ｏｌ，Ｏｒとし各魚眼レンズ１２ｌ，１２ｒの光軸をＺｌ軸、Ｚｒ軸とするカメラ座標系Ｓｌ，Ｓｒで表示される。
【００３０】
メモリ部２２に記録されているカメラ座標系Ｓｌ，Ｓｒの情報としては、カメラ１１ｌ，１１ｒの内部パラメータの一部を構成する焦点距離ｆ及び焦点Ｏｌ，Ｏｒ（又は各魚眼レンズの画像中心）の他、外部パラメータとして、所定の世界座標系Ｓｗに対する各カメラ座標系Ｓｌ，Ｓｒの姿勢を示す回転行列Ｒｌ，Ｒｒ及び並進ベクトルＴｌ，Ｔｒが例示される。カメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータは、初期値として構造解析装置１００の設計時のものが記録されているが、パラメータ算出部２３によって校正される。
【００３１】
パラメータ算出部２３は、カメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータを算出した後にメモリ部２２に入力する。これによってメモリ部２２内の内部パラメータ及び外部パラメータが校正されることになる。
【００３２】
パラメータ算出部２３は、例えば、図５に示すようなストライプを含む校正パターン４Ａがカメラ１１ｌ，１１ｒによって撮影されると、魚眼レンズ１２ｌ，１２ｒによって結像された被写体像２ｌ，２ｒに現れる消失点対の交点として魚眼レンズ１２ｌ，１２ｒの焦点を算出し、各被写体像２ｌ，２ｒに現れる一対の消失点間の距離をπで除することで魚眼レンズ１２ｌ，１２ｒの焦点距離ｆを算出する。ここでは、校正パターン４Ａを利用して内部パラメータを算出するとしたが、例えば、被写体に含まれる任意の平行線群の消失点対を利用してもよい。
【００３３】
また、パラメータ算出部２３は、回転行列Ｒｌ，Ｒｒ及び並進ベクトルＴｌ，Ｔｒを次の方法によって算出する。カメラ座標系Ｓｌ，Ｓｒを「カメラ座標系Ｓｃ」と表し、回転行列Ｒｌ，Ｒｒ及び並進ベクトルＴｌ，Ｔｒを「回転行列Ｒ及び並進ベクトルＴ」、カメラ１１ｌ，１１ｒを「カメラ１１」と表して説明する。以下、カメラ１１ｌ，１１ｒをまとめて説明するときには同様とする。
【００３４】
図６に示すように、空間内の一点Ｐに対する世界座標系Ｓｗでの位置ベクトルＭｗを、
【数１１】
0004825980.tif 000012
とする。
【００３５】
点Ｐに対するカメラ座標系Ｓｃでの位置ベクトルＭｃは、式（６）と同様である。
【００３６】
世界座標系Ｓｗは、ベクトルｒ１，ｒ２，ｒ３を含む回転行列Ｒ＝[ｒ１，ｒ２，ｒ３]と、並進ベクトルＴ＝[ｔｘ，ｔｙ，ｔｚ]とでカメラ座標系Ｓｃに変換できるので、
【数１２】
0004825980.tif 000013
が成り立つ。そして、式（９）より
【数１３】
0004825980.tif 000014
となる。ただし、
【数１４】
0004825980.tif 000015
である。
【００３７】
ここで、カメラ１１が図７に示すような市松模様（又はチェスパターン）を有する校正パターン４Ｂを撮影すると、校正パターン４Ｂ上の格子点（コーナー点）Ｐ（Ｘｗ，Ｙｗ）と、点Ｐの球面画像３上への投影点ｐ（ｕ，ｖ，ｓ）に対して、
【数１５】
0004825980.tif 000016
が成り立つ。式（１５）では、校正パターン４Ｂを含む平面をＸｗＹｗ平面とし、校正パターン４Ｂに直交する方向をＺｗ軸方向とする世界座標系（所定の世界座標系）Ｓｗを設定している。
【００３８】
従って、空間上の複数の点Ｐｉ（ｉは、任意の整数）に対して、
【数１６】
0004825980.tif 000017
【数１７】
0004825980.tif 000018
を得る。
【００３９】
そして、次の目的関数η１
【数１８】
0004825980.tif 000019
を最小化することで、外部パラメータを算出する。
【００４０】
パラメータ算出部２３は、カメラ１１ｌ，１１ｒによって校正パターン４Ｂが撮像されると、校正パターン４Ｂの画像に含まれる複数の格子点Ｐｉを抽出した後、式（１７）によって外部パラメータの初期値を推定する。その後、式（１８）を利用して微調整を行い、外部パラメータを算出する。なお、球面画像座標、すなわち、ｕ，ｖ，ｓをカメラ１１ｌ，１１ｒの内部パラメータで表していれば、内部パラメータと外部パラメータとを同時に算出することも可能である。
【００４１】
構造解析装置１００は、球面画像形成部２１で形成された球面画像を利用して点Ｐに対応する各球面画像３ｌ，３ｒ上の対応点間の視差を算出し、更にその視差を利用して距離ρｌ，ρｒを算出する。ここで、球面画像３ｌ，３ｒにおける視差について説明する。
【００４２】
図８に示すように、実空間上の点Ｐに対する球面画像３ｌでの対応点（第１の対応点）をｐｌとし、点Ｐに対する球面画像３ｒでの対応点（第２の対応点）をｐｒとする。カメラ座標系Ｓｌ，Ｓｒの原点Ｏｌ，Ｏｒ及び対応点ｐｌ，ｐｒを含むエピポーラ平面５と、球面画像３ｌ，３ｒとの交線がエピポーラ線である。そのため、球面画像３ｌ，３ｒではエピポーラ線は大円となる。従って、点Ｐに対する視差は、エピポーラ線上におけるＸｌ軸から対応点ｐｌまでの円弧Ｃｌ（図中、エピポールｅ１ｌから点ｐｌまでの円弧）の長さと、エピポーラ線上におけるＸｒ軸から対応点ｐｒまでの円弧Ｃｒ（図中、エピポールｅ１ｒから点ｐｒまでの円弧）の長さの差と定義する。これは、点ｐｌを第２のカメラ座標系Ｓｒで表した点ｐｍと、点ｐｒとの間の円弧の長さに相当する。
【００４３】
図１に示すように、解析装置２０は、上記視差を利用して距離ρｌ，ρｒを算出するために、校正部２４と、経緯度画像形成部２５と、対応点探索部２６と、距離算出手段２７とを有する。
【００４４】
校正部２４は、球面画像３ｌ，３ｒを校正する。球面画像３ｌ，３ｒの校正とは、図８に示すように、カメラ座標系ＳｌのＸｌ軸（Ｘ軸）とカメラ座標系ＳｒのＸｒ軸（Ｘ軸）とが同一直線上であって、カメラ座標系ＳｌのＺｌ軸とカメラ座標系ＳｒのＺｒ軸とが平行且つカメラ座標系ＳｌのＹｌ軸とカメラ座標系ＳｒのＹｒ軸とが平行になるようにカメラ座標系Ｓｌ及びカメラ座標系Ｓｒを変換し、その変換されたカメラ座標系Ｓｌ，Ｓｒで球面画像３ｌ，３ｒを表すことである。
【００４５】
なお、この校正部２４で校正されたカメラ座標系Ｓｌ，Ｓｒでは、カメラ座標系ＳｒをＸｒ方向に平行移動させることでカメラ座標系Ｓｒはカメラ座標系Ｓｌに重なることになる。そこで、校正部２４でのカメラ座標系Ｓｌ，Ｓｒの変換をカメラ座標系の平行化とも称す。
【００４６】
ここで、校正部２４でのカメラ座標系Ｓｌ，Ｓｒの変換について説明する。式（１３）より、カメラ座標系Ｓｌ，Ｓｒの焦点（原点）Ｏｌ，Ｏｒの世界座標系Ｓｗでの座標は、次式により算出される。
【数１９】
0004825980.tif 000020
【００４７】
式（１３）及び式（１９）より、点Ｐの球面画像３ｌ，３ｒへの投影点ｐｌ，ｐｒは、それらの位置ベクトルをｍｌ，ｍｒとすると、
【数２０】
0004825980.tif 000021
となる。
【００４８】
校正部２４でのカメラ座標系Ｓｌ，Ｓｒの変換では、カメラ座標系Ｓｌ，Ｓｒが互いに平行であってＸｌ軸、Ｘｒ軸が球面画像３ｌ，３ｒの中心（原点Ｏｌ，Ｏｒ）を通るように新しい回転行列Ｒａを決定する。この回転行列Ｒａによって校正後の空間の点Ｐと投影点ｐｌ，ｐｒとの関係は、
【数２１】
0004825980.tif 000022
と表される。この回転行列Ｒａは次のようにして決定される。回転行列Ｒａを
【数２２】
0004825980.tif 000023
とする。校正後のＸｌ軸及びＸｒ軸は２つの原点Ｏｌ，Ｏｒを通る直線Ｒ２と平行であることから、次式が成り立つ。
【数２３】
0004825980.tif 000024
【００４９】
また、Ｙｌ（Ｙｒ）軸がＸｌ（Ｘｒ）軸と直交することから、校正前のカメラ座標系ＳｌのＺｌ軸の単位ベクトルをｋとしたとき、次式が成り立つ、
【数２４】
0004825980.tif 000025
更に、ｒａ１〜ｒａ３の間には次式が成り立つ。
【数２５】
0004825980.tif 000026
【００５０】
式（２３）〜式（２５）によってｒａ１〜ｒａ３が算出され、回転行列Ｒａが決定される。
【００５１】
次に、校正前の球面画像３ｌ（３ｒ）上の点と、校正後の球面画像３ｌ（３ｒ）上の点との対応関係について説明する。
【００５２】
実空間の点Ｐに対応する校正前の球面画像３ｌ上の対応点をｐｌｏとし、校正後の球面画像３ｌ上の対応点をｐｌｎとし、それらの位置ベクトルをｍｌｏ，ｍｌｎとすると、
【数２６】
0004825980.tif 000027
となる。また、点Ｐと点ｐｌｏとを通る直線の方程式及び点Ｐと点ｐｌｎを通る直線の方程式は、次のように表される。
【数２７】
0004825980.tif 000028
校正前後において原点位置及び半径は変わらないことから、λｏとλｎは等しい。ここでは、球面画像３ｌについて説明しているが、球面画像３ｒについても同様であり、
【数２８】
0004825980.tif 000029
が成り立つ。式（２７）及び式（２８）より、
【数２９】
0004825980.tif 000030
が成り立つ。
【００５３】
校正部２４は、メモリ部２２に記録されている校正前の球面画像３ｌ，３ｒの点ｐの座標を式（２９）で変換することで球面画像３ｌ（３ｒ）を校正する。以下の説明では、校正前後において球面画像３ｌ（３ｒ）を区別する場合には、校正前の球面画像３ｌ（３ｒ）上の点をｐｏ（ｕｏ，ｖｏ，ｓｏ）とし、校正後の球面画像３ｌ（３ｒ）上の点をｐｎ（ｕｎ，ｖｎ，ｓｎ）とも表す。
【００５４】
経緯度画像形成部２５は、図９に示すように、メモリ部２２に記録されている第２のテーブルを参照して被写体像２ｌに対応する経緯度画像（第１の経緯度画像）６ｌ及び被写体像２ｒに対応する経緯度画像（第２の経緯度画像）６ｒを形成する。経緯度画像６ｌ（６ｒ）とは、球面画像３ｌ（３ｒ）を、それらに含まれるエピポールｅ１ｌ（ｅ１ｒ）及びエピポールｅ２ｌ（ｅ２ｒ）を両極として球面画像３ｌ（３ｒ）での経度及び緯度が直交するように展開した図である。経緯度画像６ｌ（６ｒ）では、図９に示すように、経緯度画像６ｌ（６ｒ）に含まれる複数のエピポーラ線７ｌ（７ｒ）は互いに平行になる。
【００５５】
メモリ部２２に記録されている第２のテーブルには、被写体像２ｌ（２ｒ）の点ｑの座標と、校正された球面画像３ｌ（３ｒ）に対応する経緯度画像の点ｐｎの座標との対応関係が示されている。より具体的に説明する。
【００５６】
図９に示したように、経緯度画像６ｌ（６ｒ）を含む平面をｘｅｙｅ平面とし、経緯度画像６ｌ（６ｒ）に含まれておりエピポーラ線７ｌ（７ｒ）上に位置する点をＬ（ｉ，ｊ）（ｉ＝０，１，・・・Ｍ０；ｊ＝０，１，・・・Ｎ０）としたとき、校正された正規球面画像における点Ｌに対応する点ｐｎ（ｕｎ，ｖｎ，ｓｎ）の座標は、
【数３０】
0004825980.tif 000031
式（３０）では、説明の便宜のため、経緯度画像６ｌ又は経緯度画像６ｒに含まれる点をまとめて点Ｌで表している。以下では、各経緯度画像６ｌに含まれる点Ｌに対応する点ｐの各座標には「ｌ」を付し、各経緯度画像６ｒに含まれる点Ｌに対応する点ｐの各座標には「ｒ」を付して表す。
【００５７】
式（７）、式（１０）、式（２９）、式（３０）等により、経緯度画像の点Ｌ(ｉ，ｊ)と、被写体像２ｌ，２ｒの点ｑ（ｘ，ｙ）とは、
【数３１】
0004825980.tif 000032
で対応づけられており、第２のテーブルには点ｑの座標と点Ｌの座標との対応関係が示されている。これによって、経緯度画像形成部２５では、校正部２４で校正された球面画像３ｌ（３ｒ）を展開した経緯度画像６ｌ（６ｒ）が形成されることになる。従って、経緯度画像６ｌに含まれるエピポーラ線７ｌと経緯度画像６ｒに含まれるエピポーラ線７ｒとが平行になっている。
【００５８】
なお、経緯度画像形成部２５は、上記第２のテーブルを形成する機能も有し、例えば、構造解析装置２０の組立時に第２のテーブルを作成しメモリ部２２に記録せしめる。
【００５９】
対応点探索部２６は、経緯度画像形成部２５で形成された一対の経緯度画像６ｌ，６ｒに対して相関法を適用することによって対応点ｐｌ，ｐｒを特定する。前述したように、エピポーラ線７ｌとそれに対応するエピポーラ線７ｒとが平行になっていることから、対応点ｐｌ，ｐｒの探索が容易である。
【００６０】
図１に示すように、距離算出手段２７は、視差算出部２７Ａと距離算出部２７Ｂとを有する。視差算出部２７Ａは、２つの球面画像３ｌ，３ｒに含まれる対応点ｐｌ，ｐｒ間の視差を算出する。図１０に示すように、エピポーラ平面５における円弧Ｃｌと円弧Ｃｒとの差が視差ｄである。点ｐｌと原点Ｏｌとを通る直線（投影線）Ｒ１ｌと原点Ｏｌ，Ｏｒを通る直線Ｒ２とのなす第１の角度をθｌとし、点ｐｒと原点Ｏｒとを通る直線（投影線）Ｒ１ｒと直線Ｒ２とのなす第２の角度をθｒとして、距離算出手段２７は、
【数３２】
0004825980.tif 000033
に基づいて視差ｄを算出する。
【００６１】
式（３２）におけるθｌ及びθｒは、対応点ｐｌ，ｐｒの座標をｐｌ（ｕｌ，ｖｌ，ｓｌ）、ｐｒ（ｕｒ，ｖｒ，ｓｒ）としたときに、
【数３３】
0004825980.tif 000034
である。
【００６２】
また、視差算出部２７Ａは、被写体像２ｌ，２ｒに対して（又は経緯度画像６ｌ，６ｒに対して）視差ｄをマッピングすることで視差図を作成し、視差に応じて濃淡を付けて表示部２００に表示させることも好適である。表示部２００で表示される画像の濃淡でカメラ１１ｌ，１１ｒに対する被写体の配置関係が分かる。
【００６３】
距離算出部２７Ｂは、カメラ１１ｌ，１１ｒから実空間上の点Ｐまでの距離ρｌ，ρｒを視差算出部２７Ａで算出された視差ｄを利用して算出する。距離算出部２７Ｂは、距離ρｌ，ρｒを、
【数３４】
0004825980.tif 000035
【数３５】
0004825980.tif 000036
に基づいて算出する。ここで、ｂｓは、カメラ部間距離であり、校正されたカメラ座標系Ｓｌ，Ｓｒの原点Ｏｌ，Ｏｒ間の距離である。
【００６４】
構造解析部２８は、距離算出手段２７によって算出された距離ρｌ，ρｒを利用して情景内の３次元形状を復元する。また、カメラ１１ｌ，１１ｒで取得された被写体像２ｌ，３ｒ（又は球面画像３ｌ，３ｒ）を利用して各点Ｐに対応する対応点ｐｌ，ｐｒでの色情報や領域分割、パターン認識などの画像情報と、復元された３次元形状とにより３次元構造を抽出する。構造解析部２８は、抽出した３次元構造の情報を制御部２９に入力する。
【００６５】
制御部２９は、入力部３００から入力された指示に基づいてＣＣＤカメラ１３ｌ，１３ｒ及び解析装置２０を制御する。
【００６６】
例えば、被写体像２ｌ，２ｒを取得する旨の指示が入力部３００を通して入力されると、制御部２９は、ＣＣＤカメラ１３ｌ，１３ｒを駆動して被写体像２ｌ，２ｒを球面画像形成部２１に入力せしめる。また、制御部２９は、被写体像２ｌ，２ｒの取得を停止する（又はナビゲーションを停止する）旨の指示が入力されると、ＣＣＤカメラ１３ｌ，１３ｒから球面画像形成部２１への被写体像２ｌ，２ｒの画像データの入力を停止せしめる。
【００６７】
更に、制御部２９は、内部パラメータ及び外部パラメータを算出する旨の指示が入力されると、パラメータ算出部２３によって内部パラメータ及び外部パラメータを算出し、メモリ部２２に入力せしめる。また、制御部２９は、球面画像３ｌ，３ｒを校正する旨の指示が入力されると、校正部２４によって球面画像３ｌ，３ｒを校正する。
【００６８】
また、制御部２９は、構造解析部２８で抽出した３次元構造及び距離算出手段２７に基づいて、カメラ１１ｌ，１１ｒの周囲の３次元構造までの距離ρｌ，ρｒが所定の距離よりも短くなれば、ナビゲーションシステム１が搭載される移動体のブレーキなどを作動させる制御信号を移動体の制御装置（不図示）に向けて発信する。制御信号としては、前述のようにブレーキなどを作動させるものでもよいし、アラーム信号を発するものなども有効である。
【００６９】
上述した解析装置２０は、パーソナルコンピュータとしたが、ＣＣＤカメラ１３ｌ，１３ｒから入力される画像データ等を一時記憶するＲＡＭ（Random Access Memory）、上記球面画像形成部２１、パラメータ算出部２３、校正部２４、経緯度画像形成部２５、対応点探索部２６、距離算出手段２７、構造解析部２８及び制御部２９で実施される各処理のためのプログラムやデータが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行することにより、ＲＯＭおよびＲＡＭに記憶されたデータに基づいて各種の演算処理を行うＣＰＵ（Central Processing Unit）などのハードウェアを備えていればよい。
【００７０】
次に、図１１及び図１２を利用して上記ナビゲーションシステムの動作について説明する。図１１は、ナビゲーションシステムの動作のフローチャートを示す図である。
【００７１】
先ず、Ｓ１０において、前処理１としてカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータを校正する。この内部パラメータ及び外部パラメータの校正方法を、図１２を利用して具体的に説明する。図１２は、内部パラメータ及び外部パラメータの校正方法のフローチャートを示す図である。
【００７２】
先ず、Ｓ１０Ａにおいて、操作者は、図５に示した校正パターン４Ａをカメラ１１ｌ，１１ｒの視野内に配置する。その後、操作者によって入力部３００を介して制御部２９に撮影を指示する指示が入力されると、制御部２９は、ＣＣＤカメラ１３ｌ，１３ｒを制御して、被写体としての校正パターン４Ａの像（すなわち、被写体像）を取得する。
【００７３】
Ｓ１０Ｂにおいて、パラメータ算出部２３は、ＣＣＤカメラ１３ｌ，１３ｒからの画像データを受けると、被写体像２ｌ，２ｒに含まれる消失点対を算出後、それらの消失点から焦点位置（画像中心位置）を算出する。また、一対の消失点間の距離をπで除することによって焦点距離ｆを算出する。パラメータ算出部２３は、算出した焦点距離ｆ及び焦点（画像中心）をメモリ部２２に入力することによって内部パラメータを校正する。
【００７４】
更に、Ｓ１０Ｃにおいて操作者は、Ｓ１０Ａと同様にして図７に示した校正パターン４Ｂをカメラ１１ｌ，１１ｒで撮影する。そして、Ｓ１０Ｄにおいて、球面画像形成部２１は、ＣＣＤカメラ１３ｌ，１３ｒからの画像データを受けると、撮影して取得された被写体像２ｌ，２ｒを球面画像３ｌ，３ｒに変換する。次いで、Ｓ１０Ｅにおいて、パラメータ算出部２３は、式（１６）〜式（１８）によってカメラ１１ｌ，１１ｒの外部パラメータＲｌ，Ｒｒ，Ｔｌ，Ｔｒを算出し、メモリ部２２に入力することによってカメラ１１ｌ，１１ｒの外部パラメータを校正する。
【００７５】
図１１に示すように、Ｓ１０での内部パラメータ及び外部パラメータの算出後、Ｓ１１の処理を実行する。すなわち、前処理２として、カメラ１１ｌ，１１ｒで取得された各被写体像２ｌ，２ｒから形成された一対の球面画像３ｌ，３ｒを校正する。より具体的には、校正部２４は、式（２３）〜式（２５）により回転行列Rａを算出し、式（２９）を利用して第１のテーブルを校正する。そして、経度画像形成部２５は、校正された球面画像３ｌ，３ｒを経緯度画像６ｌ，６ｒに展開して、第２のテーブルを作成し、メモリ部２２に記録せしめる。
【００７６】
これにより、以降の工程において、経緯度画像形成部２５が経緯度画像を形成する場合には、校正された球面画像３ｌ，３ｒに対応する経緯度画像６ｌ，６ｒが形成されることになる。
【００７７】
次に、Ｓ１２において、カメラ１１ｌ，１１ｒを駆動してステレオカメラ部１０の周囲の情景を被写体として撮影せしめる。Ｓ１３において、経緯度画像形成部２５は、メモリ部２２に記録されている第２のテーブルを参照して、取得された被写体像２ｌ，２ｒから経緯度画像６ｌ，６ｒを形成する。続いて、Ｓ１４において、対応点探索部２６は、経緯度画像６ｌ，６ｒに相関法を適用することで、ステレオカメラ部１０の周囲の情景内の点Ｐ（実空間上の点Ｐ）に対応する対応点ｐｌ，ｐｒを特定する。Ｓ１５において、距離算出手段２７は、対応点ｐｌ，ｐｒ間の視差ｄを式（３２）によって算出し、更に、式（３４）及び式（３５）によって距離ρｌ，ρｒを算出する。
【００７８】
このように距離ρｌ，ρｒが算出された後、Ｓ１６において、構造解析部２８は、原画像である被写体像２ｌ，２ｒと距離ρｌ，ρｒとに基づいてステレオカメラ部１０の周囲の情景の３次元形状を復元し、被写体像２ｌ，２ｒが有する画像情報に基づいて被写体の３次元構造を抽出する。Ｓ１７において、表示部２００は、構造解析部２８で解析された３次元構造を操作者に表示し、Ｓ１８において、制御部２９は、構造解析部２８によって抽出されたステレオカメラ部１０の周囲の３次元構造及び距離ρｌ，ρｒに基づいてナビゲーションシステム１が搭載されている車両などの移動体を制御する。移動体の制御の例としては、例えば、ステレオカメラ部１０の周囲の３次元構造物までの距離ρｌ，ρｒが予め設定してある所定の距離よりも短い場合には、移動体の移動を停止せしめる制御信号（例えば、ブレーキを作動させる信号）を発信する。
【００７９】
次に、Ｓ１９において、制御部２９は、入力部３００から撮影を停止する旨（言い換えれば、ナビゲーションを停止する旨）の指示が入力されたか否かを判断する。停止する旨の指示に対応する停止コマンドが入力されていない場合には（Ｓ１９で「Ｎｏ」）、Ｓ１２に戻る。また、停止コマンドが入力された場合には（Ｓ１９で「Ｙｅｓ」）、ナビゲーションを終了する。
【００８０】
なお、上記方法では、カメラ１１ｌ，１１ｒの内部パラメータ、外部パラメータ及び球面画像３ｌ，３ｒの校正や、第２のテーブルの作成を実施しているが、これらは、例えば、構造解析装置１００を組み立てた際に一度実施しておけばよく、次にステレオカメラ部１０の周囲の３次元構造を抽出する場合には、Ｓ１２から実施すればよい。
【００８１】
上記構造解析装置１００を備えたナビゲーションシステム１では、被写体の撮影に画角の大きい魚眼レンズ１２ｌ，１２ｒを利用していることから、より広い視野内の情景を一度に取得することができる。また、カメラ１１ｌ，１１ｒで取得された被写体像２ｌ，２ｒを球面画像３ｌ，３ｒに変換することで、投影点を一様に表現できている。更に、球面画像３ｌ，３ｒを利用していることから、従来の平面画像に対してステレオ法を適用するときのように奥行きで表現せずに、実空間上の点Ｐからカメラ１１ｌ，１１ｒまでの距離ρｌ，ρｒで表現される。これにより、カメラ１１ｌ，１１ｒと、カメラ１１ｌ，１１ｒが取り付けられている車体や移動ロボットとの相対位置が分かれば、車両や移動ロボットからの距離を計算でき、衝突の予測などに利用できる。
【００８２】
更にまた、経緯度画像６ｌ，６ｒを利用して対応点ｐｌ，ｐｒを特定しているので、球面画像３ｌ，３ｒ上のエピポーラ線を利用して対応点探索を実施する場合よりも早く且つ容易に対応点ｐｌ，ｐｒを特定可能である。よって、車両や移動ロボットなどの移動体に好適に適用可能である。
【００８３】
上記ナビゲーションシステム１は、構造解析装置１００を備えるとしたが、図１３に示すように、距離算出装置１１０を備えたナビゲーションシステム８としても良い。図１３に示した距離算出装置１１０は、解析装置１２０が構造解析部を備えていない点で、構造解析装置１００の構成と相違する。
【００８４】
この場合、制御部２９は、距離算出手段２７で算出された距離ρｌ，ρｒが所定の距離より短くなった場合に、例えば、車両などの移動体を停止するように制御すればよい。この距離算出装置１１０が有するカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータの算出方法は、構造解析装置１００の場合と同様である。
【００８５】
更に、距離算出装置１１０を備えたナビゲーションシステム８の動作は、図１１に示したＳ１０〜Ｓ１７の工程と同様の工程を実施した後に、Ｓ１８において、制御部２９が、距離算出手段２７で算出された距離ρｌ，ρｒに基づいて移動体を制御する。次いで、Ｓ１９において停止コマンドが入力されたか否かを構造解析装置１００の場合と同様に判断し、停止する旨の指示コマンドである停止コマンドが入力されていない場合には（Ｓ１９で「Ｎｏ」）、Ｓ１２に戻る。また、停止コマンドが入力された場合には（Ｓ１９で「Ｙｅｓ」）、ナビゲーションを終了する。
【００８６】
（第２の実施形態）
【００８７】
次に、パラメータ算出部２３が、カメラ１１ｌ，１１ｒが有する他のパラメータを更に校正する場合の実施形態について説明する。カメラ１１ｌの校正方法とカメラ１１ｒの校正方法とは同じであるので、カメラ１１ｌ，１１ｒを区別する符合「ｌ」、「ｒ」は付さずに説明する。
【００８８】
魚眼レンズ１２には、式（１０）で示す射影方式の他に
【数３６】
0004825980.tif 000037
【数３７】
0004825980.tif 000038
【数３８】
0004825980.tif 000039
で示される射影方式がある。魚眼レンズ１２の製造誤差などを考慮すると、式（１０）、及び、式（３６）〜式（３８）は、
【数３９】
0004825980.tif 000040
として表されるが、パラメータ算出部２３では、近似式として
【数４０】
0004825980.tif 000041
を利用する。ｋ１、ｋ３、ｋ５は、焦点距離ｆに依存しており、画像平面の原点である画像中心に対する結像点の径方向の歪みを表す放射歪み（radial distortion）パラメータである。
【００８９】
図１４は、校正された画像座標系で表された画像平面の平面図である。原点Ｃは、画像中心を表しており、点ｑは、魚眼レンズ１２による実空間上の点Ｐの結像点である。校正前の画像座標系において、点Ｃの座標を（ｘ０，ｙ０）とし、点ｑの座標を（ｘｑ，ｙｑ）とし、αをｘ方向及びｙ方向の単位距離あたりの画素数の比とする。この場合、校正後の画像座標系での点ｑのｘ座標及びｙ座標は、
【数４１】
0004825980.tif 000042
によって算出され、校正後の画像座標系での点ｑと原点Cとの距離ｒｑ、及び、ｘ軸からの方位角φｑは、
【数４２】
0004825980.tif 000043
となる。
【００９０】
ところで、魚眼レンズ１２の光軸が画像平面（結像平面）に対して垂直になっていない場合、decentering distortionとして知られる歪みが生じる。この歪みは、点ｑにおける接線方向の歪みとして表れる。以下、このdecentering distortionとして知られる歪みを接線歪みと称す。
【００９１】
画像平面上の点ｑにおけるｘ方向及びｙ方向の接線歪みの成分は、 
【数４３】
0004825980.tif 000044
【数４４】
0004825980.tif 000045
となる（例えば、A. Conrady, “Decentering lens system”, Monthly Notices of the RoyalAstronomical Soc. Vol. 79, pp.384-390, 1919、R. Swaminathan, et. al., “Nonmetric calibrationof wide-angle lenses and polycameras”, IEEE. PAMI, vol.22, No.10, 2000参照）。式（４３）及び式（４４）を極座標で表示すると、
【数４５】
0004825980.tif 000046
【数４６】
0004825980.tif 000047
となる。
【００９２】
従って、放射歪み及び接線歪みを含めた場合、校正前の画像座標系での点ｑの原点からの距離ｒ及び方位角φは、
【数４７】
0004825980.tif 000048
【数４８】
0004825980.tif 000049
であり、校正すべきカメラ１１の内部パラメータは（ｘ０，ｙ０，α，ｋ１，ｋ３，ｋ５，Ｊ１，Ｊ２）である。
【００９３】
式（４１）、式（４２）、式（７）等を利用することで、次に示すように画像平面上の結像点ｑ（ｘｑ，ｙｑ）から球面画像３上の点ｐ（実空間上の点Ｐの対応点）の座標を得ることができる。
【数４９】
0004825980.tif 000050
【００９４】
この場合、実空間上の点Ｐに対応する球面画像３上の対応点ｐの座標は、前述したカメラ１１の内部パラメータを利用して表されることになる。
【００９５】
パラメータ算出部２３を利用して内部パラメータ及び外部パラメータを校正するときには、図１５に示すような校正用部材としてのボックスパターン９を利用する。ボックスパターン９は、市松模様（又はチェスパターン）を有する３つの校正パターン９Ａ，９Ｂ，９Ｃからなり、互いに直交する２つの校正パターン９Ａ，９Ｂを他の１つの校正パターン９Ｃ上に設けたものである。
【００９６】
上記ボックスパターン９を利用してカメラ１１の内部パラメータ及び外部パラメータを校正する場合、（１）内部パラメータの初期化を行ったのち、（２）カメラ１１の姿勢を表す外部パラメータ（Ｒ，Ｔ）の初期推定を行う。更に（３）内部パラメータの微調整を実施してから、（４）投影誤差の最小化を図る。そして、最後に、（５）接線歪みを含んだ目的関数の最小化を実施することによって、内部パラメータ及び外部パラメータを校正する。以下、順に説明する。
【００９７】
先ず、前述したように、（１）内部パラメータの初期化をする。図１６は、図１５に示したボックスパターン９をカメラ１１で撮影して取得された被写体像の図である。撮影には、ソニー製のビデオカメラ（ＤＣＲ−ＨＣ３０）にオリンパス製の魚眼レンズ（ＦＣＯＮ−０２）を取り付けたものをカメラ１１として利用している。この被写体像の視野領域を、楕円でフィッティングする。楕円は、次式
【数５０】
0004825980.tif 000051
で表されるので、フィッティングによって得られた楕円の中心を画像中心（ｘ０，ｙ０）の初期値とし、
【数５１】
0004825980.tif 000052
で表される被写体像のアスペクト比をαの初期値とする。
【００９８】
また、立体射影を表す式（３７）では、テイラー近似式は、
【数５２】
0004825980.tif 000053
となる。魚眼レンズ１２の最大視野角をθmaxとすると、
【数５３】
0004825980.tif 000054
が成り立つ。
【００９９】
そこで、接線歪みを０として、式（５２）及び式（５３）より放射歪みの初期値を決める。すなわち、式（５３）より焦点距離ｆを算出し、式（５２）におけるθ、θ３、θ５の各係数をｋ１，ｋ３、ｋ５の初期値とする。
【０１００】
次に、（２）カメラ１１の外部パラメータ（Ｒ，Ｔ）の初期推定を実施する。ここでは、世界座標系Ｓｗを、図１５及び図１６に示すように、ボックスパターン９の角部を原点とした３次元座標系とする。ボックスパターン９での格子点Ｐｗの位置ベクトルＭｗと、その点Ｐｗの球面画像３上の投影点ｐの位置ベクトルｍとの間には、式（９）が成り立っているので、
【数５４】
0004825980.tif 000055
【数５５】
0004825980.tif 000056
が得られる。１つの格子点Ｐから式（５４）及び式（５５）に示すように２つの式が得られることからＮ点を観測すると、２Ｎ個の方程式が得ることができる。内部パラメータを既知とすると、式（５４）及び式（５５）を利用してカメラ１１の外部パラメータ（Ｒ，Ｔ）を算出できる。パラメータ算出部２３は、６点以上の格子点Ｐを抽出し、式（５４）及び式（５５）を利用して線形推定でＲ，Ｔを算出する。
【０１０１】
また、パラメータ算出部２３は、式（５４）及び式（５５）より以下の目的関数η２を設定する。
【数５６】
0004825980.tif 000057
【０１０２】
この式（５６）の最後の自乗の項は、式（５４）及び式（５５）の２式を差し引いて得られたものである。
【０１０３】
そして、パラメータ算出部２３は、式（５４）及び式（５５）を利用して算出したＲ、Ｔを初期値として、式（５６）を利用してカメラ１１の初期姿勢を算出する。
【０１０４】
続いて、（３）内部パラメータの微調整を実施する。ここでは、Ｒ、Ｔを既知として、式（５６）を利用して、ボックスパターン９に含まれる全ての格子点を利用してカメラ１１の内部パラメータの微調整を実施する。
【０１０５】
更に、（４）投影誤差の最小化を行う。（３）によって算出されたカメラ１１の内部パラメータ及び外部パラメータを利用することで、次に示すように、実空間におけるボックスパターン９上の格子点を結像した被写体像２における点ｑの座標を得ることができる。
【数５７】
0004825980.tif 000058
【０１０６】
実際にＣＣＤカメラ１３で得られた被写体像２上の点ｑｉの位置ベクトルｎｉと、格子点の世界座標Ｓｗの座標から算出された点ｑｉの位置ベクトルｎｑｉとの間の二乗距離ｄ（ｎｉ，ｎｑｉ）２の合計を最小化し、内部パラメータ及び外部パラメータを調整する。すなわち、目的関数η３として、
【数５８】
0004825980.tif 000059
を設定し、その最小化を実施することで、内部パラメータ及び外部パラメータを調整する。
【０１０７】
最後に、（５）接線歪みを含んだ目的関数η２の最小化を実施する。ここでは、接線歪みを表すパラメータを含めた式（５８）の目的関数η３を設定し、（４）までで得られた内部パラメータ及び外部パラメータを利用して、目的関数η２を再計算し、接線歪みパラメータも校正する。本実施形態では、パラメータ算出部２３は、カメラ１１の内部パラメータ及び外部パラメータを算出するために、ボックスパターン９が撮影されると、上述した（１）〜（５）を実行することによって、内部パラメータ及び外部パラメータを算出し、メモリ部２２に入力する。
【０１０８】
構造解析装置（又は距離算出装置）の動作は、パラメータ算出部２３によるカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータの校正方法以外は、第１の実施形態の場合と同様である。この場合、放射歪みや接線歪みなども含めて内部パラメータ及び外部パラメータが校正されているので、カメラ１１ｌ，１１ｒからの距離ρｌ，ρｒをより正確に算出できる。なお、接線歪みパラメータの校正（すなわち、上記（５）の処理）は、必ずしも実施しなくてもよいが、接線歪みパラメータを校正することで更に距離ρｌ，ρｒが正確になる傾向にある。
【０１０９】
以上の説明では、魚眼レンズ１２の射影方式を式（３７）で表される立体射影としているが、式（１０）、式（３６）及び式（３８）で表される各射影方式に対して本実施形態で示したカメラ１１の校正方法は適用できる。例えば、式（１０）で表される等距離射影方式を有する魚眼レンズに対しては、式（４０）の第１項以外を０とすると、
【数５９】
0004825980.tif 000060
が成り立つ。これは立体射影を用いたときの式（５３）に対応する。従って、放射歪みの初期値値を次式から決定すればよい。
【数６０】
0004825980.tif 000061
【０１１０】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、カメラ１１ｌは、１つの魚眼レンズ１２ｌを有するとしたが、１つのカメラ１１ｌに対して２つの魚眼レンズ１２ｌ，１２ｌを有することは好適である。２つの魚眼レンズ１２ｌ，１２ｌを、光の入射面が互いに反対側を向くように配置することで、全天周の情景を一度に取得することができる。これは、カメラ１１ｒに対しても同様である。この場合、ステレオカメラ部１０の周囲の構造物までの距離をカメラ１１ｌ，１１ｒの方向を変えずに求めることが可能であり、周辺監視装置に好適に利用できる。
【０１１１】
更に、前述したように校正部２４は、パラメータ算出部２３の一部としてもよい。更にまた、上記では、距離算出手段２７は、視差算出部２７Ａと距離算出部２７Ｂとを有するとしたが、この場合に限られない。式（３２）、式（３４）及び式（３５）より
【数６１】
0004825980.tif 000062
【数６２】
0004825980.tif 000063
が成り立つので、距離算出手段２７は、視差ｄを算出せずに、第１及び第２の角度θｌ，θｒ及び距離ｂｓから式（６１）及び式（６２）を利用して距離ρｌ，ρｒを算出してもよい。
【０１１２】
また、構造解析装置１００及び距離算出装置１１０では、例えば、メモリ部２２に予め校正された球面画像３ｌ，３ｒに対応した第１のテーブル及び第２のテーブルが記憶されている場合等には、パラメータ算出部２３、球面画像形成部２１及び校正部２４を必ずしも備えなくてもよい。更に、ステレオカメラ部１０は、２つのカメラ１１ｌ，１１ｒから構成されているとしたがこれに限定されない。魚眼レンズ特性を有する第１及び第２のカメラ部が１つの筐体内に収容されているものとしてもよい。
【実施例１】
【０１１３】
以下に、本発明に係る構造解析装置を、実施例に基づいてより具体的に説明する。なお、本発明は、以下の実施例に限定されるものではない。
【０１１４】
図１７は試作した構造解析装置１００で利用したカメラ１１ｌ，１１ｒの図である。カメラ１１ｌ，１１ｒは、ソニー製のビデオカメラ（ＤＣＲ−ＨＣ３０）にオリンパス製の魚眼レンズ（ＦＣＯＮ−０２）を取り付けたものとし、三脚上に互いに平行に配置した。なお、カメラ１１ｌ，１１ｒは、その内部パラメータが校正されているものを用いた。
【０１１５】
カメラ１１ｌ，１１ｒの外部パラメータを校正するために、図７に示した校正パターン４Ｂをカメラ１１ｌ，１１ｒで同時に撮影した。図１８（ａ），（ｂ）は、校正パターン４Ｂをカメラ１１ｌ，１１ｒで撮影したときの被写体像の図である。図１８（ａ）は、カメラ１１ｌで取得された被写体像の図を示しており、図１８（ｂ）は、カメラ１１ｒで取得された被写体像の図を示している。図１８（ａ），（ｂ）に示した被写体像の図に対して、ＬＫオペレータにより格子点Ｐを抽出した。図１８（ｃ）は、図１８（ａ）の被写体像の図から格子点Ｐを抽出した図である。図１８（ｃ）中、白丸で囲んでいる部分が抽出した点を示している。図１８（ｃ）に示すように校正パターン４Ｂの格子点Ｐが確実に抽出されていることが分かる。
【０１１６】
このようにコーナ点Ｐを抽出した後に、パラメータ算出部２３によって外部パラメータを算出し、メモリ部２２に入力することでカメラ１１ｌ，１１ｒの外部パラメータを校正した。
【０１１７】
このようにカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータが校正された構造解析装置１００を利用して戸外で実際にカメラ１１ｌ，１１ｒ周囲の情景を撮影した。撮影対象のモデルとしてカメラ１１ｌ，１１ｒ側に頭を近づけている人物を撮影した。
【０１１８】
図１９（ａ），（ｂ）は、図１７に示したカメラ１１ｌ，１１ｒを利用して戸外で撮影して取得された被写体像の図である。図１９（ａ）は、カメラ１１ｌで取得された被写体像の図であり、図１９（ｂ）は、カメラ１１ｒで取得された被写体像の図である。
【０１１９】
図２０（ａ）は、被写体像をカメラ１１ｌによって取得した後に、Ｓ１３（図１１参照）の工程によって形成された経緯度画像の図である。また、図２０（ｂ）は、被写体像をカメラ１１ｒによって取得した後に、Ｓ１３の工程によって形成された経緯度画像の図である。図２０（ａ），（ｂ）中に示した水平線がエピポーラ線７ｌ，７ｒである。構造解析装置１００では、校正された球面画像３ｌ，３ｒに対応する経緯度画像６ｌ，６ｒが作成されるので、図２０（ａ），（ｂ）に示すように、経緯度画像６ｌでのエピポーラ線７ｌに対応する経緯度画像６ｒのエピポーラ線７ｒ上に同じ特徴が確かにのっている。
【０１２０】
図２０（ａ），（ｂ）に示した経緯度画像６ｌ，６ｒに対して更にＳ１４（図１１参照）における対応点探索を実施し、特定された対応点間の視差ｄを算出した。
【０１２１】
図２０（ｃ）は、視差ｄを図２０（ａ）に示した経緯度画像６ｌにマッピングして得られる視差図である。図２０（ｃ）において、明るい点が大きな視差を有する部分であり、図２０（ａ），（ｂ）に表示されていた人物の頭部の部分がより大きな視差を有していることがわかる。これにより、図２０（ａ），（ｂ）に表示されていた人物がカメラ１１ｌ，１１ｒ側に頭を近づけている状態が確かに表されていることが分かる。
【０１２２】
なお、距離算出装置および構造解析装置の例としては、以下に示すものが挙げられる。
【０１２３】
例えば、距離算出装置は、（１）魚眼レンズ特性を有する第１のカメラ部と、（２）魚眼レンズ特性を有しており第１のカメラ部とステレオカメラ部を構成する第２のカメラ部と、（３）第１のカメラ部から出力される第１の被写体像に対応する第１の球面画像内の一対のエピポールを両極として展開される平面画像としての第１の経緯度画像を第１の被写体像から形成すると共に、第２のカメラ部から出力される第２の被写体像に対応する第２の球面画像内の一対のエピポールを両極として展開される平面画像としての第２の経緯度画像を第２の被写体像から形成する経緯度画像形成部と、（３）第１及び第２のカメラ部の視野内に含まれる実空間上の点に対応する第１及び第２の経緯度画像内の対応点を特定する対応点探索部と、（４）第１の球面画像での上記対応点である第１の対応点及び第１の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第１の角度、第２の球面画像での上記対応点である第２の対応点及び第２の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第２の角度、及び、第１のカメラ部と第２のカメラ部との間のカメラ部間距離に基づいて前述した実空間上の点から第１及び第２のカメラ部までの距離を算出する距離算出手段と、
を備えることが考えられる。
【０１２４】
上記構成によれば、魚眼レンズ特性を有する第１及び第２のカメラ部はステレオカメラ部を構成しており、第１の被写体像及び第２の被写体像を一度に取得する。第１及び第２の経緯度画像形成部は上記第１及び第２の被写体像から第１及び第２の経緯度画像を形成し、対応点探索部は実空間上の点に対応する第１及び第２の経緯度画像内での対応点を探索して特定する。距離算出手段が、第１及び第２の球面画像での上記対応点に対応する第１及び第２の対応点で決まる第１及び第２の角度、第１及び第２のカメラ部間のカメラ部間距離に基づいて上記実空間上の点から第１及び第２のカメラ部までの距離を算出する。
【０１２５】
上記構成では、第１及び第２のカメラ部が魚眼レンズ特性を有することから、ステレオカメラ部周囲のより広い領域を被写体として撮像できる。また、エピポーラ線は、各第１及び第２の経緯度画像では互いに平行な直線であるので、例えば、エピポーラ線が大円となる第１及び第２の球面画像上で対応点を探索するより容易且つ早く対応点を探索し特定できる。その結果として、被写体に含まれる実空間上の点までの距離をより早く容易に算出することが可能である。
【０１２６】
また、上記距離算出装置が有する距離算出手段は、第１のカメラ部の焦点距離、第２のカメラ部の焦点距離、第１の角度及び第２の角度を利用して第１及び第２の対応点間の視差を算出する視差算出部と、第１の角度、第２の角度、カメラ部間距離、及び、前述した視差に基づいて上記実空間上の点から第１及び第２のカメラ部までの距離を算出する距離算出部と、を有することが好ましい。
【０１２７】
球面画像ではエピポーラ線は大円であるため、第１及び第２の対応点間の視差は次のように表される。すなわち、視差は、第１の球面画像でのエピポーラ線における第１の対応点とエピポールとの間の円弧の長さと、第２の球面画像でのエピポーラ線上における第２の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第１及び第２の球面画像の半径と円弧の中心角から求められる。上記構成では、第１及び第２の球面画像の半径は第１及び第２のカメラ部の焦点距離に対応し、円弧の中心角は第１及び第２の角度から得られる。そこで、視差算出部が、第１及び第２のカメラ部の焦点距離と第１及び第２の角度とによって第１及び第２の対応点間の視差を算出する。そして、距離算出部が、算出された視差とカメラ部間距離と第１及び第２の角度とに基づいて、対応点に対する実空間上の点から第１及び第２のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第１の被写体像の図にマッピングすることで視差図を形成することが可能である。
【０１２８】
更に、上記距離算出装置では、第１の被写体像から第１の球面画像を形成すると共に、第２の被写体像から第２の球面画像を形成する球面画像形成部と、球面画像形成部で形成される第１及び第２の球面画像を校正する校正部と、を更に備え、校正部は、第１の球面画像を表示する第１のカメラ座標系と第２の球面画像を表示する第２のカメラ座標系とを、互いのＺ軸が平行であり且つ互いのＹ軸が平行であって互いのＸ軸が同一直線上に位置するように変換することによって第１及び第２の球面画像を校正し、経緯度画像形成部は、校正部によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を形成することが好適である。
【０１２９】
この場合、球面画像形成部で形成された第１及び第２の球面画像を校正部によって校正することで、被写体に対する第１及び第２のカメラ座標系の姿勢が同じになる。そして、校正部によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を経緯度画像形成部が形成する。これにより、第１の経緯度画像に含まれるエピポーラ線と第２の経緯度画像に含まれるエピポーラ線とが平行なるので、対応点の探索がより容易になる。
【０１３０】
また、上記の構造解析装置は、（１）前述した距離算出装置と、（２）その距離算出装置で算出された上記距離と、第１及び第２の被写体像とからステレオカメラ部の周囲の３次元構造を抽出する構造解析部と、を備えることが考えられる。
【０１３１】
この構造解析装置では、上記距離算出装置を備えているので、第１及び第２のカメラ部からその周囲の情景内の３次元構造物上の点までの距離を算出できる。従って、距離算出に利用した対応点の第１及び第２の被写体像上の点と算出された距離とから３次元構造を復元することが可能である。
【０１３２】
そして、上記構造解析装置では、構造解析部で抽出されたステレオカメラ部の周囲の３次元構造を表示する表示部を更に備えることが好ましい。これにより、表示部にはステレオカメラ部周囲の３次元構造が表示されるので、例えば、それを見ながら車両の運転を実施することが可能である。
【０１３３】
また、上記距離算出装置において適用される距離算出方法は、（１）ステレオカメラ部を構成しており魚眼レンズ特性を有する第１及び第２のカメラ部によって被写体像を取得する像取得工程と、（２）第１のカメラ部から出力される第１の被写体像に対応する第１の球面画像内の一対のエピポールを両極として展開される平面画像としての第１の経緯度画像を第１の被写体像から形成すると共に、第２のカメラ部から出力される第２の被写体像に対応する第２の球面画像内の一対のエピポールを両極として展開される平面画像としての第２の経緯度画像を第２の被写体像から形成する経緯度画像形成工程と、（３）第１及び第２のカメラ部の視野内に位置する実空間上の点に対応する第１及び第２の経緯度画像内の対応点を特定する対応点探索工程と、（４）第１の球面画像での対応点である第１の対応点及び第１の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第１の角度をθｌ、第２の球面画像での対応点である第２の対応点及び第２の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第２の角度をθｒ、第１のカメラ部と第２のカメラ部との間のカメラ部間距離をｂｓとしたとき、前述した実空間上の点から第１のカメラ部までの距離ρｌ及び第２のカメラ部までの距離ρｒを、
【数６３】
0004825980.tif 000064
【数６４】
0004825980.tif 000065
によって算出する距離算出工程と、を備えることが考えられる。
【０１３４】
この場合、ステレオカメラ部を構成する第１及び第２のカメラ部で第１及び第２の被写体像を一度に取得すると、それらから第１及び第２の経緯度画像が形成される。そして、第１及び第２の経緯度画像を利用して、実空間上の点に対応する対応点が特定された後、第１の角度、第２の角度及びカメラ部間距離に基づいて対応点に対する実空間上の点から第１及び第２のカメラ部までの距離ρｌ，ρｒが算出されることになる。
【０１３５】
上記方法では、第１及び第２のカメラ部が魚眼レンズ特性を有することから、より広い視野内の情景を一度に撮影できる。また、第１及び第２の被写体像から形成される第１及び第２の球面画像では大円となるエピポーラ線は、各第１及び第２の経緯度画像では、互いに平行な直線であるので、例えば、第１及び第２の球面画像上で探索するより容易且つ早く対応点を探索し特定可能である。その結果として、被写体に含まれる実空間上の点までの距離を早く且つ容易に算出することが可能である。
【０１３６】
更に、上記の距離算出工程は、第１及び第２のカメラ部の焦点距離をｆとしたとき、第１及び第２の対応点間の視差ｄを、
【数６５】
0004825980.tif 000066
によって算出し、距離ρｌ及び距離ρｒを、
【数６６】
0004825980.tif 000067
【数６７】
0004825980.tif 000068
によって算出することが好ましい。
【０１３７】
球面画像ではエピポーラ線は大円であるため、第１の球面画像でのエピポーラ線上における第１の対応点とエピポール間の円弧の長さと、第２の球面画像でのエピポーラ線上における第２の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第１及び第２の球面画像の半径と円弧の中心角から求められる。そして、第１及び第２の球面画像の半径は第１及び第２のカメラ部の焦点距離に対応し、円弧の中心角は第１及び第２の角度から得られる。
【０１３８】
そこで、上記方法では、第１及び第２のカメラ部の焦点距離、第１及び第２の角度によって第１及び第２の対応点間の視差を算出し、その算出された視差、カメラ部距離、第１の角度及び第２の角度に基づいて、対応点に対する実空間上の点から第１及び第２のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第１の被写体像の図にマッピングした視差図を形成することが可能である。
【０１３９】
更にまた、上記の距離算出方法では、第１の被写体像から第１の球面画像を形成すると共に、第２の被写体像から第２の球面画像を形成する球面画像形成工程と、球面画像形成工程で形成される第１及び第２の球面画像を校正する校正工程と、を更に有し、第１の球面画像を表示する第１のカメラ座標系と第２の球面画像を表示する第２のカメラ座標系とを、互いのＺ軸が平行且つ互いのＹ軸が平行であって互いのＸ軸が同一直線上になるように変換することよって第１及び第２の球面画像を校正し、経緯度画像形成工程では、校正工程によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を形成することが好適である。
【０１４０】
この場合、球面画像形成工程で形成された第１及び第２の球面画像を校正工程によって校正することで、第１及び第２のカメラ座標系の被写体に対する姿勢が同じになる。そして、校正された第１及び第２のカメラ座標系で表される第１及び第２の球面画像に対応する第１及び第２の経緯度画像が経緯度画像形成工程で形成される。これにより、第１の経緯度画像に含まれるエピポーラ線と第２の経緯度画像に含まれるエピポーラ線とが平行になるので、対応点の探索がより容易になる。
【０１４１】
また、上記の構造解析装置において適用される構造解析方法は、前述の距離算出方法によって算出された距離ρｒ及び距離ρｌと第１及び第２の被写体像とからステレオ部周囲の３次元構造を抽出する構造解析工程を備えることが考えられる。
【０１４２】
この構造解析方法では、第１及び第２のカメラ部からそれらの周囲の情景を構成する３次元構造物上の点までの距離が算出できる。従って、距離算出に利用した対応点の第１及び第２の被写体像上の点と算出された距離とから３次元構造を復元することが可能である。
【０１４３】
上記の距離算出装置、距離算出方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出することができる。また、上記の構造解析装置及び構造解析方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出できるので、被写体の３次元構造を抽出することが可能である。
【産業上の利用可能性】
【０１４４】
本発明に係る校正方法を適用することによって、例えば、距離算出装置、距離算出方法、構造解析装置及び構造解析方法は、車両や移動ロボットなどのナビゲーションシステムや周辺監視システムに利用することが可能である。
【図面の簡単な説明】
【０１４５】
【図１】本発明に係る魚眼カメラの校正方法を適用する構造解析装置を含むナビゲーションシステムの一実施形態の構成を示すブロック図である。
【図２】被写体像の一例を示す模式図である。
【図３】球面画像の斜視図である。
【図４】（ａ）は、魚眼レンズの結像特性を示す図である。（ｂ）は、図４（ａ）に示したｘｙ平面を示す図である。
【図５】内部パラメータの算出に利用する校正パターンの平面図である。
【図６】世界座標系からカメラ座標系への変換関係を示す図である。
【図７】外部パラメータの算出に利用する校正パターンの平面図である。
【図８】実空間上の点が投影された第１及び第２の球面画像を示す図である。
【図９】経緯度画像の平面図である。
【図１０】第１及び第２の球面画像及びで決定されるエピポーラ平面の模式図である。
【図１１】ナビゲーションシステムの動作を示すフローチャートである。
【図１２】内部パラメータ及び外部パラメータの校正方法を示すフローチャートである。
【図１３】本発明に係る魚眼カメラの校正方法を適用する距離算出装置の一実施形態を利用したナビゲーションシステムの構成を示すブロック図である。
【図１４】校正された画像平面の平面図である。
【図１５】校正用のボックスパターンの斜視図である。
【図１６】図１５に示したボックスパターンの被写体像の図である。
【図１７】実施例としての構造解析装置が有する一対のカメラを示す図である。
【図１８】図７に示した校正パターンの被写体像を示す図である。
【図１９】図１７に示した一対のカメラを利用して撮影して取得された被写体像の図である。
【図２０】（ａ）は、図１９（ａ）に示した被写体像から形成された経緯度画像の図である。（ｂ）は、図１９（ｂ）に示した被写体像から形成された経緯度画像の図である。（ｃ）は、視差図である。
【符号の説明】
【０１４６】
３ｌ…球面画像（第１の球面画像）、３ｒ…球面画像（第２の球面画像）、５…エピポーラ平面、６ｌ…経緯度画像（第１の経緯度画像）、６ｒ…経緯度画像（第２の経緯度画像）、７ｌ，７ｒ…エピポーラ線、１０…ステレオカメラ部、１１ｌ…カメラ（第１のカメラ部）、１１ｒ…カメラ（第２のカメラ部）、２１…球面画像形成部、２２…メモリ部、２３…パラメータ算出部、２４…校正部、２５…経緯度画像形成部、２６…対応点探索部、２７…距離算出手段、２７Ａ…視差算出部、２７Ｂ…距離算出部、２８…構造解析部、１００…構造解析装置、１１０…距離算出装置、Ｃｌ…円弧、Ｃｒ…円弧、ｄ…視差、ｅ１ｌ，ｅ２ｌ…第１の球面画像の一対のエピポール、ｅ１ｒ，ｅ２ｒ…第２の球面画像の一対のエピポール、ｆ…第１及び第２のカメラ部の焦点距離、Ｏｌ…原点（第１のカメラ座標系の原点、第１の魚眼レンズの焦点、第１の球面画像の中心）、Ｏｒ…原点（第２のカメラ座標系の原点、第２の魚眼レンズの焦点、第２の球面画像の中心）、ｐｌ…対応点（第１の対応点）、ｐｒ…対応点（第２の対応点）、Ｓｃ…カメラ座標系（第１のカメラ座標系）、Ｓｌ…カメラ座標系（第２のカメラ座標系）、Ｓｗ…世界座標系（所定の世界座標系）、Ｒ１ｌ…実空間上の点と第１の対応点を通る直線、Ｒ１ｒ…実空間上の点と第２の対応点を通る直線、Ｒ２…第１及び第２の球面画像の中心を通る直線。
【図１】
0004825980.tif 000074
【図２】
0004825980.tif 000075
【図３】
0004825980.tif 000076
【図４】
0004825980.tif 000077
【図５】
0004825980.tif 000078
【図６】
0004825980.tif 000079
【図７】
0004825980.tif 000080
【図８】
0004825980.tif 000081
【図９】
0004825980.tif 000082
【図１０】
0004825980.tif 000083
【図１１】
0004825980.tif 000084
【図１２】
0004825980.tif 000085
【図１３】
0004825980.tif 000086
【図１４】
0004825980.tif 000087
【図１５】
0004825980.tif 000088
【図１６】
0004825980.tif 000089
【図１７】
0004825980.tif 000090
【図１８】
0004825980.tif 000091
【図１９】
0004825980.tif 000092
【図２０】
0004825980.tif 000093