(57)【要約】【課題】同一時刻における全天周の球面画像を得ることができる撮像装置及びその撮像装置における撮像系パラメータの校正方法を提供することである。【解決手段】  撮像装置３は、外光が入射する面１１ｌ，１１ｒが互いに反対側に位置するように配置されており、画角ｗが１８０度以上の一対の魚眼レンズ１０ｌ，１０ｒと、一対の魚眼レンズの間に配置され、各魚眼レンズを通った外光の光路を変更して、それらの外光を同じ側に伝搬させる光路変更素子２０と、光路変更素子によって光路が変更された外光に基づいて形成される各被写体像５０ｌ，５０ｒを共に撮像できる撮像手段３０とを備える。この撮像装置３においては、一対の魚眼レンズの一方と前記光路変更素子と前記撮像手段とを含んで第１の撮像部６０ｌが構成されており、一対の魚眼レンズの他方と前記光路変更素子と前記撮像手段とを含んで第２の撮像部６０ｒが構成されている。【選択図】図２
2005244861.tif 000002
【特許請求の範囲】
【請求項１】
外光が入射する面が互いに反対側に位置するように配置されており、画角が１８０度以上の一対の魚眼レンズと、
前記一対の魚眼レンズの間に配置され、各魚眼レンズを通った外光の光路を変更して、それらの外光を同じ側に伝搬させる光路変更素子と、
前記光路変更素子によって光路が変更された外光に基づいて形成される各被写体像を共に撮像できる撮像手段と
を備え、
前記一対の魚眼レンズの一方と前記光路変更素子と前記撮像手段とを含んで第１の撮像部が構成されており、前記一対の魚眼レンズの他方と前記光路変更素子と前記撮像手段とを含んで第２の撮像部が構成されていることを特徴とする撮像装置。  
【請求項２】
前記撮像手段は、１つの撮像素子から構成されていることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記光路変更素子は、各魚眼レンズ側に反射面を有する反射鏡であることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像手段によって撮像された各被写体像から、系外の全天周にわたる画像情報を球体の表面に有する球面画像を形成する画像形成手段を備えることを特徴とする請求項１〜請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記画像形成手段は、
前記撮像手段によって撮像された各被写体像を、前記第１及び第２の撮像部が有する魚眼レンズの像面の画像中心及びその魚眼レンズの焦点距離に基づいて、前記被写体像の画像情報を半球体の表面に有する半球面画像に変換する画像変換部と、
前記画像変換部において得られた各半球面画像を、前記第１及び第２の撮像部の相対姿勢情報及び前記各魚眼レンズの像面の画像中心に基づいて結合することによって前記球面画像を形成する画像形成部と
を備えることを特徴とする請求項４に記載の撮像装置。  
【請求項６】
前記画像形成手段は、
前記撮像手段で撮像される各被写体像について、異なる方向に延びる２組の平行線群の、被写体像における２組の消失点対を算出する消失点算出部と、
前記第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの像面の画像中心を、前記消失点算出部において算出された２組の消失点対に基づいて算出する画像中心算出部と、
前記第１及び第２の撮像部が有する魚眼レンズに対して、その魚眼レンズの焦点距離を、前記消失点算出部において算出された２組の消失点対の少なくとも一方の消失点対間の距離に基づいて算出する焦点距離算出部と、
前記画像中心算出部及び前記焦点距離算出部で算出された画像中心及び焦点距離に基づいて被写体像から変換される半球面画像に含まれており物体空間における水平線に略平行な直線群の第１消失点及び前記直線群に略直交する直線群の第２消失点に基づいて、前記第１及び第２の撮像部の相対姿勢情報を取得する姿勢情報取得部と、
前記相対姿勢情報を取得するための各半球面画像に含まれており前記各魚眼レンズの視野の重複領域に対応する領域における画像の相関に基づいて、前記焦点距離算出部で算出された焦点距離及び前記姿勢情報取得部で取得された相対姿勢情報を校正する校正部と
を備え、
前記画像変換部は、前記第１及び第２の撮像部で撮像された被写体像に対して、前記画像中心算出部によって算出された画像中心及び前記校正部によって校正された焦点距離に基づいて前記被写体像を半球面画像に変換し、
前記画像形成部は、前記画像変換部で得られた各半球面画像を、前記画像中心算出部によって算出された画像中心及び前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項５に記載の撮像装置。  
【請求項７】
外光が入射する面が互いに反対側に位置するように配置されており、画角が１８０度以上の一対の魚眼レンズと、前記一対の魚眼レンズの間に配置され、各魚眼レンズを通った外光の光路を変更して、それらの外光を同じ側に伝搬させる光路変更素子と、前記光路変更素子によって光路が変更された外光に基づいて形成される各被写体像を共に撮像できる撮像手段とを備える撮像装置が有しており、前記一対の魚眼レンズの一方と前記光路変更素子と前記撮像手段とを含んで構成される第１の撮像部及び前記一対の魚眼レンズの他方と前記光路変更素子と前記撮像手段とを含んで構成される第２の撮像部それぞれによって撮像される被写体像に対して、異なる方向に延びている２組の平行線群の、被写体像における２組の消失点対を、算出する消失点算出工程と、
前記第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの像面の画像中心を、前記消失点算出工程で算出された２組の消失点対に基づいて算出する画像中心算出工程と、
前記第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの焦点距離を、前記消失点算出工程で算出された２組の消失点対の少なくとも一方の消失点対間の距離に基づいて算出する焦点距離算出工程と、
前記撮像手段によって撮像された各被写体像を、前記画像中心算出工程及び前記焦点距離算出工程で算出された画像中心及び焦点距離に基づいて、被写体像の画像情報を半球体の表面に有する半球面画像に変換する画像変換工程と、
前記画像変換工程において得られた各半球面画像に含まれており物体空間における水平線に略平行な直線群の第１消失点及び前記直線群に略直交する直線群の第２消失点に基づいて、前記第１及び第２の撮像部の相対姿勢情報を取得する姿勢情報取得工程と、
前記相対姿勢情報を取得するための各半球面画像に含まれており前記各魚眼レンズの視野の重複領域に対応する領域における画像の相関に基づいて前記焦点距離算出工程で算出された焦点距離及び前記姿勢情報取得工程で取得された相対姿勢情報を校正する校正工程と
を備えることを特徴とする撮像系パラメータ校正方法。
【請求項８】
前記姿勢情報取得工程は、
基準座標系における前記第１消失点の位置ベクトル及び前記第２消失点の位置ベクトルから前記第１の撮像部の座標系における第１消失点の位置ベクトル及び第２消失点の位置ベクトルに変換する第１の変換行列を算出する第１の行列算出工程と、
前記基準座標系における前記第１消失点の位置ベクトル及び前記第２消失点の位置ベクトルから前記第２の撮像部の座標系における前記第１消失点の位置ベクトル及び前記第２消失点の位置ベクトルに変換する第２の変換行列を算出する第２の行列算出工程と、
前記第１及び第２の変換行列に基づいて前記第１の撮像部の座標系から前記第２の撮像部の座標系に変換する第３の変換行列を算出する第３の行列算出工程と
を備えることを特徴とする請求項７に記載の撮像系パラメータ校正方法。    
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天周球面画像を取得するための撮像装置及びその撮像系パラメータの校正方法に関するものである。
【背景技術】
【０００２】
３６０度の全天周画像を撮像する手法として、例えば、特許文献１に記載の撮像装置を用いた方法がある。特許文献１に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向９０度の画角を有する魚眼レンズを有する。特許文献１に記載の手法では、空間を１つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を１８０度回転させて反対方向の半球体の画像を取得する。そして、それぞれの画像を結合して全天周の画像を形成する。
【特許文献１】特開２０００−２２１３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の撮像装置を用いた手法では、撮像装置を回転させることによって半球体ごとに異なる時刻に撮影した画像を合成している。そのため、同一時刻における全天周の画像を得ることができない。
【０００４】
そこで、本発明の目的は、同一時刻における全天周の球面画像を得ることができる撮像装置及びその撮像装置における撮像系パラメータの校正方法を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る撮像装置は、外光が入射する面が互いに反対側に位置するように配置されており、画角が１８０度以上の一対の魚眼レンズと、一対の魚眼レンズの間に配置され、各魚眼レンズを通った外光の光路を変更して、それらの外光を同じ側に伝搬させる光路変更素子と、光路変更素子によって光路が変更された外光に基づいて形成される各被写体像を共に撮像できる撮像手段とを備え、上記一対の魚眼レンズの一方と前記光路変更素子と前記撮像手段とを含んで第１の撮像部が構成されており、上記一対の魚眼レンズの他方と前記光路変更素子と前記撮像手段とを含んで第２の撮像部が構成されていることを特徴とする。
【０００６】
上記撮像装置では、第１及び第２の撮像部が有する各魚眼レンズによって撮像装置の周りに位置する被写体からの外光が装置内に取り込まれる。各魚眼レンズを通って撮像装置内に取り込まれた外光は、光路変更素子によって撮像手段側に伝搬するように光路が変更される。そして、それらの外光により形成される各被写体像が共に撮像手段によって撮像される。
【０００７】
上記撮像装置は、画角が１８０度以上の一対の魚眼レンズを用いており、それらが上記のように配置されている。そのため、一方の魚眼レンズによって、撮像装置の周囲３６０度のうちほぼ半分の領域に位置する被写体からの外光が取り込まれ、他方の魚眼レンズから残りのほぼ半分の領域に位置する被写体からの外光が取り込まれる。したがって、第１及び第２の撮像部で共に撮像される各被写体像は、２つ合わせて撮像装置の周囲３６０度にわたる画像情報を有している。そのため、それらの被写体像を用いることによって全天周の球面画像を形成することが可能である。上記撮像装置では、魚眼レンズを動かさずに各被写体像を共に上述した撮像手段で撮像しているため、同一時刻における全天周の球面画像を得ることができる。
【０００８】
また、本発明に係る撮像装置における上記撮像手段は、１つの撮像素子から構成されていることが好ましい。この場合、第１及び第２の撮像部が有する魚眼レンズによる被写体像を同時に撮像することができる。
【０００９】
更に、本発明に係る撮像装置における上記光路変更素子は、各魚眼レンズ側に反射面を有する反射鏡であることが好適である。この場合、反射鏡の各魚眼レンズ側の反射面によって各魚眼レンズからの外光を反射することができる。
【００１０】
更にまた、本発明に係る撮像装置においては、上記撮像手段により撮像された各被写体像から、系外の全天周にわたる画像情報を球体の表面に有する球面画像を形成する画像形成手段を備えることが好適である。この画像形成手段によって、上記球面画像を得ることができる。
【００１１】
また、本発明に係る撮像装置における上記画像形成手段は、撮像手段によって撮像された各被写体像を、第１及び第２の撮像部が有する魚眼レンズの像面の画像中心及びその魚眼レンズの焦点距離に基づいて、被写体像の画像情報を半球体の表面に有する半球面画像に変換する画像変換部と、画像変換部において得られた各半球面画像を、第１及び第２の撮像部の相対姿勢情報及び各魚眼レンズの像面の画像中心に基づいて結合することによって上記球面画像を形成する画像形成部とを備えることが好適である。
【００１２】
上述したように第１及び第２の撮像部で共に取得された各被写体像の画像情報は、系外（撮像装置外）の全天周のほぼ半分毎の画像情報に相当する。したがって、画像変換部で得られる各半球面画像は、上記全天周におけるほぼ半分毎の画像情報を有している。そのため、画像形成部で半球面画像を結合することによって、上述した球面画像を得ることが可能である。
【００１３】
更に、本発明に係る撮像装置における上記画像形成手段は、（１）撮像手段で撮像される各被写体像について、異なる方向に延びる２組の平行線群の、被写体像における２組の消失点対を算出する消失点算出部と、（２）第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの像面の画像中心を、消失点算出部において算出された２組の消失点対に基づいて算出する画像中心算出部と、（３）第１及び第２の撮像部が有する魚眼レンズに対して、その魚眼レンズの焦点距離を、消失点算出部において算出された２組の消失点対の少なくとも一方の消失点対間の距離に基づいて算出する焦点距離算出部と、（４）画像中心算出部及び焦点距離算出部で算出された画像中心及び焦点距離に基づいて被写体像から変換される半球面画像に含まれており物体空間における水平線に略平行な直線群の第１消失点及び前記直線群に略直交する直線群の第２消失点に基づいて、第１及び第２の撮像部の相対姿勢情報を取得する姿勢情報取得部と、（５）相対姿勢情報を取得するための各半球面画像に含まれており各魚眼レンズの視野の重複領域に対応する領域における画像の相関に基づいて、焦点距離算出部で算出された焦点距離及び姿勢情報取得部で取得された相対姿勢情報を校正する校正部とを備え、（６）画像変換部は、第１及び第２の撮像部で撮像された被写体像に対して、画像中心算出部によって算出された画像中心及び校正部によって校正された焦点距離に基づいて被写体像を半球面画像に変換し、（７）画像形成部は、画像変換部で得られた各半球面画像を、画像中心算出部によって算出された画像中心及び校正部で校正された相対姿勢情報に基づいて結合して上記球面画像を形成することが好適である。
【００１４】
この場合、物体空間における上記２組の平行線群の、被写体像における２組の消失点対が消失点算出部によって算出され、この２組の消失点対に基づいて、各魚眼レンズの像面の画像中心が画像中心算出部によって求められる。これにより、各魚眼レンズの像面の画像中心が校正される。
【００１５】
更に、焦点距離算出部によって、上記２組の消失点対の少なくとも一方の消失点対間の距離に基づいて各魚眼レンズの焦点距離が求められる。また、上述のように算出された画像中心及び焦点距離を用いて被写体像から変換される半球面画像内の上記第１消失点及び第２消失点を利用して、第１及び第２の撮像部の相対姿勢情報が、姿勢情報取得部で取得される。その相対姿勢情報及び焦点距離が更に校正部によって校正される。このため、上記焦点距離及び相対姿勢情報はより正確な値になっている。
【００１６】
そして、画像変換部において、上記画像中心算出部で算出された画像中心、及び、校正部で構成された焦点距離を用いて、被写体像が半球面画像に変換される。更に、その半球面画像が、校正部で校正された相対姿勢情報及び上記画像中心を利用して球面画像に結合される。上記のように、校正された画像中心及び焦点距離に基づいて得られた２つの半球面画像を、その画像中心及び相対姿勢情報に基づいて結合しているため、その結合領域での画像のずれが低減される。
【００１７】
また、本発明に係る撮像系パラメータ校正方法は、（１）上述した一対の魚眼レンズと光路変更素子と撮像手段と、を備える撮像装置が有しており、上記一対の魚眼レンズの一方と前記光路変更素子と前記撮像手段とを含んで構成される第１の撮像部及び上記一対の魚眼レンズの他方と前記光路変更素子と前記撮像手段とを含んで構成される第２の撮像部それぞれによって撮像される被写体像に対して、異なる方向に延びている２組の平行線群の、被写体像における２組の消失点対を、算出する消失点算出工程と、（２）第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの像面の画像中心を、消失点算出工程で算出された２組の消失点対に基づいて算出する画像中心算出工程と、（３）第１及び第２の撮像部が有する魚眼レンズに対して、魚眼レンズの焦点距離を、消失点算出工程で算出された２組の消失点対の少なくとも一方の消失点対間の距離に基づいて算出する焦点距離算出工程と、（４）撮像手段によって撮像された各被写体像を、画像中心算出工程及び焦点距離算出工程で算出された画像中心及び焦点距離に基づいて、被写体像の画像情報を半球体の表面に有する半球面画像に変換する画像変換工程と、（５）画像変換工程において得られた各半球面画像に含まれており物体空間における水平線に略平行な直線群の第１消失点及び前記直線群に略直交する直線群の第２消失点に基づいて、第１及び第２の撮像部の相対姿勢情報を取得する姿勢情報取得工程と、（６）相対姿勢情報を取得するための各半球面画像に含まれており各魚眼レンズの視野の重複領域に対応する領域における画像の相関に基づいて焦点距離算出工程で算出された焦点距離及び姿勢情報取得工程で取得された相対姿勢情報を校正する校正工程とを備えることを特徴とする。
【００１８】
この撮像系パラメータ校正方法では、消失点算出工程において算出される２組の消失点対に基づいて各魚眼レンズの像面の画像中心が算出される。また、上記２組の消失点の少なくとも一方を用いて各魚眼レンズの焦点距離が算出される。
【００１９】
次に、このようにして算出された各魚眼レンズの像面の画像中心と各魚眼レンズの焦点距離とに基づいて、第１及び第２の撮像部によって共に撮像された被写体像それぞれを半球面画像に変換する。魚眼レンズが画角１８０度以上を有しているので、半球面画像それぞれには上述した第１消失点及び第２消失点が現れている。上記姿勢情報取得工程では、この第１消失点及び第２消失点を利用して第１の撮像部と第２の撮像部の相対姿勢情報を取得する。
【００２０】
また、魚眼レンズの画角が１８０度以上であるため、各魚眼レンズの視野に重複領域がある。その重複領域に相当する各半球面画像内の領域の画像特性はほぼ一致するため、その領域における画像の相関を取ることによって、焦点距離算出工程で算出された焦点距離、及び、姿勢情報取得工程で取得された相対姿勢情報を更に校正する。なお、画像の相関は、例えば、輝度情報が一致するようにすれば良い。
【００２１】
上記校正方法では、画像中心は、２組の平行線群の、被写体像における２組の消失点対に基づいて算出されることによって校正されている。そして、焦点距離算出工程及び姿勢情報取得工程で得られた焦点距離及び相対姿勢情報は、校正工程で更に校正される。したがって、上記校正方法によって、撮像装置の撮像系パラメータである画像中心、焦点距離及び相対姿勢情報はより正確になる。
【００２２】
そのため、上述のように、全天周球面画像を、第１及び第２の撮像部で撮像された各被写体像の画像情報を有する各半球面画像を結合して形成する場合、その結合部における画像のずれを低減できる。
【００２３】
更に、本発明に係る撮像系パラメータ校正方法における姿勢情報取得工程は、基準座標系における第１消失点の位置ベクトル及び第２消失点の位置ベクトルから第１の撮像部の座標系における第１消失点の位置ベクトル及び第２消失点の位置ベクトルに変換する第１の変換行列を算出する第１の行列算出工程と、基準座標系における第１消失点の位置ベクトル及び第２消失点の位置ベクトルから第２の撮像部の座標系における第１消失点の位置ベクトル及び第２消失点の位置ベクトルに変換する第２の変換行列を算出する第２の行列算出工程と、第１及び第２の変換行列に基づいて第１の撮像部の座標系から第２の撮像部の座標系に変換する第３の変換行列を算出する第３の行列算出工程とを備えることが好適である。
【００２４】
これにより、各半球面画像の第１消失点及び第２消失点に基づいて、第１の撮像部の座標系から第２の撮像部の座標系に変換する第３の変換行列を算出することができる。この第３の変換行列は、第１の撮像部と第２の撮像部との相対姿勢情報に相当する。
【発明の効果】
【００２５】
本発明によれば、同一時刻における全天周の球面画像を得ることができる撮像装置及びその撮像装置における撮像系パラメータの校正方法を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【００２７】
まず、本実施形態の撮像装置で得るべき球面画像について説明する。本実施形態において球面画像とは、系外の全天周（周囲３６０度）に位置する各被写体の画像情報が球体の表面に投影されたものである。図１を参照してより具体的に説明する。
【００２８】
図１は、球面画像を説明する図である。図１に示すように、空間上に単位半径の球体１を考え、その中心Ｏを原点として互いに直交するＸ軸、Ｙ軸、Ｚ軸を設定する。空間上の任意の点Ｐｉ（ｉは任意の整数）と球の中心Ｏとを結ぶ球体の表面２上の点をｐｉとする。点ｐｉと原点Ｏとを結ぶ直線のＺ軸からの仰角をθｉとし、Ｘ軸からの方位角をφｉとすると、点ｐｉの位置ベクトルは、次のように表される。
【数１】
2005244861.tif 000003
この点ｐｉは点Ｐｉが球体の表面へ投影された点に相当する。すなわち、点Ｐｉからの光が中心Ｏに向かって進んでいるときに球体１の表面２と交わる点がｐｉであり、点ｐｉは点Ｐｉからの光が担う画像を形成するために必要な情報（画像情報）を有している。したがって、球体１の表面２には、中心Ｏから見ることができる、系外の周囲３６０度に位置する被写体を投影することができる。このように画像情報を有している球体１の表面２が球面画像に相当する。
【００２９】
本実施形態の撮像装置は、このような球面画像を一度の撮影によって得ることができることを特徴とする。
【００３０】
図２及び図３を参照して本実施形態の撮像装置３について説明する。図２は、本実施形態の撮像装置３の構成を示す模式図である。撮像装置３は、一対の魚眼レンズ１０ｌ，１０ｒと、直角ミラー（光路変更素子）２０と、撮像素子（撮像手段）３０と、画像形成手段４０とを含んで構成される。
【００３１】
魚眼レンズ１０ｌ，１０ｒは、画角ｗが１８５度であって、外光が入射する面１１ｌ，１１ｒが互いに反対側に位置するように配置されている。本実施形態において、魚眼レンズ１０ｌ，１０ｒとは、必ずしも１つのレンズを意味するものではなく、画角ｗが１８０度以上になるように設計され魚眼レンズ特性を有するレンズ系をも含んでいる意味である。図２の魚眼レンズ１０ｌ，１０ｒは、全天周のほぼ半分の領域に位置する被写体を像面に投影する。言い換えれば、図１の球体１の半球体の表面上の画像情報を像面に投影する。魚眼レンズ１０ｌ，１０ｒの射影方式は、等距離射影方式ある。
【００３２】
直角ミラー２０は、一対の魚眼レンズ１０ｌ，１０ｒの間であって各魚眼レンズ１０ｌ，１０ｒの光軸上に配置されている。直角ミラー２０は、各魚眼レンズ１０ｌ，１０ｒ側それぞれに反射面２１ｌ，２１ｒを有しており、反射面２１ｌ，２１ｒは互いに直交している。直角ミラー２０は、各魚眼レンズ１０ｌ，１０ｒからほぼ等距離に配置されている。魚眼レンズ１０ｌ，１０ｒから入射した被写体からの外光それぞれは、その光路が反射面２１ｌ，２１ｒによって略直角に曲げられて撮像素子３０側に伝搬するようになっている。すなわち、直角ミラー２０は、一対の魚眼レンズ１０ｌ，１０ｒの間に配置され、各魚眼レンズ１０ｌ，１０ｒを通った外光の光路を変更して、それらの外光を同じ側に伝搬させる反射鏡であって光路変更素子として機能している。
【００３３】
撮像素子３０は、その撮像素子３０が有しており複数の画素からなる受光面３１が、各魚眼レンズ１０ｌ，１０ｒの直角ミラー２０を介した結像面（以下、単に「像面」ともいう）に位置するように配置されている。撮像素子３０は、例えば、複数の画素が平面上に配置されたＣＣＤ（Charge Coupled Device）である。
【００３４】
図２（ｂ）は、撮像素子３０の受光面３１の平面図である。受光面３１は、互いに隣接した第１及び第２の受光領域３１ｌ，３１ｒを有している。図２（ｂ）中、二点鎖線は仮想的な線であって、受光面３１は１つである（すなわち、撮像素子３０は１つである）。第１の受光領域３１ｌに魚眼レンズ１０ｌによる被写体像５０lが結像され、第２の受光領域３１ｒに魚眼レンズ１０ｒによる被写体像５０ｒが結像される。撮像素子３０は、魚眼レンズ１０ｌ，１０ｒに入射した被写体からの外光によって形成される被写体像５０ｌ，５０ｒを同時に取得する。
【００３５】
上記構成では、撮像装置３は、魚眼レンズ１０ｌと直角ミラー２０と撮像素子３０とを含んで構成される第１の撮像部６０ｌを有している。また、撮像装置３は、魚眼レンズ１０ｒと直角ミラー２０と撮像素子３０とを含んで構成される第２の撮像部６０ｒを有している。
【００３６】
図２（ａ）を参照すると、撮像素子３０上に結像され取得された各被写体像５０ｌ，５０ｒは、受光面３１を構成する画素ごとに電気信号に変換されて画像形成手段４０に入力される。
【００３７】
図３は、画像形成手段４０のブロック図である。画像形成手段４０は、ＣＰＵなどを備えたいわゆるコンピュータであり、撮像素子３０で取得された一対の被写体像５０ｌ，５０ｒから球面画像を形成する。画像形成手段４０は、パラメータ格納部４１と、画像変換部４２と、画像形成部４３とを含んでいる。パラメータ格納部４１は、撮像装置３の撮像系パラメータである魚眼レンズ１０ｌ，１０ｒの像面の画像中心ＯＩｌ，ＯＩｒの位置座標、魚眼レンズ１０ｌ，１０ｒの焦点距離ｆｌ，ｆｒ、及び、第１及び第２の撮像部６０ｌ，６０ｒの相対姿勢情報を格納している。
【００３８】
画像変換部４２は、平面画像である被写体像５０ｌを、その被写体像５０ｌが有する画像情報を半球体の表面に有する半球面画像に変換する。また、画像変換部４２は、平面画像である被写体像５０ｒを、その被写体像５０ｒが有する画像情報を半球体の表面に有する半球面画像に変換する。
【００３９】
図４を参照して、被写体像を半球面画像に変換するための原理について説明する。図４（ａ）は魚眼レンズの結像特性を説明するための図である。図４（ａ）は、魚眼レンズが中心Ｏに位置しており、魚眼レンズの視野内の点Ｐｉ（図１のＰｉに相当）からの外光が魚眼レンズに入射している状態を示している。なお、ここでは、説明を簡便化するため図４に記載の魚眼レンズの画角は１８０度としている。
【００４０】
図４（ｂ）は、魚眼レンズの像面５０を示す図である。等距離射影方式の魚眼レンズでは、図４（ａ）に示す点Ｐｉは、図４（ｂ）の像面５０において、位置座標（ｒi，φｉ）で表される点ｑｉに投影される。すなわち、点Ｐｉは、方位角φｉは変わらず、画像中心ＯＩからの距離ｒｉが次の式で表される点ｑｉに投影される。
【数２】
2005244861.tif 000004
ここで、ｆは、魚眼レンズの焦点距離である。（式２）より、仰角θｉは、以下の式から算出される。
【数３】
2005244861.tif 000005
（式３）を（式１）に代入すると、以下の式が得られる。
【数４】
2005244861.tif 000006
図４に示す点ｑｉは、図１の点Ｐｉの平面上への投影点であって、図１において点Ｐｉを球体１の表面２上に投影した点ｐｉに対応している。ところで、点ｐiと点ｑiとで方位角φiは一致している。したがって、（式４）は、点ｑｉの位置座標から点ｐiの位置座標を得ることができることを示している。
【００４１】
ここで、魚眼レンズで得られる被写体像は点ｑｉの集まりである。したがって、被写体像を構成している各画素（すなわち、点ｑｉ）の位置座標を特定することによって被写体像を半球面画像に変換することができる。
【００４２】
なお、上述したように撮像素子３０で取得された被写体像５０ｌ，５０ｒは、画素ごとに電気信号に変換されているため、被写体像を構成している各画素の位置は、撮像素子３０の画素の位置に対応させて取得することができる。
【００４３】
以下の説明では、第１及び第２の撮像部６０ｌ，６０ｒで取得された各被写体像から得られる半球面画像それぞれを、第１及び第２の半球面画像と称す。この第１及び第２の半球面画像は、第１及び第２の撮像部６０ｌ，６０ｒの極座標系で表される。この際、画像中心ＯＩｌ，ＯIｒは、魚眼レンズ１０ｌ，１０ｒの光学中心に対応する。
【００４４】
図３を参照すると、画像形成部４３は、画像変換部４２において得られる第１及び第２の半球面画像を、第１及び第２の撮像部６０ｌ，６０ｒの相対姿勢情報、及び、画像中心ＯＩｌ，ＯＩｒに基づいて合成して球面画像を形成する。より具体的には、第１及び第２の半球面画像の画像中心ＯＩｌ，ＯＩｒを一致させ、第１及び第２の半球面画像が互いに反対向きになるように結合して球面画像を形成する。
【００４５】
上記のように球面画像は、撮像系パラメータ（画像中心、焦点距離、相対姿勢情報）を利用して形成されている。したがって、撮像系パラメータが撮像装置３において校正される必要がある。
【００４６】
再度図３を参照すると、上記画像形成手段４０は、撮像系パラメータを校正するための、消失点算出部４４と、画像中心算出部４５と、焦点距離算出部４６と、姿勢情報取得部４７と、校正部４８とを有している。
【００４７】
消失点算出部４４は、撮像素子３０で撮像された被写体像５０ｌ，５０ｒに基づいて、物体空間において異なる方向に延びる２組の平行線群の、被写体像における２組の消失点対を算出する。２組の平行線群とは、互いに斜交する２本の直線にそれぞれ略平行な直線群を意味している。また、消失点とは、平行線群に含まれる互いに平行な複数の直線が無限遠で交わる点である。魚眼レンズ１０ｌ，１０ｒは、画角ｗが１８５度であるため、消失点は被写体像５０ｌ，５０ｒ中に現れる。なお、直線はある１点を基準にするとその両側に延びているので、各被写体像５０ｌ，５０ｒには、一対の消失点（すなわち、消失点対）が現れる。
【００４８】
消失点算出部４４は、互いに斜交する２組の平行線群の被写体像から上記２組の消失点対の位置座標を算出してもよい。また、消失点算出部４４は、１つの平行線群（第１の平行線群）の被写体像から１つの消失点対を算出し、第１の平行線群を構成する直線と異なる方向に延びている直線から構成される平行線群（第２の平行線群）の被写体像から他の消失点対を算出してもよい。
【００４９】
消失点算出の原理について説明する。物体空間における直線は、魚眼レンズの像面では（被写体像中では）円錐曲線になる。そこで、まず、被写体像において、上記平行線群に含まれる直線に対応する曲線を円錐曲線でフィッティングして複数の円錐曲線関数ｆｊ（ｘ，ｙ）を算出する。フィッティングする場合には、フィッティングによる誤差を低減するために、最小二乗法を用いる。
【００５０】
そして、消失点は被写体像中に現れている（平面上に位置する）ため、消失点の位置座標を（ｘｖ，ｙｖ）としたときにｆｊ（ｘｖ，ｙｖ）＝０が成立する。更に、理論的には消失点において各円錐曲線は互いに交差しているため、再度最小二乗法を適用することによって消失点の位置座標（ｘｖ，ｙｖ）を算出することができる。
【００５１】
消失点算出部４４は、被写体像５０ｌにおいて２組の消失点対を算出し、被写体像５０ｒにおいて２組の消失点対を算出する。
【００５２】
画像中心算出部４５は、消失点算出部４４において算出された２組の消失点対の位置座標を消失点算出部４４から取得し、各消失点対を結ぶ２本の直線の交点として、魚眼レンズの像面における画像中心ＯＩを算出する。
【００５３】
画像中心算出部４５は、第１及び第２の撮像部６０ｌ，６０ｒが有する魚眼レンズ１０ｌ，１０ｒの像面それぞれに対して画像中心ＯＩｌ，ＯＩｒを算出する。画像中心算出部４５は、この画像中心ＯＩｌ，ＯＩｒの位置座標をパラメータ格納部４１に格納する。
【００５４】
焦点距離算出部４６は、消失点算出部４４において算出された２組の消失点対の位置座標を消失点算出部４４から取得して、次式から魚眼レンズの焦点距離ｆを算出する。
【数５】
2005244861.tif 000007
ここで、ｒπは、１組の消失点間の距離である。
【００５５】
焦点距離算出部４６は、魚眼レンズ１０ｌについて、対応する２組の消失点対の少なくとも一方を用いてその焦点距離ｆｌを算出する。焦点距離算出部４６は、魚眼レンズ１０ｒについても、対応する２組の消失点対の少なくとも一方を用いて焦点距離ｆｒを算出する。焦点距離算出部４６は、これらの焦点距離ｆｌ，ｆｒをパラメータ格納部４１に格納する。
【００５６】
姿勢情報取得部４７は、第１及び第２の撮像部６０ｌ，６０ｒの相対姿勢情報を取得する。本実施形態において相対姿勢情報とは、第１の撮像部６０ｌの極座標系から第２の撮像部６０ｒの極座標系への回転行列（第３の変換行列）を意味する。
【００５７】
第１の撮像部６０ｌの極座標系から第２の撮像部６０ｒの極座標系への回転行列（相対姿勢情報）を取得する原理を説明する。姿勢情報取得部４７は、魚眼レンズ１０ｌ，１０ｒの画角ｗが１８５度であることから第１及び第２の半球面画像に消失点が現れていることを利用して、相対姿勢情報を取得する。以下により具体的に説明する。
【００５８】
第１及び第２の撮像部６０ｌ，６０ｒによって得られた被写体像５０ｌ，５０ｒから変換された第１及び第２の半球面画像は、第１及び第２の撮像部６０ｌ，６０ｒの極座標系を用いてあらわされている。通常、第１及び第２の半球面画像それぞれには、物体空間における水平線に略平行な直線群の像及びその消失点（以下、「第１消失点」という）、並びに、水平線に直交する方向（鉛直方向）に延びる直線に略平行な直線群の像及びその消失点（以下、「第２消失点」という）が現れている。
【００５９】
ここで、第１の撮像部６０ｌの極座標系における第１消失点の位置ベクトルをｐ１ｈｃとし、第２消失点の位置ベクトルをｐ１ｖｃとする。そして、３次元座標系である世界座標（基準座標）での上記第１消失点の位置ベクトルをｐｈｗとし、第２消失点の位置ベクトルをｐｖｗとする。この場合、世界座標系から第１の撮像部６０ｌの極座標系への回転行列（第１の変換行列）をＲ１ｃｗとすると以下の式が成り立つ。
【数６】
2005244861.tif 000008
【数７】
2005244861.tif 000009
Ｒ１ｃｗは上述したように回転行列であって、３つの変数が含まれているが、（式６）及び（式７）を用いることで、６個の方程式が成り立つため、Ｒ１ｃｗを算出可能である。
【００６０】
ところで、第１及び第２の半球面画像を結合することによって１つの球面画像を形成した場合、第１の半球面画像の第１消失点と第２の半球面画像の第１消失点とは一致し、第１の半球面画像の第２消失点と第２の半球面画像の第２消失点とは一致する。したがって、（式６）及び（式７）におけるｐｈｗ及びｐｖｗは、第２の半球面画像の第１消失点ｐ２ｈｃ及び第２消失点ｐ２ｖｃにも変換可能である。すなわち、世界座標系から第２の撮像部６０ｒの極座標系への変換行列（第２の変換行列）をＲ２ｃｗとすると、以下の式が成り立つ。
【数８】
2005244861.tif 000010
【数９】
2005244861.tif 000011
（式８）及び（式９）よりＲ２ｃｗが算出できる。
【００６１】
そして、式（６）と式（８）、又は、（式７）と（式９）より、Ｒ１ｃｗ及びＲ２ｃｗに基づいて第１の撮像部６０ｌの極座標系から第２の撮像部６０ｒの極座標系への回転行列Ｒを算出することができる。
【００６２】
姿勢情報取得部４７は、上述した（式６）及び（式７）よりＲ１ｃｗを算出し、（式８）及び（式９）よりＲ２ｃｗを算出して、更に回転行列Ｒを算出し、パラメータ格納部４１に格納する。
【００６３】
上記変換行列Ｒを取得するために用いる第１及び第２の半球面画像は、画像中心算出部４５で算出された画像中心ＯＩｌ，ＯＩｒ及び焦点距離算出部４６で算出された焦点距離ｆｌ，ｆｒに基づいて被写体像５０ｌ，５０ｒから変換された第１及び第２の半球面画像である。この第１及び第２の半球面画像は、画像変換部４２が、姿勢情報取得部４７の指示により形成するようにすればよい。また、校正を実施する際には、画像変換部４２が第１及び第２の半球面画像を形成した場合、それらの画像データを画像形成部４３が取得せずに、姿勢情報取得部４７が取得するようにしてもよい。
【００６４】
なお、第１消失点ｐ１ｈｃ，ｐ２ｈｃ及び第２消失点ｐ１ｖｃ，ｐ２ｖｃを得るための平行線群としては、例えば、被写体像５０ｌ，５０ｒに含まれている人工物（建物、道路など）の縁を利用すればよい。
【００６５】
校正部４８は、各魚眼レンズ１０ｌ，１０ｒの焦点距離ｆｌ，ｆｒ、及び相対姿勢情報（回転行列Ｒ）を校正する。校正部４８が、各魚眼レンズ１０ｌ，１０ｒの焦点距離ｆｌ，ｆｒ、及び相対姿勢情報を校正する原理を説明する。
【００６６】
図５は、撮像装置３の撮影可能な領域を示す図である。図５中の斜線部は、魚眼レンズ１０ｌ，１０ｒの視野を示している。魚眼レンズ１０ｌ，１０ｒは、画角ｗが１８５度であるので、それらの視野に重複領域αがある。校正部４８は、第１及び第２の半球面画像に含まれる上記重複領域αに対応する領域内の点ｐｌ，ｐｒを抽出する。言い換えれば、物体空間における重複領域α内の物点に対応する第１の半球面画像内の点ｐｌと、その同じ物点に対応する第２の半球面画像内の点ｐｒとを抽出する。なお、ここで用いる第１及び第２の半球面画像は、回転行列Ｒを取得するために用いた画像である。
【００６７】
点ｐｌ及び点ｐｒは、重複領域αに含まれる物点に対応する像点であって第１及び第２の半球面画像に含まれる点であるので、その画像情報（例えば、輝度）は一致する。したがって、点ｐｌ及び点ｐｒおける画像の輝度をＬｌ（ｐｌ）及びＬｒ（ｐｒ）とすると、理論的には以下の式が成り立つ。
【数１０】
2005244861.tif 000012
実際には、撮像系パラメータの誤差により（式１０）は近似的に成立する。したがって、次の目的関数Ｆ（the objective function）が最小になるような焦点距離ｆｌ，ｆｒ及び回転行列Ｒを求めることで焦点距離ｆｌ，ｆｒ及び相対姿勢情報を校正することが可能である。言い換えれば、重複領域αに対応する第１及び第２の半球面画像の領域の画像の相関に基づいて焦点距離算出部４６で算出された焦点距離ｆｌ，ｆｒ及び回転行列Ｒを校正することが可能である。なお、ここでは、画像中心ＯＩｌ，ＯＩｒは、上述したように２本の直線の交点として求められているため、より正確な値になっているとしている。
【数１１】
2005244861.tif 000013
Ｎは、物体空間における重複領域αに対応する第１及び第２の半球面画像内の領域に含まれる画素の数である。（式１１）において、右辺の和（式中のΣ）は、重複領域αに対応する第１の半球面画像（又は第２の半球面画像）内の領域に含まれる複数（Ｎ個）のｐｌ（又はｐｒ）に対する和である。またＬｌａｖ及びＬｒａｖは、第１及び第２の半球面画像において、重複領域αに対応する領域に含まれる複数の画素の輝度の平均値である。（式１１）を適用するため、校正部４８は、Ｌｌａｖ及びＬｒａｖを算出する機能も有している。
【００６８】
次に、上記撮像装置３により全天周球面画像を形成する方法について説明する。全天周球面画像を形成するために、まず、上記撮像装置３の撮像系パラメータの校正方法について説明する。
【００６９】
図６は、撮像系パラメータの校正方法のフローチャートである。なお、図６に示す消失点算出工程Ｓ１０の実施前にパラメータ格納部４１には、撮像系パラメータは格納されていないものとする。
【００７０】
（消失点算出工程Ｓ１０）
図７〜図９は一対の消失点の算出工程を示す図である。まず、図７に示す黒領域と白領域とが交互に並んでいる格子パターン７０を撮像装置３の第１の撮像部６０ｌで撮像する。格子パターン７０において、黒領域と白領域との境界は互いに平行な直線であるため、複数の境界線７１１〜７１６が、一定の方向に延びる平行線群（第１の平行線群）７１に相当する。図８は、格子パターン７０の被写体像７２（５０ｌ）の模式図である。図８に示すように魚眼レンズ１０ｌで取得された被写体像は、円形（球画像）になっている。
【００７１】
撮像素子３０（図２参照）で被写体像７２が取得されると、消失点算出部４４（図３参照）は、図８に示す被写体像７２の曲線に円錐曲線をフィッティングする。これにより、消失点算出部４４は、図９（ａ）に示す複数の円錐曲線関数ｆｊ（ｘ，ｙ）（例えば、ｆ１、ｆ２など）を算出する。続いて、その円錐曲線関数ｆｊ（ｘ，ｙ）を利用し、消失点算出部４４の説明の際に記載した原理に基づいて消失点対７３ｌ，７４ｌを算出する。
【００７２】
次に、同じ格子パターン７０を、例えば、略９０度回転させて再度第１の撮像部６０ｌで撮像する。消失点算出部４４は、消失点対７３ｌ，７４ｌを算出した場合と同様にして、図９（ｂ）に示す消失点対７５ｌ，７６ｌを算出する。この場合、格子パターン７０が回転しているため、第１の平行線群を構成する直線（図７における境界線７１１〜７１６）が延びる方向と異なる平行線群（第２の平行線群）に対応する消失点対７５ｌ，７６ｌが算出される。以上の工程を、第２の撮像部６０ｒについても同様に実施して、消失点対７３ｌ，７４ｌに対応する消失点対７３ｒ，７４ｒを算出し、消失点対７５ｌ，７６ｌに対応する消失点対７５ｒ，７６ｒを算出する。
【００７３】
（画像中心算出工程Ｓ１１）
図１０及び図１１は、画像中心を算出する工程を示す図である。画像中心算出部４５は、消失点算出部４４から消失点７３ｌ，７４ｌ，７５ｌ，７６ｌの位置座標を取得する。
【００７４】
画像中心算出部４５は、図１０（a），（ｂ）それぞれに示すように、消失点対７３ｌ，７４ｌを結ぶ直線７７と消失点対７５ｌ，７６ｌを結ぶ直線７８とを算出する。そして、直線７７と直線７８との交点を魚眼レンズ１０ｌの像面の画像中心ＯIｌとして特定する。図１１は、算出された画像中心ＯＩｌを図８の被写体像７２に重ねて示した図である。
【００７５】
上記では、第１の撮像部６０ｌについて説明しているが、画像中心算出部４５は、魚眼レンズ１０ｒの像面に対しても画像中心ＯＩｒの位置座標を算出する。画像中心算出部４５は、取得した画像中心ＯＩｌ，ＯＩｒの位置座標をパラメータ格納部４１に格納する。
【００７６】
（焦点距離算出工程Ｓ１２）
また、焦点距離算出部４６は、消失点算出部４４から消失点対７３ｌ，７４ｌ（又は消失点対７５ｌ，７６ｌ）及び消失点対７３ｒ，７４ｒ（又は消失点対７５ｒ，７６ｒ）の位置座標を取得する。焦点距離算出部４６は、消失点対７３ｌ，７４ｌ（又は消失点対７５ｌ，７６ｌ）間の距離に対して（式５）を適用して魚眼レンズ１０ｌの焦点距離ｆｌを算出する。
【００７７】
上記では、第１の撮像部６０ｌについて説明しているが、焦点距離算出部４６は、魚眼レンズ１０ｒの焦点距離ｆｒも消失点対７３ｒ，７４ｒ（又は、消失点対７５ｒ，７６ｒ）間の距離を用いて（式５）から算出する。焦点距離算出部４６は、算出した焦点距離ｆｌ，ｆｒをパラメータ格納部４１に格納する。
【００７８】
本実施形態では、図６に示すように、画像中心算出工程Ｓ１１の次に焦点距離算出工程Ｓ１２を実施するようにしているが、これらの順番は特に限定されず、焦点距離算出工程Ｓ１２を先に実施しても良い。
【００７９】
（画像変換工程Ｓ１３）
次に、格子パターン７０を除いて撮像装置３の周囲の風景（被写体）を撮像する。この場合、画像変換部４２は、撮像素子３０によって撮像された各被写体像５０ｌ，５０ｒを、画像中心算出工程Ｓ１１及び焦点距離算出工程Ｓ１２で算出された画像中心ＯＩｌ，ＯＩｒ及び焦点距離ｆｌ，ｆｒに基づいて、第１及び第２の半球面画像に変換する。なお、この画像変換工程Ｓ１３は、姿勢情報取得部４７から画像変換部４２への指示に基づいて行うようにしても良い。
【００８０】
（姿勢情報取得工程Ｓ１４）
次に、姿勢情報取得部４７は、画像変換工程Ｓ１３において得られた第１の半球面画像から上述した第１消失点ｐ１ｈｃ及び第２消失点ｐ１ｖｃを抽出する。また、姿勢情報取得部４７は、得られた第２の半球面画像から第１消失点ｐ２ｈｃ及び第２消失点ｐ２ｖｃを抽出する。上記第１消失点ｐ１ｈｃ，ｐ２ｈｃとは、上述したように、物体空間における水平線に略平行な直線群の、第１及び第２の半球面画像での消失点である。また、第２消失点ｐ１ｖｃ，ｐ２ｖｃとは、物体空間における水平線に直交する方向（鉛直方向）に延びる直線に略平行な直線群の、第１及び第２の半球面画像での消失点である。
【００８１】
次に、姿勢情報取得部４７は、（式６）及び（式７）を用いて世界座標系から第１の撮像部６０ｌの極座標系への回転行列Ｒ１ｃｗを算出する（第１の行列算出工程）。また、姿勢情報取得部４７は、（式８）及び（式９）を用いて世界座標系から第２の撮像部６０ｒの極座標系への回転行列Ｒ２ｃｗを算出する（第２の行列算出工程）。更に、姿勢情報取得部４７は、回転行列Ｒ１ｃｗ，Ｒ２ｃｗを用いて第１の撮像部６０ｌの極座標系から第２の撮像部６０ｒの極座標系への変換行列Ｒを算出する（第３の行列算出工程）。姿勢情報取得部４７は、その変換行列Ｒをパラメータ格納部４１に格納する。
【００８２】
（校正工程Ｓ１５）
姿勢情報取得工程Ｓ１４で、相対姿勢情報が取得されると、校正部４８は、画像変換工程Ｓ１１で変換された第１及び第２の半球面画像において、魚眼レンズ１０ｌ，１０ｒの視野の重複領域α（図５参照）に対応する領域内の点ｐl，ｐｒを抽出する。そして、点ｐｌ，ｐｒにおける画像の相関に基づいて、より具体的には（式１１）に基づいて、焦点距離算出工程Ｓ１２で算出された焦点距離ｆｌ，ｆｒ及び姿勢情報取得工程Ｓ１４で取得された相対姿勢情報（すなわち、パラメータ格納部４１に格納されている焦点距離ｆｌ，ｆｒ及び相対姿勢情報）を校正する。
【００８３】
以上の工程により、撮像装置３の撮像系パラメータが校正される。この撮像系パラメータが上記方法によって１度校正されると、それを用いて球面画像を形成することが可能である。
【００８４】
次に、球面画像形成方法について説明する。図１２は、球面画像を形成するためのフローチャートである。
【００８５】
（撮像工程Ｓ２０）
まず、撮像装置３を撮影すべき風景を撮影可能な位置に設置し、第１及び第２の撮像部６０ｌ，６０ｒで撮像装置３の周囲の風景を撮影する。
【００８６】
（画像変換工程Ｓ２１）
撮像素子３０が一対の被写体像５０ｌ，５０ｒを取得すると、撮像素子３０はそれらを電気信号に変換して画像変換部４２に入力する。画像変換部４２は、一対の被写体像５０ｌ，５０ｒを第１及び第２の半球面画像に変換する。この際、画像変換部４２は、上記校正方法により校正されパラメータ格納部４１に格納されている画像中心ＯＩｌ，ＯＩｒ及び焦点距離ｆｌ，ｆｒに基づいて第１及び第２の半球面画像を形成する。
【００８７】
（画像形成工程Ｓ２２）
次に、画像形成部４３は、画像変換部４２で形成された第１及び第２の半球面画像を、パラメータ格納部４１に格納されている画像中心ＯＩｌ，ＯＩｒ及び相対姿勢情報（すなわち、回転行列Ｒ）を用いて結合して、全天周の球面画像を形成する。
【００８８】
上記校正方法の説明では、上述したように、消失点算出工程Ｓ１０（図６参照）の実施前にはパラメータ格納部４１に撮像系パラメータが格納されていないとしたが、例えば、撮像装置３を設計した場合に得られる設計値が格納されていてもよい。この場合は、上記工程ごとに格納されているパラメータが校正される。
【００８９】
次に、実施例を参照して上述した本実施形態の撮像系パラメータの校正方法が奏する効果についてより具体的に説明する。図１３は、上記校正方法を実際に適用したカメラシステムを示す図である。図１３のカメラシステムは図２に示す撮像装置３のモデルである。図１３のカメラシステムは、画角ｗが１８５度の魚眼レンズを有するカメラを互いに反対向きに配置したものである。魚眼レンズは、ＦＣＯＮ−０２（オリンパス株式会社製）を用いた。
【００９０】
図１４は、図１３に示すカメラシステムによる撮影方向を示す模式図である。図１４に示す円の中心Ｏｃに上記カメラシステムが配置されている。この場合、一対のカメラは、互いに反対方向（図中のＡ方向及びＢ方向）を撮影するようになっている。
【００９１】
図１５は、上記カメラシステムで撮影した被写体像の図である。図中の一対の画像のうち、例えば、左側の図が図１４中のＡ方向の画像であり、右側の図がＢ方向の画像である。図１５に示されている一対の画像は一度の撮影で得られている。
【００９２】
図１６は、比較のために撮像系パラメータを構成せずに形成した球面画像の一部の図である。図１６（ａ）は、形成された球面画像のうち、図１４のＣ方向の画像であり、図１６（ｂ）は、図１４のＤ方向の画像である。また、図中右側の拡大図は、球面画像を構成している第１及び第２の半球面画像の結合領域を拡大している図である。図１６に示すように結合領域で画像にずれが生じていることがわかる。
【００９３】
図１７は、上述した校正方法を実施した後に形成した球面画像の一部の図である。図１７（ａ），（ｂ）は、図１６（ａ），（ｂ）と同様に、球面画像における図１４のＣ方向及びＤ方向の画像である。上記校正方法を実施した場合には、図１７に示すように結合領域における画像のずれが低減されている。
【００９４】
上述した本実施形態に係る撮像装置３では、画角ｗが１８５度の魚眼レンズ１０ｌ，１０ｒが、互いに反対側の被写体を撮影するように配置されている。したがって、魚眼レンズ１０ｌによって、撮像装置３の周囲３６０度のうちほぼ半分の領域に位置する被写体からの外光が取り込まれ、魚眼レンズ１０ｒから残りのほぼ半分の領域に位置する被写体からの外光が取り込まれる。そのため、第１及び第２の撮像部６０ｌ，６０ｒで共に撮像される被写体像５０ｌ，５０ｒは、２つ合わせて撮像装置３の周囲３６０度にわたる画像情報を有している。したがって、それらの各被写体像５０ｌ，５０ｒを半球面画像に変換して結合することにより同一時刻における全天周の球面画像を得ることができる。撮像装置３では、この球面画像の形成を、画像形成手段４０によって実施している。
【００９５】
また、被写体像５０ｌ，５０ｒから球面画像を形成する工程においては、撮像装置３の撮像系パラメータが用いられるが、上述した本実施形態の撮像系パラメータの校正方法により撮像系パラメータを校正できるため、球面画像を形成したときに、球面画像中で画像のずれが低減されている。
【００９６】
特に、本実施形態の校正方法では、画角ｗが１８５度の魚眼レンズ１０ｌ，１０ｒを用いていることから被写体像５０ｌ，５０ｒ（第１及び第２の半球面像中）それぞれに現れる消失点を利用して校正している。より具体的には、２組の消失点対を利用して画像中心ＯＩｌ（又は画像中心ＯＩｒ）を算出しているため、画像中心ＯＩｌ，ＯＩｒがより正確になっている。また、１組の消失点対を利用して焦点距離ｆｌ（又は焦点距離ｆｒ）を算出した後に、相対姿勢情報（回転行列Ｒ）を算出している。そして、それらの焦点距離ｆｌ，ｆｒ及び回転行列Ｒを、魚眼レンズ１０ｌ，１０ｒの視野の重複領域αを利用して更に校正している。そのため、撮像系パラメータがより正確な値となっており、図１７に示すように結合領域において画像のずれが少ない球面画像を形成することができる。
【００９７】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。例えば、撮像装置３は、画像形成手段４０を備えていなくてもよい。この場合は、撮像素子からの電気信号を撮像装置３の外部に位置するコンピュータなどに転送して画像形成手段４０が実施する処理を実施して球面画像を形成すればよい。
【００９８】
また、光路変更素子は、直角ミラーとしているが、魚眼レンズ１０ｌ，１０ｒからの光を撮像素子側に反射できればよい。例えば、光路変更素子として、図１８に示すような反射鏡９０を用いても良い。反射鏡９０は、２つの反射面９１ｌ，９１ｒのなす角度Ｑが６０度になっているものである。この場合は、撮像素子３０の受光面３１を小さくすることが可能である。
【００９９】
更に、消失点算出工程Ｓ１０では、図７に示すような格子パターン７０を校正用パターンとして用いているが、例えば、図１９に示すような校正用パターン８０を用いても良い。校正用パターン８０は、互いに平行な複数の直線８１１〜８１６と、それらに直交する互いに平行な複数の直線８２１〜８２６から構成されている。なお、直線８１１〜８１６と直線８２１〜８２６は必ずしも直交していなくても斜交していればよい。また、格子パターン７０のような校正用パターンを用いずに、第１消失点ｐ１ｈｃ（ｐ２ｈｃ）及び第２消失点ｐ１ｖｃ（ｐ２ｖｃ）を構成する平行線群を利用しても良い。
【０１００】
更にまた、魚眼レンズ１０ｌ，１０ｒの画角ｗは１８５度としているが、１８０度以上ならばよい。更に、魚眼レンズ１０ｌ，１０ｒの射影方式は等距離射影方式としているが、これに限られない。また、画像形成手段４０は、撮像系パラメータ格納部４１を備えているが、特に有していなくても良く、いわゆるコンピュータなどが有しているメモリなどを利用すればよい。更に、撮像手段は、１つの撮像素子３０としているが、例えば、２つの撮像素子を用いてもよい。この場合には、各魚眼レンズ１０ｌ，１０ｒの光路変更素子を介した結像面に各撮像素子の受光面が位置するように配置すればよい。
【産業上の利用可能性】
【０１０１】
本発明による撮像装置及び撮像系パラメータの校正方法は、監視用センサーや自走ロボットの視覚センサーなどに用いることができる。
【図面の簡単な説明】
【０１０２】
【図１】球面画像を説明する図である
【図２】本実施形態の撮像装置３の構成を示す模式図である
【図３】画像形成手段４０のブロック図である
【図４】被写体像を半球面画像に変換する原理を説明するための図である。
【図５】撮像装置３の撮影可能な領域を示す模式図である
【図６】撮像系パラメータの校正方法のフローチャートである。
【図７】一対の消失点の算出工程を示す図である。
【図８】一対の消失点の算出工程を示す図である。
【図９】一対の消失点の算出工程を示す図である。
【図１０】画像中心を算出する工程を示す図である。
【図１１】画像中心を算出する工程を示す図である。
【図１２】球面画像を形成するためのフローチャートである。
【図１３】本実施形態の撮像系パラメータ校正方法を適用するカメラシステムの写真の図である。
【図１４】図１３のカメラシステムの撮影方向を示す図である。
【図１５】図１３に示すカメラシステムで一度に撮像した被写体像の図である
【図１６】比較のための球面画像の一部の図である。
【図１７】本実施形態に係る撮像系パラメータ校正方法を適用して形成された球面画像の一部の図である。
【図１８】光路変更素子の他の形態を示す図である。
【図１９】消失点算出工程で用いるテストパターンの他の例を示す図である。
【符号の説明】
【０１０３】
３…撮像装置、１０ｌ，１０ｒ…魚眼レンズ、１１ｌ，１１ｒ…魚眼レンズの面、２０…直角ミラー（光路変更素子）、３０…撮像素子（撮像手段）４０…画像形成手段、４１…パラメータ格納部、４２…画像変換部、４３…画像形成部、４４…消失点算出部、４５…画像中心算出部、４６…焦点距離算出部、４７…姿勢情報取得部、４８…校正部、６０ｌ…第１の撮像部、６０ｒ…第２の撮像部。
【図１】
2005244861.tif 000014
【図２】
2005244861.tif 000015
【図３】
2005244861.tif 000016
【図４】
2005244861.tif 000017
【図５】
2005244861.tif 000018
【図６】
2005244861.tif 000019
【図７】
2005244861.tif 000020
【図８】
2005244861.tif 000021
【図９】
2005244861.tif 000022
【図１０】
2005244861.tif 000023
【図１１】
2005244861.tif 000024
【図１２】
2005244861.tif 000025
【図１３】
2005244861.tif 000026
【図１４】
2005244861.tif 000027
【図１５】
2005244861.tif 000028
【図１６】
2005244861.tif 000029
【図１７】
2005244861.tif 000030
【図１８】
2005244861.tif 000031
【図１９】
2005244861.tif 000032