(57)【要約】【課題】同一時刻における全天周の画像情報を取得可能な撮像装置、及び、その撮像装置に好適に適用できる撮像系パラメータの校正方法を提供する。【解決手段】  撮像装置１０Ａは、外面が入射面としての第１及び第２の湾曲面２２ａ，２３ａとなっている第１及び第２の結像手段２２，２３が結合されることによって構成される中空の像形成部２１と、像形成部の中心部２４に配置されると共に第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子２５と、第１及び第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１及び第２の被写体像３１，３２を共に撮像する撮像手段２６とを備える。そして、撮像装置が有する第１及び第２の結像手段は、第１及び第２の湾曲面に入射する入射光線を像形成部の中心部に集光する。【選択図】図３
2006222920.tif 000002
【特許請求の範囲】
【請求項１】
外面が入射面としての第１の湾曲面となっている第１の結像手段と外面が入射面としての第２の湾曲面となっている第２の結像手段とが結合されることによって構成される中空の像形成部と、
前記像形成部の中心部に配置される光路変更素子と、
前記第１の結像手段によって結像される第１の被写体像と前記第２の結像手段によって結像される第２の被写体像とを共に撮像する撮像手段と、
を備え、
前記第１及び第２の結像手段は、前記第１及び第２の湾曲面に入射する入射光線を前記像形成部の前記中心部に集光し、
前記光路変更素子は、前記第１及び第２の結像手段の各々に入射した入射光線の光路を変更して前記撮像手段に入射させ、
前記撮像手段は、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第２の被写体像とを共に撮像することを特徴とする撮像装置。
【請求項２】
前記第１及び第２の被写体像から、前記第１及び第２の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、
前記画像形成手段は、
前記第１及び第２の結像手段が有する焦点距離をｆＩ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩを原点として有すると共に前記像面に対応するＸＩＹＩ平面を有する３次元座標系を第１及び第２の画像座標系としたとき、前記第１及び第２の被写体像に含まれる画像情報を、前記第１及び第２の画像座標系の前記画像中心ＯＩを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する画像変換部と、
前記画像変換部において得られた第１及び第２の半球面画像を、前記第１の画像座標系と前記第２の画像座標系の相対姿勢情報に基づいて結合することによって前記球面画像を形成する画像形成部とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像形成手段は、
前記相対姿勢情報、前記画像中心ＯＩ及び前記焦点距離ｆＩを校正する校正部を更に備え、
前記画像変換部は、前記校正部によって校正された画像中心ＯＩ及び焦点距離ｆＩに基づいて前記第１及び第２の被写体像を第１及び第２の半球面画像に変換し、
前記画像形成部は、前記画像変換部で得られた前記第１及び第２の半球面画像を、前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１及び第２の結像手段のそれぞれの中心線と前記第１及び第２の結像手段に入射する入射光線とのなす角度をθＩとし、前記第１及び第２の結像手段に入射した前記入射光線と前記像面との交点に対応する前記ＸＩＹＩ平面上の点の前記画像中心ＯＩからの距離をｒＩとし、前記焦点距離ｆＩに依存しており前記距離ｒＩの歪みパラメータをｋＩとしたとき、前記距離ｒＩが、
【数１】
2006222920.tif 000060
と表されており、前記校正部は、式（１）のうちの２Ｎ−１（Ｎは、２以上の整数）次までの項を選択した、
【数２】
2006222920.tif 000061
を利用して、前記画像中心ＯＩ、前記焦点距離ｆＩ及び前記相対姿勢情報のうちの少なくとも一つを校正することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像手段は前記像形成部の内側に配置されており、前記画像形成手段は前記像形成部の外側に配置されており、
前記撮像手段は、前記第１及び第２の被写体像の画像情報を前記画像形成手段に送信する第１の通信部を有し、
前記画像形成手段は、前記第１の通信部によって送信された前記第１及び第２の被写体像の画像情報を受信する第２の通信部を有することを特徴とする請求項２〜４の何れか一項に記載の撮像装置。
【請求項６】
前記撮像手段及び前記画像形成手段は前記像形成部の外側に配置されていることを特徴とする請求項２〜４の何れか一項に記載の撮像装置。
【請求項７】
入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、前記第１の結像手段と前記第２の結像手段との間に配置されると共に前記第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備え、
前記第１及び第２の結像手段が有する焦点距離をｆＩ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩを原点として有すると共に前記像面に対応するＸＩＹＩ平面を有する３次元座標系を第１及び第２の画像座標系とし、前記第１及び第２の結像手段のそれぞれの中心線と前記第１及び第２の結像手段に入射する入射光線とのなす角度をθＩとし、前記第１及び第２の結像手段に入射した前記入射光線と前記像面との交点に対応する前記ＸＩＹＩ平面上の点の前記画像中心ＯＩからの距離をｒＩとし、前記焦点距離ｆＩに依存しており前記距離ｒＩの歪みパラメータをｋＩとしたとき、前記距離ｒＩが、
【数３】
2006222920.tif 000062
で表される撮像装置に対して適用され、
前記画像中心ＯＩ、前記焦点距離ｆＩ、及び、前記第１の画像座標系と前記第２の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、
前記パラメータ校正工程は、前記画像中心ＯＩ、前記焦点距離ｆＩ、及び、前記相対姿勢情報のうちの少なくとも１つを、式（３）のうち２Ｎ−１（Ｎは、２以上の整数）次の項までを選択した、
【数４】
2006222920.tif 000063
を利用して校正することを特徴とする撮像系パラメータの校正方法。
【請求項８】
前記パラメータ校正工程は、
前記第１及び第２の被写体像を取得する像取得工程と、
３つ以上の前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて前記画像中心Ｏ１を校正する画像中心校正工程と、
Ｎ個以上の前記第１及び第２の被写体像に含まれる消失点の前記第１及び第２の画像座標系における位置座標、及び、式（４）を利用して前記焦点距離ｆＩを校正する焦点距離校正工程と、
３つ以上の前記第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、前記第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする請求項７に記載の撮像系パラメータの校正方法。
【請求項９】
前記パラメータ校正工程は、
前記第１及び第２の被写体像を取得する像取得工程と、
前記像取得工程で取得された前記第１及び第２の被写体像の画像情報を、前記第１及び第２の画像座標系での前記画像中心ＯＩを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する第１の画像変換工程と、
式（４）の逆関数をη（ｒＩ；ｋＩ，１〜ｋＩ，２ｉ−１）（ただし、ｉは、Ｎまでの２以上の整数）として、θＩを、
【数５】
2006222920.tif 000064
とし、前記第１及び第２の結像手段の校正後の画像中心の位置座標を（ｘＩ，ｃ，ｙＩ，ｃ）、実空間での直線パターンの投影像内の点の前記ＸＩＹＩ平面における位置座標を（ｘＩ，ｙＩ）とし、前記距離ｒＩを、
【数６】
2006222920.tif 000065
とし、φＩを、
【数７】
2006222920.tif 000066
とし、式（５）〜式（７）に基づいて表されると共に前記第１及び第２の半球面画像が有する前記直線パターンの投影像を含む平面の法線ベクトルｎＩが、前記第１及び第２の画像座標系が有するＺＩ軸となす角度をθＩｎとし、前記法線ベクトルｎＩがＸＩ軸となす角度をφＩｎとし、前記平面の方程式に基づいた評価関数ξ１Ｉを
【数８】
2006222920.tif 000067
としたとき、式（８）を最小にするようにｘＩ,ｃ、ｙＩ,ｃ、ｋＩ,１〜ｋＩ,２ｉ−１を決めることによって内部パラメータとしての前記画像中心ＯＩ及び前記焦点距離ｆＩを校正する内部パラメータ校正工程と、
前記撮像手段によって同時に取得された一対の第１及び第２の被写体像の画像情報を、前記内部パラメータ校正工程で校正された前記画像中心ＯＩを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する第２の画像変換工程と、
前記第２の画像変換工程で得られた第１の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎＬとし、前記第２の画像変換工程で得られた第２の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎＲとし、校正された前記画像中心ＯＩを原点とする前記第２の画像座標系から前記第１の画像座標系への変換行列をＲＬＲとし、評価関数ξ２を、
【数９】
2006222920.tif 000068
としたとき、式（９）を最小にする変換行列ＲＬＲを決定することによって前記相対姿勢情報を校正する相対姿勢情報校正工程とを備えることを特徴とする請求項７に記載のパラメータの校正方法。
【請求項１０】
前記パラメータ校正工程は、
前記第１及び第２の被写体像を取得する像取得工程と、
前記第１及び第２の被写体像の画像情報を、前記第１及び第２の画像座標系での前記画像中心ＯＩを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する画像変換工程と、
式（４）の逆関数をη（ｒＩ；ｋＩ，１〜ｋＩ，２ｉ−１）（ただし、ｉは、Ｎまでの２以上の整数）として、θＩを、
【数１０】
2006222920.tif 000069
とし、前記第１の結像手段の校正後の画像中心の位置座標を（ｘＩ，ｃ，ｙＩ，ｃ）とし、前記第１及び第２の被写体像に含まれる点の前記ＸＩＹＩ平面での位置座標を（ｘＩ，ｙＩ）とし、前記距離ｒＩを、
【数１１】
2006222920.tif 000070
とし、φＩを、
【数１２】
2006222920.tif 000071
としたときに、前記第１及び第２の半球面画像のうち前記位置座標（ｘＩ，ｙＩ）に対応する点の位置ベクトルｍＩを、
【数１３】
2006222920.tif 000072
とし、前記第２の画像座標系から前記第１の画像座標系への変換行列をＲＬＲとしたとき、前記第２の画像座標系で表される位置ベクトルｍＲを、前記変換行列ＲＬＲによって前記第１の画像座標系で表すことによって前記第１の画像座標系で表される球面画像を形成する画像形成工程と、
前記画像形成工程において形成された前記球面画像上の点ｍの位置ベクトルを、
【数１４】
2006222920.tif 000073
としたとき、点ｍに対応する実空間の点をＭｃとし、前記第１の画像座標系に回転行列Ｒ
【数１５】
2006222920.tif 000074
及び、並進行列Ｔ
【数１６】
2006222920.tif 000075
を利用して変換できる３次元座標系としての世界座標系における前記点Ｍｃの位置ベクトルを、
【数１７】
2006222920.tif 000076
として、Ｎｗを
【数１８】
2006222920.tif 000077
とし、評価関数Ｃを、
【数１９】
2006222920.tif 000078
としたとき、式（１９）を最小にするｘＩ,ｃ、ｙＩ，ｃ、ｋＩ，１〜ｋＩ，２ｉ−１（ただし、ｉはＮまでの２以上の整数）及び変換行列ＲＬＲを決定することによって、前記画像中心ＯＩ、前記焦点距離ｆＩ及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする請求項７に記載の撮像系パラメータの校正方法。
【請求項１１】
入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、前記第１の結像手段と前記第２の結像手段との間に配置されると共に前記第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、
前記第１及び第２の被写体像を取得する像取得工程と、
３つ以上の前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩ（Ｉは、第１の結像手段に対してはＬ、第２の結像手段に対してはＲ、以下同様とする）を校正する画像中心校正工程と、
前記画像中心校正工程で校正された前記画像中心ＯＩ、及び、前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点の前記画像中心ＯＩからの距離を利用して、前記第１及び第２の結像手段の焦点距離ｆＩを校正する焦点距離校正工程と、
３つ以上の前記第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、画像中心ＯＩを原点として有すると共に前記第１及び第２の結像手段の像面に対応するＸＩＹＩ平面を有する３次元座標系としての第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする撮像系パラメータの校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像系パラメータの校正方法に関するものである。
【背景技術】
【０００２】
周囲３６０度の全天周画像を撮像する方法として、例えば、特許文献１に記載の撮像装置を用いた方法がある。特許文献１に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向９０度の画角を有する魚眼レンズを有する。特許文献１に記載の手法では、空間を１つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を１８０度回転させて反対方向の半球体の画像を取得する。このようにして取得した２つの画像を結合して球面画像を形成する。
【特許文献１】特開２０００−２２１３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年では、床と天井や陸上と空などを同時にモニターできる監視カメラや、移動ロボットなどの移動体の視覚センサーとして、全方位の視覚情報を同時に取得できる撮像装置が求められている。しかしながら、特許文献１に記載の撮像装置を用いた手法では、撮像装置を回転させて全方位を撮影しているので、同一時刻における全天周の画像を得ることができない。
【０００４】
そこで、本発明は、同一時刻における全天周の画像情報を取得可能な撮像装置、及び、その撮像装置に好適に適用できる撮像系パラメータの校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る撮像装置は、外面が入射面としての第１の湾曲面となっている画角を有する第１の結像手段と外面が入射面としての第２の湾曲面となっている第２の結像手段とが結合されることによって構成される中空の像形成部と、像形成部の中心部に配置される光路変更素子と、第１の結像手段によって結像される第１の被写体像と第２の結像手段によって結像される第２の被写体像とを共に撮像する撮像手段と、を備え、第１及び第２の結像手段は、第１及び第２の湾曲面に入射する入射光線を像形成部の中心部に集光し、光路変更素子は、第１及び第２の結像手段の各々に入射した入射光線の光路を変更して撮像手段に入射させ、撮像手段は、第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像することを特徴とする。
【０００６】
上記撮像装置では、第１及び第２の結像手段が結合されて像形成部を構成しているため、像形成部の外面は第１及び第２の湾曲面を有することになる。これによって、像形成部の周囲の光が、像形成部内に取り込まれる。そして、第１及び第２の結像手段を通って像形成部内に取り込まれた光（入射光線）は、光路変更素子によって撮像手段側に伝搬するように光路が変更され、撮像手段が、第１及び第２の結像手段によって結像される第１及び第２の被写体像を共に取得する。
【０００７】
この場合、第１及び第２の被写体像は、像形成部の周囲に位置する被写体からの光によって形成されることになるので、第１及び第２の被写体像から、像形成部を中心としたほぼ全方位の画像情報を球体の表面に有する球面画像を形成することが可能である。そして、像形成部を動かさずに第１及び第２の被写体像を上述した撮像手段で撮像しているため、同一時刻における全天周の球面画像を得ることができる。
【０００８】
また、第１及び第２の結像手段を通った入射光線は、像形成部の中心部に集光されるので、像形成部は単一視点を有することになる。なお、球面画像を形成する観点から、第１及び第２の結像手段の画角は、１８０度であることが好適である。
【０００９】
また、本発明に係る撮像装置は、第１及び第２の被写体像から、第１及び第２の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、画像形成手段は、第１及び第２の結像手段が有する焦点距離をｆＩ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩを原点として有すると共に像面に対応するＸＩＹＩ平面を有する３次元座標系を第１及び第２の画像座標系としたとき、第１及び第２の被写体像に含まれる画像情報を、第１及び第２の画像座標系の画像中心ＯＩを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する画像変換部と、画像変換部において得られた第１及び第２の半球面画像を、第１の画像座標系と第２の画像座標系の相対姿勢情報に基づいて結合することによって球面画像を形成する画像形成部とを備えることが好ましい。
【００１０】
第１及び第２の被写体像が有する画像情報は、全天周のうちの半分毎の画像情報に相当する。そして、画像変換部は、第１及び第２の被写体像から第１及び第２の半球面画像を形成し、画像形成部がそれらを結合することによって球面画像を形成している。その結果、全天周の球面画像を確実に得ることが可能である。
【００１１】
また、本発明に係る撮像装置が有する画像形成手段は、相対姿勢情報、画像中心ＯＩ及び焦点距離ｆＩを校正する校正部を更に備え、画像変換部は、校正部によって校正された画像中心ＯＩ及び焦点距離ｆＩに基づいて第１及び第２の被写体像を第１及び第２の半球面画像に変換し、画像形成部は、画像変換部で得られた第１及び第２の半球面画像を、校正部で校正された相対姿勢情報に基づいて結合して球面画像を形成することが好適である。
【００１２】
この場合、校正部によって画像中心ＯＩ、焦点距離ｆＩ及び相対姿勢情報が校正され、画像変換部が、その校正された画像中心ＯＩ、焦点距離ｆＩ及び相対姿勢情報に基づいて第１及び第２の半球面画像及び球面画像を形成し、画像形成部がそれらを結合して球面画像を取得する。その結果として、より正確な球面画像を取得することができる。
【００１３】
そして、第１及び第２の結像手段のそれぞれの中心線と第１及び第２の結像手段に入射する入射光線とのなす角度をθＩとし、第１及び第２の結像手段に入射した入射光線と像面との交点に対応するＸＩＹＩ平面上の点の画像中心ＯＩからの距離をｒＩとし、焦点距離ｆＩに依存しており距離ｒＩの歪みパラメータをｋＩとしたとき、距離ｒＩが、
【数１】
2006222920.tif 000003
と表されており、校正部は、式（１）のうちの２Ｎ−１（Ｎは、２以上の整数）次までの項を選択した、
【数２】
2006222920.tif 000004
を利用して、画像中心ＯＩ、焦点距離ｆＩ及び相対姿勢情報のうちの少なくとも一つを校正することが好ましい。
【００１４】
式（１）は、第１及び第２の結像手段の結像特性に対応する。この式（１）から２Ｎ―１次までのＮ個の項を利用して校正する際には、より多くの第１及び第２の被写体像を利用して校正することになるので、結果として、より正確な校正が可能である。また、式（２）を利用して校正する際には、歪みパラメータとしてのｋＩを算出することになり、その結果として、歪みパラメータの校正も可能である。この歪みパラメータｋＩはｆＩに依存するため、歪みパラメータｋＩの算出は、焦点距離ｆＩの校正に相当することになる。
【００１５】
更にまた、本発明に係る撮像装置では、撮像手段は像形成部の内側に配置されており、画像形成手段は像形成部の外側に配置されており、撮像手段は、第１及び第２の被写体像の画像情報を画像形成手段に送信する第１の通信部を有し、画像形成手段は、第１の通信部によって送信された第１及び第２の被写体像の画像情報を受信する第２の通信部を有することが好ましい。
【００１６】
この場合、撮像手段が第１の通信部を有し、画像形成手段が第２の通信部を有するので、撮像手段によって取得された第１及び第２の被写体像の画像情報を確実に画像形成手段に入力することができる。そして、画像形成手段が像形成部の外側にあるので、例えば、像形成部を小型化することが可能である。
【００１７】
また、本発明に係る撮像装置では、撮像手段及び画像形成手段は像形成部の外側に配置することもできる。
【００１８】
ところで、従来の撮像装置では、魚眼レンズの光軸と像面との交点としての画像中心や魚眼レンズの焦点距離等が装置の組立誤差などによって設計値からずれるためそれらを校正する必要がある。また、上述したように２つの画像を組み合わせて球面画像を形成するためには、２つの画像を表す座標系の相対姿勢情報が必要となる。
【００１９】
通常、撮像系パラメータとしての焦点距離や画像中心や相対姿勢情報の校正は、例えば次のようにして実施されていた。すなわち、魚眼レンズに入射した光と像面との交点の画像中心からの距離をｒとし、入射光線と魚眼レンズの光軸とのなす角度をθとし、魚眼レンズの焦点距離をｆとしたとき、ｒがｆθや２ｆtanθなどで表される理論的な魚眼レンズの結像特性を利用して撮像系パラメータの校正が行われていた。
【００２０】
しかしながら、監視カメラや移動体の視覚センサーでは正確な情報を取得することが必要で有るため、撮像装置の撮像系パラメータのより正確な校正が求められてきているが、従来のように結像特性（ｆθや２ｆtanθ）を利用しても十分な校正ができなかった。
【００２１】
そこで、本発明に係る撮像系パラメータ校正方法は、（１）入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、（２）入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、（３）第１の結像手段と第２の結像手段との間に配置されると共に第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、（４）第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備え、第１及び第２の結像手段が有する焦点距離をｆＩ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩを原点として有すると共に像面に対応するＸＩＹＩ平面を有する３次元座標系を第１及び第２の画像座標系とし、第１及び第２の結像手段のそれぞれの中心線と第１及び第２の結像手段に入射する入射光線とのなす角度をθＩとし、第１及び第２の結像手段に入射した入射光線と像面との交点に対応するＸＩＹＩ平面上の点の画像中心ＯＩからの距離をｒＩとし、焦点距離ｆＩに依存しており距離ｒＩの歪みパラメータをｋＩとしたとき、距離ｒＩが、
【数３】
2006222920.tif 000005
で表される撮像装置に対して適用され、画像中心ＯＩ、焦点距離ｆＩ、及び、第１の画像座標系と第２の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、パラメータ校正工程は、画像中心ＯＩ、焦点距離ｆＩ、及び、相対姿勢情報のうちの少なくとも１つを、式（３）のうち２Ｎ−１（Ｎは、２以上の整数）次の項までを選択した、
【数４】
2006222920.tif 000006
を利用して校正することを特徴とする。
【００２２】
式（３）は、歪みパラメータとしてのｋＩを含んだ第１及び第２の結像手段の結像特性を表している。そして、その２Ｎ−１次までの項からなる式（４）を利用して画像中心ＯＩ、焦点距離ｆＩ、及び、相対姿勢情報のうちの少なくとも１つを校正するので、撮像系パラメータをより正確に校正できる。この歪みパラメータｋＩは、焦点距離ｆＩに依存しているので、焦点距離ｆＩの校正は、歪みパラメータｋＩを算出することに相当する。
【００２３】
そして、本発明に係る撮像系パラメータの校正方法におけるパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Ｏ１を校正する画像中心校正工程と、Ｎ個以上の第１及び第２の被写体像に含まれる消失点の第１及び第２の画像座標系における位置座標、及び、式（４）を利用して焦点距離ｆＩを校正する焦点距離校正工程と、３つ以上の第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることが好適である。
【００２４】
例えば、画像中心ＯＩは、第１及び第２の被写体像にそれぞれ含まれる一対の消失点の交点に基づいて求められるので、２つの第１及び第２の被写体像があれば校正できるが、上記方法では３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心ＯＩを校正しているので、より正確な画像中心ＯＩが得られる。
【００２５】
更に、式（４）では、式（１）からＮ個の項が選択されているため、結果として、Ｎ個のｋＩが含まれることになる。そして、Ｎ個以上の第１及び第２の被写体像に含まれる一対の消失点の位置座標を利用することによってｋＩを決定でき、その結果として、距離ｆＩを校正できる。また、３つ以上の第１及び第２の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、２つの第１及び第２の被写体像に基づいて校正する場合よりもより正確に校正できる。
【００２６】
更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、像取得工程で取得された第１及び第２の被写体像の画像情報を、第１及び第２の画像座標系での画像中心ＯＩを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する第１の画像変換工程と、式（４）の逆関数をη（ｒＩ；ｋＩ，１〜ｋＩ，２ｉ−１）（ただし、ｉは、Ｎまでの２以上の整数）として、θＩを、
【数５】
2006222920.tif 000007
とし、第１及び第２の結像手段の校正後の画像中心の位置座標を（ｘＩ，ｃ，ｙＩ，ｃ）、実空間での直線パターンの投影像内の点のＸＩＹＩ平面における位置座標を（ｘＩ，ｙＩ）とし、距離ｒＩを、
【数６】
2006222920.tif 000008
とし、φＩを、
【数７】
2006222920.tif 000009
とし、式（５）〜式（７）に基づいて表されると共に第１及び第２の半球面画像が有する直線パターンの投影像を含む平面の法線ベクトルｎＩが、第１及び第２の画像座標系が有するＺＩ軸となす角度をθＩｎとし、法線ベクトルｎＩがＸＩ軸となす角度をφＩｎとし、前述した平面の方程式に基づいた評価関数ξ１Ｉを
【数８】
2006222920.tif 000010
としたとき、式（８）を最小にするようにｘＩ，ｃ、ｙＩ，ｃ、ｋＩ，１〜ｋＩ，２ｉ−１を決めることによって内部パラメータとしての画像中心ＯＩ及び焦点距離ｆＩを校正する内部パラメータ校正工程と、撮像手段によって同時に取得された一対の第１及び第２の被写体像の画像情報を、内部パラメータ校正工程で校正された画像中心ＯＩを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する第２の画像変換工程と、第２の画像変換工程で得られた第１の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎＬとし、第２の画像変換工程で得られた第２の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎＲとし、校正された画像中心ＯＩを原点とする第２の画像座標系から第１の画像座標系への変換行列をＲＬＲとし、評価関数ξ２を、
【数９】
2006222920.tif 000011
としたとき、式（９）を最小にする変換行列ＲＬＲを決定することによって相対姿勢情報を校正する相対姿勢情報校正工程とを備えることが好適である。
【００２７】
式（５）〜式（７）より、式（８）で表される評価関数ξ１ＩのθＩｎ、φＩｎ、θＩ、φＩは、ｘＩ，ｃ、ｙＩ，ｃ、ｋＩ，１〜ｋＩ，２ｉ―１の関数である。従って、式（８）を利用することで画像中心ＯＩ及び焦点距離ｆＩを一緒に校正することができるので、校正に要する時間が短くなる。更に、式（５）より、θＩｎ、θＩには、歪みパラメータｋＩが含まれているので、歪みパラメータｋＩも算出できる。これは、焦点距離ｆＩの校正に相当し、焦点距離ｆＩをより正確に校正できることになる。
【００２８】
このようにして校正された画像中心ＯＩ及び焦点距離ｆＩを利用して、第２の画像変換工程では、撮像手段によって同時に取得された第１及び第２の被写体像から第１及び第２の半球面画像が形成される。この第１及び第２の半球面画像には、実空間での同じ直線パターンが含まれている。この場合、その直線パターンの第１の半球面画像内の像を含む平面の法線ベクトルｎＬは、ＲＬＲｎＲで表されることになる。したがって、式（９）を最小にする変換行列ＲＬＲを求めることで最適な変換行列ＲＬＲを決定することができる。
【００２９】
更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、第１及び第２の被写体像の画像情報を、第１及び第２の画像座標系での画像中心ＯＩを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する画像変換工程と、式（４）の逆関数をη（ｒＩ；ｋＩ，１〜ｋＩ，２ｉ−１）（ただし、ｉは、Ｎまでの２以上の整数）として、θＩを、
【数１０】
2006222920.tif 000012
とし、第１の結像手段の校正後の画像中心の位置座標を（ｘＩ，ｃ，ｙＩ，ｃ）とし、第１及び第２の被写体像に含まれる点のＸＩＹＩ平面での位置座標を（ｘＩ，ｙＩ）とし、距離ｒ１を、
【数１１】
2006222920.tif 000013
とし、φＩを、
【数１２】
2006222920.tif 000014
としたときに、第１及び第２の半球面画像のうち位置座標（ｘＩ，ｙＩ）に対応する点の位置ベクトルｍＩを、
【数１３】
2006222920.tif 000015
とし、第２の画像座標系から第１の画像座標系への変換行列をＲＬＲとしたとき、第２の画像座標系で表される位置ベクトルｍＲを、変換行列ＲＬＲによって第１の画像座標系で表すことによって第１の画像座標系で表される球面画像を形成する画像形成工程と、画像形成工程において形成された球面画像上の点ｍの位置ベクトルを、
【数１４】
2006222920.tif 000016
としたとき、点ｍに対応する実空間の点をＭｃとし、第１の画像座標系に回転行列Ｒ
【数１５】
2006222920.tif 000017
及び、並進行列Ｔ
【数１６】
2006222920.tif 000018
を利用して変換できる３次元座標系としての世界座標系における点Ｍｃの位置ベクトルを、
【数１７】
2006222920.tif 000019
として、Ｎｗを
【数１８】
2006222920.tif 000020
とし、評価関数Ｃを、
【数１９】
2006222920.tif 000021
としたとき、式（１９）を最小にするｘＩ,ｃ、ｙＩ,ｃ、ｋＩ，１〜ｋＩ，２ｉ−１（ただし、ｉはＮまでの２以上の整数）及び変換行列ＲＬＲを決定することによって、画像中心ＯＩ、前記焦点距離ｆＩ及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする
この場合、球面画像は、第２の画像座標系で表される第２の半球面画像の点ｍＲを変換行列ＲＬＲによって第１の画像座標系の点に変換することで第１及び第２の半球面画像を結合して形成されている。したがって、球面画像上の点ｍの位置ベクトルは、位置ベクトルｍＬ又は位置ベクトルＲＬＲｍＲによって表されることになる。
【００３０】
式（１０）〜式（１３）より、位置ベクトルｍが位置ベクトルｍＬに一致するときは、式（１３）に含まれるｕ，ｖ，ｓは、ｘＬ，ｃ、ｙＬ，ｃ、ｘＬ、ｙＬ及びｋＬ，１〜ｋＬ，２ｉ−１の関数になり、位置ベクトルｍが位置ベクトルｍＲに一致するときは、ｕ，ｖ，ｓは、ｘＲ，ｃ、ｙＲ，ｃ、ｘＲ、ｙＲ、ｋＲ，１〜ｋＲ，２ｉ−１、及び、ＲＬＲの関数になる。したがって、式（１８）を最小にするようにｘＩ,ｃ、ｙＩ,ｃ、ｋＩ，１〜ｋＩ，２ｉ−１及び変換行列ＲＬＲを決定することで、画像中心ＯＩ、焦点距離ｆＩ及び相対姿勢情報をより正確に校正できることになる。
【００３１】
また、本発明に係る撮像系パラメータの校正方法は、入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、第１の結像手段と第２の結像手段との間に配置されると共に第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、第１及び第２の被写体像を取得する像取得工程と、３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心ＯＩ（Ｉは、第１の結像手段に対してはＬ、第２の結像手段に対してはＲ、以下同様とする）を校正する画像中心校正工程と、画像中心校正工程で校正された画像中心ＯＩ、及び、第１及び第２の被写体像にそれぞれ含まれる一対の消失点の画像中心ＯＩからの距離に基づいて、第１及び第２の結像手段の焦点距離ｆＩを校正する焦点距離校正工程と、３つ以上の第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、画像中心ＯＩを原点として有すると共に第１及び第２の結像手段の像面に対応するＸＩＹＩ平面を有する３次元座標系としての第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする。
【００３２】
この場合、上記方法では３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心ＯＩを校正しているので、より正確な画像中心ＯＩが得られる。
【００３３】
また、画像中心ＯＩから消失点までの距離は、第１及び第２の結像手段の結像特性に依存している。そして、上記方法では、、画像中心校正工程で校正された画像中心ＯＩと、その画像中心ＯＩから消失点までの距離に基づいて焦点距離ｆＬを校正するので、第１及び第２の結像手段の結像特性に応じて焦点距離ｆＬを校正できる。そして、３つ以上の第１及び第２の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、２つの第１及び第２の被写体像に基づいて校正する場合よりもより正確に校正できる。
【発明の効果】
【００３４】
本発明の撮像装置によれば、同時刻に全天周の球面画像を形成することができる。そして、本発明の撮像系パラメータの校正方法によれば、同時刻に全天周の球面画像を形成するための撮像装置をより正確に校正することが可能である。
【発明を実施するための最良の形態】
【００３５】
以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【００３６】
（第１の実施形態）
まず、本実施形態の撮像装置で得るべき球面画像について説明する。本実施形態において球面画像とは、全天周（全方位３６０度）に位置する各被写体の画像情報が球体の表面に投影されたものである。図１を参照してより具体的に説明する。
【００３７】
図１は、球面画像を説明する図である。図１に示すように、空間上に単位半径の球体１を考え、その中心Ｏ１を原点として互いに直交するＸ軸、Ｙ軸、Ｚ軸を設定する。空間上の任意の点Ｍと球の中心Ｏ１とを結ぶ直線と球体１の表面２上の交点をｍとする。また、点ｍと原点Ｏ１とを結ぶ直線のＺ軸からの仰角をθとし、Ｘ軸からの方位角をφとすると、点ｍの位置ベクトルは、
【数２０】
2006222920.tif 000022
と表される。
【００３８】
この点ｍは点Ｍが球体の表面へ投影された点に相当する。すなわち、点Ｍからの光が中心Ｏ１に向かって進んでいるときに球体１の表面２と交わる点がｍであり、点ｍは点Ｍからの光が担う画像を形成するために必要な情報（画像情報）を有している。したがって、球体１の表面２には、中心Ｏ１を視点としたときの周囲３６０度に位置する被写体を投影することができる。このように画像情報を有している球体１の表面２が球面画像に相当する。そして、このように被写体像を球面画像として表す、言い換えれば、被写体を球体の表面上に射影することを球面射影モデルとも称す。
【００３９】
この球面画像は、例えば、画角１８０度を有する一対の魚眼レンズを利用して周囲３６０度のうち半分ずつ（すなわち周囲１８０度ずつ）を撮影して得られる一対の被写体像から形成される。
【００４０】
図２（ａ）は、魚眼レンズの結像特性を示す模式図である。図２に示した３次元座標系は、魚眼レンズの光学中心を原点とすると共に、魚眼レンズの光軸３をＺ軸としたものである。ここで、光学中心とは、魚眼レンズに入射した入射光線ｌ１が集光する点である。以下、このような座標系をカメラ座標系と称す。
【００４１】
図２（ａ）に示すように、実空間上の点Ｍを魚眼レンズを利用して結像する場合、点Ｍからの入射光線ｌ１は、光軸３に直交すると共に、光学中心から魚眼レンズの焦点距離ｆのところに位置する像面５に投影されることになる。
【００４２】
図２（ｂ）は、魚眼レンズの像面を示す図である。像面５は、前述したようにＺ軸（光軸３）に直交する面である。この像面５とＺ軸との交点を画像中心Ｏ２とする。この場合、点Ｍは、魚眼レンズによって、ＸＹ平面上の座標（ｒ，φ）で表される点ｑに投影される。画像中心Ｏ２から点ｑまでの距離ｒは使用する魚眼レンズの結像特性によって決まる。魚眼レンズの結像特性としては、等距離射影方式(equidistance projection)や、正射影方式（orthogonal projection）、ステレオ射影方式（stereographicprojection）、等立体角射影方式（equisolid angleprojection）が挙げられる。以下の説明では、代表的な魚眼レンズの結像特性の一つとしての等立体角射影方式、
【数２１】
2006222920.tif 000023
で射影されるものとする。ここで、仰角θは、魚眼レンズに入射する入射光線ｌ１と魚眼レンズの光軸３とのなす角度である。なお、他の射影方式も式と同様に、ｒがθの関数として表される。
【００４３】
式（２１）よりｒが分かれば仰角θが算出されることになるので、式（２０）に示すように、極座標で表される点ｍの座標が算出されることになる。１つの魚眼レンズで得られる被写体像は、全天周のうちの半分に相当するので、２つの魚眼レンズで得られた被写体像をそれぞれの画像中心を原点とする極座標で表して半球面画像を形成したのち、それらを結合することで、１つの球面画像を得られることになる。本明細書では、平面画像としての被写体像を、極座標で表すことを半球面画像に変換する、又は、球面画像に変換すると称す。
【００４４】
ところで、画像座標系とカメラ座標系とは一方をＺ軸方向に並進させることで重ね合わせられるので、同じものとして考えることができる。特に、球面画像を表す場合、すなわち、魚眼レンズで結像された被写体像を極座標表示する際には、θ及びφは、画像座標系で表す場合もカメラ座標系で表す場合も同じである。したがって、以下では、特に断らない限り、画像座標系とカメラ座標系とは同じものとする。
【００４５】
以上説明したような球面画像を形成する装置について具体的に説明する。
【００４６】
図３は、本発明の撮像装置の一実施形態の構成を示す概略構成図である。撮像装置１０Ａは、外形が略球状の球面視覚センサー２０を有する。
【００４７】
球面視覚センサー２０は、外形が略球状であって中空の像形成部２１を有する。像形成部２１は、第１の結像手段としての魚眼レンズ２２と、第２の結像手段としての魚眼レンズ２３とが結合されものである。魚眼レンズ２２，２３はそれらが有する入射面としての第１及び第２の湾曲面２２ａ，２３ａの中心線２２ｂ，２３ｂに対して回転対称体となるように構成されている。そして、魚眼レンズ２２，２３は、第１及び第２の湾曲面２２ａ，２３ａが外側を向くと共に、鏡面対称になるように配置されて結合されている。また、魚眼レンズ２２，２３は、図２で説明した結像特性を有しており、魚眼レンズ２２，２３の射影方式は、式（２１）で示した等立体角射影方式である。
【００４８】
図３では、魚眼レンズ２２，２３は、１つのレンズからなるように記載としているが、魚眼レンズ２２，２３は像形成部２１の径方向に沿って複数のレンズを有しており、式（２１）の結像特性をするように構成されている。また、魚眼レンズ２２，２３は、第１及び第２の湾曲面２２ａ，２３ａの各点に接する接平面（例えば、図中の平面ｄ）に垂直に入射した光は、球面視覚センサー２０の中心部２４を通るように設計されている。これによって、球面視覚センサー２０は、単一の視点を有することになる。
【００４９】
球面視覚センサー２０の中心部２４には、魚眼レンズ２２，２３に入射した入射光線ｌ２の光路を変更する光路変更素子２５が配置されている。光路変更素子２５は、例えば、直交する２つの面に鏡面が形成された直角プリズムである。前述したように魚眼レンズ２２，２３は、複数のレンズから構成されており、それらのレンズ内で光を屈折させているので、結果として光が通っていない領域もある。光路変更素子２５は、そのような領域を利用して魚眼レンズ２２，２３に保持されることで像形成部２１内に配置されている。光路変更素子２５は、魚眼レンズ２２，２３から入射した入射光線ｌ２を同じ方向（例えば、図中の下側）に伝搬させて、その光路上に位置する撮像手段２６に入射させる。
【００５０】
撮像手段２６は、ＣＣＤ等の撮像素子２７を有する。撮像素子２７は、複数の画素からなる受光面２７ａが、魚眼レンズ２２，２３の像面５Ｌ，５Ｒに位置するように配置されている。撮像手段２６も光路変更素子２５と同様に、魚眼レンズ２２，２３のうち光が通っていない領域を利用して魚眼レンズ２２，２３に対して保持されることで像形成部２１内に配置されている。
【００５１】
撮像素子２７は、図４に示すように、魚眼レンズ２２，２３に入射した入射光線ｌ２によって形成される第１及び第２の被写体像３１，３２を同時に取得する。この撮像素子２７上に結像され取得された第１及び第２の被写体像３１，３２は、受光面２７ａを構成する画素ごとに電気信号に変換されて、撮像手段２６の一部を構成する第１の通信部２８に入力される。第１の通信部２８は、入力された画像情報を有する電気信号を電波に変換して、画像形成手段４０に送信する。
【００５２】
図３に示すように、画像形成手段４０は、ＣＰＵなどを備えたいわゆるコンピュータであり、撮像素子２７で取得された第１及び第２の被写体像３１，３２から球面画像を形成する。画像形成手段４０は、第２の通信部４１と、パラメータ格納部４２と、画像変換部４３と、画像形成部４４と、校正部４５Ａとを有する。
【００５３】
パラメータ格納部４２は、魚眼レンズ２２の焦点距離ｆＬ及び魚眼レンズ２３の焦点距離ｆＲを格納している。また、パラメータ格納部４２は、魚眼レンズ２２の光軸と像面５との交点としての画像中心ＯＬ及び、魚眼レンズ２３の光軸と像面５との交点としての画像中心ＯＲの座標を格納している。前述したように魚眼レンズ２２，２３に入射した光は、光路変更素子２５によって光路が変更される。そのため、魚眼レンズ２２，２３の光軸とは、魚眼レンズ２２，２３の中心線（すなわち、第１及び第２の湾曲面２２ａ，２３ａの中心線２２ｂ，２３ｂ）に沿って入射した光の進行方向に一致するものとする。
【００５４】
更に、パラメータ格納部４２は、図５に示すように、画像中心ＯＬを原点として設定される三次元座標系（ＸＬＹＬＺＬ座標系）としての第１の画像座標系ＳＬと、画像中心ＯＲを原点として設定される三次元座標系（ＸＲＹＲＺＲ座標系）としての第２の画像座標系ＳＲの相対姿勢情報を格納している。この相対姿勢情報は、第２の画像座標系ＳＲから第２の画像座標系ＳＬへの変換行列ＲＬＲに相当する。そして、像形成部２１では、魚眼レンズ２２，２３の視点は一致しているので、変換行列ＲＬＲは、回転行列に相当することになる。なお、パラメータ格納部４２が格納している画像中心ＯＬ，ＯＲ、焦点距離ｆＬ，ｆＲ及び変換行列ＲＬＲは、初期値としては、球面視覚センサー２０の設計値が格納されている。
【００５５】
画像変換部４３は、平面画像である第１の被写体像３１を、図２を利用して説明した方法によって、第１の被写体像３１が有する画像情報を半球体の表面に有する第１の半球面画像に変換する。また、画像変換部４３は、平面画像である第２の被写体像３２を、図２を利用して説明した方法によって、第２の被写体像３２が有する画像情報を半球体の表面に有する半球面画像に変換する。ただし、入射角θは、魚眼レンズ２２については、入射光線ｌ１と中心線２２ｂとのなす角度θＬを意味し、魚眼レンズ２３については、入射光線ｌ１と中心線２３ｂとのなす角度θＲを意味する。
【００５６】
このように、第１及び第２の半球面画像を形成するとき、画像変換部４３は、パラメータ格納部４２に格納されている撮像系パラメータとしての画像中心ＯＬ，ＯＲ、焦点距離ｆＬ，ｆＲ及び変換行列ＲＬＲに基づいて第１及び第２の半球面画像を形成することになる。その結果として、第１の半球面画像は第１の画像座標系ＯＬで表され、第２の半球面画像は第２の画像座標系ＯＲで表される。
【００５７】
画像形成部４４は、画像変換部４３において形成された第１及び第２の半球面画像を、第１及び第２の画像座標系ＯＬ，ＯＲの相対姿勢情報としての変換行列ＲＬＲ、及び、画像中心ＯＬ，ＯＲに基づいて合成して球面画像を形成する。より具体的には、第１及び第２の半球面画像の画像中心ＯＬ，ＯＲを一致させ、第２の半球面画像を変換行列ＲＬＲで第１の画像座標系ＯＬ上の点に変換することで球面画像を形成する。
【００５８】
上記のように球面画像は、撮像系パラメータ（画像中心、焦点距離、相対姿勢情報）を利用して形成されている。したがって、撮像系パラメータが撮像装置１０Ａにおいて校正される必要がある。そこで、校正部４５Ａは、実空間における平行な直線群（以下、平行直線群とも称す）の消失点を利用して撮像系パラメータを校正する。校正部４５Ａが消失点を利用して撮像系パラメータを校正する方法について説明する。校正部４５Ａは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。
【００５９】
魚眼レンズ２２は、画角１８０度を有しているので、第１の被写体像３１内には、図６に示すように、第１の画像座標系ＳＬにおけるＸＬＹＬ平面において、画像中心ＯＬから距離ｒ１，ｒ２の位置に一対の消失点（消失点対）Ｖ１、Ｖ２が現れる。この消失点の位置は、例えば、上記平行直線群に含まれる直線に対応する像としての曲線を円錐曲線でフィッティングし、複数の円錐曲線関数を算出したのち、それらの交点を求めることで算出される。一対の消失点Ｖ１，Ｖ２を結ぶ直線は、
【数２２】
2006222920.tif 000024
であり、この直線上に画像中心ＯＬが位置する。したがって、校正部４５Ａは、校正後の画像中心ＯＬをＣＬ（ｘＬ，ｃ，ｙＬ，ｃ）としたときに、次の評価関数Γ１
【数２３】
2006222920.tif 000025
を最小にすることで画像中心ＣＬを算出する。ここでは、魚眼レンズ２２について説明したが、魚眼レンズ２３についても同様であるので、魚眼レンズ２３については説明を省略する。
【００６０】
ところで、式（２１）に示した結像特性をテーラ展開すると、
【数２４】
2006222920.tif 000026
となる。Ｉは、魚眼レンズ２２に対してはＬであり、魚眼レンズ２３に対してはＲであり、以下同様とする。ｋＩは、テーラ展開の係数であり、焦点距離ｆＩに依存する。そして、このｋＩによって、例えば、図６に示すように、ｒＬ，１、ｒＬ，２の長さの違いが生じることになるので、ｋＩは、結像点の画像中心ＯＩに対する径方向の歪みを表す放射歪み（radial distortion）パラメータである。この放射歪みパラメータとしてのｋＩを算出することにより、球面視覚センサー２０における結像特性がより正確に求められることになる。
【００６１】
そこで、校正部４５Ａは、放射歪みパラメータとしてのｋＩを算出する。ただし、式（２４）では、無限個の項があるため、式（２４）のうち低次の項から３個までの項で表される、
【数２５】
2006222920.tif 000027
を利用して放射歪みパラメータｋＩ，１，ｋＩ，３，ｋＩ，５を算出する。
【００６２】
先ず、魚眼レンズ２２に対する放射歪みパラメータｋＬ，１，ｋＬ，３，ｋＬ，５を算出する方法について説明する。消失点Ｖ１，Ｖ２に対して式（２５）を適用すると、
【数２６】
2006222920.tif 000028
【数２７】
2006222920.tif 000029
となる。この際、画像中心ＯＩを校正している場合には、焦点距離ｆＬをより正確に校正する観点からｒＬ，１及びｒＬ，２は、校正された画像中心ＯＩに対する距離であることが好ましい。
【００６３】
また、消失点Ｖ１，Ｖ２は、実空間での直線パターンを無限に延ばしたときの無限遠点の投影像に対応するため、そのような無限遠点から魚眼レンズ２２，２３へ入射する入射光線ｌ１と魚眼レンズ２２，２３との光軸とのなす角度であるθＬ，１とθＬ，２に対しては、
【数２８】
2006222920.tif 000030
が成り立つ。式（２６）〜式（２８）において、未知数は３つ（ｋＬ，１、ｋＬ，３、ｋＬ，５）であるので、少なくとも３つ以上の第１の被写体像３１に対して一対の消失点Ｖ１，Ｖ２を算出することでｋＬ，１、ｋＬ，３、ｋＬ，５を決定することができる。同様にして、魚眼レンズ２３に対する放射歪みパラメータｋＲ，１、ｋＲ，３、ｋＲ，５も決定する。
【００６４】
前述したように、ｋＬ，１、ｋＬ，３、ｋＬ，５は、焦点距離ｆＬに依存しており、ｋＲ，１、ｋＲ，３、ｋＲ，５は、焦点距離ｆＲに依存している。その結果、放射歪みパラメータｋＬ，１、ｋＬ，３、ｋＬ，５、ｋＲ，１、ｋＲ，３、ｋＲ，５を決定することは、より正確に焦点距離ｆＬ、ｆＲを算出することに相当する。したがって放射歪みパラメータｋＬ、ｋＲを算出することを焦点距離ｆＬ，ｆＲの校正とも称す。
【００６５】
以上のようにして魚眼レンズ２２，２３の画像中心ＣＬ，ＣＲ及び焦点距離ｆＬ，ｆＲを算出したのちに、校正部４５Ａは、それらに基づいて第１の画像座標系ＳＬと第２の画像座標系ＳＲとの相対姿勢情報を算出する。相対姿勢情報は、前述したように第２の画像座標系ＳＲから第１の座標座標系ＳＬに変換するための変換行列ＲＬＲに相当するが、球面視覚センサー２０では、視点が一致しているので、この変換行列ＲＬＲは、回転行列に相当する。
【００６６】
前述したように第１及び第２の被写体像３１，３２には消失点Ｖ１，Ｖ２が現れるので、第１及び第２の被写体像３１，３２から形成される第１及び第２の半球面画像にも消失点が現れる。通常、第１及び第２の半球面画像には、実空間における水平線に略平行な直線群の像及びその消失点（以下、「第１消失点」という）、並びに、水平線に直交する方向（鉛直方向）に延びる直線に略平行な直線群の像及びその消失点（以下、「第２消失点」という）が現れている。
【００６７】
ここで、第１消失点の位置ベクトルをｐ１ｈｃとし、第２消失点の位置ベクトルをｐ１ｖｃとする。そして、３次元座標系である世界座標での第１消失点の位置ベクトルをｐｈｗとし、第２消失点の位置ベクトルをｐｖｗとする。この場合、世界座標系から第１の画像座標系ＳＬへの回転行列をＲ１ｃｗとすると以下の式が成り立つ。
【数２９】
2006222920.tif 000031
【数３０】
2006222920.tif 000032
Ｒ１ｃｗは上述したように回転行列であって、３つの変数が含まれているが、（式２９）及び（式３０）を用いることで、６個の方程式が成り立つため、Ｒ１ｃｗを算出可能である。
【００６８】
ところで、第１及び第２の半球面画像を結合することによって１つの球面画像を形成した場合、第１の半球面画像の第１消失点と第２の半球面画像の第１消失点とは一致し、第１の半球面画像の第２消失点と第２の半球面画像の第２消失点とは一致する。したがって、（式２９）及び（式３０）におけるｐｈｗ及びｐｖｗは、第２の半球面画像の第１消失点ｐ２ｈｃ及び第２消失点ｐ２ｖｃにも変換可能である。すなわち、世界座標系から第２の画像座標系ＳＲへの変換行列をＲ２ｃｗとすると、以下の式が成り立つ。
【数３１】
2006222920.tif 000033
【数３２】
2006222920.tif 000034
（式３１）及び（式３２）よりＲ２ｃｗが算出できる。
【００６９】
そして、式（２９）と式（３０）、又は、（式３１）と（式３２）より、Ｒ１ｃｗ及びＲ２ｃｗに基づいて第２の画像座標系ＳＲから第１の画像座標系ＳＬへの回転行列ＲＬＲを算出することができる。
【００７０】
次に、撮像装置１０Ａにおける撮像系パラメータの校正方法についてより具体的に説明する。撮像系パラメータの校正では、図７に示すような３つの黒色の直線パターン５１が含まれた校正用チャート５０を利用する。なお、消失点を算出するため、球面視覚センサー２０に対して校正用チャート５０は十分大きいものとする。
【００７１】
続いて、撮像装置１０Ａの配置を変えながら、図８（ａ）〜図８（ｄ）に示すように、校正用チャート５０を複数（図８では、４枚）撮影する（像取得工程）。そして、校正部４５Ａは、複数の第１の被写体像３１に対して前述したように消失点対（一対の消失点）Ｖ１，Ｖ２の位置を算出し、式（２３）に示す評価関数Γ１を最小にするｘＬ，ｃ、ｙＬ，ｃを算出する（画像中心校正工程）。これは、例えば、ラグランジュ未定乗数法等に基づいて実施すればよい。
【００７２】
そして、校正部４５Ａが、算出したｘＬ，ｃ、ｙＬ，ｃを新しい画像中心ＯＬとしてパラメータ格納部４２に入力することで画像中心ＯＬが校正されることになる。
【００７３】
次に、撮像装置１０Ａを像形成部２１の中心部２４を通ると共に、魚眼レンズ２２，２３の中心線２２ｂ，２３ｂに略直交する直線を中心として回転させながら、図９（ａ）〜図９（ｃ）に示すように、校正用チャート５０を３枚撮像する。そして、校正部４５Ａは、３枚の第１の被写体像３１に対して一対の消失点Ｖ１，Ｖ２を算出する。次いで、式（２６）〜式（２８）を利用して放射歪みパラメータｋＬ，１、ｋＬ，３、ｋＬ，５を算出し、パラメータ格納部４２に入力する（焦点距離校正工程）。
【００７４】
以上の魚眼レンズ２２に対して実施する方法と同様にして、魚眼レンズ２３に対する画像中心ＣＲ、及び、放射歪みパラメータｋＲ,１、ｋＲ,３、ｋＲ,５を算出する。そして、算出した画像中心ＣＲ（ｘＬ，ｃ，ｙＬ，ｃ）及び放射歪みパラメータｋＲ，１、ｋＲ，３、ｋＲ，５をパラメータ格納部４２に入力する。
【００７５】
次に、撮像装置１０Ａの両方の魚眼レンズ２２，２３の視野内に校正用チャート５０が入ると共に、校正用チャート５０の直線パターン５１が水平になるように校正用チャート５０を配置する。そして、異なる角度で３つ以上の校正用チャート５０を撮像する。続いて、校正用チャート５０を９０度回転させ、直線パターン５１の延在方向が鉛直方向になるよう校正用チャート５０を配置する。そして、異なる角度で校正用チャート５０を３つ以上撮像する（像取得工程）。
【００７６】
続いて、画像変換部４３は、校正された画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲを利用して、３つ以上取得された第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する。
【００７７】
ここで、校正された焦点距離ｆＬ，ｆＲを利用することは、放射歪みパラメータｋＬ，１、ｋＬ，３、ｋＬ，５及びｋＲ，１、ｋＲ，３、ｋＲ，５を利用することに対応するので、その結果として、式（２５）で表される結像特性を利用することになる。
【００７８】
そして、前述した第１消失点及び第２消失点を算出し、式（２９）及び式（３０）を利用してＲｗ１を決定する。また、式（３１）及び式（３２）を利用してＲｗ２を決定する。そして、式（２９）と式（３０）、又は、（式３１）と（式３２）より、Ｒ１ｃｗ及びＲ２ｃｗに基づいて第２の画像座標系ＳＲから第１の画像座標系ＳＬへの変換行列ＲＬＲを算出して、算出された変換行列ＲＬＲをパラメータ格納部４２に入力する（相対姿勢情報校正工程）。
【００７９】
上記校正方法では、３つ以上の第１の被写体像３１及び３つ以上の第２の被写体像３２を利用して画像中心ＯＬ，ＯＲを校正しているので、画像中心ＯＬ，ＯＲをより正確に校正できている。
【００８０】
更に、式（２４）で表される魚眼レンズ２２，２３の結像特性をテーラ展開し、低次の項から３項まで選択した式（２５）に基づいて焦点距離ｆＬ，ｆＲを校正している（言い換えれば、放射歪みパラメータｋＬ，１、ｋＬ，３、ｋＬ，５、ｋＲ，１、ｋＲ，３、ｋＲ，５を算出している）ので、球面視覚センサー２０に対応した結像特性が得られることになり、結果として、放射歪みも校正できることになる。
【００８１】
例えば、理論式としての式（２４）をそのまま利用して焦点距離ｆＬ，ｆＲを校正した場合には、放射歪みは校正できないが、上記のように、テーラ展開し、複数の項を選択してから焦点距離ｆＬ，ｆＲを校正することによって放射歪みもより確実に校正できる。
【００８２】
また、３つ以上の第１及び第２の被写体像３１，３２を利用して相対姿勢情報を校正しているので、画像中心ＯＬ，ＯＲの場合と同様により正確な相対姿勢情報としての変換行列ＲＬＲを算出できている。
【００８３】
以上のようにして校正された撮像系パラメータを有する撮像装置１０Ａでの球面画像形成方法について説明する。
【００８４】
先ず、撮像装置１０Ａが魚眼レンズ２２，２３を利用して第１及び第２の被写体像３１，３２を撮像すると、撮像素子２７は、それらを電気信号に変換して第１の通信部２８に入力する。第１の通信部２８は、入力された画像情報に相当する画像データを例えば無線によって第２の通信部４１に送信する。第２の通信部４１は、受信した画像データを画像変換部４３に入力する。
【００８５】
この画像変換部４３は、校正部４５Ａによって校正された撮像系パラメータに基づいて第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する。そして、画像形成部４４は、画像変換部４３で得られた第１及び第２の半球面画像のうち、第２の画像座標系ＳＲで表されている第２の半球面画像を変換行列ＲＬＲによって第１の画像座標系ＳＬに変換することで球面画像を形成する。
【００８６】
上記撮像装置１０Ａでは、画角１８０度を有する２つの魚眼レンズ２２，２３を利用して球面視覚センサー２０を中心とした全天周の被写体を撮像しているので、同一時刻における被写体の球面画像を得ることができる。その結果として、動的な環境の撮像にも好適に利用することが可能である。また、像形成部２１が有する魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。
【００８７】
そして、この球面画像は、校正部４５Ａによって校正された撮像系パラメータにも基づいて形成されているので、より正確に被写体を表した画像となっている。そのため、撮像装置１０Ａは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用できる。また、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できる。
【００８８】
（第２の実施形態）
本発明に係る撮像装置及び撮像系パラメータの校正方法の他の実施形態について説明する。図１０に示すように、撮像装置１０Ｂは、画像形成手段４０が、校正部４５Ｂを有する点で、図３に示した撮像装置１０Ａと主に相違する。球面視覚センサー２０の構成は、第１の実施形態の場合と同様であるため、説明を省略する。
【００８９】
この校正部４５Ｂで撮像系パラメータを校正する方法について説明する。校正部４５Ｂは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部２１が有する魚眼レンズ２２，２３の結像特性は、式（２５）で表されるものとする。先ず、魚眼レンズ２２，２３の画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲの校正について説明する。
【００９０】
第１の実施形態の場合と同様に、校正前の第１の画像座標系ＳＬでの魚眼レンズ２２の実際の（校正後の）画像中心ＣＬの位置座標を（ｘＬ，ｃ，ｙＬ，ｃ）とする。また、ＸＬＹＬ平面における第１の被写体像３１内の点をｑ（ｘＬ，ｙＬ）とする。この際、点ｑに対応する第１の半球面画像（又は球面画像）上の点をｍｑとすると、点ｍｑは、式（２０）より、
【数３３】
2006222920.tif 000035
と表される。
【００９１】
校正後の画像中心ＯＬとしての点ＣＬを原点とする第１の画像座標系ＳＬにおける点ｑの位置座標は（ｘＬ−ｘＬ，ｃ，ｙＬ−ｙＬ，ｃ）となる。また、式（２５）の逆関数をηとすると、θＬは、
【数３４】
2006222920.tif 000036
と表される。また、方位角φＬは、
【数３５】
2006222920.tif 000037
となるので、第１の被写体像３１を第１の半球面画像に変換したときの点ｑに対応する点ｍｑの位置ベクトルは、式（３３）、式（３４）及び式（３５）より、ｘＬ，ｃ、ｙＬ，ｃ及びｋＬ，１、ｋＬ，３、ｋＬ，５（又はｆＬ）の関数となる。
【００９２】
ところで、図１１に示すように、実空間での直線パターン５１は、球面画像上では大円の一部の円弧５２として表される。なお、図１１に示す直線パターン５１は、図７に示した直線パターン５１を模式的に表したものである。この円弧５２を含む平面の法線単位ベクトルｎＬは、
【数３６】
2006222920.tif 000038
と表される。ここで、θＬｎは、単位法線ベクトルｎＬとＺＬ軸とのなす角度であり、φＬｎは、単位法線ベクトルｎＬのＸＬＹＬ平面への投影線のＸＬ軸からの方位角である。この単位法線ベクトルｎＬは、円弧５２上の任意の点ｍｑ１，ｍｑ２の位置ベクトルの外積で決まるが、より正確にｎＬを算出するために、以下の式（３７）
【数３７】
2006222920.tif 000039
によって算出する。前述したように、円弧５２上の点ｍｑの位置を決めるθＬ、φＬは式（３４）及び式（３５）よりそれぞれ、ｘＬ，ｃ、ｙＬ，ｃ及びｋＬ，１、ｋＬ，３、ｋＬ，５（又は、ｆＬ）の関数であるため、θＬｎ及びφＬｎも同様にそれらの関数である。
【００９３】
この単位法線ベクトルｎＬと、式（３３）より、円弧５２を含む平面の方程式は、
【数３８】
2006222920.tif 000040
となる。そこで、撮像された直線パターン５１の数をＦとし、円弧５２上の点の数をＰｌとし、評価関数ξ１Ｌを、
【数３９】
2006222920.tif 000041
とする。そして、この評価関数ξ１Ｌを最小にすることによって魚眼レンズ２２，２３の内部パラメータとしての画像中心ＯＬ，放射歪みパラメータｋＬ，１，ｋＬ，３、ｋＬ，５（言い換えれば、焦点距離ｆＬ）をより正確に得ることができる。魚眼レンズ２３を校正する方法も同様であるので、説明は省略する。
【００９４】
次に、第１及び第２の画像座標系ＳＬ，ＳＲの相対姿勢情報の校正について説明する。
【００９５】
図１２に示すように、２つの魚眼レンズ２２，２３の視野に含まれる実空間での直線パターン５１を撮像装置１０Ｂによって撮像する。そして、そのようにして得られた直線パターン５１の第１及び第２の半球面画像としての円弧５２を含む平面の単位法線ベクトルｎＬ，ｎＲを算出する。この単位法線ベクトルｎＬ，ｎＲは、式（３７）と同様にして算出してもよいが、次のようにすることも可能である。すなわち、前述したように直線パターン５１の投影像は、式（３８）を満たす平面に含まれるが、この平面は、
【数４０】
2006222920.tif 000042
とも表される。ただし、ａ，ｂ，ｃは、ａ２＋ｂ２＋ｃ２が１という条件を満たす数である。
【００９６】
円弧５２上の点ｍｑから平面（ａ，ｂ，ｃ）への距離ｔは、ａｂｃ（ａｘ＋ｂｙ＋ｃｚ）となるので、単位法線ベクトルｎＬは、評価関数Γ２
【数４１】
2006222920.tif 000043
を最小にすることで求めることができる。
【００９７】
なお、単位法線ベクトルｎＬ（ｎＲ）としては、反対方向（すなわち、符合の異なる）を有する２つのものが算出されることになるが、それらの内積を取って評価することで、ｎＬ及びｎＲが同じ方向を向いているものを選択できる。
【００９８】
ところで、単位法線ベクトルｎＬ，ｎＲは、同時に撮像された直線パターン５１の像を含む平面に対するものであるので、第１及び第２の画像座標系ＳＬ，ＳＲが一致していれば同じになるはずである。そのため、第１の画像座標系ＳＬと第２の画像座標系ＳＲの相対姿勢情報としての変換行列ＲＬＲによって、
【数４２】
2006222920.tif 000044
が成り立つことになる。従って、評価関数ξ２
【数４３】
2006222920.tif 000045
を最小にすることでＲＬＲを求めることができる。なお、式（４３）において、ｎＬ，ｌｉ及びｎＲ，ｌｉは、複数の直線パターン５１ｉの投影像としての円弧５２ｉを含む単位法線ベクトルをそれぞれ表している。
【００９９】
次に、上記方法に基づいて撮像装置１０Ｂによる撮像系パラメータの校正方法をより具体的に説明する。先ず、魚眼レンズ２２，２３の画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲを校正する。図７に示した、直線パターン５１を含む校正用チャート５０を用意してそれを魚眼レンズ２２の視野内に配置した後に撮像装置１０Ｂで撮像する（像取得工程）。
【０１００】
画像変換部４３は、取得された第１の被写体像３１から、校正前の（換言すれば、設計値としての）画像中心ＯＬ及び焦点距離ｆＬに基づいて第１の半球面画像を形成する（第１の画像変換工程）。校正部４５Ｂは、画像変換部４３で形成された第１の半球面画像内の点ｑを式（３４）及び式（３５）を利用して校正後の画像中心ＣＬ（ｘＬ，ｃ，ｙＬ，ｃ）及びｋＬ，１、ｋＬ，３、ｋＬ，５（又はｆＬ）の関数に変換する。
【０１０１】
次いで、そのようにして変換された直線パターン５１の投影像としての円弧５２を含む平面の法線ベクトルｎＬを式（３７）を利用して算出する。この単位法線ベクトルｎＬを算出するまでの工程をＦ個の直線パターン５１に対して繰り返す。なお、Ｆ個の直線パターン５１の投影像を得るためには、１つの直線パターン５１を含んだ校正用チャートをＦ回撮像してもよいし、図７に示したように複数の直線パターン５１を含んだ校正用チャート５０を直線パターン５１の総計がＦ個になるように撮像してもよい。
【０１０２】
そして、校正部４５Ｂは、式（３９）に示した評価関数ξ１Ｌを設定して、例えば、ラグランジュ未定乗数法によってｘＬ，ｃ、ｙＬ，ｃ、ｋＬ，１、ｋＬ，３、ｋＬ，５を決定する。そして、その結果を、パラメータ格納部４２に格納することで、画像中心ＯＬ及び焦点距離ｆＬを校正する（内部パラメータ校正工程）。魚眼レンズ２３の校正方法は魚眼レンズ２２の場合と同様であるので、説明は省略する。
【０１０３】
次に、校正用チャート５０を両方の魚眼レンズ２２，２３の視野内に配置して撮像装置１０Ｂを回転させながら校正用チャート５０を撮像する（像取得工程）。これにより、複数の直線パターン５１の第１及び第２の被写体像３１，３２を得ることができる。画像変換部４３は、校正された画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲに基づいて第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する（第２の画像変換工程）。
【０１０４】
続いて、校正部４５Ｂは、第１及び第２の半球面画像に含まれる直線パターン５１の投影像としての円弧５２を含む平面の単位法線ベクトルｎＬ，ｎＲを、式（４１）又は式（３７）によって算出する。更に、校正部４５Ｂは、式（３９）に示す評価関数ξ２を設定して、評価関数ξ２を最小にする変換行列ＲＬＲを決定することで、相対姿勢情報を校正する（相対姿勢情報校正工程）。
【０１０５】
上記校正方法では、画像中心ＯＬ及び焦点距離ｆＬが同時に校正され、また、画像中心ＯＬ及び焦点距離ｆＬが同時に校正されるので、校正時間をより短くすることができる。また、直線パターン５１の像としての円弧５２を利用しているので、像形成部２１を構成している魚眼レンズ２２，２３のように画角が１８０度で互いの視野に重なりがない場合でも確実に校正を実施することが可能である。
【０１０６】
以上のようにして、校正された撮像系パラメータを利用して撮像装置１０Ｂによって球面画像を形成する方法は、撮像装置１０Ａの場合と同様である。そして、球面視覚センサー２０の構成も第１の実施形態の場合と同様であるので、同じ効果を有する。すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。撮像装置１０Ｂは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できることも撮像装置１０Ａの場合と同様である。
【０１０７】
（第３の実施形態）
本発明に係る撮像装置及び撮像系パラメータの校正方法の更に他の実施形態について説明する。図１３に示すように、撮像装置１０Ｃは、画像形成手段４０が、３次元物体に含まれいる特徴点Ｍｃを利用して撮像系パラメータを校正する校正部４５Ｃを有する点で、図３に示した撮像装置１０Ａと主に相違する。球面視覚センサー２０の構成は、第１の実施形態の場合と同様であるため、説明は省略する。
【０１０８】
先ず、校正部４５Ｃによって撮像系パラメータを校正する方法について説明する。校正部４５Ｃは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部２１が有する魚眼レンズ２２，２３の結像特性は、式（２５）で表されるものとする。先ず、魚眼レンズ２２，２３の画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲの校正について説明する。
【０１０９】
図１４に示すように、球面視覚センサー２０が、校正用ボックス６０内に支持棒６１などによって支持されて配置されているとする。校正用ボックス６０には、複数の特徴点Ｍｃが格子状に配列されている。図１４において、ハッチング部分が特徴点Ｍｃ及び球面視覚センサー２０を表している。また、球面視覚センサー２０を中心とする座標系と魚眼レンズ２２のカメラ座標系（すなわち、第１の画像座標系ＳＬ）とは同じとする。これは、第２の画像座標系ＳＲ上の点を変換行列ＲＬＲを利用して第１の画像座標系ＳＬに移動することに相当する。
【０１１０】
ここで、撮像装置１０Ｃによって形成される球面画像上の点の位置ベクトルをｍ、
【数４４】
2006222920.tif 000046
とする。前述したように、球面画像は、第１の被写体像３１から変換された第１の半球面画像と、第２の被写体像３２から変換された第２の半球面画像とを結合したものである。より具体的には、球面画像は、第２の画像座標系ＳＲで表される第２の半球面画像が変換行列ＲＬＲで第１の画像座標系ＳＬ上に変換されて構成されている。したがって、点ｍが球面画像における第１の半球面画像上の点ｍＬであるとき、ｍはｍＬに一致する。また、点ｍが球面画像における第２の半球面画像に対応する点ｍＲであるとき、ｍはＲＬＲｍＲに一致する。ｍＬ，ｍＲは、式（２０）を参照すると、それぞれ
【数４５】
2006222920.tif 000047
【数４６】
2006222920.tif 000048
と表される。
【０１１１】
ここで、第１の実施形態の場合と同様に、校正後の魚眼レンズ２２の画像中心ＯＬの座標をＣＬ（ｘＬ，ｃ，ｙＬ，ｃ）とし、校正後の魚眼レンズ２３の画像中心ＯＲの座標をＣＲ（ｘＲ，ｃ，ｙＲ，ｃ）とし、式（２５）の逆関数をηとすると、式（３４）が成り立つ。以上のことからｕ，ｖ，ｓは、ｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１、ｋＬ，３、ｋＬ，５の関数か、又は、ｘＲ，ｃ、ｙＲ，ｃ、ｋＲ，１、ｋＲ，３、ｋＲ，５の関数になる。
【０１１２】
また、球面画像上の点ｍに対応する実空間での特徴点Ｍｃの第１の画像座標系ＳＬ上の位置ベクトルを、
【数４７】
2006222920.tif 000049
とする。そして、図１５に示すように、回転行列Ｒ及び並進行列Ｔによって第１の画像座標系ＳＬに変換できる３次元座標系を世界座標系ＳＷとする。回転行列Ｒは、ｊ１，ｊ２，ｊ３をベクトルとしたとき、
【数４８】
2006222920.tif 000050
であり、並進行列Ｔは、
【数４９】
2006222920.tif 000051
である。このとき、Ｎｗを、[Xw，Yw，Zw，1]とすると、
【数５０】
2006222920.tif 000052
が成りたつ。
【０１１３】
また、球面画像上の点の位置ベクトルをｍとし、ρを（Ｘ２＋Ｙ２＋Ｚ２）１／２とすると、
【数５１】
2006222920.tif 000053
が成り立つ。これは、特徴点Ｍｃが球面視覚センサー２０よりも十分遠くに位置していれば、位置ベクトルｍと位置ベクトルＭｃとがほぼ一致することを示している。従って、式（５１）より、
【数５２】
2006222920.tif 000054
となる。これにより、以下の２つの方程式が得られる。
【数５３】
2006222920.tif 000055
【数５４】
2006222920.tif 000056
式（５３）及び式（５４）において、Ｍｗｉは、世界座標系Ｓｗでのｉ番目の特徴点Ｍｃの座標である。
【０１１４】
ｕ、ｖ、ｓは、点ｍの位置に応じて、すなわち、魚眼レンズ２２によって撮像された点か、魚眼レンズ２３によって撮像された点かに応じてｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１、ｋＬ，３、ｋＬ，５の関数か、又は、ｘＲ，ｃ、ｙＲ，ｃ、ｋＲ，１、ｋＲ，３、ｋＲ，５であることから、式（５３）及び式（５４）には、｛ｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１、ｋＬ，３、ｋＬ，５，ｘＲ，ｃ、ｙＲ，ｃ、ｋＲ，１、ｋＲ，３、ｋＲ，５，ＲＬＲ，Ｒ，Ｔ｝が含まれており、結果として、１９個の未知数が含まれることになる。
【０１１５】
しかしながら、撮像する特徴点Ｍｃの数を増やすことによって、この未知数の数（ここでは、１９個）よりも多くの方程式を得ることができるので、未知数を決定できる。そこで、評価関数Ｃを
【数５５】
2006222920.tif 000057
と設定し、式（５５）を最小にするように上記の未知数を決定することで各パラメータを校正することができる。
【０１１６】
次に、上記方法を利用して撮像装置１０Ｃにおいて撮像系パラメータを校正する方法をより具体的に説明する。
【０１１７】
先ず、球面視覚センサー２０より十分大きい校正用ボックス６０を用意する。この校正用ボックス６０としては、例えば、立方体の箱の内面に特徴点としてのＬＥＤを格子状に配置したものが考えられる。この校正用ボックス６０内に球面視覚センサー２０を支持棒６１などによって配置し、球面視覚センサー２０によって特徴点Ｍｃを撮像する（像取得工程）。これによって、第１及び第２の被写体像３１，３２には、特徴点Ｍｃに対応する像が形成されることになる。
【０１１８】
そして、画像変換部４３は、取得された第１及び第２の被写体像３１，３２から、校正前の（換言すれば、校正前の）画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲに基づいて第１及び第２の半球面画像を形成する（画像変換工程）。ここで、校正部４５Ｃは、画像変換部４３で形成された第１の半球面画像内の点ｍＬを式（３４）及び式（３５）を利用して校正後の画像中心ＣＬ（ｘＬ，ｃ，ｙＬ，ｃ）、放射歪みパラメータｋＬ，１、ｋＬ，３Ｌ、ｋＬ，５の関数に変換する。また、第２の半球面画像内の点ｍＲを校正後の画像中心ＣＲ（ｘＲ，ｃ，ｙＲ，ｃ）、及び、放射歪みパラメータｋＲ，１、ｋＲ，３、ｋＲ，５の関数に変換する。
【０１１９】
次いで、そのようにして変換された第１及び第２の半球面画像に対して、画像形成部４４は、変換行列ＲＬＲを利用して第２の半球面画像を第１の画像座標系ＳＬで表すことによって球面画像を形成する（画像形成工程）。
【０１２０】
このように球面画像が形成されると、言い換えれば、第１の画像座標系ＳＬにおいて、第１及び第２の半球面画像が一緒に表されると、校正部４５Ｃは、式（５５）に示した評価関数Ｃを設定して、例えば、ラグランジュ未定乗数法によって、評価関数Ｃを最小にする｛ｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１，ｋＬ，３，ｋＬ，５，ｘＲ，ｃ，ｙＲ，ｃ，ｋＲ，１，ｋＲ，３，ｋＲ，５，ＲＬＲ｝を決定する。
【０１２１】
この際、上記の未知数は、魚眼レンズ２２に関する未知数{ｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１，ｋＬ，３，ｋＬ，５}と魚眼レンズ２３に関する未知数｛ｘＲ，ｃ，ｙＲ，ｃ，ｋＲ，１，ｋＲ，３，ｋＲ，５｝と変換行列ＲＬＲに分けられるので、先ず、魚眼レンズ２２，２３に関するパラメータを決定したのち、変換行列ＲＬＲを決定してもよい。
【０１２２】
そして、校正部４５Ｃは、算出された｛ｘＬ，ｃ，ｙＬ，ｃ，ｋＬ，１，ｋＬ，３，ｋＬ，５，ｘＲ，ｃ，ｙＲ，ｃ，ｋＲ，１，ｋＲ，３，ｋＲ，５，ＲＬＲ｝をパラメータ格納部４２に入力する。これによって、画像中心ＯＬ，ＯＲ及び焦点距離ｆＬ，ｆＲ及び相対姿勢情報としての変換行列ＲＬＲが校正されることになる（校正工程）。
【０１２３】
上記校正方法では、校正用ボックス６０を１回撮像することによって、画像中心ＯＬ、ＯＲ、焦点距離ｆＬ，ｆＲ及び相対姿勢情報が校正されることから、校正時間をより短くすることができる。また、３次元状に配列された特徴点Ｍｃを利用しているので、球面視覚センサー２０を構成している魚眼レンズ２２，２３のように画角が１８０度で互いの視野に重なりがない場合でも確実に構成することが可能である。
【０１２４】
また、例えば、従来の校正方法のように、いわゆる中心射影モデルによって校正する場合、３次元状に配列された特徴点を同様に扱えない、言い換えれば、全ての特徴点に対して同じ式を適用することができない。しかしながら、前述した球面視覚センサー２０の撮像系パラメータを校正する方法では、球面画像を利用して校正する（すなわち、球面射影モデルによって校正する）ため、全天周に位置する特徴点Ｍｃを同様に扱うことができる。したがって、全ての特徴点Ｍｃに対して同じ評価関数Ｃを適用することで撮像系パラメータを校正できる。その結果として、校正が容易であると共に、同じ式を利用するのでより正確に校正できる。
【０１２５】
以上のようにして、校正された撮像系パラメータを利用して撮像装置１０Ｃによって球面画像を形成する方法は、撮像装置１０Ａの場合と同様である。そして、球面視覚センサー２０の構成も第１の実施形態の場合と同様であるので、同じ効果を有する。
【０１２６】
すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。
【０１２７】
そして、撮像装置１０Ｃは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できることも撮像装置１０Ａの場合と同様である。
【０１２８】
以上、本発明に好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、図１６に示すような撮像装置１０Ｄの構成にしてもよい。撮像装置１０Ｄが有する球面視覚センサー８０は、一対の魚眼レンズ２２，２３からなる像形成部２１の外側に撮像手段２６が配置されている点で、球面視覚センサー２０の構成と相違する。
【０１２９】
撮像手段２６は、例えば、魚眼レンズ２２，２３の第１及び第２の湾曲面２２ａ，２３ａに固定された断面が台形形状の収容部８１内に配置されていればよい。像形成部２１の外面は光を通すので、このような構成でも確実に第１及び第２の被写体像３１，３２を取得することが可能である。また、このように収容部８１を設けることで、例えば、球面視覚センサー８０を移動ロボットなどに容易に取り付けられることになる。
【０１３０】
また、撮像手段２６は、第１の通信部２８を有するとしたが、例えば、図１６に示した撮像装置１０Ｄの構成の場合には、撮像手段２６には第１の通信部２８を設けなくてもよい。その場合には、撮像素子２７と画像形成手段４０とを、例えば、電気的に接続することが考えられる。
【０１３１】
更に、像形成部２１の形状は球状としたが、像形成部２１は、断面が楕円形状になっていてもよい。更にまた、第１及び第２の実施形態で説明した撮像系パラメータの構成方法は、図１７に示すように、互いに離れた２つの魚眼レンズ９１，９２から構成される撮像装置１０Ｅに対しても適用できる。撮像装置１０Ｅの構成では、全天周球面画像を得るため、第１及び第２の結像手段としての魚眼レンズ９１，９２の画角ｗは、１８５度程度有ることが好ましい。
【０１３２】
更にまた、第１〜第３の実施形態では、魚眼レンズ２２，２３の結像特性は、式（２１）で表されるとしたが、式（２４）で表される結像特性を有すればよい。
【０１３３】
また、第１の実施形態において説明した撮像系パラメータの校正方法においては、式（２６）〜式（２８）を利用して焦点距離ｆＬ，ｆＲを校正した、言い換えれば、放射歪みパラメータｋＩを算出したが、焦点距離ｆＬ，ｆＲは式（２１）を利用して次のようにして校正してもよい。
【０１３４】
先ず、魚眼レンズ２２の焦点距離ｆＬの校正方法について説明する。ここでは、校正部４５Ａは、画像中心ＯＩを校正したものとして説明する。画像中心ＯＩからの消失点Ｖ１，Ｖ２までの距離ｒＬ，１，ｒＬ，２は、式（２１）を利用すると、
【数５６】
2006222920.tif 000058
【数５７】
2006222920.tif 000059
が成り立つ。なお、画像中心ＯＩは校正されているので、ｒＬ，１及びｒＬ，２は、校正された画像中心ＯＩからの消失点Ｖ１，Ｖ２までの距離である。そして、θＬ，１及びθＬ，２に対しては、式（２８）が成り立つ。
【０１３５】
ｒＬ，１及びｒＬ，２は、撮像素子２７の受光面２７ａ上の点の位置（対応する画素の位置）で決まるので、式（５６）、式（５７）及び式（２８）より、焦点距離ｆＬを決定することができる。すなわち、校正部４５Ａは、魚眼レンズ２２の校正された画像中心ＯＬと、その画像中心ＯＬからの消失点Ｖ１，Ｖ２までの距離とによって焦点距離ｆＬを校正する。魚眼レンズ２３の焦点距離ｆＲについても同様にして校正できるので、焦点距離ｆＲの校正方法については説明は省略する。このようにして校正された画像中心ＯＩ及び焦点距離ｆＩに基づいて相対姿勢情報としての変換行列ＲＬＲを算出する方法は、第１の実施形態で説明した通りである。
【０１３６】
画像中心ＯＩ及び画像中心ＯＬからの消失点Ｖ１，Ｖ２までの距離とに焦点距離ｆＩを校正する方法の場合も、ｒＩがｆＩθＩで表される等距離射影方式や、ｒＩがｆＩｓｉｎθＩで表される正射影方式や、ｒＩが２ｆＩｔａｎ（θＩ／２）で表されるステレオ射影方式に対しても適用できる。
【０１３７】
また、更に、第３の実施形態において校正用ボックス６０は、立方体の内面にＬＥＤを３次元状に配列したものを例示したが、例えば、図１８に示すような校正用ボックス１００でもよい。図１８では、説明のために立方体としての校正用ボックス１００の半分（３面で構成される部分）を示している。図１８では、校正用ボックス１００の内面は、黒と白の市松模様になっている。この場合、黒及び白の正方形の角を特徴点とすることができる。
【産業上の利用可能性】
【０１３８】
本発明に係る撮像装置は、例えば、警備システムでの監視センサーや、移動ロボットや製造ロボットの周辺認識装置に好適に利用することができる。更に、発掘現場や災害箇所などの狭隘箇所での撮影システムとしての利用も考えられる。更にまた、胃カメラやカプセル型の内視鏡としても利用可能である。そして、本発明に係る撮像系パラメータの校正方法は、上記のように利用する撮像装置の校正に好適に適用できる。
【図面の簡単な説明】
【０１３９】
【図１】本発明に係る撮像装置で形成される球面画像を示す模式図である。
【図２】魚眼レンズの結像特性を示す模式図である。
【図３】本発明に係る撮像装置の一実施形態の構成の概略を示す概略構成図である。
【図４】撮像手段によって取得される第１及び第２の被写体像の模式図である。
【図５】第１及び第２の画像座標系を示す模式図である。
【図６】一対の消失点を含む第１の被写体像の模式図である。
【図７】直線パターンを含む校正用チャートの構成を示す概略構成図である。
【図８】異なる角度で撮像された直線パターンの第１の被写体像の図である。
【図９】撮像装置を回転させながら撮像された直線パターンの第１の被写体像の図である。
【図１０】本発明に係る撮像装置の他の実施形態の構成の概略を示す概略構成図である。
【図１１】実空間での直線パターンの球面画像における投影像を示す模式図である。
【図１２】一対の魚眼レンズの視野内に配置された直線パターンの球面画像における投影像を示す模式図である。
【図１３】本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。
【図１４】校正用ボックスの構成を示す模式図である。
【図１５】第１の画像座標系と世界座標系との位置関係を示す模式図である。
【図１６】本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。
【図１７】本発明に係る撮像系パラメータの校正方法を適用可能な撮像装置の他の形態の構成を示す概略構成図である。
【図１８】校正用ボックスの構成の一例の構成を示す図である。
【符号の説明】
【０１４０】
３…光軸，５…像面，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ…撮像装置、２１…像形成部、２２，９１…魚眼レンズ（第１の結像手段）、２３，９２…魚眼レンズ（第２の結像手段）、２２ａ…第１の湾曲面、２２ｂ…第１の結像手段の中心線、２３ａ…第２の湾曲面、２３ｂ…第２の結像手段の中心線、２４…像形成部の中心部、２５…光路変更素子、２６…撮像手段、３１…第１の被写体像、３２…第２の被写体像、４０…画像形成手段、５１…直線パターン。
【図１】
2006222920.tif 000079
【図２】
2006222920.tif 000080
【図３】
2006222920.tif 000081
【図４】
2006222920.tif 000082
【図５】
2006222920.tif 000083
【図６】
2006222920.tif 000084
【図７】
2006222920.tif 000085
【図８】
2006222920.tif 000086
【図９】
2006222920.tif 000087
【図１０】
2006222920.tif 000088
【図１１】
2006222920.tif 000089
【図１２】
2006222920.tif 000090
【図１３】
2006222920.tif 000091
【図１４】
2006222920.tif 000092
【図１５】
2006222920.tif 000093
【図１６】
2006222920.tif 000094
【図１７】
2006222920.tif 000095
【図１８】
2006222920.tif 000096