(57)【要約】【課題】平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上に平行線を２組準備することなく算出することができるキャリブレーション装置を提供する。【解決手段】取得部１０１は、平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得する。抽出部１０２は、取得した画像から画像処理によって前記２つの直線状の線を抽出する。算出部１０３は、抽出した２つの直線状の線から消失点を算出し、消失点の座標と、消失点の座標と異なる任意の座標とに基づき、前記平面に対するカメラの設置パラメータを算出する。【選択図】図１
2015198374.tif 000002
【特許請求の範囲】
【請求項１】
平面に対するカメラの設置パラメータを算出するキャリブレーション装置であって、
前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得する取得部と、
前記取得部が取得した画像から画像処理によって前記２つの直線状の線を抽出する抽出部と、
前記抽出部が抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面に対するカメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項２】
平面に対するカメラの設置パラメータを算出するキャリブレーション装置であって、
前記平面に対して実施的に垂直な２つの直線状の線を撮影した画像を取得する取得部と、
前記取得部が取得した画像から画像処理によって前記２つの直線状の線を抽出する抽出部と、
前記抽出部が抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面と実質的に直交し、前記任意の座標により特定される平面に対するカメラの設置パラメータを算出し、算出された前記カメラの設置パラメータを変換し前記平面に対するカメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項３】
平面に対するカメラの設置パラメータを算出するキャリブレーション方法であって、
前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得するステップと、
取得した画像から画像処理によって前記２つの直線状の線を抽出するステップと、
抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面に対するカメラの設置パラメータを算出するステップと、
を含むキャリブレーション方法。
【請求項４】
平面に対するカメラの設置パラメータを算出するキャリブレーション方法であって、
前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得するステップと、
取得した画像から画像処理によって前記２つの直線状の線を抽出するステップと、
抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面と実質的に直交し、前記任意の座標により特定される平面に対するカメラの設置パラメータを算出するステップと、
算出された前記カメラの設置パラメータを変換し前記平面に対するカメラの設置パラメータを算出するステップと、
を含むキャリブレーション方法。
【請求項５】
請求項３または請求項４のいずれか１項に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
【請求項６】
請求項１または請求項２のいずれか１項に記載のキャリブレーション装置を搭載したカメラ。
【請求項７】
移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション装置であって、
前記移動平面に対して実質的に垂直な１つの直線状の線を撮影した画像を取得する取得部と、
前記取得部が取得した画像から画像処理によって前記１つの直線状の線を抽出する抽出部と、
前記取得部が取得した第１のタイミングで撮影された第１の画像から前記抽出部が抽出した１つの直線状の線と、前記取得部が取得した前記第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影された第２の画像から前記抽出部が抽出した１つの直線状の線と、から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に対するカメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項８】
移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション装置であって、
前記移動平面に対して実質的に垂直な１つの直線状の線を撮影した画像を取得する取得部と、
前記取得部が取得した画像から画像処理によって前記１つの直線状の線を抽出する抽出部と、
前記取得部が取得した第１のタイミングで撮影された第１の画像から前記抽出部が抽出した１つの直線状の線と、前記取得部が取得した前記第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影された第２の画像から前記抽出部が抽出した１つの直線状の線と、から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記移動平面と実質的に直交する前記任意の座標により特定される平面に対するカメラの設置パラメータを算出し、算出された前記カメラの設置パラメータを変換し前記移動平面に対するカメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項９】
移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション方法であって、
前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングで撮影した第１の画像を取得するステップと、
前記第１の画像から画像処理により前記１つの直線状の線に対応する第１の直線を抽出するステップと、
前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影した第２の画像を取得するステップと、
前記第２の画像から画像処理により前記１つの直線状の線に対応する第２の直線を抽出するステップと、
前記第１の直線と前記第２の直線から消失点を算出するステップと、
前記消失点の座標と前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に対するカメラの設置パラメータを算出するステップと、
を含むキャリブレーション方法。
【請求項１０】
移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション方法であって、
前記移動平面に対して実施的に垂直な１つの直線状の線を第１のタイミングで撮影した第１の画像を取得するステップと、
前記第１の画像から画像処理により前記１つの直線状の線に対応する第１の直線を抽出するステップと、
前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影した第２の画像を取得するステップと、
前記第２の画像から画像処理により前記１つの直線状の線に対応する第２の直線を抽出するステップと、
前記第１の直線と前記第２の直線から消失点を算出するステップと、
前記消失点の座標と前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に直交する前記任意の座標により特定される平面に対するカメラの設置パラメータを算出するステップと、
算出された前記カメラの設置パラメータを変換し前記移動平面に対するカメラの設置パラメータを算出するステップと、
を含むキャリブレーション方法。
【請求項１１】
請求項９または請求項１０のいずれか１項に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項７または請求項８のいずれか１項に記載のキャリブレーション装置を搭載したカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影された画像に基づいて、カメラの設置パラメータを算出するキャリブレーションに関する。
【背景技術】
【０００２】
近年、車両に設置されたカメラを用いて車両と、車両の前方や後方に存在する物体との距離を測定し、運転者に警告を与える技術が普及している。このように、車両と物体との距離を正確に測定するには、カメラの車両に対する設置位置と設置角度を正確に算出（キャリブレーション）する必要がある。
【０００３】
カメラの車両に対する設置角度を求めるキャリブレーション技術としては、一般的には、実空間上で平行な直線が画像空間上で交わる点（消失点）を利用した技術が存在する。
【０００４】
消失点を利用したキャリブレーション技術によれば、車両の進行方向に平行な平行線から算出される消失点（深消失点）と、それ以外の平行線から算出される消失点の少なくとも２つの消失点からカメラの設置角度が算出される。
【０００５】
以降では、カメラの設置角度をカメラの設置パラメータと称する。
【０００６】
消失点を利用し、カメラの設置パラメータを算出するキャリブレーション技術としては、あらかじめ図形的な特徴量が記憶されている路面標示が撮影された画像から、実空間上の２組の平行線を抽出し、抽出した２組の平行線から２つの消失点を算出する技術（特許文献１）が存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１に記載の技術では、平面に対するカメラの設置パラメータを算出するためには、カメラの設置パラメータを求める平面上に平行線を２組準備する必要がある。もしくは、平面上の２組の平行線を抽出する必要がある。
【０００９】
本発明の目的は、上記の課題を解決するためのものであって、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく算出することができるキャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明のキャリブレーション装置は、平面に対するカメラの設置パラメータを算出するキャリブレーション装置であって、前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得する取得部と、前記取得部が取得した画像から画像処理によって前記２つの直線状の線を抽出する抽出部と、前記抽出部が抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面に対するカメラの設置パラメータを算出する算
出部を備えた構成となっている。
【００１１】
ここで、平面に対するカメラの設置パラメータとは、カメラ座標系を、カメラの光軸をＺｃ軸、Ｚｃ軸に垂直でカメラからカメラの上方に向かう方向をＹｃ軸、Ｚｃ軸とＹｃ軸に垂直となる方向をＸｃ軸とし、カメラの設置パラメータの、ロール角をＺｃ軸回りの回転角、ピッチ角をＸｃ軸回りの回転角、ヨー角をＹｃ軸回りの回転角とし、ヨー角、ピッチ角、ロール角の順番で回転させた場合のロール角とピッチ角をいう。
【発明の効果】
【００１２】
本発明によれば、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係るキャリブレーション装置の構成例を示すブロック図
【図２】本発明の実施の形態１に係るキャリブレーション装置の動作例を示すフローチャート
【図３】本発明の実施の形態１に係るキャリブレーション装置がカメラから画像を取得する状況を示す説明図
【図４】本発明の実施の形態１に係るカメラで撮影された画像を示す説明図
【図５】本発明の実施の形態１に係る算出部１０３の動作を説明する概念図
【図６】本発明の実施の形態１に係る座標系の定義を説明する説明図
【図７】本発明の実施の形態１に係る世界座標系とカメラ座標系の関係と直交世界座標系とカメラ座標系の関係を説明する説明図
【図８】本発明の実施の形態１に係る世界座標系と直交世界座標系の関係を説明する説明図
【図９】本発明の実施の形態１に係る車両の移動後にカメラで撮影された画像を示す説明図
【図１０】本発明の実施の形態１に係る車両の移動に伴うヨー角推定の動作を説明する概念図
【図１１】本発明の実施の形態２に係るキャリブレーション装置の構成例を示すブロック図
【図１２】本発明の実施の形態２に係るキャリブレーション装置の動作例を示すフローチャート
【図１３】本発明の実施の形態２に係るキャリブレーション装置がカメラから画像を取得する状況を示す説明図
【図１４】本発明の実施の形態２に係るカメラで撮影された第１の画像を示す説明図
【図１５】本発明の実施の形態２に係るカメラで撮影された第２の画像を示す説明図
【図１６】本発明の実施の形態２に係る算出部１１０３の動作を説明する概念図
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の実施の形態では、カメラが移動体としての車両に設置されている場合について説明するが、カメラは移動体に設置される場合に限られるものではない。
【００１５】
（実施の形態１）
以下、本発明の第１の実施の形態におけるキャリブレーション装置について説明する。
【００１６】
図１は、本発明の実施の形態１に係るキャリブレーション装置の構成を示すブロック図である。
【００１７】
図１において、キャリブレーション装置１００は、車両に設置されたカメラ１１０が撮影した移動平面（例えば、路面）に対して実質的に垂直な２つの直線状の線を含む画像を取得する取得部１０１と、取得部１０１が取得した画像から、画像処理によって移動平面に対して実質的に垂直な２つの直線状の線を抽出する抽出部１０２と、抽出部１０２が抽出した２つの直線状の線から、移動平面に対するカメラの設置パラメータを算出する算出部１０３を備えた構成となっている。
【００１８】
図２は、キャリブレーション装置１００の動作を示すフローチャート、図３はキャリブレーション装置１００の取得部１０１が、カメラ１１０から画像を取得するときの車両配置状況を示した説明図である。
【００１９】
図３において、第１の直線ａと第２の直線ｂは移動平面３００に対して実質的に垂直である。第１の直線ａと第２の直線ｂは、例えば、移動平面３００に実質的に垂直に立てられた２本の円柱状の立体や、移動平面３００に対して実質的に垂直に立てられた平らな板などに描かれた実質的に垂直な２つの直線状の線である。
【００２０】
また、第１の直線ａと第２の直線ｂは、２つともカメラ画像に撮影されるような位置にあればよい。ここで、移動平面とは車両が移動する平らな面を意味し、水平に対し角度を持つ面でもよい。
【００２１】
取得部１０１は、図３に示す位置に配置された車両３０１に設置されたカメラ１１０から、第１の直線ａ及び第２の直線ｂが撮影された画像を取得する（ステップＳ２０１）。
【００２２】
図４は、ステップＳ２０１で取得部１０１が取得した第１の画像を示す説明図である。図４における直線ａ１が図３の第１の直線ａに対応し、直線ｂ１が図３の第２の直線ｂに対応する。
【００２３】
取得部１０１が取得した画像は、抽出部１０２に入力される。抽出部１０２は、例えば画像の各画素の輝度を比較する等の画像処理により、入力された画像から直線ａ１と直線ｂ１を抽出する（ステップＳ２０２）。
【００２４】
ステップＳ２０２で抽出された直線ａ１と直線ｂ１は、算出部１０３に入力される。
【００２５】
算出部１０３は、抽出部１０２で抽出した直線ａ１と直線ｂ１、および、消失点として任意の位置に設定された点から移動平面に対するカメラの設置パラメータを算出する。
【００２６】
算出部１０３は、抽出部１０２で抽出した直線ａ１を延長した直線と、直線ｂ１を延長した直線の交点を消失点ＶＰ１として算出する（ステップＳ２０３）。
【００２７】
算出部１０３は、ステップＳ２０３で算出した消失点ＶＰ１と、消失点ＶＰ１と異なる任意の位置に設定された消失点ＶＰ２とを通る直線を消失線ＶＬとして算出する（ステップＳ２０４）。図５は、消失点ＶＰ１、消失点ＶＰ２、消失線ＶＬの位置関係の一例を図示したものである。消失点ＶＰ２は、図５において画像５００内に存在するが、画像空間上であればどのような位置でもよい。
【００２８】
本実施の形態においては、カメラ座標系として、図６（ａ）に示すように、カメラの光軸をＺｃ軸、Ｚｃ軸に垂直でカメラからカメラの上方に向かう方向をＹｃ軸、Ｚｃ軸とＹｃ軸に垂直となる方向をＸｃ軸と定義する。また、カメラの設置パラメータのうち、ロール角をＺｃ軸回りの回転角、ピッチ角をＸｃ軸回りの回転角、ヨー角をＹｃ軸回りの回転角と定義して説明する。
【００２９】
また、世界座標系として、図６（ｂ）に示すように、移動平面に対して垂直となる軸をＹｗ軸、Ｙｗ軸に垂直でお互いに垂直となる関係にある軸をそれぞれＸｗ軸とＺｗ軸と定義する。
【００３０】
また、本実施の形態におけるカメラの設置パラメータは、上述の通り、設置角度のみであり、設置位置は含めないものと定義している。すなわち、カメラ座標系と世界座標系の原点は一致しており、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との関係は、回転行列を３つ積算した（数１）によって表される。
【００３１】
【数１】
2015198374.tif 000003
ここで、ψがロール角、φがピッチ角、θがヨー角である。
【００３２】
（数１）は、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）をヨー角、ピッチ角、ロール角の順番で回転させた座標がカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）となることを表している。
【００３３】
カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との関係は、カメラの設置パラメータである回転角度と、カメラの設置パラメータを適用する順序である回転順序によって定義される。そのため、同じカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との関係であったとしても、例えば、ヨー角、ピッチ角、ロール角の回転順序で回転させた回転角度と、ヨー角、ロール角、ピッチ角の回転順序で回転させた回転角度が一致するとは限らない。
【００３４】
従って、回転順序を変えることにより、同じカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との関係を異なるカメラの設置パラメータによって表現することができる。
【００３５】
本発明や、特許文献１、後述するＬｉｎｇ−Ｌｉｎｇ  Ｗａｎｇによる文献に示される消失点を利用したキャリブレーション方式では、（数１のように、ヨー角、ピッチ角、ロール角の回転順序で回転させる表現形式で表されるカメラの設置パラメータが算出される。
【００３６】
また、画像空間上での座標系として、図６（ｃ）に示すように、画像６００の左上隅を原点として、右方向をＸｉ軸、下方向をＹｉ軸と定義する。
【００３７】
算出部１０３は、Ｘｉ軸に平行な直線とステップＳ２０４で算出した消失線とのなす角をロール角ψ１として算出する（ステップＳ２０５）。次に、算出部１０３は、カメラ１１０の焦点距離と任意の位置に設定した消失点の座標、ステップＳ２０５で算出したロール角ψ１を用いてピッチ角φ１を算出する（ステップＳ２０６）。そして、算出部１０３は、カメラ１１０の焦点距離とステップＳ２０３で算出した消失点ＶＰ１の座標、ステップＳ２０４で算出した消失線ＶＬ、ステップＳ２０６で算出したピッチ角φ１を用いてヨー角θ１を算出する（ステップＳ２０７）。
【００３８】
ここで、ステップＳ２０４からステップＳ２０７までの処理における、世界座標系とカメラ座標系の関係について説明する。
【００３９】
図７（ａ）は、特許文献１や、後述するＬｉｎｇ−Ｌｉｎｇ  Ｗａｎｇによる文献に示されているような、移動平面に平行な平行線を用いて算出されたカメラの設置パラメータによって座標が変換される世界座標系とカメラ座標系の関係を示した図である。
【００４０】
特許文献１や、Ｌｉｎｇ−Ｌｉｎｇ  Ｗａｎｇによる文献に示されている移動平面に平行な２組の平行線を用いて算出されるカメラの設置パラメータは、２組の平行線のうちの１組の平行線と平行となる軸をＺ軸、２組の平行線に平行となる面（＝移動平面）に垂直となる軸をＹｗ軸、Ｚｗ軸とＹｗ軸に垂直な軸をＸｗ軸とする世界座標系の座標をカメラ座標系の座標に変換するためのカメラの設置パラメータである。
【００４１】
一方、本実施の形態において、カメラの設置パラメータの算出に用いる平行線は移動平面に対して実質的に垂直である。そのため、ステップＳ２０４からステップＳ２０７までの処理で算出されるカメラの設置パラメータは、図７（ｂ）に示す世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータとなる。
【００４２】
即ち、ステップＳ２０４からステップＳ２０７までの処理によって算出されるカメラの設置パラメータは、移動平面に垂直となる軸をＺｗ’軸、Ｚｗ’軸に垂直でお互いに垂直となる軸をそれぞれＸｗ’軸、Ｙｗ’軸とする世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータである。
【００４３】
本実施の形態においては、移動平面に対して実質的に垂直な２つの直線状の線から算出された消失点は１つのみであり、残るもう１つの消失点としては、任意に設定した点が採用される。残るもう１つの消失点を設定することは、その消失点を算出するための、移動平面に対して実質的に直交する平面（＝直交平面）を設定することと等価である。すなわち、もう１つの消失点の設定により、移動平面に対するＸｗ’軸とＹｗ’軸を特定することになる。以下、Ｘｗ’軸、Ｙｗ’軸、Ｚｗ’軸で表される世界座標系を直交世界座標系と呼ぶ。
【００４４】
消失点、消失線からカメラの設置パラメータを算出する方法は、文献（Ｌｉｎｇ−Ｌｉｎｇ  Ｗａｎｇ，“Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  ｂｙ  Ｖａｎｉｓｈｉｎｇ
Ｌｉｎｅｓ  ｆｏｒ  ３Ｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ“，ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ  Ｖｏｌ．１３，Ｎｏ．４  Ａｐｒｉｌ  １９９１，ｐｐ３７０−３７６）に詳細に記載されている。
【００４５】
このＬｉｎｇ−Ｌｉｎｇ  Ｗａｎｇによる方法では、２つの消失点をつないだ消失線からロール角を算出し、消失点とロール角からピッチ角を算出し、消失点、消失線、ピッチ角からヨー角を算出している。すなわち、消失点が２つ算出されていない状態、例えば１つの消失点のみ算出されている状態では、ロール角、ピッチ角、ヨー角のいずれも算出できない。そのため、カメラの設置パラメータを算出するためには、移動平面上に２組の平行線が存在することが必須となる。
【００４６】
算出部１０３は、図７（ｂ）に示すような直交世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータを、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータに変換する（ステップＳ２０８）。
【００４７】
移動平面に対するカメラの設置パラメータは、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータである。図７（ｂ）に示すような直交世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータから、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータを算出するためには、図７（ａ）に示すような世界座標系における座標を図７（ｂ）に示すような直交世界座標系における座標に変換するためのカメラの設置パラメータを用いればよい。
【００４８】
即ち、図７（ａ）に示すような世界座標系における座標を図７（ｂ）に示すような直交世界座標系における座標に変換した後、カメラ座標系における座標に変換することと、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換することが等価であることを用いる。
【００４９】
ここで、ステップＳ２０４からステップＳ２０７により算出されるカメラの設置パラメータをロール角ψ１、ピッチ角φ１、ヨー角θ１とすると、直交世界座標系における座標（Ｘｗ’，Ｙｗ’，Ｚｗ’）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）の関係は（数２）によって表される。
【００５０】
【数２】
2015198374.tif 000004
【００５１】
直交世界座標系と世界座標系の関係は図８に示すような関係となる。このことから、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）と直交世界座標系における座標（Ｘｗ’，Ｙｗ’，Ｚｗ’）との関係は（数３）によって表される。
【００５２】
【数３】
2015198374.tif 000005
ここで、Δθは、任意に設定した点によって決定する移動平面とＸｗ’軸、Ｙｗ’軸の関係、つまり、Ｘｗ軸とＸｗ’軸のなす角、またはＹｗ軸とＹｗ’軸のなす角である。
【００５３】
（数２）および（数３）より、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）に変換するためのカメラの設置パラメータを算出する。
【００５４】
（数３）の両辺に左側からヨー角θ１、ピッチ角φ１、ロール角ψ１の順番で回転行列を掛けることで（数４）のようになる。
【００５５】
【数４】
2015198374.tif 000006
【００５６】
（数２）の右辺が（数４）の左辺と等しくなることから（数４）は（数５）のようになる。
【００５７】
【数５】
2015198374.tif 000007
【００５８】
（数５）により、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との関係式が成立したが、ヨー角、ピッチ角、ロール角の回転順序で表現されるカメラの設置パラメータ求めることが出来ない。そこで、（数５）の右辺の６つの回転行列をヨー角、ピッチ角、ロール角の３つの回転行列に統合する処理を行う。
【００５９】
まず、右辺の左から４番目の行列は単位行列となることから除去することが可能となり、（数５）は（数６）のようになる。
【００６０】
【数６】
2015198374.tif 000008
【００６１】
次に、ピッチ角の回転行列を統合する。ここで、ピッチ角の回転行列同士は積算することで（数７）に示すように角度の和で表現することが可能である。
【００６２】
【数７】
2015198374.tif 000009
【００６３】
今、ピッチ角の回転行列は（数６）の右辺の左から２番目と４番目に存在する。そこで、カメラの設置パラメータの回転順序がヨー角、ピッチ角、ロール角となっている（数６）の右辺の左から１番目から３番目の行列を、カメラの設置パラメータの回転順序がピッチ角、ヨー角、ロール角となるように変換し、ピッチ角の回転行列を隣同士にする処理を行う。
【００６４】
回転順序をピッチ角、ヨー角、ロール角とした場合のカメラ座標系における座標と世界座標系における座標の関係は（数８）により表される。
【００６５】
【数８】
2015198374.tif 000010
ここで、ψ２が変換後のロール角、θ２が変換後のヨー角、φ２が変換後のピッチ角である。
【００６６】
（数６）における回転行列の積と（数８）における回転行列の積が等しいことから、（数８）における回転行列の積と定数とを示す以下の関係式（数９）を解くことでロール角ψ２、ピッチ角φ２、ヨー角θ２が算出される。
【００６７】
【数９】
2015198374.tif 000011
ここで、Ｃ１〜Ｃ９は以下の関係式（数１０）によって算出される定数である。
【００６８】
【数１０】
2015198374.tif 000012
【００６９】
これにより、ピッチ角の回転行列が並んだため、積算することが可能となり、（数８）は（数１１）のようになる。
【００７０】
【数１１】
2015198374.tif 000013
【００７１】
算出部１０３は、カメラの設置パラメータの回転順序がピッチ角、ヨー角、ロール角となっている（数１１）の右辺の左から１番目から３番目の行列を、カメラの設置パラメータの回転順序がヨー角、ピッチ角、ロール角となるように変換する。すなわち、当初の回転順序で適用するためのカメラの設置パラメータに変換する。
【００７２】
回転順序をピッチ角、ヨー角、ロール角とした場合の世界座標系における座標とカメラ座標系における座標の関係は（数１２）により表される。
【００７３】
【数１２】
2015198374.tif 000014
ここで、ψ３が変換後のロール角、φ３が変換後のピッチ角、θ３が変換後のヨー角である。
【００７４】
カメラの設置パラメータの回転順序を変更したあとのヨー角θ３、ピッチ角φ３、ロール角ψ３は以下の関係式（数１３）を解くことで算出できる。
【００７５】
【数１３】
2015198374.tif 000015
ここで、Ｃ’１〜Ｃ’９は以下の関係式（数１４）によって算出される定数である。
【００７６】
【数１４】
2015198374.tif 000016
【００７７】
なお、（数８）において、右辺の左から１番目から３番目の行列の回転順序をピッチ角、ヨー角、ロール角に変換したが、この回転順序のみに決定されるものではなく、ピッチ角が３番目に来ればよい。
【００７８】
次に、ヨー角の回転行列を統合する。ヨー角もピッチ角と同様に行列の積を角度の和で表現することが可能である。（数１２）において、ヨー角の回転行列は右辺の左から３番目と４番目の行列であることから、そのまま積算することで（数１５）のように表される。
【００７９】
【数１５】
2015198374.tif 000017
【００８０】
これにより、ヨー角、ピッチ角、ロール角の回転順序で表現される、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との関係式が成立する。
【００８１】
算出部１０３は、算出されたパラメータのうち、ピッチ角φ３とロール角ψ３を移動平面に対するカメラの設置パラメータとして出力する（ステップＳ２０９）。また、車両が移動平面に水平に設置されていると想定すれば、算出部１０３が出力したカメラの設置パラメータを、車両に対するカメラの設置パラメータのうちのピッチ角とロール角として採用できる。算出されたヨー角θ３＋Δθには、任意に設定した点によって決定するＸｗ軸とＸｗ’軸のなす角、またはＹｗ軸とＹｗ’軸のなす角であるΔθが含まれているため、車両に対するカメラの設置パラメータのうちのヨー角として採用することはできない。
【００８２】
なお、直線ａ、直線ｂを線分状の線または、半直線状の線とした場合、車両移動の前後で撮影した２枚の画像に基づいて、車両の移動方向に対するカメラの設置パラメータであるヨー角を求めてもよい。図９は、図４に示す画像が撮影されてから一定距離車両が直進した後にカメラ１１０が撮影した画像である。図９における直線ａ２が図３の第１の直線ａに対応し、直線ｂ２が図３の第２の直線ｂに対応する。
【００８３】
図１０は、図４に示す画像と図９に示す画像を重畳した画像である。直線ａ１と移動平面との交点である点Ｐ１と直線ａ２と移動平面との交点である点Ｐ２を結ぶ直線と、直線ｂ１と移動平面との交点である点Ｐ３と直線ｂ２と移動平面との交点である点Ｐ４を結ぶ
直線との交点ＶＰ’を算出する。
【００８４】
なお、点Ｐ１〜Ｐ４はそれぞれと移動平面との距離が全て同じであれば、直線と移動平面との交点である必要はない。例えば、直線ａ１、直線ａ２、直線ｂ１、直線ｂ２の下側の端点から移動平面との距離と直線の長さが全て同じであれば、画像処理などによって検出された上側の端点、もしくは下側の端点を点Ｐ１〜Ｐ４としてもよい。
【００８５】
算出した交点ＶＰ’と算出部１０３で算出した移動平面に対するカメラの設置パラメータのピッチ角φ３、ロール角ψ３、画像の中心座標Ｃ、カメラの焦点距離ｆから、以下の方程式（数１６）により車両の移動方向に対するカメラの設置パラメータのヨー角θ４を算出する。
【００８６】
【数１６】
2015198374.tif 000018
ここで、ＶＣｘは交点ＶＰ’のＸ座標と画像中心ＣとのＸ座標の差、ＶＣｙは、交点ＶＰ’のＹ座標と画像中心ＣとのＹ座標の差である。
【００８７】
また、ここで説明したカメラの設置パラメータの算出方法は一例であり、異なる方法を用いてカメラの設置パラメータを算出してもよい。
【００８８】
また、ここで説明したカメラの設置パラメータの変換方法は一例であり、異なる方法を用いてカメラの設置パラメータを変換してもよい。
【００８９】
また、本実施の形態では、抽出部１０２で移動平面に対して実質的に垂直な直線状の線を抽出しているが、つないだ直線が移動平面に対して実質的に垂直となる２つの点を抽出し、つないだ直線を移動平面に対して実質的に垂直な直線状の線としてもよい。
【００９０】
また、本実施の形態では、移動体に設置したカメラについて説明しているが、カメラは移動体に設置される場合に限られるものではなく、監視カメラなどの壁や天井に固定されているものであってもよい。
【００９１】
また、本発明の実施の形態１におけるキャリブレーション装置は、専用のハードウェアによって実現される他、その機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録し、記録されたプログラムをコンピュータに読み込ませて実行するものであってもよい。
【００９２】
また、上記記憶媒体をカメラ１１０に実装し、キャリブレーション機能を備えたカメラとして構成してもよい。
【００９３】
また、直線ａと直線ｂとの距離は、画像に直線ａと直線ｂが撮影されている範囲であればよく、例えば、５０センチメートル、１０メートルであってもよい。
【００９４】
また、移動体が移動する面を平面、抽出部１０２で抽出する２つの線を直線、移動平面と２つの直線の関係が実質的に垂直であるとしているが、これらの厳密な精度は、本発明における必須の要件ではない。カメラの設置パラメータの算出精度は、これら平面、直線、垂直の精度に依存する。したがって、平面、直線、垂直の精度は、アプリケーションなどから要求される設置パラメータの算出精度を満たす範囲であれば、例えば、移動する面が凸凹な面であったり、曲面であったりしてもよいし、抽出部１０２で抽出する２つの線が曲線であったり、破線であってもよいし、移動平面と２つの直線の関係が厳密に垂直で
なくてもよい。
【００９５】
以上のように、本発明の実施の形態１におけるキャリブレーション装置によれば、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく、平面に対して実質的に垂直な２つの直線状の線を用いて算出することが可能となる。
（実施の形態２）
以下、本発明の第２の実施の形態におけるキャリブレーション装置について説明する。
【００９６】
図１１は、本発明の実施の形態２に係るキャリブレーション装置の構成を示すブロック図である。
【００９７】
図１１において、キャリブレーション装置１１００は、車両に設置されたカメラ１１０が撮影した移動平面（例えば、路面）に対して実質的に垂直な１つの直線状の線を含む画像を取得する取得部１１０１と、取得部１１０１が取得した画像から、画像処理によって移動平面に対して実質的に垂直な直線状の線を抽出する抽出部１１０２と、抽出部１１０２が抽出した直線状の線から、移動平面に対するカメラの設置パラメータを算出する算出部１１０３を備えた構成となっている。
【００９８】
図１２は、キャリブレーション装置１１００の動作を示すフローチャート、図１３はキャリブレーション装置１１００の取得部１１０１が、カメラ１１０から画像を取得する状況を示した説明図である。
【００９９】
図１３において、直線ａは移動平面１３００に対して実質的に垂直な直線状の線である。直線ａは、例えば、移動平面１３００に実質的に垂直に立てられた円柱状の立体や、移動平面１３００に対して実質的に垂直に立てられた平面に描かれた実質的に垂直な１つの直線状の線である。ここで、移動平面とは車両が移動する平らな面を意味し、水平に対し角度を持つ面でもよい。
【０１００】
取得部１１０１は、図１３に示す第１の画像取得位置に配置された車両１３０１に設置されたカメラ１１０から、直線ａが撮影された画像（第１の画像）を取得する（ステップＳ１２０１）。
【０１０１】
図１５は、ステップＳ１２０１で取得部１１０１が取得した第１の画像を示す説明図である。図１４における直線ａ１が図１３の直線ａに対応する。
【０１０２】
取得部１１０１が取得した画像は、抽出部１１０２に入力される。抽出部１１０２は、例えば画像の各画素の輝度を比較する等の画像処理により、入力された画像から直線ａ１を抽出する（ステップＳ１２０２）。
【０１０３】
次に、取得部１１０１は、図１３に示す車両の移動後の第２の画像取得位置に配置された車両１３０２に設置されたカメラ１１０が直線ａを撮影した画像（第２の画像）を取得する（ステップＳ１２０３）。
【０１０４】
図１５は、ステップＳ１２０３で取得部１１０１が取得した第２の画像を示す説明図である。図１５における直線ａ２が図１３の直線ａに対応する。
【０１０５】
取得部１１０１が取得した画像は、抽出部１１０２に入力され、抽出部１１０２はステップＳ１２０２と同様の処理を行い、入力された画像から直線ａ２を抽出する（ステップＳ１２０４）。
【０１０６】
ステップＳ１２０２で抽出された直線ａ１とステップＳ１２０４で抽出された直線ａ２は、算出部１１０３に入力される。
【０１０７】
算出部１１０３は、抽出部１１０２で抽出した直線ａ１と直線ａ２、および、任意の位置に設定した消失点から移動平面に対するカメラの設置パラメータを算出する。
【０１０８】
算出部１１０３は、抽出部１１０２で抽出した直線ａ１を延長した直線と、直線ａ２を延長した直線の交点を消失点ＶＰ１として算出する（ステップＳ１２０５）。
【０１０９】
算出部１１０３は、ステップＳ１２０５で算出した消失点ＶＰ１と、消失点ＶＰ１と異なる任意の位置に設定された消失点ＶＰ２とを通る直線を消失線ＶＬとして算出する（ステップＳ１２０６）。
【０１１０】
図１６は、消失点ＶＰ１、消失点ＶＰ２、消失線ＶＬの位置関係の一例を図示したものである。図１６において、消失点ＶＰ２は画像１６００内に存在するが、画像空間上であればどのような位置でもよい。
【０１１１】
算出部１１０３は、消失点ＶＰ１の座標、消失線ＶＬ、およびカメラ１１０の焦点距離を用いて、実施の形態１で説明したように、移動平面に対するカメラの設置パラメータを算出し（ステップＳ１２０７）、算出結果を出力する（ステップＳ１２０８）。
【０１１２】
なお、直線ａを線分状の線とした場合、車両の移動を直進移動にすることで、同時に車両の移動方向に対するカメラの設置パラメータであるヨー角を求めてもよい。直線ａ１と移動平面との交点と直線ａ２と移動平面との交点を結ぶ直線と、直線ａ１の上側の端点と直線ａ２の上側の端点を結ぶ直線との交点ＶＰ’を算出する。なお、交点ＶＰ’を算出するために用いる直線は、直線ａ１と移動平面との交点と直線ａ２と移動平面との交点を結ぶ直線と、直線ａ１の上側の端点と直線ａ２の上側の端点を結ぶ直線である必要はない。実空間において移動平面から等しい距離にある点同士を結んだ直線であればよい。
【０１１３】
算出した交点ＶＰ’と算出部１１０３で算出した移動平面に対するカメラの設置パラメータのピッチ角、ロール角、画像の中心座標、焦点距離から、車両の移動方向に対するカメラの設置パラメータのヨー角を算出する。
【０１１４】
また、本実施の形態では、抽出部１１０２で移動平面に対して実質的に垂直な直線状の線を抽出しているが、つないだ直線が移動平面に対して実質的に垂直となる２つの点を抽出し、つないだ直線を移動平面に対して実質的に垂直な直線状の線としてもよい。
【０１１５】
また、本実施の形態では、移動前の第１の画像取得位置と移動後の第２の画像取得位置とで同じ直線ａを取得しているが、移動前の第１の画像取得位置と移動後の第２の画像取得位置とで異なる移動平面に対して実質的に垂直な直線状の線を取得してもよい。
【０１１６】
また、第１の画像取得位置と第２の画像取得位置間の距離は、第１の画像および第２の画像それぞれに直線ａが撮影されている範囲であればよく、例えば、５０センチメートル、１０メートルであってもよい。
【０１１７】
また、図１１に示すキャリブレーション装置を、カメラの中に組み込み、キャリブレーション機能を備えたカメラとして構成してもよい。
【０１１８】
以上のように、本発明の実施の形態２におけるキャリブレーション装置によれば、車両
が移動する前に撮影された方向の画像上の移動平面に対し実質的に垂直な直線状の線と、それに対応する車両が移動した後に撮影された画像上の移動平面に対し実質的に垂直な直線状の線は実空間ではともに移動平面に対して実質的に垂直となることから、これら２つの直線から算出される消失点を用いて移動平面に対するカメラの設置パラメータを算出することが可能となる。
【符号の説明】
【０１１９】
１００、１１００  キャリブレーション装置
１０１、１１０１  取得部
１０２、１１０２  抽出部
１０３、１１０３  算出部
１１０  カメラ
３００、１３００  移動平面
３０１、１３０１、１３０２  車両
【図１】
2015198374.tif 000019
【図２】
2015198374.tif 000020
【図３】
2015198374.tif 000021
【図４】
2015198374.tif 000022
【図５】
2015198374.tif 000023
【図６】
2015198374.tif 000024
【図７】
2015198374.tif 000025
【図８】
2015198374.tif 000026
【図９】
2015198374.tif 000027
【図１０】
2015198374.tif 000028
【図１１】
2015198374.tif 000029
【図１２】
2015198374.tif 000030
【図１３】
2015198374.tif 000031
【図１４】
2015198374.tif 000032
【図１５】
2015198374.tif 000033
【図１６】
2015198374.tif 000034