(57)【要約】【課題】路面標示の図形的な特徴量等をあらかじめ記憶しておくことなく、また、他の技術と併用することなくカメラの設置パラメータを算出することが可能なキャリブレーション装置を提供すること。【解決手段】取得部１０１は、車両の移動前と移動後にカメラ１１０によって撮影されたカメラ画像を取得し、抽出部１０２は、移動前のカメラ画像と移動後のカメラ画像からそれぞれ２つの特徴点を抽出する。算出部１０３は、移動前のカメラ画像の２つの特徴点の座標と、移動後のカメラ画像における前記特徴点に対応する２つの特徴点の座標の位置関係に基づきカメラの設置パラメータを算出する。【選択図】図１
2015122547.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置されたカメラの設置パラメータを算出するキャリブレーション装置であって、
前記カメラによって撮影された画像を取得する取得部と、
前記移動体の移動平面上または前記移動平面に平行な面上に存在する第１の点および第２の点であって、且つ、互いを結ぶ直線が前記移動体の移動方向に対して平行でない前記第１の点および前記第２の点を撮影した前記画像から、画像処理によって、前記第１の点および前記第２の点を抽出する抽出部と、
第１のタイミングで撮影された第１の画像から前記抽出部により抽出された第１の画像における前記第１の点の第１の座標と、前記抽出部により抽出された前記第１の画像における前記第２の点の第２の座標との位置関係、前記第１のタイミングから前記移動体が前記移動方向に移動後の第２のタイミングで撮影された第２の画像から前記抽出部により抽出された第２の画像における前記第１の点の第３の座標と、前記抽出部により抽出された前記第２の画像における前記第２の点の第４の座標との位置関係、前記第１の座標と前記第３の座標との位置関係、および、前記第２の座標と前記第４の座標との位置関係に基づいて、前記カメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項２】
移動体に設置されたカメラの設置パラメータを算出するキャリブレーション方法であって、前記カメラによって撮影された画像を取得するステップと、
前記移動体の移動平面上または前記移動平面に平行な面上に存在する第１の点および第２の点であって、且つ、互いを結ぶ直線が前記移動体の移動方向に対して平行でない前記第１の点および前記第２の点を撮影した前記画像から、画像処理によって、前記第１の点および前記第２の点を抽出するステップと、
第１のタイミングで撮影された第１の画像から前記抽出部により抽出された第１の画像における前記第１の点の第１の座標と、前記抽出部により抽出された前記第１の画像における前記第２の点の第２の座標との位置関係、前記第１のタイミングから前記移動体が前記移動方向に移動後の第２のタイミングで撮影された第２の画像から前記抽出部により抽出された第２の画像における前記第１の点の第３の座標と、前記抽出部により抽出された前記第２の画像における前記第２の点の第４の座標との位置関係、前記第１の座標と前記第３の座標との位置関係、および、前記第２の座標と前記第４の座標との位置関係に基づいて、前記カメラの設置パラメータを算出するステップと、
を含むキャリブレーション方法。
【請求項３】
請求項２に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
【請求項４】
移動体に設置されたカメラの設置パラメータを算出するキャリブレーション装置であって、
前記カメラによって撮影された画像を取得する取得部と、
移動体が移動平面を移動中に前記取得部で取得された第１の画像から、画像処理によって複数の第１の特徴点を抽出し、画像処理により複数の前記第１の特徴点に対応する複数の第２の特徴点を、前記取得部で取得された第２の画像から抽出する入力画像処理を行う抽出部と、
前記第１の特徴点と前記第１の特徴点に対応する前記第２の特徴点を同じ画像空間において結ぶ複数の直線が交わる第１の交点を算出し、前記抽出部が抽出した複数の前記第１の特徴点から選択した２つの第１の特徴点の複数の組み合わせそれぞれについて、第１の特徴点同士を結ぶ第１の直線と、第１の特徴点の組み合わせに対応する第２の特徴点同士を結ぶ第２の直線から第２の交点を算出し、前記第１の交点を通り、かつ、最も多くの前記第２の交点を通る直線を算出し、算出した直線に基づき前記カメラの設置パラメータを算出する算出部と、
を備えるキャリブレーション装置。
【請求項５】
移動体の走行状態を判定する走行状態判定部を備え、走行状態判定部が、移動体が一定の距離を直進したと判定した場合に、抽出部が、カメラが撮影した前記画像に対し入力画像処理を行うことを特徴とする請求項４に記載のキャリブレーション装置。
【請求項６】
移動体に設置されたカメラの設置パラメータを算出するキャリブレーション方法であって、
移動体が移動平面を移動中に前記カメラが撮影した第１の画像から、画像処理によって複数の第１の特徴点を抽出するステップと、
画像処理により前記複数の第１の特徴点に対応する複数の第２の特徴点を前記カメラが撮影した第２の画像から抽出するステップと、
前記第１の特徴点と前記第１の特徴点に対応する前記第２の特徴点を同じ画像空間において結ぶ複数の直線が交わる第１の交点を算出するステップと、
抽出された複数の前記第１の特徴点から選択した２つの第１の特徴点の複数の組み合わせそれぞれについて、第１の特徴点同士を結ぶ第１の直線と、第１の特徴点の組み合わせに対応する第２の特徴点同士を結ぶ第２の直線から第２の交点を算出するステップと、
前記第１の交点を通り、かつ、最も多くの前記第２の交点を通る直線を算出するステップと、
算出した直線に基づき前記カメラの設置パラメータを算出するステップと
を含むキャリブレーション方法。
【請求項７】
請求項６に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項１または請求項４または請求項５に記載のキャリブレーション装置を搭載した移動体搭載用カメラ。
【請求項９】
請求項２または請求項６に記載のキャリブレーション方法を実施する機能を備えた移動体搭載用カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に設置されたカメラによって撮影された画像に基づいて、カメラの設置パラメータを算出するキャリブレーションに関する。
【背景技術】
【０００２】
近年、車両に設置されたカメラを用いて車両と、車両の前方や後方に存在する物体との距離を測定し、運転者に警告を与える技術が普及している。このように、車両と物体との距離を正確に測定するには、カメラの車両に対する設置位置と設置角度を正確に算出（キャリブレーション）する必要がある。
【０００３】
カメラの車両に対する設置角度を求めるキャリブレーション技術としては、一般的には、実空間上で平行な直線が画像空間上で交わる点（消失点）を利用した技術が存在する。
【０００４】
消失点を利用したキャリブレーション技術によれば、車両の進行方向に平行な平行線から算出される消失点（深消失点）と、それ以外の平行線から算出される消失点の少なくとも２つの消失点からカメラの設置角度が算出される。
【０００５】
以降では、カメラの車両に対する設置角度をカメラの設置パラメータと称する。
【０００６】
消失点を利用し、カメラの設置パラメータを算出するキャリブレーション技術としては、あらかじめ図形的な特徴量が記憶されている路面標示を用いて２組の平行線を抽出し、抽出した２組の平行線から２つの消失点を算出する技術（特許文献１）や、連続するタイミングで撮影された複数の画像を重畳し、重畳した画像からエッジを検出することで、車両の進行方向と平行な平行線の組を抽出し、抽出した平行線から深消失点を算出する技術（特許文献２）が存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１１１７４号公報
【特許文献２】国際公開第２０１０/１４６６９５号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１に記載の技術では、消失点を算出するために、路面標示の図形的な特徴量をあらかじめ記憶しておく必要がある。また、特徴量が記憶されている路面標示と一致する路面標示が出現しないとカメラの設置パラメータを算出できない、という課題がある。
【０００９】
また、特許文献２に記載の技術では、深消失点を算出することはできるが、もう１つの消失点を算出することができない。そのため、特許文献２に記載の技術のみではカメラの設置パラメータを算出できないという課題がある。
【００１０】
本発明の目的は、上記の課題を解決するためのものであって、路面標示の図形的な特徴量等をあらかじめ記憶しておくことなく、また、他の技術と併用することなくカメラの設置パラメータを算出することができるキャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明のキャリブレーション装置は、移動体に設置されたカメラの設置パラメータを算出するキャリブレーション装置であって、  前記カメラによって撮影された画像を取得する取得部と、前記移動体の移動平面上または前記移動平面に平行な面上に存在する第１の点および第２の点であって、且つ、互いを結ぶ直線が前記移動体の移動方向に対して平行でない前記第１の点および前記第２の点を撮影した前記画像から、画像処理によって、前記第１の点および前記第２の点を抽出する抽出部と、第１のタイミングで撮影された第１の画像から前記抽出部により抽出された第１の画像における前記第１の点の第１の座標と、前記抽出部により抽出された前記第１の画像における前記第２の点の第２の座標との位置関係、前記第１のタイミングから前記移動体が前記移動方向に移動後の第２のタイミングで撮影された第２の画像から前記抽出部により抽出された第２の画像における前記第１の点の第３の座標と、前記抽出部により抽出された前記第２の画像における前記第２の点の第４の座標との位置関係、前記第１の座標と前記第３の座標との位置関係、および、前記第２の座標と前記第４の座標との位置関係に基づいて、前記カメラの設置パラメータを算出する算出部とを備えたことを特徴としている。
【発明の効果】
【００１２】
本発明によれば、路面標示の図形的な特徴量等をあらかじめ記憶しておくことなく、また、他の技術と併用することなくカメラの設置パラメータを算出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係るキャリブレーション装置の構成例を示すブロック図
【図２】本発明の実施の形態１に係るキャリブレーション装置の動作例を示すフローチャート
【図３】本発明の実施の形態１に係るキャリブレーション装置がカメラから画像を取得する状況を示す説明図
【図４】本発明の実施の形態１に係る第１のタイミングで撮影された第１の画像を示す説明図
【図５】本発明の実施の形態１に係る第２のタイミングで撮影された第２の画像を示す説明図
【図６】本発明の実施の形態１に係る算出部１０３の動作を説明する概念図
【図７】本発明の実施の形態１に係るステップＳ２０６のカメラの設置パラメータ算出処理の詳細な動作例を示すフローチャート
【図８】本発明の実施の形態１に係る算出部１０３の処理を示す第１の説明図
【図９】本発明の実施の形態１に係る算出部１０３の処理を示す第２の説明図
【図１０】本発明の実施の形態１に係る算出部１０３の処理を示す第３の説明図
【図１１】本発明の実施の形態１に係る算出部１０３の処理を示す第４の説明図
【図１２】本発明の実施の形態２に係るキャリブレーション装置の構成例を示すブロック図
【図１３】本発明の実施の形態２に係るキャリブレーション装置の動作例を示すフローチャート
【図１４】本発明の実施の形態２に係るステップＳ１３０２の入力画像処理の詳細な動作例を示すフローチャート
【図１５】本発明の実施の形態２に係るキャリブレーション装置に係る画像１を示す画像図
【図１６】本発明の実施の形態２に係るキャリブレーション装置に係る画像２を示す画像図
【図１７】本発明の実施の形態２に係る消失線算出処理の一例を示す第１の説明図
【図１８】本発明の実施の形態２に係る消失線算出処理の一例を示す第２の説明図
【図１９】本発明の実施の形態２に係る消失線算出処理の一例を示す第３の説明図
【図２０】本発明の実施の形態２に係る消失線を例示する説明図
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の実施の形態では、移動体として車両を用いて説明するが、移動体は車両に限られるものではない。
【００１５】
（実施の形態１）
以下、本発明の第１の実施の形態におけるキャリブレーション装置について説明する。
【００１６】
図１は、本発明の実施の形態１に係るキャリブレーション装置の構成を示すブロック図である。
【００１７】
図１において、キャリブレーション装置１００は、車両に設置されたカメラ１１０によって撮影された画像を取得する取得部１０１と、取得部１０１が取得した画像から、画像処理によって点を抽出する抽出部１０２と、抽出部１０２が抽出した点の座標から、カメラの設置パラメータを算出する算出部１０３を備えた構成となっている。
【００１８】
図２は、キャリブレーション装置１００の動作を示すフローチャート、図３はキャリブレーション装置１００の取得部１０１が、カメラ１１０から画像を取得する状況を示した説明図である。
【００１９】
図３において、移動平面３００上に存在する第１の点ａと第２の点ｂは、互いを結ぶ直線３０１が車両の移動方向３０２に対して平行でない関係に位置している。ここで、移動平面とは車両が移動する平らな面を意味し、水平に対し角度を持つ面でも良い。
【００２０】
取得部１０１は、外部からの画像取得信号（図示せず）に従い、カメラ１１０が撮影した画像をカメラ１１０から取得する。実施の形態１では、図３に示す第１の画像取得位置で画像取得信号が取得部１０１へ入力される。取得部１０１は、カメラ１１０が第１の画像取得位置で第１の点ａ及び第２の点ｂを撮影した画像（第１の画像）を取得する（ステップＳ２０１）。
【００２１】
図４は、ステップＳ２０１で取得部１０１が取得した第１の画像を示す説明図である。図４における点ａ１が図３の第１の点ａに対応し、点ｂ１が図３の第２の点ｂに対応する点である。
【００２２】
取得部１０１が取得した画像は、抽出部１０２に入力される。抽出部１０２は、例えば画像の各画素の輝度を比較する等の画像処理により、入力された画像から第１の点ａと第２の点ｂを抽出する。すなわち、第１の画像における第１の点ａの座標（第１の座標）と第２の点ｂの座標（第２の座標）を算出する（ステップＳ２０２）。
【００２３】
次に、図３に示す車両の直進後の第２の画像取得位置で、画像取得信号が取得部１０１へ入力され、取得部１０１は、カメラ１１０が第２の画像取得位置で第１の点ａ及び第２の点ｂを撮影した画像（第２の画像）を取得する（ステップＳ２０３）。
【００２４】
図５は、ステップＳ２０３で取得部１０１が取得した第２の画像を示す説明図である。図５における点ａ２が図３の第１の点ａに対応し、点ｂ２が図３の第２の点ｂに対応する点である。
【００２５】
取得部１０１が取得した画像は、抽出部１０２に入力され、抽出部１０２はステップＳ２０２と同様の処理を行い、第２の画像における第１の点ａの座標（第３の座標）と第２の点ｂの座標（第４の座標）を算出する（ステップＳ２０４）。
【００２６】
ステップＳ２０２で抽出された第１の点ａの座標（図４の点ａ１の座標）と第２の点ｂの座標（図４の点ｂ１の座標）、及びステップＳ２０４で抽出された第１の点ａの座標（図５の点ａ２の座標）と第２の点の座標（図５の点ｂ２の座標）は、算出部１０３に入力される。
【００２７】
算出部１０３は、点ａ１の座標と点ｂ１の座標との位置関係、点ａ２の座標と点ｂ２の座標との位置関係、点ａ１の座標と点ａ２の座標との位置関係、及び、点ｂ１の座標と点ｂ２の座標との位置関係に基づいて、カメラの設置パラメータを算出する。
【００２８】
算出部１０３は、抽出部１０２で抽出した点ａ１の座標、点ｂ１の座標、点ａ２の座標、点ｂ２の座標から直線を算出する。図６は、抽出部１０２が抽出した点ａ１、点ｂ１、点ａ２、点ｂ２を擬似的に１枚の画像上に表示した図で、算出部１０３の処理を説明するための図である。算出部１０３は、点ａ１と点ａ２の座標を通る直線６１０、点ｂ１の座標と点ｂ２の座標を通る直線６１１、点ａ１の座標と点ｂ１の座標を通る直線６２０、点ａ２の座標と点ｂ２の座標を通る直線６２１を算出する（ステップＳ２０５）。
【００２９】
算出部１０３は、直線６１０、直線６１１、直線６２０、直線６２１の位置関係に応じてカメラの設置パラメータを算出し（ステップＳ２０６）、算出結果を出力する（ステップＳ２０７）。
【００３０】
図７は、ステップＳ２０６のカメラの設置パラメータ算出処理の詳細な動作を示すフローチャートである。
【００３１】
算出部１０３は、直線６１０と直線６１１との傾きを比較する（ステップＳ７０１）。次に直線６２０と直線６２１との傾きを比較し（ステップＳ７０２、ステップＳ７０３）、直線の位置関係に応じて、カメラの設置パラメータの算出処理を行う。
【００３２】
以下、直線６１０と直線６１１の傾きに差異があるかどうか及び、６２０と直線６２１の傾きに差異があるかどうかに応じた、カメラの設置パラメータの算出処理の一例について説明する。
【００３３】
（１）直線６１０と直線６１１の傾きが異なり、直線６２０と直線６２１の傾きが異なる場合（ステップＳ７０４〜ステップＳ７０９）
この場合、点ａ１、点ｂ１、点ａ２、点ｂ２の位置関係は、例えば図８に示す関係にある。算出部１０３は、直線６１０と直線６１１の交点を深消失点して算出する（ステップＳ７０４）。また、直線６２０と直線６２１の交点を消失点として算出する（ステップＳ７０５）。そして、深消失点と消失点を通る直線を消失線として算出する（ステップＳ７０６）。
【００３４】
消失点、消失線からカメラの設置パラメータを算出する方法は、文献（Ｌｉｎｇ−Ｌｉｎｇ  Ｗａｎｇ，  “Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  ｂｙ  Ｖａｎｉｓｈｉｎｇ  Ｌｉｎｅｓ  ｆｏｒ３Ｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ“，ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ
Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｖｏｌ．１３，  Ｎｏ．４  Ａｐｒｉｌ  １９９１，  ｐｐ３７０−３７６）に詳細に記載されている。
【００３５】
詳細な説明は省略するが、算出部１０３は、点ａ１ の座標と点ｂ１の座標との位置関係、点ａ２の座標と点ｂ２の座標との位置関係、点ａ１の座標と点ａ２の座標との位置関係、及び、点ｂ１の座標と点ｂ２の座標との位置関係に基づき、カメラ１１０の焦点距離を用いてカメラの設置パラメータを算出する。
【００３６】
本実施の形態においては、カメラの設置パラメータのうち、ロール角をカメラの光軸を軸とする回転角、ピッチ角を移動平面に平行でカメラの光軸に対して直角となる方向を軸とする回転角、ヨー角を移動平面に垂直な方向を軸とする回転角と定義して説明する。
【００３７】
また、画像空間上での座標として、左上を原点として、右方向をＸ軸、下方向をＹ軸と定義する。
【００３８】
算出部１０３は、Ｘ軸に平行な直線とステップＳ７０６で算出した消失線とのなす角をロール角として算出する（ステップＳ７０７）。次に、算出部１０３は、カメラ１１０の焦点距離とステップＳ７０５で算出した消失点の座標、ステップＳ７０７で算出したロール角を用いてピッチ角を算出する（ステップＳ７０８）。最後に、算出部１０３は、カメラ１１０の焦点距離とステップＳ７０４で算出した深消失点の座標、ステップＳ７０６で算出した消失線、ステップＳ７０８で算出したピッチ角を用いてヨー角を算出する（ステップＳ７０９）。
【００３９】
以上のように、直線６１０と直線６１１の傾きが異なり、直線６２０と直線６２１の傾きが異なる場合は、本発明の実施の形態１におけるキャリブレーション装置により、深消失点と消失点を同時に求め、深消失点と消失点を通る消失線からカメラの設置パラメータを算出することができる。
【００４０】
（２）直線６１０と直線６１１の傾きが異なり、直線６２０と直線６２１の傾きが等しい場合（ステップＳ７１０〜ステップＳ７１４）
この場合、点ａ１、点ｂ１、点ａ２、点ｂ２の位置関係は、例えば図９に示す関係にある。算出部１０３は、直線６１０と直線６１１の交点を深消失点として算出する（ステップＳ７１０）。次に、深消失点を通り直線６２０、直線６２１に平行な直線を消失線として算出する（ステップＳ７１１）。
【００４１】
算出部１０３は、Ｘ軸に平行な直線とステップＳ７１１で算出した消失線とのなす角をロール角として算出する（ステップＳ７１２）。次に、算出部１０３は、カメラ１１０の焦点距離とステップＳ７１０で算出した深消失点の座標、ステップＳ７１２で算出したロール角を用いてピッチ角を算出する（ステップＳ７１３）。最後に、算出部１０３は、カメラ１１０の焦点距離とステップＳ７１０で算出した深消失点の座標、ステップＳ７１１で算出した消失線、ステップＳ７１３で算出したピッチ角を用いてヨー角を算出する（ステップＳ７１４）。
【００４２】
（３）直線６１０と直線６１１の傾きが等しく、直線６２０と直線６２１の傾きが異なる場合（ステップＳ７１５〜ステップＳ７１９）
この場合、点ａ１、点ｂ１、点ａ２、点ｂ２の位置関係は、例えば図１０に示す関係にある。算出部１０３は、直線６２０と直線６２１の交点を消失点として算出する（ステップＳ７１５）。次に、消失点を通り直線６１０、直線６１１に平行な直線を消失線として算出する（ステップＳ７１６）。
【００４３】
算出部１０３は、Ｘ軸に平行な直線とステップＳ７１６で算出した消失線とのなす角をロール角として算出する（ステップＳ７１７）。次に、算出部１０３は、カメラ１１０の
焦点距離とステップＳ７１５で算出した消失点の座標、ステップＳ７１７で算出したロール角を用いてピッチ角を算出する（ステップＳ７１８）。
【００４４】
最後に、算出部１０３は、カメラ１１０の焦点距離とステップＳ７１６において算出された消失線上の、点ａ１から点ａ２に向かう方向で、距離無限大の位置に存在すると定義した深消失点の座標、ステップＳ７１６で算出した消失線、ステップＳ７１８で算出したピッチ角を用いてヨー角を算出する（ステップＳ７１９）。
【００４５】
（４）直線６１０と直線６１１の傾きが等しく、直線６２０と直線６２１の傾きが等しい場合（ステップＳ７２０〜ステップＳ７２２）
この場合、点ａ１、点ｂ１、点ａ２、点ｂ２の位置関係は、例えば図１１に示す関係にある。
【００４６】
直線６１０と直線６１１の傾きが等しく、直線６２０と直線６２１の傾きも等しくなるのは、カメラの光軸が移動平面に対して垂直方向になるようにカメラが設置されている場合であることから、算出部１０３は、ピッチ角を９０度と定義する（ステップＳ７２０）。また、ピッチ角が９０度であった場合、ロール角とヨー角の回転を区別することは不可能であることから、実施の形態１では、ロール角を０度と定義する（ステップＳ７２１）。
【００４７】
算出部１０３は、Ｙ軸に平行な直線１１００と直線６１０、直線６１１とのなす角１１０１をヨー角として算出する（ステップＳ７２２）。
【００４８】
なお、ここで説明したカメラの設置パラメータの算出方法は一例であり、異なる方法を用いて各点の座標からカメラの設置パラメータを算出してもよい。
【００４９】
また、移動平面上の２点を用いて説明したが、移動平面に平行な平面上の２点、例えば同じ高さのポールの頂点等を用いても、同様にカメラの設置パラメータを求めることができる。
【００５０】
また、本発明の実施の形態１におけるキャリブレーション装置は、専用のハードウェアによって実現される他、その機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録し、記録されたプログラムをコンピュータに読み込ませて実行するものであってもよい。
【００５１】
また、上記記憶媒体をカメラ１１０に実装し、キャリブレーション機能を備えたカメラとして構成してもよい。
【００５２】
また、移動平面３００上に存在する第１の点ａと第２の点ｂを、特殊な形状、色からなるマーカーとし、抽出部１０２の処理精度を高めるようにしてもよい。
【００５３】
また、第１の画像取得位置と第２の画像取得位置間の距離は、第１の画像および第２の画像それぞれに第１の点ａと第２の点ｂが撮影されている範囲であればよく、例えば、５０センチメートル、１０メートルであってもよい。
【００５４】
また、移動体の移動を直進、移動する面を平面としているが、これらの厳密な精度は、本発明における必須の要件ではない。カメラの設置パラメータの算出精度は、これら直進、平面の精度に依存する。したがって、直進、平面の精度は、アプリケーションなどから要求される設置パラメータの算出精度を満たす範囲であれば、例えば、移動体が蛇行しても良いし、移動する面が凸凹な面であったり、曲面であったりしても良い。
【００５５】
カメラ位置を基準とした場合、車両が直進する前に撮影した画像上の２つの特徴点を通る直線と、車両が直進した後に撮影した画像上の、車両が直進する前の画像上の特徴点と対応する２つの特徴点を通る直線とは、実空間では平行となる。また、車両が直進する前の画像上の特徴点と、それに対応する車両が直進した後の画像上の特徴点とを通る２本の直線も同様に実空間では平行となり、これら実空間における２組の平行線を定義する２つの特徴点が撮影された画像に基づいて、カメラの設置パラメータを算出することが可能となる。
【００５６】
よって、以上説明したように、本発明の実施の形態１におけるキャリブレーション装置によれば、路面標示の図形的な特徴量等をあらかじめ記憶しておくことなく、また、他の技術と併用することなくカメラの設置パラメータを算出することが可能となる。
【００５７】
（実施の形態２）
以下、本発明の第２の実施の形態におけるキャリブレーション装置について説明する。
【００５８】
図１２は、本発明の第２の実施の形態におけるキャリブレーション装置の構成を示すブロック図である。図１２において、キャリブレーション装置１２００は、車両に設置されたカメラ１１０によって撮影された画像を取得する取得部１２０１と、取得部１２０１が取得した画像から、画像処理によって点を抽出する抽出部１２０２と、抽出部１２０２が抽出した点の座標から、カメラの設置パラメータを算出する算出部１２０３と、車両の走行状態を判定する走行状態判定部１２０４を備えた構成となっている。
【００５９】
取得部１２０１は、外部からの画像取得信号に従い、カメラ１１０が撮影した画像をカメラ１１０から取得する。
【００６０】
抽出部１２０２は、画像から特徴点を抽出し、画像処理、例えば、ブロックマッチング法により異なる画像間で対応付けられた特徴点の抽出を行う。
【００６１】
算出部１２０３は、抽出部１２０２から出力される対応付けられた特徴点に基づきカメラの設置パラメータを算出する。
【００６２】
走行状態判定部１２０４は、車両から入力される走行距離情報、進行方向情報、移動面情報に基づき、車両の走行状態を判定する。走行距離情報とは車両が一定距離移動したか否かを判定するための情報であり、例えば、車両の走行距離メータの情報が含まれる。進行方向情報とは車両が直進したか否かを判断するための情報であり、例えば車両の蛇角センサーの情報が含まれる。移動面情報とは、車両の移動面が平面か否かを判定するための情報であり、例えば、車両の角度センサー、ジャイロ等の情報が含まれる。
【００６３】
上記のように構成された本発明の第２の実施形態におけるキャリブレーション装置１２００の動作を図面に基づいて説明する。
【００６４】
図１３は、本発明の第２の実施形態におけるキャリブレーション装置１２００の動作を示すフローチャートである。
【００６５】
処理が開始されると、走行状態判定部１２０４は、キャリブレーションを行うのに適した状態か否かを判定する（ステップＳ１３０１）。すなわち、走行状態判定部１２０４は、取得部１２０１がカメラ１１０から取得する画像が移動平面を撮影した画像となるか否かを判定する。具体的には、走行条件１として「車両が、一定距離、例えば５メートル走行し、走行中に移動面情報に変化がなかった」か、否かを判定する。走行条件１を満たす
までこの判定は繰り返される。走行条件１を満たした場合、入力画像処理を行う（ステップＳ１３０２）。
【００６６】
図１４は、ステップＳ１３０２の入力画像処理の詳細を示すフローチャートである。最初に、取得部１２０１は、第１の画像（以下、画像１と呼ぶ）を取得する（ステップＳ１４０１）。取得部１２０１が取得した画像は、抽出部１２０２に入力される。抽出部１２０２は、取得部１２０１から取得した画像１を複数の領域に分割する（ステップＳ１４０２）。
【００６７】
次に、分割した各領域に対し１点ずつ画像処理により特徴点を抽出する（ステップＳ１４０３）。具体的には、例えば、Ｈａｒｒｉｓ法を適用し、各領域において、Ｈａｒｒｉｓ法により算出された値が最大となる画素を特徴点として抽出する。
【００６８】
図１５は、画像１を１６の領域に分割し、１６個の特徴点を抽出した画像図である。図中、黒色の丸で示す点、点ａ１、点ｂ１等が特徴点である。
【００６９】
次に、車両が所定の距離、例えば１メートル走行するまでの間、取得部１２０１は、カメラ１１０から画像（以下、サブ画像と呼ぶ）を取得し、抽出部１２０２は、サブ画像から、画像処理、例えば、ブロックマッチング法により、画像１から抽出した特徴点に対応する特徴点を抽出する（ステップＳ１４０４〜ステップＳ１４０６）。
【００７０】
車両が所定の距離を走行したか否かは、走行状態判定部１２０４が判定する。車両が所定の距離を走行した場合、抽出部１２０２は、取得部１２０１が最後に取得したサブ画像を画像２とし（ステップＳ１４０７）、画像１から抽出された特徴点と画像２から抽出された特徴点とを算出部１２０３へ出力し（ステップＳ１４０８）、入力画像処理を終了する。
【００７１】
図１６は、入力画像処理により得られた画像２を示す画像図である。図中の白色の四角で示す点が、画像１から抽出した特徴点に対応する特徴点である。図中、特徴点ａ２が画像１における特徴点ａ１に、特徴点ｂ２が画像１における特徴点ｂ１に対応する。
【００７２】
図１６のすべての特徴点は図１５の特徴点と１対１に対応付けられている。
【００７３】
入力画像処理の終了後、走行状態判定部１２０４は、消失線算出処理を開始するか否かを判定する（ステップＳ１３０３）。すなわち、走行条件１の判定後、車両が移動平面を直進したかどうかを判定する。具体的には、走行条件２として「走行条件１を満たした後、走行中、移動面情報が走行条件１を満たした時の値から変化しておらず、かつ蛇角センサーの値が直進を示していた」か、否かを判定する。
【００７４】
走行条件２を満たさない場合は、走行条件１の判定に戻る。走行条件２を満たす場合、算出部１２０３が消失線算出処理を行う（ステップＳ１３０４）。
【００７５】
図１７から図１９は、消失線算出処理の一例を示す説明図である。図１７は、画像１の特徴点と、画像１の特徴点に対応する画像２の特徴点とを重畳した画像である。
【００７６】
算出部１２０３は、画像１（図１５）の特徴点と画像２（図１６）の対応する特徴点を結ぶ直線を算出し、直線の交点を深消失点として算出する。図１８において、白色の丸が、算出された深消失点を示している。
【００７７】
また、算出部１２０３は、画像１の２つの特徴点を選択し、それらを通る直線を算出す
る。また、算出部１２０３は、画像１で選択した２点に対応する画像２の２つの特徴点を通る直線を算出する。そして、算出部１２０３は、画像１において算出された直線と画像２において算出された直線との交点を消失点として算出する。上記処理を全ての特徴点の組み合わせに対して実施する。図１９において、グレーの三角形が、算出された消失点を示している。
【００７８】
次に、算出部１２０３は、ハフ変換により、深消失点を通り、かつ、最も多くの消失点を通る直線を消失線として算出する。
【００７９】
図２０は、算出された深消失点、消失点、及び、ハフ変換により算出された消失線を示す説明図である。図１８における消失線上の消失点は、移動平面上、または移動平面に平行な平面上に存在する点で、互いを結ぶ線分が車両の移動方向に対して平行でない関係に位置している特徴点から算出されたものとなる。
【００８０】
算出部１２０３は、深消失点の座標、消失線、及びカメラ１１０の焦点距離を用いて、実施の形態１で説明したように、カメラの設置パラメータであるロール角、ピッチ角、及びヨー角を算出する（ステップＳ１３０５）。
【００８１】
算出部１２０３は、Ｘ軸に平行な直線とステップＳ１３０４で算出した消失線とのなす角をロール角として算出する。次に、算出部１２０３は、カメラ１１０の焦点距離と深消失点の座標、ロール角を用いてピッチ角を算出する。最後に、算出部１２０３は、カメラ１１０の焦点距離と深消失点の座標、ステップＳ１３０４で算出した消失線、ピッチ角からヨー角を算出する。
【００８２】
なお、図１２において、走行状態判定部１２０４をＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報に基づいて走行距離、進行方向、移動面の平面性を算出するように構成してもよい。
【００８３】
また、図１２におけるキャリブレーション装置１２００のブロック構成図において、キャリブレーション装置１２００をＣＰＵ（ＣＥＮＴＲＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）、ＲＡＭ（ＲＡＮＤＯＭ  ＡＣＣＥＳＳ  ＭＥＭＯＲＹ）、ＲＯＭ（ＲＥＡＤ  ＯＮＬＹ  ＭＥＭＯＲＹ）により構成し、各部の処理をＣＰＵが読み取り可能な記憶媒体に格納したプログラムとしてキャリブレーション装置１２００を実現することも可能である。
【００８４】
また、算出部１２０３における消失点を、移動平面が撮影されると想定される領域のみで算出するようにしてもよい。
【００８５】
また、図１２に示すキャリブレーション装置を、カメラの中に組み込み、キャリブレーション機能を備えたカメラとして構成することもできる。
【００８６】
通常、画像中の移動平面の占める割合は高く、特徴点の多くは移動平面上から抽出されることになる。そのため、深消失点を通り、複数の消失点のうち最も多くの消失点を通る直線は、移動平面上の特徴点に基づく消失線となる。したがって、本発明の実施の形態２におけるキャリブレーション装置は、画像中の移動平面が特定されていなくても、カメラの設置パラメータを算出できる。
【産業上の利用可能性】
【００８７】
本発明は、車両に設置され運転支援を行う車載カメラなどに、適用可能である。
【符号の説明】
【００８８】
１００、１２００  キャリブレーション装置
１０１、１２０１  取得部
１０２、１２０２  抽出部
１０３、１２０３  算出部
１１０  カメラ
３００  移動平面
３０１  第１の点ａと第２の点ｂを結ぶ直線
３０２  車両の移動方向
１２０４  走行状態判定部
【図１】
2015122547.tif 000003
【図２】
2015122547.tif 000004
【図３】
2015122547.tif 000005
【図４】
2015122547.tif 000006
【図５】
2015122547.tif 000007
【図６】
2015122547.tif 000008
【図７】
2015122547.tif 000009
【図８】
2015122547.tif 000010
【図９】
2015122547.tif 000011
【図１０】
2015122547.tif 000012
【図１１】
2015122547.tif 000013
【図１２】
2015122547.tif 000014
【図１３】
2015122547.tif 000015
【図１４】
2015122547.tif 000016
【図１５】
2015122547.tif 000017
【図１６】
2015122547.tif 000018
【図１７】
2015122547.tif 000019
【図１８】
2015122547.tif 000020
【図１９】
2015122547.tif 000021
【図２０】
2015122547.tif 000022