(57)【要約】【課題】  撮像装置の取り付け位置の推定を従来よりも正確に行うことができる「撮像装置の取り付け位置の推定方法およびキャリブレーションシステム」を提供する。【解決手段】  本発明の撮像カメラの取り付け位置を推定する方法は、円パターンＣが設けられたターゲットボードＴＧを車両に対して予め決められた位置に設置する第１のステップと、撮像カメラによりターゲットボードＴＧを撮像する第２のステップと、第２のステップで撮像された撮像データを俯瞰画像データに変換する第３のステップと、俯瞰画像データに基づきターゲットボード上のパターンの座標位置を算出する第４のステップと、第４のステップで算出された座標位置を撮像データ上の座標位置に変換する第５のステップと、第５のステップで変換された座標位置に基づき撮像カメラの取り付け位置を推定する第６のステップとを有する。【選択図】  図８
2011047725.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられた撮像装置の取り付け位置を推定する推定方法であって、
パターンが設けられたターゲットを車両に対して予め決められた位置に設置する第１のステップと、
前記撮像装置により前記ターゲットを撮像する第２のステップと、
第２のステップで撮像された撮像データを俯瞰画像データに変換する第３のステップと、
前記俯瞰画像データに基づき前記ターゲット上のパターンの座標位置を算出する第４のステップと、
第４のステップで算出された座標位置を前記撮像データ上の座標位置に変換する第５のステップと、
第５のステップで変換された座標位置に基づき前記撮像装置の取り付け位置を推定する第６のステップと、
を有する推定方法。
【請求項２】
前記パターンは、少なくとも１つの円形パターンを含み、第４のステップは、前記円形パターンの重心を算出する、請求項１に記載の推定方法。
【請求項３】
前記パターンは、矩形状の枠パターンを含み、第４のステップは、前記枠パターンのコーナの座標を算出する、請求項１に記載の推定方法。
【請求項４】
第３のステップは、前記ターゲットのパターンを含む撮像データの一部を俯瞰画像データに変換する、請求項１に記載の推定方法。
【請求項５】
前記パターンは、矩形状の枠パターンと当該枠パターン内に少なくとも１つの円形パターンとを含み、第３のステップは、枠パターンに沿うように撮像データをトリミングし、トリミングされた撮像データを俯瞰画像に変換する、請求項４に記載の推定方法。
【請求項６】
車両に取り付けられた撮像装置のキャリブレーションを行うシステムであって、
車両に取り付けられた撮像装置と、
車両に対して予め決められた位置に設置され、パターンが形成されたターゲットと、
前記撮像装置から得られた撮像データに基づき撮像装置の取り付け位置を推定する推定手段とを含み、
前記推定手段は、
前記撮像装置に前記ターゲットを撮像させる手段と、
前記撮像手段より撮像された前記ターゲットのパターンを含む撮像データを俯瞰画像データに変換する画像変換手段と、
変換された俯瞰画像データに基づき前記ターゲットのパターンの座標位置を算出する算出手段と、
算出された座標位置を前記撮像データ上の座標位置に変換する座標変換手段とを有する、撮像装置のキャリブレーションシステム。
【請求項７】
前記パターンは、少なくとも１つの円形パターンを含み、前記算出手段は、前記円形パターンの重心を算出する、請求項６に記載のキャリブレーションシステム。
【請求項８】
前記パターンは、矩形状の枠パターンを含み、前記算出手段は、前記枠パターンのコーナの座標を算出する、請求項６に記載のシステム。
【請求項９】
前記画像変換手段は、前記ターゲットのパターンを含む撮像データの一部を俯瞰画像データに変換する、請求項６に記載のシステム。
【請求項１０】
前記パターンは、矩形状の枠パターンと当該枠パターン内に少なくとも１つの円形パターンとを含み、前記画像変換手段は、枠パターンに沿うように撮像データをトリミングし、トリミングされた撮像データを俯瞰画像に変換する、請求項９に記載のシステム。
【請求項１１】
前記画像変換手段は、撮像データを車両の真上から見下ろす画像に視点変換して表示するための視点変換手段を利用して前記撮像データを俯瞰画像データに変換する、請求項６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられた撮像装置（撮像カメラ）の取り付け位置の推定方法およびキャリブレーションシステムに関する。
【背景技術】
【０００２】
車載用カメラの搭載率が増加し、それに伴い撮像カメラを利用したアプリケーションが実用化されている。代表的なアプリケーションとして、撮像カメラで撮像された車両周辺の画像を車内ディスプレイに表示し、運転の支援や注意喚起を行うものがある。
【０００３】
車両に取り付けられる撮像カメラは、精度を一定に保つために、車両１台ずつに対してキャリブレーションが必要である。特許文献１は、車載用撮像カメラでキャリブレーションパターンを撮像し、撮像された画像からキャリブレーションパターンの輪郭を抽出し、輪郭からキャリブレーションパターンの位置情報を抽出し、抽出された位置情報から車載用撮像カメラの取り付け高さ、取り付け角度を推定し、推定された結果をメモリに記憶しておきこれを動作時に使用する、キャリブレーション方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１６５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の撮像カメラのキャリブレーションには、次のような課題がある。図１は、撮像カメラのキャリブレーションを行うときの撮像カメラとターゲットボードとの位置関係を示す図である。同図において、車両Ｍの前方バンパー近傍に撮像カメラ１０が取り付けられている。撮像カメラ１０は、車両Ｍの前方の広範囲を撮像することができるように視野角の大きい魚眼レンズを用い、かつその光軸は地面１２とほぼ平行である。車両Ｍの前方の既知の距離Ｌに、ターゲットボードＴＧが設置される。ターゲットボードＴＧは、撮像カメラのキャリブレーションを行うものであり、キャリブレーションボードまたはキャリブレーションパターンと同義である。
【０００６】
ターゲットボードＴＧは、図２に示すように、薄板の部材上に、矩形状の枠パターンＦと枠パターンＦ内に６つの円パターンＣを含んでいる。枠パターンＦと円パターンＣは、黒色である。このようなターゲットボードＴＧは、図３に示すように、車両Ｍの前方に複数（図面では、３つ）並んで設置され、中央のターゲットボードＴＧの長手方向の中心線は、撮像カメラ１０のＸ−Ｙ平面の光軸Ｏにほぼ一致している。キャリブレーションを実施するとき、撮像カメラ１０によりターゲットボードＴＧが撮像され、その撮像データからターゲットボードＴＧの枠パターンＦのコーナの座標や円パターンＣの中心座標が算出され、その座標情報から撮像カメラ１０の取り付け位置や取り付け角度を推定する。
【０００７】
しかしながら、撮像カメラ１０は、ワイドビューを実現するために視野角が大きな魚眼レンズを用いることが多く、魚眼レンズを介して撮像されたターゲットボードＴＧの画像には、大きな歪みが生じ、枠パターンＦまたは円パターンＣの座標を正確に算出することができない場合がある。撮像データの歪みを補正することも可能であるが、仮にそのような補正を施したとしても、依然として正確な座標位置を得ることができない場合がある。
【０００８】
図４は、魚眼レンズを介してターゲットボードＴＧを撮像したときの撮像データ（以下、便宜上、魚眼画像または魚眼画像データという）を示している。図に示すように、魚眼画像は、中央よりも周辺において歪みが大きくなり、また、遠方よりも近傍において歪が大きくなる。このため、左右のターゲットボードＴＧの画像の歪みが大きく、かつターゲットボードＴＧの画像の手前側の歪みが大きくなる。こうした歪みが大きい魚眼画像データを用いて枠パターンＦや円パターンＣの座標を求めると、求められた座標の誤差が大きくなり、撮像カメラの取り付け位置を正確に推定することができなくなってしまう。これは、キャリブレーションの失敗の原因となり、再度、撮像カメラの取り付け位置の推定等の作業を繰返さなければならず、キャリブレーションの作業効率の悪化につながってしまう。
【０００９】
本発明は、このような従来の課題を解決し、撮像装置の取り付け位置の推定を従来よりも正確に行うことができる撮像装置の取り付け位置の推定方法およびそのキャリブレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る、車両に取り付けられた撮像装置の取り付け位置を推定する推定方法は、パターンが設けられたターゲットを車両に対して予め決められた位置に設置する第１のステップと、前記撮像装置により前記ターゲットを撮像する第２のステップと、第２のステップで撮像された撮像データを俯瞰画像データに変換する第３のステップと、前記俯瞰画像データに基づき前記ターゲット上のパターンの座標位置を算出する第４のステップと、第４のステップで算出された座標位置を前記撮像データ上の座標位置に変換する第５のステップと、第５のステップで変換された座標位置に基づき前記撮像装置の取り付け位置を推定する第６のステップとを有する。
【００１１】
好ましくは前記パターンは、少なくとも１つの円形パターンを含み、第４のステップは、前記円形パターンの重心を算出する。好ましくは前記パターンは、矩形状の枠パターンを含み、第４のステップは、前記枠パターンのコーナの座標を算出する。好ましくは第３のステップは、前記ターゲットのパターンを含む撮像データの一部を俯瞰画像データに変換する。好ましくは前記パターンは、矩形状の枠パターンと当該枠パターン内に少なくとも１つの円形パターンとを含み、第３のステップは、枠パターンに沿うように撮像データをトリミングし、トリミングされた撮像データを俯瞰画像に変換する。
【００１２】
本発明に係る車両に取り付けられた撮像装置のキャリブレーションを行うシステムは、車両に取り付けられた撮像装置と、車両に対して予め決められた位置に設置され、パターンが形成されたターゲットと、前記撮像装置から得られた撮像データに基づき撮像装置の取り付け位置を推定する推定手段とを含み、前記推定手段は、前記撮像装置に前記ターゲットを撮像させる手段と、前記撮像手段より撮像された前記ターゲットのパターンを含む撮像データを俯瞰画像データに変換する画像変換手段と、変換された俯瞰画像データに基づき前記ターゲットのパターンの座標位置を算出する算出手段と、算出された座標位置を前記撮像データ上の座標位置に変換する座標変換手段とを有する。
【００１３】
好ましくは前記パターンは、少なくとも１つの円形パターンを含み、前記算出手段は、前記円形パターンの重心を算出する。好ましくは前記パターンは、矩形状の枠パターンを含み、前記算出手段は、前記枠パターンのコーナの座標を算出する。好ましくは前記画像変換手段は、前記ターゲットのパターンを含む撮像データの一部を俯瞰画像データに変換する。好ましくは前記パターンは、矩形状の枠パターンと当該枠パターン内に少なくとも１つの円形パターンとを含み、前記画像変換手段は、枠パターンに沿うように撮像データをトリミングし、トリミングされた撮像データを俯瞰画像に変換する。好ましくは前記画像変換手段は、撮像データを車両の真上から見下ろす画像に視点変換して表示するための視点変換手段を利用して前記撮像データを俯瞰画像データに変換する。
【発明の効果】
【００１４】
本発明によれば、撮像データを俯瞰画像データに変換してパターンの座標位置を算出し、この座標を撮像データ上の座標に変換するようにしたので、より正確にパターンの座標位置を求めることができ、その結果、撮像装置の取り付け位置を精度良く推定することができる。
【図面の簡単な説明】
【００１５】
【図１】キャリブレーションを行うときの撮像カメラとターゲットボードの位置関係の例を示す図である。
【図２】ターゲットボードのパターンの例を示す平面図である。
【図３】ターゲットボードと車両の関係を示す平面図である。
【図４】図３に示すターゲットボードを撮像したときの魚眼画像の例である。
【図５】本実施の形態で好ましく用いられる撮像カメラが搭載された車両の例を示す平面図である。
【図６】本発明の実施例に係るキャリブレーションシステムの構成を示す図である。
【図７】図６に示す制御装置のキャリブレーションに関する機能ブロック図である。
【図８】本実施例に係るキャリブレーション方法を説明するためのフローチャートである。
【図９】ターゲットボードの俯瞰画像を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。好ましい実施の形態として、図５に示すように、車両Ｍの前方、後方および左右に、４つの撮像カメラ１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄが取り付けられ、４つの撮像カメラは、それぞれ視野角θ（好ましくは１６０度以上）の魚眼レンズを用いて車両のほぼ水平方向の全周囲を撮像する。車両Ｍには、４つの撮像カメラによって撮像された魚眼画像データを、車両真上から見下ろすような俯瞰画像データに視点変換し、これを車内ディスプレイに表示する、いわゆるトップビュー画像を表示するシステムが搭載されている。
【実施例】
【００１７】
図６は、本発明の実施例に係るキャリブレーションシステムの構成を示すブロック図である。本実施例のキャリブレーションシステム１００は、車両に取り付けられた撮像カメラ１１０（１１０Ａ〜１１０Ｄ）と、入出力装置１２０と、メモリ１３０と、バス１５０を介して各部に接続された制御装置１４０とを含んで構成され、キャリブレーションシステム１００は、トップビュー画像を表示するシステムの一部を構成するものであってもよい。
【００１８】
撮像カメラ１１０（１１０Ａ〜１１０Ｄ）は、上記したようにトップビュー画像を表示するため、車両Ｍの前後左右にそれぞれ４つ搭載されている。４つの撮像カメラは、車両に取り付けられたときにキャリブレーションを実施され、キャブレーションによって得られた情報は、トップビュー画像を表示する際に利用することができる。
【００１９】
ターゲットボードＴＧは、種々のパターンを含んで構成することができるが、例えば、図２に示したように、矩形状の枠パターンＦと枠パターンＦ内に６つの等しい大きさの円パターンＣを含んで構成される。ターゲットボードＴＧは、薄板状の部材であれば特にその材質に制限はなく、その表面に枠パターンＦと円パターンＣが描画され、あるいはそれらのパターンが貼り付けられる。好ましくは、枠パターンＦおよび円パターンＣは、周辺環境との差異が明瞭となるように黒色で表される。さらに、ターゲットボードＴＧは、必ずしも可搬性の部材である必要はなく、パターンＦ、Ｃが地面に固定的に描画されたものでもよい。
【００２０】
入出力装置１２０は、ユーザからの指示を入力する手段、例えば、キーボード、マウスなどを含み、さらに画像や音声を出力する手段、例えば、ディスプレイ、スピーカなどを含む。メモリ１３０は、キャリブレーションを実施するために必要なデータ、キャリブレーションによって推定された撮像カメラの取り付け位置に関する情報などを記憶する。制御装置１４０は、バスＢを介して各部に接続され、例えば、コンピュータ装置、サーバ装置、その他の電子装置により構成される。制御装置１４０は、必ずしも車内に搭載される必要はなく、車外に設置されバスＢを介して各部に接続されるものであってもよい。好ましくは制御装置１４０は、プログラムを格納するメモリとそのプログラムを実行する処理装置を含み、メモリには、キャリブレーションを実施するためのプログラムや、撮像カメラによって撮像された撮像データをトップビュー画像に視点変換して表示するためのプログラムなどが格納される。
【００２１】
図７は、撮像装置１４０のキャリブレーションに関する機能ブロック図である。
制御装置１４０は、撮像カメラ１１０によって撮像された魚眼画像データを俯瞰画像データに変換する画像変換手段１４２と、俯瞰画像データに基づきターゲットボードＴＧ上のパターンの座標位置を算出する座標位置算出手段１４４と、算出された座標位置を魚眼画像データ上の座標に変換する座標変換手段１４６と、変換された座標情報に基づき撮像カメラの取り付け位置を推定する位置推定手段１４８とを有する。
【００２２】
次に、図８のフローチャートを参照して、撮像カメラのキャリブレーション方法を説明する。ここでは、車両Ｍの前方に搭載された撮像カメラ１１０Ａのキャリブレーションの例を説明する。先ず、図１または図３に示すように、車両Ｍに対して既知の距離Ｌにある地面上に、３つのターゲットボードＴＧを設置する（ステップＳ１０１）。ターゲットボードＴＧの間隔は、予め決められており、その間隔は既知である。
【００２３】
次に、制御装置１４０は、撮像カメラ１１０ＡにターゲットボードＴＧを撮像させる（ステップＳ１０２）。撮像カメラ１１０Ａによって撮像された魚眼画像データには、図４に示したように、３つのターゲットボードＴＧが映されている。
【００２４】
次に、画像変換手段１４２は、撮像カメラ１１０Ａによって撮像された魚眼画像データを受け取り（ステップＳ１０３）、これを俯瞰画像データに変換する（ステップＳ１０４）。
俯瞰画像データへの変換は、好ましくは、トップビュー画像を表示するシステムにおいて用意されている視点変換処理用の変換式またはマッピングテーブルを利用することができる。これらの変換式またはマッピングテーブルは、公知であり、ここには詳述しない。
【００２５】
また、魚眼画像データのすべてが俯瞰画像データに変換される必要はなく、ターゲットボードＴＧが映された一部の魚眼画像データを俯瞰画像データに変換することが望ましい。魚眼画像データ内の変換すべき領域を予め決めておき、当該領域をトリミングして俯瞰画像データに変換してもよいし、魚眼画像データに映し出されたターゲットボードＴＧの枠パターンＦを抽出し、この枠パターンＦに沿うように魚眼画像データをトリミングし俯瞰画像データに変換してもよい。変換に不要な画像データを削減することで、画像用メモリの容量を小さくすることができ、また、画像変換処理に要する時間を短縮することができる。
【００２６】
図９は、トリミングされた魚眼画像データを俯瞰画像データに変換したときのターゲットボードＴＧの画像を示している。俯瞰画像データは、真上から見下ろすようにＸ−Ｙ平面に投影されるため、図からも明らかなように、ターゲットボードＴＧの枠パターンＦおよび円パターンＣには、ほとんど歪みが見られない。
【００２７】
次に、座標位置算出手段１４４は、Ｘ−Ｙ平面に投影された俯瞰画像データに基づきターゲットボードの枠パターンＦおよび／または円パターンＣの座標位置を算出する（ステップＳ１０５）。円パターンＣの中心座標の求め方を例示する。座標位置算出手段１４４は、俯瞰画像データの枠パターンＦを識別し、枠パターンＦの内の黒色の画素を抽出し、これらの画素数をカウントし、全体の画素数から円パターンＣの重心を求め、これを円パターンＣの中心座標とする。同様の方法で、ターゲットボードＴＧの全ての円パターンＣの中心座標を算出する。また、座標位置算出手段１４４は、必要であれば、枠パターンＦの４つのコーナの座標を算出する。例えば、枠パターンＦの輪郭を抽出し、線と線が直交する位置を算出し、これをコーナの座標とする。
【００２８】
次に、座標変換手段１４６は、算出された円パターンＣの中心座標および／または枠パターンＦのコーナの座標を、魚眼画像データの座標に変換する（ステップＳ１０６）。この座標変換は、魚眼画像データから俯瞰画像データへの変換と逆の変換を行うことにより実現される。
【００２９】
次に、位置推定手段１４８は、魚眼画像データ上の円パターンＣの中心座標および／または枠パターンＦのコーナの座標と撮像カメラ１１０Ａとの相対的な位置関係に基づき、撮像カメラ１１０Ａの取り付け位置に関する情報、例えば、撮像カメラの取り付けの高さ、角度（光軸）を推定し（ステップＳ１０７）、これをメモリ１３０に記憶する(ステップＳ１０８)。この取り付け位置に関する情報は、トップビュー画像を表示するときに利用される。以上のようにして撮像カメラ１１０Ａのキャリブレーションが実施され、他の残りの撮像カメラ１１０Ｂ〜１１０Ｄについても同様の方法でキャリブレーションが実施される（ステップＳ１０９）。
【００３０】
このように本実施例によれば、魚眼画像データを俯瞰画像データに変換して円パターンＣおよび／または枠パターンＦのコーナの座標を算出するようにしたので、算出された座標は、魚眼画像データのように歪んだ画像から算出された座標よりも誤差が少なく、その結果、撮像カメラの取り付け位置を従来よりも精度良く推定することができる。
【００３１】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００３２】
上記実施例では、ターゲットボードＴＧが枠パターンＦと円パターンＣを含んでいるが、これらのパターンの数、形状等は、目的に応じて適宜変更することが可能である。さらに、上記実施例では、車両の前後左右の４箇所に撮像カメラ１１０Ａ〜１１０Ｄを取り付けたときのキャリブレーション方法を示したが、これは一例であり、撮像カメラの取り付け個数や取り付け位置は、必要に応じて適宜変更することができる。さらに上実施例では、トップビュー画像を表示する表示システムを搭載する車両を例に用いたが、本発明は、撮像カメラによる撮像データを表示するようなあらゆる車両において適用することができる。
【符号の説明】
【００３３】
ＴＧ：ターゲットボード
Ｆ：枠パターン
Ｃ：円パターン
Ｏ：光軸
θ：視野角
Ｍ：車両
１００：キャリブレーションシステム
１１０、１１０Ａ〜１１０Ｄ：撮像カメラ
１２０：入出力装置
１３０：メモリ
１４０：制御装置
【図１】
2011047725.tif 000003
【図２】
2011047725.tif 000004
【図３】
2011047725.tif 000005
【図４】
2011047725.tif 000006
【図５】
2011047725.tif 000007
【図６】
2011047725.tif 000008
【図７】
2011047725.tif 000009
【図８】
2011047725.tif 000010
【図９】
2011047725.tif 000011