(57)【要約】【課題】  隣接する車両用のキャリブレーションターゲットを誤って検知するのを防止するキャリブレーションターゲットを提供すること。【解決手段】  キャリブレーションターゲットは、まず、マーカボード枠１０１と、この枠１０１の内側にあって、この枠１０１と接することなく、この枠１０１と同色で、かつ所定面積を持つ２つのマーカ１０２と、この枠１０１及び各マーカ１０２とは異なる色を持ち、この枠１０１と各マーカ１０２の間にあるマーカ外領域１０３とを含むマーカボード１０４を備える。キャリブレーションターゲットはさらに、車載用の撮像装置の光軸を基準として、マーカボートと線対称に配置される反転マーカボード１０５を備える。ここで、反転マーカボード１０５は、マーカ外領域１０３と同色のマーカボード枠１０８及びマーカ１０９と、マーカ１０２又はマーカボード枠１０１と同色のマーカ外領域１１０とを含む。【選択図】  図１
2010107348.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像可能な車載撮像装置のキャリブレーションに用いられるキャリブレーションターゲットであって、
キャリブレーションターゲットは、
第１のマーカボード枠と、
前記第１のマーカボード枠の内側にあって、該第１のマーカボード枠と接することなく、前記第１のマーカボード枠と同色で、かつ所定面積を持つ第１のマーカと、
前記第１のマーカボード枠及び前記第１のマーカと異なる色を持ち、かつ前記第１のマーカボード枠と前記第１のマーカとの間にある第１のマーカ外領域とを含むマーカボードを備え、
キャリブレーションターゲットはさらに、前記車載撮像装置の光軸を境として、前記マーカボートと反対側に配置される反転マーカボードを備え、
前記反転マーカボードは、
前記第１のマーカ外領域と同色の第２のマーカボード枠及び第２のマーカと、
前記第１のマーカ又は第１のマーカボード枠と同色の第２のマーカ外領域とを含む、
キャリブレーションターゲット。
【請求項２】
前記第１のマーカ外領域の面積は、各前記第２のマーカの面積の合計とは異なる、
請求項１に記載のキャリブレーションターゲット。
【請求項３】
前記第１のマーカ外領域の面積は、各前記第２のマーカの面積の合計より大きい、
請求項２に記載のキャリブレーションターゲット。
【請求項４】
請求項１に記載のキャリブレーションターゲットと、
車両に取り付けられ車両の周囲を撮像する撮像装置と、
前記撮像装置で撮像した画像からキャリブレーションに必要なマーカを検出するマーカ検知部と、
前記マーカ検知部で検知されたマーカに対して画像上のその重心座標を算出するマーカ重心算出部と、
実環境に配置された前記キャリブレーションターゲットの３次元座標を予め格納するマーカ座標記憶部と、
前記マーカ重心算出部で算出されたマーカ重心座標と前記マーカ座標記憶部に格納された座標を元に前記撮像装置の車両への取り付け角度および位置よりなる外部パラメータを算出するカメラパラメータ算出部とを備える、
車載カメラ用キャリブレーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行中の車両の周囲状況を撮像するためのカメラの、車両に対する取り付け状態を校正するためのキャリブレーションターゲット及び車載カメラ用キャリブレーションに関する。
【背景技術】
【０００２】
近年、車載カメラ分野において、道路面に対する車載カメラの設置位置・設置角度を求める車載カメラ用キャリブレーション技術の必要性が高まっている。例えば、駐車時の車両後方のカメラ画像にバンパーからの距離を示す線を画像に重畳するには、事前にカメラキャリブレーションを行う必要がある。
【０００３】
白線検知機能、障害物検知機能を実現する上でカメラキャリブレーション結果を利用する方法は、これまでに多くの提案が出されている。ここで、従来の車載カメラ用キャリブレーションシステムについて図面を用いて説明する。
【０００４】
図５は、従来の車載カメラ用キャリブレーションシステムとその使用状態を示す平面図である。
【０００５】
図５において、車両５０１の最後部に車載カメラ５０２が設けられている。車両５０１の後方の路面上にはキャリブレーションの基準となる位置を示す複数の基準位置パターンを有するキャリブレーションターゲット５０３が配置される。このキャリブレーションターゲット５０３の基準位置パターンはカメラキャリブレーション用の基準位置を示すものであり、通常視覚的に特徴点を抽出しやすいパターンが使用される。図では隣接する正方形の色が異なる市松模様パターンとしている。
【０００６】
車載カメラ５０２のキャリブレーション方法としては、最初に車両５０１とキャリブレーションターゲット５０３の位置を正確に合わせる。例えば、車両５０１とキャリブレーションターゲット５０３の中心を合わせる。座標は実際の路面の３次元座標（以下「世界座標」という）をとる。例えば、図５において車両５０１の最後尾と中心軸の交点を原点として、路面をＸ，Ｙ軸、高さ方向をＺ軸としている。車両５０１とキャリブレーションターゲット５０３との位置決めを行った後、車載カメラ５０２でキャリブレーションターゲット５０３を撮像する。撮像された画像はモニタ（図示略）上に表示され、その画像上の正方形の頂点が基準位置としてマウス等の入力手段により入力される。この頂点の座標はｘｙ平面上の２次元座標（以下「イメージ座標」という）で表現される。なお、パターン認識により自動的に頂点のイメージ座標を求めることもある。
【０００７】
その後、正方形の頂点のイメージ座標と実際の世界座標との対応づけが行われる。このようなイメージ座標と世界座標の対応付けが複数の頂点について行われ、これらの座標を入力としてカメラキャリブレーション用のパラメータ（以下単に「カメラパラメータ」という）が算出される。
【０００８】
以上の処理の詳細は、例えば、非特許文献１に記載されている。
【非特許文献１】” Ａ  Ｖｅｒｓａｔｉｌｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑ ｕｅ  ｆｏｒ  Ｈｉｇｈ−Ａｃｃｕｒａｃｙ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｍｅｔｒｏｌｏｇｙ  Ｕｓｉｎｇ  Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ  ＴＶ  Ｃａｍｅｒａｓ  ａｎｄ  Ｌｅｎｓｅｓ”，  Ｒｏｇｅｒ  Ｙ．  Ｔｓａｉ，  ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  ａｕｔｏｍａｔｉｏｎ  Ｖｏｌ．  ＲＡ−３．  Ｎｏ．４  Ａｕｇｕｓｔ  １９８７，  ｐｐ３２３−３４４
【発明の開示】
【発明が解決しようとする課題】
【０００９】
このような車載カメラのキャリブレーションは通常、車両生産時の製造ラインにて行われるが、車両の生産性を考慮して限られたスペース内に並列したラインを設置してキャリブレーションが実施される。そのため、キャリブレーション用のターゲットを撮像したときに自車用のターゲット以外に隣接用のターゲットも同時に撮像してしまうことが避けられない。そして、この隣接車両用のターゲットを誤って検出してその位置情報を用いて自車のカメラキャリブレーションを実施すると計算されるカメラの設置位置・設置角度に大きな誤差を含みカメラアプリケーションが成り立たなくなってしまう。
【００１０】
本発明は、複数の車両が並列した状態で各車両に搭載された車載カメラのキャリブレーションを実施する際に、隣接するキャリブレーションターゲットを誤って検知するのを防止することのできるキャリブレーションターゲット及び車載カメラ用キャリブレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、車両の周囲を撮像可能な車載撮像装置のキャリブレーションに用いられるキャリブレーションターゲットに向けられており、キャリブレーションターゲットは、第１のマーカボード枠と、第１のマーカボード枠の内側にあって、該第１のマーカボード枠と接することなく、第１のマーカボード枠と同色で、かつ所定面積を持つ第１のマーカと、第１のマーカボード枠及び各第１のマーカと異なる色を持ち、かつ第１のマーカボード枠と第１のマーカの間にある第１のマーカ外領域とを含むマーカボードを備え、キャリブレーションターゲットはさらに、車載撮像装置の光軸を境として、マーカボートと反対側に配置される反転マーカボードを備え、反転マーカボードは、第１のマーカ外領域と同色の第２のマーカボード枠及び第２のマーカと、第１のマーカ又は第１のマーカボード枠と同色の第２のマーカ外領域とを含む。
【発明の効果】
【００１２】
上記構成により、工場内で並列した車両に対して実施される車載カメラのキャリブレーションにおいて隣接車用のキャリブレーションターゲットを誤検知することを防止できる車載カメラ用キャリブレーションシステムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施の形態）
本発明の第１の実施の形態のキャリブレーションターゲットを図１に示す。図１において点線の枠内に示されるように、キャリブレーションターゲットは、まず、マーカボード枠１０１と、マーカ１０２と、マーカ外領域１０３と、マーカボード１０４とを備える。
【００１４】
マーカボード枠１０１は、特定の色と太さを有する線分で閉区間を構成する。
【００１５】
各マーカ１０２は、マーカボード枠１０１の内側にあって、マーカボード枠１０１と接することなく、マーカボード枠１０１と同色で所定面積を持つ。ここで、マーカの数は、図示した例では２個であるが、キャリブレーションにより求めるべき車載カメラのカメラパラメータの個数により定まる。
【００１６】
マーカ外領域１０３は、マーカボード枠１０１と両マーカ１０２とは異なる色を持ち、マーカボード枠１０１と両マーカ１０２の間に存在する。また、マーカ外領域１０３の面積は、各マーカ１０２の面積の合計とは異なるようにあらかじめ選ばれる。本実施の形態では、マーカ外領域１０３の面積の方が大きい。
【００１７】
マーカボード１０４は、マーカボード枠１０１と、両マーカ１０２と、マーカ外領域１０３とから構成される。
【００１８】
キャリブレーションターゲットはさらに、車両に取り付けられ車両の周囲を撮像可能な撮像装置１０６の光軸１０７を境として、マーカボード１０４の各構成と反対側に配置される反転マーカボード１０５を備える。好ましくは、反転マーカボード１０５は、光軸１０７に対してマーカボード１０４と線対称に配置される。ただし、反転マーカボード１０５において、マーカボード枠１０８とマーカ１０９とはマーカ外領域１０３と同色に、マーカ外領域１１０はマーカ１０２又はマーカボード枠１０１と同色にされる。
【００１９】
以上のキャリブレーションターゲットによれば、キャリブレーションに必要な各マーカ１０２，１０９の外側に該マーカと配色の異なるマーカ外領域１０３，１１０を設けることで両マーカボード１０４，１０５がどのような環境に設置されたとしてもマーカ１０２，１０９が周囲の背景色に埋もれてしまうことがない。
【００２０】
さらに、該マーカ外領域１０３，１１０の外側に配色の異なるマーカボード枠１０１，１０８を設けることによってマーカ外領域１０３，１１０が周囲の背景色に埋もれてしまうことがない。その結果、どのような環境下に設定されたとしてもマーカ外領域１０３，１１０を抽出することでその領域内にあるマーカ１０２，１０９を確実に検出することができる。
【００２１】
さらに、配色が反転したマーカボード１０４，１０５を撮像装置１０６の光軸１０７を挟む左右両側に配置することによって、並列した複数の車両に対してキャリブレーションを実行するような環境下でも隣接するマーカボード１０４，１０５間では必ず配色が異なるために容易に識別することができる。
（第２の実施の形態）
次に、本発明の第２の実施の形態の車載カメラ用キャリブレーションシステムの構成を図２に示す。
【００２２】
図２のブロック図において、キャリブレーションターゲット２０１は上記第１の実施の形態で示したキャリブレーションターゲットを使用する。それゆえ、キャリブレーションターゲット２０１の詳細な構成については説明を省略する。また、車載カメラ用キャリブレーションシステムは、車両に設置され、撮像装置２０２と、マーカ検知部２０３と、マーカ重心算出部２０４、カメラパラメータ算出部２０５と、マーカ座標記憶部２０６とを備えている。
【００２３】
このターゲット２０１は、キャリブレーション対象の撮像装置２０２で撮像される。マーカ検知部２０３は、撮像された画像に対し処理し、画像内のマーカ領域を抽出する。
【００２４】
マーカ検知部２０３の具体的な処理フローについては図３のフローチャートを用いて説明する。
【００２５】
図３において、まず撮像装置２０２で撮像された入力画像に対して、２値化処理が行われる（ステップＳ３０１）。入力される画像はカラー画像であるため、例えばその輝度値や彩度値を基準となるしきい値と比較して画像を２値化する。このとき２値化のしきい値を決めるための方法としては、例えば固定のしきい値を設定する方法や判別分析法による方法が利用可能である。ただし、この２値化処理によってキャリブレーションターゲット内のマーカボード枠とマーカが同じ画素値で、かつ、マーカ外領域とは異なる画素値になるようにしきい値を決定しなければならない。
【００２６】
次に、ボードラベリング処理が実行される（ステップＳ３０２）。これは、２値化処理によって画素値が２値に分類された画像に対し、連結する同じ画素値の画素に同じラベルを付加していくことで領域をグループ化する処理である。具体的な方法としては、処理対象の４近傍を連結成分としてラベリングを行う４近傍ラベリング処理や、処理対象の８近傍を連結成分としてラベリングを行う８近傍ラベリング処理がある。その他にもラインブロック法やヒストグラムを利用した方法があり、これらは画像処理において一般的な方法であり、本発明のボードラベリング処理に対してはいずれも有効である。ボードラベリング処理の結果、画像内でマーカボード枠、マーカ外領域、個々のマーカがそれぞれ異なる領域としてグループ化される。
【００２７】
ここで、本発明のキャリブレーションターゲットは、第１の実施の形態で説明したように、撮像装置２０２の光軸の左右で配色が反転するように配置されている。また、マーカボード内のマーカ外領域とマーカは先の２値化処理で異なる画素値になるように配色されているため、これらの情報を用いて、画像中央より左右どちらに存在する領域か、そして、例えば図１のように配置されたターゲットの右側のマーカボードについては、マーカ外領域が例えば黒色に分類される場合、黒色領域のグループの中で領域内に含まれる画素数が多いものをマーカ外領域として選択すればよい（ステップＳ３０３）。
【００２８】
このようにしてキャリブレーションに必要なマーカを含むマーカ外領域を選択すれば、図４に示すように、隣接する色が反転したマーカボードの着色領域はマーカとなり、内部の画素数が少ないことから誤って選択されることがない。仮にマーカのサイズが大きく、誤って選択されたとしても、マーカ外領域の選択以下の処理で誤選択を見つけることができる。具体的には、マーカラベリング処理によって選択されたマーカ外領域内のマーカについてマーカボードと同様なラベリング処理を行う（ステップＳ３０４）。この処理によって各マーカボードに含まれるマーカの数が個別に認識される。
【００２９】
そして、この数が予め決められたマーカ数と一致していれば（ステップＳ３０５でＹＥＳ）、このマーカ外領域を含むマーカボードは処理すべきマーカとして検出し、一致しなければ（ステップＳ３０５でＮＯ）、隣接する車両用のマーカボードとしてマーカ外領域の再選択を行う。
【００３０】
以上のようにマーカ検知部２０３で処理することにより、撮像画像内からキャリブレーションに必要なマーカのみを確実に検出するこができる。
【００３１】
次に、マーカ重心算出部２０４は、マーカ検知部２０３で検出された画像上でのマーカ重心座標を算出する。具体的な方法としては、マーカに含まれる全画素の座標平均値を利用する方法やマーカの画像上の端点（上端、下端、左端、右端）から中心位置を求める方法、さらに、マーカが多角形の場合はその頂点の座標や対角線を利用して重心座標を求める方法がある。
【００３２】
このようにして算出されたマーカ重心座標と、マーカ座標記憶部２０６に記憶された実際にマーカボードが置かれている実環境上のマーカ中心の３次元座標を元に、撮像装置２０２の外部パラメータをカメラパラメータ算出部２０５で算出する。パラメータ算出の具体的な方法については非特許文献１に詳しい。なお、このとき算出するカメラパラメータの数に応じてマーカボード内のマーカ数を適宜決定すればよい。
【産業上の利用可能性】
【００３３】
本発明に係る車載カメラ用キャリブレーションシステムは、工場内で並列した車両に対して実施される車載カメラのキャリブレーションにおいて隣接車用のキャリブレーションターゲットを誤検知することを防止できるという効果を有し、走行中の車両周囲状況を撮像するために車両に設置されるカメラに対し、その車両に対する取り付け状態を校正する車載カメラ用キャリブレーション方法として有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施の形態におけるキャリブレーションターゲットを示す模式図
【図２】本発明の第２の実施の形態における車載カメラ用キャリブレーションシステムのブロック図
【図３】本発明の第２の実施の形態におけるマーカ検知部２０３の処理を示すフローチャート
【図４】本発明の第２の実施の形態におけるマーカ検知部２０３の動作を説明するための図
【図５】従来の車載カメラ用キャリブレーションシステムを説明する図
【符号の説明】
【００３５】
１０１，１０８  マーカボード枠
１０２，１０９  マーカ
１０３，１１０  マーカ外領域
１０４  マーカボード
１０５  反転マーカボード
１０６  撮像装置
１０７  光軸
【図１】
2010107348.tif 000003
【図２】
2010107348.tif 000004
【図３】
2010107348.tif 000005
【図４】
2010107348.tif 000006
【図５】
2010107348.tif 000007