(57)【要約】【課題】車両との水平方向の相対位置関係を無視できる位置でマーカーによるカメラの校正ができるカメラ校正装置を提供すること。【解決手段】３次元空間の世界座標系にある共有マーカー２００の位置座標の１つの次元の値を既知としてＡカメラで撮像されたときの共有マーカー２００のイメージ座標、位置座標の既知の次元の値、およびＡカメラに適用されるカメラパラメータから、既知でない共有マーカーの位置座標の残り２つの次元の値を算出し、算出された共有マーカー２００の位置座標およびＢカメラのカメラパラメータから、共有マーカー２００のＢカメラのイメージ座標を算出し、算出された共有マーカー２００のＢカメラのイメージ座標と、Ｂカメラで撮像されたときの共有マーカー２００のイメージ座標との距離が閾値以下となるように２つのカメラのカメラパラメータを調整する共有マーカーカメラパラメータ最適化手段３００とを備えて構成する。【選択図】図１
2009168461.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた設計値を含むカメラパラメータを適用して撮像する複数のカメラと、
前記複数のカメラの共通の撮像範囲にある共有マーカーと、
３次元空間の世界座標系にある前記共有マーカーの位置座標の１つの次元の値を既知とし、前記複数のカメラをＡカメラとＢカメラとするとき、
前記Ａカメラで撮像されたときの前記共有マーカーのイメージ座標、前記位置座標の既知の次元の値、および前記Ａカメラに適用されるカメラパラメータの前記設計値から、既知でない前記共有マーカーの位置座標の残り２つの次元の値を算出し、
算出された前記共有マーカーの位置座標および前記Ｂカメラに適用されるカメラパラメータの前記設計値から、前記共有マーカーのＢカメラのイメージ座標を算出し、
算出された前記共有マーカーの前記Ｂカメラのイメージ座標と、前記Ｂカメラで撮像されたときの前記共有マーカーのイメージ座標との距離が所定の閾値以下となるように前記Ａカメラおよび前記Ｂカメラのカメラパラメータを調整するカメラパラメータ最適化手段とを備えたことを特徴とするカメラ校正装置。
【請求項２】
前記Ａカメラおよび前記Ｂカメラの各々の撮像範囲内にある３次元世界座標のすべてが既知である個別マーカーと、
前記個別マーカーの３次元世界座標をカメラパラメータからイメージ座標を算出し、画像のイメージ座標との距離と前記共有マーカーとの距離が所定の閾値以下となるように前記Ａカメラと前記Ｂカメラのカメラパラメータを調整するカメラパラメータ最適化手段とを備えたことを特徴とする請求項１に記載のカメラ校正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置に関し、特に、車両などに設置されるカメラの校正を行うカメラ校正装置に関する。
【背景技術】
【０００２】
近年、工業分野において、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離・方向を求めるカメラ校正装置が開発されている。
【０００３】
例えば、カメラを車両に搭載して、車両走行のガイドラインを画像上に描画するとき、路面とカメラの位置関係を正確に求めるカメラ校正が必要となる。
【０００４】
量産される車両に搭載されるカメラの場合、カメラが車両の所定位置に設置されるので、路面とカメラの位置関係は基本的には同じであるが、車両にカメラを取り付ける際に、若干、カメラ設置位置のバラツキが生ずる。図５は、車両にカメラを取り付けたときの設置誤差の説明図である。
【０００５】
図５には、工場で車両５００に設置するカメラ１００が示されている。カメラ１００を起点とする実線は、設計上の理想的なカメラ１００の光軸を示しており、破線は、設置後の光軸であり、設置誤差が生じている。カメラ校正装置は、このように、車両５００にカメラ１００を取り付ける際に生じた設置誤差を解消するものである。
【０００６】
従来のカメラ校正装置としては、設置誤差を解消するためのカメラパラメータを用いてカメラの校正を行うものが知られている（例えば、特許文献１および特許文献２参照）。図６は、従来のカメラ校正装置の構成図である。また、従来のカメラ校正装置としては、図６に示すように、カメラ１００、個別マーカー６００、および個別マーカーカメラパラメータ最適化手段７００を備えて構成される。同様の従来のカメラ校正装置としては、特許文献２に開示されている。
【０００７】
図７は、従来のカメラ校正装置における車両５００、カメラ１００、個別マーカー６００の位置関係の説明図である。図８は、カメラ１００が個別マーカー６００を撮像したときの画像を示している。図９は、世界座標系とカメラ座標系の位置関係を示している。
【０００８】
以下、従来のカメラ校正装置の動作について説明する。図７に示すように、実際の路面に対して平行方向をｘ軸、車両進行方向をｙ軸、路面に対して垂直方向をｚ軸にとる世界座標系（ｘｗ，ｙｗ，ｚｗ） と、ピンホールカメラモデル等で表現するカメラ座標系（ｘｃ，ｙｃ，ｚｃ） との関係は、以下の[数１］で表すことができる。
【０００９】
【数１】
2009168461.tif 000003
【００１０】
ここで、ｒ１からｒ９は、世界座標からの回転を表すパラメータであり、Ｔｘ，Ｔｙ，Ｔｚは、世界座標からの平行移動を表すパラメータであり、これらのパラメータは、カメラパラメータである。
【００１１】
カメラ座標系（ｘｃ，ｙｃ，ｚｃ）は、レンズ中心を原点とし、ｚ軸がカメラの光軸方向を基準にしたものである。また、カメラ座標系（ｘｃ，ｙｃ，ｚｃ）において、ｚｃ＝ｆ（焦点距離）の位置にＸＹ平面と平行である座標系をセンサーイメージ座標系（Ｘｕ，Ｙｕ）と表す。
【００１２】
センサーイメージ座標系（Ｘｕ，Ｙｕ）は、カメラ座標系（ｘｃ，ｙｃ，ｚｃ）を用いて以下の[数２］および[数３］で表すことができる。
【００１３】
【数２】
2009168461.tif 000004
【００１４】
【数３】
2009168461.tif 000005
【００１５】
カメラのモニタ上の画像に対応する２次元座標であるイメージ座標（Ｘｆ，Ｙｆ）とセンサーイメージ座標（Ｘｕ，Ｙｕ）との関係は、以下の[数４］および[数５］で表すことができる。
【００１６】
【数４】
2009168461.tif 000006
【００１７】
【数５】
2009168461.tif 000007
【００１８】
ここで、ｄｘ、ｄｙはスケール変換を行う係数であり、Ｃｘ、Ｃｙは、イメージ中心座標となる。
【００１９】
図７に示すように、例えば、車両５００と個別マーカー６００の中心軸をあわせ、車両５００のバンパー前方１ｍ先に個別マーカー６００を配置してから個別マーカー６００と車両５００との相対的な位置関係を測定する。個別マーカー６００の特徴点は、個別マーカー６００の長方形の４頂点を使用する。世界座標系にある個別マーカー６００の４頂点の位置座標はすべて既知である。
【００２０】
カメラ１００が車両５００に設置された後、個別マーカー６００が撮像される。個別マーカー６００の４頂点中の１番目の点に着目して説明すると、その１点の既知の位置座標を（Ｘｗ１，Ｙｗ１，Ｚｗ１）とする。
【００２１】
図８に示すように、従来のカメラ校正装置は、[数１］から[数５］を使用して特徴点の位置座標（Ｘｗ１，Ｙｗ１，Ｚｗ１）から、計算したマーカー位置（Ｘｆ１，Ｙｆ１）を求める。また、撮像された実際の画像から画像上のマーカー位置（Ｘｆ１Ｔ，Ｙｆ１Ｔ）を特定する。なお、画像上のマーカー位置の頂点は、例えば、特許文献２の図１０に開示されているように、撮像された実際の画像からカーソル等で指定される。
【００２２】
ここで、カメラパラメータが適正であれば、計算して得られたイメージ座標と実際のイメージ座標は等しくなる（座標間の距離が０になる）が、従来のカメラ校正装置は、[数６］で得られる値が最小となるようにカメラパラメータを算出する。
【００２３】
【数６】
2009168461.tif 000008
【００２４】
ここで、計算したマーカー位置（Ｘｆｎ，Ｙｆｎ）は、計算されて得られたｎ番目のマーカーの頂点のものであり、画像上のマーカー位置（ＸｆｎＴ，ＹｆｎＴ）は、ｎ番目の実際の画像上のマーカー位置の頂点のものである。[数６］で得られる値が最小となるようにカメラパラメータを算出する方法としては、最急降下法などがある。
【特許文献１】特開２００６−１３５６２１号公報
【特許文献２】特開２００４−４０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
しかしながら、上記の従来のカメラ校正装置では、マーカーと車両との相対位置関係を求める必要があってその手間がかかるという問題があった。
【００２６】
本発明は、このような課題を解決するもので、マーカーと車両との相対位置関係を無視できる位置でマーカーによるカメラの校正ができるカメラ校正装置を提供することを目的としている。
【課題を解決するための手段】
【００２７】
本発明のカメラ校正装置は、予め決められた設計値を含むカメラパラメータを適用して撮像する複数のカメラと、前記複数のカメラの共通の撮像範囲にある共有マーカーと、３次元空間の世界座標系にある前記共有マーカーの位置座標の１つの次元の値を既知とし、前記複数のカメラをＡカメラとＢカメラとするとき、前記Ａカメラで撮像されたときの前記共有マーカーのイメージ座標、前記位置座標の既知の次元の値、および前記Ａカメラに適用されるカメラパラメータの前記設計値から、既知でない前記共有マーカーの位置座標の残り２つの次元の値を算出し、算出された前記共有マーカーの位置座標および前記Ｂカメラに適用されるカメラパラメータの前記設計値から、前記共有マーカーのＢカメラのイメージ座標を算出し、算出された前記共有マーカーの前記Ｂカメラのイメージ座標と、前記Ｂカメラで撮像されたときの前記共有マーカーのイメージ座標との距離が所定の閾値以下となるように前記Ａカメラおよび前記Ｂカメラのカメラパラメータを調整するカメラパラメータ最適化手段とを備えた構成を有している。
この構成により、３次元空間の世界座標系にある共有マーカーの位置座標の１つの次元の値を既知としているとき、Ａカメラで撮像されたときの共有マーカーのイメージ座標、位置座標の既知の次元の値、およびＡカメラに適用されるカメラパラメータから、既知でない共有マーカーの位置座標の残り２つの次元の値を算出し、算出された共有マーカーの位置座標およびＢカメラのカメラパラメータから、共有マーカーのＢカメラのイメージ座標を算出し、算出された共有マーカーのＢカメラのイメージ座標と、Ｂカメラで撮像されたときの共有マーカーのイメージ座標との距離が所定の閾値以下となるようにＡカメラおよびＢカメラのカメラパラメータを調整するため、マーカーと車両との相対位置関係を無視できる位置でマーカーによるカメラの校正ができる。
【発明の効果】
【００２８】
以上のように、本発明は、マーカーと車両との相対位置関係を無視できる位置でマーカーによるカメラの校正ができるカメラ校正装置を提供するものである。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３０】
図１は、本発明の実施の形態に係るカメラ校正装置の構成を示す図である。図１に示したカメラ校正装置は、カメラ１００、共有マーカー２００、および共有マーカーカメラパラメータ最適化手段３００から構成されている。
【００３１】
図２は、車両５００と共有マーカー２００の位置関係を示す平面図である。車両５００には、フロントカメラ１１０、サイドカメラ１２０が設置されている。フロントカメラ１１０とサイドカメラ１２０の撮像範囲に共有マーカー２００が入るように車両５００が配置される。また、共有マーカー２００は、正方形であって路面に置かれる。
【００３２】
本発明の実施の形態においては、図２に示した世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）が、Ｘ軸、Ｙ軸を含むＸＹ平面が路面と等しく、ＸＹ平面でＺｗを０としてＺ軸を上向きにとる場合を例示して説明している。ここで、フロントカメラ１１０をＡカメラ１１０、サイドカメラ１２０をＢカメラ１２０とする。
【００３３】
図３は、Ａカメラ１１０およびＢカメラ１２０で撮像されたときの画像の説明図である。画像２１０は、Ａカメラ１１０から撮像されて得られたものであり、画像２２０は、Ｂカメラ１２０から撮像されて得られたものである。それぞれの画像には、共有マーカー２００が撮像されている。
【００３４】
ここで、本発明の実施の形態では、共有マーカー２００の４頂点を特徴点とする。世界座標系にある共有マーカー２００の位置座標を（Ｘｗ，Ｙｗ，Ｚｗ）とする。なお、共有マーカー２００の位置座標のＺｗは、共有マーカー２００が路面に置かれてあるので、０となる。
【００３５】
また、Ａカメラ１１０で撮像されたときの画像２１０にある特徴点のイメージ座標を（ＡＸｆ，ＡＹｆ）とし、Ｂカメラ１２０で撮像されたときの画像２２０で対応する特徴点のイメージ座標を（ＢＸｆ，ＢＹｆ）とする。車両５００に取り付ける位置・角度からカメラパラメータの設計値が予め定められているものとする。
【００３６】
共有マーカーカメラパラメータ最適化手段３００は、与えられたカメラパラメータの設計値を基づいて最適化されるカメラパラメータを求める処理を実行する。
【００３７】
図１から図４を参照して動作に説明する。図４は、共有マーカーカメラパラメータ最適化手段３００が行う処理のフローチャートである。
【００３８】
カメラ１００が車両５００に設置された後、共有マーカー２００がＡカメラ１１０およびＢカメラ１２０で撮像され、共有マーカー２００の特徴点における実際の画像上のイメージ座標（ＡＸｆ，ＡＹｆ）および実際の画像上のイメージ座標（ＢＸｆ，ＢＹｆ）が共有マーカーカメラパラメータ最適化手段３００で処理される。なお、特徴点は、上述したように撮像された画像からカーソル等で指定される。
【００３９】
まず、特徴点の１つに対し、Ａカメラ１１０のイメージ座標（ＡＸｆ，ＡＹｆ）、位置座標のＺｗ（＝０）、およびＡカメラ１１０のカメラパラメータの設計値から、[数１］から[数５］を使用して位置座標（Ｘｗ，Ｙｗ）を算出する（ステップＳ１）。
【００４０】
次に、ステップＳ１で算出された共有マーカー２００の位置座標（Ｘｗ，Ｙｗ，Ｚｗ）およびＢカメラ１２０のカメラパラメータの設計値から、[数１］から[数５］を使用して計算したイメージ座標（ＣａｌｃｕｌａｔｅｄＢＸｆ，ＣａｌｃｕｌａｔｅｄＢＹｆ）を算出する（ステップＳ２）。
【００４１】
次に、ステップＳ２で計算したイメージ座標（ＣａｌｃｕｌａｔｅｄＢＸｆ，ＣａｌｃｕｌａｔｅｄＢＹｆ）と、Ｂカメラ１２０の実際のイメージ座標（ＢＸｆ，ＢＹｆ）との距離を算出し（ステップＳ３）、全ての特徴点についてステップＳ１〜Ｓ３が実行された結果の距離から平均の距離を算出する。
【００４２】
ステップＳ３で算出された平均の距離が所定の閾値以下なのかが判定され（ステップＳ４）、平均の距離が閾値以下ならば処理を終了し、その時点のＡカメラ１１０とＢカメラ１２０のカメラパラメータが最適化されたカメラパラメータとなる。ステップＳ４で、平均の距離が閾値よりも大きければ、距離が閾値より小さくなるようにＡカメラ１１０とＢカメラ１２０のカメラパラメータが調整され（ステップＳ５）、処理がステップＳ１に戻る。
【００４３】
また、位置座標がすべて既知である個別マーカー６００を併用してもよい。併用する場合は従来例のように個別マーカー６００の位置座標から求まるイメージ座標と実際のイメージ座標との距離を求め、ステップＳ４で共有マーカー２００の距離との平均値が所定の閾値以下となるようにＡカメラ１１０とＢカメラ１２０のカメラパラメータを調整してもよく、また、個別マーカー６００の位置座標から求まるイメージ座標と実際のイメージ座標との距離と共有マーカー２００との距離が所定の閾値以下となるようにＡカメラ１１０とＢカメラ１２０のカメラパラメータを調整するようにしてもよい。
【００４４】
また、共有マーカーカメラパラメータ最適化手段３００は、Ａカメラ１１０の共有マーカー２００のイメージ座標（ＡＸｆ，ＡＹｆ）、共有マーカー２００の位置座標のＺｗ（＝０）、およびＡカメラ１１０のカメラパラメータから位置座標（Ｘｗ，Ｙｗ）を求め、同様に、Ｂカメラ１２０の共有マーカー２００のイメージ座標（ＢＸｆ，ＢＹｆ）、共有マーカー２００の位置座標のＺｗ（＝０）、およびＢカメラ１２０のカメラパラメータから位置座標（Ｘｗ，Ｙｗ）を求め、これら２つの位置座標間の距離が最小となるカメラパラメータを、最適化されたカメラパラメータとしてもよい。
【００４５】
以上説明したように、本発明の実施の形態に係るカメラ校正装置は、Ａカメラ１１０およびＢカメラ１２０の共通の撮像範囲にある共有マーカーを撮像したときのイメージ座標、Ａカメラ１１０およびＢカメラ１２０に適用されるカメラパラメータ、共有マーカー２００の位置座標のＺの既知の値から、最適なカメラパラメータを調整するため、共有マーカー２００と車両５００との水平方向の相対位置関係を無視できる位置でマーカーによるカメラの校正ができる。
【産業上の利用可能性】
【００４６】
以上のように、本発明は、マーカーと車両との相対位置関係を無視できる位置でマーカーによるカメラの校正ができるという効果を有し、車両などに設置されるカメラの校正を行うカメラ校正装置等として有用である。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態に係るカメラ校正装置の構成を示す図
【図２】車両と共有マーカーの位置関係を示す平面図
【図３】ＡカメラおよびＢカメラで撮像されたときの画像の説明図
【図４】共有マーカーカメラパラメータ最適化手段が行う処理のフローチャート
【図５】車両にカメラを取り付けたときの設置誤差の説明図
【図６】従来のカメラ校正装置の構成図
【図７】従来のカメラ校正装置における車両、カメラ、個別マーカーの位置関係の説明図
【図８】カメラが個別マーカーを撮像したときの画像を示す図
【図９】世界座標系とカメラ座標系の位置関係を示す図
【符号の説明】
【００４８】
１００  カメラ
１１０  フロントカメラ、Ａカメラ
１２０  サイドカメラ、Ｂカメラ
２００  共有マーカー
２１０、２２０  画像
３００  共有マーカーカメラパラメータ最適化手段（カメラパラメータ最適化手段）
５００  車両
６００  個別マーカー
７００  個別マーカーカメラパラメータ最適化手段
【図１】
2009168461.tif 000009
【図２】
2009168461.tif 000010
【図３】
2009168461.tif 000011
【図４】
2009168461.tif 000012
【図５】
2009168461.tif 000013
【図６】
2009168461.tif 000014
【図７】
2009168461.tif 000015
【図８】
2009168461.tif 000016
【図９】
2009168461.tif 000017