(57)【要約】【課題】校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができるカメラ校正装置を提供する。【解決手段】イメージセンサ１４０を有するカメラ１２０と、イメージセンサ１４０と既知の位置関係にある加速度センサ１５０と、少なくとも２点の特徴点を有する校正用撮像物がカメラ１２０によって撮像された撮像画像と加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像位置および撮像方向を算出するカメラ校正部１６０とを備える。【選択図】図１
2011220811.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサを有するカメラと、
前記イメージセンサと既知の位置関係にある加速度センサと、
少なくとも２点の特徴点を有する校正用撮像物が前記カメラによって撮像された撮像画像と前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像位置および撮像方向を算出するカメラ校正部とを備えたカメラ校正装置。
【請求項２】
前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出し、前記鉛直カメラ座標系を世界座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像位置および撮像方向を算出することを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出することを特徴とする請求項２に記載のカメラ校正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置に関し、特に、カメラの撮像位置および撮像方向を校正するカメラ校正装置に関する。
【背景技術】
【０００２】
近年、車載カメラ分野および監視カメラ分野において、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離・方向を求めることによってカメラの撮像位置および撮像方向を校正するカメラ校正装置が開発されている。
【０００３】
例えば、カメラを車両に搭載して、車両走行のガイドラインを撮像画像上に描画するとき、路面とカメラとの位置関係を正確に求めるために、カメラの撮像位置および撮像方向を校正するカメラ校正が必要となる。
【０００４】
このようなカメラ校正は、車両メーカの工場内でカメラを設置する場合には、工場内で行うことが可能であるが、ユーザが車両にカメラを設置する場合には、カメラ設置後に、ユーザが行う必要がある。監視カメラも設置後にカメラ校正を施す必要がある。
【０００５】
このようなカメラ校正に対し、校正の基準となる位置を示す基準位置パターンを有する校正用撮像対象物と、校正用撮像対象物と車両との車幅に沿う方向の相対的な位置合わせをするためのスケールとを備えたカメラ校正治具を用いることにより、校正用撮像対象物を大型化しなくとも校正精度を高める技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１６９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したような従来の技術においては、校正用撮像対象物をさらに小型化したいといった課題があった。
【０００８】
本発明は、従来の課題を解決するためになされたもので、校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができるカメラ校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のカメラ校正装置は、イメージセンサを有するカメラと、前記イメージセンサと既知の位置関係にある加速度センサと、少なくとも２点の特徴点を有する校正用撮像物が前記カメラによって撮像された撮像画像と前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像位置および撮像方向を算出するカメラ校正部とを備えた構成を有している。
【００１０】
この構成により、本発明のカメラ校正装置は、校正用撮像物がカメラによって撮像された撮像画像と加速度センサによって検知された傾きとに基づいて、カメラの撮像位置および撮像方向を算出するため、校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができる。
【００１１】
具体的には、前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出し、前記鉛直カメラ座標系を世界座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像位置および撮像方向を算出する。
【００１２】
また、前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出する。
【発明の効果】
【００１３】
本発明は、校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができるといった効果を有するカメラ校正装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの構成図
【図２】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの実装図
【図３】本発明の一実施の形態に係るカメラ校正装置に適用される校正用撮像物、ならびに、世界座標系およびカメラ座標系を示す概念図
【図４】本発明の一実施の形態に係るカメラ校正部の動作を説明するためのフロー図
【図５】本発明の一実施の形態に係るカメラ座標系と鉛直カメラ座標系との関係を示す概念図
【図６】本発明の一実施の形態に係る加速度センサと、カメラ座標系と、重力ベクトルとの関係を示す概念図
【図７】本発明の一実施の形態に係るカメラ座標系のカメラ座標系投影面上の点を視線方向に延長して、鉛直カメラ座標系投影面と交わる点を示す概念図
【図８】本発明の一実施の形態に係る特徴点の路面における位置と鉛直カメラ座標系投影面における位置と関係を示す概念図
【図９】本発明の一実施の形態に係る鉛直カメラ座標系と世界座標系との関係を示す概念図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
図１に示すように、本発明の一実施の形態としてのカメラ校正装置は、カメラ１２０によって構成されている。カメラ１２０は、レンズ１３０と、イメージセンサ１４０と、加速度センサ１５０と、カメラ校正部１６０とを備えている。
【００１７】
図２に示すように、カメラ１２０は、車両１００の後方を撮像するように車両１００に設けられている。カメラ１２０の校正を行うときには、車両１００の後方のカメラ１２０の視野内に校正用撮像物１１０が配置される。この場合、カメラ１２０は、校正用撮像物１１０をレンズ１３０を通してイメージセンサ１４０に撮像する。
【００１８】
図１において、加速度センサ１５０は、３次元の加速度を計測できる３次元加速度センサによって構成され、イメージセンサ１４０に対して３次元的に既知な位置関係でカメラ１２０に収納されている。
【００１９】
カメラ校正部１６０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有するマイクロコンピュータによって構成されている。
【００２０】
ＲＯＭには、当該マイクロコンピュータをカメラ校正部１６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該マイクロコンピュータは、カメラ校正部１６０として機能する。
【００２１】
カメラ校正部１６０は、校正用撮像物１１０がカメラ１２０によって撮像された撮像画像と、加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像位置および撮像方向を算出するようになっている。
【００２２】
なお、図１において、カメラ校正部１６０は、カメラ１２０の内部に設けられているように示されているが、カメラ１２０の外部に設けられていてもよい。
【００２３】
図３に示すように、校正用撮像物１１０は路面１９０の上に配置される。ここで、校正用撮像物１１０の２つの隅を特徴点Ａ２００および特徴点Ｂ２１０とし、特徴点Ａ２００と特徴点Ｂ２１０との距離を既知のＬとする。
【００２４】
また、特徴点Ａ２００を世界座標系１８０の原点とし、世界座標系１８０の各Ｘ軸、Ｙ軸、Ｚ軸をＷｘ、Ｗｙ、Ｗｚとして図３に示すように定める。したがって、特徴点Ａ２００の世界座標は（０、０、０）であり、特徴点Ｂ２１０の世界座標は（Ｌ、０、０）となる。
【００２５】
一方、カメラ座標系１７０は、カメラ１２０の光学系中心点としてのレンズ１３０の中心を原点とし、光軸方向をＺ軸、走査方向をＸ軸、副走査方向をＹ軸とし、各Ｘ軸、Ｙ軸、Ｚ軸がＣｘ、Ｃｙ、Ｃｚとして示されている。
【００２６】
世界座標系１８０とカメラ座標系１７０との関係は［数１］に示す式で表すことができる。
【００２７】
【数１】
2011220811.tif 000003
【００２８】
したがって、回転移動行列の各要素ｒ１乃至ｒ９と、平行移動行列の各要素Ｔｘ、Ｔｙ、Ｔｚとを求めることにより、カメラ座標系１７０を世界座標系１８０に変換することができるようになる。
【００２９】
以下、カメラ校正部１６０について図４乃至図８を用いてその動作を説明する。なお、以下に説明するカメラ校正部１６０の動作は、車両１００が静止しているときに実行される。
【００３０】
図４において、まず、カメラ校正部１６０は、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する行列を求める（ステップＳ１）。ここで、鉛直カメラ座標系２３０は、図５に示すように、カメラ座標系１７０のＺ軸Ｃｚを重力方向に一致させるように回転させた座標系である。鉛直カメラ座標系２３０は、各Ｘ軸、Ｙ軸、Ｚ軸がＶｘ、Ｖｙ、Ｖｚとして示されている。
【００３１】
加速度センサ１５０、カメラ座標系１７０および重力ベクトル２４０の関係は、図６に示すようになる。なお、本発明を理解しやすくするため、加速度センサ１５０の原点および３軸と、カメラ座標系１７０の原点および３軸とは、それぞれ一致しているものとして以下説明する。
【００３２】
車両１００が静止しているときの加速度センサ１５０は、重力加速度を検知している。すなわち、カメラ校正部１６０は、車両１００が静止しているときの加速度センサ１５０の検出結果によって重力の方向を検出することができる。
【００３３】
ここで、加速度センサ１５０の３軸の値を単位ベクトルに正規化したベクトルを重力ベクトル２４０と定義し、［数２］に示すベクトルで表すことができる。
【００３４】
【数２】
2011220811.tif 000004
【００３５】
また、鉛直カメラ座標系２３０のＸ軸方向の射影ベクトルは、カメラ座標系１７０のＺ軸に沿うベクトルと重力ベクトル２４０との外積として求め、単位ベクトルに正規化し、［数３］に示すベクトルで表すことができる。
【００３６】
【数３】
2011220811.tif 000005
【００３７】
また、鉛直カメラ座標系２３０のＹ軸への射影ベクトルは、［数２］に示されたベクトルと［数３］に示されたベクトルとの外積として求め、［数４］に示すベクトルで表すことができる。
【００３８】
【数４】
2011220811.tif 000006
【００３９】
このような変換行列をまとめると、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する変換式は、［数５］に示すように表すことができる。
【００４０】
【数５】
2011220811.tif 000007
【００４１】
このように、図４のステップＳ１において、カメラ校正部１６０は、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する行列を求める。次に、カメラ校正部１６０は、路面１９０からカメラ１２０までの高さを求める（ステップＳ２）。
【００４２】
ここで、カメラ校正部１６０は、図７に示すように、カメラ座標系１７０のカメラ座標系投影面２５０上の任意の点Ｐｃを視線方向に延長して、鉛直カメラ座標系投影面２６０と交わる点Ｐｈを求める。ここで、鉛直カメラ座標系投影面２６０は、鉛直カメラ座標系２３０のＸ軸−Ｙ軸平面に対して平行かつ距離が１である平面のことをいう。
【００４３】
カメラ校正部１６０は、点Ｐｃのカメラ座標を［数５］に示す式で鉛直カメラ座標に変換する。ここで、鉛直カメラ座標系２３０と鉛直カメラ座標系投影面２６０との距離が１であるため、鉛直カメラ座標系投影面２６０における点Ｐｈの座標を算出する変換行列は［数６］で表すことができる。
【００４４】
【数６】
2011220811.tif 000008
【００４５】
特徴点Ａ２００と特徴点Ｂ２１０との路面１９０上の位置と、鉛直カメラ座標系投影面２６０上で特徴点Ａ２００と特徴点Ｂ２１０とにそれぞれ対応する点の位置との関係は、図８に示すようになる。
【００４６】
カメラ校正部１６０は、特徴点Ａ２００と特徴点Ｂ２１０とをピンホールカメラモデルでイメージ座標からカメラ座標に変換する。なお、特徴点Ａ２００と特徴点Ｂ２１０とのイメージ座標は、カメラ校正部１６０を構成するマイクロコンピュータによる画像処理で算出してもよいし、当該マイクロコンピュータに設けられたマウス等のポインティングデバイスを用いてユーザに入力させてもよい。
【００４７】
このように、鉛直カメラ座標系投影面２６０上の座標は、［数５］に示した式と［数６］に示す変換行列とを用いてカメラ座標から変換することができる。このように変換した特徴点Ａ２００に対応する座標を（ＶＡｘ、ＶＡｙ、ＶＡｚ）とし、特徴点Ｂ２１０に対応する座標を（ＶＢｘ、ＶＢｙ、ＶＢｚ）とする。
【００４８】
ここで、鉛直カメラ座標系投影面２６０と路面１９０とは平行であるため、相似の関係で高さＨを［数７］に示す式で求めることができる。
【００４９】
【数７】
2011220811.tif 000009
【００５０】
図４において、カメラ校正部１６０は、鉛直カメラ座標系２３０を世界座標系１８０に変換する変換行列を求める（ステップＳ３）。ここで、特徴点Ａ２００の路面上に投影される鉛直座標は、高さがＨなので、［数８］で表すことができる。
【００５１】
【数８】
2011220811.tif 000010
【００５２】
同様に、特徴点Ｂ２１０の路面上に投影される鉛直座標は、［数９］で表すことができる。
【００５３】
【数９】
2011220811.tif 000011
【００５４】
鉛直カメラ座標系２３０と世界座標系１８０との関係は、図８に示すようになる。ここで、特徴点Ａ２００に鉛直カメラ座標に対して、［数８］で表す座標が世界座標（０、０、０）となり、特徴点Ｂ２１０の鉛直カメラ座標に対して、［数９］で表す座標が世界座標（Ｌ、０、０）となるように変換する行列を求めればよい。したがって、鉛直カメラ座標系２３０と世界座標系１８０とのなす角度Ｒｚは、［数１０］で表す式によって求めることができる。
【００５５】
【数１０】
2011220811.tif 000012
【００５６】
したがって、鉛直座標系２６０から世界座標系１８０に変換する変換行列は、（０、０、Ｈ）だけ平行移動し、Ｈｚの回りにＲｚ回転移動し、（ＨＡｘ、ＨＡｙ、０）だけ平行移動する変換行列となる。
【００５７】
このように、カメラ校正部１６０は、カメラ座標系１７０を鉛直カメラ座標系２３０に変換し、鉛直カメラ座標系２３０を世界座標系１８０に変換することにより、カメラ座標系１７０を世界座標系１８０に変換することができ、カメラ１２０の撮像位置および撮像方向を校正することができる。
【００５８】
以上説明したように、本発明の一実施の形態としてのカメラ校正装置を構成するカメラ１２０は、校正用撮像物１１０がカメラ１２０によって撮像された撮像画像と加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像位置および撮像方向を算出するため、校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができる。
【００５９】
なお、校正用撮像物１１０は、少なくとも２点の特徴点を有するものであればよく、例えば、道路に引かれた白線を校正用撮像物１１０として利用してもよい。
【産業上の利用可能性】
【００６０】
以上のように、本発明にかかるカメラ校正装置は、校正用撮像対象物を従来のものより小型化しても精度が高いカメラ校正を行うことができるという効果を有し、例えば、車載カメラや監視カメラの撮像位置および撮像方向を校正するカメラ校正装置等として有用である。
【符号の説明】
【００６１】
１００  車両
１１０  校正用撮像物
１２０  カメラ
１３０  レンズ
１４０  イメージセンサ
１５０  加速度センサ
１６０  カメラ校正部
【図１】
2011220811.tif 000013
【図２】
2011220811.tif 000014
【図３】
2011220811.tif 000015
【図４】
2011220811.tif 000016
【図５】
2011220811.tif 000017
【図６】
2011220811.tif 000018
【図７】
2011220811.tif 000019
【図８】
2011220811.tif 000020
【図９】
2011220811.tif 000021