(57)【要約】  【課題】  被撮像対象物、例えば車両との相対位置が未知であるマーカーにより、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定でき、その結果、カメラによる監視や物体検出などを行う際に、カメラ校正をほぼ正確に行うことができるカメラ校正装置を提供する。  【解決手段】  直線部分を含む図形が描画されている直線マーカー１と、直線マーカー１を撮像するカメラ２と、カメラ２が撮像する直線マーカー１の画像からカメラ２のカメラ内部パラメータを求める直線マーカーカメラ校正手段３とを有する。【選択図】  図１
2006135621.tif 000002
【特許請求の範囲】
【請求項１】
直線部分を含む図形が描画されている直線マーカーと、
前記直線マーカーを撮像するカメラと、
前記カメラが撮像する前記直線マーカーの画像から前記カメラのカメラ内部パラメータを求め最適化する直線マーカーカメラ校正手段と
を有することを特徴とするカメラ校正装置。
【請求項２】
前記カメラ内部パラメータは、下記の演算式、
2006135621.tif 000009
から算出するカメラパラメータ（Ｓｘ，Ｃｘ，Ｃｙ）である請求項１に記載のカメラ校正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置に関する。
【背景技術】
【０００２】
近年、各種の工業分野などにおいて、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離や方向を求めるカメラ校正装置が開発されている。例えば、カメラを車両後方に搭載して、車両走行のハンドル蛇角に応じた予想軌跡であるガイドラインを画像上に描画するとき、路面とカメラの位置関係を正確に求めるカメラ校正作業が必要となる。
【０００３】
ここで、カメラ校正で求めるカメラパラメータについて説明する。
図４は、カメラ校正で使用する座標系の説明図である。αは、カメラが撮像する３次元空間の直交座標系であって、原点をＯWとする世界座標系（ｘw，ｙw，ｚw）である。一方、βは、ピンホールカメラモデル（歪曲収差などのない理想的なカメラモデル）で表現するカメラ座標系（ｘ，ｙ，ｚ）である。世界座標系（ｘw，ｙw，ｚw）とカメラ座標系（ｘ，ｙ，ｚ）の関係は、座標回転変換行列と座標移動変換行列との組み合わせにより、次式で表すことができる。
【０００４】
【数１】
2006135621.tif 000003
なお、Ｒは回転を表す３行３列の行列、Ｔは移動を表す３行１列の行列である。
【０００５】
前述のピンホールカメラモデルで表現するカメラ座標系（ｘ，ｙ，ｚ）での任意の点Ｐは、カメラ原点Ｏから焦点距離ｆにある投影面Ｓに投影される。この投影面Ｓを歪みのない第１のイメージ座標系（ｘu，ｙu）と呼び、カメラ座標系（ｘ，ｙ，ｚ）と次式の関係がある。
【０００６】
【数２】
2006135621.tif 000004
【０００７】
実際に使用するカメラでは、レンズは歪みをもっているので、このレンズ歪みを考慮した歪みのある投影面である第２のイメージ座標系（ｘd，ｙd）と歪みのない投影面であるイメージ座標系（ｘu，ｙu）には、次式（３）、（４）の関係がある。
【０００８】
【数３】
2006135621.tif 000005
【０００９】
また、
【００１０】
【数４】
2006135621.tif 000006
【００１１】
ここで、モニター上の画像に対応する２次元座標系で、画像の左隅を原点とする実イメージ座標系（ｘf、ｙf）を導入する。この実イメージ座標系（ｘf、ｙf）と前述の歪みのある第２のイメージ座標系（ｘd，ｙd）には、次の関係がある。
【００１２】
【数５】
2006135621.tif 000007
【００１３】
なお、カメラ校正で求めるパラメータは、Ｒ、Ｔ、ｆ、κ、Ｓｘ、Ｃｘ、Ｃｙである。このうち、Ｒ、Ｔ（共に、（１）式参照）は、カメラ姿勢に関するパラメータであって、外部パラメータであり、残りは、カメラに関するパラメータで内部パラメータと呼ばれる。
本発明のカメラ校正装置が求める対象とするパラメータは、Ｓｘ、Ｃｘ、Ｃｙである。パラメータｆとκは、カメラ仕様により判明しているものとする。このうち、パラメータκは定数としてだけでなく、画像中心からの距離に対応する歪み比率として与えられる。
【００１４】
図５は、従来のカメラ校正装置の構成図である。このカメラ校正装置は、図５において、世界座標が既知である特徴点を含む世界座標既知マーカー１０と、この世界座標既知マーカー１０を撮像する校正対象であるカメラ２０と、このカメラ２０が撮像する世界座標既知マーカー１０の画像からカメラパラメータを算出する世界座標既知マーカー校正手段３０とを備えている。図６は従来のカメラ校正装置における、世界座標既知マーカー１０とカメラ２０の位置関係を示す立体図である。
【００１５】
ここで、図５と図６を利用して、従来のカメラ校正装置を説明する。
初めに、図６に示すように、カメラ２０で世界座標既知マーカー１０を撮像する。例えば、世界座標既知マーカー１０の黒い正方形の各頂点を特徴点とし、この特徴点の世界座標を計測しておく。次に、世界座標既知マーカー校正手段３０は、複数の特徴点の世界座標と撮像した画像上の特徴点の実イメージ座標からカメラパラメータを算出し、目的とするパラメータＳｘ，Ｃｘ、Ｃｙを得る。この算出方法の詳細については、例えば、非特許文献１に記載されている。
【非特許文献１】"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y. Tsai, IEEE Journal of Robotics and automation Vol. RA-3. No.4 August 1987, pp323-344（ロジャー・Ｙ・ツァイ著、「一般のＴＶカメラとレンズを使用した高精度３次元測定法による多用途カメラ校正技術」ロボット工学及び自動化に関するＩＥＥＥジャーナル、第ＲＡ−３巻、第４号、１９８７年８月、第３２３〜３４４ページ）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記のカメラ校正装置では、世界座標既知マーカーの特徴点の世界座標が既知である必要があり、また、対象とするカメラパラメータ（Ｓｘ、Ｃｘ、Ｃｙ）以外のカメラパラメータ、即ちＲ、Ｔ、ｆ、κも求めるため、推定誤差が大きくなるという問題があった。
【００１７】
本発明は、上記事情に鑑みてなされたもので、被撮像対象物、例えば車両との相対位置が未知であるマーカーにより、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定でき、その結果、カメラによる監視や物体検出などを行う際に、カメラ校正をほぼ正確に行うことができるカメラ校正装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明のカメラ校正装置は、直線部分を含む図形が描画されている直線マーカーと、前記直線マーカーを撮像するカメラと、前記カメラが撮像する前記直線マーカーの画像から前記カメラのカメラ内部パラメータを求める直線マーカーカメラ校正手段とを有する構成のものである。
この構成によれば、車両との相対位置が未知であるマーカーでカメラ校正でき、対象とするパラメータのみを推定できる。
【００１９】
また、本発明のカメラ校正装置は、前記カメラ内部パラメータが、下記の演算式、
2006135621.tif 000008
から算出するカメラパラメータ（Ｓｘ，Ｃｘ，Ｃｙ）である構成のものである。
【発明の効果】
【００２０】
本発明によれば、被撮像対象物、例えば車両との相対位置が未知であるマーカーによりカメラ校正でき、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定できるカメラ校正装置を提供できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について、添付図面を参照にして詳細に説明する。
図１は、本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。本実施形態のカメラ校正装置は、直線マーカー１と、カメラ２と、直線マーカー校正手段３とを備えている。このうち、直線マーカー１には、図２に示すように、直線を含む図形が描画されている。一方、直線マーカー校正手段３は、直線マーカー１を撮像するカメラ２の画像に基づき、そのカメラ２のカメラパラメータ（Ｓｘ，Ｃｘ，Ｃｙ）を算出する。なお、これらのカメラパラメータ（Ｓｘ，Ｃｘ，Ｃｙ）については、［背景技術］の欄の（５）式などを参照されたい。
【００２２】
図２は、本発明の実施形態に係るカメラ校正装置における、直線マーカー１とカメラ２の位置関係を示す斜視図である。
最初に、図２に示すように、直線マーカー１とカメラ２を配置する。次に、カメラ２により直線を含む図形が描画されている直線マーカー１を撮像する。その後、直線マーカー１を撮像するカメラ２の画像から、直線マーカー校正手段３が、カメラ２のカメラパラメータ（Ｓｘ，Ｃｘ，Ｃｙ）を数学的に算出する。
【００２３】
図３は、本発明の実施形態に係るカメラ校正装置における直線マーカー校正手段３の説明図である。
世界座標系（ｘw，ｙw，ｚw）における直線は、カメラ座標系（ｘ，ｙ，ｚ）においても直線となるので、歪みのない座標系でも直線となる。しかし、実際は、直線マーカー１の画像は、図３（Ａ）の座標系１Ａのように歪みのある画像のようになる。これは、レンズ歪みのため、（３）式及び（４）式による歪みをうけて直線にはならないからである。
もし、カメラパラメータ（Ｓｘ、Ｃｘ、Ｃｙ）が正しい値ならば、（３）式〜（５）式を利用すると、歪みのない座標系では、図３（Ｂ）の座標系１Ｂのように、直線に戻るはずである。一方、カメラパラメータ（Ｓｘ、Ｃｘ、Ｃｙ）が正しい値でないならば、歪みのない座標系に変換すると、図３（Ｃ）の座標系１Ｃのように、直線には戻らない。
この性質を利用して、歪みのない座標系で直線となるようにカメラパラメータ（Ｓｘ、Ｃｘ、Ｃｙ）を最適化する。
【００２４】
初めに、画像上の直線を校正する画素の実イメージ座標を点列（Ｘfi，Ｙfi）ｉ＝１，ｎとする。そして、（Ｓｘ＝１、Ｃｘ＝画像幅／２、Ｃｙ＝画像高／２）を初期値として用い、（３）式〜（５）式を使用して直線を構成する点列の歪みのないイメージ座標（Ｘui，Ｙui）を求める。
次に、点列の歪みのないイメージ座標から、最小二乗法により直線式を求め、その直線から各点列までの距離の総和を評価値とする。そして、評価値が低くなるようにカメラパラメータ（Ｓｘ、Ｃｘ、Ｃｙ）を最適化し、カメラパラメータを算出する。
このように、本実施の形態のカメラ校正装置によれば、車両との相対位置が未知であるマーカーでカメラ校正することができる。
【００２５】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。
【産業上の利用可能性】
【００２６】
本発明のカメラ校正装置は、被撮像対象物、例えば車両との相対位置が未知であるマーカーにより、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定できる効果を有し、カメラから撮像対象物までの距離や方向などを求めるカメラ校正をほぼ正確に行うことができ、カメラによる監視や物体検出などを行う際に有用である。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係るカメラ校正装置の構成を示す概略ブロック図
【図２】本発明の実施形態に係る直線マーカーとカメラの配置関係を示す斜視図
【図３】（Ａ）〜（Ｃ）は本発明の実施形態に係る直線マーカー校正手段の作用を示す説明図
【図４】世界座標系とカメラ座標系の関係を示す説明図
【図５】従来のカメラ校正装置の構成を示す概略ブロック図
【図６】従来のカメラ校正装置で用いられる世界座標既知マーカーとカメラの配置関係を示す斜視図
【符号の説明】
【００２８】
１  直線マーカー
２  カメラ
３  直線マーカー校正手段
１０  世界座標既知マーカー
３０  世界座標既知マーカー校正手段
【図１】
2006135621.tif 000010
【図２】
2006135621.tif 000011
【図３】
2006135621.tif 000012
【図４】
2006135621.tif 000013
【図５】
2006135621.tif 000014
【図６】
2006135621.tif 000015