(57)【要約】  【課題】  画像の一部分の直線状の特徴点により、画像中心を精度よく推定できるカメラ校正装置を提供すること。  【解決手段】  画像中心算出手段１２は、画像の水平方向に直線状に並んだ特徴点（マーカー２０の横方向に直線状に並んだ特徴点）を直線性を判断する特徴点として、これらの特徴点に対して近似直線を求め、近似直線とこれら特徴点との距離の平均を直線性コストとし、画像の垂直方向に並んだ特徴点を通る直線（マーカー２０の縦方向に特徴点を通る平行な直線）を、左右の二つのグループにグループ分けし、それぞれのグループの複数の直線から消失点を求め、求めた二つの消失点の距離を算出し、この距離を消失点同一性コストとし、画像中心Ｃx、Ｃyを設定された範囲内で変えながら直線性コストおよび消失点同一性コストを算出し、直線性コストおよび消失点同一性コストから算出するコストが最小となる画像中心を求める。【選択図】  図１
2006349443.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの直線状に複数個並ぶ直線部分と、少なくとも４本の平行線上のそれぞれに複数個並ぶ平行線部分とを有する特徴点群を撮像する撮像手段と、前記撮像手段が撮像した画像の、前記直線部分の直線性評価値と、前記平行線部分から求められる複数の消失点の同一性評価値とに基づいて画像中心を求める画像中心算出手段とを備えることを特徴とするカメラ校正装置。
【請求項２】
前記画像中心算出手段は、前記直線性評価値として、前記直線部分の特徴点から求めた近似直線と、前記直線部分の特徴点との距離の平均値を用いることを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記画像中心算出手段は、前記同一性評価値として、前記複数の消失点の距離の総和を用いることを特徴とする請求項１に記載のカメラ校正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像方向を校正するカメラ校正装置に関するものである。
【背景技術】
【０００２】
近年、工業分野において、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離・方向を求めてカメラの撮像方向を校正するカメラ校正装置が開発されている。
【０００３】
例えば、カメラを車両に搭載して、車両走行のガイドラインを画像上に描画するとき、路面とカメラの位置関係を正確に求めてカメラの撮像方向を校正するカメラ校正が必要となる。
【０００４】
このようなカメラ校正装置として、車両に設置された後、床面上に配置されたターゲットバーをカメラで撮像し、撮像した画像の中のターゲットバーが所定のウィンドウと略一致するようにロール角、チルト角、パン角を調整し、得られた角度情報をカメラパラメータとしてカメラ校正装置の内部あるいは外部の記憶手段に記憶する構成をとっているものがある（例えば、特許文献１参照）。
【０００５】
また、カメラ校正用の基準位置およびこの基準位置を特定するための識別情報を有する校正用ボードをカメラで撮像し、撮像した画像の中の基準位置および識別情報に基づいて自動的にカメラ校正パラメータを算出するものもある（例えば、特許文献２参照）。
【０００６】
ここで、カメラ校正装置で求める画像中心について説明する。
【０００７】
図７は、カメラ校正に使用する座標系を説明するための図である。図７（ａ）は、ピンホールカメラモデルで表現するカメラ座標系（ｘ，ｙ，ｚ）である。
【０００８】
カメラ座標系にある点Ｐは、カメラ原点から焦点距離ｆにある投影面に投影される。この投影面を歪みのないセンサー座標系（ｘu，ｙu）とすると、カメラ座標系とは（式１）の関係がある。
【０００９】
【数１】
2006349443.tif 000003
【００１０】
実際には、レンズは歪みを持っているので、レンズ歪みを考慮した歪みのあるセンサー座標系（ｘd，ｙd）と歪みのないセンサー座標系との関係は、（式２）、（式３）の関係がある。
ｘd＋Ｄx＝ｘu    ｙd＋Ｄy＝ｙu    （式２）
【００１１】
【数２】
2006349443.tif 000004
【００１２】
ここで、κは歪みの程度を表す定数である。
【００１３】
図７（ｂ）は、投影面に投影された画像を示す図である。実イメージ座標系（ｘf，ｙf）は、モニター上の画像に対応する座標系で、画像の左上隅を原点とする二次元座標系である。実イメージ座標系と歪みのあるセンサー座標系は、（式４）の関係がある。
ｘf＝ｓxｄx-1ｘd＋Ｃx    ｙf＝ｄy-1ｙd＋Ｃy    （式４）
ここで、ｄx、ｄyは、ｘおよびｙ方向のピクセル間距離である。ピクセル間距離とは、投影面で換算されるピクセル間の実距離である。また、ｓxはスケールファクターと呼ばれ、画像キャプチャー時に発生するパラメータで定数と見なすことができる。Ｃx、Ｃyは画像中心である。
【００１４】
カメラ校正装置が求める対象となるパラメータは画像中心Ｃx、Ｃyである。ｆとκはカメラ仕様により決まるもので、κは定数として、画像中心からの距離に対応する歪み比率として与えられる。
【００１５】
図８は、従来のカメラ校正装置を示すブロック図である。図８に示すように、従来のカメラ校正装置は、直線状に並んだ部分を含むマーカー１０１と、マーカー１０１を撮像する校正対象であるカメラ１０２と、カメラ１０２が撮像するマーカー１０１の画像から画像中心を算出する画像中心算出手段１０３とを備えている。
【００１６】
図９は、従来のカメラ校正装置におけるマーカー１０１とカメラ１０２の位置関係を示す斜視図である。
【００１７】
図１０は、歪みのあるセンサー座標系でのマーカー画像と歪みのないセンサー座標系でのマーカー画像を示す図である。
【００１８】
このような従来のカメラ校正装置は、図１０（ａ）に示すような歪みのあるセンサー座標系でのマーカー画像が、（式２）により図１０（ｂ）に示すような歪みのないセンサー座標系のマーカー画像のように変換できることを利用し、マーカー１０１の正方形の頂点を特徴点とし、実イメージ座標系での特徴点の座標を（式２）から（式４）により歪みのないセンサー座標系での座標に変換し、変換した特徴点の座標が直線状に並ぶような中心Ｃx、Ｃyを求める。
【００１９】
具体的には、画像中心算出手段１０３は、カメラ１０２でマーカー１０１を撮像した画像から、マーカー１０１の正方形の頂点を特徴点とし、直線状に並ぶｎ点の特徴点の実イメージ座標を算出する。この実イメージ座標を（Ｘi，Ｙi）ｉ＝１〜ｎとすると、初期値の中心Ｃx、Ｃyに基づいて（式２）から（式４）により実イメージ座標を歪みのないセンサー座標系の座標（Ｘui，Ｙui）ｉ＝１〜ｎに変換する。
【００２０】
変換した（Ｘui，Ｙui）から最小二乗法で近似直線の式を求め、この近似直線と（Ｘui，Ｙui）との距離の総和（直線性コスト）を算出する。
【００２１】
この直線性コストをＣx、Ｃyの値を設定された範囲内で変えながら算出し、直線性コストが最小となるような中心を求める。
【特許文献１】特開２００１−２４５３２６号公報
【特許文献２】特開２００３−１９４５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、従来のカメラ校正装置においては、画像全体にマーカーの特徴点が撮像されていないと画像中心の推定誤差が大きくなってしまい、一部分の特徴点の並びの直線性だけでは画像中心を精度よく推定できないという問題があった。
【００２３】
本発明は、従来の問題を解決するためになされたもので、画像の一部分の直線状の特徴点により、画像中心を精度よく推定できるカメラ校正装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明のカメラ校正装置は、少なくとも一つの直線状に複数個並ぶ直線部分と、少なくとも４本の平行線上のそれぞれに複数個並ぶ平行線部分とを有する特徴点群を撮像する撮像手段と、前記撮像手段が撮像した画像の、前記直線部分の直線性評価値と、前記平行線部分から求められる複数の消失点の同一性評価値とに基づいて画像中心を求める画像中心算出手段とを備える構成を有している。
【００２５】
この構成により、直線部分の直線性評価値と平行線部分から求められる複数の消失点の同一性評価値とに基づいて画像中心が求められ、直線状に並んだ特徴点が画像の一部分にあれば画像中心を精度よく推定することができる。
【００２６】
ここで、前記画像中心算出手段は、前記直線性評価値として、前記直線部分の特徴点から求めた近似直線と、前記直線部分の特徴点との距離の平均値を用いる構成とした。
【００２７】
この構成により、容易に直線性評価値を求めることができる。
【００２８】
また、前記画像中心算出手段は、前記同一性評価値として、前記複数の消失点の距離の総和を用いる構成とした。
【００２９】
この構成により、容易に消失点の同一性評価値を求めることができる。
【発明の効果】
【００３０】
本発明によれば、直線部分の直線性評価値と平行線部分から求められる複数の消失点の同一性評価値とに基づいて画像中心を求めているので、直線状に並んだ特徴点が画像の一部分にあれば画像中心を精度よく推定することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３２】
（第１の実施の形態）
図１は本発明の第１の実施の形態のカメラ校正装置を示すブロック図である。
【００３３】
図１において、本実施の形態のカメラ校正装置は、画像を撮像する校正対象であるカメラ１１と、カメラ１１が撮像したマーカー２０の画像から画像中心を算出する画像中心算出手段１２とを備えている。
【００３４】
マーカー２０には、少なくとも一つの直線状に並んだ複数の特徴点と、少なくとも４本の平行な直線のそれぞれの上に複数並んだ特徴点とが配置されている。
【００３５】
そして、カメラ１１をマーカー２０の斜め上方に配置し、カメラ１１でマーカー２０を撮像する。このとき、マーカー２０に配置された、複数の特徴点を通る少なくとも４本の平行な直線が消失点を持つように、平行な直線がカメラの手前から正面奥方向に延伸するようにカメラ１１とマーカー２０を配置する。
【００３６】
図２は、本実施の形態におけるカメラ１１とマーカー２０の位置関係を示す斜視図である。
【００３７】
なお、本実施の形態では、横方向に２本、縦方向に３本の格子状の直線のそれぞれの交点の６点が配置されたマーカー２０を２枚（第１のマーカー２０ａ、第２のマーカー２０ｂとする）、それぞれの横方向の直線が同一直線状になるように、またそれぞれの縦方向の直線が平行になるように配置し、図２に示すように、マーカー２０の横方向の直線が、カメラ１１で撮像した画像の水平方向に平行になるように、マーカー２０の縦方向の直線がカメラの手前から正面奥方向に延伸するようにカメラ１１を配置した。
【００３８】
画像中心が正確であれば、実世界における直線は、カメラ座標系においても直線となるので、歪みのないセンサー座標系でも直線となる。また、画像中心が正確であれば、歪みのないセンサー座標系で平行な直線の消失点は同一点となる。
【００３９】
図３は、カメラ１１で撮像したマーカー２０の画像を示す図である。
【００４０】
画像中心算出手段１２は、画像の水平方向に直線状に並んだ特徴点（マーカー２０の横方向に直線状に並んだ特徴点）を直線性を判断する特徴点として、これらの特徴点の実イメージ座標を歪みのないセンサー座標に変換し、各特徴点の歪みのないセンサー座標に基づいて近似直線を求め、歪みのないセンサー座標での近似直線とこれら特徴点との距離の平均を直線性コストとする。
【００４１】
また、画像中心算出手段１２は、画像の垂直方向に並んだ特徴点を通る直線（マーカー２０の縦方向に特徴点を通る平行な直線）を、第１のマーカー２０ａの特徴点を通るグループと第２のマーカー２０ｂの特徴点を通るグループとにグループ分け（左右にグループ分け）し、これらの特徴点の実イメージ座標を歪みのないセンサー座標に変換し、各特徴点の歪みのないセンサー座標に基づいてそれぞれのグループの複数の直線から消失点を求め、求めた二つの消失点の距離を算出し、この距離を消失点同一性コストとする。なお、グループを３個以上とする場合は、各グループの消失点の距離の総和とすればよい。
【００４２】
画像中心算出手段１２は、ある画像中心Ｃx、Ｃyにおけるコストを（式５）で求める。
コスト＝Ａ×直線性コスト＋Ｂ×消失点同一性コスト    （式５）
ここで、ＡとＢはＡ＞０、Ｂ＞０を満たす定数である。
【００４３】
画像中心算出手段１２は、画像中心Ｃx、Ｃyを設定された範囲内で変えながら（式５）でコストを算出し、コストが最小となる画像中心を求める。
【００４４】
図４は、画像中心を算出する処理を説明するフローチャートである。
【００４５】
図４に示すように、画像中心算出手段１２は、Ｃx、Ｃyに初期値を設定し（Ｓ１１）、特徴点の実イメージ座標を歪みのないセンサー座標に変換する（Ｓ１２）。
【００４６】
そして、直線状に並ぶ特徴点の歪みのないセンサー座標から最小二乗法により近似直線を求める（Ｓ１３）。求めた近似直線と各特徴点との距離の平均を求め、直線性コストとする（Ｓ１４）。
【００４７】
次いで、画像の垂直方向に並んだ特徴点を通る平行な直線を複数の直線を含む左右２グループに分け、各グループの直線の消失点を求め（Ｓ１５）、求めた各グループの消失点の距離を求め、消失点同一コストとする（Ｓ１６）。
【００４８】
求めた直線性コストと消失点同一性コストから（式５）によりコストを算出し、Ｃx、Ｃyの値とともに記憶する（Ｓ１７）。
【００４９】
Ｃyに探索刻み幅を加算し（Ｓ１８）、Ｃyが探索の上限値（Ｃyの初期値＋探索幅）より小さいかを判定する（Ｓ１９）。
【００５０】
加算されたＣyが探索の上限値より小さい場合、Ｓ１２に戻って、探索刻み幅が加算されたＣyについて特徴点の実イメージ座標を歪みのないセンサー座標に変換して、その後の処理を行う。
【００５１】
加算されたＣyが探索の上限値以上の場合、Ｃxに探索刻み幅を加算し（Ｓ２０）、Ｃxが探索の上限値（Ｃxの初期値＋探索幅）より小さいかを判定する（Ｓ２１）。
【００５２】
加算されたＣxが探索の上限値より小さい場合、Ｓ１２に戻って、探索刻み幅が加算されたＣxについて特徴点の実イメージ座標を歪みのないセンサー座標に変換して、その後の処理を行う。
【００５３】
加算されたＣxが探索の上限値以上の場合、算出したコストが最小のＣx、Ｃyを画像中心とする（Ｓ２２）。
【００５４】
図５は、本実施の形態における画像中心のＸ座標を固定し、Ｙ座標を変化させたときの、Ｙ座標の値と直線性コストとの関係を示すグラフである。
【００５５】
図５に示すように、Ｘ軸に沿った特徴点の直線性コストが最小値となる画像中心のＹ座標の値は、画像中心のＹ座標の真値にほぼ等しくなることがわかる。
【００５６】
図６（ａ）は、本実施の形態における画像中心のＹ座標を固定し、Ｘ座標を変化させたときの、Ｘ座標の値と直線性コストの関係を示すグラフである。
【００５７】
図６（ｂ）は、本実施の形態における画像中心のＹ座標を固定し、Ｘ座標を変化させたときの、Ｘ座標の値と消失点同一性コストの関係を示すグラフである。
【００５８】
二つのグラフを比較すると、消失点同一性コストのほうが直線性コストよりも画像中心のＸ座標と相関が高く、消失点同一性コストが最小となる画像中心のＸ座標の値が、画像中心のＸ座標の真値にほぼ等しくなっていることがわかる。
【００５９】
このように本実施の形態においては、横方向に直線状に並んだ特徴点から直線性コストを算出し、縦方向に平行な直線上に並んだ特徴点を左右にグループ分けし、各グループの特徴点を通る平行な直線から消失点を求め、各グループの消失点から消失点同一性コストを算出し、直線性コストと消失点同一性コストから画像中心のコストを算出し、このコストが最小となるものを画像中心としているので、画像の一部分の直線状に並んだ特徴点から精度よく画像中心を推定することができる。
【産業上の利用可能性】
【００６０】
以上のように、本発明にかかるカメラ校正装置は、直線状に並んだ特徴点が画像の一部分にあれば画像中心を精度よく推定することができるという効果を有し、カメラの撮像方向を校正するカメラ校正装置等として有用である。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態におけるカメラ校正装置のブロック図
【図２】本発明の第１の実施の形態におけるカメラ校正装置のカメラとマーカーの位置関係の例を示す斜視図
【図３】本発明の第１の実施の形態におけるカメラ校正装置のカメラで撮像したマーカーの画像例を示す図
【図４】本発明の第１の実施の形態におけるカメラ校正装置の動作説明のためのフローチャート
【図５】本発明の第１の実施の形態におけるカメラ校正装置の画像中心のＸ座標を固定しＹ座標を変化させたときのＹ座標の値と直線性コストとの関係を示すグラフ
【図６】（ａ）本発明の第１の実施の形態におけるカメラ校正装置の画像中心のＹ座標を固定しＸ座標を変化させたときのＸ座標の値と直線性コストの関係を示すグラフ  （ｂ）本発明の第１の実施の形態におけるカメラ校正装置の画像中心のＹ座標を固定しＸ座標を変化させたときのＸ座標の値と消失点同一性コストの関係を示すグラフ
【図７】（ａ）ピンホールカメラモデルで表現するカメラ座標系を示す図  （ｂ）投影面に投影された画像を示す図
【図８】従来のカメラ校正装置のブロック図
【図９】従来のカメラ校正装置のカメラとマーカーの位置関係の例を示す斜視図
【図１０】（ａ）歪みのあるセンサー座標系のマーカー画像を示す図  （ｂ）歪みのないセンサー座標系のマーカー画像を示す図
【符号の説明】
【００６２】
１１  カメラ
１２  画像中心算出手段
２０  マーカー
２０ａ  第１のマーカー
２０ｂ  第２のマーカー
１０１  マーカー
１０２  カメラ
１０３  画像中心算出手段
【図１】
2006349443.tif 000005
【図２】
2006349443.tif 000006
【図３】
2006349443.tif 000007
【図４】
2006349443.tif 000008
【図５】
2006349443.tif 000009
【図６】
2006349443.tif 000010
【図７】
2006349443.tif 000011
【図８】
2006349443.tif 000012
【図９】
2006349443.tif 000013
【図１０】
2006349443.tif 000014