(57)【要約】【課題】カメラ画像のキャリブレーション方法、装置において、校正作業に多大な労力を要することなく、前後方向について信頼性の高い距離感を与えるものとする。【解決手段】車載カメラ１，２の撮影範囲ｍ１，ｍ２の任意の位置にそれぞれ、互いの位置関係が既知の校正用指標１１が記された校正用指標シート１０を任意の傾きで配置し、前部カメラ１と隣り合う車載カメラ３，４との共通撮影範囲ｍ１３，ｍ１４、および後部カメラ２と隣り合う車載カメラ３，４との共通撮影範囲ｍ２３，ｍ２４にそれぞれ距離用指標１５を２つずつ配置し、各車載カメラ１，２の撮影画像Ｐ１，Ｐ２に基づいて、各車載カメラ１，２の外部パラメータを求めて透視投影変換により視点変換画像Ｓ１，Ｓ２を求め、距離用指標１５に基づいて、視点変換画像Ｓ１，Ｓ２の位置、傾きを校正し、距離用指標１５を用いた平面射影変換により、視点変換画像Ｓ３，Ｓ４を求める。【選択図】図６
2014183540.tif 000002
【特許請求の範囲】
【請求項１】
車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに、互いの位置関係が既知の少なくとも４つの校正用指標を配置し、
前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ距離用指標を２つずつ配置し、
前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求め、
前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理し、
前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求め、
得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正し、
前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得、
前記左側部および前記右側部の視点変換画像を前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得、
前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求めることを特徴とするカメラ画像のキャリブレーション方法。
【請求項２】
前記距離用指標が円形状の輪郭を有するものであり、
前記撮影画像における、前記距離用指標の像の長径をｄとしたとき、前記車載カメラから前記距離用指標までの距離Ｌを、下記式にしたがって求めること特徴とする請求項１に記載のカメラ画像のキャリブレーション方法。
Ｌ２  ＝Ｌ０２  −ｈ２  
Ｌ０＝ｆ×ｄ１／ｄ
ｄ＝ｄ０×ｎ
ただし、Ｌ０は前記各車載カメラから前記距離用指標までの空間上での距離、ｈは各車載カメラの路面からの高さ位置、ｆは車載カメラの焦点距離、ｄ１は実空間における距離用指標の直径、ｄ０は車載カメラの撮像素子の１画素の大きさ、ｎは車載カメラの撮影画像中の距離用指標の像の長径が占める画素数をそれぞれ示す。
【請求項３】
前記４つの校正用指標が、単一のシートに記されていることを特徴とする請求項１または２に記載のカメラ画像のキャリブレーション方法。
【請求項４】
車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに配置される、互いの位置関係が既知の少なくとも４つの校正用指標と、
前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ２つずつ配置される距離用指標と、
前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求める外部パラメータ算出部と、
前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理する第１の変換部と、
前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求める距離算出部と、
得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正する校正部と、
前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得る第２の変換部と、
前記前部の視点変換画像、前記後部の視点変換画像、前記左側部の視点変換画像および前記右側部の視点変換画像を、前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得る合成部と、
前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求める変換パラメータ算出部と、を備えたことを特徴とするカメラ画像のキャリブレーション装置。
【請求項５】
前記距離用指標が円形状の輪郭を有するものであり、
前記距離算出部が、前記撮影画像における、前記距離用指標の像の長径をｄとしたとき、前記車載カメラから前記距離用指標までの距離Ｌを、下記式にしたがって求めること特徴とする請求項４に記載のカメラ画像のキャリブレーション装置。
Ｌ２  ＝Ｌ０２  −ｈ２  
Ｌ０＝ｆ×ｄ１／ｄ
ｄ＝ｄ０×ｎ
ただし、Ｌ０は前記各車載カメラから前記距離用指標までの空間上での距離、ｈは各車載カメラの路面からの高さ位置、ｆは車載カメラの焦点距離、ｄ１は実空間における距離用指標の直径、ｄ０は車載カメラの撮像素子の１画素の大きさ、ｎは車載カメラの撮影画像中の距離用指標の像の長径が占める画素数をそれぞれ示す。
【請求項６】
前記４つの校正用指標が、単一のシートに記されていることを特徴とする請求項４または５に記載のカメラ画像のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像のキャリブレーション方法およびキャリブレーション装置に関し、詳細には、複数のカメラで撮影された画像を単一の視点変換画像に合成する際の画像のキャリブレーションの改良に関する。
【背景技術】
【０００２】
車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を、車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
【０００３】
また、車両の全周囲を部分ごとに複数の車載カメラで撮影し、各車載カメラで得られた複数の画像（撮影画像）をそれぞれ、車両の真上から見下ろしたような画像に変換（視点変換）するとともに、これら視点変換によって得られた複数の画像（視点変換画像）を、車両との位置関係に対応させた単一の画像に合成することで、全周囲視点変換画像を得ることも行われている（特許文献１）。
【０００４】
特許文献１には、視点変換の手法として、透視投影変換によるものと平面射影変換によるものとが開示されている。
透視投影変換は、車載カメラの外部パラメータ（車両に対する設置位置、設置姿勢（向き）に関する値）および内部パラメータ（焦点距離、歪み等）に基づいて、撮影画像を視点変換画像に変換する手法である。
一方、平面射影変換は、車載カメラの外部パラメータを用いずに、実空間での位置関係が既知の４つ以上の校正用指標を含むように車載カメラで撮影し、得られた撮影画像における校正用指標の位置と得ようとする視点変換画像における校正用指標の位置とに基づいて視点変換のホモグラフィ行列を求め、撮影画像の全ての点をホモグラフィ行列で変換する手法である。
なお、視点変換画像における校正用指標の位置は、実空間における校正用指標の既知の位置関係に対応して設定される。
【０００５】
また、車載カメラの外部パラメータが分からない場合に、平面射影変換によって得られたホモグラフィ行列から外部パラメータを求め、外部パラメータを用いた透視投影変換により、視点変換画像を得る手法もある。
【０００６】
以上のいずれかの手法により得られた車両の周囲の複数の視点変換画像を、車両の模式図を中心として車両の模式図の周囲に配置して単一の画像に合成することで、全周囲視点変換画像を得ることができる。
そして、得られた全周囲視点変換画像と、撮影画像との位置関係を対応させる変換パラメータを変換テーブル等として記憶しておくことで、その後の実運用では、各車載カメラで撮影して得られた画像に対し、記憶された変換テーブル等から変換パラメータを読み出して変換処理を行うことで、ほぼリアルタイムに全周囲視点変換画像を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１８７５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された技術のうち、透視投影変換は、各車載カメラについて外部パラメータが既知であることが必要であるが、この外部パラメータのうち位置に関するものは、比較的精度よく計測することができるのに対して、外部パラメータのうち向き（角度）に関するものは、精度よく計測するのは困難である。
また、車載カメラの内部パラメータは車載カメラのモジュールとして画一的な値で設定されているが、実際の車載カメラは製品精度等の個体差により、完全に同一の出力を得られるわけではない。
この結果、各車載カメラごとに得られた視点変換画像を繋いで全周囲視点変換画像を生成するに際して、視点変換画像間の接続部分が完全には一致しないことが起こり得る。
【０００９】
一方、平面射影変換は、外部パラメータを事前に正確に知る必要はないが、実空間での車両と校正指標との位置関係を厳密に設定する必要があり、校正作業に多大な労力を要するという問題がある。
また、平面射影変換によって得られた視点変換画像は、校正用指標の近傍領域では位置関係の精度が比較的高いものの、校正用指標から離れるにしたがって、その精度が低下するおそれがあり、運転者等に対して、全周視点変換画像により、障害物等との距離感を適切に認識させることは難しい。
【００１０】
本発明は上記事情に鑑みてなされたもので、校正作業に多大な労力を要することなく、車両の前後方向について信頼性の高い距離感を与えることができるカメラ画像のキャリブレーション方法およびキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るカメラ画像のキャリブレーション方法およびキャリブレーション装置は、位置関係が互いに既知の４つ以上の校正用指標を車両の前方および後方に配置し、各２つずつの円形の距離用指標を車両の各斜め前方、各斜め後方に配置して撮影された、前部の撮影画像と後部の撮影画像とについて、校正用指標間の位置関係に基づいて前部の車載カメラの外部パラメータと後部の車載カメラの外部パラメータとを求め、透視投影変換によって前部の視点変換画像と後部の視点変換画像とを得、前部の撮影画像と後部の撮影画像と左側部の撮影画像と右側部の撮影画像とにおける各距離用指標の大きさに基づいて、前部の車載カメラおよび後部の車載カメラと各距離用指標との間の距離を求め、得られた距離に応じて、前部の視点変換画像および後部の視点変換画像の傾きを校正し、左側部の撮影画像および右側部の撮影画像を、各撮影画像中の距離用指標と、全周囲視点変換画像の一部として配置した、校正後の前部の視点変換画像および後部の視点変換画像における距離用指標との対応関係に基づいて平面射影変換して、全周視点変換画像における視点変換画像を得、これにより、撮影画像を全周囲視点変換画像に変換するための変換パラメータを得るものであり、校正用指標と車両との位置関係を厳密に規定する必要がないため、校正作業の労力を低減させるとともに、全周囲視点変換画像のうち前部の視点変換画像および後部の視点変換画像は、外部パラメータを用いた透視投影変換による視点変換画像であるため、距離の信頼性を高いものとすることができる。
【００１２】
すなわち、本発明に係るカメラ画像のキャリブレーション方法は、車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに、互いの位置関係が既知の少なくとも４つの校正用指標を配置し、前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ距離用指標を２つずつ配置し、前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求め、前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理し、前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求め、得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正し、前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得、前記左側部および前記右側部の視点変換画像を前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得、前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求めることを特徴とする。
【００１３】
また、本発明に係るカメラ画像のキャリブレーション装置は、車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに配置される、互いの位置関係が既知の少なくとも４つの校正用指標と、前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ２つずつ配置される距離用指標と、前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求める外部パラメータ算出部と、前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理する第１の変換部と、前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求める距離算出部と、得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正する校正部と、前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得る第２の変換部と、前記前部の視点変換画像、前記後部の視点変換画像、前記左側部の視点変換画像および前記右側部の視点変換画像を、前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得る合成部と、前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求める変換パラメータ算出部と、を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明に係るカメラ画像のキャリブレーション方法およびカメラ画像のキャリブレーション装置によれば、校正作業に多大な労力を要することなく、車両の前後方向について信頼性の高い距離感を与えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るカメラ画像のキャリブレーション装置の概略構成を示すブロック図である。
【図２】校正用指標の一例を示す図である。
【図３】距離用指標の一例を示す図である。
【図４】４つのカメラが搭載された車両および各カメラの撮影範囲を模式的に示した平面図である。
【図５】前部カメラの撮影範囲に校正用指標を配置し、前部カメラと左右の各側部カメラの共通撮影範囲に距離用指標を配置した状態を模式的に示す平面図である。
【図６】図１のカメラ画像のキャリブレーション装置の作用を説明するフローチャートである。
【図７】前部の撮影画像の一例を示す模式図である。
【図８】左側部の撮影画像の一例を示す模式図である。
【図９】前部の視点変換画像の一例を示す模式図である。
【図１０】全周囲視点変換画像における前部の視点変換画像の位置関係の例を示す図であり、（ａ）は例１、（ｂ）は例２、（ｃ）は例３をそれぞれ示す。
【図１１】前部カメラと距離用指標との間の距離を算出する作用を説明する模式図である。
【図１２】校正した前部の視点変換画像と校正した後部の視点変換画像を全周囲視点変換画像の一部として合成した状態の図を示す図である。
【図１３】全周囲視点変換画像における距離用指標の像の位置の特定の方法を説明する図である。
【図１４】左側部の視点変換画像と右側部の視点変換画像を全周囲視点変換画像の一部として合成した状態の図を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係るカメラ画像のキャリブレーション方法およびキャリブレーション装置の実施の形態について、図面を参照して説明する。
【００１７】
（構成）
図１は、本発明の一実施形態であるカメラ画像のキャリブレーション装置１００の構成を示すブロック図である。
【００１８】
図示のキャリブレーション装置１００は、図２に示すように校正用指標１１が記された平板状の校正用指標シート１０と、図３に示すように輪郭が円形の距離用指標１５と、データ処理装置９１と、最終的に得られた画像変換テーブルを記憶する変換テーブル記憶部９５とを備えている。
【００１９】
校正用指標シート１０には、図２に示すように、例えば９つの校正用指標１１が記載されていて、これら９つの校正用指標１１は、縦横の各間隔が等ピッチｐで、縦３列×横３行の配列で記されており、９つの校正用指標１１は、この校正用指標シート１０上において互いの位置関係が既知となっている。
距離用指標１５は、直径がｄの円形の輪郭に形成されている。
【００２０】
本実施形態のキャリブレーション装置１００がキャリブレーション処理の対象とするカメラは、図４に示す車載カメラ１，２，３，４である。
これらの車載カメラ１〜４は、車両２００にそれぞれ搭載されたものであり、車両２００の前部に固定されて車両２００の前方領域を撮影する前部カメラ１、車両２００の後部に固定されて車両２００の後方領域を撮影する後部カメラ２、車両２００の左側部に固定されて車両２００の左側方領域を撮影する左側部カメラ３、車両２００の右側部に固定されて車両の２００の右側方領域を撮影する右側部カメラ４である。
【００２１】
なお、各車載カメラ１〜４は、いずれも車両に取り付けられた状態を特定する外部パラメータのうち、実空間上での位置（路面からの高さ位置ｈ、路面に投影した時の２次元面内での位置）が既知であるものとする。
したがって、各車載カメラ１〜４の外部パラメータのうち、車載カメラ１〜４の向き（路面に対する光軸の交差角度）が未知である。
【００２２】
図４に示すように、前部カメラ１は路面を含む前方撮影領域のうち範囲ｍ１を撮影範囲とし、後部カメラ２は路面を含む後方撮影領域のうち範囲ｍ２を撮影範囲とし、左側部カメラ３は路面を含む左側方撮影領域のうち範囲ｍ３を撮影範囲とし、右側部カメラ４は路面を含む右側方撮影領域のうち範囲ｍ４を撮影範囲としている。
なお、撮影範囲ｍ１と撮影範囲ｍ３とは、互いに重複する共通撮影範囲ｍ１３を有し、撮影範囲ｍ１と撮影範囲ｍ４とは、互いに重複する共通撮影範囲ｍ１４を有し、撮影範囲ｍ２と撮影範囲ｍ３とは、互いに重複する共通撮影範囲ｍ２３を有し、撮影範囲ｍ２と撮影範囲ｍ４とは、互いに重複する共通撮影範囲ｍ２４を有している。
【００２３】
そして、図５に示すように、本実施形態のキャリブレーション装置１００は、前方の撮影範囲ｍ１に校正用指標シート１０が配置され、左前方の共通撮影範囲ｍ１３に２つの距離用指標１５，１５が配置され、右前方の共通撮影範囲ｍ１４にも２つの距離用指標１５，１５が配置される。
また、このキャリブレーション装置１００は、図示は略したが前方と同様に、後方の撮影範囲ｍ２に校正用指標シート１０が配置され、左後方の共通撮影範囲ｍ２３に２つの距離用指標１５，１５が配置され、右後方の共通撮影範囲ｍ２４に２つの距離用指標１５，１５が配置される。
【００２４】
撮影範囲ｍ１，ｍ２にそれぞれ配置される校正用指標シート１０は、そこに記されている９つの白丸の校正用指標１１，…の配列向きを車両２００の向きに一致させる必要はない。
また、校正用指標シート１０は、そこに記されている９つの白丸の校正用指標１１，…の位置を車両２００の位置に対して特定の位置に一致させる必要もない。
つまり、校正用指標シート１０は、撮影範囲ｍ１や撮影範囲ｍ２の路面上に配置されさえすればよく、車両２００に対して位置も向きも制約されることなく任意の位置および向きで配置される。
【００２５】
したがって、車両２００または校正用指標シート１０を、他方との相対的な位置関係を厳密に特定して配置する必要がないため、車両２００または校正用指標シート１０の配置の作業に労力を費やす必要がない。
図５に示した例では、撮影領域ｍ１の路面上に配置された校正用指標シート１０は、車両２００の前後方向に延びた向きに対して、わずかに時計回り方向に傾いた状態で配置されている。
車両２００の後方の撮影範囲ｍ２の路面上に配置される校正用指標シート１０についても同様であり、その傾きの程度も傾きの方向も、撮影領域ｍ１に配置される校正用指標シート１０と同じである必要はない。
【００２６】
データ処理装置９１は、データ記憶部２０と、外部パラメータ算出部３０と、第１の変換部４１と、距離算出部５０と、第２の変換部４５と、校正部６０と、合成部７０と、変換パラメータ算出部８０とを備えている。
データ記憶部２０は、前部カメラ１、後部カメラ２、左側部カメラ３および右側部カメラ４の各内部パラメータ（焦点距離ｆ、撮像素子の１画素の大きさｄ０等）と、校正用指標シートに描かれている９つの校正用指標１１の実空間における既知の相対的な位置関係（縦３列×横３行の配列で、縦横の各間隔が等ピッチｐ）と、距離用指標１５の実空間における大きさ（直径ｄ１）等とが予め記憶されているとともに、算出された値等を記憶する。
【００２７】
外部パラメータ算出部３０は、前部の撮影画像Ｐ１（前部カメラ１により撮影範囲ｍ１を撮影して得られた画像）における校正用指標１１，１１，…の相対的な位置関係と、校正用指標１１，１１，…の実空間における既知の相対的な位置関係とに基づいて、前部カメラ１の外部パラメータ（前部カメラ１の実空間における位置、水平面（路面）に対する向き（路面に対する光軸の交差角度）等）を求める。
また、外部パラメータ算出部３０は、後部カメラ２の外部パラメータ（後部カメラ２の実空間における位置、水平面（路面）に対する向き（路面に対する光軸の交差角度）等）についても同様に、後部の撮影画像Ｐ２（後部カメラ２により撮影範囲ｍ２を撮影して得られた画像）における校正用指標１１，１１，…の相対的な位置関係と、校正用指標１１，１１，…の実空間における既知の相対的な位置関係とに基づいて求める。
なお、実空間における校正用指標１１と車両２００との相対的な位置関係が特定されていないため、前部カメラ１および後部カメラ２の外部パラメータの一部は不定となる。
【００２８】
第１の変換部４１は、前部カメラ１の外部パラメータに基づいた透視投影変換により、前部の撮影画像Ｐ１を、車両２００の上方の仮想視点から見た視点変換画像Ｓ２に変換処理する。
このとき、前部カメラ１の外部パラメータの一部は不定であるため、得られる視点変換画像Ｓ１は、後述の全周囲視点変換画像Ｓにおける車両Ｓとの位置関係は特定されない。
また、第１の変換部４１は同様に、後部カメラ２の外部パラメータに基づいた透視投影変換により、後部の撮影画像Ｐ２を、車両２００の上方の仮想視点から見た視点変換画像Ｓ２に変換処理する。
この後部の視点変換画像Ｓ２についても同様に、全周囲視点変換画像Ｓにおける車両Ｓとの位置関係は特定されない。
【００２９】
第２の変換部４５は、左側部カメラ３により撮影して得られた撮影画像Ｐ３および右側部カメラ４により撮影して得られた撮影画像Ｐ４をそれぞれ、平面射影変換により車両２００の上方の仮想視点から見た視点変換画像Ｓ３、Ｓ４に変換処理する。
第２の変換部４５による平面射影変換については、後に詳述する。
【００３０】
距離算出部５０は、各車載カメラ１，２，３，４でそれぞれ撮影範囲ｍ１，ｍ２，ｍ３，ｍ４を撮影して得られた撮影画像Ｐ１，Ｐ２，Ｐ３，Ｐ４中における、距離用指標１５の大きさ（長径）ｄに基づいて、視点変換画像Ｓ１，Ｓ２，Ｓ３，Ｓ４における各車載カメラ１〜４から距離用指標１５までの平面上での距離を求める。
【００３１】
合成部７０は、前部の視点変換画像Ｓ１、後部の視点変換画像Ｓ２、左側部の視点変換画像Ｓ３および右側部の視点変換画像Ｓ４を、車両２００の向きに揃えて、車両２００を中心として車両２００の周囲にそれぞれ配置して得られる全周視点変換画像Ｓを合成する。
【００３２】
校正部６０は、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２を、距離算出部５０で得られた距離用指標１５までの距離Ｌに基づいて、前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２の位置、傾きを校正する。
【００３３】
変換パラメータ算出部８０は、各撮影画像Ｐ１〜Ｐ４を単一の視点変換画像Ｓに変換するための変換パラメータを算出し、得られた変換パラメータを画像変換テーブルとして記憶する変換テーブル記憶部９５に出力する。
【００３４】
（作用）
次に、本実施形態のキャリブレーション装置１００の作用について、図６のフローチャートも参照しながら説明する。
【００３５】
まず、図５に示すように、車両２００の前部カメラ１の撮影範囲ｍ１と後部カメラ２の撮影範囲ｍ２とにそれぞれ校正用指標シート１０が配置される（Ｓ１）。
このとき、校正用指標シート１０と車両２００のとの位置関係や向きは、前述したように任意である。
【００３６】
なお、車両２００が予め配置されていて、その後に校正用指標シート１０を配置する順序とは反対に、予め校正用指標シート１０が配置されていて、その後に、各校正用指標シート１０が、車両２００の前部カメラ１の撮影範囲ｍ１、後部カメラ２の撮影範囲ｍ２に含まれるように、車両２００を配置するようにしてもよい。
【００３７】
次いで、図５に示すように、共通撮影範囲ｍ１３，ｍ１４，ｍ２３，ｍ２４にそれぞれ２つずつの距離用指標１５が配置される（Ｓ２）。
なお、校正用指標シート１０の配置と距離用指標１５の配置とは、順序が反対であってもよい。
【００３８】
次いで、各車載カメラ１〜４が対応する撮影範囲ｍ１〜ｍ４を撮影し、撮影画像Ｐ１〜Ｐ４が得られる。
前部カメラ１によって撮影範囲ｍ１を撮影して得られた撮影画像Ｐ１は、例えば図７に示すように、９個の校正用指標１１が記された校正用指標シート１０と４つの距離用指標１５とが写ったものとなる。
後部カメラ２によって撮影範囲ｍ２を撮影して得られた撮影画像Ｐ２も同様である。
【００３９】
左側部カメラ３によって撮影範囲ｍ３を撮影して得られた撮影画像Ｐ３は、例えば図８に示すように、４つの距離用指標１５が写ったものとなる。
右側部カメラ４によって撮影範囲ｍ４を撮影して得られた撮影画像Ｐ４も同様である。
【００４０】
各車載カメラ１〜４によって撮影された撮影画像Ｐ１〜Ｐ４はキャリブレーション装置１００のデータ処理装置９１に入力される。
そして、データ処理装置９１の外部パラメータ算出部３０が、入力された前部の撮影画像Ｐ１に写っている９つの校正用指標１１の相対的な位置関係とデータ記憶部２０に記憶されている内部パラメータおよび９つの校正用指標１１の相対的な位置関係とに基づいて、前部カメラ１の外部パラメータを算出する（Ｓ４）。
ここで、前述したように、前部カメラ１の外部パラメータの一部は特定されない。
【００４１】
外部パラメータ算出部３０は同様に、入力された後部の撮影画像Ｐ２に写っている９つの校正用指標１１の相対的な位置関係とデータ記憶部２０に記憶されている内部パラメータおよび９つの校正用指標１１の相対的な位置関係とに基づいて、後部カメラ２の外部パラメータを算出する（Ｓ４）。
後部カメラ２の外部パラメータの一部も同様に特定されない。
【００４２】
次いで、第１の変換部４１が、外部パラメータ算出部３０で算出された前部カメラ１の外部パラメータに基づいて、前部の撮影画像Ｐ１を図９に示すような視点変換画像Ｓ１に視点変換処理する（Ｓ５）。
ここで、視点変換画像Ｓ１に表されている校正用指標１１は、相対的な位置関係（等ピッチで縦３列×横３行）が実空間における既知の位置関係に対応するように変換されたものとなるが、車両２００と校正指標１１との位置関係が特定されていないため、視点変換画像Ｓ１は、校正用指標１１の横の並びが図示の水平方向に並び、縦の並びが図示の鉛直方向に並ぶ画像として仮に特定される。
【００４３】
すなわち、全周囲視点変換画像Ｓにおける車両２００に対して、前部の視点変換画像Ｓ１が、図１０（ａ）に示すような位置、傾きで配置されるのか、同図（ｂ）に示すような位置、傾きで配置されるのか、または同図（ｃ）に示すような位置、傾きで配置されるのかは特定されず、平行移動や回転による校正が必要な画像となっている。
【００４４】
また、第１の変換部４１は同様に、外部パラメータ算出部３０で算出された後部カメラ２の外部パラメータに基づいて、後部の撮影画像Ｐ２を視点変換画像Ｓ２に視点変換処理する（Ｓ５）。
後部の視点変換画像Ｓ２についても、前部の視点変換画像Ｓ１と同様に、校正が必要な画像となっている。
【００４５】
本実施形態のキャリブレーション装置１００は、距離用指標１５を使って、全周囲視点変換画像Ｓにおける車両２００に対して前部の視点変換画像Ｓ１を平行移動および回転し、並びに全周囲視点変換画像Ｓにおける車両２００に対して後部の視点変換画像Ｓ２を平行移動および回転する校正を行う。
【００４６】
具体的には、例えば図１１に示すように、前部カメラ１で撮影された撮影画像Ｐ１には、実空間で直径ｄ１の距離用指標１５が写っているが、撮影画像Ｐ１中における距離用指標１５の像の大きさ（長径）がｄであるとすると、距離算出部５０は、下記式（１）〜（３）にしたがって、実空間における距離用指標１５と前部カメラ１との位置関係を求める。
Ｌ２  ＝Ｌ０２  −ｈ２          （１）
Ｌ０＝ｆ×ｄ１／ｄ      （２）
ｄ＝ｄ０×ｎ            （３）
ただし、Ｌ０は前部カメラ１から距離用指標１５までの実空間上での距離（未知）、ｈは前部カメラ１の路面からの高さ位置（外部パラメータとして既知）、ｆは前部カメラ１の焦点距離（内部パラメータとして既知）、ｄ１は実空間における距離用指標１５の長径（直径：既知）、ｄ０は前部カメラ１の撮像素子の１画素（画素ピッチ）の大きさ（既知）、ｎは前部カメラ１の撮影画像Ｐ１における距離用指標１５の像の長径が占める画素数（既知）をそれぞれ示す。
【００４７】
つまり、距離算出部５０は、実空間における前部カメラ１から距離用指標１５までの距離Ｌ０と前部カメラ１の焦点距離ｆとの比が、実空間における距離用指標１５の大きさ（長径）ｄ１と撮影画像Ｐ１における距離用指標１５の像の大きさとの比に等しいことを利用して、実空間における前部カメラ１から距離用指標１５までの距離Ｌ０を算出する。
そして、算出された距離Ｌ０と、前部カメラ１の路面からの高さ位置ｈ（既知の外部パラメータ）とによって、路面上に投影したときの前部カメラ１と距離用指標１５との間の距離Ｌが算出される。
撮影画像Ｐ１には、４つの距離用指標１５が写っているが、距離算出部５０は、全ての距離用指標１５と前部カメラ１との間の距離をそれぞれ算出する。
【００４８】
このようにして、路面上に投影したときの前部カメラ１と４つの距離用指標１５との距離Ｌ（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄとする）が算出されると、校正部６０が、この距離Ｌに基づいて、図１２に示すように、合成部７０によって前部の視点変換画像Ｓ１を全周囲視点変換画像Ｓの一部として合成する際の、全周囲視点変換画像Ｓにおける前部カメラ１（車両２００）からの各距離用指標１５の距離の位置に、前部視点変換画像Ｓ１における各距離用指標１５を一致させるように、前部の視点変換画像Ｓ１の位置、傾きを校正する（Ｓ７）。
そして、校正部６０によって校正された前部の視点変換画像Ｓ１が、合成部７０により、全周囲視点変換画像Ｓの一部とされる（Ｓ８）。
【００４９】
距離算出部５０は同様にして、他の車載カメラ２，３，４と距離用指標１５との距離も求め（Ｓ６）、校正部６０は、同様に、全周囲視点変換画像Ｓにおける後部カメラ２（車両２００）に対する後部の視点変換画像Ｓ２の位置、傾きを校正し（Ｓ７）、合成部７０が、校正された後の後部の視点変換画像Ｓ２を全周囲視点変換画像Ｓの一部として合成する（Ｓ８）。
【００５０】
なお、図１２に示した全周囲視点変換画像Ｓにおいては、実空間の路面上に投影した像との間に当然に存在する縮尺を無視した表示となっているが、全周囲視点変換画像Ｓを表示する表示装置の表示面の大きさに応じて、全周囲視点変換画像Ｓは縮小されて表示される。後述の図１４についても同様である。
【００５１】
なお、上述した説明は、全周囲視点変換画像Ｓにおける前部カメラ１、後部カメラ２から各距離用指標１５までの距離Ｌ（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）の位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させることで、視点変換画像Ｓ１，Ｓ２の位置、傾きの校正を行うものであったが、視点変換画像Ｓ１，Ｓ２の位置、傾きの校正を行う手法としては、全周囲視点変換画像Ｓにおける各距離用指標１５の位置を予め特定したうえで、その各位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させるようにしてもよい。
【００５２】
この場合、図１３に示すように、距離算出部５０によって算出された、全周囲視点変換画像Ｓにおける前部カメラ１から特定の距離用指標１５までの距離Ｌａの円弧Ｃ１と、全周囲視点変換画像Ｓにおける右側部カメラ４から同じ距離用指標１５までの距離Ｌａ′の円弧Ｃ１′との交点Ｋ１が、全周囲視点変換画像Ｓにおける、その距離用指標１５の位置座標（ｘｍ，ｙｍ）であるため、この距離用指標１５の位置座標（ｘｍ，ｙｍ）を下記連立方程式（４）、（５）によって特定することができる。
（ｘｍ−ｘｆ）２  ＋（ｙｍ−ｙｆ）２  ＝Ｌａ２      （４）
（ｘｍ−ｘｒ）２  ＋（ｙｍ−ｙｒ）２  ＝Ｌａ′２      （５）
ただし、（ｘｆ，ｙｆ）は全周囲視点変換画像Ｓにおける前部カメラ１の位置座標、（ｘｒ，ｙｒ）は全周囲視点変換画像Ｓにおける右側部カメラ１の位置座標を表す。
【００５３】
同様に、隣り合う２つの車載カメラ（１，３）、（２，３）、（２，４）からそれぞれ、対応する距離用指標１５までの距離Ｌの円弧の交点を求めて、全周囲視点変換画像Ｓにおける各距離用指標１５の位置座標を求めることができる。
そして、全周囲視点変換画像Ｓにおいて特定された各距離用指標１５の位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させることで、視点変換画像Ｓ１，Ｓ２を校正することができる。
【００５４】
次に、第２変換部４５は、左側部の撮影画像Ｐ３に写った４つの距離用指標１５と、図１４に示した、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１の２つの距離用指標１５および全周視点変換画像Ｓにおける後部の視点変換画像Ｓ２の２つの距離用指標１５とが対応するように、平面射影変換によって左側部の視点変換画像Ｓ３を求める（Ｓ９）。
第２変換部４５は同様に、右側部の撮影画像Ｐ４に写った４つの距離用指標１５と、図１４に示した、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１の２つの距離用指標１５および全周視点変換画像Ｓにおける後部の視点変換画像Ｓ２の２つの距離用指標１５とが対応するように、平面射影変換によって右側部の視点変換画像Ｓ４を求める（Ｓ９）。
【００５５】
このようにして得られた左側部の視点変換画像Ｓ３および右側部の視点変換画像Ｓ４が、合成部７０によって、全周囲視点変換画像Ｓの一部として合成され（Ｓ１０）、これにより、全周囲視点変換画像Ｓの全体が完成する。
【００５６】
以上のようにして全周囲視点変換画像Ｓが得られると、変換パラメータ算出部８０が、各撮影画像Ｐ１〜Ｐ４から全周囲視点変換画像Ｓに変換するための変換パラメータを求め、求められた変換パラメータを変換テーブル記憶部９５に出力する（Ｓ１１）。
【００５７】
そして、変換テーブル記憶部９５は、データ処理装置９１から入力された変換パラメータを画像変換テーブルとして記憶し、その後の各車載カメラ１〜４から入力される撮影画像Ｐ１〜Ｐ４を図示しない画像処理装置によって全周囲視点変換画像Ｓに変換する際に、その記憶された画像変換テーブルが用いられる。
【００５８】
以上、詳細に説明したように、本実施形態のカメラ画像のキャリブレーション装置１００によれば、全周囲視点変換画像Ｓのうち、車両２００の前方と後方にそれぞれ対応した前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２については、画像の全体に亘って位置精度が高い透視投影変換によって得られた画像であるため、全周囲視点変換画像Ｓを見ての車両前後方向に関する距離感を信頼性の高いものとすることができる。
【００５９】
また、複数の校正用指標１１の相対的な位置関係に基づいて、前部カメラ１と後部カメラ２の各外部パラメータを算出することができるため、校正用指標１１と車両２００との配置の位置関係を厳密に設定する必要がなく、したがって、校正作業に多大な労力を要することがない。
【００６０】
しかも、複数の校正用指標１１は単一の校正用指標シート１０に描かれているため、複数の校正用指標１１の相対的な位置関係は、この校正用指標シート１０に校正用指標１１を描く際に規定されるため、校正作業の際は、この校正用指標シート１０を使用するだけでよく、校正作業の際に、複数の校正用指標１１の相対的な位置関係を計測等する必要がない。
よって、この校正用指標シート１０を使用することで、校正作業の労力を一層軽減することができる。
【００６１】
また、本実施形態のカメラ画像のキャリブレーション装置１００によれば、距離用指標１５として、輪郭が円形状のものであることにより、いずれの方向から見た場合にも、長径を有する楕円形状となり、撮影画像Ｐにおける距離用指標１５の像の楕円形状の長径ｄは車載カメラ１〜４からの距離Ｌに常に反比例したものとなるため、見る向きによって形状が変わる他の形状のものよりも、配置の制約がなく、汎用性を高めることができる。
そして、この距離用指標１５の像の長径ｄを用いた上記式（１）〜（３）により、実空間における距離用指標１５と各車載カメラ１〜４との間の距離Ｌを簡単に算出することができる。
距離用指標１５と各車載カメラ１〜４との間の距離Ｌが求められることで、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２の、車両２００に対する位置関係を簡単に校正することができる。
【００６２】
なお、本実施形態のキャリブレーション装置１００は、校正用指標として白丸の校正用指標１１を適用したものであるが、本発明に係るキャリブレーション装置は、この形態の校正指標に限定されるものではない。
例えば、頂点や交差点を複数有する格子状の模様等であってもよい。
【００６３】
本実施形態のカメラ画像のキャリブレーション装置１００の作用は、本発明に係るカメラ画像のキャリブレーション方法の一実施形態でもある。
【符号の説明】
【００６４】
１，２，３，４  車載カメラ（前部カメラ、後部カメラ、左側部カメラ、右側部カメラ）
１０      校正用指標シート
１１      校正用指標
１５      距離用指標
３０      外部パラメータ算出部
４１      第１の変換部
４５      第２の変換部
５０      距離算出部
６０      校正部
７０      合成部
８０      変換パラメータ算出部
９５      変換テーブル記憶部
１００    カメラ画像のキャリブレーション装置
ｍ１，ｍ２，ｍ３，ｍ４  撮影範囲
Ｐ１，Ｐ２，Ｐ３，Ｐ４  撮影画像
Ｓ１，Ｓ２，Ｓ３，Ｓ４  視点変換画像
Ｓ        全周囲視点変換画像
【図１】
2014183540.tif 000003
【図２】
2014183540.tif 000004
【図３】
2014183540.tif 000005
【図４】
2014183540.tif 000006
【図５】
2014183540.tif 000007
【図６】
2014183540.tif 000008
【図７】
2014183540.tif 000009
【図８】
2014183540.tif 000010
【図９】
2014183540.tif 000011
【図１０】
2014183540.tif 000012
【図１１】
2014183540.tif 000013
【図１２】
2014183540.tif 000014
【図１３】
2014183540.tif 000015
【図１４】
2014183540.tif 000016