(57)【要約】【課題】背景の光環境や照明環境が悪いと、カメラのキャリブレーションを行うために撮影する基準マーカが、高いコントラストで画像化されず、これによってカメラのキャリブレーションが正確に行えない。【解決手段】撮影手段２０で撮影された画像に写っている基準マーカ１０を含む領域が領域特定手段３０によって特定され、コントラスト算出手段４０によって、特定された領域の中のコントラストに対応する値が算出され、算出されたコントラストに対応する値が所定値よりも小さいとき、露出変更手段６０によって撮影手段２０の露出を変更して撮影を行い、特定された領域の中のコントラストに対応する値が、所定値よりも大きい画像を撮影して、撮影された画像を用いて、キャリブレーション実行手段７０にてカメラのキャリブレーションを行う。【選択図】図１
2011228857.tif 000002
【特許請求の範囲】
【請求項１】
３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、
前記基準マーカを含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を特定する領域特定手段と、
前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、
前記コントラスト算出手段によって算出された前記コントラストに対応する値が所定の値より大きいか否かを判断するコントラスト判断手段と、
前記コントラストに対応する値が所定の値より大きくなるように、前記撮影手段の露出を変更する第１露出変更手段と、
前記第１露出変更手段によって前記撮影手段の露出を変更した後、前記撮影手段に画像の撮影を行わせる第１撮影指示手段と、前記撮影された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする車載カメラ用キャリブレーション装置。
【請求項２】
３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、
前記基準マーカを含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を特定する領域特定手段と、
前記撮影手段の露出を複数段階にわたって、所定回数変更する第２露出変更手段と、
前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、
前記第２露出変更手段によって、前記撮影手段の露出が所定回数変更される度に、前記撮影手段に画像の撮影を行わせる第２撮影指示手段と、
前記第２撮影指示手段の指示によって撮影された複数の画像の中から、前記コントラストに対応する値が所定の値より大きく、かつ前記コントラストに対応する値が最大である画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする車載カメラ用キャリブレーション装置。
【請求項３】
３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、
前記基準マーカを含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を指定する領域指定手段と、
前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、
前記コントラスト算出手段によって算出されたコントラストに対応する値が、所定の値より大きいことを判断するコントラスト判断手段と、
前記コントラスト判断手段によって、前記コントラストに対応する値が、前記所定の値よりも小さいと判断されたとき、前記コントラストに対応する値を、前記所定の値より大きくなるように補正するコントラスト補正手段とを有し、
前記コントラスト補正手段によって補正された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする車載カメラ用キャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間上の点の３次元位置と、その点がカメラで撮影されて画像化されたとき、画像上の２次元位置とを対応付けることによって、焦点距離などのカメラの内部パラメータと、カメラの設置位置や設置方向に関わる外部パラメータとを決定する車載カメラ用キャリブレーション装置に関し、詳細には、カメラのキャリブレーション操作を、短時間で確実に行うことができる車載カメラ用キャリブレーション装置に関する。
【背景技術】
【０００２】
近年、車両にカメラを設置し、運転者から死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になっている。
【０００３】
特に、最近では、車両に複数のカメラを設置し、真上から見下ろしたように座標変換して俯瞰画像を生成し、さらに、生成した俯瞰画像同士を合成して、車両の周囲３６０°を見渡した画像を表示するシステムも実用化されている。
【０００４】
このようなシステムを実現するには、車両に設置された複数のカメラで撮影した画像を１枚の画像に繋ぎ合わせて合成する必要がある。その際、一般に、カメラの焦点距離等の内部パラメータや、カメラの設置位置や設置方向に係わる外部パラメータの値は不明であるため、カメラ設置時に、カメラのキャリブレーション操作を行って、これらのパラメータの値を明確にして、座標変換のための変換テーブルを作成し、作成された座標変換テーブルに基づいて、座標変換や画像の合成が行われる。そのため、様々なカメラキャリブレーション手法が提案されている（特許文献１、特許文献２、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−７８９２５号公報
【特許文献２】特開２００３−２４４５２１号公報
【特許文献３】特開２００５−２５０６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１から３をはじめとして、様々なカメラキャリブレーション手法が開示されているが、これらの発明は、いずれも、カメラを通して画像化された、基準マーカが写った画像の中から、基準マーカの中の頂点等の特徴的な点（特徴点）の座標を複数個測定し、それらを、対応する３次元空間の座標値と対応付けることによって、カメラのキャリブレーションを行うものである。さらに、これらの発明では、キャリブレーションに用いる基準マーカが写った画像が、その中の特徴点の座標を測定しやすいように、良好なコントラストで撮影されていることを前提としたものである。
【０００７】
一般に、車載カメラの取り付けは工場の組み立てラインで行われる。工場の組み立てラインでは、カメラのキャリブレーションを行うための専用の環境を整備しておくことができるため、良好な光環境の下で、基準マーカを含む画像を高いコントラストで撮影できるため、特徴点の座標を確実に測定でき、キャリブレーションを確実に実行できる。
【０００８】
一方、カメラが装着された車両が事故等で破損し、カメラが損傷を受けたとき、カメラの交換は、一般に修理工場で行われる。こうした修理工場では、一般にカメラのキャリブレーションを行う専用の環境は用意されておらず、床面や地面に基準マーカを設置し、その基準マーカをカメラで撮影してキャリブレーションを行うことになる。  
【０００９】
その際、照明光や太陽光の影響で、基準マーカを高いコントラストで画像化できない場合も発生し得る。そのときは、基準マーカの貼り付け位置を移動したり、車両の設置場所を移動したりして、基準マーカが高いコントラストで画像化されるまで、試行錯誤を繰り返すことになる。
【００１０】
もしくは、基準マーカが不鮮明な画像を用いて、カメラのキャリブレーションを行ってしまうことにより、特徴点の座標値が正確に測定されず、これによって、複数の画像を１枚の画像に合成するシステムにおいて画像にずれを生じたり、あるいは、撮影した画像の歪みを十分に補正できなかったりする問題が生じる可能性がある。
【００１１】
さらに最近では、工場出荷後でも装着可能な車載カメラが開発されており、工場の組み立てライン以外で、カメラのキャリブレーションを実施する機会が増加しつつある。
【００１２】
従って、工場の組み立てライン以外においても、簡単かつ確実にカメラのキャリブレーションを実施できる手法の開発が望まれている。
【００１３】
本発明は上記事情に鑑みなされたもので、基準マーカが鮮明に画像化されないときでも、確実にカメラのキャリブレーションを実行することができる車載カメラ用キャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る車載カメラ用キャリブレーション装置は、３次元位置を特定できるように配置された基準マーカを含む領域を、前記領域のコントラストに対応する値が所定値よりも大きくなるように画像化して、このようにして画像化された画像を用いて、カメラのキャリブレーションを行うものである。
【００１５】
すなわち、本発明に係る第１の車載カメラ用キャリブレーション装置は、３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、前記基準マーカを含む画像を撮影する撮影手段と、前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を特定する領域特定手段と、前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、前記コントラスト算出手段によって算出された前記コントラストに対応する値が所定の値より大きいか否かを判断するコントラスト判断手段と、前記コントラストに対応する値が所定の値より大きくなるように、前記撮影手段の露出を変更する第１露出変更手段と、前記第１露出変更手段によって前記撮影手段の露出を変更した後、前記撮影手段に画像の撮影を行わせる第１撮影指示手段と、前記撮影された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする。
【００１６】
このように構成された本発明に係る第１の車載カメラ用キャリブレーション装置によれば、撮影手段により撮影された画像に対し、領域特定手段が、基準マーカを含む領域を特定し、コントラスト算出手段が、特定された領域の中のコントラストに対応する値を算出し、コントラスト判断手段が、算出された値が所定値よりも大きいか否かを判断し、もし算出された値が所定値よりも小さいときは、第１露出制御手段によって撮影手段の露出を変更した後、第１撮影指示手段からの指示に従って、再度撮影手段によって撮影を行い、撮影された画像に対して、コントラスト算出手段が、特定された領域の中のコントラストに対応する値を算出し、コントラスト判断手段が、算出された値が所定値よりも大きいと判断したとき、撮影された画像を用いて、キャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【００１７】
また、本発明に係る第２の車載カメラ用キャリブレーション装置は、３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、前記基準マーカを含む画像を撮影する撮影手段と、前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を特定する領域特定手段と、前記撮影手段の露出を複数段階にわたって、所定回数変更する第２露出変更手段と、前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、前記第２露出変更手段によって、前記撮影手段の露出が所定回数変更される度に、前記撮影手段に画像の撮影を行わせる第２撮影指示手段と、前記撮影指示手段の指示によって撮影された複数の画像の中から、前記コントラストに対応する値が所定の値より大きく、かつ前記コントラストに対応する値が最大である画像を選択する画像選択手段と、前記画像選択手段によって選択された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする。
【００１８】
このように構成された本発明に係る第２の車載カメラ用キャリブレーション装置によれば、第２露出制御手段によって撮影手段の露出が所定回数変更される度に、第２撮影指示手段からの指示に従って、撮影手段によって撮影された複数の画像に対して、コントラスト算出手段によって領域特定手段で特定された基準マーカを含む領域のコントラストに対応する値が算出され、画像選択手段によって、算出されたコントラストに対応する値が所定値よりも大きく、かつ前記コントラストに対応する値が最大である画像が選択され、選択された画像を用いてキャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【００１９】
また、本発明に係る第３の車載カメラ用キャリブレーション装置は、３次元位置を特定できるように配置された特定の明暗模様を有する基準マーカと、前記基準マーカを含む画像を撮影する撮影手段と、前記撮影手段によって撮影された画像の中から、前記基準マーカが写っている領域を特定する領域特定手段と、前記撮影手段によって撮影された画像の中から、前記領域特定手段によって特定された領域の中のコントラストに対応する値を算出するコントラスト算出手段と、前記コントラスト算出手段によって算出されたコントラストに対応する値が、所定の値より大きいことを判断するコントラスト判断手段と、前記コントラスト判断手段によって、前記コントラストに対応する値が、前記所定の値よりも小さいと判断されたとき、前記コントラストに対応する値を、前記所定の値より大きくなるように補正するコントラスト補正手段とを有し、前記コントラスト補正手段によって補正された画像を用いて、前記撮影手段のキャリブレーションを行うキャリブレーション実行手段とを有することを特徴とする。
【００２０】
このように構成された本発明に係る第３の車載カメラ用キャリブレーション装置によれば、撮影手段によって撮影された画像から、コントラスト算出手段によって、領域特定手段で特定された基準マーカを含む領域のコントラストに対応する値が算出され、コントラスト判断手段によって、算出されたコントラストに対応する値が所定値よりも小さいと判断されたとき、コントラスト補正手段によって前記コントラストに対応する値が所定値よりも大きくなるように補正され、こうして補正された画像を用いて、キャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【発明の効果】
【００２１】
本発明に係る車載カメラ用キャリブレーション装置によれば、撮影手段によって撮影された基準マーカが、その基準マーカを含む領域のコントラストに対応する値が所定値よりも大きくなるように画像化され、このようにして画像化された画像を用いてカメラのキャリブレーションを行うため、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、キャリブレーションを行う光環境によらず、確実にカメラのキャリブレーションを行うことができるという効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係る車載カメラ用キャリブレーション装置を適用した車両用周囲監視装置の概略構成を示すブロック図である。
【図２】本発明の第１実施形態に係る基準マーカ、撮影手段が車両に設置された状態を示す上面図である。
【図３】本発明の第１実施形態に係る基準マーカの設置位置について説明する図である。
【図４】本発明の第１実施形態にて、キャリブレーション操作を行う際に観測される画像の例を示す図である。
【図５】本発明の第１実施形態に係るカメラのキャリブレーション操作のフローチャート（１）である。
【図６】本発明の第１実施形態に係るカメラのキャリブレーション操作のフローチャート（２）である。
【図７】本発明の第１実施形態にて、キャリブレーション操作を行う際に利用するカーソルを示す図である。
【図８】本発明の第１実施形態に係る画像変換、画像合成処理のフローチャートである。
【図９】本発明の第１実施形態に係る表示画像の例を示す図である。
【図１０】本発明の第２実施形態に係る車載カメラ用キャリブレーション装置を適用した車両用周囲監視装置６の概略構成を示すブロック図である。
【図１１】本発明の第２実施形態に係るカメラのキャリブレーション操作のフローチャートである。
【図１２】本発明の第３実施形態に係る車載カメラ用キャリブレーション装置を適用した車両用周囲監視装置の概略構成を示すブロック図である。
【図１３】本発明の第３実施形態に係るカメラのキャリブレーション操作のフローチャートである。
【図１４】本発明の第３実施形態に係る画像のコントラスト補正処理を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る車載カメラ用キャリブレーション装置の実施形態について、図面を参照して説明する。
【実施例１】
【００２４】
本実施例は、本発明である第１の車載カメラ用キャリブレーション装置（以下、車載カメラ用キャリブレーション装置２）を、車両に設置した複数のカメラで撮影した車両周囲の画像を運転者に見やすい形態で表示する車両用周囲監視装置５に、適用したものである。
【００２５】
図１は、本発明の実施形態に係る車両用周囲監視装置５の概略構成を示すブロック図である。本発明に係る車両用周囲監視装置５は、路面に設置された白黒の明暗パターンを有する基準マーカ１０と、車両１５０（図２参照）に設置され、車両１５０周囲の互いに異なる方向の画像を撮影する複数のカメラで構成された撮影手段２０と、撮影手段２０で撮影した画像の中から、基準マーカ１０を含む領域の位置を特定する領域特定手段３０と、領域特定手段３０で特定した基準マーカ１０を含む領域のコントラストに対応する値Ｃを算出するコントラスト算出手段４０と、コントラスト算出手段４０で算出した値Ｃが所定値よりも大きいか否かを判断するコントラスト判断手段５０と、値Ｃが所定値よりも小さいとき、値Ｃが所定値よりも大きくなるように、撮影手段２０を構成するカメラの露出を変更する第１露出変更手段６０と、第１露出変更手段６０によって露出が変更された後、撮影手段２０に対して撮影指示を出す第１撮影指示手段３５と、カメラのキャリブレーションを実行するキャリブレーション実行手段７０と、キャリブレーションの結果に基づいて、座標変換テーブルを作成する座標変換テーブル作成手段８０と、撮影手段２０で撮影した画像を座標変換して俯瞰画像に変換する座標変換手段９０と、座標変換された画像を、車両１５０内に表示する画像表示手段１００と、車両用周囲監視装置５の起動や終了、およびカメラのキャリブレーション操作の内容を指示する操作スイッチ１１０と、車両１５０のシフトポジションが後退位置にあることを検出するシフトポジション検出手段１２０とからなる。
【００２６】
撮影手段２０は、詳しくは、４台のカメラ（第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８）、および、各カメラ（２２、２４、２６、２８）にそれぞれ接続され、撮影された画像をそれぞれ標本化および量子化して、ディジタル画像に変換する４台のデコーダ（第１カメラ２２に接続された第１デコーダ２３、第２カメラ２４に接続された第２デコーダ２５、第３カメラ２６に接続された第３デコーダ２７、第４カメラ２８に接続された第４デコーダ２９）とからなる。
【００２７】
なお、図２に示すように、車両１５０のフロントバンパには第１カメラ２２が、左ドアミラーには第２カメラ２４が、リアバンパには第３カメラ２６が、右ドアミラーには第４カメラ２８が、それぞれ配置されている。
【００２８】
さらに、隣り合うカメラは、図２に示す通り、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲とが第１重複領域Ｅ１をなすように、第２カメラ２４の撮影範囲と第３カメラ２６の撮影範囲とが第２重複領域Ｅ２をなすように、第３カメラ２６の撮影範囲と第４カメラ２８の撮影範囲とが第３重複領域Ｅ３をなすように、第４カメラ２８の撮影範囲と第１カメラ２２の撮影範囲とが第４重複領域Ｅ４をなすように、それぞれ設置されている。また、各カメラ（２２、２４、２６、２８）の設置位置の３次元座標は、予め判っているものとする。
【００２９】
ここで、基準マーカ１０は、詳しくは、図２に示すように、白黒の市松模様が描かれ、全てが同じ大きさ、同じ形状を有する４つの基準マーカ（第１基準マーカ１２、第２基準マーカ１４、第３基準マーカ１６、第４基準マーカ１８）からなる。
【００３０】
また、キャリブレーション実行手段７０は、詳しくは、操作者が、撮影された画像に写っている基準マーカ１０の頂点の位置を指示する対応点指示部７２と、指示された基準マーカ１０の頂点の位置座標と、基準マーカ１０の頂点の３次元座標との対応関係に基づいて、カメラの内部パラメータと外部パラメータを算出するカメラパラメータ算出部７４とからなる。
【００３１】
さらに、操作スイッチ１１０は、詳しくは、車両用周囲監視装置５の起動を指示する起動スイッチ１１２と、車両用周囲監視装置５の終了を指示する終了スイッチ１１４と、カメラのキャリブレーションを行う際、撮影した画像を観測するための画像モニタスイッチ１１５と、観測する画像を撮影するカメラを選択するカメラ選択スイッチ１１６と、画像に写った頂点と基準マーカとの対応付け操作の開始を指示する対応点指示開始スイッチ１１７と、対応点を指示する際に用いるカーソルＫを、画像上で移動させるカーソル移動スイッチ１１８とからなる。
【００３２】
このうち、基準マーカ１０と、撮影手段２０と、領域特定手段３０と、第１撮影指示手段３５と、コントラスト算出手段４０と、コントラスト判断手段５０と、第１露出変更手段６０と、キャリブレーション実行手段７０と、操作スイッチ１１０の一部（画像モニタスイッチ１１５、カメラ選択スイッチ１１６、対応点指示開始スイッチ１１７、カーソル移動スイッチ１１８）が、本発明の車載カメラ用キャリブレーション装置２を構成する。
【００３３】
車両用周囲監視装置５は、車両１５０に設置された各カメラ（２２、２４、２６、２８）のキャリブレーションを行った後、その結果を利用して、各カメラ（２２、２４、２６、２８）で撮影した画像を車両１５０の上空から俯瞰した画像に変換し、さらに俯瞰画像に変換された画像同士を１枚の画像に合成して運転者に提示するものである。
【００３４】
以下、カメラのキャリブレーションと、画像変換・合成の２つに分けて、本実施例の作用を説明する。
【００３５】
まず、本実施例に係る車両用周囲監視装置５におけるカメラ（２２、２４、２６、２８）のキャリブレーション操作の流れを、図５、図６のフローチャートに基づいて説明する。
【００３６】
まず、車両１５０が、キャリブレーションを行うための所定の場所に置かれる（図５のＳ２）。この所定の場所は、起伏や傾斜がない平面であることが望ましい。なお、このとき、車両１５０が置かれた場所には、図３に示す通り、車両の左フロント隅の路面上の点を原点（０、０、０）とし、そこから、路面上を車両左側面に沿って車両後方に向かう方向にＸｗ軸をとり、右手系をなすように、３次元直交座標系（Ｘｗ、Ｙｗ、Ｚｗ）が形成されるものとする。
【００３７】
キャリブレーションを行う操作者は、予め寸法が計測された（図５のＳ１）、市松模様からなる基準マーカ１０を、車両１５０の４隅に設置し（図５のＳ３）、次に、画像モニタスイッチ１１５を操作して、撮影手段２０で撮影した画像を画像表示手段１００で観測できる状態にし、さらに、カメラ選択スイッチ１１６を操作して、第１カメラ２２から第４カメラ２８のうち、画像を観測するカメラを選択する（図５のＳ４）。
【００３８】
操作者は、まず、第１カメラ２２で撮影した画像を観測し、画像の中に、第１基準マーカ１２と第２基準マーカ１４とが、両方とも写っていることを確認する（図５のＳ５）。このとき、いずれか一方の基準マーカ（１２または１４）、もしくは両方の基準マーカ（１２および１４）が写っていないとき、あるいは、基準マーカ（１２または１４）の一部が途切れているときは、基準マーカ（１２または１４）の設置位置を微調整して（図５のＳ６）、第１基準マーカ１２および第２基準マーカ１４が途切れなく写るようにする。
【００３９】
次に、第２カメラ２４、第３カメラ２６、第４カメラ２８で撮影した画像が順に観測され、上記手順と同様にして、２個の基準マーカが画像の中に途切れなく写っていることが確認される（図５のＳ７）。もし、基準マーカ１０が画像の中に写っていないとき、もしくは、途切れているときは、基準マーカ１０の設置位置の微調整が行われる。
【００４０】
基準マーカ１０の設置位置の微調整が終了した後、各基準マーカ１０の市松模様の頂点（９箇所）の３次元座標が、以下の手順によって測定される。
【００４１】
まず、各基準マーカ（１２、１４、１６、１８）のお互いの設置間隔と、各基準マーカ（１２、１４、１６、１８）の設置方向（角度）が測定される。
【００４２】
次に、車両１５０と各基準マーカ（１２、１４、１６、１８）の設置位置との相対関係が測定される。ここでは、３次元直交座標系（Ｘｗ、Ｙｗ、Ｚｗ）の原点を基準として、そこから、第１基準マーカ１２、第２基準マーカ１４、第３基準マーカ１６、第４基準マーカ１８の各設置位置までのＸｗ方向の距離とＹｗ方向の距離が、それぞれ測定される。以上の測定結果に基づいて、各基準マーカの各頂点の３次元座標が、図３に示すように算出され（図５のＳ８）、算出された３次元座標は、カメラパラメータ算出部７４に記憶される。
【００４３】
次に、操作者は、領域特定手段３０の作用によって、撮影された画像の中から、基準マーカ１０が写っている領域のおおよその位置を特定する。この特定は、操作者が、撮影された画像を画像表示手段１００で観測しながら、基準マーカ１０を含む矩形領域を指定することによって行われる。
【００４４】
ここで、第１カメラ２２で撮影された画像は、第１デコーダ２３にてコンポジット信号からコンポーネント信号に変換され、さらに、変換されたコンポーネント信号のうち輝度信号は、標本化（例えば横５１２画素×縦４８０画素）、および量子化（例えば８ビット）されて、ディジタル画像Ｉ１(ｘ、ｙ)（以下、単に画像Ｉ１(ｘ、ｙ)と記す。）に変換されるものとする。第２カメラ２４、第３カメラ２６、第４カメラ２８で撮影された画像についても、同様に、画像Ｉ２(ｘ、ｙ)、画像Ｉ３(ｘ、ｙ)、Ｉ４(ｘ、ｙ)に変換されるものとする。以下、画像Ｉ１(ｘ、ｙ)から画像Ｉ４(ｘ、ｙ)を総称するとき、画像Ｉｉ(ｘ、ｙ)と表すことにする。ここで、ｉ＝１、２、３、４である。
【００４５】
領域特定手段３０は、画像Ｉｉ(ｘ、ｙ)に重畳して、矩形領域を描画する機能を有しており、矩形領域の位置とサイズは、操作者の指示によって、任意に変更できるようになっている。
【００４６】
領域特定手段３０の作用によって、例えば図４に示すように、画像Ｉ１(ｘ、ｙ)の中から、第１基準マーカ１２と第２基準マーカ１４が写っている２つの矩形領域が、それぞれ特定される（図５のＳ９）。
【００４７】
ここで、第１カメラで撮影した画像Ｉ１(ｘ、ｙ)の中で、左側に写っている基準マーカ１２を含む矩形領域を領域番号Ｒ１１、右側に写っている基準マーカ１４を含む矩形領域を領域番号Ｒ１２で表すことにする。さらに、矩形領域Ｒ１１の左上の頂点の座標を（ｘ１１、ｙ１１）、右下の頂点の座標を（ｘ１２、ｙ１２）で表し、また、矩形領域Ｒ１２の左上の頂点の座標を（ｘ１３、ｙ１３）、右下の頂点の座標を（ｘ１４、ｙ１４）で表すことにする。
【００４８】
また、これを一般化して、第ｉカメラ（ｉ＝１、２、３、４）で撮影した画像Ｉｉ(ｘ、ｙ)の中で、左側に写っている基準マーカ１０を含む矩形領域を領域番号Ｒｉ１、右側に写っている基準マーカ１０を含む矩形領域を領域番号Ｒｉ２で表すことにする。さらに、矩形領域Ｒｉ１の左上の頂点の座標を（ｘｉ１、ｙｉ１）、右下の頂点の座標を（ｘｉ２、ｙｉ２）で表し、また、矩形領域Ｒｉ２の左上の頂点の座標を（ｘｉ３、ｙｉ３）、右下の頂点の座標を（ｘｉ４、ｙｉ４）で表すことにする。
【００４９】
領域特定手段３０の作用によって特定された、画像Ｉ１(ｘ、ｙ)の中の、矩形領域の領域番号Ｒ１１と左上の頂点の座標（ｘ１１、ｙ１１）と右下の頂点の座標（ｘ１２、ｙ１２）、および、矩形領域の領域番号Ｒ１２と左上の頂点の座標（ｘ１３、ｙ１３）と右下の頂点の座標（ｘ１４、ｙ１４）は、それぞれコントラスト算出手段４０に記憶される。
【００５０】
同様の手続きが、残りのカメラ（２４、２６、２８）で撮影された画像Ｉｉ(ｘ、ｙ)に対しても行われ（図５のＳ１０）、特定された矩形領域の領域番号Ｒｉｊと左上の頂点の座標（ｘｉ１、ｙｉ１）と右下の頂点の座標（ｘｉ４、ｙｉ４）が、それぞれコントラスト算出手段４０に記憶される。
【００５１】
次に、コントラスト算出手段４０によって、４台のカメラ（２２、２４、２６、２８）で撮影された各々の画像Ｉｉ(ｘ、ｙ)に対して、領域特定手段３０で特定された各矩形領域Ｒｉｊ（ｉ＝１、２、３、４。ｊ＝１、２。）の中の画像Ｉｉ(ｘ、ｙ)のコントラストに対応する値Ｃが算出される（図５のＳ１１）。値Ｃの数値化には、様々な方法が考えられるが、ここでは、矩形領域Ｒｉｊの中の濃淡値の総和ＳＵＭと、矩形領域Ｒｉｊの中の総画素数Ｎを求め、（式１）によって算出されるものとする。
【００５２】
【数１】
2011228857.tif 000003
（式１）において、総和をとる範囲は、基準マーカ１０が写っている矩形領域Ｒｉｊ内部であり、基準マーカ１０が鮮明に写っているときほど、値Ｃは大きい値をとる。これは、車両１５０が置かれた環境が薄暗いと、撮影される画像Ｉｉ(ｘ、ｙ)が全体的に暗くなってしまうし、特定の方向から強い日差しが当たっていると、撮影された画像Ｉｉ(ｘ、ｙ)の中で、日差しが当たっている部分が明るくなってしまい、いずれの場合も、撮影された画像Ｉｉ(ｘ、ｙ)の中の基準マーカ１０のコントラストが低下するためである。
【００５３】
次に、コントラスト判断手段５０において、コントラスト算出手段４０によって算出された値Ｃが、事前の実験等によって予め設定された所定値Ｃthよりも大きいか否かが判断される（図５のＳ１２）。
【００５４】
以下、画像Ｉ１(ｘ、ｙ)を例にあげて、コントラスト判断手段５０における判断処理の流れを説明する。
【００５５】
撮影された画像Ｉ１(ｘ、ｙ)の中の２つの矩形領域Ｒ１１とＲ１２に対して算出された値Ｃと、所定値Ｃthとの大小関係を比較すると、２つの矩形領域Ｒ１１とＲ１２に対して算出された値Ｃが、ともに所定値Ｃthよりも大きい場合（ケース１）と、２つの矩形領域Ｒ１１とＲ１２に対して算出された値Ｃが、ともに所定値Ｃthよりも小さい場合（ケース２）と、一方の矩形領域で、値Ｃが所定値Ｃthよりも大きく、もう一方の矩形領域で、値Ｃが所定値Ｃthよりも小さくなる場合（ケース３）がある。以下、各ケースに分けて、処理の流れを説明する。
【００５６】
ケース１の場合（図５のＳ１２がＹｅｓのとき）は、領域番号Ｒｉｊと撮影された画像Ｉ１(ｘ、ｙ)が対応点指示部７２に送られ、記憶される（図５のＳ１３）。
【００５７】
ケース２の場合（図５のＳ１７がＮｏのとき）は、コントラスト判断手段５０から、第１撮影指示手段３５と第１露出変更手段６０に対して、対応する第１カメラ２２の露出を変更する指示が出される（図５のＳ１４）。さらに、値Ｃが第１露出変更手段６０に送信される。
【００５８】
第１露出変更手段６０は、コントラスト判断手段５０の指示を受けると、現在の第１カメラ２２の露出設定値を取得する。次に、第１露出変更手段６０は、取得された露出設定値と、受信した値Ｃに基づいて、コントラストを高くするための露出の変更量を算出する。すなわち、露出不足と判断されたら絞りを開いて露光量を増やす判断がなされ、露出過多と判断されたら絞りを閉じて露光量を減らす判断がなされる。具体的には、算出された値Ｃと所定値Ｃthとの差の大きさに基づいて、露出補正量が決定される（図５のＳ１５）。
【００５９】
決定した露出補正量は、対応する第１カメラ２２に送られる。露出補正の指示を受けた第１カメラ２２は、指示された露出量への補正を行う。同時に、第１撮影指示手段３５から第１カメラ２２に対して撮影開始の指示が出され、補正された露出によって撮影が行われる（図５のＳ１６）。
【００６０】
露出を補正して撮影された画像Ｉ１(ｘ、ｙ)に対して、コントラスト算出手段４０にて、２つの矩形領域Ｒｉｊに対して、再度、値Ｃが算出された後、コントラスト判断手段５０によって、値Ｃと所定値Ｃthとが比較され、２つの矩形領域Ｒｉｊから算出された値Ｃが、ともに所定値Ｃthよりも大きいときは、良好な画像が撮影されたと判断され、その画像Ｉ１(ｘ、ｙ)が対応点指示部７２に送られ、記憶される（図５のＳ１３）。一方、値Ｃが所定値Ｃthよりも小さいときは、先に説明した手続きに従って、再度、露出補正と撮影、および値Ｃの算出とその判断が行われる。
【００６１】
ケース３の場合（図５のＳ１７がＹｅｓのとき）は、値Ｃが所定値Ｃthよりも大きい矩形領域の領域番号Ｒｉｊと、撮影された画像Ｉ１(ｘ、ｙ)とが対応点指示部７２に送られ、記憶される（図５のＳ１８）。そして、値Ｃが所定値Ｃthよりも小さい矩形領域に対してのみ露出補正が行われ、再度撮影が行われる（図５のＳ１６）。露出補正を行って、再度算出した値Ｃが、所定値Ｃthよりも大きくなったときは、条件を満足した矩形領域の領域番号Ｒｉｊと、そのとき撮影された画像Ｉ１(ｘ、ｙ)とが、対応点指示部７２に送られ、記憶される。一方、露出補正を行ったにも係わらず、値Ｃが所定値Ｃthよりも小さいときは、先に説明した手続きに従って、再度、露出補正と撮影、および値Ｃの算出とその判断が行われる。
【００６２】
また、値Ｃが所定値Ｃthよりも大きくなる画像Ｉ１(ｘ、ｙ)を撮影するために、矩形領域Ｒｉ１に対しては露出のプラス補正が必要だが、矩形領域Ｒｉ２に対しては露出のマイナス補正が必要になることもあり得る（あるいは、その逆もあり得る。）。この場合は、まず、露出をプラス補正して、領域Ｒｉ１から算出した値Ｃが所定値Ｃthよりも大きい画像を撮影する。次に、露出をマイナス補正して、領域Ｒｉ２から算出した値Ｃが所定値Ｃthよりも大きい画像を撮影する。もちろん、プラス補正とマイナス補正の順序は逆でもよい。
【００６３】
以上の手続きを繰り返し、撮影された画像Ｉ１(ｘ、ｙ)の中の、基準マーカ１０を含む２つの矩形領域から算出された値Ｃが、ともに所定値Ｃthより大きくなったら、次のカメラに対しても同様の手続きを行う。このようにして、４台のカメラ（２２、２４、２６、２８）とも、基準マーカ１０が高いコントラストで写った画像が撮影される（図５のＳ１９）。
【００６４】
次に、キャリブレーション実行手段７０によって、カメラ（２２、２４、２６、２８）のキャリブレーションが行われる。カメラのキャリブレーションの方法には様々なものが提案されており、そのいずれの方法を適用してもよいが、代表的な方法について以下に説明する。なお、ここでは、第１カメラ２２のキャリブレーションを行う手順について説明する。
【００６５】
説明のため、３次元直交座標系を（Ｘｗ、Ｙｗ、Ｚｗ）で表し、第１カメラ２２の画像上のスクリーン座標系を（ｘ、ｙ）で表現するものとする。このとき、３次元直交座標系の点（Ｘｗ、Ｙｗ、Ｚｗ）が、スクリーン座標系の点（ｘ、ｙ）に投影されたとすると、両者の間には、（式２）の関係式が成り立つ。
【００６６】
【数２】
2011228857.tif 000004
（式２）を変形すると、（式３）と（式４）が得られる。
（Ｐ11Ｘｗ+Ｐ12Ｙｗ+Ｐ13Ｚｗ+Ｐ14）／（Ｐ31Ｘｗ+Ｐ32Ｙｗ+Ｐ33Ｚｗ+Ｐ34）＝ｘ  （式３）
（Ｐ21Ｘｗ+Ｐ22Ｙｗ+Ｐ23Ｚｗ+Ｐ24）／（Ｐ31Ｘｗ+Ｐ32Ｙｗ+Ｐ33Ｚｗ+Ｐ34）＝ｙ  （式４）
さらに、（式３）と（式４）を変形すると、（式５）が得られる。
【００６７】
【数３】
2011228857.tif 000005
ここで、第１基準マーカ１２と第２基準マーカ１４の市松模様を構成する各頂点の３次元座標（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）と、それらの頂点が、画像Ｉ１(ｘ、ｙ)上に投影された点（以下、対応点と呼ぶ）の座標（ｘｉ、ｙｉ）を求める。その結果を（式５）に代入すると、１２本の連立方程式が導出される。この連立方程式をＰ１１からＰ３４について解くことにより、第１カメラ２２の内部パラメータと外部パラメータに関する情報を求めることができる。
【００６８】
このとき、キャリブレーションの精度を向上させるために、求める対応点は、その全てを１つの基準マーカ（１２または１４）から求めるのでなく、例えば、第１基準マーカ１２と第２基準マーカ１４から３点ずつを選択する等、両方の基準マーカから選択するのが望ましい。
【００６９】
なお、本実施例にあっては、画像Ｉ１(ｘ、ｙ)の中には、第１基準マーカ１２と第２基準マーカ１４が写っているため、最高１８組の対応点を探すことができる。これは、キャリブレーションに必要な６組よりも多くなっている。そのため、上述したように、６組の対応点のみから（式５）を解いてもよいし、１８組全ての対応点を探して（式５）を解き、解の精度を高めるようにしてもよい。
【００７０】
なお、対応点の特定方法は、画像Ｉ１(ｘ、ｙ)の中に写った第１基準マーカ１２と第２基準マーカ１４の頂点の座標を、操作者が目視で特定してもよいし、画像Ｉ１(ｘ、ｙ)に写った第１基準マーカ１２と第２基準マーカ１４頂点の位置を自動的に検出してもよい。
【００７１】
以下、第１基準マーカ１２の頂点の位置９箇所と、第２基準マーカ１４の頂点の位置９箇所を、操作者が目視で特定する場合を例にあげて説明する。操作者が対応点指示開始スイッチ１１７を操作すると（図６のＳ１）、図７に示すように、対応点指示部７２に記憶されていた、第１基準マーカ１２と第２基準マーカ１４が鮮明に写った画像Ｉ１(ｘ、ｙ)にカーソルＫが重畳表示されて、画像表示手段１００に表示される（図６のＳ２）。カーソルＫは、その表示位置を、カーソル移動スイッチ１１８の操作によって、図７に矢印で示す４方向に移動可能な構成になっている。
【００７２】
操作者は、画像表示手段１００で画像を確認しながら、カーソル移動スイッチ１１８を操作してカーソルＫを移動させながら（図６のＳ３）、画像Ｉ１(ｘ、ｙ)に写った第１基準マーカ１２の頂点の位置と、カーソルＫの交点の位置とが合致したことを確認して（図６のＳ４）、その合致した位置座標を、第１基準マーカ１２の頂点番号とともに、カメラパラメータ算出部７４に記憶する（図６のＳ５）。ここで、各基準マーカ１０の頂点位置には、１から９の頂点番号が付与されている。すなわち、左から右、上から下の順に、左上の頂点には１、右上の頂点には３、左下の頂点には７、右下の頂点には９という番号がそれぞれ順に付けられているものとする。
【００７３】
基準マーカ１２の頂点の座標を特定する操作が、第１基準マーカ１２の９個の頂点全てに対して行われ（図６のＳ６）、さらに、第２基準マーカ１４に対しても、同様にして９個の頂点の座標が特定され、特定された頂点の座標は、カメラパラメータ算出部７４に記憶される（図６のＳ７）。
【００７４】
１８個の頂点の座標が特定されると、カメラパラメータ算出部７４にて、記憶された頂点の座標値と、それぞれの座標値に対応する第１基準マーカ１２、第２基準マーカ１４の３次元座標値が（式５）に代入され、１つの基準マーカに対して１８本の連立方程式が導出される（図６のＳ８）。
【００７５】
この連立方程式を、Ｐ１１からＰ３４について解く（図６のＳ９）ことによって、第１カメラ２２のキャリブレーションが完了する。本実施例では、未知数１２個に対して３６本の連立方程式が導出されるため、そのうち任意の１２本を選択してこれを解いてもよいし、１８本の連立方程式を満足する、最も誤差の小さいＰ１１からＰ３４を算出してもよい。なお、算出されたＰ１１からＰ３４の値は、座標変換テーブル作成手段８０に記憶される。
【００７６】
以上の手続きが、他のカメラ（２４、２６、２８）で撮影された画像Ｉｉ(ｘ、ｙ)に対しても同様に施され（図６のＳ１０）、カメラ（２２、２４、２６、２８）のキャリブレーションを完了する。
【００７７】
なお、一連のキャリブレーション操作の中で使用した、画像モニタスイッチ１１５とカメラ選択スイッチ１１６、対応点指示開始スイッチ１１７、カーソル移動スイッチ１１８は、キャリブレーション操作にのみ用いられるスイッチであるため、キャリブレーション操作を完了したら取り外し、再度キャリブレーション操作を行う必要性が生じたときに、再接続できるようにしておくのが望ましい。
【００７８】
次に、本実施例に係る車両用周囲監視装置５における画像変換と画像合成の流れについて、図８のフローチャートに基づいて説明する。
【００７９】
座標変換テーブル作成手段８０において、４台のカメラ（２２、２４、２６、２８）で撮影した各々の画像Ｉｉ(ｘ、ｙ)を車両１５０の真上から俯瞰した俯瞰画像に変換し、変換された４枚の俯瞰画像を１枚の画像に合成するための座標変換テーブルが作成される（図８のＳ１）。
【００８０】
具体的には、第１カメラ２２用の座標変換テーブルとして、変換・合成前のｘ座標を表す第１ｘテーブルＴx１（ｘ、ｙ）と、変換・合成前のｙ座標を表す第１ｙテーブルＴy１（ｘ、ｙ）の２つのテーブルが作成される。
【００８１】
これらの座標変換テーブルの作成には、カメラのキャリブレーション操作で得られた、（式５）のＰ１１からＰ３４の１２個のパラメータ値が用いられ、予め、変換後、あるいは合成後の画像の任意の座標に格納される、変換前、あるいは合成前の画像の座標値を計算することによって作成される。作成された座標変換テーブルは、座標変換テーブル作成手段８０の中に記憶される（図８のＳ２）。
【００８２】
なお、第１カメラ２２以外のカメラに対しても、同様にして座標変換テーブルが作成される。すなわち、第２カメラ２４に対しては、変換後のｘ座標を表す第２ｘテーブルＴx２（ｘ、ｙ）と、変換後のｙ座標を表す第２ｙテーブルＴy２（ｘ、ｙ）の２枚が作成され、第３カメラ２６に対しては、変換後のｘ座標を表す第３ｘテーブルＴx３（ｘ、ｙ）と、変換後のｙ座標を表す第３ｙテーブルＴy３（ｘ、ｙ）の２枚が作成され、第４カメラ２８に対しては、変換後のｘ座標を表す第４xテーブルＴＸ４（ｘ、ｙ）と、変換後のｙ座標を表す第４ｙテーブルＴy４（ｘ、ｙ）の２枚が作成される。
【００８３】
次に、作成された座標変換テーブルの作用について具体的に説明する。撮影された画像Ｉ１(ｘ、ｙ)を俯瞰画像に変換し、さらに４台のカメラ（２２、２４、２６、２８）で撮影された各々の画像Ｉｉ(ｘ、ｙ)をそれぞれ俯瞰画像に変換して、４枚の俯瞰画像を１枚の画像に合成して生成される合成画像をＬ（ｘ、ｙ）とする。
【００８４】
このとき、第１ｘテーブルにＴx１（ｘ、ｙ）＝α、第１ｙテーブルにＴy１（ｘ、ｙ）＝βという値が格納されていたとすると、合成画像Ｌ（ｘ、ｙ）の画素（ｘ、ｙ）に、濃淡値Ｉ１（α、β）を格納することによって、画像の変換と合成が実行されることになる。
【００８５】
シフトポジション検出手段１２０にて車両１５０のシフトポジションが後退位置にあることが検出されるか（図８のＳ３）、あるいは、起動スイッチ１１２が操作されたことが検出される（図８のＳ４）と、そのときに画像表示手段１００に表示されていた表示内容が記憶される（図８のＳ５）とともに、第１デコーダ２３、第２デコーダ２５、第３デコーダ２７、第４デコーダ２９にトリガがかかり、４台のカメラ（２２、２４、２６、２８）から、同時に画像入力が行われる（図８のＳ６）。
【００８６】
第１カメラ２２で撮影された画像は、第１デコーダ２３にて、コンポジット信号からコンポーネント信号に変換され、変換されたコンポーネント信号のうち輝度信号は、ディジタル信号に変換されて、画像Ｉ１（ｘ、ｙ）が生成される。残りのカメラ（２４、２６、２８）で撮影された画像も同様に、デコーダを通して、画像Ｉ２（ｘ、ｙ）、Ｉ３（ｘ、ｙ）、Ｉ４（ｘ、ｙ）にそれぞれ変換される。
【００８７】
入力された４枚の画像Ｉｉ（ｘ、ｙ）は、座標変換手段９０の作用によって、座標変換テーブル格納部８４に格納された座標変換テーブルを参照し、先に説明した規則に従って、座標の置き換えが行われ、合成画像Ｌ（ｘ、ｙ）が生成される（図８のＳ７）。
【００８８】
座標変換テーブルを利用した上記操作を行った後、座標変換された画像に対して、車両１５０を表す固定パターン１６０が重畳され、図９に示す画像が生成される。この画像が、画像表示手段１００に表示される（図８のＳ８）。以降、図８のＳ６からＳ８が繰り返される。
【００８９】
シフトポジション検出手段１２０によってシフトポジションが後退位置以外にあることが検出されるか（図８のＳ９）、もしくは、終了スイッチ１１４が操作されたことが検出される（図８のＳ１０）と、画像表示手段１００に表示されていた車両周囲の様子を表す画像が消され、車両用周囲監視装置５が動作する前の表示内容が表示される（図８のＳ１１）。
【００９０】
このように構成された本発明に係る第１の車載カメラ用キャリブレーション装置によれば、撮影手段により撮影された画像に対し、領域特定手段が、基準マーカを含む領域を特定し、コントラスト算出手段が、特定された領域の中のコントラストに対応する値を算出し、コントラスト判断手段が、算出された値が所定値よりも大きいか否かを判断し、もし算出された値が所定値よりも小さいときは、第１露出制御手段によって撮影手段の露出を変更した後、第１撮影指示手段からの指示に従って、再度撮影手段により撮影を行い、撮影された画像に対して、コントラスト算出手段が、特定された領域の中のコントラストに対応する値を算出し、コントラスト判断手段が、算出された値が所定値よりも大きいと判断したとき、撮影された画像を用いて、キャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【００９１】
なお、本実施例では、基準マーカとして市松模様を使用したが、市松模様に限定されることはない。すなわち、市松模様の頂点のように、特徴点の位置を特定でき、なおかつ、１台のカメラで撮影した画像の中から、最低６個の特徴点の座標と、それらの特徴点の３次元座標との対応付けが出来さえすれば、別の形態の基準マーカを用いてもよい。
【実施例２】
【００９２】
本実施例は、本発明である第２の車載カメラ用キャリブレーション装置（以下、車載カメラ用キャリブレーション装置３）を、車両に設置した複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示する車両用周囲監視装置６に適用したものである。
【００９３】
特に、本実施例は、カメラのキャリブレーションを行うために、車両の外部に配置された基準マーカを撮影する際、カメラの露出を変更する度に、同じカメラから、露出が変更された複数の画像を撮影し、撮影された画像の中から、基準マーカを含む領域が最も鮮明に撮影された画像を選択して、選択された画像を用いて、カメラのキャリブレーションを行うものである。
【００９４】
図１０は、本発明の実施形態に係る車両用周囲監視装置６の構成を示すブロック図である。本発明に係る車両用周囲監視装置６は、路面に設置された白黒の明暗パターンを有する基準マーカ１０と、車両１５０（図２参照）に設置され、車両周囲の互いに異なる方向の画像を撮影する複数のカメラで構成され、第２撮影指示手段３６からの指示によって撮影を行う撮影手段２０と、撮影手段２０で撮影した画像の中から、基準マーカ１０を含む領域の位置を特定する領域特定手段３０と、領域特定手段３０で特定した基準マーカ１０を含む領域のコントラストに対応する値Ｃを算出するコントラスト算出手段４０と、撮影された画像の中から、値Ｃが所定値よりも大きく、かつ値Ｃが最大である画像を選択する画像選択手段５５と、撮影手段２０を構成するカメラの露出を、複数段階に渡って所定回数変更する第２露出変更手段６２と、第２露出変更手段６２からの指示によって、所定回数露出が変更される度に、撮影手段２０に対して撮影の指示を出す第２撮影指示手段３６と、カメラのキャリブレーションを実行するキャリブレーション実行手段７０と、キャリブレーションの結果に基づいて、座標変換テーブルを作成する座標変換テーブル作成手段８０と、撮影手段２０で撮影した画像を座標変換して俯瞰画像に変換する座標変換手段９０と、座標変換された画像を表示する画像表示手段１００と、車両用周囲監視装置６の起動や終了、およびカメラのキャリブレーション操作の内容を指示する操作スイッチ１１０と、車両１５０のシフトポジションが後退位置にあることを検出するシフトポジション検出手段１２０とからなる。
【００９５】
このうち、基準マーカ１０と、撮影手段２０と、領域特定手段３０と、第２撮影指示手段３６と、コントラスト算出手段４０と、画像選択手段５５と、第２露出変更手段６２と、キャリブレーション実行手段７０と、操作スイッチ１１０の一部（画像モニタスイッチ１１５、カメラ選択スイッチ１１６、対応点指示開始スイッチ１１７、カーソル移動スイッチ１１８）が、本発明の車載カメラ用キャリブレーション装置３を構成する。
【００９６】
なお、基準マーカ１０、撮影手段２０、キャリブレーション実行手段７０、および操作スイッチ１１０の詳細な構成は、第１実施例と同様である。
【００９７】
本車両用周囲監視装置６は、車両１５０に設置された各カメラ（２２、２４、２６、２８）のキャリブレーションを行った後、その結果を利用して、各カメラ（２２、２４、２６、２８）で撮影した画像を車両１５０の上空から俯瞰した画像に変換し、さらに俯瞰画像に変換された画像同士を１枚の画像に合成して運転者に提示するものである。このうち、画像変換、および画像合成は、第１実施例と同様の作用になるため、ここでは、カメラのキャリブレーション操作の部分のみ、その作用の流れを図１１のフローチャートに基づいて説明する。
【００９８】
車両１５０には、第１実施例と同様に、第１カメラ２２から第４カメラ２８までの４台のカメラが設置されているものとする。
【００９９】
まず、車両１５０が、キャリブレーションを行うための所定の場所に置かれる（図１１のＳ２）。
【０１００】
キャリブレーションを行う操作者は、予め寸法が計測された（図１１のＳ１）、市松模様からなる基準マーカ１０を、車両１５０の４隅に設置し（図１１のＳ３）、次に、画像モニタスイッチ１１５を操作して、撮影手段２０で撮影した画像を画像表示手段１００で観測できる状態にし、さらに、カメラ選択スイッチ１１６を操作して、第１カメラ２２から第４カメラ２８のうち、画像を観測するカメラを選択する。
【０１０１】
ここで、操作者は、まず、第１実施例に記載した手順に従って、基準マーカ（１２、１４、１６、１８）が、途切れなく、各カメラ（２２、２４、２６、２８）に写るように、設置位置の微調整を行う（図１１のＳ４）。
【０１０２】
基準マーカ１０の設置位置の微調整が終了した後、各基準マーカ１０の頂点の３次元座標が、第１実施例で説明した手順によって、図３に示すように算出される（図１１のＳ５）。
【０１０３】
次に、操作者は、領域特定手段３０の作用によって、第１実施例に記載した手順に従って、撮影された画像の中から、基準マーカ１０が写っている領域のおおよその位置を特定する（図１１のＳ６）。
【０１０４】
この操作によって、図４に示すように、第１カメラ２２から入力された画像Ｉ１(ｘ、ｙ)の中で、第１基準マーカ１２が写っている矩形領域Ｒ１１と第２基準マーカ１４が写っている矩形領域Ｒ１２が特定される。さらに、特定された矩形領域Ｒ１１とＲ１２の左上の頂点の座標と右下の頂点の座標が、コントラスト算出手段４０に記憶される。
【０１０５】
基準マーカ１０を含む矩形領域を特定する手続きが、第２カメラ２４、第３カメラ２６、第４カメラ２８で撮影された画像に対しても、同様にして順次行われる。
【０１０６】
次に、第２露出変更手段６２の作用によって、撮影手段２０の露出量が、複数段階にわたって、所定回数変更される。このとき、第２撮影指示手段３６の指示によって、露出量が変更される度に、撮影手段２０により、所定回数画像の撮影が行われる（図１１のＳ７）。ここで、ａ番目のカメラでｂ番目に撮影された画像をＩａｂ(ｘ、ｙ)で表すことにする。
【０１０７】
露出の変更方法は、使用するカメラの仕様に応じて決めればよいが、例えば、最初に、その時の外部環境の明るさに応じて決められた露出量によって撮影した後、当該露出量に対して、−２ＥＶ、−１ＥＶ、＋１ＥＶ、＋２ＥＶの順に露出量を変更すればよい。この場合、異なる露出量で、合計５枚の画像が撮影される。こうして撮影された画像は、画像選択手段５５に記憶される。
【０１０８】
４台のカメラ（２２、２４、２６、２８）で画像の撮影が完了した（図１１のＳ８）後、コントラスト算出手段４０によって、４台のカメラ（２２、２４、２６、２８）で、各々所定回数ずつ撮影された画像Ｉａｂ(ｘ、ｙ)に対して、領域特定手段３０で特定された各矩形領域Ｒｉｊ（ｉ＝１、２、３、４。ｊ＝１、２。）の中の画像Ｉａｂ(ｘ、ｙ)のコントラストに対応する値Ｃが算出される（図１１のＳ９）。値Ｃの数値化には、様々な方法が考えられるが、ここでは、第１実施例で説明した（式１）によって算出されるものとする。
【０１０９】
次に、画像選択手段５５によって、４台のカメラ（２２、２４、２６、２８）の各々で撮影された複数の画像Ｉａｂ(ｘ、ｙ)の中から、基準マーカ１０を含む矩形領域毎（図１１のＳ１１）に、先に算出した、各矩形領域Ｒｉｊ（ｉ＝１、２、３、４。ｊ＝１、２。）の中の画像Ｉａｂ(ｘ、ｙ)のコントラストに対応する値Ｃが、予め決めておいた所定値Ｃthよりも大きく、かつ最大になる画像が選択される（図１１のＳ１０）。
【０１１０】
値Ｃが、予め決めておいた所定値Ｃthよりも大きく、かつ最大になる画像が選択されたら（図１１のＳ１２がＹｅｓのとき）、その領域番号Ｒｉｊと、対応する画像Ｉａｂ(ｘ、ｙ)とが、対応点指示部７２に送られる（図１１のＳ１３）。
【０１１１】
もし、値Ｃが、予め決めておいた所定値Ｃthよりも大きい画像が選択されなかったとき（図１１のＳ１２がＮｏのとき）は、撮影手段２０の露出量が、再度、複数段階にわたって、所定回数変更される。このときの露出変更量は、１回目の露出変更量に対して大きく設定される。さらに、第２撮影指示手段３６の指示によって、露出量が変更される度に、撮影手段２０により、再度、所定回数画像の撮影が行われる（図１１のＳ１４）。
【０１１２】
所定回数の撮影が行われた後、再度、図１１のＳ１０に移行して、先ほどと同様に、コントラストに対応する値Ｃの算出と、所定の条件を満足する画像の選択が行われる。
【０１１３】
以上の手続きが、４台のカメラ（２２、２４、２６、２８）に対して順次行われ（図１１のＳ１５）、全ての基準マーカ１０が高いコントラストで写った画像が取得される。
【０１１４】
この後、対応点指示部７２に送られた画像を用いて、図６のフローチャートに沿って、カメラのキャリブレーションが行われる。キャリブレーションの作用は、第１実施例に記載した通りであるため、ここでは説明を割愛する。
【０１１５】
キャリブレーションが実行された後、図８のフローチャートに従って、座標変換テーブル作成手段８０にて座標変換テーブルが作成され、作成された座標変換テーブルに基づいて、各カメラで撮影された画像Ｉｉ(ｘ、ｙ)が、座標変換手段９０によって車両を真上から見下ろした画像に変換され、さらに１枚の画像に合成されて、画像表示手段１００に表示される。
【０１１６】
このように構成された本第２実施形態に係る車載カメラ用キャリブレーション装置３によれば、第２露出制御手段によって撮影手段の露出が所定回数変更される度に、第２撮影指示手段からの指示に従って、撮影手段によって撮影された複数の画像に対して、コントラスト算出手段によって領域特定手段で特定された基準マーカを含む領域のコントラストに対応する値が算出され、画像選択手段によって、算出されたコントラストに対応する値が所定値よりも大きく、かつ前記コントラストに対応する値が最大である画像が選択され、選択された画像を用いてキャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【実施例３】
【０１１７】
本実施例は、本発明である第３の車載カメラ用キャリブレーション装置（以下、車載カメラ用キャリブレーション装置４）を、車両に設置した複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示する車両用周囲監視装置７に適用したものである。
【０１１８】
特に、本実施例は、カメラのキャリブレーションを行うために、車両の外部に配置された基準マーカを撮影した後、撮影した画像の中の基準マーカを含む領域が、所定の条件にあったコントラストになるように、撮影した画像のコントラストを補正して、コントラストが補正された画像を用いてカメラのキャリブレーションを行うものである。
【０１１９】
図１２は、本発明の実施形態に係る車両用周囲監視装置７の構成を示すブロック図である。本発明に係る車両用周囲監視装置７は、路面に設置された白黒の明暗パターンを有する基準マーカ１０と、車両１５０（図２参照）に設置され、車両１５０周囲の互いに異なる方向の画像を撮影する複数のカメラで構成された撮影手段２０と、撮影手段２０で撮影した画像の中から、基準マーカ１０を含む領域の位置を特定する領域特定手段３０と、領域特定手段３０で特定した基準マーカ１０を含む領域のコントラストに対応する値Ｃを算出するコントラスト算出手段４０と、コントラスト算出手段４０で算出した値Ｃが所定値よりも小さいとき、値Ｃを補正するコントラスト補正手段５６と、カメラのキャリブレーションを実行するキャリブレーション実行手段７０と、キャリブレーションの結果に基づいて、座標変換テーブルを作成する座標変換テーブル作成手段８０と、撮影手段２０で撮影した画像を座標変換して俯瞰画像に変換する座標変換手段９０と、座標変換された画像を、車両１５０内に表示する画像表示手段１００と、車両用周囲監視装置７の起動や終了、およびカメラのキャリブレーション操作の内容を指示する操作スイッチ１１０と、車両１５０のシフトポジションが後退位置にあることを検出するシフトポジション検出手段１２０とからなる。
【０１２０】
このうち、基準マーカ１０と、撮影手段２０と、領域特定手段３０と、コントラスト補正手段５６と、キャリブレーション実行手段７０と、操作スイッチ１１０の一部（画像モニタスイッチ１１５、カメラ選択スイッチ１１６、対応点指示開始スイッチ１１７、カーソル移動スイッチ１１８）が、本発明の車載カメラ用キャリブレーション装置４を構成する。
【０１２１】
なお、基準マーカ１０、撮影手段２０、キャリブレーション実行手段７０、および操作スイッチ１１０の詳細な構成は、第１実施例と同様である。
【０１２２】
本車両用周囲監視装置７は、車両１５０に設置された各カメラ（２２、２４、２６、２８）のキャリブレーションを行った後、その結果を利用して、各カメラ（２２、２４、２６、２８）で撮影した画像を車両１５０の上空から俯瞰した画像に変換し、さらに俯瞰画像に変換された画像同士を１枚の画像に合成して運転者に提示するものである。このうち、画像変換、および画像合成は、第１実施例と同様の作用になるため、ここでは、カメラのキャリブレーション操作の部分のみ、その作用の流れを図１３のフローチャートに基づいて説明する。
【０１２３】
車両１５０には、第１実施例と同様に、第１カメラ２２から第４カメラ２８までの４台のカメラが設置されているものとする。
【０１２４】
まず、車両１５０が、キャリブレーションを行うための所定の場所に置かれる（図１３のＳ２）。
【０１２５】
キャリブレーションを行う操作者は、予め寸法が計測された（図１３のＳ１）、市松模様からなる基準マーカ１０を、車両１５０の４隅に設置し（図１３のＳ３）、次に、画像モニタスイッチ１１５を操作して、撮影手段２０で撮影した画像を画像表示手段１００で観測できる状態にし、さらに、カメラ選択スイッチ１１６を操作して、第１カメラ２２から第４カメラ２８のうち、画像を観測するカメラを選択する。
【０１２６】
ここで、操作者は、まず、第１実施例に記載した手順に従って、基準マーカ（１２、１４、１６、１８）が、途切れなく、各カメラ（２２、２４、２６、２８）に写るように、設置位置の微調整を行う（図１３のＳ４）。
【０１２７】
基準マーカ１０の設置位置の微調整が終了した後、各基準マーカ１０の頂点の３次元座標が、第１実施例で説明した手順によって、図３に示すように算出される（図１３のＳ５）。
【０１２８】
次に、操作者は、領域特定手段３０の作用によって、第１実施例に記載した手順に従って、撮影された画像の中から、基準マーカ１０が写っている領域のおおよその位置を特定する（図１３のＳ６）。
【０１２９】
この操作によって、図４に示すように、第１カメラ２２から入力された画像Ｉ１(ｘ、ｙ)の中で、第１基準マーカ１２が写っている矩形領域Ｒ１１と第２基準マーカ１４が写っている矩形領域Ｒ１２が特定される。さらに、特定された矩形領域Ｒ１１とＲ１２の左上の頂点の座標と右下の頂点の座標が、コントラスト補正手段５６に記憶される。
【０１３０】
基準マーカ１０を含む矩形領域を特定する手続きが、第２カメラ２４、第３カメラ２６、第４カメラ２８で撮影された画像に対しても、同様にして順次行われる。
【０１３１】
次に、各カメラで撮影された４枚の画像Ｉｉ(ｘ、ｙ)に対して、コントラスト補正手段５６によって、領域特定手段３０で特定された矩形領域の中のコントラストに対応する値Ｃが、（式１）によって算出される（図１３のＳ７）。
【０１３２】
画像Ｉｉ(ｘ、ｙ)に写った、基準マーカ１０を含む２つの矩形領域から算出された値Ｃが、ともに、予め決められた所定値Ｃthよりも大きいとき（図１３のＳ８）、領域番号Ｒｉｊと撮影された画像Ｉｉ(ｘ、ｙ)は対応点指示部７２に送られる（図１３のＳ９）。
【０１３３】
基準マーカ１０を含む２つの矩形領域のうち、一方の矩形領域のみ、算出された値Ｃが所定値Ｃthよりも大きいとき（図１３のＳ１０がＹｅｓのとき）は、値Ｃが所定値Ｃthよりも大きい領域番号Ｒｉｊと撮影された画像Ｉｉ(ｘ、ｙ)が対応点指示部７２に送られる（図１３のＳ１１）。
【０１３４】
値Ｃが所定値Ｃthよりも小さい矩形領域に対しては、コントラスト補正手段５６によって、画像Ｉｉ(ｘ、ｙ)のコントラストが補正される（図１３のＳ１２）。画像のコントラスト補正には様々な方法が提案されており、そのいずれの方法を用いて行ってもよいが、ここでは、図１４に示す画像の濃淡ヒストグラムを利用した方法を用いて行う。
【０１３５】
図１４に、図４の画像Ｉ１（ｘ、ｙ）の中の矩形領域Ｒ１１の濃淡ヒストグラムＨ１の例を示す。濃淡ヒストグラムは、横軸に、画像で表現可能な濃淡値をとり、縦軸に、画像の中に含まれる各濃淡値を有する画素の総数をとった度数分布表である。画像Ｉ１（ｘ、ｙ）が８ビットに量子化されているとすると、濃淡ヒストグラムＨ１の横軸は、０から２５５の値を取り得る。
【０１３６】
図１４の濃淡ヒストグラムＨ１から、画像Ｉ１（ｘ、ｙ）の中には、最小値Ｔminから最大値Ｔmaxの間の濃淡値しか存在せず、画像が取り得る値の範囲である０から２５５に対して、狭い範囲の値しか持っておらず、画像のコントラストが低いことがわかる。
【０１３７】
ここで、画像のコントラストを高める補正を（式６）によって行う。すなわち、ある画素の補正前の濃淡値をｚ、補正後の濃淡値をｚ’とすると、ｚ’は以下のようになる。
【０１３８】
【数４】
2011228857.tif 000006
（式６）による補正はヒストグラムの伸張と呼ばれ、画像のコントラスト強調を行うときによく用いられる。（式６）に基づいて、矩形領域Ｒ１１の濃淡値を補正することにより、矩形領域Ｒ１１のコントラストが強調されて値Ｃが大きくなる。例えば、図１４に示した濃淡ヒストグラムＨ１は、濃淡ヒストグラムＨ２のように補正される。ここで、画像Ｉｉ（ｘ、ｙ）に対してコントラスト補正が行われた画像をＩｉ’（ｘ、ｙ）で表すことにする。
【０１３９】
コントラストが補正された画像Ｉｉ’（ｘ、ｙ）に対して、コントラスト算出手段４０によって、再度値Ｃが算出され（図１３のＳ１３）、値Ｃが所定値Ｃthよりも大きいと判断されると（図１３のＳ１４がＹｅｓのとき）、領域番号Ｒｉｊとコントラスト補正された画像Ｉ１’（ｘ、ｙ）が対応点指示部７２に送られる（図１３のＳ１５）。
【０１４０】
コントラスト補正を行ったにも係わらず、値Ｃが所定値Ｃthよりも小さいとき（図１３のＳ１４がＮｏのとき）は、Ｔmin＝Ｔmin＋ｋ、Ｔmax＝Ｔmax−ｋ（ｋ＝1、２、３、…）を新たなＴmin、Ｔmaxとして、（式６）によって、再び、最初の画像に対してコントラスト補正を行う（図１３のＳ１２）。これは、ヒストグラムの伸張度合いを高めることによって、コントラスト補正効果を上げるためである。ｋの値を更新して、元の画像に対する補正を繰り返し、その都度、値Ｃを確認して、値Ｃが所定値Ｃthよりも大きい画像Ｉｉ’（ｘ、ｙ）が得られたら、領域番号Ｒｉｊとコントラスト補正された画像Ｉｉ’（ｘ、ｙ）が対応点指示部７２に送られる（図１３のＳ１５）。
【０１４１】
また、基準マーカ１０を含む２つの領域で、ともに値Ｃが所定値Ｃthよりも小さいとき（図１３のＳ１０がＮｏのとき）は、２つの矩形領域とも、コントラスト補正手段５６によって、コントラストが補正される（図１３のＳ１２）。その結果、値Ｃが所定値Ｃthよりも大きいと判断されると、領域番号Ｒｉｊとコントラスト補正された画像Ｉｉ’（ｘ、ｙ）が対応点指示部７２に送られる（図１３のＳ１５）。
【０１４２】
コントラスト補正を行ったにも係わらず、値Ｃが所定値Ｃthよりも小さいとき（図１３のＳ１４でＮｏのとき）は、先述したようにＴmin、Ｔmaxの値を更新して、コントラスト補正（図１３のＳ１２）が繰り返される。
【０１４３】
以上の手続きが、第１カメラ２２から第４カメラ２８に対して順次行われ（図１３のＳ１６）、全ての基準マーカ１０が高いコントラストで写った画像が取得される。
【０１４４】
この後、対応点指示部７２に送られた画像を用いて、図６のフローチャートに沿って、カメラのキャリブレーションが行われる。キャリブレーションの作用は、第１実施例に記載した通りであるため、ここでは説明を割愛する。
【０１４５】
キャリブレーションが実行された後、図８のフローチャートに従って、座標変換テーブル作成手段８０にて座標変換テーブルが作成され、作成された座標変換テーブルに基づいて、各カメラで撮影された画像Ｉｉ(ｘ、ｙ)が、座標変換手段９０によって車両を真上から見下ろした画像に変換され、さらに１枚の画像に合成されて、画像表示手段１００に表示される。
【０１４６】
このように構成された本第３実施形態に係る車載カメラ用キャリブレーション装置４によれば、撮影手段によって撮影された画像から、コントラスト算出手段によって、領域特定手段で特定された基準マーカを含む領域のコントラストに対応する値が算出され、コントラスト判断手段によって、算出されたコントラストに対応する値が所定値よりも小さいと判断されたとき、コントラスト補正手段によって前記コントラストに対応する値が所定値よりも大きくなるように補正され、こうして補正された画像を用いて、キャリブレーション実行手段によってカメラのキャリブレーションを行うことにより、画像に写った基準マーカの中の特徴点の座標を正確に測定でき、そのため、照明環境によらず、カメラのキャリブレーションを確実に行うことができる。
【符号の説明】
【０１４７】
２      車載カメラ用キャリブレーション装置
５      車両用周囲監視装置
１０    基準マーカ
２０    撮影手段
３０    領域特定手段
３５    第１撮影指示手段
４０    コントラスト算出手段
５０    コントラスト判断手段
６０    第１露出変更手段
７０    キャリブレーション実行手段
８０    座標変換テーブル作成手段
９０    座標変換手段
１００  画像表示手段
１１０  操作スイッチ
１２０  シフトポジション検出手段
【図５】
2011228857.tif 000007
【図６】
2011228857.tif 000008
【図８】
2011228857.tif 000009
【図１１】
2011228857.tif 000010
【図１２】
2011228857.tif 000011
【図１３】
2011228857.tif 000012
【図１４】
2011228857.tif 000013
【図１】
2011228857.tif 000014
【図２】
2011228857.tif 000015
【図３】
2011228857.tif 000016
【図４】
2011228857.tif 000017
【図７】
2011228857.tif 000018
【図９】
2011228857.tif 000019
【図１０】
2011228857.tif 000020