(57)【要約】【課題】カメラの内部パラメータ値のキャリブレーションを、短時間で簡便に行う。【解決手段】デフォルトの内部パラメータ値とデフォルトの外部パラメータ値を有するカメラ２０の撮像範囲内に配置された、直線上に並ぶ少なくとも３個のキャリブレーション指標８０をカメラ２０で撮像して、撮像された画像の中から、キャリブレーション指標位置算出部７１によって少なくとも３個のキャリブレーション指標８０の画像内での位置を算出して、算出された位置に基づいて、直線性算出部７２において、同一直線上にある少なくとも３個のキャリブレーション指標８０のうち、２個のキャリブレーション指標を通る直線と、２個のキャリブレーション指標のうちの一方と２個のキャリブレーション指標以外のキャリブレーション指標を通る直線と、のなす角度ω１を算出して、内部パラメータ値調整部７４において、角度ω１が所定値よりも小さくなるように内部パラメータ値を調整する。【選択図】図１
2013239905.tif 000002
【特許請求の範囲】
【請求項１】
光学系と受光素子とを備え、デフォルトの内部パラメータ値とデフォルトの外部パラメータ値を有するカメラと、
前記カメラの撮像範囲内に配置された、直線上に並ぶ少なくとも３個のキャリブレーション指標と、
前記カメラで前記キャリブレーション指標を撮像した画像の中から、少なくとも３個のキャリブレーション指標の前記画像内での位置を算出するキャリブレーション指標位置算出部と、
前記キャリブレーション指標位置算出部で算出された前記位置に基づいて、前記画像内において、前記少なくとも３個のキャリブレーション指標のうち、２個のキャリブレーション指標の位置を通る直線と、前記２個のキャリブレーション指標のうちの一方のキャリブレーション指標の位置と前記２個のキャリブレーション指標以外のキャリブレーション指標の位置を通る直線と、のなす角度を算出する直線性算出部と、
前記直線性算出部で算出された前記角度に基づいて、前記カメラの少なくとも１つの内部パラメータ値を調整する内部パラメータ値調整部と、
前記内部パラメータ値調整部によって調整された内部パラメータ値と前記デフォルトの外部パラメータ値とに基づいて、前記画像内におけるキャリブレーション指標の位置を計算するキャリブレーション指標位置再計算部と、
前記直線性算出部で算出された前記角度の値に基づいて、内部パラメータ値の調整を終了する判断を行うキャリブレーション終了判断部と、を有することを特徴とする車載カメラのキャリブレーション装置。
【請求項２】
前記キャリブレーション指標は、調整する内部パラメータの個数の増加に応じてより多くの本数が設定される直線上、もしくは、調整する内部パラメータの種類の増加に応じてより多くの本数が設定される直線上、に前記直線１本について少なくとも３個ずつ配置されることを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
【請求項３】
前記内部パラメータ値調整部は、前記内部パラメータ値のうち少なくとも１つを所定量だけ所定の方向に調整したときに、前記直線性算出部で算出された前記角度が前記内部パラメータ値の調整前よりも小さくなったときには、前記内部パラメータ値のうち少なくとも１つを、前記角度の変化量に応じた量だけ、さらに前記所定の方向に調整して、
前記内部パラメータ値のうち少なくとも１つを所定量だけ所定の方向に調整したときに、前記直線性算出部で算出された前記角度が前記内部パラメータ値の調整前よりも大きくなったときには、前記内部パラメータ値のうち少なくとも１つを、前記角度の変化量に応じた量だけ、前記所定の方向とは逆の方向に調整することを特徴とする請求項１または２に記載の車載カメラのキャリブレーション装置。
【請求項４】
前記キャリブレーション終了判断部は、前記直線性算出部で算出された前記角度が所定の値を下回ったとき、もしくは、前記内部パラメータ値調整部において、内部パラメータ値の調整を所定回数行ったときに、内部パラメータ値の調整を終了する判断を行うことを特徴とする請求項１から３のいずれか１項に記載の車載カメラのキャリブレーション装置。
【請求項５】
前記内部パラメータ値は、前記カメラが備える光学系の焦点距離と、前記カメラが備える受光素子を構成する画素のサイズの縦横比と、前記光学系の光軸と前記受光素子との交点の位置と、前記光学系の歪と、のうち少なくとも１つであることを特徴とする請求項１から４のいずれか１項に記載の車載カメラのキャリブレーション装置。
【請求項６】
前記キャリブレーション指標位置算出部で算出された前記キャリブレーション指標の位置と前記カメラの外部パラメータ値と前記内部パラメータ値調整部によって調整された内部パラメータ値とに基づいて計算された前記画像内における前記キャリブレーション指標の位置とのずれの大きさを算出する指標位置ずれ量算出部と、
前記指標位置ずれ量算出部で算出された前記ずれの大きさに基づいて、前記外部パラメータ値を調整する外部パラメータ値調整部と、を有し、
前記キャリブレーション指標位置再計算部は、さらに、前記外部パラメータ値調整部によって調整された外部パラメータ値と前記内部パラメータ値調整部によって調整された内部パラメータ値とに基づいて、前記画像内におけるキャリブレーション指標の位置を計算するものであり、
前記キャリブレーション終了判断部は、さらに、前記指標位置ずれ量算出部で算出された前記ずれの大きさに基づいて、外部パラメータ値の調整を終了する判断を行うものであることを特徴とする請求項１から５のいずれか１項に記載の車載カメラのキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラのキャリブレーションを行う車載カメラのキャリブレーション装置に関する。
【背景技術】
【０００２】
近年、自動車にカメラおよびモニタを設置して、カメラで撮影した車両周囲の映像を車室内のモニタに表示して、運転操作時の利便性を向上させる技術が提案されている。
【０００３】
このような車載カメラとして、車の前方を撮影するフロントカメラ、後方を撮影するリアカメラ、側方を撮影するサイドカメラなど、複数のカメラを備えて、各カメラで撮影された映像を切り替えて表示するシステムや、画面の表示領域を分割して、分割して得られた各表示領域に、これらの映像を個別に表示するシステムが実用化されている。
【０００４】
また、モニタに映ったカメラ映像に車両の予測軌跡を重畳表示するシステムや、前記した複数の映像を、それぞれ、例えば車両の真上から見た擬似的な映像に変換する、いわゆる視点変換処理を施した上で、これら複数の映像をシームレスに繋げて俯瞰映像を表示するシステムも実用化されている。
【０００５】
このような予測軌跡の表示や俯瞰映像の表示を行う場合には、車両に対するカメラの設置位置や設置姿勢を表すカメラパラメータを精度よく調整する必要があった。
【０００６】
カメラパラメータには、カメラの焦点距離、矩形画素の縦横比、画像の中心位置（光軸位置）、レンズ歪等の設計値（内部要素）に依存する内部パラメータと、カメラの設置位置や設置方向に依存する外部パラメータとがある。一般には、内部パラメータの値（内部パラメータ値）はカメラ単体で既に調整済みであるとして、カメラを車両に設置した後で外部パラメータの値（外部パラメータ値）のみを調整（キャリブレーション）している。しかし、内部パラメータ値の調整が不十分である場合には、仮に外部パラメータ値の調整を行っても、直線状の物体が歪曲して画像化されるという問題があった。そのため、カメラの内部パラメータ値と外部パラメータ値は、ともに調整できることが望ましい。
【０００７】
そのため、外部パラメータ値と内部パラメータ値の両方の調整を行うことができるキャリブレーション装置が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３０７４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
この特許文献１に記載されたキャリブレーション装置によると、キャリブレーション指標を撮像した画像の中から、画像内におけるキャリブレーション指標の位置を算出して、こうして算出された画像内の位置と、キャリブレーション指標が本来観測されると予測される画像内の位置と、のずれの大きさを小さくすることによって、外部パラメータ値と内部パラメータ値のキャリブレーションを行っている。
【００１０】
しかしながら、特に内部パラメータ値のキャリブレーションにおいては、内部パラメータの数や種類が多いため、それに伴って多くのキャリブレーション指標が必要となり、これによって演算処理の時間が増加するという問題点があった。
【００１１】
さらに、特許文献１に記載されたキャリブレーション装置にあっては、異なる２方向からキャリブレーション指標を撮像する必要があるため、キャリブレーション作業に手間と時間がかかるという問題点があった。
【００１２】
本発明は上記事情に鑑みなされたもので、キャリブレーションに多くの指標を必要とする、カメラの内部パラメータ値のキャリブレーションを、短時間で簡便に行うことができる車載カメラのキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る車載カメラのキャリブレーション装置は、光学系と受光素子とを備え、デフォルトの内部パラメータ値とデフォルトの外部パラメータ値を有するカメラと、前記カメラの撮像範囲内に配置された、直線上に並ぶ少なくとも３個のキャリブレーション指標と、前記カメラで前記キャリブレーション指標を撮像した画像の中から、少なくとも３個のキャリブレーション指標の前記画像内での位置を算出するキャリブレーション指標位置算出部と、前記キャリブレーション指標位置算出部で算出された前記位置に基づいて、前記画像内において、前記少なくとも３個のキャリブレーション指標のうち、２個のキャリブレーション指標の位置を通る直線と、前記２個のキャリブレーション指標のうちの一方のキャリブレーション指標の位置と前記２個のキャリブレーション指標以外のキャリブレーション指標の位置を通る直線と、のなす角度を算出する直線性算出部と、前記直線性算出部で算出された前記角度に基づいて、前記カメラの少なくとも１つの内部パラメータ値を調整する内部パラメータ値調整部と、前記内部パラメータ値調整部によって調整された内部パラメータ値と前記デフォルトの外部パラメータ値とに基づいて、前記画像内におけるキャリブレーション指標の位置を計算するキャリブレーション指標位置再計算部と、前記直線性算出部で算出された前記角度の値に基づいて、内部パラメータ値の調整を終了する判断を行うキャリブレーション終了判断部と、を有することを特徴とする。
【００１４】
このように構成された本発明の請求項１に係る車載カメラのキャリブレーション装置によれば、デフォルトの内部パラメータ値とデフォルトの外部パラメータ値を有するカメラの撮像範囲内に配置された、直線上に並ぶ少なくとも３個のキャリブレーション指標をカメラで撮像して、こうして撮像された画像の中から、キャリブレーション指標位置算出部によって少なくとも３個のキャリブレーション指標の画像内での位置を算出して、こうして算出された少なくとも３個のキャリブレーション指標の画像内での位置に基づいて、直線性算出部において、同一直線上にある少なくとも３個のキャリブレーション指標のうち、２個のキャリブレーション指標を通る直線と、２個のキャリブレーション指標のうちの一方と２個のキャリブレーション指標以外のキャリブレーション指標を通る直線と、のなす角度を算出して、内部パラメータ値調整部において、直線性算出部で算出された角度に基づいて、内部パラメータ値を調整して、こうして調整された内部パラメータ値とデフォルトの外部パラメータ値に基づいて、キャリブレーション指標位置再計算部において、画像内におけるキャリブレーション指標の位置を再計算して、キャリブレーション終了判断部が、再計算されたキャリブレーション指標の位置に基づいて直線性算出部で算出された角度によって、内部パラメータ値の調整を終了する判断を行うため、キャリブレーション指標を撮像した画像の中で、直線上に配置された少なくとも３つのキャリブレーション指標の直線性が評価されて、その評価結果に基づいて、３つのキャリブレーション指標の直線性が高くなる方向に内部パラメータ値が調整されるため、キャリブレーション指標を撮像した画像を用いて、内部パラメータ値の調整を短時間で簡便に行うことができる。
【発明の効果】
【００１５】
本発明に係る車載カメラのキャリブレーション装置によれば、キャリブレーション指標を撮像した１枚の画像を用いて、カメラの内部パラメータ値のキャリブレーションを短時間で正確に行うことができる車載カメラのキャリブレーション装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例に係る車載カメラのキャリブレーション装置の概略構成を示すブロック図である。
【図２】本発明の実施例におけるキャリブレーション指標の配置例を示す図である。
【図３】（ａ）はキャリブレーション指標を撮像して得られた画像の一例である。（ｂ）は、（ａ）の画像のキャリブレーション指標の位置を、内部パラメータ値と外部パラメータ値に基づいて変換した画像である。
【図４】（ａ）はキャリブレーション指標の直線性を評価する方法の１例を説明する図である。（ｂ）はキャリブレーション指標の直線性を評価する方法の別の例を説明する図である。
【図５】本発明の実施例におけるキャリブレーション作業の流れを説明するフローチャートである。
【図６】本発明の実施例における内部パラメータ値のキャリブレーション作業の流れを説明するフローチャートである。
【図７】本発明の実施例における外部パラメータ値のキャリブレーション作業の流れを説明するフローチャートである。
【図８】本発明の実施例において画像表示部に表示される画像の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係るカメラのキャリブレーション装置の実施形態について、図面を参照して説明する。
【実施例１】
【００１８】
本実施例は、本発明の車載カメラのキャリブレーション装置を、車載された複数のカメラで車両の周囲を監視して、撮像された複数の画像を、それぞれ、車両の真上から車両を俯瞰した俯瞰画像に変換して、さらに、それらの俯瞰画像を１枚の画像に合成して表示する車両周辺監視装置に適用した例である。
【００１９】
まず、図１から図３を用いて本装置の構成を説明する。本実施例に係る車両周辺監視装置５は、図２に示す車両１０に設置されている。
【００２０】
車両１０の前方には、車両前方を撮像する第１カメラ２１が設置されており、車両１０の左側方には、車両左側方を撮像する第２カメラ２２が設置されており、車両１０の右側方には、車両右側方を撮像する第３カメラ２３が設置されており、車両１０の後方には、車両後方を撮像する第４カメラ２４が設置されている。
【００２１】
以後、特に識別する必要がない場合は、第１カメラ２１、第２カメラ２２、第３カメラ２３、第４カメラ２４を総称してカメラ２０と呼ぶ。
【００２２】
そして、車両１０前方の地面や床面には、第１カメラ２１で撮像可能な第１指標８１が配置されており、車両１０左側方の地面や床面には、第２カメラ２２で撮像可能な第２指標８２が配置されており、車両１０右側方の地面や床面には、第３カメラ２３で撮像可能な第３指標８３が配置されており、車両１０後方の地面や床面には、第４カメラ２４で撮像可能な第４指標８４が配置されている。
【００２３】
ここで、前記した車両１０が置かれている地面や床面は、平面形状であるものとする。
【００２４】
第１指標８１は、縦横に３個ずつ配列された、個々の指標である同一サイズ、同一形状の黒い円形マーカ（８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅ、８１ｆ、８１ｇ、８１ｈ、８１ｉ）からなり、第２指標８２は、縦横に３個ずつ配列された、個々の指標である同一サイズ、同一形状の黒い円形マーカ（８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅ、８２ｆ、８２ｇ、８２ｈ、８２ｉ）からなり、第３指標８３は、縦横に３個ずつ配列された、個々の指標である同一サイズ、同一形状の黒い円形マーカ（８３ａ、８３ｂ、８３ｃ、８３ｄ、８３ｅ、８３ｆ、８３ｇ、８３ｈ、８３ｉ）からなり、第４指標８４は、縦横に３個ずつ配列された、個々の指標である同一サイズ、同一形状の黒い円形マーカ（８４ａ、８４ｂ、８４ｃ、８４ｄ、８４ｅ、８４ｆ、８４ｇ、８４ｈ、８４ｉ）からなる。なお、これらの円形マーカのうち、縦方向に並んだ３個の円形マーカと横方向に並んだ３個の円形マーカは、いずれも直線上に配置されている。
【００２５】
以後、特に識別する必要がない場合は、第１指標８１、第２指標８２、第３指標８３、第４指標８４を総称してキャリブレーション指標８０と呼ぶ。
【００２６】
本車両周辺監視装置５は、さらに、図１に示すように、第１カメラ２１、第２カメラ２２、第３カメラ２３、第４カメラ２４にトリガをかけて撮像を行わせ、撮像された画像を入力してＡ／Ｄ変換を行ってデジタル画像に変換する画像入力部３０と、カメラ２０から入力された画像の記憶、カメラ２０から入力された画像の座標変換や合成処理、後述する画像表示部６０への画像表示の実施、および、車両から取得した情報に基づく予測軌跡の描画などの画像制御を行う画像制御部４０と、キャリブレーションの結果得られた座標変換テーブル、および、複数のカメラで撮像した画像を俯瞰画像に変換して、さらに１枚の画像に合成する際の座標変換テーブルを記憶保持しておくデータテーブル５０と、データテーブル５０に記憶された情報に基づいて座標変換された画像が出力される画像表示部６０と、内部パラメータ値と外部パラメータ値のキャリブレーションを行うキャリブレーション実行部７０を備えている。
【００２７】
キャリブレーション実行部７０は、さらに、撮像されたキャリブレーション指標の画像内での位置を算出するキャリブレーション指標位置算出部７１と、キャリブレーション指標位置算出部７１で算出されたキャリブレーション指標のうち、直線上に配置された３つのキャリブレーション指標の画像上での直線性を算出する直線性算出部７２と、直線性算出部７２で算出された直線性に基づいてキャリブレーションの終了判断を行うキャリブレーション終了判断部７３と、直線性算出部７２で算出された直線性に基づいて第１カメラ２１から第４カメラ２４の内部パラメータ値を調整する内部パラメータ値調整部７４と、キャリブレーション指標位置算出部７１で算出されたキャリブレーション指標の画像内での位置と、第１カメラ２１から第４カメラ２４の外部パラメータ値に基づいて計算された画像内におけるキャリブレーション指標の位置とのずれの大きさを算出する指標位置ずれ量算出部７６と、指標位置ずれ量算出部７６で算出された位置ずれの大きさに基づいて第１カメラ２１から第４カメラ２４の外部パラメータ値を調整する外部パラメータ値調整部７７と、内部パラメータ値調整部７４で調整された内部パラメータ値、または、外部パラメータ値調整部７７で調整された外部パラメータ値に基づいて、画像上のキャリブレーション指標の位置を再計算するキャリブレーション指標位置再計算部７５と、を有する。
【００２８】
次に、本実施形態に係る車両周辺監視装置５の作用について、図５〜７のフローチャートに基づいて説明する。
【００２９】
全体の処理の流れを、図５のフローチャートに示す。本実施例では、まずステップＳ５０において、内部パラメータ値のキャリブレーションが行われて、次にステップＳ５５において、外部パラメータ値のキャリブレーションが行われる。
【００３０】
次に、第１カメラ２１の内部パラメータ値のキャリブレーションの流れを、図６のフローチャートに基づいて説明する。
【００３１】
まず、第１カメラ２１で第１指標８１の撮像を行う（ステップＳ６０）。
【００３２】
ここで、ステップＳ６０において、例えば、図３（ａ）に示す画像が撮像されたものとする。
【００３３】
図３（ａ）に示す画像は、第１カメラ２１で、第１指標８１を撮像して得られた画像の例であり、縦横に延びた直線上に３個ずつ規則的に配列された同一サイズ、同一形状の９個の黒い円形マーカ（８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅ、８１ｆ、８１ｇ、８１ｈ、８１ｉ）が、それぞれ、撮像された画像上で９個の像（８１ａ’、８１ｂ’、８１ｃ’、８１ｄ’、８１ｅ’、８１ｆ’、８１ｇ’、８１ｈ’、８１ｉ’）として撮像された様子を表している。
【００３４】
このとき、第１カメラ２１は、地面や床面に設置された第１指標８１を斜め方向から観測しているため、第１カメラ２１から近い位置にある円形マーカほど、面積が大きく、かつ、円形マーカ同士の間隔が広く撮像される。
【００３５】
そして、さらに、第１カメラ２１の内部パラメータ値と外部パラメータ値のキャリブレーションが済んでいないため、縦横に延びた直線上に３個ずつ規則的に配列された第１指標８１の像は、図３（ａ）に示すように、直線からずれて画像化される。
【００３６】
次に、ステップＳ６０で撮像された画像の中から、キャリブレーション指標位置算出部７１の作用によって、第１指標８１の画像内における位置座標が算出される（ステップＳ６１）。
【００３７】
ステップＳ６１では、まず、撮像された画像に輪郭抽出処理を施し、９個の円形マーカの輪郭を抽出する。次に、輪郭を抽出した画像を予め設定されたしきい値で２値化することで、９個の円形マーカの輪郭を構成する画素を決定する。本実施例の場合、白地に黒い指標を検出するため、所定のしきい値よりも暗い画素を検出する２値化処理が行われ、例えば、所定値よりも暗い画素には１、所定値よりも明るい画素には０が与えられて、円形マーカの輪郭を表す２値画像が生成される。
【００３８】
ここで、撮像される画像の明るさは、周囲の明るさや撮像条件（シャッタ速度や絞り）等によって変化するため、前記した所定のしきい値は、キャリブレーション作業を行う操作者が、撮像された画像とそこから生成された、第１指標８１の輪郭を表す２値画像を見ながら、任意に変更できるようにしてもよい。
【００３９】
こうして２値化された９個の第１指標８１の輪郭を表す２値画像に対して、次に、輪郭を表す２値画像の重心位置の座標（ｘｇ，ｙｇ）を求める処理を行う。
【００４０】
このとき、輪郭を表す２値画像の重心位置の座標を求める前に、生成された２値画像に対して、領域に番号を付けるラベリング処理を行って、９個の第１指標８１が漏れなく検出できたことを確認するようにしてもよい。そして、第１指標８１が９個全て検出されないとき、もしくは、９個を越える領域が検出されたときは、２値化のしきい値を変更して再度２値化処理が繰り返される。
【００４１】
第１指標８１の輪郭を表す２値画像の重心位置の座標（ｘｇ，ｙｇ）を求める処理は、抽出した９個の第１指標８１の像の各々に対して、１つのキャリブレーション指標の像を構成する画素の水平方向座標（ｘ座標）の総和Σｘと、垂直方向の座標（ｙ座標）の総和Σｙと、像の面積Ｓをそれぞれ算出して、（式１）、（式２）によって算出する。
ｘｇ＝Σｘ／Ｓ        （式１）
ｙｇ＝Σｙ／Ｓ        （式２）
【００４２】
（式１）と（式２）で算出された第１指標８１の各々の指標の座標値は、後述する直線性評価に利用するため、各々の指標の設置位置と関連付けて、すなわち、例えば第１指標８１の配列を行列表現して、各行番号、および各列番号と関連付けて、直線性算出部７２の中に記憶される。
【００４３】
以後、同様の処理が、第２カメラ２２で撮像された第２指標８２の画像、第３カメラ２３で撮像された第３指標８３の画像、第４カメラ２４で撮像された第４指標８４の画像に対しても行われる。
【００４４】
次に、内部パラメータ値調整部７４において、第１カメラ２１の内部パラメータ値と外部パラメータ値が暫定的に設定される（ステップＳ６２）。
【００４５】
ここで、内部パラメータ値として、レンズの焦点距離であるｆ、撮像素子の画素の縦方向サイズＳｙと画素の横方向サイズＳｘ（Ｓｙ／Ｓｘが撮像素子のアスペクト比を表す）、画像上の光軸の位置である（Ｃｘ，Ｃｙ）、レンズ歪Distortion（ｘ，ｙ）のそれぞれの値が設定される。なお、これらの内部パラメータ値の正確な値は、キャリブレーションが終了するまでわからないため、暫定値として、デフォルト値が設定される。そして、デフォルト値としては、設計値を設定しておくのが望ましい。
【００４６】
ステップＳ６２において、外部パラメータ値も暫定的に設定される。具体的には、第１カメラ２１が設置された世界座標系での位置座標（Ｔｘ，Ｔｙ，Ｔｚ）と第１カメラ２１の設置方向（θ，Φ，ψ）が設定される。なお、θはｘ軸回りの回転角度を表し、Φはｙ軸回りの回転角度を表し、ψはｚ軸回りの回転角度を表す。これらの外部パラメータ値の正確な値は、キャリブレーションが終了するまでわからないため、暫定値として、デフォルト値が設定される。そして、デフォルト値としては、車両１０における第１カメラ２１の取り付け位置と、第１カメラ２１と第１指標８１との相対的な位置関係を表す設計値を設定しておくのが望ましい。
【００４７】
ここで、前記した全ての内部パラメータ値を調整する必要がない場合、すなわち、前記した内部パラメータのうち、信頼性の高い内部パラメータ値が事前にわかっているときには、その内部パラメータについてはキャリブレーションを行う必要がないため、内部パラメータのキャリブレーション対象から外してもよい。そのとき、キャリブレーション対象から外した内部パラメータには、事前にわかっている値を設定して、以後のキャリブレーション作業の中で固定値として取り扱う。
【００４８】
次に、キャリブレーション指標位置再計算部７５の作用によって、ステップＳ６１で算出された第１指標８１の像の位置座標が、ステップＳ６２で暫定的に設定された内部パラメータ値と外部パラメータ値に基づいて、本来観測されると予測される位置に座標変換される（ステップＳ６３）。
【００４９】
ここで、キャリブレーション指標８０が設置された世界座標系上の位置（ｘｗ，ｙｗ，ｚｗ）と、キャリブレーション指標８０を撮像したカメラの受光素子上に設定したカメラ座標系上の位置（ｘｃ，ｙｃ，ｚｃ）との関係について説明する。ここで、カメラの光軸方向をカメラ座標系のｚ軸とする。
【００５０】
両者は、前記した外部パラメータ値を介して、（式３）によって結ばれている。
【００５１】
2013239905.tif 000003
【００５２】
また、（式３）で算出されるキャリブレーション指標の画像上の位置（ｘｃ，ｙｃ）は、内部パラメータ値に応じて、（式４）から（式７）にしたがって決定する。
2013239905.tif 000004
【００５３】
ここで、（式４）は透視変換に伴って発生する座標のずれを表している。また、（式５）はカメラ２０のレンズ系がレンズ歪を有することに伴って発生する座標のずれを表している。そして、（式６）、（式７）は、撮像した光信号をデジタル信号に変換してデジタル画像を生成する際に、撮像素子の画素の縦方向サイズＳｙと画素の横方向サイズＳｘが１：１でないことによって発生する座標のずれと、レンズの光軸の位置が画像の中心と一致していないことによって発生する座標のずれ（Ｃｘ，Ｃｙ）を表している。
【００５４】
次に、ステップＳ６３で座標変換された第１指標８１の位置座標に基づいて、直線性算出部７２の作用によって、１直線上に配置された少なくとも３個のキャリブレーション指標の直線性が算出される（ステップＳ６４）。
【００５５】
この直線性の算出方法について、図４（ａ）を用いて説明する。
【００５６】
図４（ａ）は、第１指標８１の中で直線上に配置された３個の指標が、第１カメラ２１で撮像されて、更に、設定された内部パラメータ値と外部パラメータ値に基づいて、画像上で、点Ｐ１（ｘ１，ｙ１）、点Ｐ２（ｘ２，ｙ２）、点Ｐ３（ｘ３，ｙ３）の位置に変換されたことを表している。
【００５７】
ここで、点Ｐ１（ｘ１，ｙ１）、点Ｐ２（ｘ２，ｙ２）、点Ｐ３（ｘ３，ｙ３）は、それぞれ、図３（ａ）の左下の像８１ｇ’、中央下の像８１ｈ’、右下の像８１ｉ’に対応しているものとする。すなわち、点Ｐ１（ｘ１，ｙ１）、点Ｐ２（ｘ２，ｙ２）、点Ｐ３（ｘ３，ｙ３）は、元々、直線上に配置されていた３つの指標に対応する点である。
【００５８】
このとき、点Ｐ１と点Ｐ２を結ぶ直線ｉ１と、点Ｐ２と点Ｐ３を結ぶ直線ｉ２のなす角度をω１とすると、ω１は、ベクトルの内積を求める式を利用して、（式８）によって算出される。
2013239905.tif 000005
【００５９】
こうして算出された角度ω１を直線性評価指標として、ω１の２乗あるいは絶対値によって直線性を判定する。すなわち、角度ω１の値が小さいほど、３点Ｐ１，Ｐ２，Ｐ３の直線性が高くなる。
【００６０】
なお、上記した角度ω１の設定方法は、図４（ａ）の例に限定されるものではなく、例えば、図４（ｂ）に示すように、点Ｐ１と点Ｐ２を結ぶ直線ｉ１と、点Ｐ１と点Ｐ３を結ぶ直線ｉ３のなす角度をω２として、角度ω２の値に基づいて、３点Ｐ１，Ｐ２，Ｐ３の直線性を評価してもよい。この場合も、角度ω２の値が小さいほど、３点Ｐ１，Ｐ２，Ｐ３の直線性が高くなる。
【００６１】
そして、同様にして、図３（ｂ）の直線Ｌ２，Ｌ３，Ｌ４上に配置されている指標の座標が、キャリブレーション指標位置算出部７１から順に読み出されて、直線性算出部７２において、順次直線性評価指標が算出される。
【００６２】
次に、内部パラメータ値調整部７４の作用によって、直線性算出部７２で算出された４つの角度ωが、それぞれ所定のしきい値ωｔｈよりも小さいか否かが判定される（ステップＳ６５）。
【００６３】
そして、４つの角度ωが、全て所定のしきい値ωｔｈよりも小さいときは、ステップＳ６８に進み、１つでも所定のしきい値ωｔｈよりも大きい角度ωがあったときは、ステップＳ６６に進む。
【００６４】
ステップＳ６６において、内部パラメータ値調整部７４の作用によって、後述する内部パラメータ値の調整が所定回数行われたか否かが判定される。内部パラメータ値の調整が所定回数行われたと判定されたときはステップＳ６８に進み、それ以外のときは、ステップＳ６７に進む。
【００６５】
そして、ステップＳ６７において、内部パラメータ値調整部７４の作用によって、内部パラメータ値の調整が行われる。
【００６６】
ここで、カメラ２０の内部パラメータについて説明する。カメラ２０の内部パラメータには、先述したように、複数のパラメータが含まれている。
【００６７】
本実施例では、その全ての内部パラメータのキャリブレーションを行うことができるが、一部の内部パラメータのみのキャリブレーションも行うこともできる。
【００６８】
なお、キャリブレーションを行う内部パラメータの種類によって、必要となるキャリブレーション指標８０を構成する円形マーカの数は異なる。例えば、先述したレンズ歪は、画像上の位置によって異なる歪量を有し、その歪量は、一般に多数のパラメータを用いて記述されるため、レンズ歪のキャリブレーションを行う際には、キャリブレーション指標として多数の円形マーカ（例えば７×７＝４９点など）を使用する必要がある。
【００６９】
すなわち、本実施例では、調整する内部パラメータの種類と数に応じた個数の指標である円形マーカが設置される。そして、設置する円形マーカの個数は、調整するパラメータの種類によって異なり、また、調整するパラメータの数が多いほど多く設置するように、調整する内部パラメータの種類と数に応じて、予め決めておく。
【００７０】
本実施例では、調整する内部パラメータの種類を３種類とし、その各々の内部パラメータがそれぞれ１つの内部パラメータ値で記述されるとして、さらに、直線性評価を行う直線の数を４本とした場合を例にあげて、内部パラメータ値の調整方法について説明する。なお、調整する内部パラメータ値をｐ１，ｐ２，ｐ３で表し、また、設定される４本の直線は、図３（ｂ）に示した直線Ｌ１，Ｌ２，Ｌ３，Ｌ４に対応しているものとする。
【００７１】
直線Ｌｎ上に配置された３個のキャリブレーション指標に対して算出される直線性評価指標をｆｎ（ｐ１，ｐ２，ｐ３）で表すと、ｆｎ（ｐ１，ｐ２，ｐ３）は、テイラー展開の１次近似式によって、（式９）の形で表される。なお、本実施例の場合、直線性評価を行う直線の本数を４本としたため、（式９）におけるｎは、ｎ＝１〜４となる。
【００７２】
2013239905.tif 000006
【００７３】
ここで、∂ｆｎ／∂ｐｒは、内部パラメータ値ｐｒ（ｒ＝１〜３）を微少変化させたときの直線性評価指標ｆｎの変化量を表す。また、ｄｐｒは内部パラメータ値ｐｒの調整量を表す。なお、調整する内部パラメータの選択方法と、その調整量の決め方については後述する。
【００７４】
そして、直線性を評価する直線が４本あるため、（式９）を変形すると（式１０）が成り立つ。
【００７５】
2013239905.tif 000007
【００７６】
このとき、（式１０）の左辺の行列の逆行列を求めて、求めた逆行列を（式１０）の両辺に左側から乗算すると、内部パラメータ値の調整量ｄｐ１，ｄｐ２，ｄｐ３がそれぞれ算出される。
【００７７】
そして、現在の内部パラメータ値ｐ１，ｐ２，ｐ３に、内部パラメータの調整量ｄｐ１，ｄｐ２，ｄｐ３をそれぞれ加算すると、（式１１）によって、新しい内部パラメータ値が算出される。なお、（式１１）のｐｒ(ｎ)は、ｒ番めの内部パラメータ値ｐｒのｎ回目の調整値であることを表す。
2013239905.tif 000008
【００７８】
ステップＳ６３において、こうして算出された新しい内部パラメータ値の調整値ｐｒ(ｎ)を用いて、画像上の第１指標８１の位置を再計算した後、再びステップＳ６４において、（式８）に基づいて、直線Ｌ１，Ｌ２，Ｌ３，Ｌ４の各々に対して直線性評価指標である角度ωが算出されて、ステップＳ６５において、算出された４つの角度ωと所定のしきい値ωｔｈとの大小関係が判定される。
【００７９】
そして、４つの角度ωが、全てωｔｈよりも小さい（直線性が高くなる）か、もしくは、新しい内部パラメータ値を計算する計算回数が所定の値を超えるまで、ステップＳ６７において内部パラメータ値の調整が繰り返される。内部パラメータ値の調整が完了すると、ステップＳ６３に戻る。
【００８０】
こうして調整された第１カメラ２１の内部パラメータ値は、ステップＳ６８においてデータテーブル５０に記憶される。そして、これにより、第１カメラ２１の内部パラメータのキャリブレーションが終了する。
【００８１】
次に、ステップＳ６７で行われる内部パラメータ値の具体的な調整方法について説明する。
【００８２】
まず、調整すべき内部パラメータ値のうち少なくとも１つの内部パラメータ値を、そのパラメータ値が大きくなる方向、もしくは小さくなる方向のいずれかの方向に所定量だけ調整して、ステップＳ６４において直線性評価指標である角度ωが算出される。
【００８３】
次に、先ほど調整した内部パラメータ値を、先ほどと同じ方向に再び所定量だけ調整して、直線性評価指標である角度ωを再度算出する。
【００８４】
そして、算出された直線性評価指標である角度ωと、１回前に算出された直線性評価指標である角度ωとの差分値に基づいて、内部パラメータ値の次の調整方向と調整量を計算する。
【００８５】
すなわち、直線性評価指標である角度ωが小さくなった場合は、内部パラメータ値の調整精度が高くなったと判断して、内部パラメータ値を１回前と同一方向にさらに調整する。
【００８６】
このとき、内部パラメータ値の調整量は、直線性評価指標の差分値に基づいて決定すればよい。すなわち、直線性評価指標の差分値が大きいときは、内部パラメータ値の調整量を小さくして、逆に、直線性評価指標の差分値が小さいときは、内部パラメータ値の調整量を大きくすればよい。これによって、内部パラメータ値を早期に収束させることができるため、キャリブレーションを効率的に行うことができる。
【００８７】
一方、直線性評価指標である角度ωが大きくなった場合は、内部パラメータ値の調整精度が低くなったと判断して、内部パラメータ値を１回前と反対方向に調整する。
【００８８】
このとき、内部パラメータの調整量は、直線性評価指標の差分値に基づいて決定される。すなわち、直線性評価指標の差分値が大きいときには、内部パラメータ値の調整量を小さくして、逆に、直線性評価指標の差分値が小さいときには、内部パラメータ値の調整量を大きくすればよい。これによって、内部パラメータ値を早期に収束させることができるため、キャリブレーションを効率的に行うことができる。
【００８９】
そして、全く同様の手続きが、第２カメラ２２、第３カメラ２３、第４カメラ２４に対しても行われて、カメラ２０の内部パラメータ値のキャリブレーションが終了する。
【００９０】
ここで、内部パラメータ値を調整する際には、調整の対象とした内部パラメータを１つずつ個別に調整してもよいし、調整する全ての内部パラメータを同時に変更しながら調整してもよい。
【００９１】
なお、前記した内部パラメータ値のキャリブレーションは、数学的には、非線形の最小二乗法で表現される。そして、具体的には、ガウス・ニュートン法やLevenberg-Marquardt法を用いて解くことができる。
【００９２】
なお、第１カメラ２１に対する内部パラメータ値の調整が終了した後で、同様にして、第２カメラ２２、第３カメラ２３、第４カメラ２４のそれぞれに対する内部パラメータ値の調整が行われる。
【００９３】
次に、内部パラメータ値のキャリブレーションに続いて、外部パラメータ値のキャリブレーションが行われる。
【００９４】
以下、第１カメラ２１の外部パラメータ値のキャリブレーションの流れを、図７のフローチャートに基づいて説明する。
【００９５】
まず、外部パラメータ値調整部７７において、第１カメラ２１の外部パラメータ値と内部パラメータ値が設定される（ステップＳ７０）。外部パラメータ値としては、先に内部パラメータ値のキャリブレーションにおいて、図６のステップＳ６２で設定したデフォルト値を設定すればよい。
【００９６】
ステップＳ７０において、同時に内部パラメータ値も設定されるが、これは、先に行った内部パラメータ値のキャリブレーションによって調整されて、データテーブル５０に記憶された値が設定される。
【００９７】
次に、キャリブレーション指標位置再計算部７５の作用によって、内部パラメータ値のキャリブレーションによって最終的に得られた第１指標８１の像の位置座標が、ステップＳ７０で暫定的に設定された内部パラメータ値と外部パラメータ値に基づいて、本来観測されると予測される位置に座標変換される（ステップＳ７１）。この座標変換は、前記した内部パラメータ値のキャリブレーションの説明の中で述べた方法と同様にして行うことができる。
【００９８】
次に、指標位置ずれ量算出部７６の作用によって、内部パラメータ値のキャリブレーションによって最終的に得られた第１指標８１の像の位置座標と、ステップＳ７１で算出された第１指標８１の像の位置座標とのずれの大きさが算出される（ステップＳ７２）。
【００９９】
具体的には、両者の水平方向の位置のずれΔｘと垂直方向の位置のずれΔｙが、指標毎に算出される。
【０１００】
こうして算出された水平方向の位置のずれΔｘと垂直方向の位置のずれΔｙをより小さく調整することによって、外部パラメータ値のキャリブレーションが遂行される。
【０１０１】
すなわち、外部パラメータ値調整部７７の作用によって、算出された水平方向の位置のずれΔｘと垂直方向の位置のずれΔｙが、それぞれ所定のしきい値Δｘｔｈ、およびΔｙｔｈよりも小さいか否かが判定される（ステップＳ７３）。
【０１０２】
そして、指標毎に算出された複数のΔｘ、Δｙが全て所定のしきい値よりも小さいときは、ステップＳ７６に進み、１つでも所定のしきい値より大きいずれがあったときは、ステップＳ７４に進む。
【０１０３】
次に、ステップＳ７４において、外部パラメータ値調整部７７の作用によって、後述する外部パラメータ値の調整が所定回数行われたか否かが判定される。外部パラメータ値の調整が所定回数行われたと判定されたときはステップＳ７６に進み、それ以外のときは、ステップＳ７５に進む。
【０１０４】
そして、ステップＳ７５において、外部パラメータ値調整部７７の作用によって、外部パラメータ値の調整が行われる。
【０１０５】
外部パラメータ値の調整方法は、先述した内部パラメータ値の調整方法と同様にして行うことができ、具体的には、ステップＳ７５において、外部パラメータ値を所定の方向に所定量だけ変化させて、その都度ステップＳ７１において、第１指標８１の像の位置座標を計算し、ステップＳ７２においてずれの大きさを計算して、ステップＳ７３において、ずれの大きさが所定値以下になったら、外部パラメータ値の調整を完了したと判断すればよい。
【０１０６】
もしくは、ステップＳ７４において、外部パラメータ値の調整を所定回数行った時点で、外部パラメータ値の調整を完了したと判断してもよい。
【０１０７】
こうして調整された第１カメラ２１の外部パラメータ値は、ステップＳ７６においてデータテーブル５０に記憶される。そして、これにより、第１カメラ２１の外部パラメータ値のキャリブレーションが終了する。
【０１０８】
このようにして、内部パラメータ値と外部パラメータ値のキャリブレーションを行うことによって、キャリブレーションを行う前に撮像された図３（ａ）の画像は、図３（ｂ）のように変換される。ここで、図３（ｂ）は、図３（ａ）に示す９個の第１指標８１の像（８１ａ’ ，８１ｂ’ ，８１ｃ’ ，８１ｄ’ ，８１ｅ’ ，８１ｆ’ ，８１ｇ’ ，８１ｈ’ ，８１ｉ’）が、それぞれ、９個の第１指標８１の像（８１ａ” ，８１ｂ” ，８１ｃ” ，８１ｄ” ，８１ｅ” ，８１ｆ” ，８１ｇ” ，８１ｈ” ，８１ｉ”）に座標変換されることを示している。
【０１０９】
そして、図３（ｂ）に示す直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が、内部パラメータ値のキャリブレーションを行う際に設定した４本の直線に対応している。
【０１１０】
なお、第１カメラ２１に対する外部パラメータ値の調整が終了した後で、同様にして、第２カメラ２２、第３カメラ２３、第４カメラ２４のそれぞれに対する外部パラメータ値の調整が行われる。
【０１１１】
次に、調整された内部パラメータ値、および外部パラメータ値を用いて、４台のカメラ２０で撮像した４枚の画像を視点変換して、車両１０を上空から見下ろした画像に変換して、さらに１枚の画像に合成する処理について説明する。
【０１１２】
視点変換は、周知の座標変換によって実施される。その際に、画素毎に逐一座標変換を行っていたのでは処理時間がかかるため、座標変換テーブルを用いて座標変換を行う方法が採られる。
【０１１３】
そのため、まずは、内部パラメータ値と外部パラメータ値のキャリブレーションの結果算出された内部パラメータ値と外部パラメータ値を用いて、４台のカメラ２０の各々に対して、座標変換テーブルが作成される。
【０１１４】
作成された座標変換テーブルは、データテーブル５０に格納されて記憶される。
【０１１５】
次に、４台のカメラ２０で撮像して視点変換された画像を１枚の画像に合成するための合成テーブルが作成される。
【０１１６】
この合成テーブルは、図８に示す画像を生成するためのテーブルである。
【０１１７】
すなわち、この合成テーブルは、図８に示すように、第１カメラ２１で撮像されて視点変換された画像を、第１部分画像２１０として車両１０を模した車両アイコン１００の前方に配置するために必要な座標変換の規則と、第２カメラ２２で撮像されて視点変換された画像を、第２部分画像２２０として車両１０を模した車両アイコン１００の左方に配置するために必要な座標変換の規則と、第３カメラ２３で撮像されて視点変換された画像を、第３部分画像２３０として車両１０を模した車両アイコン１００の右方に配置するために必要な座標変換の規則と、第４カメラ２４で撮像されて視点変換された画像を、第４部分画像２４０として車両１０を模した車両アイコン１００の後部に配置するために必要な座標変換の規則が格納されたテーブルである。
【０１１８】
そして、このようにして生成された合成テーブルを用いて、画像制御部４０は、４台のカメラ２０で撮像された画像を座標変換して、図８に示す画像を生成する。なお、図８の中に規則的に描かれた線（Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６）は、路面に描かれた縦横の区画線を示しており、図８の画像が、車両の上空から路面を見下ろした画像であることを示すために、便宜的に表示したものである。
【０１１９】
次に、画像制御部４０は、合成された画像の中央部に、予め用意された車両１０を模した車両アイコン１００を重畳して、画像表示部６０に出力する。
【０１２０】
車両１０の運転者は、画像表示部６０に表示された画像を目視して車両周囲の状況を確認しながら、必要な駐車動作を実行することができる。
【０１２１】
以上説明したように、このように構成された本発明の車載カメラのキャリブレーション装置によれば、デフォルトの内部パラメータ値とデフォルトの外部パラメータ値を有するカメラ２０の撮像範囲内に配置された、直線上に並ぶ少なくとも３個のキャリブレーション指標８０をカメラ２０で撮像して、こうして撮像された画像の中から、キャリブレーション指標位置算出部７１によって少なくとも３個のキャリブレーション指標８０の画像内での位置を算出して、こうして算出された少なくとも３個のキャリブレーション指標８０の画像内での位置に基づいて、直線性算出部７２において、同一直線上にある少なくとも３個のキャリブレーション指標８０のうち、２個のキャリブレーション指標を通る直線と、２個のキャリブレーション指標のうちの一方と２個のキャリブレーション指標以外のキャリブレーション指標を通る直線と、のなす角度ω１を算出して、内部パラメータ値調整部７４において、直線性算出部７２で算出された角度ω１に基づいて、内部パラメータ値を調整して、こうして調整された内部パラメータ値とデフォルトの外部パラメータ値に基づいて、キャリブレーション指標位置再計算部７５において、画像内におけるキャリブレーション指標の位置を再計算して、キャリブレーション終了判断部７３が、再計算されたキャリブレーション指標の位置に基づいて直線性算出部７２で算出された角度ω１によって、内部パラメータ値の調整を終了する判断を行う構成としたため、キャリブレーション指標８０を撮像した画像の中で、直線上に配置された少なくとも３つのキャリブレーション指標の直線性を算出して、その算出結果に基づいて、３つのキャリブレーション指標の画像内における直線性が高くなる方向に内部パラメータ値を調整するため、簡単な演算によって内部パラメータ値の調整を行うことができ、これによって、キャリブレーションを短時間で簡便に行うことができる。また、外部パラメータの値の影響を受けずに内部パラメータの値を調整することができるため、カメラ２０を車両１０に取り付けた状態で内部パラメータ値の調整を行うことができ、これによって、キャリブレーションを効率的に行うことができる。
【０１２２】
また、本発明の車載カメラのキャリブレーション装置によれば、キャリブレーション指標８０を、調整する内部パラメータの個数の増加に応じてより多くの本数が設定される直線上、もしくは、調整する内部パラメータの種類の増加に応じてより多くの本数が設定される直線上、に前記直線１本について少なくとも３個ずつ配置する構成としたため、調整が必要な内部パラメータのみを選択してキャリブレーションを行うことができ、これによって、キャリブレーション作業を効率的に行うことができる。
【０１２３】
さらに、本発明の車載カメラのキャリブレーション装置によれば、内部パラメータ値調整部７４は、内部パラメータ値のうち少なくとも１つを所定量だけ所定の方向に調整したときに、直線性算出部７２で算出された角度ω１が内部パラメータ値の調整前よりも小さくなったときには、内部パラメータ値のうち少なくとも１つを、角度ω１の変化量に応じた量だけ、さらに前記所定の方向に調整して、内部パラメータ値のうち少なくとも１つを所定量だけ所定の方向に調整したときに、直線性算出部７２で算出された角度ω１が内部パラメータ値の調整前よりも大きくなったときには、内部パラメータ値のうち少なくとも１つを、角度ω１の変化量に応じた量だけ、所定の方向とは逆の方向に調整する構成としたため、内部パラメータ値を早期に収束させることができ、これによって、キャリブレーションを効率的に行うことができる。
【０１２４】
また、本発明の車載カメラのキャリブレーション装置によれば、キャリブレーション終了判断部７３は、直線性算出部７２で算出された角度ω１が所定の値を下回ったとき、もしくは、内部パラメータ値調整部７４において、内部パラメータ値の調整を所定回数行ったときに、内部パラメータ値の調整を終了する判断を行う構成としたため、キャリブレーションの終了判断を効率的に行うことができ、これによって、キャリブレーション作業をより短時間で行うことができる。
【０１２５】
さらに、本発明の車載カメラのキャリブレーション装置によれば、内部パラメータ値は、カメラ２０が備える光学系の焦点距離と、カメラ２０が備える受光素子を構成する画素のサイズの縦横比と、光学系の光軸と前記受光素子との交点の位置と、光学系の歪と、のうち少なくとも１つとしたため、調整が必要な内部パラメータのみのキャリブレーションを行うことができ、これによって、キャリブレーション作業をより短時間かつ効率的に行うことができる。
【０１２６】
そして、本発明の車載カメラのキャリブレーション装置によれば、キャリブレーション指標位置算出部で算出されたキャリブレーション指標８０の位置とカメラ２０の外部パラメータ値に基づいて計算された画像内におけるキャリブレーション指標８０の位置とのずれの大きさを算出する指標位置ずれ量算出部７６と、指標位置ずれ量算出部７６で算出されたずれの大きさに基づいて、外部パラメータ値を調整する外部パラメータ値調整部７７と、を有し、キャリブレーション指標位置再計算部７５は、さらに、外部パラメータ値調整部７７によって調整された外部パラメータ値と調整を終了した内部パラメータ値とに基づいて、画像内におけるキャリブレーション指標８０の位置を計算するものであり、キャリブレーション終了判断部７３は、さらに、指標位置ずれ量算出部７６で算出されたずれの大きさに基づいて、外部パラメータ値の調整を終了する判断を行う構成としたため、内部パラメータ値のキャリブレーションを行う際に撮像した画像を用いて外部パラメータ値のキャリブレーションも行うことができ、これによって、キャリブレーションに必要な画像が１枚で済むため、記憶量の小さい計算機環境においてキャリブレーションを行うことができる。また、内部パラメータ値のキャリブレーションと外部パラメータ値のキャリブレーションを、同じキャリブレーション指標と同じ装置を用いて行うことができるため、これによって、キャリブレーション作業を効率的に行うことができる。さらに、内部パラメータ値のキャリブレーションと外部パラメータ値のキャリブレーションを独立して行うことができるため、例えば、内部パラメータ値が既知であるときには、外部パラメータ値のみのキャリブレーションを行うことができ、これによって、キャリブレーション作業の効率化を図ることができる。
【０１２７】
なお、前記した実施例において、キャリブレーション指標８０には黒い円形マーカを利用したが、キャリブレーション指標８０の指標の形状はこれに限定されるものではない。すなわち、その他の形状、例えば矩形形状のマーカを用いてもよい。
【０１２８】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【０１２９】
５  車両周辺監視装置
１０  車両
２０  カメラ
２１  第１カメラ
２２  第２カメラ
２３  第３カメラ
２４  第４カメラ
３０  画像入力部
４０  画像制御部
５０  データテーブル
６０  画像表示部
７０  キャリブレーション実行部
７１  キャリブレーション指標位置算出部
７２  直線性算出部
７３  キャリブレーション終了判断部
７４  内部パラメータ値調整部
７５  キャリブレーション指標位置再計算部
７６  指標位置ずれ量算出部
７７  外部パラメータ値調整部
８０  キャリブレーション指標
８１  第１指標
８２  第２指標
８３  第３指標
８４  第４指標
【図１】
2013239905.tif 000009
【図２】
2013239905.tif 000010
【図３】
2013239905.tif 000011
【図４】
2013239905.tif 000012
【図５】
2013239905.tif 000013
【図６】
2013239905.tif 000014
【図７】
2013239905.tif 000015
【図８】
2013239905.tif 000016