(57)【要約】【課題】車両の位置決めを要することなく車載カメラのキャリブレーションとその精度評価を的確に行うことのできる車載カメラ用キャリブレーションシステムを提供する。【解決手段】井形ないし格子状に配列された複数本の直線Ｌ１〜Ｌ８からなる校正用ターゲット１０１と、車両の所定部位に取り付けられ、前記校正用ターゲット１０１を含む車両周辺部分を撮影する複数台のカメラと、該カメラにより撮影された画像を用いて前記各カメラのキャリブレーションを行う手段と、前記複数台のカメラにより撮影された前記校正用ターゲットを含む車両周辺部分の画像を用いて、前記キャリブレーションの精度を評価する手段とを具備する。【選択図】図６
2014127834.tif 000002
【特許請求の範囲】
【請求項１】
井形ないし格子状に配列された複数本の直線からなる校正用ターゲットと、車両の所定部位に取り付けられ、前記校正用ターゲットを含む車両周辺部分を撮影する複数台のカメラと、該カメラにより撮影された画像を用いて前記カメラのキャリブレーションを行う手段と、前記カメラにより撮影された前記画像を用いて、前記キャリブレーションの精度を評価する手段とを具備して構成された車載カメラ用キャリブレーションシステム。
【請求項２】
前記キャリブレーションの精度を評価する手段は、前記カメラで撮影された画像を所定の態様で視点変換・合成して俯瞰画像を得、該俯瞰画像を用いて前記キャリブレーションの精度を評価することを特徴とする請求項１に記載の車載カメラ用キャリブレーションシステム。
【請求項３】
前記校正用ターゲット含む車両周辺部分を前記カメラで一度撮影するだけで、前記キャリブレーションから前記精度評価までを連続的に行うことができるようにされていることを特徴とする請求項１又は２に記載の車載カメラ用キャリブレーションシステム。
【請求項４】
前記キャリブレーションの精度を評価する手段は、再現性評価手段、直線傾き評価手段、および直線ズレ評価手段の３つの評価手段を有し、これら３つの評価手段の評価結果を総合して前記キャリブレーションの精度を評価することを特徴とする請求項１から３のいずれかに記載の車載カメラ用キャリブレーションシステム。
【請求項５】
前記再現性評価手段、直線傾き評価手段、および直線ズレ評価手段の評価結果に基づいて、前記キャリブレーションを行った際にどのカメラにおいてどのカメラパラメータを間違えたかを推定する手段を有することを特徴とする請求項１から４のいずれかに記載の車載カメラ用キャリブレーションシステム。
【請求項６】
前記推定結果に基づいて、前記キャリブレーションを再実行する際の操作等を変更修正することを特徴とする請求項５に記載の車載カメラ用キャリブレーションシステム。
【請求項７】
前記推定結果に基づいて、モニタやＣＡＮ出力を通じて前記カメラの取付状態等をユーザに報知する機能を有することを特徴とする請求項５又は６に記載の車載カメラ用キャリブレーションシステム。
【請求項８】
前記校正用ターゲットは、実線からなる直線又は破線や鎖線などの欠落のある直線で構成されていることを特徴とする請求項１から７のいずれかに記載の車載カメラ用キャリブレーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラ用キャリブレーションシステムに係り、例えば、井形ないし格子状の校正用ターゲットと該ターゲットを含む車両周辺部分を撮影する複数台のカメラとを有し、該カメラにより撮影された画像を用いて前記各カメラのキャリブレーションを行う車載カメラ用キャリブレーションシステムに関し、特に、前記キャリブレーションだけでなくその精度をも評価することのできるシステムに関する。
【背景技術】
【０００２】
車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を、車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
【０００３】
このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取付状態を是正するために、車両の後方に校正用のターゲット（指標）を設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように、車載カメラの取付状態を調整することが行われる。
【０００４】
また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで、車載モニタに映る画像を適正に校正することが行われている。
【０００５】
また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ、車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。
【０００６】
このような場合は、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度のキャリブレーションが求められる。
【０００７】
しかし、従来のキャリブレーション方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後に、その車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後に、その校正用ターゲットに対して精度よく車両を設置する必要があった。
【０００８】
このため、車両生産ラインでは、費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がなされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門でキャリブレーションをし直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため、作業の手間が一層かかるものとなっている。
【０００９】
このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されないキャリブレーション方法が望まれており、従来においても幾つかの技術が提案されている。
【００１０】
例えば特許文献１には、白線格子を校正用ターゲットとし、白線格子の直線度、平行度、直交度、間隔といった車両の停車状態とは無関係な特徴を利用して、複数台のカメラの内部／歪みパラメータ、および外部パラメータをキャリブレーションする手法が提案されている。この特許文献１に所載の方法は、簡便さ、精度の面で非常に優れており、車両の位置決めが不要で、内部／歪みパラメータもキャリブレーションできるため、簡易かつ高精度なキャリブレーションが可能である。
【００１１】
一方、車両の生産ラインでキャリブレーションを行った後は、キャリブレーション精度が製品出荷に耐えうるものであるかを判断する必要がある。その判断は、職人的な技術を有する者にしかできないものではなく、生産ラインに入る誰もが客観的に評価できるものが求められている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１２−０１５５７６号公報
【特許文献２】特開２００９−１１８４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
キャリブレーション評価を行うために、特殊な追加設備を必要とするのでは、車両と校正用ターゲットの相対的な設置精度を要さないキャリブレーション技術を利用する意味がなくなる。したがって、この評価を行うシステムにおいても、キャリブレーションの場合と同様に、工場の生産ラインに特殊な設備を追加することなく行うことができるものが望まれる。このような状況から、特殊な追加設備が不要なキャリブレーション精度評価方法が必要となっている。
【００１４】
特許文献２は、校正用ターゲットと、キャリブレーション精度評価用ターゲットが一体化したものとなっている。しかしながら、校正用ターゲットとして、特殊形状（ドット柄）のターゲットを用いており、校正用ターゲットが映る位置に基づいてキャリブレーションを行うため、車両の位置決めが必要となっている。撮影を一度行えば、キャリブレーションもその精度評価も行うことができる点は優れているが、車両の位置決めが必要なため、生産ラインへの追加の設備投資が避けられず、結局費用がかかってしまう。
【００１５】
本発明は、上記事情に鑑みてなされたもので、その目的とするところは、車両の位置決めを要することなく車載カメラのキャリブレーションとその精度評価を的確に行うことのできる車載カメラ用キャリブレーションシステムを提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成すべく、本発明に係る車載カメラ用キャリブレーションシステムは、井形ないし格子状に配列された複数本の直線からなる校正用ターゲットと、車両の所定部位に取り付けられ、前記校正用ターゲットを含む車両周辺部分を撮影する複数台のカメラと、該カメラにより撮影された画像を用いて前記各カメラのキャリブレーションを行う手段と、前記複数台のカメラにより撮影された前記校正用ターゲットを含む車両周辺部分の画像を用いて、前記キャリブレーションの精度を評価する手段とを具備して構成される。
【発明の効果】
【００１７】
本発明に係る車載カメラ用キャリブレーションシステムでは、井形ないし格子状の校正用ターゲットを設け、該校正用ターゲット含む車両周辺部分を複数台のカメラで撮影し、この車載カメラにより撮影された画像を用いて前記車載カメラのキャリブレーションを行うとともに、前記複数台のカメラにより撮影された前記画像を用いて、前記キャリブレーション精度を評価するようにされるので、キャリブレーション及びその精度評価を行う際に、車両の位置決めが不要となり、キャリブレーション精度評価のために新たに設備を設ける必要がなく、したがって、精度評価を行わない従来システムからのコストアップはほとんど生じない。
【００１８】
また、校正用ターゲットを精度評価用ターゲットとして用い、校正用ターゲット含む車両周辺部分を車載カメラにより一度撮影するだけで、キャリブレーションから精度評価までを連続して行うことができるので、作業時間を低減でき、工場の生産ラインに別途評価用のスペースを設ける必要がない。
上記した以外の、課題、構成、及び効果は、以下の実施形態により明らかにされる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る車載カメラ用キャリブレーションシステムの一実施例を示す概略構成図。
【図２】実施例で用いられる校正用ターゲットの一例を示す平面図。
【図３】実施例において校正用ターゲットに対する車両の配置例を示す平面図。
【図４】実施例のキャリブレーションシステムにおける処理手順の一例を示すフローチャート。
【図５】実施例のキャリブレーションシステムにおける処理手順の他の例を示すフローチャート。
【図６】実施例のキャリブレーションシステムにおける処理手順の別の例を示すフローチャート。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照しながら説明する。
図１は、本発明に係る車載カメラ用キャリブレーションシステムの一実施例を示す概略構成図である。
【００２１】
図示例のキャリブレーションシステム１０は、校正用ターゲット１０１と、カメラＡ、Ｂ、Ｃ、Ｄと、制御ユニット１００と、入力装置１０６と、表示装置１０７とを有し、制御ユニット１００は、カメラインターフェース１０２と、演算装置（ＣＰＵ）１０３と、ＲＡＭ１０４と、ＲＯＭ１０５とを備える。
【００２２】
校正用ターゲット１０１は、複数本の白線（直線）で井形ないし格子状に形成されており、カメラＡ、Ｂ、Ｃ、Ｄによって撮影され、車載カメラ用キャリブレーションおよびその精度評価に用いられる。つまり、校正用ターゲット１０１は、キャリブレーション精度評価用のターゲットにもなり、キャリブレーションおよびその精度評価に必要な情報を保有する。キャリブレーションおよびその精度評価に必要な情報に関しては、図２を用いて後で説明する。
【００２３】
カメラＡ、Ｂ、Ｃ、Ｄは、車両の前後左右に設置される。校正時には校正用ターゲット１０１を撮影し、撮影した画像をキャリブレーションに用いる。キャリブレーション後は、カメラＡ、Ｂ、Ｃ、Ｄの画像を演算装置１０３で視点変換・合成し、表示装置１０７を介して、ユーザに車両の真上から見下ろした俯瞰画像を提示する。
【００２４】
カメラインターフェース１０２は、カメラＡ、Ｂ、Ｃ、Ｄから送り出された画像信号を正しくサンプリングし、演算装置１０３に送り込む。
【００２５】
演算装置１０３は、カメラインターフェース１０２、ＲＡＭ１０４、ＲＯＭ１０５、入力装置１０６、表示装置１０７と連携し、キャリブレーション演算を含む種々の演算を実行する。具体的には、カメラインターフェース１０２から送られてきた画像信号をＲＡＭ１０４に格納したり、ＲＯＭ１０５に格納されているカメラパラメータ初期値を読み出して、ＲＡＭ１０４に格納された画像を視点変換・合成したり、視点変換・合成された画像を表示装置１０７に表示させる処理を行う。また、俯瞰画像が真上から見下ろした画像になるように、カメラの設置位置やカメラ姿勢を算出するキャリブレーション演算を実行したり、入力装置１０６において受け付けたユーザの入力情報を受け取り、キャリブレーション演算に活用したりする。処理手順の詳細は、後で図４、図５、図６を参照しながら説明する。
【００２６】
ＲＡＭ１０４にはカメラＡ、Ｂ、Ｃ、Ｄによって撮影された画像データが格納される。また、演算装置１０３で得られる計算結果も格納される。
【００２７】
ＲＯＭ１０５には、キャリブレーションシステムにおいて必要となる事前の情報が書き込まれ、格納される。例えば、カメラの設置位置・姿勢の設計値、カメラの焦点距離、画素サイズ、光軸中心、歪み関数などのカメラパラメータが格納される。
【００２８】
入力装置１０６は、ユーザからキャリブレーションに必要な情報などの入力を受け付け、その入力情報を演算装置１０３に送り込む。
【００２９】
表示装置１０７は、演算装置１０３の指示に基づき、カメラＡ、Ｂ、Ｃ、Ｄの画像を変換して表示する。演算装置１０３からの指示によっては、カメラＢのみの画像を変換せずに表示したり、カメラＡ、Ｂ、Ｃ、Ｄの画像を視点変換、合成して、俯瞰画像に変換して表示したりする。
【００３０】
図２は、本実施例において使用される校正用ターゲット１０１を示す平面図である。
図示の校正用ターゲット１０１は、同一平面（地面）に塗工された８本の白線で井形ないし格子状に形成されている。詳細には、互いに平行な直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４と、互いに平行な直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８からなる。また、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４と直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８は互いに直交する。
【００３１】
また、直線Ｌ５と直線Ｌ６の間隔はＷ１、直線Ｌ６と直線Ｌ７の間隔はＷ２、直線Ｌ７と直線Ｌ８の間隔はＷ３と定められた値になっている。
【００３２】
また、直線Ｌ１と直線Ｌ２の間隔はＷ４、直線Ｌ２と直線Ｌ３の間隔はＷ５、直線Ｌ３と直線Ｌ４の間隔はＷ６と定められた値になっている。
【００３３】
先に述べた「キャリブレーションおよびその精度評価に必要な情報」とは、上記した全直線Ｌ１〜Ｌ８が同一平面上にあること、直線Ｌ１〜Ｌ４及びＬ５〜Ｌ８において各直線が互いに平行であること、直線Ｌ１〜Ｌ８がそれぞれ直線性を有すること（曲がっていてはいけない）、隣り合う直線同士の間隔がＷ１〜Ｗ６であることなどである。
【００３４】
ここに示される校正用ターゲット１０１は一例であり、これに限られる訳ではない。例えば、平行度、直線性を満たす限り、直線の数を増加させてもよい。また、直線Ｌ５と直線Ｌ１との直交性は必須ではない。また、校正用ターゲットを、実線からなる直線で構成しているが、それに限らず、破線や鎖線などの欠落のある直線で構成してもよい。
【００３５】
図３は、校正用ターゲット１０１に対する車両３００の配置状態を示す。車両３００の前側にカメラＡ、後ろ側にカメラＢ、左側にカメラＣ、右側にカメラＤがそれぞれ取り付けられている。車両３００は校正用ターゲットの内側に停車される。この際、車両３００の理想的な停車位置は、車両中心とターゲット１０１の中心が一致する位置であるが、図３のように車両３００が斜めになったり、車両の停車位置が前後左右にずれたりしてもかまわない。
【００３６】
ただし、カメラＡの撮影範囲内に直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４のうち少なくとも２本と、直線Ｌ５と直線Ｌ６の２本が配置されている必要がある。
【００３７】
また、カメラＢの撮影範囲内に、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４のうち少なくとも２本と、直線Ｌ７と直線Ｌ８の２本が配置されている必要がある。
【００３８】
また、カメラＣの撮影範囲内に、直線Ｌ１と直線Ｌ２の２本と、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８のうち少なくとも２本が配置されている必要がある。
【００３９】
また、カメラＤの撮影範囲内に、直線Ｌ３と直線Ｌ４の２本と、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８のうち少なくとも２本が配置されている必要がある。
【００４０】
図４は、実施例のキャリブレーションシステム１０における処理手順の一例を示すフローチャートである。
【００４１】
実施例のキャリブレーションシステム１０では、ステップ４０１の画像取得、ステップ４０２のキャリブレーション実行、ステップ４０３のマップ作成、・・・の順で実行される。以下で、各処理について説明する。
【００４２】
ステップ４０１では、校正用ターゲット１０１をカメラＡ、Ｂ、Ｃ、Ｄで撮影し、カメラインターフェース１０２、演算装置１０３を介して、ＲＡＭ１０４にカメラＡ、Ｂ、Ｃ、Ｄで撮影された画像を保存する（画像を取得する）。
【００４３】
ステップ４０２では、キャリブレーションを実行する。すなわち、カメラＡ、Ｂ、Ｃ、Ｄの位置および姿勢の設計値からの誤差を修正し、ずれのない理想的な俯瞰画像が得られるようにする。位置とは三次元空間座標（ｘ、ｙ、ｚ）、姿勢とはロール、ピッチ、ヨーを指す。詳細は、後で図６を参照しながら説明する。ここでは、各カメラの設計値からの誤差を含んだ位置および姿勢、すなわち、キャリブレーション済みパラメータが得られる。この処理内容については、特許文献１を参照されたい。
【００４４】
続くステップ４０３では、カメラＡ、カメラＢ、カメラＣ、カメラＤで撮像された画像の各画素と、俯瞰画像の各画素の対応関係を表現するマップを作成する。マップとはその対応関係を記述するものである。マップは俯瞰画像中のある画素に対応する画素は、カメラＡで撮影された画像のこの画素である、という情報の集合体から成り立っている。マップは、カメラＡ、Ｂ、Ｃ、Ｄの各画像を視点変換・合成する際に利用するものである。俯瞰画像のある画素と各カメラ画像の画素の対応関係は、カメラの姿勢と位置が分かれば、カメラの幾何変換式から容易に求めることができる。キャリブレーション済みパラメータを用いて、取り付け位置と姿勢の設計値からの誤差を考慮したうえでマップを作成すると、カメラ画像のつなぎ目にズレがなく、かつ真上から見下ろした理想的な俯瞰画像を得ることができる。
【００４５】
ステップ４０４では、ステップ４０３で作成されたマップと、カメラＡ、Ｂ、Ｃ、Ｄで撮影されてＲＡＭ１０４に格納されている画像を用いて、俯瞰視点に変換し、キャリブレーション精度評価を行うための評価用画像を合成する（評価用画像作成）。この際、作成された評価用画像は、ＲＡＭ１０４に再び格納される。評価用画像は、カメラ姿勢と位置のキャリブレーションが正しければ、ズレがなく、真上から見下ろした適正な俯瞰画像となっており、キャリブレーションが間違っていれば、ズレがあり、真上から見下ろした適正な俯瞰画像にはなっていない。
【００４６】
ステップ４０５では、精度評価に利用する画像特徴を認識する（画像認識）。評価に利用するのは、評価用画像における白線格子の直線方程式、および全直線の交点である。例えば、ハフ変換などの公知の画像認識技術によって白線の方程式を求め、白線の方程式から直線の交点を求めるなどの処理によって得られる。白線は、立ち上がりエッジと立ち下がりエッジから構成されているが、例えば立ち上がりエッジの方程式とその交点座標でもよい。また、立ち下がりエッジの方程式とその交点座標でもよい。双方の方程式と交点座標でもよい。ここでは、ステップ４０２での認識結果で利用できるものがあればそのまま利用してもよい。
【００４７】
ステップ４０６では再現性評価、ステップ４０７では直線傾き評価、ステップ４０８では直線ズレ評価を行い、ステップ４０９では、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価の３つの評価結果に基づき最終的なキャリブレーション精度の評価値（スコア）を算出する。評価値算出がこのような構成になっている理由は、キャリブレーションが正しくできていないときは、この３つの評価のうちの少なくともどれか一つが必ず悪い結果になっているという観点に基づく。
【００４８】
以下、評価値（スコア）の算出法について説明する。
ステップ４０６の再現性評価では、評価用画像において、白線格子が正しく再現されている程度を評価する。白線格子に関しては、白線間の間隔やターゲット全体の大きさなどは既知の情報である。ここでは、評価用画像における白線格子、すなわちキャリブレーション後の俯瞰画像中の白線格子が、実際の白線格子の既知情報にどの程度近いかを評価する。ただし、この際、車両の停車状態が不定であるため、評価用画像における白線格子が斜めになっていたり、映る場所が前後左右に大きくズレていたりなどという状況が考えられる。
【００４９】
そこで、評価用画像全体を回転、並進させて、理想的な停車状態の場合に評価用画像に撮影されるであろう画像とマッチングさせる。次に、最もマッチする状態の評価用画像における直線交点座標と、それに対応する理想的な停車状態の場合の直線交点座標の誤差を算出する。本実施例においては、直線の交点数は全部で１６点あるため、１６点の誤差を評価することになる。キャリブレーションの精度が低い場合、例えばカメラ高さが間違っているために、白線格子の間隔が間違って表示されている場合や、直線自体はつながっているが、つなぎ合わせる直線が間違っている場合などには、この誤差が大きくなる。この誤差の大きさに基づき、評価値を算出する。例えば、この評価値を１００点満点で定義する場合、１６点のうちの最大の誤差をとり、その最大の誤差値の定数倍を１００から引いた値を再現性評価値とするなどが考えられる。
【００５０】
ステップ４０７の直線傾き評価では、評価用画像において、直線間の平行度がどの程度満たされているかを評価する。白線格子においては、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４が互いに平行である。また、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８が互いに平行である。評価用画像におけるこれらに対応する直線がどの程度の平行度をなしているかを評価する。平行度の評価は、ステップ４０５で得られた直線の方程式を基に算出する。評価はカメラごとに行う。
【００５１】
カメラＡには、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４、直線Ｌ５、直線Ｌ６が映っている。評価用画像におけるカメラＡに該当する部分も同様の直線が映っている。ここで、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４のうち、２本の直線を選びだす全ての組み合わせにおいて、直線のなす角度を測定する。また、直線Ｌ５、直線Ｌ６に対しても同様に直線のなす角度を測定する。カメラＡの姿勢のキャリブレーション精度が高い場合は０度〜１度程度の数値となるが、低い場合、この角度の値はそれよりも大きな値となる。
【００５２】
カメラＢには、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４、直線Ｌ７、直線Ｌ８が映っている。評価用画像におけるカメラＢに該当する部分も同様の直線が映っている。ここで、直線Ｌ１、直線Ｌ２、直線Ｌ３、直線Ｌ４のうち、２本の直線を選びだす全ての組み合わせにおいて、直線のなす角度を測定する。また、直線Ｌ７、直線Ｌ８に対しても同様に直線のなす角度を測定する。カメラＢの姿勢のキャリブレーション精度が高い場合は０度〜１度程度の数値となるが、低い場合、この角度の値はそれよりも大きな値となる。
【００５３】
カメラＣには、直線Ｌ１、直線Ｌ２、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８
が映っている。評価用画像におけるカメラＣに該当する部分も同様の直線が映っている。ここで、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８のうち、２本の直線を選びだす全ての組み合わせにおいて、直線のなす角度を測定する。また、直線Ｌ１、直線Ｌ２に対しても同様に直線のなす角度を測定する。カメラＣの姿勢のキャリブレーション精度が高い場合は０度〜１度程度の数値となるが、低い場合、この角度の値はそれよりも大きな値となる。
【００５４】
カメラＤには、直線Ｌ３、直線Ｌ４、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８が映っている。評価用画像におけるカメラＤに該当する部分も同様の直線が映っている。ここで、直線Ｌ５、直線Ｌ６、直線Ｌ７、直線Ｌ８のうち、２本の直線を選びだす全ての組み合わせにおいて、直線のなす角度を測定する。また、直線Ｌ３、直線Ｌ４に対しても同様に直線のなす角度を測定する。カメラＤの姿勢のキャリブレーション精度が高い場合は０度〜１度程度の数値となるが、低い場合、この角度の値はそれよりも大きな値となる。
【００５５】
ステップ４０７の直線傾き評価の最終的な評価値は、この評価値を１００点満点で定義する場合、例えば、カメラＡ、カメラＢ、カメラＣ、カメラＤで求めた全てのなす角度のうち、最大のものを選び出し、その最大の角度の定数倍を１００から引いた値とするなどが考えられる。また、個別のカメラでの評価値も持っているため、最終的にどのカメラにおいて、姿勢のキャリブレーション精度が低いという情報を出力することもできる。
【００５６】
ステップ４０８の直線ズレ評価では、評価用画像において、画像境界部分における直線の連結性が満たされているかを評価する。評価用画像における画像境界は、カメラＡとカメラＣ間、カメラＡとカメラＤ間、カメラＢとカメラＣ間、カメラＢとカメラＤ間の４カ所となる。この４カ所において、全ての直線の連結性を評価する。
【００５７】
カメラＡとカメラＣ間では、両カメラに直線Ｌ１、直線Ｌ２、直線Ｌ５、直線Ｌ６が共通に映っている。ステップ４０５において求めた直線の方程式から、カメラＡに映っている直線Ｌ１、直線Ｌ２、直線Ｌ５、直線Ｌ６の画像境界上における座標を求める。また、カメラＣに映っている直線Ｌ１、直線Ｌ２、直線Ｌ５、直線Ｌ６の画像境界上における座標を求める。ここで、対応する直線同士で境界上での座標の距離を算出する。
【００５８】
同様に、カメラＡとカメラＤ間では両カメラに直線Ｌ３、直線Ｌ４、直線Ｌ５、直線Ｌ６が共通に映っている。ステップ４０５において求めた直線の方程式から、カメラＡに映っている直線Ｌ３、直線Ｌ４、直線Ｌ５、直線Ｌ６の画像境界上における座標を求める。また、カメラＤに映っている直線Ｌ３、直線Ｌ４、直線Ｌ５、直線Ｌ６の画像境界上における座標を求める。ここで、対応する直線同士で境界上での座標の距離を算出する。
【００５９】
同様に、カメラＢとカメラＣ間では両カメラに直線Ｌ１、直線Ｌ２、直線Ｌ７、直線Ｌ８が共通に映っている。ステップ４０５において求めた直線の方程式から、カメラＢに映っている直線Ｌ１、直線Ｌ２、直線Ｌ７、直線Ｌ８の画像境界上における座標を求める。また、カメラＣに映っている直線Ｌ１、直線Ｌ２、直線Ｌ７、直線Ｌ８の画像境界上における座標を求める。ここで、対応する直線同士で境界上での座標の距離を算出する。
【００６０】
同様に、カメラＢとカメラＤ間では両カメラに直線Ｌ３、直線Ｌ４、直線Ｌ７、直線Ｌ８が共通に映っている。ステップ４０５において求めた直線の方程式から、カメラＢに映っている直線Ｌ３、直線Ｌ４、直線Ｌ７、直線Ｌ８の画像境界上における座標を求める。また、カメラＤに映っている直線Ｌ３、直線Ｌ４、直線Ｌ７、直線Ｌ８の画像境界上における座標を求める。ここで、対応する直線同士で境界上での座標の距離を算出する。
【００６１】
ステップ４０８の直線ズレ評価での最終的な評価値は、この評価値を１００点満点で定義する場合、例えば、全ての境界上誤差のうち、最大のものを選び出し、その定数倍を１００から引いた値とするなどが考えられる。
【００６２】
ステップ４０９では、キャリブレーション精度の最終的な評価値を算出する。キャリブレーション精度が高い場合は、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価のいずれの評価値も高い値となる。逆にキャリブレーション精度が低い場合は、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価のいずれの評価値も低い値となる。そこで、例えば、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価の各評価値のうちの最も低い評価値を選び出し、それを最終的な評価値とするなどにより、キャリブレーション精度を判定できる。この評価値に対して、一定のしきい値を設け（例えば１００点満点中の８０点など）、しきい値以上であれば、キャリブレーション成功、しきい値未満であればキャリブレーション失敗と判断し、この判断結果を総合評価として、例えば生産ラインのモニタ等に出力する（ステップ４１０）。これにより、キャリブレーションが失敗した場合には、作業員により適宜の処置、例えばもう一度ステップ４０１〜４１０をやり直したり、カメラの取付状態（位置、姿勢など）を修正する等の対策が講じられる。
【００６３】
ところで、図４に示されるフローチャートはキャリブレーションも含むものとなっているが、図５のように精度評価部だけを独立させてもよい。すなわち、ステップ４２０の評価用画像取得、ステップ４０５の画像認識、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価、ステップ４０９の評価値算出４０９、ステップ４１０の総合評価出力から構成されるキャリブレーション評価システムでもよい。
【００６４】
次に、前記ステップ４２０の評価用画像取得について説明する。
ステップ４２０の評価用画像取得では、キャリブレーション後の俯瞰画像を取得する。表示装置１０７などから出力されるキャリブレーション後の俯瞰画像を取得し、その後の評価システムで利用する。
【００６５】
また、図６に示される如くに、図４のフローチャート（ステップ４０１〜４０９）に、次のようなステップを追加してもよい。すなわち、ステップ４０９（評価値算出）の後にステップ４０９で算出された評価値に基づいてキャリブレーションが成功したか否かを判断するステップ４２１を追加し、このステップ４２１においてキャリブレーションが失敗したと判断された場合には、ステップ４２２に進み、このステップ４２２において、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価に基づきキャリブレーションにおいて間違えた部分を推定する。
【００６６】
詳細には、ステップ４２２では、キャリブレーションの精度が低い場合（ステップ４０９の評価値が低い場合）に、キャリブレーションの失敗はどのカメラで生じているのか、どのカメラパラメータが間違っているのかなどを推定する。ここでは、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価、ステップ４０８の直線ズレ評価における評価値だけでなく、ステップ４０６の再現性評価、ステップ４０７の直線傾き評価のところで述べた個別のカメラに関する評価結果も活用する。例えば、直線傾き評価において、カメラＡの個別評価値が低い場合、カメラＡのカメラ姿勢推定が間違っていることを示している。また、再現性評価において、カメラＢの個別評価値が低い場合、カメラＢの高さ推定結果が間違っている可能性が高い。再現性評価、直線傾き評価の評価値は全て高く、直線ズレ評価の評価値だけが低い場合は、対応する境界に関連するカメラ位置の推定結果が間違っている可能性が高い。このように各評価値の関係から間違いの状態を推定することができる。
【００６７】
このようにして推定された間違えた部分などの情報（推定結果）を、次に進むステップ４２３、４２４において活用する。すなわち、ステップ４２３においては、モニタやＣＡＮ出力を通じてカメラの取付状態等をユーザに報知し、また、ステップ４２４においては、キャリブレーション再実行にフィードバックして活用する（キャリブレーションを再実行する際の操作等の変更修正を行う）ことで、キャリブレーションの間違いなどを適切に修正することができる。ステップ４２４でキャリブレーションを再実行した後は、ステップ４０３以降の各ステップを順次実行する。
【００６８】
以上のように、本発明実施例の車載カメラ用キャリブレーションシステム１０では、井形ないし格子状の校正用ターゲッ１０１を設け、該校正用ターゲット１０１含む車両周辺部分を複数台のカメラで撮影し、この車載カメラにより撮影された画像を用いて前記車載カメラのキャリブレーションを行うとともに、前記複数台のカメラにより撮影された前記画像を用いて、前記キャリブレーション精度を評価するようにされるので、キャリブレーション及びその精度評価を行う際に、車両の位置決めが不要となり、キャリブレーション精度評価のために新たに設備を設ける必要がなく、精度評価を行わない従来システムからのコストアップはほとんど生じないという効果を奏する。
【００６９】
また、校正用ターゲット１０１を精度評価用ターゲットとして用い、校正用ターゲット１０１含む車両周辺部分を一度撮影するだけで、キャリブレーションから精度評価までを連続して行うことができるので、作業時間を低減でき、工場の生産ラインに別途評価用のスペースを設ける必要がないという利点もある。
【図１】
2014127834.tif 000003
【図２】
2014127834.tif 000004
【図３】
2014127834.tif 000005
【図４】
2014127834.tif 000006
【図５】
2014127834.tif 000007
【図６】
2014127834.tif 000008