(57)【要約】【課題】カメラ校正作業の簡便化を図る。【解決手段】カメラ校正装置は、複数のカメラの共通撮影領域に配置されるべき校正パターンの、各カメラによる撮影結果に基づいて、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成するためのカメラ校正を行う。カメラ校正装置は、前記撮影結果に基づいて前記校正パターンが前記複数のカメラによって観測されているか否かを判断し、観測されていないと判断した場合、前記校正パターンを前記共通撮影領域内に収めて前記複数のカメラにて観測させるための指示内容を前記撮影結果に基づいて作成し、その指示内容を校正パターンの配置作業を行う作業者に対して通知する。【選択図】図１１
2009100342.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの共通撮影領域に配置されるべき校正パターンの、各カメラによる撮影結果に基づいて、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成するためのカメラ校正を行うカメラ校正装置であって、
前記撮影結果に基づいて前記共通撮影領域への前記校正パターンの配置状態を判断する判断手段と、
前記判断手段の判断結果に応じた情報を外部に通知するための通知用信号を出力する通知用信号出力手段と、を備えた
ことを特徴とするカメラ校正装置。
【請求項２】
カメラ校正時に各カメラから得られるカメラ画像を校正用カメラ画像と呼んだ場合、
前記判断手段は、前記校正用カメラ画像に基づいて、前記校正パターンが前記複数のカメラによって観測されているか否かを判断する
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記判断手段は、前記校正パターンが前記複数のカメラによって観測されていないと判断した場合、前記校正用カメラ画像に基づいて、前記校正パターンを前記共通撮影領域内に収めて前記複数のカメラに観測させるための指示内容を作成し、
前記通知用信号出力手段は、前記情報としての前記指示内容を外部に通知するための信号を前記通知用信号として出力する
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項４】
前記通知用信号は音声出力装置に供給され、音声出力によって前記情報についての通知がなされる
ことを特徴とする請求項１〜請求項３の何れかに記載のカメラ校正装置。
【請求項５】
前記通知用信号は映像表示装置に供給され、映像表示によって前記情報についての通知がなされる
ことを特徴とする請求項１〜請求項３の何れかに記載のカメラ校正装置。
【請求項６】
前記通知用信号を無線にて携帯端末装置に伝達する無線伝達手段を更に備え、
前記携帯端末装置上で、音声出力及び映像表示の少なくとも一方によって前記情報についての通知がなされる
ことを特徴とする請求項１〜請求項３の何れかに記載のカメラ校正装置。
【請求項７】
複数のカメラと、
前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成した画像を生成する画像合成手段と、
前記合成した画像を表示する映像表示装置と、が設置された車両において、
前記画像合成手段は、請求項１〜請求項６の何れかに記載のカメラ校正装置によるカメラ校正の結果を用いて、前記複数のカメラ画像の投影及び合成を行う
ことを特徴とする車両。
【請求項８】
複数のカメラの共通撮影領域に配置されるべき校正パターンの、各カメラによる撮影結果に基づいて、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成するためのカメラ校正を行うカメラ校正方法であって、
前記撮影結果に基づいて前記共通撮影領域への前記校正パターンの配置状態を判断し、その判断結果に応じた情報を外部に通知する
ことを特徴とするカメラ校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラからのカメラ画像を所定面上に投影して合成するために必要となるカメラ校正処理を実現するカメラ校正装置及びカメラ校正方法に関し、また、それらを利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両周辺の状況を把握し易くなる。
【０００３】
更に、複数のカメラからの複数のカメラ画像を地面上に投影して合成することにより全周鳥瞰図画像を生成し、これを表示装置に表示させる運転支援システムが開発されている（例えば、下記特許文献１〜３参照）。この運転支援システムでは、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００４】
図２１に、この種の運転支援システムが適用された車両の平面図を示し、図２２に、この車両を左斜め前方から見た図を示す。車両の前後左右に、前カメラとしてのカメラ１Ｆ、後カメラとしてのカメラ１Ｂ、左カメラとしてのカメラ１Ｌ及び右カメラとしてのカメラ１Ｒが設置される。図２２では、カメラ１Ｆと１Ｌの各撮影領域が斜線領域として表記されている。この運転支援システムでは、座標変換を用いて各カメラからのカメラ画像を地面に投影して合成することにより、合成画像としての全周鳥瞰図画像を生成及び表示する。図２３に、表示される全周鳥瞰図画像の模式図を示す。図２３の全周鳥瞰図画像において、車両の前側、右側、左側及び後側には、夫々、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂのカメラ画像に基づく鳥瞰図画像が描画される。
【０００５】
カメラの撮影画像面を地面に投影する手法として、透視投影変換に基づく手法と平面射影変換に基づく手法とがある。
【０００６】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、カメラ画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が含まれるため、座標変換の精度が劣化する。この結果、合成画像の接合部分において各鳥瞰図画像を滑らかに接合できないという問題がある。
【０００７】
一方、平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、カメラ画像上の各点の座標値と鳥瞰図画像上の各点の座標値との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいてカメラ画像と鳥瞰図画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。
【０００８】
カメラ画像を地面に射影するためのホモグラフィ行列は、座標値が既知の４以上の特徴点に基づき算出可能であるが、複数のカメラからの複数のカメラ画像を共通の平面に射影するためには、各カメラで用いる特徴点を共通の座標面上に設けておく必要がある。即ち、図２４に示すような、全てのカメラに対して共通の２次元座標系を定義し、この２次元座標系上において４個以上の特徴点の座標値をカメラ毎に指定してやる必要がある。
【０００９】
従って、トラックなどの車両に複数のカメラを設置して、全周鳥瞰図画像を得るべくカメラ校正を行う場合、各カメラの撮影領域の全てを覆うような非常に大きな校正パターンを用意する必要がある。図２４に示す例では、各カメラの撮影領域の全てを覆う碁盤目状の校正パターンを車両周辺に設置し、碁盤目の交点を特徴点として利用する。このような校正パターンのサイズは、例えば、車両の縦横サイズの２倍の大きさを有するため、校正作業時に大きな場所を占有してしまうと共に校正環境の整備に手間がかかって、校正作業全体の負担が大きくなる。校正作業の効率を向上させるために、より簡便な校正方法が求められている。
【００１０】
【特許文献１】特許第３３７２９４４号公報
【特許文献２】特開２００４−２３５９８６号公報
【特許文献３】特開２００６−２８７８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで本発明は、校正作業の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明に係るカメラ校正装置は、複数のカメラの共通撮影領域に配置されるべき校正パターンの、各カメラによる撮影結果に基づいて、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成するためのカメラ校正を行うカメラ校正装置であって、前記撮影結果に基づいて前記共通撮影領域への前記校正パターンの配置状態を判断する判断手段と、前記判断手段の判断結果に応じた情報を外部に通知するための通知用信号を出力する通知用信号出力手段と、を備えたことを特徴とする。
【００１３】
これにより、校正パターンの配置を行う作業者は、校正パターンの配置状態に関する通知を受けて配置作業を行うことができるため、校正パターンの配置を正しく且つ容易に行うことができる。
【００１４】
具体的には例えば、カメラ校正時に各カメラから得られるカメラ画像を校正用カメラ画像と呼んだ場合、前記判断手段は、前記校正用カメラ画像に基づいて、前記校正パターンが前記複数のカメラによって観測されているか否かを判断する。
【００１５】
そして具体的には例えば、前記判断手段は、前記校正パターンが前記複数のカメラによって観測されていないと判断した場合、前記校正用カメラ画像に基づいて、前記校正パターンを前記共通撮影領域内に収めて前記複数のカメラに観測させるための指示内容を作成し、前記通知用信号出力手段は、前記情報としての前記指示内容を外部に通知するための信号を前記通知用信号として出力する。
【００１６】
また例えば、前記通知用信号は音声出力装置に供給され、音声出力によって前記情報についての通知がなされる。
【００１７】
或いは例えば、前記通知用信号は映像表示装置に供給され、映像表示によって前記情報についての通知がなされる。
【００１８】
また更に例えば、当該カメラ校正装置は、前記通知用信号を無線にて携帯端末装置に伝達する無線伝達手段を更に備え、前記携帯端末装置上で、音声出力及び映像表示の少なくとも一方によって前記情報についての通知がなされる。
【００１９】
上記目的を達成するために本発明に係る車両は、複数のカメラと、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成した画像を生成する画像合成手段と、前記合成した画像を表示する映像表示装置と、が設置された車両において、前記画像合成手段は、請求項１〜請求項６の何れかに記載のカメラ校正装置によるカメラ校正の結果を用いて、前記複数のカメラ画像の投影及び合成を行うことを特徴とする。
【００２０】
上記目的を達成するために本発明に係るカメラ校正方法は、複数のカメラの共通撮影領域に配置されるべき校正パターンの、各カメラによる撮影結果に基づいて、前記複数のカメラからの複数のカメラ画像を所定面上に投影して合成するためのカメラ校正を行うカメラ校正方法であって、前記撮影結果に基づいて前記共通撮影領域への前記校正パターンの配置状態を判断し、その判断結果に応じた情報を外部に通知することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、校正作業の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することが可能である。
【００２２】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２４】
図１は、本実施形態に係る運転支援システムが適用される車両１００を上方から見た平面図であり、その車両１００へのカメラの設置状態を表している。図２は、車両１００を左斜め前方から見た図である。図１及び図２には、車両１００としてトラックが示されているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されている。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２５】
図１に示す如く、車両１００の前部、右側部、左側部及び後部に、夫々、カメラ（撮像装置）１Ｆ、１Ｒ、１Ｌ及び１Ｂが取り付けられている。また、本実施形態において、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを区別せずに、それらを、単にカメラ或いは各カメラと呼ぶ場合もある。
【００２６】
また、図２に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図２には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００２７】
カメラ１Ｆの光軸の向きが車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸の向きが車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸の向きが車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸の向きが車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂは車両１００に設置される。
【００２８】
図２には、各カメラの視野、即ち、各カメラの撮影領域が示されている。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影領域を、夫々、２Ｆ、２Ｒ、２Ｌ及び２Ｂにて表す。尚、撮影領域２Ｒ及び２Ｂに関しては、図２において一部しか示されていない。図３（ａ）〜（ｄ）に、上方から見た撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒ、即ち、地面上の撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒを表す。また、図４に、図３（ａ）〜（ｄ）に示される各撮影領域を１つにまとめた図を示す（斜線領域については後述）。
【００２９】
カメラ１Ｆは、車両１００前方の所定領域内に位置する被写体（路面を含む）を撮影する。カメラ１Ｒは、車両１００右側の所定領域内に位置する被写体を撮影する。カメラ１Ｌは、車両１００左側の所定領域内に位置する被写体を撮影する。カメラ１Ｂは、車両１００後方の所定領域内に位置する被写体を撮影する。
【００３０】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮影する。つまり、車両１００の左斜め前方の所定領域にて撮影領域２Ｆ及び２Ｌは重なり合う。２つのカメラの撮影領域が重なり合う部分を共通撮影領域と呼び、カメラ１Ｆと１Ｌの撮影領域が重なり合う部分（即ち、カメラ１Ｆと１Ｌとの間の共通撮影領域）を３FLにて表す。図４では、共通撮影領域が斜線領域として表されている。
【００３１】
同様に、図４に示す如く、車両１００の右斜め前方の所定領域にて撮影領域２Ｆと２Ｒは重なり合ってそれらの共通撮影領域３FRが形成され、車両１００の左斜め後方の所定領域にて撮影領域２Ｂと２Ｌは重なり合ってそれらの共通撮影領域３BLが形成され、車両１００の右斜め後方の所定領域にて撮影領域２Ｂと２Ｒは重なり合ってそれらの共通撮影領域３BRが形成される。
【００３２】
図５に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。各カメラ（１Ｆ、１Ｒ、１Ｌ及び１Ｂ）は、撮影を行い、撮影によって得られた画像（以下、カメラ画像とも言う）を表す信号を、画像処理装置を含む主制御部１０に送る。主制御部１０は、各カメラ画像を視点変換によって鳥瞰図画像に変換し、各鳥瞰図画像を合成することにより１枚の全周鳥瞰図画像を生成する。表示装置（映像表示装置）１１は、この全周鳥瞰図画像を映像として表示する。
【００３３】
但し、鳥瞰図画像の基となるカメラ画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後のカメラ画像を鳥瞰図画像に変換するものとする。また、後述する変換パラメータが求められた後においては、各カメラ画像上の各点を全周鳥瞰図画像上の各点へと一気に変換することができるため個々の鳥瞰図画像の生成を省略することも可能である（但し、各鳥瞰図画像への変換を介して全周鳥瞰図画像の生成を行うようにしても良い）。全周鳥瞰図画像を画像合成によって生成する際、共通撮影領域に対応する画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００３４】
鳥瞰図画像は、実際のカメラ（例えばカメラ１Ｆ）の撮影によって得られたカメラ画像を、地上面を鉛直方向に見下ろす仮想カメラの視点（仮想視点）から見た画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。鳥瞰図画像は、カメラ画像を地面上に投影した画像に相当する。このような鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を表示することによって、運転者の視界が支援され、車両周辺の安全確認が容易となる。
【００３５】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。主制御部１０は、例えば集積回路から形成される。表示装置１１は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置１１として流用しても良い。また、主制御部１０は、カーナビゲーションシステムの一部として組み込まれうる。主制御部１０及び表示装置１１は、例えば、車両１００の運転席付近に設置される。
【００３６】
広視野の安全確認を支援するべく、各カメラの画角は広角となっている。このため、各カメラの撮影領域は、地面上において、例えば５ｍ×１０ｍ（メートル）程度の大きさを有する。
【００３７】
全周鳥瞰図画像を生成するためには、各カメラ画像から全周鳥瞰図画像を生成するための変換パラメータが必要となる。主制御部１０は、実稼動に先立って行われるカメラ校正によって、変換パラメータを校正する（換言すれば、変換パラメータを求める）。実稼動時には、校正後の変換パラメータを用いて各カメラ画像から全周鳥瞰図画像を生成する。
【００３８】
カメラ校正を行う際、各カメラの撮影領域の大きさよりも小さい校正パターンを各共通撮影領域内に配置する。図６は、各校正パターンが配置される様子を示した車両１００周辺の上面視平面図である。
【００３９】
図６に示す如く、共通撮影領域３FR、３FL、３BR及び３BL内に、夫々、平面状の（２次元の）校正パターンＡ１、Ａ２、Ａ３及びＡ４が配置される。校正パターンＡ１〜Ａ４は、地面上に配置される。
【００４０】
校正パターンＡ１〜Ａ４の夫々は、正方形形状を有し、その正方形の一辺の長さは、１ｍ〜１．５ｍ程度とされる。校正パターンＡ１〜Ａ４を全て同じ形状とする必要は必ずしもないが、説明の便宜上、それらの形状が全て同じであるものとする。ここにおける形状は、大きさをも含む概念である。従って、校正パターンＡ１〜Ａ４は、全く同じものである。鳥瞰図画像上において、各校正パターンの形状は、理想的には正方形となるべきである。
【００４１】
各校正パターンは、正方形形状であるため、４つの特徴点を有する。今の例の場合、４つの特徴点は、正方形を形成する４つの頂点に相当する。主制御部１０は、各校正パターンの形状を校正パターン形状情報として予め認識している。この校正パターン形状情報によって、全周鳥瞰図画像上及び鳥瞰図画像上における、理想的な校正パターン（Ａ１、Ａ２、Ａ３又はＡ４）の４つの特徴点間の相対的な位置関係は特定される。
【００４２】
校正パターンの形状とは、その校正パターンに含まれる特徴点を結ぶことによって形成される図形の形状を意味する。図７は、或る１つの校正パターンを形成するプレート１５０の平面図である。図７の例では、正方形形状を有する板状のプレート１５０に模様を描くことよって校正パターンが形成される。図７の校正パターン（及びプレート１５０）の４隅に位置する点１５１〜１５４が特徴点として機能する。模様は、校正パターンの検出を容易とするために設けられる。例えば、プレート１５０の表面の全体領域を右上領域、右下領域、左下領域及び左上領域に４分割して、右上領域及び左下領域の配色を白とする一方で左上領域及び右下領域の配色を黒とする。
【００４３】
プレート自体の色やプレートに描かれる模様の色を適切に選ぶことにより、主制御部１０が、エッジ抽出処理などを介して校正パターンの各特徴点を路面等と明確に区別して認識できるようになっている。本実施形態では、以下、プレートの存在を無視し、校正パターンにのみ着目する。
【００４４】
カメラ校正時において、各校正パターンは、各共通撮影領域内に収まるように配置されるが、各校正パターンの共通撮影領域内での配置位置は自由である。即ち例えば、校正パターンＡ１が共通撮影領域３FR内に収まる限り校正パターンＡ１の配置位置は任意であり、共通撮影領域３FR内における校正パターンＡ１の配置位置を校正パターンＡ２〜Ａ４の配置位置と関係なく独立に決めることができる。校正パターンＡ２〜Ａ４についても同様である。このため、カメラ校正を行う際、作業者は、配置位置に特段の配慮を加えることなく適当に各校正パターンを各共通撮影領域内に配置すれば足る。故に、図２４に対応するような従来手法と比べ、格段に校正作業が容易となる。
【００４５】
［全周鳥瞰図画像の生成手法とカメラ校正手法］
次に、全周鳥瞰図画像の生成手法についてより具体的に説明すると共にカメラ校正手法について説明する。この中で、カメラ画像上の各点と鳥瞰図画像上の各点と全周鳥瞰図画像上の各点との対応関係について説明する。
【００４６】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂのカメラ画像上における各点の座標値を、夫々、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）及び（ｘ4，ｙ4）にて表す。図８に各カメラのカメラ画像に対応する鳥瞰図画像を示す。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂのカメラ画像に対応する鳥瞰図画像を、夫々、５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂにて表す。図８に示す各鳥瞰図画像には、各鳥瞰図画像上における校正パターン（Ａ１〜Ａ４）が示されている。尚、図示の煩雑化防止のため、図８では、校正パターンの模様の図示を省略している。
【００４７】
鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂ上における各点の座標値を、夫々、（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、（Ｘ3，Ｙ3）及び（Ｘ4，Ｙ4）にて表す。カメラ画像上の座標値（ｘn，ｙn）と鳥瞰図画像上の座標値（Ｘn，Ｙn）との関係は、ホモグラフィ行列Ｈnを用いて下記式（１）のように表される。ここで、ｎは、１、２、３または４であり、カメラの番号を表す。ホモグラフィ行列Ｈnは、平面射影変換または透視投影変換を用いて求めることが可能である。ホモグラフィ行列Ｈnは、３行３列の行列であり、ホモグラフィ行列Ｈnの各要素をｈn1〜ｈn9で表す。更に、ｈn9＝１であるとする（ｈn9＝１、となるように行列を正規化する）。また、式（１）より、座標値（ｘn，ｙn）と座標値（Ｘn，Ｙn）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００４８】
【数１】
2009100342.tif 000003
【数２】
2009100342.tif 000004
【００４９】
各鳥瞰図画像を合成する際には各鳥瞰図画像に対して剛体変換を行う。この剛体変換は、全周鳥瞰図画像上において対応する校正パターンの位置が概ね一致するように行われる。即ち例えば、鳥瞰図画像５０Ｆ上の校正パターンＡ１と鳥瞰図画像５０Ｒ上の校正パターンＡ１が重なるように鳥瞰図画像５０Ｆと５０Ｒを剛体変換によって位置合わせする（図８参照）。剛体変換は、平行移動と回転とによって実現される。
【００５０】
図８において、曲線２０１、２０２、２０３及び２０４は、校正パターンの鳥瞰図画像間の対応関係を表していると共に各剛体変換のイメージを表している。主制御部１０は、異なるカメラにて捉えられる校正パターン及び特徴点の対応関係を予め認識している。即ち例えば、カメラ１Ｆのカメラ画像に含まれる各校正パターン及び各特徴点が、カメラ１Ｒ（又は１Ｌ）のカメラ画像に含まれる何れの校正パターン及び特徴点に対応するものかを予め認識している。他のカメラ間についても同様である。従って、上述のような剛体変換が可能である。
【００５１】
鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂに対する平行移動を表す平行移動行列を、夫々Ｔ1、Ｔ2、Ｔ3及びＴ4にて表し、鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂに対する回転を表す回転行列を、夫々Ｒ1、Ｒ2、Ｒ3及びＲ4にて表す。
【００５２】
そうすると、全周鳥瞰図画像上の各点の座標値を（Ｘ'，Ｙ'）で表した場合、カメラ画像上の各点の座標値（ｘn，ｙn）は、ホモグラフィ行列Ｈn'を用い、下記式（３ａ）及び（３ｂ）に従って全周鳥瞰図画像上の座標値（Ｘ'，Ｙ'）に座標変換される。また、平行移動行列Ｔn及び回転行列Ｒnは、下記式（４ａ）及び（４ｂ）によって表される。また、ホモグラフィ行列Ｈn'の各要素は、下記式（５）のように表される。
【００５３】
【数３】
2009100342.tif 000005
【数４】
2009100342.tif 000006
【数５】
2009100342.tif 000007
【００５４】
ホモグラフィ行列Ｈn'は、各カメラ画像を路面上に投影して合成した画像に相当する全周鳥瞰図画像を生成するための変換パラメータである。ホモグラフィ行列Ｈn'が求められた後は、式（３ａ）に従って、各カメラ画像上の点の座標値（ｘn，ｙn）を全周鳥瞰図画像上の点の座標値（Ｘ'，Ｙ'）に変換すれば、全周鳥瞰図画像を得ることができる。図９に、得られた全周鳥瞰図画像の例を示す。図９に示す如く、得られた全周鳥瞰図画像に車両１００の映像を嵌め込んだ画像を、図５の表示装置１１に表示する。
【００５５】
図１０に、カメラ校正の手順、即ち、ホモグラフィ行列Ｈn'を求めるための手順を示す。図１０は、この手順を表すフローチャートである。カメラ校正は、ステップＳ１〜Ｓ４の処理を行うことによって実現される。ステップＳ１の処理は各カメラと主制御部１０によって、ステップＳ２〜Ｓ４の処理は主制御部１０によって実行される。
【００５６】
まず、ステップＳ１にて、上述したように（図６参照）各校正パターンを各共通撮影領域内に配置した状態で各カメラに撮影を行わせ、主制御部１０は、各カメラからカメラ画像を得る。
【００５７】
次にステップＳ２において、カメラ画像を鳥瞰図変換するためのホモグラフィ行列Ｈnを求める。鳥瞰図変換とは、カメラ画像を鳥瞰図画像に変換する処理を意味する。ホモグラフィ行列Ｈ1を求める手法について説明する。
【００５８】
主制御部１０は、ステップＳ１にて得られたカメラ１Ｆのカメラ画像に対してエッジ抽出処理などを施すことにより、そのカメラ画像上における校正パターンＡ１の４つの特徴点を検出して、その４つの特徴点の座標値を特定する。特定された４つの座標値を（ｘA1a，ｙA1a）、（ｘA1b，ｙA1b）、（ｘA1c，ｙA1c）及び（ｘA1d，ｙA1d）とする。また、予め認識している校正パターン形状情報に従い、カメラ１Ｆに対応する鳥瞰図画像上における校正パターンＡ１の４つの特徴点の座標値を定める。定められた４つの座標値を（ＸA1a，ＹA1a）、（ＸA1b，ＹA1b）、（ＸA1c，ＹA1c）及び（ＸA1d，ＹA1d）とする。校正パターンＡ１の形状は正方形であるから、座標値（ＸA1a，ＹA1a）、（ＸA1b，ＹA1b）、（ＸA1c，ＹA1c）及び（ＸA1d，ＹA1d）を、例えば、（０，０）、（１，０）、（０，１）及び（１，１）と定義することができる。
【００５９】
カメラ画像と鳥瞰図画像との間で４点の座標値対応関係が分かれば、ホモグラフィ行列Ｈ1を求めることが可能である。この４点の座標値対応関係に基づいてホモグラフィ行列（射影変換行列）を求める手法は公知であるため、詳細な説明を割愛する。例えば、特開２００４−３４２０６７号公報に記載の手法（特に、その文献の段落［００５９］〜［００６９］に記載の手法）を用いればよい。尚、校正パターンＡ２の４特徴点の座標値からホモグラフィ行列Ｈ1を求めるようにしてもよい。
【００６０】
Ｈ1に着目してホモグラフィ行列の算出手法を説明したが、他のホモグラフィ行列Ｈ2〜Ｈ4についても同様に算出される。一旦、ホモグラフィ行列Ｈnが求まれば、上記式（２ａ）及び（２ｂ）に従ってカメラ画像上の任意の点を鳥瞰図画像上の点に変換することが可能である。
【００６１】
ステップＳ２に続くステップＳ３では、ステップＳ２で求められたホモグラフィ行列Ｈnを用いてステップＳ１にて取得された各カメラ画像を鳥瞰図変換することにより、鳥瞰図画像（合計４つの鳥瞰図画像）を生成する。
【００６２】
そして、ステップＳ４では、対応する校正パターンの座標値が一致するように、ステップＳ３で得られた各鳥瞰図画像を剛体変換（平行移動及び回転）により位置合わせする。ステップＳ１にて取得されたカメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂのカメラ画像を鳥瞰図変換することで得られる鳥瞰図画像が、夫々、図８に示す鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂであるものとする。
【００６３】
具体的には例えば、鳥瞰図画像５０Ｆを基準として、鳥瞰図画像５０Ｆ上の校正パターンＡ１と鳥瞰図画像５０Ｒ上の校正パターンＡ１とが重なるように鳥瞰図画像５０Ｒを剛体変換すると共に鳥瞰図画像５０Ｆ上の校正パターンＡ２と鳥瞰図画像５０Ｌ上の校正パターンＡ２とが重なるように鳥瞰図画像５０Ｌを剛体変換する。更にその後、鳥瞰図画像５０Ｂ上の校正パターンＡ３及びＡ４と剛体変換後の鳥瞰図画像５０Ｒ及び５０Ｌ上の校正パターンＡ３及びＡ４とが重なるように鳥瞰図画像５０Ｂを剛体変換する。そして、各剛体変換で用いた移動平行行列Ｔn及び回転行列Ｒnと、ステップＳ２にて求められたホモグラフィ行列Ｈnを用いて上記式（３ｂ）に基づきホモグラフィ行列Ｈn’を算出する。
【００６４】
ステップＳ１〜Ｓ４の処理によってホモグラフィ行列Ｈn’が求まるが、カメラ画像を地面に投影して鳥瞰図画像を生成する過程において、様々な誤差要因に由来する投影誤差（理想的な投影位置からの位置誤差）が生じることも多い。従って、ステップＳ４の処理の後、最適化処理を行って最終的なホモグラフィ行列Ｈn’を求めるようにしてもよい。最適化処理は、例えば、各特徴点の投影誤差の総和を最小化することによって行われる。
【００６５】
ホモグラフィ行列Ｈn'が求まった後は、上記式（３ａ）に従って、各カメラ画像から全周鳥瞰図画像を生成することができる。実際には例えば、ホモグラフィ行列Ｈn'に従って、カメラ画像上の各座標値（ｘn，ｙn）と全周鳥瞰図画像上の各座標値（Ｘ'，Ｙ'）との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。そして、カメラ校正後の実稼動時において、このテーブルデータを用いて各カメラ画像から全周鳥瞰図画像を生成する。
【００６６】
上述のようにしてホモグラフィ行列Ｈn'を求めることができるわけであるが、それを求める際には、校正パターンを正しく隣り合うカメラの共通撮影領域内に配置する必要がある。この配置作業はカメラ校正を行う作業者によって行われる。
【００６７】
配置作業の手法の一つとして、全ての特徴点が正しくカメラにて観測されるように、作業者が校正パターンの配置と校正パターンが対応するカメラにて観測されているかの確認とを試行錯誤しながら繰り返す、という手法が考えられる。各カメラの向きを見れば、共通撮影領域がどのあたりに存在するかを概ね把握することができるものの、その領域を正確に把握することは困難であるため、上記のような繰り返し作業が必要となること多い。この繰り返し作業は、作業者への負担を増大させる。特に、大型の車両に対してカメラ校正を行う場合は、校正作業が煩雑となる。
【００６８】
この校正作業の手間を軽減するため、図５の主制御部１０は、校正パターンが対応する共通撮影領域内に配置されて対応する２つのカメラによって観測されているか否か、及び、観測されていないならば校正パターンを現在の配置位置からどのように動かせばよいかを作業者に通知する。これを実現するための処理又は構成を説明する実施例として、以下に、第１〜第３実施例を説明する。
【００６９】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図１１は、校正パターンの配置位置を決定する処理の流れを表すフローチャートである。第１実施例では、音声通知によって、校正パターンの配置作業が支援される。図１１のステップＳ１１の処理は各カメラと主制御部１０によって、ステップＳ１２〜Ｓ１４の処理は主制御部１０によって実行される。ステップＳ１５及びＳ１６の処理を行う主体については後述される。ステップＳ１１〜Ｓ１６の処理は、図１０のステップＳ２の処理を行う前に実行され、ステップＳ１６に至った後に、図１０のステップＳ２〜Ｓ４の処理（或いはステップＳ１〜Ｓ４の処理）が実行される。
【００７０】
図１１に示す各ステップの処理内容について説明する。まず、作業者が各校正パターンを車両１００の周辺に配置してからステップＳ１１に至る。この際、作業者は、各カメラの向きなどを考慮し、校正パターンＡ１、Ａ２、Ａ３及びＡ４が、夫々、共通撮影領域３FR、３FL、３BR及び３BL内に収まるように各校正パターンを配置する（図６参照）。但し、実際には、この段階で各校正パターンが対応する共通撮影領域内に収まらないことも多い。
【００７１】
ステップＳ１１では、各カメラが撮影を行い、主制御部１０は、各カメラからカメラ画像を得る。ここで得られるカメラ画像を校正用カメラ画像と呼ぶ。校正用カメラ画像の取得は所定の周期にて次々と行われる。尚、作業者が音声通知を聞いて校正パターンを動かすという作業の時間を考えると、ここにおける取得周期は、一般的なビデオレート（３０フレーム／秒）である必要はない。
【００７２】
今、図１２（ａ）、（ｂ）、（ｃ）及び（ｄ）に示されるような校正用カメラ画像を得られた場合を想定する。図１２（ａ）、（ｂ）、（ｃ）及び（ｄ）に示される画像３００Ｆ、３００Ｌ、３００Ｂ及び３００Ｒは、夫々、前カメラとしてのカメラ１Ｆの校正用カメラ画像、左カメラとしてのカメラ１Ｌの校正用カメラ画像、後カメラとしてのカメラ１Ｂの校正用カメラ画像、及び、右カメラとしてのカメラ１Ｒの校正用カメラ画像である。画像３００Ｆ、３００Ｌ、３００Ｂ及び３００Ｒにおける斜線領域は、車両１００の車体の描画領域である。校正用カメラ画像３００Ｌ、３００Ｂ及び３００Ｒの夫々には、２つの校正パターンの全体が正しく描画されている。但し、校正用カメラ画像３００Ｆには、校正パターンＡ１の全体が描画されている一方で校正パターンＡ２の一部が描画されていない。尚、校正用カメラ画像を含むカメラ画像上では、各校正パターンの外形である正方形は歪んでいる。
【００７３】
ステップＳ１１に続くステップＳ１２では、エッジ抽出やパターンマッチングなどを用いることにより、各校正用カメラ画像から校正パターン及び特徴点を検出する。
【００７４】
校正用カメラ画像３００Ｆ内における校正パターン及び特徴点を検出する場合を例にとり、ステップＳ１２での処理の手法を補足説明する。図１３を参照する。図１１に示す各処理の実行に先立って、各校正パターンが車両１００周辺に配置されていない状態における各カメラのカメラ画像を背景画像として取得し、この背景画像の画像データを運転支援システム内のメモリ（不図示）に保存しておく。図１３の画像３０１Ｆは、カメラ１Ｆの背景画像を表している。ステップＳ１２において、校正用カメラ画像３００Ｆと背景画像３０１Ｆの差分を算出することにより、両画像の差分画像３０２Ｆを生成する。図１３に示す差分画像３０２Ｆは、二値化された差分画像であり、濃度値が０の領域を黒く、濃度値が０でない領域を白く示している。この濃度値が０でない領域が校正パターンの描画領域であると推定することにより、校正用カメラ画像３００Ｆ内における校正パターンの位置が検出される。その後、校正用カメラ画像３００Ｆに対し、検出された校正パターンの位置を基準としてエッジ抽出やパターンマッチングなどの画像処理を施すことにより、校正用カメラ画像３００Ｆ上の校正パターンにおける各特徴点を検出する。即ち、校正用カメラ画像３００Ｆ上の各特徴点の座標値を検出する。
【００７５】
今、図１３に示す如く、校正用カメラ画像３００Ｆから検出された校正パターンＡ１上の特徴点の総数が４である一方で校正用カメラ画像３００Ｆから検出された校正パターンＡ２上の特徴点の総数が２である場合を想定する。校正用カメラ画像３００Ｆから検出された校正パターンＡ１上の４つの特徴点を特徴点３２１〜３２４と呼ぶ。特徴点３２１と３２２を結ぶ線分、特徴点３２２と３２３を結ぶ線分、特徴点３２３と３２４を結ぶ線分及び特徴点３２４と３２１を結ぶ線分は、校正パターンＡ１の外形である正方形の４辺に相当する。校正用カメラ画像３００Ｆから検出された校正パターンＡ２上の２つの特徴点を特徴点３１１及び３１２と呼ぶ。特徴点３１１と３１２を結ぶ線分は、校正パターンＡ２の外形である正方形の１辺に相当する。
【００７６】
他の校正用カメラ画像に対しても同様の処理が行われ、校正用カメラ画像３００Ｌ、３００Ｂ及び３００Ｒ上の各特徴点が検出される。校正用カメラ画像３００Ｌから校正パターンＡ２及びＡ４の計８個の特徴点が検出され、校正用カメラ画像３００Ｂから校正パターンＡ３及びＡ４の計８個の特徴点が検出され、校正用カメラ画像３００Ｒから校正パターンＡ１及びＡ３の計８個の特徴点が検出されたとする。
【００７７】
図１１のステップＳ１２の処理の後、ステップＳ１３に移行する。ステップＳ１３では、隣り合うカメラによって対応する校正パターンが共通して観測されているか否かを、各校正用カメラ画像に基づいて判断する。この判断は、全ての校正パターンに対して行われる。隣り合うカメラとは、共通撮影領域を共有する２つのカメラを意味する。車両１００に対する各カメラの設置位置は概ね定まっており、各カメラの位置関係などから、各校正用カメラ画像上のどのあたりに何れの校正パターンが存在しているのかを、運転支援システムは予め認識しているものとする。例えば、運転支援システムは、校正用カメラ画像３００Ｆの左半分の領域内から検出された特徴点は校正パターンＡ２上の特徴点であると認識し、校正用カメラ画像３００Ｆの右半分の領域内から検出された特徴点は校正パターンＡ１上の特徴点であると認識する。
【００７８】
ステップＳ１３の判断は、隣り合うカメラによって共通して観測された特徴点の個数と、本来観測されるべき個数とを比較することによって行われる。本実施形態において、本来観測されるべき個数は、１つの校正パターン上の特徴点の総数（即ち、４）である。より具体的には、下記の第１〜第４条件が満たされるか否かを判断する。
第１条件は、校正用カメラ画像３００Ｆ及び３００Ｒから検出された校正パターンＡ１の特徴点の個数が共に４である、という条件である。
第２条件は、校正用カメラ画像３００Ｆ及び３００Ｌから検出された校正パターンＡ２の特徴点の個数が共に４である、という条件である。
第３条件は、校正用カメラ画像３００Ｂ及び３００Ｒから検出された校正パターンＡ３の特徴点の個数が共に４である、という条件である。
第４条件は、校正用カメラ画像３００Ｂ及び３００Ｌから検出された校正パターンＡ４の特徴点の個数が共に４である、という条件である。
【００７９】
そして、第１〜第４条件の全てが満たされる場合はステップＳ１３からステップＳ１６に移行し、校正パターンの配置が完了したことを音声によって作業者に通知する（図１１参照）。この後、図１０のステップＳ２〜Ｓ４の処理（或いはステップＳ１〜Ｓ４の処理）が実行される。
【００８０】
一方、第１〜第４条件の何れか１つでも満たされない場合は、ステップＳ１３からステップＳ１４に移行する（図１１参照）。図１２（ａ）〜（ｂ）及び図１３に示す例では、第１、第３及び第４条件は満たされるが第２条件は満たされないためステップＳ１４に移行する。尚、ステップＳ１６及び後述のステップＳ１５における音声出力は、運転支援システム内又は運転支援システム外に設けられた音声出力装置（不図示）によって行われる。この音声出力装置は、主制御部１０によって制御される。
【００８１】
ステップＳ１４では、隣り合うカメラによって対応する校正パターンが共通して観測されるようにするために、校正パターンを動かすべき方向及び距離を導出する。導出される方向及び距離は、実空間上における方向及び距離である。この導出は、校正用カメラ画像に基づいて行われる。以下、ステップＳ１２において校正用カメラ画像から検出された特徴点を「検出特徴点」とも呼び、本来検出されるべきであるがステップＳ１２において校正用カメラ画像から検出されなかった特徴点を「未検出特徴点」とも呼ぶ。
【００８２】
ステップ１４において、校正パターンの全体が観測できていないカメラの校正用カメラ画像を用い、その校正用カメラ画像の検出特徴点の位置に基づいて未検出特徴点が存在すべき位置を推定する。そして、その推定した位置に基づいて校正パターンを動かすべき方向及び距離を導出する。今の例では、カメラ１Ｆが校正パターンＡ２の全体を観測できていない。従って、カメラ１Ｆの校正用カメラ画像３００Ｆを用いて校正パターンＡ２を動かすべき方向及び距離を導出する。
【００８３】
この導出手法を、図１４を参照してより具体的に説明する。図１４は、校正用カメラ画像３００Ｆに未検出特徴点である特徴点３１３及び３１４を追記した図である。特徴点３１３及び３１４は校正用カメラ画像３００Ｆに含まれてない特徴点であるが、特徴点３１３及び３１４と校正用カメラ画像３００Ｆを同一平面上に配置して考える。特徴点３１１と３１２を結ぶ線分、特徴点３１２と３１３を結ぶ線分、特徴点３１３と３１４を結ぶ線分及び特徴点３１４と３１１を結ぶ線分を、夫々、線分ｕ1、ｕ2、ｕ3及びｕ4と呼ぶ。線分ｕ1〜ｕ4は、校正パターンＡ２の外形である正方形の４辺に相当する。
【００８４】
線分ｕ2及びｕ4の夫々が線分ｕ1に直交し且つ特徴点３１３及び３１４が校正用カメラ画像３００Ｆ外に位置するという拘束条件の下で、特徴点３１３及び３１４の位置を推定する。
例えば、校正用カメラ画像３００Ｆ上における特徴点３１１と３１２の距離ｄAを求め、特徴点３１２から距離ｄAの位置に特徴点３１３が存在すると推定し且つ特徴点３１１から距離ｄAの位置に特徴点３１４が存在すると推定する。
或いは、各カメラの設置条件（設置高さや俯角）が或る程度決まっている場合は、その設置条件、各カメラの特性及び実空間上における校正パターンの一辺の長さから、校正用カメラ画像３００Ｆ上における線分ｕ2及びｕ4の長さを推定する。この推定結果と上記の拘束条件を組み合わせれば、特徴点３１３及び３１４の位置が求まる。
更に或いは、校正用カメラ画像３００Ｆ上における特徴点３２３と３２４の距離ｄBを求め、特徴点３１２から距離ｄBの位置に特徴点３１３が存在すると推定し且つ特徴点３１１から距離ｄBの位置に特徴点３１４が存在すると推定するようにしてもよい。
【００８５】
その後、推定された特徴点３１３及び３１４の位置に基づいて、校正パターンＡ２を動かすべき方向及び距離を導出する。方向は、特徴点３１３から特徴点３１２へ向かう方向であるが、動かすべき方向を無段階で求めて作業者に通知してもかえって分かりづらいので、特徴点３１３から特徴点３１２へ向かう方向を、例えば前後左右方向の４段階で量子化する。今の例において、特徴点３１３から特徴点３１２へ向かう方向は右方向である。尚、前後左右方向とは、車両１００の運転席から見た、地面上の前後左右方向である。運転支援システムは、その前後左右方向とカメラ画像上の方向との対応関係を予め認識している。尚、方向の量子化数を４以外（例えば、８）にしてもよい。
【００８６】
特徴点３１３及び３１４と校正用カメラ画像３００Ｆの外周との距離（画像上の距離）を求め、その距離から、校正パターンＡ２の全体をカメラ１Ｆの撮影領域内に収めるために校正パターンＡ２を動かすべき実空間上の距離を導出する。この際、画像上の距離を実空間上の距離に変換する変換係数を用いる。その変換係数を予め運転支援システムに与えておくようにしてもよいが、校正パターン形状情報及び特徴点３１１と３１２の距離ｄA（又は特徴点３２３と３２４の距離ｄB）に基づいてその変換係数を求めるようしてもよい。上述したように、校正パターン形状情報によって、実空間上における校正パターンの形状（大きさを含む）は規定されている。
【００８７】
ステップ１４に続くステップＳ１５では、ステップＳ１４にて求められた距離及び方向を動かすべき校正パターンの名称と共に作業者に音声で通知し、その後、ステップＳ１１に戻る。ステップＳ１４にて求められた距離及び方向が夫々５０ｃｍ及び右方向であり且つ動かすべき校正パターンがＡ２であるならば、例えば「左前のパターンを５０ｃｍ右へ」という指示内容を音声にて作業者に通知する。図１５に、音声内容を視覚化した、ステップＳ１５の処理の概念図を示す。このような通知が定期的に行われるように、ステップＳ１１〜Ｓ１５のループ処理を繰り返し実行する。
【００８８】
これにより、作業者はカメラ画像を確認することなく校正パターンの配置を正しく且つ容易に完了することができるようになり、校正作業の手間が軽減される。
【００８９】
尚、図１４に示す例では、校正用カメラ画像３００Ｆ上に校正パターンＡ２の２つの特徴点３１１及び３１２が現れていたが、校正用カメラ画像３００Ｆから検出された校正パターンＡ２の特徴点が図１６に示す如く特徴点３１１のみである場合は、未検出特徴点である特徴点３１２〜３１４の位置を精度良く推定することができない。しかし、校正パターンの形状が分かっているため、１つの特徴点が検出されたならば残りの３つの特徴点が存在する方向を概ね推定可能である。即ち、図１６に示す如く、校正用カメラ画像３００Ｆ内の左端部分に１つの特徴点が検出されたならば、残りの３つの特徴点はカメラ１Ｆの撮影領域の左外側に位置するはずである。また、校正パターンＡ２から１つの特徴点３１１しか検出されないならば、その校正パターンＡ２の大半はカメラ１Ｆの撮影領域外に位置しているものと推測されるため、校正パターンＡ２を動かすべき距離は、実空間上における校正パターンＡ２の一辺の長さ程度とすればよい。
【００９０】
このため、このような場合は、ステップＳ１４にて求めるべき方向を右方向とし、ステップＳ１４にて求めるべき距離を実空間上における校正パターンＡ２の一辺の長さ程度とすればよい。
【００９１】
更に、場合によっては、校正用カメラ画像３００Ｌには校正パターンＡ２が現れているが（図１２（ｂ）参照）、図１７に示す如く、校正パターンＡ２の特徴点が１つも校正用カメラ画像３００Ｆから検出されない場合も想定される。このような場合は、カメラ１Ｆと１Ｌの位置関係から校正パターンＡ２を動かすべき方向を推定すれば良い。図６に示すような位置関係でカメラ１Ｆと１Ｌが設置され且つ校正用カメラ画像３００Ｌ内にのみ校正パターンＡ２が現れるならば、校正パターンＡ２を上方向又は右斜め上方向に移動させるとカメラ１Ｆの撮影領域内に校正パターンＡ２の一部又は全部が収まる可能性が高い。そこで、このような場合は、ステップＳ１４にて求めるべき方向を右方向又は右斜め上方向とする。校正パターンＡ２を動かすべき距離の推定は困難であるため、例えば、ステップＳ１４にて求めるべき距離を所定の一定距離（５０ｃｍなど）とする。
【００９２】
＜＜第２実施例＞＞
ステップＳ１５及びＳ１６にてなされる通知を音声出力によってではなく映像表示によって実現することも可能である。この映像表示は、図５の表示装置１１又は他の任意の表示装置にて行うことができる。このような映像表示による通知を実現する実施例を、第２実施例とする。第２実施例は、校正パターンの配置位置を決定するための作業を行う際に映像表示を利用する点において第１実施例と相違し、他の点は第１実施例と共通する。従って、第１実施例との相違点のみ説明する。
【００９３】
図１８は、カメラ校正時に作業者が携行すべき携帯端末装置２０の外観平面図である。携帯端末装置２０には液晶ディスプレイパネル等から成る表示装置（映像表示装置）が設けられており、符号２１は、その表示装置の表示画面を表している。携帯端末装置２０は、表示装置を備え且つ無線通信機能を有する任意の携帯端末装置であり、例えば携帯電話機や携帯情報端末（Personal Data Assistance）である。作業者は、校正パターンの配置作業を行いながら携帯端末装置２０の表示装置の表示画面２１を視認することが可能である。
【００９４】
図５の主制御部１０は、携帯端末装置２０との間で無線通信が可能となっている。主制御部１０は、図１１のステップＳ１１にて取得した各校正用カメラ画像の画像データを携帯端末装置２０に無線送信し、携帯端末装置２０は、各校正用カメラ画像を表示画面２１上に表示する。図１８に示す例では、車両１００のイメージ図を中心にして、各カメラからの合計４つの校正用カメラ画像が表示画面２１上に並べて表示されている。上述したように、校正用カメラ画像の取得は所定の周期にて行われており、表示画面２１の表示内容も定期的に更新される。
【００９５】
主制御部１０は、図１１のステップＳ１２〜Ｓ１４の処理を実行し、ステップＳ１５にて通知すべき校正パターンの移動に関する指示内容を表示画面２１上で視認できるようにする。即ち、何れの校正パターンをどの方向にどれ程度の距離動かすのかを表示画面２１上で視認できるように、主制御部１０は必要なデータを携帯端末装置２０に無線送信する。例えば、ステップＳ１４にて求められた距離及び方向が夫々５０ｃｍ及び右方向であり且つ動かすべき校正パターンがＡ２であるならば、「左前のパターンを５０ｃｍ右へ」といった文言が表示画面２１上に表示されるように、主制御部１０は必要なデータを携帯端末装置２０に無線送信する。この際、図１８に示す如く、表示画面２１上の校正パターンＡ２が他の校正パターンと区別して視認できるようなマークを重畳表示するとよい。図１８に示す例では、表示画面２１上の校正パターンＡ２が破線丸枠によって囲まれている。また更に、校正パターンを動かすべき方向を示す矢印２２も表示画面２１上に重畳表示するとよい。
【００９６】
図１１のステップＳ１１〜Ｓ１５から成るループ処理の繰り返しによって指示内容が変化した場合は、表示画面２１上に表示される指示内容も更新されるようにする。
【００９７】
また、図１１のステップＳ１３からステップＳ１６に至った場合は、配置完了通知を表示画面２１上で行うようにする。即ち、ステップＳ１６において、校正パターンの配置完了を作業者に知らしめるための文言が表示画面２１上に表示されるように、主制御部１０は必要なデータを携帯端末装置２０に無線送信する。
【００９８】
このように、携帯端末装置２０を利用することにより、作業者は校正パターンの配置作業を行いながら校正パターンを動かすべき方向及び距離をカメラ画像の位置関係と共に視認することができる。このため、校正パターンの配置作業の能率が向上し、校正作業の手間が軽減される。
【００９９】
尚、携帯端末装置２０に、音声出力の可能な音声出力装置（不図示）が備えられている場合は、音声出力を併用してステップＳ１５及びＳ１６の通知を行っても良い。即ち、例えば、ステップＳ１４にて求められた距離及び方向が夫々５０ｃｍ及び右方向であり且つ動かすべき校正パターンがＡ２であるならば、「左前のパターンを５０ｃｍ右へ」といった文言が表示画面２１上に表示され且つ同様の文言が上記音声出力装置を用いて音声出力されるように、ステップＳ１５において主制御部１０は必要なデータを携帯端末装置２０に無線送信する。同様に、ステップＳ１６では、校正パターンの配置完了を作業者に知らしめるための文言が表示画面２１上に表示され且つ同様の文言が上記音声出力装置を用いて音声出力されるように、主制御部１０は必要なデータを携帯端末装置２０に無線送信する。
【０１００】
また或いは、映像出力を行うことなく、携帯端末装置２０からの音声出力のみによってステップＳ１５及びＳ１６の通知を行うことも可能である。
【０１０１】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、校正パターンの配置位置の決定処理を行う部位のブロック図を示す。
【０１０２】
図１９は、第１実施例に対応する、校正パターンの配置位置の決定処理を行う部位のブロック図である。符号３１〜３４にて参照される各部位は図５の主制御部１０に設けられる。音声出力装置３５を、運転支援システム内の装置と捉えても、運転支援システム外の装置と捉えても良い。符号３１〜３４にて参照される各部位によってカメラ校正装置が形成される、と考えることができる。音声出力装置３５を、カメラ校正装置内の装置と捉えても、カメラ校正装置外の装置と捉えても良い。
【０１０３】
校正パターン／特徴点検出部３１は、図１１のステップＳ１１にて取得された各校正用カメラ画像に基づいてステップＳ１２の処理を実行する。即ち、各校正用カメラ画像から校正パターン及び特徴点を検出する。観測状況判断部３２は、校正パターン／特徴点検出部３１の検出結果に基づいてステップＳ１３の処理を実行し、各カメラによる校正パターンの観測状況を判断する。
【０１０４】
指示内容作成部３３は、校正パターン／特徴点検出部３１の検出結果及び観測状況判断部３２の判断結果（即ち、ステップＳ１２及びＳ１３の処理結果）に基づき、通知用信号出力部３４及び音声出力装置３５と協働して、ステップＳ１４及びＳ１５の処理又はＳ１６の処理を行う。或る校正パターンがそれを共通して観測すべき２つのカメラによって観測されていない場合、指示内容作成部３３は、ステップＳ１４の処理を行って、その校正パターンを対応する共通撮影領域内に収めて２つのカメラに共通して観測させるための指示内容を作成する。この指示内容は、校正パターンを動かすべき方向及び距離を含む。通信用信号出力部３４は、この指示内容を作業者に通知するための通知用信号を作成し、これを音声出力装置３５に供給する。ここにおける通信用信号は音声信号であり、スピーカ等から成る音声出力装置３５より指示内容が音声出力される。Ｓ１６の処理を行う場合、指示内容作成部３３は、校正パターンの配置が完了した旨を作業者に通知するための通信用信号（音声信号）を通知用信号出力部３４に出力させる。これにより、音声出力装置３５より、その旨が音声出力される。
【０１０５】
図２０は、第２実施例に対応する、校正パターンの配置位置の決定処理を行う部位のブロック図である。符号３１〜３３並びに３４ａ及び３６にて参照される各部位は図５の主制御部１０に設けられる。符号３１〜３３にて参照される各部位は、図１９に示すそれらと同じものである。符号３１〜３３並びに３４ａ及び３６にて参照される各部位によってカメラ校正装置が形成される、と考えることができる。
【０１０６】
指示内容作成部３３は、校正パターン／特徴点検出部３１の検出結果及び観測状況判断部３２の判断結果（即ち、ステップＳ１２及びＳ１３の処理結果）に基づき、通知用信号出力部３４ａ及び無線通信部３６並びに図１８の携帯端末装置２０と協働して、ステップＳ１４及びＳ１５の処理又はＳ１６の処理を行う。通信用信号出力部３４ａは、指示内容作成部３３が作成した指示内容を作業者に通知するための通知用信号を作成し、無線通信部（無線伝達部）３６は、この通知用信号を無線信号に変換して携帯端末装置２０へ無線送信する。これにより、第２実施例で述べた通知が携帯端末装置２０上でなされる。
【０１０７】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０８】
［注釈１］
平面射影変換を行う際には変換前画像と変換後画像との間に４つの特徴点が必要となる。これを考慮し、上述の実施形態では、４つの特徴点を有する正方形を校正パターンの形状例として採用している。しかし、校正パターンの形状を正方形とする必要は必ずしもない。
【０１０９】
［注釈２］
上述の鳥瞰図画像は、カメラ画像を地面上に投影した画像に相当する。つまり、上述の実施形態では、各カメラ画像を地面上に投影して合成することにより全周鳥瞰図画像を生成するようにしているが、各カメラ画像が投影されるべき面を地面以外の任意の所定面（例えば所定平面）とすることも可能である。
【０１１０】
［注釈３］
車載カメラとしてのカメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを用いた運転支援システムを例に挙げて本発明の実施形態を説明したが、主制御部１０に接続されるべき各カメラを車両以外に設置することも可能である。つまり例えば、建物などに設置される監視システムに対しても、本発明は適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラからのカメラ画像が所定面上に投影されて合成され、合成画像が表示装置に表示される。その投影及び合成を行うために、本発明のカメラ校正手法が適用される。
【０１１１】
［注釈４］
図５の主制御部１０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。主制御部１０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。特に、図１９又は図２０の符号３１〜３３にて参照される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、それらの機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施形態に係る運転支援システムが適用される車両を上方から見た平面図であり、その車両への各カメラの設置状態を表す図である。
【図２】図１の車両を左斜め前方から見た図である。
【図３】図１の車両に設置された各カメラの撮影領域を表す図である。
【図４】図１の車両に設置された各カメラの撮影領域をまとめて示した図である。
【図５】本発明の実施形態に係る運転支援システムの構成ブロック図である。
【図６】各校正パターンが配置される様子を示した、図１の車両周辺の上面視平面図である。
【図７】校正パターンを形成するプレートの平面図である。
【図８】図１の各カメラからのカメラ画像に対応する鳥瞰図画像を表す図である。
【図９】図５の主制御部１０にて生成される全周鳥瞰図画像を表す図である。
【図１０】本発明の実施形態に係るカメラ校正の手順を示すフローチャートである。
【図１１】本発明の第１実施例に係り、校正パターンの配置位置を決定する処理の流れを表すフローチャートである。
【図１２】校正パターンの配置位置の調整段階において得られた各カメラ画像を示す図である。
【図１３】１つのカメラ画像から校正パターン及び特徴点が検出される様子を示した図である。
【図１４】１つのカメラ画像（校正用カメラ画像）と、そのカメラ画像から検出された特徴点と、そのカメラ画像から検出されなかった特徴点と、を同一平面上に示した図である。
【図１５】本発明の第１実施例に係り、校正パターンの配置位置に対する通知がなされる様子を示す概念図である。
【図１６】図１２（ａ）のカメラ画像の変形例を示す図である。
【図１７】図１２（ａ）のカメラ画像の他の変形例を示す図である。
【図１８】本発明の第２実施例に係り、カメラ校正時に作業者が携行すべき携帯端末装置の外観平面図である。
【図１９】本発明の第３実施例に係り、校正パターンの配置位置の決定処理を行う部位のブロック図である。
【図２０】本発明の第３実施例に係り、校正パターンの配置位置の決定処理を行う部位の他のブロック図である。
【図２１】従来技術に係り、運転支援システムが適用された車両の平面図である。
【図２２】図２１の車両を左斜め前方から見た図である。
【図２３】従来技術に係り、運転支援システムによって表示される全周鳥瞰図画像の様子を示す図である。
【図２４】従来の平面射影変換に対応する校正処理を説明するための図であり、複数のカメラ間で共通に定義される座標系（或いは校正パターン）を示す図である。
【符号の説明】
【０１１３】
１０  主制御部
１１  表示装置
３１  校正パターン／特徴点検出部
３２  観測状況判断部
３３  指示内容作成部
３４、３４ａ  通信用信号出力部
３５  音声出力装置
３６  無線通信部
１００  車両
Ａ１〜Ａ４  校正パターン
１Ｆ、１Ｒ、１Ｌ、１Ｂ  カメラ
２Ｆ、２Ｒ、２Ｌ、２Ｂ  撮影領域
３FR、３FL、３BR、３BL  共通撮影領域
５０Ｆ、５０Ｒ、５０Ｌ、５０Ｂ  鳥瞰図画像
【図１】
2009100342.tif 000008
【図２】
2009100342.tif 000009
【図３】
2009100342.tif 000010
【図４】
2009100342.tif 000011
【図５】
2009100342.tif 000012
【図６】
2009100342.tif 000013
【図７】
2009100342.tif 000014
【図８】
2009100342.tif 000015
【図９】
2009100342.tif 000016
【図１０】
2009100342.tif 000017
【図１１】
2009100342.tif 000018
【図１２】
2009100342.tif 000019
【図１３】
2009100342.tif 000020
【図１４】
2009100342.tif 000021
【図１５】
2009100342.tif 000022
【図１６】
2009100342.tif 000023
【図１７】
2009100342.tif 000024
【図１９】
2009100342.tif 000025
【図２０】
2009100342.tif 000026
【図２１】
2009100342.tif 000027
【図２２】
2009100342.tif 000028
【図２３】
2009100342.tif 000029
【図２４】
2009100342.tif 000030
【図１８】
2009100342.tif 000031