(57)【特許請求の範囲】
【請求項１】
複数の車載カメラ（１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒ）が搭載され、互いに隣接する該車載カメラ同士で撮影領域の一部が重複するように取り付けられた車両（１）に適用されて、前記複数の車載カメラの何れかで前記車両に対する取付位置または取付角度にズレが生じた場合に、該ズレが生じた前記車載カメラの取付位置または取付角度を較正する車載カメラ較正装置（２００）であって、
前記車載カメラの各々について、前記車両に対する該車載カメラの取付角度または取付位置の少なくとも一方についての初期状態からの変化量を検出する変化量検出部（１０５）と、
前記変化量が所定の閾値よりも大きい前記車載カメラを、前記較正が必要な対象カメラとして選択する対象カメラ選択部（１０６）と、
前記複数の車載カメラの中から前記対象カメラが選択された場合には、該複数の車載カメラの中で前記変化量が最も少ない前記車載カメラを基準カメラとして選択する基準カメラ選択部（１０７）と、
前記対象カメラと前記基準カメラとの間に他の前記車載カメラが存在する場合には、該車載カメラを中間カメラとして選択する中間カメラ選択部（１０８）と、
前記中間カメラが選択されていない場合には、前記基準カメラと前記対象カメラとが重複して撮影する領域での撮影画像に基づいて、該対象カメラを較正する第１較正部（１０９）と、
前記中間カメラが選択されている場合には、前記基準カメラと該中間カメラとが重複して撮影する領域での前記撮影画像に基づいて、該中間カメラを較正した後、該較正された中間カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第２較正部（１１０）と
を備える車載カメラ較正装置。
【請求項２】
請求項１に記載の車載カメラ較正装置であって、
前記対象カメラが前記較正された後、該較正されていない前記車載カメラを較正する第３較正部（１１２）を備える
車載カメラ較正装置。
【請求項３】
請求項１または請求項２に記載の車載カメラ較正装置であって、
前記基準カメラとして選択された前記車載カメラの前記変化量が所定の許容値よりも大きかった場合には、所定の警報を出力する警報出力部（１１１）を備える
車載カメラ較正装置。
【請求項４】
複数の車載カメラ（１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒ）が搭載され、互いに隣接する該車載カメラ同士で撮影領域の一部が重複するように取り付けられた車両（１）に適用されて、前記複数の車載カメラによって得られた撮影画像に基づいて、前記車両の周辺の状況を監視するための監視画像を生成する画像生成装置（１００）であって、
前記複数の車載カメラから前記撮影画像を取得する撮影画像取得部（１０１）と、
前記車載カメラの各々について、前記車両に対する該車載カメラの取付角度または取付位置の少なくとも一方についての初期状態からの変化量を検出する変化量検出部（１０５）と、
前記変化量が所定の閾値よりも大きい前記車載カメラを、前記取付角度または前記取付位置についての較正が必要な対象カメラとして選択する対象カメラ選択部（１０６）と、
前記複数の車載カメラの中から前記対象カメラが選択された場合には、該複数の車載カメラの中で前記変化量が最も少ない前記車載カメラを基準カメラとして選択する基準カメラ選択部（１０７）と、
前記対象カメラと前記基準カメラとの間に他の前記車載カメラが存在する場合には、該車載カメラを中間カメラとして選択する中間カメラ選択部（１０８）と、
前記中間カメラが選択されていない場合には、前記基準カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第１較正部（１０９）と、
前記中間カメラが選択されている場合には、前記基準カメラと該中間カメラとが重複して撮影する領域での前記撮影画像に基づいて、該中間カメラを較正した後、該較正された中間カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第２較正部（１１０）と、
前記複数の車載カメラから得られた前記撮影画像を、該車載カメラについて較正した結果に基づいて視線変換することによって、前記監視画像を生成する画像生成部（１０２）と
を備える画像生成装置。
【請求項５】
複数の車載カメラ（１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒ）が搭載され、互いに隣接する該車載カメラ同士で撮影領域の一部が重複するように取り付けられた車両（１）に適用されて、前記複数の車載カメラの何れかで前記車両に対する取付位置または取付角度にズレが生じた場合に、該ズレが生じた前記車載カメラの取付位置または取付角度を較正する車載カメラ較正方法であって、
前記車載カメラの各々について、前記車両に対する該車載カメラの取付角度または取付位置の少なくとも一方についての初期状態からの変化量を検出する変化量検出工程（Ｓ１０１）と、
前記変化量が所定の閾値よりも大きい前記車載カメラを、前記較正が必要な対象カメラとして選択する対象カメラ選択工程（Ｓ１０３）と、
前記複数の車載カメラの中から前記対象カメラが選択された場合には、該複数の車載カメラの中で前記変化量が最も少ない前記車載カメラを基準カメラとして選択する基準カメラ選択工程（Ｓ１０４）と、
前記対象カメラと前記基準カメラとの間に他の前記車載カメラが存在する場合には、該車載カメラを中間カメラとして選択する中間カメラ選択工程（Ｓ１０９）と、
前記中間カメラが選択されていない場合には、前記基準カメラと前記対象カメラとが重複して撮影する領域での撮影画像に基づいて、該対象カメラを較正する第１較正工程（Ｓ２００）と、
前記中間カメラが選択されている場合には、前記基準カメラと該中間カメラとが重複して撮影する領域での前記撮影画像に基づいて、該中間カメラを較正した後、該較正された中間カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第２較正工程（Ｓ３００）と
を備える車載カメラ較正方法。
【請求項６】
複数の車載カメラ（１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒ）が搭載され、互いに隣接する該車載カメラ同士で撮影領域の一部が重複するように取り付けられた車両（１）に適用されて、前記複数の車載カメラによって得られた撮影画像に基づいて、前記車両の周辺の状況を監視するための監視画像を生成する画像生成方法であって、
前記複数の車載カメラから前記撮影画像を取得する撮影画像取得工程（Ｓ１００）と、
前記車載カメラの各々について、前記車両に対する該車載カメラの取付角度または取付位置の少なくとも一方についての初期状態からの変化量を検出する変化量検出工程（Ｓ１０１）と、
前記変化量が所定の閾値よりも大きい前記車載カメラを、前記取付角度または前記取付位置についての較正が必要な対象カメラとして選択する対象カメラ選択工程（Ｓ１０３）と、
前記複数の車載カメラの中から前記対象カメラが選択された場合には、該複数の車載カメラの中で前記変化量が最も少ない前記車載カメラを基準カメラとして選択する基準カメラ選択工程（Ｓ１０４）と、
前記対象カメラと前記基準カメラとの間に他の前記車載カメラが存在する場合には、該車載カメラを中間カメラとして選択する中間カメラ選択工程（Ｓ１０９）と、
前記中間カメラが選択されていない場合には、前記基準カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第１較正工程（Ｓ２００）と、
前記中間カメラが選択されている場合には、前記基準カメラと該中間カメラとが重複して撮影する領域での前記撮影画像に基づいて、該中間カメラを較正した後、該較正された中間カメラと前記対象カメラとが重複して撮影する領域での前記撮影画像に基づいて、該対象カメラを較正する第２較正工程（Ｓ３００）と、
前記複数の車載カメラから得られた前記撮影画像を、該車載カメラについて較正した結果に基づいて視線変換することによって、前記監視画像を生成する画像生成工程（Ｓ１１１）と
を備える画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の車載カメラを搭載した車両に適用されて、車載カメラによる撮影画像を用いて車両の周辺の状況を監視するための画像を生成する技術、あるいは車載カメラを較正する技術に関する。
【背景技術】
【０００２】
車両を安全に走行させるためには、車両の周辺に存在する各種の対象物（障害物や歩行者など）の位置を把握することが重要となる。そこで、今日の車両では、複数の車載カメラを用いて周辺の画像を撮影することによって、車両が対象物の位置を検出したり、あるいは車両の周辺に存在する対象物の位置を運転者が容易に把握できるようにしたりすることが行われている。
例えば、車載カメラによる撮影画像を、あたかも車両を見下ろす方向から撮影したような画像（鳥瞰画像）に鳥瞰変換して表示することにより、車両と対象物との位置関係を運転者が容易に把握できるようにする技術が提案されている。
【０００３】
これらの技術では、車載カメラが車両に対して正しい取付位置に、正しい取付角度で取り付けられていることが前提となる。ところが、車載カメラを取り付ける際には必ず取付誤差が発生する。そこで、取付誤差の影響を排除するために、車両の工場出荷時には、全ての車載カメラについて取付位置および取付角度が検出される。そして、それぞれの車載カメラが、その取付位置および取付角度で車両に取り付けられていることを前提として、撮影画像に対する処理内容を最適化することによって取付誤差の影響を排除している。
尚、車載カメラの取付位置および取付角度（あるいはそれらの一方）を検出して、若しくは、正しい取付位置および取付角度からのズレ量を検出して、撮影画像に対する処理内容を最適化することは、車載カメラの較正（若しくは、キャリブレーション）と呼ばれることがある。
【０００４】
ここで、車載カメラの取付位置や取付角度は、車両の走行中の振動や、車載カメラが何かに干渉するなど、何らかの理由で、工場出荷時の状態から変化することがある。このような場合に、車両を整備工場に持ち込んで車載カメラを較正しなければならないのでは不便である。そこで、隣接する車載カメラ同士で撮影領域の一部を重複させておき、ある車載カメラの取付位置や取付角度が工場出荷時の状態から変化した場合には、隣接する車載カメラの重複領域で得られた撮影画像に基づいて、取付位置や取付角度が変化した車載カメラを較正する技術が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１０１０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、提案されている技術では、車載カメラの較正（キャリブレーション）を繰り返していると、較正の精度が低下していき、車両周辺にある対象物の位置を精度良く把握することが困難となることがあるという問題があった。これは、次のような理由によるものと考えられる。一例として、複数の車載カメラによる撮影画像を鳥瞰変換することによって車両の周辺の状況を表示する場合を例に用いて説明する。
【０００７】
複数の車載カメラの中の１つが、車両に対する取付位置または取付角度にズレが生じて較正する必要が生じたものとする。以下では、較正しようとする車載カメラを、他の車載カメラと区別するために「対象カメラ」と称することにする。このとき、隣接する車載カメラの取付位置および取付角度が工場出荷時から変わっていなければ、隣接する車載カメラによる鳥瞰画像を基準に用いて、重複領域での鳥瞰画像が重なるようにしてやることで、対象カメラを正しく較正することができる。
ところが、対象カメラで較正する必要が生じたということは、隣接する車載カメラの取付位置および取付角度についても、工場出荷時の状態から誤差が生じている可能性がある。そして、その場合には、誤差が生じた車載カメラを基準に用いて対象カメラを較正することになるので、基準に用いた車載カメラの誤差が対象カメラに伝播してしまう。もちろん、較正の過程でも誤差を生じさせる可能性がある。
そして、その後に、別の車載カメラで較正する必要が生じたとすると、その対象カメラに隣接する車載カメラが以前に較正されていて、その時に誤差が伝播していた可能性もある。この場合、その誤差が、新たに較正する対象カメラにも伝播する。もちろん、基準に用いる車載カメラが以前に較正された後に、走行中の振動などによって誤差が生じている可能性もあり、この場合も誤差が対象カメラに伝播してしまう。
このように、複数の車載カメラの較正を繰り返すと、少しずつ誤差が蓄積されて、較正の精度が低下していく。その結果、車両周辺の対象物の位置を精度良く把握することが困難になって行くものと考えられる。
【０００８】
この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車載カメラの較正（キャリブレーション）を繰り返しても、精度を低下させることなく較正することが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の車載カメラ較正装置、画像生成装置、車載カメラ較正方法、および画像生成方法は、車両に搭載された複数の車載カメラの各々について、車両に対する車載カメラの取付角度または取付位置の少なくとも一方についての初期状態からの変化量を検出する。そして、変化量が所定の閾値よりも大きい車載カメラが存在する場合には、その車載カメラを較正が必要な対象カメラとして選択するとともに、変化量が最も少ない車載カメラを基準カメラとして選択する。更に、対象カメラと基準カメラとの間に他の車載カメラが存在する場合には、その車載カメラを中間カメラとして選択する。そして、中間カメラが選択されていない場合には、基準カメラを用いて対象カメラを較正する。これに対して、中間カメラが選択されている場合には、基準カメラを用いて中間カメラを較正した後、較正した中間カメラを用いて対象カメラを較正する。
【００１０】
こうすれば、中間カメラが選択されている場合には、基準カメラを用いて対象カメラを較正するだけでなく、中間カメラも基準カメラを用いて較正することができる。そして、次回に較正が必要となった時に、前回に較正した時の基準カメラ、対象カメラ、中間カメラの少なくとも１つでも、取付位置および取付角度が変化していなければ、その車載カメラを基準カメラとして選択することで、前回の較正時と同じ精度で較正することができる。その結果、較正を繰り返しても、較正精度が低下することを回避することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施例の画像生成装置１００（および車載カメラ較正装置２００）を搭載した車両１を示す説明図である。
【図２】車両１に搭載された複数の車載カメラ１０F，１０L，１０R，１０Ｂの撮影領域を概念的に示した説明図である。
【図３】画像生成装置１００（および車載カメラ較正装置２００）の大まかな内部構成を示す説明図である。
【図４】画像生成装置１００が車両１の周辺を監視するための画像を生成する画像生成処理の前半部分のフローチャートである。
【図５】画像生成処理の後半部分のフローチャートである。
【図６】車載カメラの取付位置および取付角度が初期状態から変化したか否かを判断するために検出する変化量についての説明図である。
【図７】対象カメラおよび基準カメラを選択した態様を例示する説明図である。
【図８】対象カメラおよび基準カメラを選択した他の態様を例示する説明図である。
【図９】基準カメラと対象カメラとが隣接する場合に基準カメラを基準に用いて対象カメラを較正する第１較正処理のフローチャートである。
【図１０】基準カメラの撮影画像の中から対象カメラとの重複領域の画像を切り出して特徴点を検出する様子を示す説明図である。
【図１１】重複領域の画像中で特徴点が検出された様子を例示した説明図である。
【図１２】対象カメラの撮影画像の中から重複領域の画像を切り出して特徴点を検出した様子を示す説明図である。
【図１３】基準カメラと対象カメラとが隣接しない場合に基準カメラを基準に用いて対象カメラを較正する第２較正処理の前半部分のフローチャートである。
【図１４】第２較正処理の中間部分のフローチャートである。
【図１５】第２較正処理の後半部分のフローチャートである。
【図１６】基準カメラと対象カメラとが隣接しない場合に、基準カメラを基準に用いて対象カメラを較正することを模式的に示した説明図である。
【図１７】基準カメラと対象カメラとが隣接しない場合に、基準カメラを基準に用いて対象カメラを較正する他の態様を模式的に示した説明図である。
【図１８】変形例の画像生成装置１００の大まかな内部構成を示す説明図である。
【図１９】変形例の画像生成装置１００（および車載カメラ較正装置２００）が車載カメラを較正する様子を概念的に示した説明図である。
【図２０】変形例の画像生成装置１００（および車載カメラ較正装置２００）が車載カメラを較正する他の態様を概念的に示した説明図である。
【図２１】中間カメラの選択の仕方が複数ある場合に、変形例の画像生成装置１００が車載カメラを較正する様子を概念的に示した説明図である。
【図２２】中間カメラの選択の仕方が複数ある場合に、変形例の画像生成装置１００が車載カメラを較正する他の態様を概念的に示した説明図である。
【発明を実施するための形態】
【００１２】
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成  ：
図１には、本実施例の画像生成装置１００（および車載カメラ較正装置２００）を搭載した車両１が示されている。図示されるように車両１には、複数（図示した例では４つ）の車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒと、画像生成装置１００（および車載カメラ較正装置２００）と、表示画面２０とが搭載されている。
画像生成装置１００（および車載カメラ較正装置２００）は、ＣＰＵを中心として、メモリーや、タイマー、入出力周辺装置などが、バスを介して相互にデータを通信可能に接続されたマイクロコンピューターである。画像生成装置１００は、複数の車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒから撮影画像を受け取って、後述する所定の処理を施すことによって監視画像を生成した後、液晶表示装置などによる表示画面２０に出力する。
【００１３】
図２には、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの搭載位置と撮影領域とが概念的に示されている。車載カメラ１０Ｆは車両１の前方のバンパー上部に搭載されており、車両１の前方の撮影領域Ｄ（Ｆ）を撮影する。また、車載カメラ１０Ｂは車両１の後方のバンパー上部に搭載されており、車両１の後方の撮影領域Ｄ（Ｂ）を撮影する。更に、車載カメラ１０Ｌは車両１の左側ドアミラー１２Ｌの下面に搭載されており、車両１の左側方の撮影領域Ｄ（Ｌ）を撮影し、車載カメラ１０Ｒは車両１の右側ドアミラー１２Ｒの下面に搭載されて、車両１の右側方の撮影領域Ｄ（Ｒ）を撮影する。
【００１４】
また、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒには、魚眼レンズなどの広角レンズが搭載されており、広い角度範囲を撮影することができる。このため、図２に示されるように、車載カメラ１０Ｆの撮影領域Ｄ（Ｆ）と車載カメラ１０Ｒの撮影領域Ｄ（Ｒ）とは、領域Ｄ（ＦＲ）で一部が重複しており、車載カメラ１０Ｆの撮影領域Ｄ（Ｆ）と車載カメラ１０Ｌの撮影領域Ｄ（Ｌ）とは、領域Ｄ（ＦＬ）で一部が重複している。同様に、車載カメラ１０Ｂの撮影領域Ｄ（Ｂ）と車載カメラ１０Ｒの撮影領域Ｄ（Ｒ）とは、領域Ｄ（ＢＲ）で一部が重複しており、車載カメラ１０Ｂの撮影領域Ｄ（Ｂ）と車載カメラ１０Ｌの撮影領域Ｄ（Ｌ）とは、領域Ｄ（ＢＬ）で一部が重複している。このため、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの撮影画像を繋ぎ合わせれば、車両１の全周方向への撮影画像を得ることができる。
【００１５】
更に、本実施例の画像生成装置１００は、これらの撮影画像に視線変換を施して視線変換画像を生成する。そして視線変換画像から、車両１の周囲を監視するための監視画像を生成して表示画面２０に出力する。ここで「視線変換」とは、車載カメラによる撮影画像を、実際の撮影方向とは異なる方向から撮影したような画像に変換する処理である。また、あたかも車両１を、真下に（あるいは斜め下方に）見下ろす方向から撮影したような画像に視線変換する処理は「鳥瞰変換」と呼ばれることがある。また、「視線変換画像」とは、撮影画像を視線変換して得られた画像であり、「鳥瞰画像」とは、撮影画像を鳥瞰変換して得られた画像である。
尚、以下では、説明の便宜から、撮影画像を鳥瞰変換することによって鳥瞰画像に変換するものとして説明する。従って、以下の説明で「鳥瞰変換」と表記されている箇所は「視線変換」と読み替えることによって一般化することができる。
図２では、表示画面２０に表示される鳥瞰画像の表示範囲が、破線の矩形によって示されている。このように、車載カメラによる撮影画像を鳥瞰変換して表示してやれば、運転者が周囲の状況を容易に把握することが可能となる。
【００１６】
もっとも、運転者が、車両１の周囲の状況を正しく把握するためには、表示画面２０に表示される鳥瞰画像が、実際の状況を反映した画像となるように、正しく鳥瞰変換されている必要がある。そしてそのためには、それぞれの車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの車両１に対する取付位置および取付角度が、鳥瞰変換に際して想定している取付位置および取付角度から変化していないことが前提となる。
もちろん、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの取付位置や取付角度は、車両１の工場出荷後に何らかの理由でズレが生じる可能性がある。そこで、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの取付位置や取付角度にズレが生じた場合には、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒを較正（キャリブレーション）する技術も提案されている。ここで「車載カメラの較正」とは、車両１に対する車載カメラの取付位置や取付角度を検出して、若しくは、正しい取付位置や取付角度からのズレ量を検出して、その結果を踏まえて撮影画像を適切に鳥瞰変換できるようにすることをいう。
ところが、車載カメラの較正を繰り返していると、正しく鳥瞰変換することができなくなり、その結果、運転者が、車両１の周囲の状況を正しく把握することが困難となっていく。そこで、本実施例の画像生成装置１００（および車載カメラ較正装置２００）は、車載カメラの較正を繰り返しても正しく鳥瞰変換することを可能とするために、以下のような特別な構成を備えている。
【００１７】
図３には、本実施例の画像生成装置１００（および車載カメラ較正装置２００）の大まかな内部構成が示されている。図示されるように画像生成装置１００は、撮影画像取得部１０１や、鳥瞰画像生成部１０２、画像合成部１０３、画像出力部１０４、変化量検出部１０５、対象カメラ選択部１０６、基準カメラ選択部１０７、中間カメラ選択部１０８、第１較正部１０９、第２較正部１１０、警報出力部１１１を備えている。
尚、これら１１つの「部」は、画像生成装置１００が、車両１の周辺を監視するための画像を表示画面２０に出力する機能に着目して、便宜的に画像生成装置１００の内部構成を分類したものであり、画像生成装置１００がこれらの「部」に物理的に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
また、画像生成装置１００の中の変化量検出部１０５、対象カメラ選択部１０６、基準カメラ選択部１０７、中間カメラ選択部１０８、第１較正部１０９、第２較正部１１０、警報出力部１１１の部分は、本発明の「車載カメラ較正装置２００」に対応する。
【００１８】
図３に示されるように、撮影画像取得部１０１は、車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒに接続されており、それぞれの車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒから撮影画像を取得する。
鳥瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒの撮影画像を受け取って、それぞれの撮影画像を鳥瞰変換して鳥瞰画像を生成する。画像合成部１０３は、鳥瞰画像生成部１０２で生成したそれぞれの鳥瞰画像を用いて、表示画面２０に表示する監視画像を合成する。そして、画像出力部１０４は、画像合成部１０３が合成した監視画像を表示画面２０に出力する。
【００１９】
また、撮影画像取得部１０１は、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの撮影画像を、変化量検出部１０５にも出力している。変化量検出部１０５は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの撮影画像を受け取ると、後述する方法によって、それぞれの車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒの車両１に対する取付位置および取付角度の変化量を検出する。
【００２０】
続いて、対象カメラ選択部１０６は、車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒの中で変化量が所定の閾値を超える車載カメラを、較正が必要な「対象カメラ」として選択する。
また、対象カメラが選択された場合には、基準カメラ選択部１０７は、車載カメラ１０Ｆ、１０Ｂ，１０Ｌ，１０Ｒの中で変化量が最も小さい車載カメラを、較正の基準として用いる「基準カメラ」として選択する。
更に、対象カメラと基準カメラとが互いに隣接する車載カメラでなかった場合には、対象カメラと基準カメラとの間に存在する車載カメラを「中間カメラ」として選択する。例えば、図２に示した例で、対象カメラが車載カメラ１０Ｂであり、基準カメラが車載カメラ１０Ｆであった場合には、車載カメラ１０Ｌあるいは車載カメラ１０Ｒの何れかを中間カメラとして選択する。
【００２１】
そして、対象カメラと基準カメラとが互いに隣接している場合は、中間カメラは選択されていないので、第１較正部１０９が、基準カメラの撮影画像を用いて、対象カメラを較正する。
第１較正部１０９は、対象カメラを特定する情報を対象カメラ選択部１０６から取得し、基準カメラを特定する情報を基準カメラ選択部１０７から取得する。更に、基準カメラおよび対象カメラの撮影画像は、撮影画像取得部１０１から取得する。
また、第１較正部１０９は、対象カメラを較正することによって得られた情報を、鳥瞰画像生成部１０２に出力する。
【００２２】
これに対して、対象カメラと基準カメラとが互いに隣接していない場合は、中間カメラが選択されている。そこで、第２較正部１１０が、基準カメラの撮影画像を用いて中間カメラを較正し、その後、中間カメラの撮影画像を用いて対象カメラを較正する。
対象カメラおよび基準カメラを特定する情報は、対象カメラ選択部１０６および基準カメラ選択部１０７から取得する。また、中間カメラを特定する情報については、中間カメラ選択部１０８から取得する。更に、基準カメラ、中間カメラ、および対象カメラの撮影画像は、撮影画像取得部１０１から取得する。
また第２較正部１１０は、中間カメラを較正することによって得られた情報と、対象カメラを較正することによって得られた情報とを鳥瞰画像生成部１０２に出力する。
【００２３】
尚、基準カメラとして選択された車載カメラの変化量が大きかった場合は、第１較正部１０９あるいは第２較正部１１０で他の車載カメラを較正しても、十分な較正精度は得られないと考えられる。そこで、警報出力部１１１は、基準カメラとして選択された車載カメラの変化量を、所定の許容値と比較して、基準カメラの変化量が許容値よりも大きかった場合には、その旨の警報を、画像出力部１０４を介して、表示画面２０に予め出力しておく。
【００２４】
鳥瞰画像生成部１０２は、こうして第１較正部１０９あるいは第２較正部１１０から車載カメラの較正結果に関する情報を受け取ると、その情報を以降の鳥瞰変換に反映させる。例えば、第１較正部１０９から対象カメラの較正結果を受け取った場合には、その情報を、それ以降に対象カメラの撮影画像を鳥瞰変換する際に反映させる。また、第２較正部１１０から対象カメラおよび中間カメラの較正結果を受け取った場合には、それらの情報を、それ以降に対象カメラおよび中間カメラの撮影画像を鳥瞰変換する際に反映させる。
こうすれば、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの較正を繰り返しても、精度を低下させることなく較正することが可能となる。以下では、画像生成装置１００が車両１の周辺を監視するための画像（ここでは表示画面２０に表示される画像）を生成する画像生成処理について説明し、その説明の中で、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの較正を繰り返しても精度が低下しない理由について説明する。
【００２５】
Ｂ．画像生成処理  ：
図４および図５には、本実施例の画像生成装置１００が、表示画面２０に表示される画像を生成する画像生成処理のフローチャートが示されている。
図示されるように画像生成処理では、先ず始めに、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれから撮影画像を取得する（Ｓ１００）。
続いて、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれについて、車両１に対する取付位置および取付角度が工場出荷時の初期状態から変化した程度、すなわちズレの大きさを表す指標（変化量）を検出する（Ｓ１０１）。車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれについての変化量は、種々の方法によって検出することができるが、本実施例では、簡便に次のような方法を用いて検出する。
【００２６】
図６には、本実施例の画像生成装置１００（および車載カメラ較正装置２００）が、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒについての変化量を検出する様子が示されている。前述したように車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒには広角レンズが搭載されているので、図６（ａ）に例示したように、得られる撮影画像には車両１の一部が写り込んでいる。当然ながら、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの車両１に対する取付位置あるいは取付角度の少なくとも一方が変化すれば、撮影画像中に写り込んだ車両１の位置も変化する。図６（ｂ）には、取付位置あるいは取付角度が変化したことによって、撮影画像中に写り込んだ車両１の位置が変化した様子が例示されている。
【００２７】
そこで、車両１の工場出荷時に相当する初期状態の撮影画像（図６（ａ）に例示）中で、写り込んだ車両１の輪郭線の位置を記憶しておく。撮影画像中での車両１の輪郭線の位置は、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれについて記憶しておく。そして、その後に、撮影画像を取得したら、その撮影画像に写り込んだ車両１の輪郭線の位置を検出して、初期状態として記憶されている位置と比較する。
【００２８】
図６（ｃ）には、初期状態として記憶されている輪郭線の位置（図中では破線で表示）と、その後に検出された車両１の輪郭線の位置（図中では実線で表示）とを比較する様子が示されている。図６（ｃ）中で、初期状態の輪郭線を表す破線と、その後に検出された輪郭線を表す実線とで囲まれた部分（図中で破線を付した部分）のズレ面積Ｓは、車両１に対する取付位置および取付角度で生じたズレの大きさに対応する。
もっとも、撮影画像に写り込んだ車両１の輪郭線が長くなると、ズレ面積Ｓは大きな値となる傾向がある。そこで、初期状態での輪郭線の線長Ｌを記憶しておき、ズレ面積Ｓを輪郭線の線長Ｌで除算することによって、変化量Ｃを算出する（図６（ｄ）参照）。車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれの撮影画像では、写り込む輪郭線の長さが異なっているが、変化量Ｃを算出しておけば、撮影画像に写り込んだ車両１の輪郭線の長さに影響を受けることなく、ズレの大きさを比較することができる。
尚、ここでは、撮影画像に写り込んだ車両１の輪郭線を利用して、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれについての変化量Ｃを検出するものとして説明した。しかし、変化量Ｃを検出する方法は、このような方法に限られるものではない。例えば、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれに、精度の高い位置センサーを装着するなどして、より直接的な方法によって変化量Ｃを検出しても良い。
【００２９】
以上のようにして、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒのそれぞれについての変化量Ｃを検出したら（図４のＳ１０１）、変化量Ｃが所定の閾値を超えた車載カメラが存在するか否かを判断する（Ｓ１０２）。
その結果、変化量Ｃが所定の閾値を超えた車載カメラは存在しないと判断した場合は（Ｓ１０２：ｎｏ）、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの何れについても較正は不要と考えられる。そこで、それぞれの車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒで得られた撮影画像を鳥瞰変換して、得られた鳥瞰画像を合成することによって、表示画面２０に表示する画像（監視画像）を生成する（Ｓ１１１）。
【００３０】
その後、合成した監視画像を表示画面２０に出力した後（Ｓ１１２）、画像の生成を終了するか否かを判断する（Ｓ１１３）。その結果、終了しないと判断した場合は（Ｓ１１３：ｎｏ）、処理の先頭に戻って、再び撮影画像を取得する（Ｓ１００）。そして、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒ毎に変化量Ｃを検出して（Ｓ１０１）、変化量Ｃが所定の閾値を超えた車載カメラが存在するか否かを判断する（Ｓ１０２）。
車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの何れかでも変化量Ｃが所定の閾値を超えない間は、処理を終了すると判断されるまで（Ｓ１１３：ｙｅｓ）、上述した一連の処理を繰り返す。
【００３１】
これに対して、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの何れかの変化量Ｃが所定の閾値を超えた場合は（Ｓ１０２：ｙｅｓ）、車載カメラの較正が必要と考えられる。
そこで、変化量Ｃが所定の閾値を超えた車載カメラを、較正を要する「対象カメラ」として選択する（Ｓ１０３）。更に、車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの中で変化量Ｃが最も小さい車載カメラを、較正に際して基準として用いる「基準カメラ」として選択する（Ｓ１０４）。
尚、２つ以上の車載カメラで、変化量Ｃが同時に閾値を超える状況は現実的には考えにくいが、このような状況が発生した場合には、それらの車載カメラの中で変化量Ｃが大きい方を、対象カメラとして選択する。そして、後述する方法で対象カメラを較正した後、対象カメラとして選択しなかった方の車載カメラの変化量Ｃが依然として閾値を超えていた場合には、改めてその車載カメラを対象カメラとして選択すればよい。
【００３２】
続いて、基準カメラとして選択した車載カメラの変化量が、所定の許容量以下か否かを判断する（Ｓ１０５）。その結果、基準カメラの変化量が許容量を超えていた場合は（Ｓ１０５：ｎｏ）、基準カメラを基準に用いて対象カメラを較正しても、十分な較正精度は得られないと考えられる。そこで、この場合は、表示画面２０上にその旨の警報を表示することによって、運転者に通知する（Ｓ１０６）。あるいは、十分な較正精度は得られない旨の音声を出力しても良い。こうして警報を出力すれば、車両１を整備工場に搬入するなどして、車載カメラを正確に較正し直すように、運転者に促すことが可能となる。
これに対して、基準カメラの変化量が許容量を超えていなかった場合は（Ｓ１０５：ｙｅｓ）、警報は出力しない。
【００３３】
その後、対象カメラとして選択された車載カメラと、基準カメラとして選択された車載カメラとが、隣接する車載カメラか否かを判断する（Ｓ１０７）。例えば、図７（ａ）に例示したように、車載カメラ１０Ｂが対象カメラとして選択され、車載カメラ１０Ｒが基準カメラとして選択されている場合は、対象カメラと基準カメラとが隣接すると判断する。
尚、図中で車載カメラ１０Ｂを囲う破線の矩形は、車載カメラ１０Ｂが対象カメラとして選択されていることを表している。また、図中で車載カメラ１０Ｒを囲う破線の円形は、車載カメラ１０Ｒが基準カメラとして選択されていることを表している。
これに対して、図７（ｂ）に例示したように、車載カメラ１０Ｂが対象カメラとして選択され、車載カメラ１０Ｆが基準カメラとして選択されている場合は、対象カメラと基準カメラとが隣接しないと判断する。
【００３４】
以上のようにして、対象カメラと基準カメラとが隣接するか否かを判断して（図４のＳ１０７）、隣接すると判断した場合は（Ｓ１０７：ｙｅｓ）、第１較正処理を開始する（Ｓ１０８）。第１較正処理の詳細については後述するが、第１較正処理は上述した画像生成処理の中で起動されて、画像生成処理と並行して対象カメラを較正する処理である。
これに対して、対象カメラと基準カメラとが隣接していないと判断した場合は（Ｓ１０７：ｎｏ）、対象カメラと基準カメラとの間に存在する車載カメラを中間カメラとして選択する（Ｓ１０９）。例えば、図７（ｂ）に示した例では、車載カメラ１０Ｌあるいは車載カメラ１０Ｒの何れか一方を、中間カメラとして選択する。
【００３５】
尚、本実施例では、車両１に４つの車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒが搭載されているとしているから、対象カメラと基準カメラとが隣接していない場合に、対象カメラと基準カメラとの間に存在する車載カメラ（中間カメラ）は、必ず１つとなる。しかし、中間カメラとして選択される車載カメラは必ずしも１つであるとは限らない。
例えば、図８（ａ）に例示したように、車両１に６つの車載カメラが搭載されていて、対象カメラとして車載カメラ１０Ｂが選択され、基準カメラとして車載カメラ１０Ｆが選択されたとする。この場合には、車両１の右側方に搭載された車載カメラ１０Ｒｆおよび車載カメラ１０Ｒｂの２つの車載カメラ、あるいは車両１の左側方に搭載された車載カメラ１０Ｌｆおよび車載カメラ１０Ｌｂの２つの車載カメラが、中間カメラとして選択される。
【００３６】
あるいは、図８（ｂ）に例示したように、対象カメラとして車載カメラ１０Ｂが選択され、基準カメラとして車載カメラ１０Ｒｆが選択されたとする。この場合は、１つの車載カメラ（車載カメラ１０Ｒｂ）を中間カメラとして選択することもできるし、車載カメラ１０Ｆ、車載カメラ１０Ｌｆ、および車載カメラ１０Ｌｂの３つの車載カメラを中間カメラとして選択することもできる。
対象カメラを迅速に較正する観点からすると、選択する車載カメラの数が少なくなるように中間カメラを選択する方が望ましい。一方、較正を繰り返しても精度を低下させない観点からすると、選択する車載カメラの数が多くなるように中間カメラを選択する方が望ましい。この理由については、後ほど詳しく説明する。
【００３７】
こうして中間カメラを選択したら、第２較正処理を開始する（Ｓ１１０）。詳細には後述するが、第２較正処理も、上述した画像生成処理の中で起動されて、画像生成処理と並行して対象カメラを較正する処理である。
【００３８】
Ｃ．第１較正処理  ：
図９には、第１較正処理のフローチャートが示されている。この処理は、上述したように、図４の画像生成処理の中で選択された対象カメラと基準カメラとが隣接する車載カメラであった場合に開始されて、画像生成装置１００（および車載カメラ較正装置２００）によって実行される処理である。
第１較正処理（Ｓ２００）を開始すると、先ず始めに、基準カメラとして選択された車載カメラの撮影画像と、対象カメラとして選択された車載カメラの撮影画像とを、撮影画像取得部１０１から取得する（Ｓ２０１）。
尚、以下では、図７（ａ）に示した例に従って、基準カメラが車載カメラ１０Ｒであり、対象カメラが車載カメラ１０Ｂであるものとして説明する。
【００３９】
続いて、基準カメラの撮影画像の中から、対象カメラと撮影領域が重複する領域の画像を切り出して、その画像の中から特徴点を検出する（Ｓ２０２）。
ここでは、基準カメラが車載カメラ１０Ｒであり、対象カメラが車載カメラ１０Ｂであるとしているから、図１０（ａ）に示したように、車載カメラ１０Ｒの撮影領域Ｄ（Ｒ）と車載カメラ１０Ｂの撮影領域Ｄ（Ｂ）とが重複する領域Ｄ（ＢＲ）の画像を、車載カメラ１０Ｒの撮影画像から切り出す。そして、図１０（ｂ）に示したように、切り出した画像の中から特徴点Ｆを検出する。
尚、特徴点Ｆとしては、例えば、路面に描かれた白線の交点などのように、撮影画像中で位置を特定できる点であれば、種々の点を検出することができる。
また、本実施例のように撮影画像を鳥瞰変換して鳥瞰画像を表示する場合には、重複する領域Ｄ（ＢＲ）の画像全体ではなく、図１０中に破線で示したように、鳥瞰画像として表示される範囲の画像を切り出して、その画像の中から特徴点Ｆを検出することとしてもよい。
【００４０】
その後、検出した特徴点の信頼度評価値を算出する（Ｓ２０３）。ここで、特徴点の信頼度評価値とは、検出した特徴点を用いて較正した場合に、どの程度の信頼性で較正することができるかを評価した指標である。
例えば、図１１（ａ）に例示したように、検出した特徴点Ｆの個数が少ない場合は、信頼性の高い較正をすることは困難と考えられる。
また、多数の特徴点Ｆが検出されていても、それらが偏って分布している場合には、信頼性の高い較正をすることは困難と考えられる。特徴点Ｆの分布の偏りは、図１１（ｂ）に例示したように、特徴点Ｆの分布幅Ｗを用いて評価することができる。あるいは、特徴点Ｆの座標値の分散を用いて評価することもできる。
【００４１】
更には、多数の特徴点Ｆが広い範囲に分布した状態で検出されていた場合でも、個々の特徴点Ｆの位置精度が低ければ、信頼性の高い較正をすることは困難と考えられる。例えば、撮影画像のピントがぼけていた場合は、たとえ特徴点Ｆが検出できたとしても、十分な位置精度で検出することはできない。あるいは、撮影画像が暗すぎたり（または明るすぎたり）するなどして、コントラストが十分でなかった場合も、十分な位置精度で特徴点Ｆを検出することはできない。そして、十分な位置精度で特徴点Ｆを検出することはできなければ、信頼性の高い較正をすることは困難と考えられる。
本実施例では、特徴点Ｆが検出された位置での画像の輝度勾配を用いて、検出した特徴点Ｆの位置精度を評価する。これは、特徴点Ｆが検出された位置で画像のピントがぼけておらず、且つ、十分なコントラストが得られていれば、その特徴点Ｆの位置では、画像の輝度が大きく変化している（輝度勾配が大きい）と考えられるからである。
【００４２】
以上を踏まえて、図９のＳ２０３では次式を用いて特徴点の信頼度評価値を算出する。
信頼度評価値  ＝α・（特徴点の個数）＋β・（特徴点の分布）＋γ・（各特徴点での輝度勾配の平均値）
ここで、α、β、γは、特徴点の個数、特徴点の分布、各特徴点での輝度勾配の平均値に対する重み係数である。それぞれの重み係数の比率を適切な比率に設定しておけば、特徴点の個数や、特徴点の分布、各特徴点での輝度勾配の平均値の影響が適切に反映された信頼度評価値を算出することができる。また、この計算式によれば、特徴点の個数が多くなるほど、特徴点の分布が広くなるほど、各特徴点での輝度勾配の平均値が大きくなるほど、信頼度評価値は大きくなる。
【００４３】
以上のようにして、特徴点の信頼度評価値を算出したら（図９のＳ２０３）、得られた信頼度評価値が、所定の基準値以上か否かを判断する（Ｓ２０４）。
その結果、信頼度評価値が基準値に満たなかった場合は（Ｓ２０４：ｎｏ）、検出した特徴点を用いて較正しても信頼性の高い較正はできないものと考えられる。そこで、処理の先頭に戻って、基準カメラおよび対象カメラの撮影画像を取得した後（Ｓ２０１）、撮影画像中の重複領域の画像から特徴点を検出する（Ｓ２０２）。そして、検出した特徴点の信頼度評価値を算出した後（Ｓ２０３）、得られた信頼度評価値が基準値を超えているか否かを判断する（Ｓ２０４）。
【００４４】
こうしたことを繰り返すうちに、やがて、信頼度評価値が基準値以上と判断される（Ｓ２０４：ｙｅｓ）。そしてこの場合は、十分な信頼性で較正できるような特徴点が検出されたものと考えられるので、次のようにして、対象カメラの較正を開始する。
先ず、対象カメラ（ここでは車載カメラ１０Ｂ）の撮影画像の中から、基準カメラ（ここでは車載カメラ１０Ｒ）と重複して撮影する領域の画像を切り出して、画像中の特徴点を検出する（Ｓ２０５）。
図１２には、車載カメラ１０Ｂの撮影画像の中から、車載カメラ１０Ｂ（対象カメラ）の撮影領域Ｄ（Ｂ）と車載カメラ１０Ｒ（基準カメラ）の撮影領域Ｄ（Ｒ）とが重複する領域Ｄ（ＢＲ）の画像を切り出して、特徴点Ｇを検出した様子が示されている。尚、この場合も、重複する領域Ｄ（ＢＲ）の画像全体ではなく、図１２中に破線で示すように、鳥瞰画像として表示される範囲の画像を切り出して、その画像の中から特徴点Ｇを検出することとしてもよい。
【００４５】
そして、対象カメラの撮影画像から検出した特徴点Ｇ（図１２参照）が、基準カメラの撮影画像から検出した特徴点Ｆ（図１０（ｂ）参照）に重なるように、対象カメラの車両１に対する取付位置および取付角度を較正する（Ｓ２０６）。較正は次のような原理に基づいて行う。
例えば、図１０（ｂ）に示した特徴点Ｆと、図１２に示した特徴点Ｇとを比較すると、両者は車両１に対する位置が異なっている。これは、対象カメラである車載カメラ１０Ｂの車両１に対する取付位置あるいは取付角度の少なくとも一方に、ズレが生じたために、撮影画像を正しく鳥瞰変換できなくなったために生じた現象と考えられる。
そこで、対象カメラの取付位置および取付角度を、現在想定している取付位置および取付角度の周辺で様々に変更しながら鳥瞰変換して、得られた特徴点Ｇの位置を、基準カメラから得られた特徴点Ｆの位置と比較する。その結果、特徴点Ｇの位置が、特徴点Ｆの位置に対して、誤差の程度まで近付く鳥瞰画像が得られたら、その時の鳥瞰変換に際して想定した取付位置および取付角度は、ズレが生じた後の対象カメラの正しい取付位置および取付角度と考えて良い。このことから、対象カメラの撮影画像から検出した特徴点Ｇが、基準カメラの撮影画像から検出した特徴点Ｆに重なるように鳥瞰変換される取付位置および取付角度を求めれば、対象カメラを較正することができる。
【００４６】
こうして対象カメラを較正したら（Ｓ２０６）、その対象カメラについて初期状態として記憶されている輪郭線の位置を更新した後（Ｓ２０７）、図９の第１較正処理を終了する。すなわち、第１較正処理を終了する前に、較正に用いた対象カメラの撮影画像の中から車両１の輪郭線の位置を検出して、対象カメラ（ここでは車載カメラ１０Ｂ）の初期状態の輪郭線の位置を更新しておく。
そして、その後に、前述した画像生成処理（図４および図５参照）で対象カメラ（ここでは車載カメラ１０Ｂ）の撮影画像を鳥瞰変換する際には（図５のＳ１１１）、対象カメラの取付位置および取付角度が、較正された取付位置および取付角度であるものとして鳥瞰変換する。
【００４７】
以上では、較正する対象の対象カメラと、較正に際して基準として用いる基準カメラとが隣接している場合に、対象カメラを較正する処理（第１較正処理）について説明した。これに対して、対象カメラと基準カメラとが隣接していない場合には、次のようにして対象カメラを較正する。
【００４８】
Ｄ．第２較正処理  ：
図１３〜図１５には、第２較正処理のフローチャートが示されている。この処理は、上述したように、図４および図５の画像生成処理の中で設定された対象カメラと基準カメラとが隣接しない車載カメラであった場合に開始されて、画像生成装置１００（および車載カメラ較正装置２００）によって実行される処理である。
【００４９】
ここで、第２較正処理の詳細な説明に入る前に、理解の便宜から、前述した第１較正処理との違いについて概要を説明しておく。前述した第１較正処理では、基準カメラと対象カメラとが隣接しているので、基準カメラの撮影領域の一部が対象カメラの撮影領域の一部と重複している。従って、基準カメラの撮影画像を用いて対象カメラを較正することができる。
これに対して第２較正処理では、基準カメラと対象カメラとが隣接していないので、基準カメラの撮影画像を用いて直接には対象カメラを較正することができない。そこで、先ず始めに、基準カメラの撮影画像を用いて、基準カメラに隣接する中間カメラを較正する。そして、その中間カメラが対象カメラに隣接していた場合には、較正した中間カメラの撮影画像を用いて対象カメラを較正する。
また、基準カメラに隣接する中間カメラが対象カメラに隣接していなかった場合には、基準カメラの撮影画像を用いて、基準カメラに隣接する中間カメラを較正し、較正した中間カメラの撮影画像を用いて、その中間カメラに隣接する中間カメラを較正する。こうして、基準カメラに隣接する中間カメラから次々に中間カメラを較正していくことにより、最終的には、対象カメラに隣接する中間カメラを較正することができる。そして、対象カメラに隣接する中間カメラを較正したら、較正した中間カメラの撮影画像を用いて対象カメラを較正する。
以下では、このような第２較正処理について、第１較正処理との相違点を中心として簡単に説明する。
【００５０】
図１３に示されるように、第２較正処理（Ｓ３００）を開始すると、先ず始めに、基準カメラの撮影画像と、基準カメラに隣接する中間カメラの撮影画像とを、撮影画像取得部１０１から取得する（Ｓ３０１）。尚、以下では、図７（ｂ）の例示に従って、基準カメラとして選択された車載カメラは車載カメラ１０Ｆであり、対象カメラとして選択された車載カメラは車載カメラ１０Ｂであるものとして説明する。
【００５１】
続いて、基準カメラの撮影画像の中から、隣接する中間カメラと撮影領域が重複する領域の画像を切り出して、その画像の中から特徴点を検出する（Ｓ３０２）。基準カメラが車載カメラ１０Ｆであり、隣接する中間カメラが車載カメラ１０Ｒであった場合は、車載カメラ１０Ｆの撮影画像の中から領域Ｄ（ＦＲ）の画像を切り出して（図２参照）、特徴点Ｆを検出する。
【００５２】
その後、検出した特徴点の信頼度評価値を算出する（Ｓ３０３）。特徴点の信頼度評価値、および信頼度評価値を算出する方法については、前述した第１較正処理で説明した内容と同様なので、ここでは説明を省略する。
そして、得られた信頼度評価値が、所定の基準値以上か否かを判断する（Ｓ３０４）。
その結果、信頼度評価値が基準値に満たなかった場合は（Ｓ３０４：ｎｏ）、処理の先頭に戻って、もう一度、基準カメラおよび、基準カメラに隣接する中間カメラの撮影画像を取得して（Ｓ３０１）、上述した一連の処理（Ｓ３０２〜Ｓ３０４）を繰り返す。
【００５３】
こうしたことを繰り返すうちに、やがて、信頼度評価値が基準値以上と判断されたら（Ｓ３０４：ｙｅｓ）、基準カメラに隣接する中間カメラ（ここでは車載カメラ１０Ｒ）の撮影画像の中から、基準カメラ（ここでは車載カメラ１０Ｆ）と重複して撮影する領域の画像を切り出して、画像中の特徴点を検出する（Ｓ３０５）。
そして、中間カメラの撮影画像から検出した特徴点が、基準カメラの撮影画像から検出した特徴点に重なるような取付位置および取付角度を求めることによって、中間カメラを較正する（Ｓ３０６）。
ここで、中間カメラの取付位置および取付角度に生じたズレの大きさは、まだ較正が不要な程度の大きさに過ぎない。しかし、基準カメラは、車両１に搭載された複数の車載カメラの中で、最もズレの小さい車載カメラであるから、この基準カメラに比べると、中間カメラはズレが大きくなっていると言える。従って、上述したように、基準カメラの撮影画像を用いて、隣接する中間カメラを較正することで、その中間カメラのズレの大きさを、基準カメラのズレの大きさと同じレベルまで減少させることができる。
【００５４】
こうして、基準カメラに隣接する中間カメラを較正したら（Ｓ３０６）、その中間カメラについて初期状態として記憶されている輪郭線の位置を更新した後（Ｓ３０７）、その中間カメラに隣接する次の中間カメラが存在するか否かを判断する（Ｓ３０８）。ここでは、図７（ｂ）に例示したように、基準カメラが車載カメラ１０Ｆであり、中間カメラが車載カメラ１０Ｒで、対象カメラが車載カメラ１０Ｂであるものとしているから、次の中間カメラは存在しない（Ｓ３０８：ｎｏ）と判断される。
これに対して、図８（ａ）に例示したように、基準カメラと対象カメラとの間に複数の中間カメラが存在している場合には、次の中間カメラが存在すると判断される（Ｓ３０８：ｙｅｓ）。そしてこの場合は、較正した中間カメラの撮影画像と、その中間カメラに隣接する次の中間カメラの撮影画像とを、撮影画像取得部１０１から新たに取得する（図１４のＳ３０９）。その後、それら撮影画像に対して、上述した一連の処理（Ｓ３０２〜Ｓ３０７）と同様にして、次の中間カメラを較正する。
【００５５】
以下、図１４を参照しながら簡単に説明すると、較正した中間カメラの撮影画像の中から、隣接する中間カメラとの重複領域の画像を切り出して、その画像の中から特徴点を検出する（Ｓ３１０）。そして、検出した特徴点の信頼度評価値を算出し（Ｓ３１１）、得られた信頼度評価値が所定の基準値以上か否かを判断する（Ｓ３１２）。
その結果、信頼度評価値が基準値に満たない場合は（Ｓ３１２：ｎｏ）、処理の先頭に戻って、新たな撮影画像を取得する（Ｓ３０９）。これに対して、信頼度評価値が基準値以上であった場合は（Ｓ３１２：ｙｅｓ）、較正済みの中間カメラに隣接する中間カメラの撮影画像の中から、較正済みの中間カメラとの重複領域の画像を切り出して、画像中の特徴点を検出する（Ｓ３１３）。
そして、中間カメラの撮影画像から検出した特徴点が、較正済みの中間カメラの撮影画像から検出した特徴点に重なるように中間カメラを較正して（Ｓ３１４）、その中間カメラについて初期状態として記憶されている輪郭線の位置を更新する（Ｓ３１５）。
【００５６】
その後、その中間カメラに隣接する次の中間カメラが存在するか否かを判断する（Ｓ３１６）。その結果、次の中間カメラが存在していた場合は（Ｓ３１６：ｙｅｓ）、Ｓ３０９に戻って、それ以降の上述した一連の処理（Ｓ３０９〜Ｓ３１６）を繰り返す。
これに対して、次の中間カメラが存在していなかった場合は（Ｓ３１６：ｎｏ）は、較正した中間カメラと、その中間カメラに隣接する対象カメラとの間で、上述した処理と同様な処理を行って、対象カメラを較正する。
すなわち、較正した中間カメラの撮影画像と、その中間カメラに隣接する対象カメラの撮影画像とを、撮影画像取得部１０１から取得する（図１５のＳ３１７）。そして、較正した中間カメラの撮影画像の中から、対象カメラとの重複領域の画像を切り出して特徴点を検出し（Ｓ３１８）、特徴点の信頼度評価値を算出して（Ｓ３１９）、信頼度評価値が所定の基準値以上か否かを判断する（Ｓ３２０）。
信頼度評価値が基準値に満たない場合は（Ｓ３２０：ｎｏ）、処理の先頭に戻って、新たな撮影画像を取得する（Ｓ３１７）。これに対して、信頼度評価値が基準値以上であった場合は（Ｓ３２０：ｙｅｓ）、対象カメラの撮影画像の中から、較正済みの中間カメラとの重複領域の画像を切り出して特徴点を検出する（Ｓ３２１）。そして、対象カメラの撮影画像から検出した特徴点が、較正済みの中間カメラの撮影画像から検出した特徴点に重なるように対象カメラを較正する（Ｓ３２２）。その後、対象カメラについて初期状態として記憶されている輪郭線の位置を更新して（Ｓ３２３）、図１３〜図１５の第２較正処理を終了する。
【００５７】
そして、その後に、前述した画像生成処理（図４および図５参照）で対象カメラおよび中間カメラの撮影画像を鳥瞰変換する際には（図５のＳ１１１）、較正された取付位置および取付角度に従って鳥瞰変換されることになる。
【００５８】
図１６には、上述した第２較正処理によって、対象カメラが較正される様子が概念的に示されている。図示した例では、基準カメラ（車載カメラ１０Ｆ）によって中間カメラ（車載カメラ１０Ｒ）を較正し、較正した中間カメラ（車載カメラ１０Ｒ）で対象カメラ（車載カメラ１０Ｂ）を較正している。
このため、対象カメラ（車載カメラ１０Ｂ）にとっては、ズレが最も小さい基準カメラ（車載カメラ１０Ｆ）を基準に用いて較正することができるので、隣接する中間カメラ（車載カメラ１０Ｒ）を基準に用いて較正する場合よりも精度良く較正することができる。
【００５９】
また、対象カメラ（車載カメラ１０Ｂ）の較正に先立って、中間カメラ（車載カメラ１０Ｒ）も基準カメラ（車載カメラ１０Ｆ）を用いて較正される。このため、４つの車載カメラの中の３つの車載カメラについては、取付位置および取付角度のズレの大きさを、基準カメラと同じレベルに保っておくことができる。
もちろん、残りの１つの車載カメラ（車載カメラ１０Ｌ）については、基準カメラと同じレベルにすることができない。しかし、その車載カメラのズレが大きくなって較正が必要となった時に、残りの３つの車載カメラ１０Ｆ，１０Ｒ，１０Ｂの少なくとも１つが、較正した直後の状態を維持していれば、その車載カメラを基準カメラに用いて較正することが可能となる。このため、較正を繰り返したとしても、精度良く較正することが可能となる。
【００６０】
また、図８（ｂ）を用いて前述したように、中間カメラを選択するに際して、中間カメラの数が少なくなるような選択の仕方と、中間カメラの数が多くなるような選択の仕方とが可能な場合がある。図１７には、それぞれの場合について、対象カメラを較正する様子が概念的に示されている。
図１７（ａ）に例示されるように、中間カメラの数が少なくなるように選択した場合は、較正する中間カメラの数が少なくなるので、対象カメラを迅速に較正することが可能となる。
これに対して、図１７（ｂ）に例示されるように、中間カメラの数が多くなるように選択した場合は、多くの中間カメラについて、車載カメラのズレの大きさを基準カメラと同じレベルに保つことができる。このため、次に較正する必要が生じた場合でも、ズレが大きくなっていない車載カメラを基準カメラとして選択できる可能性がより一層高くなる。その結果、較正を繰り返しても精度が低下することを回避することが可能となる。
【００６１】
Ｅ．変形例  ：
上述した実施例では、基準カメラと対象カメラとが隣接していた場合には、基準カメラを用いて対象カメラを較正するものとして説明した。この場合、較正されない車載カメラが発生する。また、基準カメラと対象カメラとが隣接していなかった場合には、基準カメラを用いて中間カメラを較正し、較正した中間カメラを用いて対象カメラを較正するものとして説明した。この場合も、較正されない車載カメラが発生する。
これに対して、基準カメラを用いて残りの全ての車載カメラを較正することとしてもよい。
【００６２】
図１８には、変形例の画像生成装置１００および変形例の車載カメラ較正装置２００の大まかな内部構成が示されている。図１８に示した変形例の画像生成装置１００（および車載カメラ較正装置２００）は、図３を用いて前述した本実施例の画像生成装置１００（および車載カメラ較正装置２００）に対して、警報出力部１１１の代わりに第３較正部１１２を備える点が異なっている。尚、変形例の画像生成装置１００も警報出力部１１１を備えることとしてもよい。
第３較正部１１２は、対象カメラ選択部１０６からは対象カメラとして選択された車載カメラの情報を、基準カメラ選択部１０７からは基準カメラとして選択された車載カメラの情報を、中間カメラ選択部１０８からは中間カメラとして選択された車載カメラの情報を取得する。そして、複数の車載カメラ１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒの中で、基準カメラや、対象カメラ、中間カメラの何れとしても選択されていない車載カメラについて、基準カメラあるいは対象カメラを基準に用いて更新する。
【００６３】
例えば、図１９に例示したように、対象カメラ（図中では破線の矩形で囲って表示）が車載カメラ１０Ｂであり、基準カメラ（図中では破線の円形で囲って表示）が車載カメラ１０Ｒであったとする。この場合、第１較正部１０９は、図１９（ａ）に示したように、基準カメラ（車載カメラ１０Ｒ）を用いて対象カメラ（車載カメラ１０Ｂ）を較正する。
その後、第３較正部１１２が、図１９（ｂ）に示したように、基準カメラ（車載カメラ１０Ｒ）を用いて車載カメラ１０Ｆを較正し、更新した車載カメラ１０Ｆを用いて車載カメラ１０Ｌを較正する。
【００６４】
あるいは、第３較正部１１２は、図２０に例示したようにして較正してもよい。すなわち、先ず始めに第１較正部１０９が基準カメラ（車載カメラ１０Ｒ）を用いて対象カメラ（車載カメラ１０Ｂ）を較正する（図２０（ａ）参照）。その後、第３較正部１１２が、較正した対象カメラを用いて、車載カメラ１０Ｌを較正し、較正した車載カメラ１０Ｌで車載カメラ１０Ｆを較正しても良い（図２０（ｂ）参照）。
【００６５】
また、図１７を用いて前述したように、中間カメラの数が少なくなるような選択の仕方と、中間カメラの数が多くなるような選択の仕方とが可能な場合がある。変形例では、このような場合、次のようにして車載カメラを較正する。
例えば、図２１に示したように、車両１に、６つの車載カメラ１０Ｆ，１０Ｂ，１０Ｒｆ，１０Ｒｂ，１０Ｌｆ，１０Ｌｂが搭載されており、このうちの車載カメラ１０Ｂが対象カメラであり、車載カメラ１０Ｒｆが基準カメラであったとする。この場合、変形例では、中間カメラの数が少なくなるように、車載カメラ１０Ｒｂを中間カメラとして選択する。
【００６６】
次に、第２較正部１１０が、図２１（ａ）に示すように、基準カメラ（車載カメラ１０Ｒｆ）を用いて中間カメラ（車載カメラ１０Ｒｂ）を較正した後、較正した中間カメラを用いて対象カメラ（車載カメラ１０Ｂ）を較正する。
その後、第３較正部１１２が、図２１（ｂ）に示すように、基準カメラ（車載カメラ１０Ｒｆ）を用いて、残った車載カメラ１０Ｆを較正し、次に車載カメラ１０Ｌｆを、そして最後に車載カメラ１０Ｌｂを較正する。
【００６７】
あるいは、図２２（ａ）に例示したように、第２較正部１１０が基準カメラ（車載カメラ１０Ｒｆ）を用いて中間カメラ（車載カメラ１０Ｒｂ）を較正し、次に対象カメラ（車載カメラ１０Ｂ）を較正する。その後、第３較正部１１２が、較正済みの対象カメラ（車載カメラ１０Ｂ）を用いて、車載カメラ１０Ｌｂを較正し、次に車載カメラ１０Ｌｆを、そして最後に車載カメラ１０Ｆを較正しても良い。
【００６８】
以上のような変形例では、基準カメラと対象カメラとが隣接している場合には、基準カメラを用いて対象カメラを較正することにより、対象カメラを迅速に較正することができる。また、基準カメラと対象カメラとが隣接していない場合には、中間カメラを選択する。このとき、中間カメラの数が少なくなるような選択の仕方と、中間カメラの数が多くなるような選択の仕方とが可能な場合には、中間カメラの数が少なくなるように選択する。そして、基準カメラを用いて中間カメラを較正した後、較正した中間カメラを用いて対象カメラを較正する。このため、中間カメラを介して対象カメラを較正する場合でも、対象カメラを迅速に較正することができる。
更に、対象カメラを較正した後は、較正されていない残りの車載カメラも、基準カメラと同じレベルに較正しておくことができる。このため、次に較正が必要となった時に、複数の車載カメラの少なくとも一つは、較正直後のズレのない状態に保たれていると考えられるので、たとえ較正を繰り返した場合でも、較正の精度が低下することを回避することが可能となる。
【００６９】
以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
【符号の説明】
【００７０】
１…車両、    １０Ｂ，１０Ｆ，１０Ｌ，１０Ｒ…車載カメラ、  ２０…表示画面、
１００…画像生成装置、      １０１…撮影画像取得部、  １０２…鳥瞰画像生成部、
１０３…画像合成部、        １０４…画像出力部、      １０５…変化量検出部、
１０６…対象カメラ選択部、  １０７…基準カメラ選択部、
１０８…中間カメラ選択部、  １０９…第１較正部、      １１０…第２較正部、
２００…車載カメラ較正装置。
【図１】
0006458439.tif 000002
【図２】
0006458439.tif 000003
【図３】
0006458439.tif 000004
【図４】
0006458439.tif 000005
【図５】
0006458439.tif 000006
【図６】
0006458439.tif 000007
【図７】
0006458439.tif 000008
【図８】
0006458439.tif 000009
【図９】
0006458439.tif 000010
【図１０】
0006458439.tif 000011
【図１１】
0006458439.tif 000012
【図１２】
0006458439.tif 000013
【図１３】
0006458439.tif 000014
【図１４】
0006458439.tif 000015
【図１５】
0006458439.tif 000016
【図１６】
0006458439.tif 000017
【図１７】
0006458439.tif 000018
【図１８】
0006458439.tif 000019
【図１９】
0006458439.tif 000020
【図２０】
0006458439.tif 000021
【図２１】
0006458439.tif 000022
【図２２】
0006458439.tif 000023