(57)【要約】【課題】車両に設置したカメラの取付位置または取付角度がズレた場合でも、ズレたカメラを特定し、対象物を正しく検出することを可能とする。【解決手段】車載の第１車載カメラおよび第２車載カメラの撮影領域が重複した第１重複領域から対象物を検出し、第２車載カメラおよび第３車載カメラの撮影領域が重複した第２重複領域から対象物を検出する。第１重複領域から対象物を検出したら、第１車載カメラが撮影した対象物と第２車載カメラが撮影した対象物とが整合するか否かを判断する。同様に、第２重複領域から対象物を検出したら、第２車載カメラが撮影した対象物と第３車載カメラが撮影した対象物とが整合するか否かを判断する。そして、その第１重複領域および第２重複領域それぞれの整合または不整合の判断結果に基づけば、ズレたカメラを特定することができる。【選択図】図７
2016053748.tif 000002
【特許請求の範囲】
【請求項１】
複数の車載カメラ（２１、２２、２３）を搭載した車両（１）に適用されて、該車載カメラの撮影画像に写った対象物を検出することによって運転支援を行う運転支援装置（１０）であって、
前記車両を基準に設定された所定の第１領域についての第１撮影画像を、該車両に搭載された第１車載カメラから取得する第１撮影画像取得部（１２）と、
前記第１領域に対して所定の第１重複領域（２６）を重複させて設定された所定の第２領域についての第２撮影画像を、該車両に搭載された第２車載カメラから取得する第２撮影画像取得部（１１）と、
前記第２領域に対して所定の第２重複領域（２７）を重複させて設定された所定の第３領域についての第３撮影画像を、該車両に搭載された第３車載カメラから取得する第３撮影画像取得部（１３）と、
前記第１撮影画像、前記第２撮影画像、および前記第３撮影画像を解析して前記対象物を検出する対象物検出部（１４）と、
前記第１重複領域で前記対象物が検出された場合には、該対象物の前記第１撮影画像中での位置と前記第２撮影画像中での位置とが整合するか否かを判断する第１判断部（１６）と、
前記第２重複領域で前記対象物が検出された場合には、該対象物の前記第２撮影画像中での位置と前記第３撮影画像中での位置とが整合するか否かを判断する第２判断部（１６）と、
前記第１重複領域または前記第２重複領域の何れか一方で整合しない旨の判断結果が得られた場合には、前記第１車載カメラ、前記第２車載カメラ、または前記第３車載カメラの何れかで取付角度または取付位置のズレが生じたものと判断するとともに、該第１重複領域および該第２重複領域での判断結果に基づいて、該ズレが生じた前記車載カメラを特定する車載カメラ特定部（１８）と
を備える運転支援装置。
【請求項２】
請求項１に記載の運転支援装置であって、
前記車載カメラ特定部は、
前記第１重複領域での判断結果が整合しない旨の判断結果であり、且つ、前記第２重複領域での判断結果が整合する旨の判断結果であった場合には、前記第１車載カメラで前記ズレが生じたものと判断し、
前記第１重複領域および前記第２重複領域の何れの判断結果も整合しない旨の判断結果であった場合には、前記第２車載カメラで前記ズレが生じたものと判断し、
前記第１重複領域での判断結果が整合する旨の判断結果であり、且つ、前記第２重複領域での判断結果が整合しない旨の判断結果であった場合には、前記第３車載カメラで前記ズレが生じたものと判断する特定部である
運転支援装置。
【請求項３】
請求項１または請求項２に記載の運転支援装置（５０）であって、
前記第１領域は、前記車両の左側方に設定された領域であり、
前記第２領域は、前記車両の前方に設定された領域であり、
前記第３領域は、前記車両の右側方に設定された領域であり、
前記第１領域とは所定の第３重複領域（２８）を重複させ、前記第３領域とは所定の第４重複領域（２９）を重複させて、前記車両の後方に設定された所定の第４領域についての第４撮影画像を、該車両に搭載された第４車載カメラ（２４）から取得する第４撮影画像取得部（２１９）を備え、
前記対象物検出部は、前記第４撮影画像からも前記対象物を検出する検出部であり、
前記第１判断部は、前記第１重複領域で整合するか否かを判断した場合には、前記第３重複領域でも整合するか否かを判断する判断部であり、
前記第２判断部は、前記第２重複領域で整合するか否かを判断した場合には、前記第４重複領域でも整合するか否かを判断する判断部であり、
前記車載カメラ特定部は、
前記第１重複領域での判断結果が得られた場合には、該判断結果および前記第３重複領域での判断結果に基づいて、前記第１車載カメラ、前記第２車載カメラ、および前記第４車載カメラについての前記ズレの有無と、該ズレが生じた前記車載カメラを特定し、
前記第２重複領域での判断結果が得られた場合には、該判断結果および前記第４重複領域での判断結果に基づいて、前記第２車載カメラ、前記第３車載カメラ、および前記第４車載カメラについての前記ズレの有無と、該ズレが生じた前記車載カメラを特定する特定部である
運転支援装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の運転支援装置（２１０）であって、
前記対象物検出部は、前記対象物として、前記車両が走行中の車線の区切りを検出する検出部である
運転支援装置。
【請求項５】
請求項４に記載の運転支援装置であって、
前記第１領域または前記第３領域の少なくとも一方で検出された前記車線の区切りに基づいて、該車線の区切りに対する前記車両の走行位置を制御する制御部（３０）を備え、
前記制御部は、前記第１車載カメラまたは前記第３車載カメラの一方で前記ズレが生じていると判断された場合には、該ズレが生じた前記車載カメラによる前記撮影画像の代わりに前記第２車載カメラによる前記第２撮影画像を用いて検出された前記車線の区切りに基づいて、前記車両の走行位置を制御する制御部である
運転支援装置。
【請求項６】
複数の車載カメラを搭載した車両に適用されて、該車載カメラの撮影画像に写った対象物を検出することによって運転支援を行う運転支援方法であって、
前記車両を基準に設定された所定の第１領域についての第１撮影画像を、該車両に搭載された第１車載カメラから取得する第１撮影画像取得工程（Ｓ１０１）と、
前記第１領域に対して所定の第１重複領域を重複させて設定された所定の第２領域についての第２撮影画像を、該車両に搭載された第２車載カメラから取得する第２撮影画像取得工程（Ｓ１０１）と、
前記第２領域に対して所定の第２重複領域を重複させて設定された所定の第３領域についての第３撮影画像を、該車両に搭載された第３車載カメラから取得する第３撮影画像取得工程（Ｓ１０１）と、
前記第１撮影画像、前記第２撮影画像、および前記第３撮影画像を解析して前記対象物を検出する対象物検出工程（Ｓ１０２）と、
前記第１重複領域で前記対象物が検出された場合には、該対象物の前記第１撮影画像中での位置と前記第２撮影画像中での位置とが整合するか否かを判断する第１判断工程（Ｓ２０２）と、
前記第２重複領域で前記対象物が検出された場合には、該対象物の前記第２撮影画像中での位置と前記第３撮影画像中での位置とが整合するか否かを判断する第２判断工程（Ｓ２０５）と、
前記第１重複領域または前記第２重複領域の何れか一方で整合しない旨の判断結果が得られた場合には、前記第１車載カメラ、前記第２車載カメラ、または前記第３車載カメラの何れかで取付角度または取付位置のズレが生じたものと判断するとともに、該第１重複領域および該第２重複領域での判断結果に基づいて、該ズレが生じた前記車載カメラを特定する車載カメラ特定工程（Ｓ２１０、Ｓ２１２、Ｓ２１３）と
を備える運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の車載カメラを備える車両に適用されて、車載カメラの撮影画像に写った対象物を検出して運転支援を行うための技術に関する。
【背景技術】
【０００２】
近年では、車両が車線を維持できるように支援したり、車線からの逸脱を警告したり、車間距離を維持したりといった様々な運転支援のための技術開発が進められている。そのような運転支援を行うために、車両に設置したカメラから周囲を撮影し、走行車線や前方を走行する車両等の所望の対象物を観測することが行われている。例えば、車両の前後左右それぞれに向かって設置した４つのカメラで撮影した画像を解析して、車線を認識する技術が提案されている（特許文献１）。
【０００３】
カメラで撮影した画像から対象物の位置を検出するためには、カメラの特性（焦点距離やレンズの歪みなど）に加えて、車体に対するカメラの取付位置および取付角度に関する正確なデータが必要となる。そこで、車両の製造時（あるいは工場出荷時）には、車体に対する各カメラの取付位置および取付角度を調整することによって、実際の取付位置および取付角度が許容範囲内に収まるように調整されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０６７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、車両の出荷後に、何らかの理由（例えば走行による振動）で、いずれかのカメラの取付位置または取付角度がズレた場合、そのズレたカメラを特定できないため、対策することが困難という問題があった。
【０００６】
この発明は、従来の技術が有する上記の課題に対応してなされたものであり、車両に設置したカメラの取付位置または取付角度がズレた場合でも、ズレたカメラを特定して、容易に対策することを可能とする技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために本発明の運転支援装置および運転支援方法は、第１車載カメラの撮影領域と第２車載カメラの撮影領域とを第１重複領域で重複させておき、第２車載カメラの撮影領域と第３車載カメラの撮影領域とを第２重複領域で重複させておく。そして、第１重複領域で対象物を検出したら、第１車載カメラで対象物が検出された位置と、第２車載カメラで対象物が検出された位置とが整合するか否かを判断する。同様に、第２重複領域で対象物を検出したら、第２車載カメラで対象物が検出された位置と、第３車載カメラで対象物が検出された位置とが整合するか否かを判断する。その結果、何れかの重複領域で対象物の位置の不整合が検出された場合には、何れかの車載カメラの取付角度または取付位置が生じたものと判断し、更に、第１重複領域および第２重複領域での判断結果に基づいて、ズレが生じた車載カメラを特定する。
【０００８】
詳細な理由については後述するが、こうすれば、何れかの車載カメラで取付角度または取付角度のズレが生じた場合には、そのことを直ちに検知し、更には、ズレが生じた車載カメラを直ちに特定することができる。その結果、適切な取付位置および取付角度で取り付けられた車載カメラの撮影画像を取得することができる。そして、何らかの理由で取付位置または取付角度にズレが生じた場合でも、ズレが生じた車載カメラを特定することができるので、容易に対策することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１実施例の運転支援装置１０を搭載した車両１を示す説明図である。
【図２】運転支援装置１０の大まかな内部構成を示したブロック図である。
【図３】重複撮影領域で検出された対象物の位置の整合性について判断している様子を例示した説明図である。
【図４】運転支援装置１０が実行する運転支援情報取得処理のフローチャートである。
【図５】第１実施例のカメラ角度確認処理の前半部分のフローチャートである。
【図６】第１実施例のカメラ角度確認処理の後半部分のフローチャートである。
【図７】対象物の位置の整合性についての判断結果と、カメラのズレの有無についての判断との対応関係を示した説明図である。
【図８】第１実施例の変形例による運転支援装置５０を搭載した車両１を示す説明図である。
【図９】前方の重複撮影領域で検出した対象物を、後方の重複撮影領域でも検出する様子を示す説明図である。
【図１０】第２実施例の運転支援装置２１０の大まかな内部構成を示したブロック図である。
【図１１】左方カメラ２２がズレた場合と、前方カメラ２１がズレた場合との白線の不整合の表れ方の違いを示した説明図である。
【図１２】運転支援装置２１０が実行する運転支援情報取得処理のフローチャートである。
【図１３】第２実施例のカメラ角度確認処理のフローチャートである。
【図１４】ズレを検知したカメラから取得した撮影画像の修正の様子を示した説明図である。
【発明を実施するための形態】
【００１０】
以下では、上述した本願発明の内容を明確にするために運転支援装置の実施例について説明する。
Ａ．第１実施例  ：
Ａ−１．第１実施例の装置構成  ：
図１には、運転支援装置１０を搭載した車両１の大まかな構造が示されている。図示されるように車両１は、運転支援装置１０に加えて、車両１の前方の周辺領域を撮影する前方カメラ２１と、左方の周辺領域を撮影する左方カメラ２２と、右方の周辺領域を撮影する右方カメラ２３と、車両１を制御する制御部３０とを備えている。
【００１１】
尚、前方カメラ２１が本発明の「第２車載カメラ」に対応し、左方カメラ２２が本発明の「第１車載カメラ」に対応し、右方カメラ２３が本発明の「第３車載カメラ」に対応する。
また、前方カメラ２１の撮影領域が本発明の「第２領域」に対応し、左方カメラ２２の撮影領域が本発明の「第１領域」に対応し、右方カメラ２３の撮影領域が本発明の「第３領域」に対応する。
さらに、前方カメラ２１が撮影した画像が本発明の「第２撮影画像」に対応し、左方カメラ２２が撮影した画像が本発明の「第１撮影画像」に対応し、右方カメラ２３が撮影した画像が本発明の「第３撮影画像」に対応する。
【００１２】
前方カメラ２１、左方カメラ２２および右方カメラ２３は広角レンズを備えており、図１中に一点鎖線で示した広い画角を有している。このため、左方カメラ２２および前方カメラ２１の撮影領域が互いに重複する領域（左前方重複撮影領域２６）と、右方カメラ２３および前方カメラ２１の撮影領域が互いに重複する領域（右前方重複撮影領域２７）とが生じている。
尚、左前方重複撮影領域２６が本発明の「第１重複領域」に対応し、右前方重複撮影領域２７が本発明の「第２重複領域」に対応する。
【００１３】
前方カメラ２１、左方カメラ２２および右方カメラ２３が撮影した画像は、運転支援装置１０に入力され、運転支援装置１０はそれらの撮影画像から運転支援情報を取得する。
ここで運転支援情報とは、車線逸脱警報、車線維持支援や衝突被害軽減などの各種の車両１の運転支援を実行するために、各カメラが撮影した画像から検出した対象物から取得できる情報である。対象物は、運転支援情報を取得するために必要とされる観測対象であり、通常、道路標示や道路標識、障害物、歩行者や他車両等が観測の対象とされる。従って、運転支援情報としては、例えば、道路に描かれた白線の位置情報、道路標識の指示内容、歩行者や他の車両の位置や移動方向・速度などが挙げられる。本実施例の運転支援装置１０は、このような運転支援情報を取得するために検出される対象物の位置情報を利用して、カメラのズレを検知し、そのズレたカメラを特定する装置である。
【００１４】
運転支援装置１０が取得した運転支援情報は制御部３０に出力される。制御部３０は、その運転支援情報に基づいて車両１に備わるハードウェアを制御する。このハードウェアとして例えば、各種運転支援を実行するために車両１の加減速や操舵角を制御する装置や、車両１の周囲の映像を映すディスプレイの表示を制御する装置などが挙げられる。
運転支援情報を正確に取得するために、前方カメラ２１、左方カメラ２２および右方カメラ２３は、予め設定された取付位置および取付角度となるように設置される。この設定された取付位置および取付角度を各カメラが保っていれば、撮影画像の座標と実空間の座標との対応関係から、撮影画像に写った対象物の実空間における位置を取得することが可能となる。また、車両１の周囲の映像を取得するために、互いに隣接する撮影領域を有する複数のカメラを用いて撮影した画像を合成する場合には、合成の繋ぎ目を滑らかに合わせることが可能となる。
【００１５】
ところが、車両に設置したカメラは、走行中の振動や衝突等の何らかの拍子に、設定された取付位置および取付角度からズレてしまうことがある。そうすると、撮影した画像座標と実空間座標との対応関係が崩れてしまい、運転支援情報を正しく取得できなくなってしまう。
本実施例の運転支援装置１０は、そのように前方カメラ２１、左方カメラ２２または右方カメラ２３の何れかが設定された取付位置および取付角度からズレてしまったときでも、そのことによる影響を少なくして運転支援情報を取得することができる。
【００１６】
図２には、本実施例の運転支援装置１０の大まかな内部構成が示されている。図示されるように、運転支援装置１０は、前方撮影画像取得部１１と、左方撮影画像取得部１２と、右方撮影画像取得部１３と、対象物検出部１４と、運転支援情報出力部１５と、整合性判断部１６と、記憶部１７と、異常カメラ特定部１８とを備えている。
尚、これら８の「部」は、運転支援装置１０の内部を機能の観点から分類した概念であり、運転支援装置１０が物理的に８の部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。
【００１７】
尚、前方撮影画像取得部１１が本発明の「第２撮影画像取得部」に対応し、左方撮影画像取得部１２が本発明の「第１撮影画像取得部」に対応し、右方撮影画像取得部１３が本発明の「第３撮影画像取得部」に対応する。
また、整合性判断部１６が本発明の「第１判断部」および「第２判断部」に対応する。
更に、異常カメラ特定部１８が本発明の「車載カメラ特定部」に対応する。
【００１８】
前方撮影画像取得部１１は前方カメラ２１から撮影画像を取得する。同様に、左方撮影画像取得部１２は左方カメラ２２から撮影画像を取得し、右方撮影画像取得部１３は右方カメラ２３から撮影画像を取得する。
対象物検出部１４は、前方撮影画像取得部１１、左方撮影画像取得部１２および右方撮影画像取得部１３が取得した撮影画像のそれぞれから対象物を検出する。この対象物は、上述の通り運転支援情報を取得するために検出されるものであるが、後述の通り、カメラのズレを検知することにも利用される。
運転支援情報出力部１５は、対象物検出部１４が検出した対象物の位置や内容に関する情報を受け取って、これを運転支援情報として制御部３０に出力する。
【００１９】
整合性判断部１６は、左前方重複撮影領域２６または右前方重複撮影領域２７で対象物を検出した場合に、各撮影画像で検出した対象物の位置の整合性を判断する。
仮に、前方カメラ２１で左前方重複撮影領域２６に対象物が写っていたとすると、その対象物は左方カメラ２２の左前方重複撮影領域２６にも写っている筈である。また、前方カメラ２１による撮影画像中でその対象物が写った座標から、その対象物の車両１に対する位置を求めることができる。同様に、左方カメラ２２による撮影画像からも、車両１に対した対象物が存在する位置を求めることができる。
【００２０】
そして、前方カメラ２１の撮影画像から求めた位置と、左方カメラ２２の撮影画像から求めた位置とは、通常であれば一致する筈である。しかし、前方カメラ２１および左方カメラ２２が車両１に対して正しい角度および位置に取り付けられていない場合には、両者は一致しなくなる。
そこで、整合性判断部１６は、左前方重複撮影領域２６で対象物が検出された場合には、前方カメラ２１の撮影画像から求めた対象物の位置と、左方カメラ２２の撮影画像から求めた対象物の位置とが一致するか否かを確認する。そして、一致しない場合には、それらの対象物が不整合であると判断する。
尚、重複撮影領域に写った２つの対象物の位置が整合していると判断するためには、両者の位置が完全に一致していることを要するものではなく、当然に誤差を考慮すべきである。
【００２１】
記憶部１７は、整合性判断部１６が判断した対象物の整合性を、左前方重複撮影領域２６と右前方重複撮影領域２７とでそれぞれ記憶する。また、記憶部１７は、異常カメラ特定部１８から読み出しできる状態でその判断結果の記憶を保持する。
【００２２】
図３には、重複撮影領域で検出した対象物の位置の整合性についての判断について例示されている。尚、図３では、各カメラが撮影した画像を、車両１を真上から見下ろした視点の鳥瞰画像に変換して図示しているが、必ずしもこのように撮影画像の視点を変換する必要はない。各カメラが設定された取付位置および取付角度を保っていれば、各撮影画像に写った対象物の位置の整合性を見ることは可能である。
図３（ａ）の場合では、左前方重複撮影領域２６において、前方撮影画像に写った対象物（実線で示した円形）の位置と、左方撮影画像に写った対象物（破線で示した円形）の位置とが相当程度に離れているため、両者が不整合であると判断している。従って、左前方重複撮影領域２６で対象物が不整合であると記憶する。
図３（ａ）の右前方重複撮影領域２７では、対象物検出部１４が対象物を検出していないため、記憶部１７も整合性についての判断結果を記憶していない。尚、これに限られず、記憶部１７は対象物を検出していないということを記憶してもよい。
【００２３】
図３（ｂ）の場合では、左前方重複撮影領域２６では対象物を検出せず、右前方重複撮影領域２７で対象物を検出している。そして、右前方重複撮影領域２７で検出した対象物は、前方撮影画像に写った対象物（実線で示した三角形）と、左方撮影画像に写った対象物（破線で示した三角形）とが同じ位置にあると言えるほど互いに近い位置で検出されているため、両者が整合していると整合性判断部１６が判断し、その旨を記憶部１７が記憶する。
もちろん、図３（ａ），（ｂ）は例示にすぎず、ある場面では、左前方重複撮影領域２６および右前方重複撮影領域２７の何れからも対象物を検出せず、また別の場面では左前方重複撮影領域２６および右前方重複撮影領域２７の何れからも対象物を検出することもある。
【００２４】
異常カメラ特定部１８は、記憶部１７に記憶されている整合性判断部１６の判断結果を読み出して、前方カメラ２１、左方カメラ２２、右方カメラ２３の何れかで位置または角度のズレが生じていないか、更にはズレが生じたカメラが何れであるかを特定する。上述したように、記憶部１７には、左前方重複撮影領域２６で対象物が検出される度に、前方カメラ２１による検出位置と、左方カメラ２２による検出位置とが整合するか否かの判断結果が記憶されている。同様に、右前方重複撮影領域２７についても、対象物が検出される度に、前方カメラ２１による検出位置と、右方カメラ２３による検出位置とが整合するか否かの判断結果が記憶されている。そして、後ほど詳しく説明するように、これらの情報が分かれば、前方カメラ２１、左方カメラ２２、右方カメラ２３の何れかで位置または角度のズレが生じていないか、および、ズレが生じたカメラを特定することができる。
【００２５】
こうして、ズレが生じたカメラの有無、およびズレが生じたカメラを特定することができれば、ズレに対する対策が容易となる。本実施例の運転支援装置１０では、ズレたカメラが撮影した画像については運転支援情報の取得対象から除外することにより、カメラがズレてしまったことの影響を少なくしている。もちろん、ズレが生じた場合に、何れのカメラでズレが生じているかを表示して、そのカメラの取付位置および取付角度を調整するように促すこととしてもよい。以下では、こうしたことを実現するために運転支援装置１０の内部で行われる処理について詳しく説明する。
【００２６】
Ａ−２．運転支援装置１０による運転支援情報取得処理  ：
図４には、本実施例の運転支援装置１０が実行する運転支援情報取得処理のフローチャートが示されている。前方カメラ２１、左方カメラ２２および右方カメラ２３は、所定の撮影周期（例えば３０Ｈｚ）で画像を撮影しており、この運転支援情報取得処理はその撮影周期に対応して繰り返し実行される。
運転支援装置１０は、先ず、前方撮影画像、左方撮影画像、右方撮影画像を取得する（Ｓ１０１）。前方撮影画像は前方撮影画像取得部１１が前方カメラ２１から取得し、左方撮影画像は左方撮影画像取得部１２が左方カメラ２２から取得し、右方撮影画像は右方撮影画像取得部１３が右方カメラ２３から取得する。次に取得した前方撮影画像、左方撮影画像、右方撮影画像それぞれから対象物を検出する（Ｓ１０２）。元々、この対象物は、運転支援装置１０が運転支援情報を出力するために検出されているが、以下に説明するカメラ角度確認処理では、その検出された対象物の位置情報を利用して実行される。
【００２７】
各撮影画像から対象物を検出する処理をしたら（Ｓ１０２）、各カメラの角度が設置当初からズレていないかどうかを確認するカメラ角度確認処理を開始する（Ｓ２００）。尚、この処理をすると設置されたカメラの角度ズレに加えて、結果的にカメラの位置ズレについても確認されることとなる。このため、正確には「角度および位置ズレ」と表記するのが正しいが、以降、特に断りのない限りは、単に「角度ズレ」と表記する。
【００２８】
図５および図６には、カメラ角度確認処理のフローチャートが示されている。図５に示されるように、カメラ角度確認処理では先ず前方撮影画像中の左前方重複撮影領域２６に対象物があるか否かを確認する（Ｓ２０１）。尚、左前方重複撮影領域２６は図１を参照して説明した通り、前方カメラ２１の撮影領域と左方カメラ２２の撮影領域とが重複した領域であるが、その重複した領域に対象物があるということは前方撮影画像にも左方撮影画像にも写っているということになる。よって、この処理は左方撮影画像中の左前方重複撮影領域２６に対象物があるか否かを確認することとしてもよい。
【００２９】
左前方重複撮影領域２６に対象物がある場合は（Ｓ２０１：ｙｅｓ）、前方撮影画像に写った対象物と左方撮影画像に写った対象物との位置が整合するかどうかを判断し（Ｓ２０２）、その判断結果を記憶する（Ｓ２０３）。今説明しているカメラ角度確認処理は図４の運転支援情報取得処理の中で繰り返し実行されるが、この判断結果の記憶（Ｓ２０３）は、一回のカメラ角度確認処理ごとに消去することなく、次回以降のカメラ角度確認処理で読込み可能に保持される。以下の判断結果も同様である。
一方、左前方重複撮影領域２６に対象物がない場合には（Ｓ２０１：ｎｏ）、対象物の位置が整合するか否かを判断し、その判断結果を記憶する処理（Ｓ２０２、Ｓ２０３）は省略する。
【００３０】
左前方重複撮影領域２６での判断結果を記憶した後（Ｓ２０３）、または、左前方重複撮影領域２６に対象物がない場合（Ｓ２０１：ｎｏ）には、右前方重複撮影領域２７でも、左前方重複撮影領域２６でした処理と同様の処理を実行する（Ｓ２０４〜Ｓ２０６）。
尚、本実施例では、左前方重複撮影領域２６についての処理（Ｓ２０１〜Ｓ２０３）の後に、右前方重複撮影領域２７についての処理（Ｓ２０４〜Ｓ２０６）を実行するものとしているが、どちらを先に実行してもよい。
【００３１】
右前方重複撮影領域２７での判断結果を記憶した後（Ｓ２０６）、または、左前方重複撮影領域２６に対象物がない場合（Ｓ２０４：ｎｏ）には、左前方重複撮影領域２６または右前方重複撮影領域２７の少なくとも一方で対象物の位置の不整合が記憶されているか否かを確認する（Ｓ２０７）。対象物の位置の不整合が記憶されていなければ（Ｓ２０７：ｎｏ）、図４の運転支援情報取得処理に復帰する。
【００３２】
運転支援情報取得処理に復帰すると、ズレたカメラを特定したか否かを判断する（Ｓ１０３）。Ｓ２０７で「ｎｏ」と判断された場合は、左前方重複撮影領域２６および右前方重複撮影領域２７の何れでも対象物の位置の不整合が生じていないので、車両１の出荷時の状態と同じである。従って、この場合は、前方カメラ２１、左方カメラ２２および右方カメラ２３の何れにもズレはないため、ズレたカメラを特定していない（Ｓ１０３：ｎｏ）と判断することができる。
そこで、上記のＳ１０２で検出した対象物に関する情報を運転支援情報として出力し（Ｓ１０４）、運転支援情報取得処理を終了する。この一連の運転支援情報取得処理をカメラの撮影周期ごとに繰り返し実行することで、車両１の制御部３０に運転支援情報を出力し続けることができる。
【００３３】
一方、図５に示されたカメラ角度確認処理で、左前方重複撮影領域２６または右前方重複撮影領域２７の少なくとも一方で対象物の位置の不整合が記憶されていた場合には（Ｓ２０７：ｙｅｓ）、その不整合を記憶した以後に他方の重複撮影領域での判断結果を記憶したかどうかを確認する（Ｓ２０８）。このような判断をするのは、次のような理由による。
【００３４】
左前方重複撮影領域２６または右前方重複撮影領域２７の少なくとも一方で対象物の不整合があれば（Ｓ２０７：ｙｅｓ）、前方カメラ２１、左方カメラ２２および右方カメラ２３の何れかにズレが生じたと考えられる。このカメラ角度確認処理では、そのズレが生じたカメラを特定することができるが、そのためには後述するように、カメラがズレた状態における左前方重複撮影領域２６および右前方重複撮影領域２７のそれぞれで対象物が整合しているか否かを知る必要がある。しかし、左前方重複撮影領域２６または右前方重複撮影領域２７の何れかで対象物の不整合を検出しても、他方の重複撮影領域では未だカメラのズレが生じた後の対象物の整合性が判断されていない場合があり得る。そこで、何れかの重複撮影領域で対象物の不整合を記憶した以後、他方の重複撮影領域での判断結果を記憶したかどうかを確認するのである（Ｓ２０８）。
【００３５】
他方の重複撮影領域での判断結果が未だ記憶されていなければ（Ｓ２０８：ｎｏ）、ズレが生じたカメラを特定することができないので、図４の運転支援情報取得処理に復帰する。そして、復帰した運転支援情報取得処理は繰り返し実行されるため、所定の撮影周期で前方撮影画像、左方撮影画像、右方撮影画像が取得されて（Ｓ１０１）、再び図５のカメラ角度確認処理（Ｓ２００）が開始される。このため、やがては、Ｓ２０８で「ｙｅｓ」と判断される。
Ｓ２０８で「ｙｅｓ」と判断したら、続いて、対象物の位置の不整合を検出したのは左前方重複撮影領域２６または右前方重複撮影領域２７の何れか一方であるか否かを確認する（図６のＳ２０９）。何れか一方ではなく、両方の重複撮影領域で対象物が不整合の場合は（Ｓ２０９：ｎｏ）、前方カメラ２１にズレが発生したものと判断することができる（Ｓ２１０）。この理由については後に詳しく説明する。
【００３６】
一方、対象物の不整合を検出したのが左前方重複撮影領域２６または右前方重複撮影領域２７の何れかの場合は（Ｓ２０９：ｙｅｓ）、その対象物の不整合を検出したのは左前方または右前方の何れの重複撮影領域であるかを確認する（Ｓ２１１）。対象物の不整合を検出した領域が左前方重複撮影領域２６であった場合は（Ｓ２１１：左前方）、左方カメラ２２にズレが発生したものと判断する（Ｓ２１２）。これに対し、対象物の不整合を検出した領域が右前方重複撮影領域２７であった場合は（Ｓ２１１：右前方）、右方カメラ２３にズレが発生したものと判断する（Ｓ２１３）。
【００３７】
図７には、対象物の位置の整合性についての判断結果と、カメラのズレの有無についての判断との対応関係が示されている。同図の一段目では、左前方重複撮影領域２６および右前方重複撮影領域２７で対象物が整合するため（図５のＳ２０７：ｎｏ）、前方カメラ２１、左方カメラ２２および右方カメラ２３のいずれにもズレはないと判断できる（図４のＳ１０３：ｎｏ）。
【００３８】
図７の二段目では、左前方重複撮影領域２６で対象物が不整合であり、右前方重複撮影領域２７で対象物が整合するため（図６のＳ２１１：左前方）、左方カメラ２２がズレたと判断できる（Ｓ２１２）。このように判断することができる理由について詳しく説明する。まず、左前方重複撮影領域２６で対象物が不整合ということは、左前方重複撮影領域２６を撮影領域に持つ前方カメラ２１または左方カメラ２２の何れかにズレが生じたことを示している。もちろん、前方カメラ２１および左方カメラ２２が同時にズレることも起こり得るが、その可能性は非常に小さいので、前方カメラ２１または左方カメラ２２の何れか一方がズレたものと考えてよい。
一方、右前方重複撮影領域２７で対象物が整合しているということは、前方カメラ２１および右方カメラ２３ではズレが生じていないと考えてよい。
このことから、左前方重複撮影領域２６で対象物が不整合であるが、右前方重複撮影領域２７では対象物が整合している場合は、左方カメラ２２がズレていると判断することができる。
【００３９】
図７の三段目では、左前方重複撮影領域２６で対象物が整合し、右前方重複撮影領域２７で対象物が不整合であるため（図６のＳ２１１：右前方）、右方カメラ２３がズレたと判断できる（Ｓ２１３）。これは上記の左方カメラ２２がズレた場合と同様の考え方による。
【００４０】
図７の四段目では、左前方重複撮影領域２６および右前方重複撮影領域２７の両方で対象物が不整合であるため（図６のＳ２０９：ｎｏ）、前方カメラ２１がズレたと判断できる（Ｓ２１０）。このように判断することができる理由について詳しく説明する。まず、左前方重複撮影領域２６で対象物が不整合ということは、左前方重複撮影領域２６を撮影領域に持つ前方カメラ２１または左方カメラ２２の何れかにズレが生じたことを示している。同様に右前方重複撮影領域２７で対象物が不整合ということは、右前方重複撮影領域２７を撮影領域に持つ前方カメラ２１または右方カメラ２３の何れかにズレが生じたことを示している。
このことから、左前方重複撮影領域２６および右前方重複撮影領域２７の何れでも対象物が不整合の場合は、前方カメラ２１がズレていると判断することができる。
【００４１】
このようにすれば、ズレたカメラを特定することができるし、元々は運転支援情報の取得のために検出される対象物の位置情報を利用するため、ＣＰＵの処理負担の増大を抑えることができる。
こうして、取付角度にズレが生じたカメラを特定したら（図６のＳ２１０、Ｓ２１２、Ｓ２１３）、図４の運転支援情報取得処理に復帰する。ここでは、ズレたカメラを特定しているので（Ｓ１０３：ｙｅｓ）、運転支援情報出力部１５は、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外する（Ｓ１０５）。
そして、運転支援情報出力部１５は、Ｓ１０２で正常に取り付けられたままのカメラが撮影した画像から検出した対象物に関する情報を運転支援情報として出力する（Ｓ１０４）。この運転支援情報には、ズレたカメラからの情報を含んでいないので、カメラがズレたことによって精度が落ちるといった事態を回避することができる。
【００４２】
上述の説明では、ズレたカメラを特定したら（図６のＳ２１０、Ｓ２１２、Ｓ２１３）、そのカメラからの撮影画像を運転支援情報の取得対象から除外するとした。これに限られず、カメラがズレたことや、どのカメラがズレたのかといった情報を報知ランプ等によって運転者に知らせて、カメラの取付角度の修正を促すようにしてもよい。
【００４３】
Ｂ．第１実施例の変形例  ：
本変形例の運転支援装置５０は、車両１が走行していると、車両１の前方で検出した対象物は、間もなく車両１の後方でも検出されることに着目したものであり、以下の構成を備える。
上述した第１実施例の運転支援装置１０は、前方カメラ２１、左方カメラ２２および右方カメラ２３が設置された車両１に適用されていたが（図１，図２参照）、本変形例の運転支援装置５０は、これら３つのカメラに加えて、これらと同様な広角レンズを有する後方カメラ２４を備えた車両１に搭載される。
【００４４】
図８には、運転支援装置５０を搭載した車両１の大まかな構造が示されている。図示されるように、後方カメラ２４が加わったことから、左後方重複撮影領域２８と右後方重複撮影領域２９とが新たに生じている。また、図示は省略するが、運転支援装置５０は後方撮影画像取得部を備えている。
尚、後方カメラ２４が本発明の「第４車載カメラ」に対応する。また、後方カメラ２４の撮影領域が本発明の「第４領域」に対応し、後方撮影画像取得部が本発明の「第４撮影画像取得部」に対応する。さらに、左後方重複撮影領域２８が本発明の「第３重複領域」に対応し、右後方重複撮影領域２９が本発明の「第４重複領域」に対応する。
【００４５】
図９には、左前方重複撮影領域２６で対象物の位置の不整合を検出した後、左後方重複撮影領域２８でも対象物の位置の不整合を検出した場合が示されている。図９（ａ）に示される時点では、左前方重複撮影領域２６で検出した対象物が不整合と判断し、右前方重複撮影領域２７では対象物が検出されていない。
このような場合、第１実施例では、対象物の不整合を記憶したものの（図５のＳ２０７：ｙｅｓ）、その後の他方の重複撮影領域での判断結果がないため（Ｓ２０８：ｎｏ）、図４の運転支援情報取得処理に返していた。そして、右前方重複撮影領域２７で新たに対象物が検出されるまで（図５のＳ２０８：ｙｅｓ）、運転支援情報取得処理を繰り返すこととしていた。このようにしても上述した通り、ズレたカメラを特定するのに長時間を要することはないが、本変形例では、以下に説明するように、さらにその時間を短縮することができる。
【００４６】
走行中の車両１と対象物との位置関係を考えると、図９（ａ）に示されたように、ある時点で車両１の前方にある対象物は、時間の経過とともに車両１の後方に向かって相対的に移動しているように車両１からは観測される。従って、前方の重複撮影領域で検出された対象物は、ごく近い将来に後方の重複撮影領域でも検出される蓋然性があることとなる。このような考えによって、図９（ａ）の左前方重複撮影領域２６で検出した対象物と同一の対象物を、その後間もなく撮影した画像である図９（ｂ）の左後方重複撮影領域２８からも検出している。
【００４７】
図９に例示される場合では、左前方重複撮影領域２６で対象物の位置が不整合であり（同図（ａ））、左後方重複撮影領域２８でも対象物の位置が不整合であるため（同図（ｂ））、左前方重複撮影領域２６および左後方重複撮影領域２８を撮影領域に含むカメラである左方カメラ２２の設置角度がズレたと判断できる。
これに対して例えば、同図（ａ）のように左前方重複撮影領域２６で対象物が不整合と検出した後、左後方重複撮影領域２８では対象物の位置が整合する場合には、左方カメラ２２は正常であり、前方カメラ２１がズレたと判断できる。
ここでは左方の重複撮影領域について説明したが、右方でも同様に処理することができる。
【００４８】
以上のように本変形例の運転支援装置５０では、前方の重複撮影領域に加えて、後方の重複撮影領域からも対象物を検出することによって、必ずしも新たに対象物が検出されるのを待つことなく、ズレたカメラを特定することができる。
尚、左後方または右後方の重複撮影領域で対象物の不整合を検出した場合には、車両１が前方に向かって走行している限り、その後に同一の対象物を検出することはできないが、車両１がバックしているときには上記と同様にして後方カメラ２４のズレも検出することができる。
【００４９】
ここで、本変形例で実行される処理について説明すると、運転支援情報取得処理は、撮影画像の取得対象に後方撮影画像が加わるほかは、第１実施例の場合（図４参照）と同様である。
本変形例のカメラ角度確認処理についても、第１実施例の場合（図５および図６参照）と同様であるが、これに加えて、以下の処理を行うとよい。すなわち、左前方重複撮影領域２６および右前方重複撮影領域２７で対象物の位置の整合性を判断する一連の処理（Ｓ２０１以下）の前に、前回までのカメラ角度確認処理において、既に、左前方重複撮影領域２６または右前方重複撮影領域２７で対象物の位置の不整合を記憶していたか否かを異常カメラ特定部１８で確認する。対象物の位置の不整合を既に記憶していた場合は、左後方または右後方の重複撮影領域に対象物があるかどうかを確認し、対象物があればその整合性の判断をする。
このように、既に前方の対象物の不整合を記憶した場合には、前方の重複撮影領域で新たに対象物を検出する前に、後方の重複撮影領域を優先的に確認することで、より迅速にズレたカメラを特定しつつ、ＣＰＵの処理量を少なくすることができる。
【００５０】
また、このような後方の重複撮影領域での優先的な確認処理は、前方の重複撮影領域で対象物を検出した後、所定の時間内で実行することとしてもよい。この所定の時間は、前方の重複撮影領域で不整合であると検出した対象物と同一の対象物を後方の重複撮影領域でも検出できる可能性の高い時間であり、次のように考えられる。すなわち、前方の重複撮影領域で対象物の不整合を検出してから現在の処理対象となっている撮影画像を撮影した時刻までの時間に、車両１が移動した距離を車速情報から算出し、前方の重複撮影領域で検出した対象物が、後方の重複撮影領域で検出されると推定される時間である。
こうすれば、車両１が進路変更をしている時など、前方の重複撮影領域で検出した対象物と同一の対象物を後方の重複撮影領域で検出できなかった場合には、後方の重複撮影領域での優先的な確認処理を止めて、前方の重複撮影領域と後方の重複撮影領域とから並列的に対象物を検出する通常の処理状態に戻ることができる。
【００５１】
また、前方の重複撮影領域で不整合であると検出した対象物については、左方の撮影画像または右方の撮影画像から検出し続けることとしてもよい。前方の重複撮影領域で検出した対象物は、時間経過とともに後方に向かって移動するように車両１から観測されるが、後方の重複撮影領域に表れるまでの間も、左右いずれかの撮影画像に写り続けることとなる。そこで、前方の重複撮影領域で不整合であると検出した対象物については、左右いずれかの撮影画像から検出し続けることで、その対象物が左後方または右後方の重複撮影領域に表れた時により確実に検出することができる。
【００５２】
Ｃ．第２実施例  ：
Ｃ−１．第２実施例の装置構成  ：
上述した第１実施例およびその変形例では、カメラのズレを検出するために観測する対象物を特定していなかったが、本実施例では、路面に描かれた白線を観測の対象物とする。また、本実施例の車両１は上記の変形例と同様に後方カメラ２４を備える。
尚、本実施例では、白線を観測の対象物としているが、黄色線その他の区画線、路側帯や中央分離帯の縁石、道路鋲などの車線の区切り全般についても同様に観測の対象物とすることができる。
【００５３】
図１０には、本実施例の運転支援装置２１０の大まかな内部構成が示されている。本実施例の運転支援装置２１０は、第１実施例と同様な、前方撮影画像取得部２１１と、左方撮影画像取得部２１２と、右方撮影画像取得部２１３と、対象物検出部２１４と、運転支援情報出力部２１５と、整合性判断部２１６と、記憶部２１７と、異常カメラ特定部２１８とに追加して、後方撮影画像取得部２１９と、修正部２２０とを備える。
後方撮影画像取得部２１９は、後方カメラ２４から撮影画像を取得する。修正部２２０は、ズレを検知したカメラによる撮影画像を修正する。その修正の仕方については後で説明する。
【００５４】
図１１には、左方カメラ２２がズレた場合と、前方カメラ２１がズレた場合との白線の整合性の表れ方の違いが示されている。図示されるように、左方カメラ２２がズレると、第１実施例と同様に左前方重複撮影領域２６で白線の位置の不整合が検出されるのに加えて、左後方重複撮影領域２８でも白線の位置の不整合が検出される。
一方、前方カメラ２１がズレると、左前方重複撮影領域２６および右前方重複撮影領域２７で白線の位置の不整合が検出されるが、これは第１実施例と全く同様である。
図示は省略するが、右方カメラ２３がズレた場合は左右対称であることを除いて左方カメラ２２と同様であり、後方カメラ２４がズレた場合は上下対称であることを除いて前方カメラ２１と同様である。
【００５５】
図１１に示された２つの場合において、後方の２つの重複撮影領域での白線の位置についての整合性の判断がなくとも、前方の２つの重複撮影領域での白線の位置についての整合性の判断さえあれば、前方カメラ２１、左方カメラ２２または右方カメラ２３のうち、どのカメラがズレたのかを特定できることは第１実施例で説明した通りである（図７参照）。
本実施例の運転支援装置２１０では、このような判断について、さらに別の重複領域で判断の正しさを確認することができる。
【００５６】
例えば、図１１（ａ）の場合では、前方を見ると、左前方重複撮影領域２６で白線が不整合であり、かつ、右前方重複撮影領域２７では白線が整合することから、左方カメラ２２がズレたと特定することができる。
同じく図１１（ａ）の場合について、後方を見ると、左後方重複撮影領域２８で白線が不整合であり、かつ、右後方重複撮影領域２９では白線が整合することから、やはり左方カメラ２２がズレたと特定することができる。すなわち、第１実施例でズレたカメラを特定した判断について、別の経路でも判断し、２つの判断の整合性を確認できるといういわゆるダブルチェックが可能となる。
【００５７】
そして、４つのカメラのうち何れのカメラにも、隣り合う両側のカメラと重複した撮影領域が生じるため、上記のようなダブルチェックは、何れのカメラがズレた場合であっても同様に成り立つ。
このように、本実施例の運転支援装置２１０では、第１実施例でした前方の２つの重複撮影領域に加えて、後方の２つの重複撮影領域でも判断するため、より信頼度の高い判断をすることができる。以下では、こうしたことを実現するために運転支援装置２１０の内部で行われる処理について詳しく説明する。
【００５８】
Ｃ−２．運転支援装置２１０による運転支援情報取得処理  ：
図１２には、本実施例の運転支援装置２１０が実行する運転支援情報取得処理のフローチャートが示されている。本実施例の運転支援情報取得処理では、後述するカメラ角度確認処理（Ｓ４００）およびその後の処理（Ｓ３０５、Ｓ３０６）の他は第１実施例とほとんど同様に行われる。
運転支援装置２１０は、先ず、前方撮影画像、左方撮影画像、右方撮影画像および後方撮影画像を取得し（Ｓ３０１）、これらの撮影画像から白線を検出する（Ｓ３０２）。次にカメラ角度確認処理を開始する（Ｓ４００）。
【００５９】
図１３には、本実施例のカメラ角度確認処理のフローチャートが示されている。先ず、左前方重複撮影領域２６、右前方重複撮影領域２７、左後方重複撮影領域２８および右後方重複撮影領域２９の、４つの重複撮影領域の何れかに白線があるか否かを確認する（Ｓ４０１）。４つの重複撮影領域の何れにも白線がない場合は（Ｓ４０１：ｎｏ）、図１２の運転支援情報取得処理に復帰する。４つの重複撮影領域の何れかに白線がある場合は（Ｓ４０１：ｙｅｓ）、その白線を検出した重複撮影領域ごとに白線の位置の整合性を判断してその結果を記憶する（Ｓ４０２）。
【００６０】
次に、４つの重複撮影領域の何れかで白線の不整合を記憶したか否かを確認する（Ｓ４０３）。白線の不整合を記憶していない場合は（Ｓ４０３：ｎｏ）、図１２の運転支援情報取得処理に復帰する。復帰した先の運転支援情報取得処理では、ズレたカメラを特定していないので（Ｓ３０３：ｎｏ）、上記のカメラ角度確認処理で検出した白線の位置情報を、運転支援情報として出力する（Ｓ３０４）。
【００６１】
一方、白線の不整合を記憶した場合は（図１３のＳ４０３：ｙｅｓ）、不整合を記憶した以後に他の３つの重複撮影領域で判断結果を記憶したか否かを確認する（Ｓ４０４）。未だ記憶していない場合は（Ｓ４０４：ｎｏ）、図１２の運転支援情報取得処理に返して、他の３つの重複撮影領域で判断結果を記憶するまでは（Ｓ４０４：ｙｅｓ）、ここまでの処理（Ｓ４０１〜Ｓ４０４）を繰り返すこととなる。
【００６２】
本実施例では白線を観測の対象物とするが、白線は車線の両側に存在することが多い。従って、何れかの重複撮影領域で白線の位置の不整合を検出した後、他の３つの重複撮影領域で白線を検出してその整合性を判断するまでにタイムラグが発生することが少なくなる。
このようにして、白線の不整合を記憶した以後に、他の３つの重複撮影領域で判断結果が得られたら（Ｓ４０４：ｙｅｓ）、先に不整合を検出した重複撮影領域の左右に隣接する重複撮影領域の何れかで不整合が生じているか否かを判断する（Ｓ４０５）。
【００６３】
先に不整合を検出した重複撮影領域の左右に隣接する重複撮影領域の何れかで不整合が生じていない場合は（Ｓ４０５：ｎｏ）、図１２の運転支援情報取得処理に復帰する。これは以下の理由による。
カメラ角度確認処理（Ｓ４００）は何れか１つのカメラがズレた場合、これを検知し、ズレたカメラを特定することを目的としている。そして、何れか１つのカメラがズレた場合には、隣り合う２つの重複撮影領域で白線の不整合が検出される（図１１参照）。
そうすると、ある重複撮影領域で白線の不整合が検出されたとしても（Ｓ４０３）、隣り合う２つの重複撮影領域で白線が不整合でなければ、何れか１つのカメラがズレた場合以外の何らかの事情によって、白線の不整合を検出したということである。
【００６４】
例えば、２つの重複撮影領域で白線が不整合であっても、それが互いに車両１を挟んで対角線上に位置する場合には、何れか１つのカメラがズレたことによって生じた白線の不整合とは判断できない。また、３つ以上の重複撮影領域で白線の不整合が検出されたとしたら、可能性としては非常に低いと考えられるが、２つのカメラが同時にズレたことが考えられるし、１つの重複撮影領域で白線の不整合が検出されたとしたら、回路の異常等その他の異常が発生したことが可能性として考えられる。これらのような場合には、報知ランプの点灯等により運転者に知らせることとしてもよい。
【００６５】
引き続き、カメラ角度確認処理の説明をする。白線の不整合が隣り合う２つの重複撮影領域で生じている場合は（Ｓ４０５：ｙｅｓ）、白線が不整合である判断した２つの重複撮影領域を撮影領域に有するカメラにズレが発生したものと判断する（Ｓ４０６）。そして、図１２の運転支援情報取得処理に復帰する。
運転支援情報取得処理に戻ったら、次に、ズレたカメラを特定したか否かを確認するが（Ｓ３０３）、ここではズレたカメラを特定している（Ｓ３０３：ｙｅｓ）。このとき第１実施例では、ズレを検知したカメラからの撮影画像は運転支援情報の取得対象から除外していたが（図４のＳ１０５）、本実施例では、ズレを検知したカメラから取得する撮影画像を修正する（Ｓ３０５）。
【００６６】
図１４には、前方カメラ２１のズレを検知した場合の撮影画像の修正の様子が示されている。図１４（ａ）では、前方撮影画像から検出した白線の位置と左方撮影画像から検出した白線の位置とが整合していない。そこで図１４（ｂ）のように、白線の位置が白線の位置とできるだけ近づくように前方撮影画像の座標をｔだけ左方に移動させて修正する。
このように撮影画像の座標を平行移動や回転移動したり、座標の縮尺を変更したりすれば、前方カメラ２１が設定された取付位置および取付角度からズレてしまったときでも、前方撮影画像を除外することなく、運転支援情報としての白線の位置の検出に用いることができる。
【００６７】
ところで、図１４に示されるように、白線が車両１の進行方向と平行に真っ直ぐ伸びている場合は、車両１の横方向（図１４のｘ軸の方向）のズレは修正できるものの、車両１の進行方向のズレ量については把握できないため、撮影画像を修正することができない。そういった場合でも、上述した運転支援情報取得処理を繰り返していれば、車線がカーブする場面や、車線変更する場面などでｙ軸方向のズレ量を得られるので、徐々に修正の精度の向上が図られる。
尚、第１実施例でも、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外（図４のＳ１０５）することなく、上記のように修正してもよい。その場合には、一度の処理でｘ軸方向のズレ量とｙ軸方向のズレ量とを修正することができる（図３（ａ）参照）。
【００６８】
上記の通り、図１４で示した修正は、ズレを検知したカメラからの撮影画像で検出した白線の座標を、他の正常なカメラからの撮影画像で検出した白線の座標に近似させるものであった。しかし、カメラのズレの程度が大きいと、このような修正をしても所望の精度を満たすことができない場合がある。そのような場合には、ズレが検知されたカメラの取付位置および取付角度に関するデータ（カメラの位置・姿勢の外部パラメータ）を取得し直すこととしてもよい。
その際は、ズレが検知されていない他の３つのカメラは、当初の設定された取付位置および取付角度を保っているので、ズレが検知されたカメラによる撮影画像を、正常なカメラによる撮影画像に改めて対応づけることで、ズレが検知されたカメラの外部パラメータを取得すればよい。このような対応づけを行う手法としては例えば、８点アルゴリズムを用いた方法が知られている。
【００６９】
ここで、本実施例では各カメラの撮影方向が９０度ずつ異なるため、各カメラの撮影領域に対する重複撮影領域の大きさは限られているが、隣り合う２つのカメラそれぞれに対応付ければ、カメラのパラメータを高い精度で取得することができる。
このようにズレたカメラから取得する撮影画像を修正したら（Ｓ３０５）、修正した撮影画像から白線を再検出する（Ｓ３０６）。そして、再検出した白線を、取付位置および取付角度が正常な他の３つのカメラが撮影した画像から検出した白線（Ｓ３０２）とともに、制御部３０に出力する（Ｓ３０４）。
【００７０】
上述したように本実施例でズレを検知した場合には、ズレを検知したカメラから取得する撮影画像を修正しているが、第１実施例と同様に、ズレを検知したカメラからの撮影画像を運転支援情報の取得対象から除外してもよい。例えば、何れのカメラにもズレが検知されていない場合は、左方カメラ２２または右方カメラ２３が撮影した画像を用いて白線を検出し、左方カメラ２２または右方カメラ２３にズレが検知された場合には、そのズレを検知したカメラの代わりに、前方カメラ２１または後方カメラ２４が撮影した画像を用いて白線を検出することができる。こうすれば、通常の状態では前後に比べて白線により近い位置にある左右のカメラが撮影した画像から白線を検出することができ、左右の何れかのカメラがズレた場合には、前後の何れかのカメラが撮影した画像を用いることで白線の検出を継続することができる。
【００７１】
以上、各種の実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施をすることができる。
【符号の説明】
【００７２】
１…車両、          １０…運転支援装置、      １１…前方撮影画像取得部、
１２…左方撮影画像取得部、    １３…右方撮影画像取得部、
１４…対象物検出部、    １５…運転支援情報出力部、    １６…整合性判断部、
１７…記憶部、          １８…異常カメラ特定部、      ２１…前方カメラ、
２２…左方カメラ、      ２３…右方カメラ、      ２６…左前方重複撮影領域、
２７…右前方重複撮影領域、    ３０…制御部、    ５０…運転支援装置、
２１０…運転支援装置、  ２１９…後方撮影画像取得部、  ２２０…修正部、
２１４…対象物検出部、  ２１５…運転支援情報出力部、  ２１６…整合性判断部、
２１７…記憶部、        ２１８…異常カメラ特定部。
【図１】
2016053748.tif 000003
【図２】
2016053748.tif 000004
【図３】
2016053748.tif 000005
【図４】
2016053748.tif 000006
【図５】
2016053748.tif 000007
【図６】
2016053748.tif 000008
【図７】
2016053748.tif 000009
【図８】
2016053748.tif 000010
【図９】
2016053748.tif 000011
【図１０】
2016053748.tif 000012
【図１１】
2016053748.tif 000013
【図１２】
2016053748.tif 000014
【図１３】
2016053748.tif 000015
【図１４】
2016053748.tif 000016