(57)【要約】【課題】カメラが撮影した車外画像のみに基づいてカメラの位置ズレを簡易に検知できる技術を提供する。【解決手段】カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、他の車両の停車を判断するため、検知装置はその停止を車外画像のみで簡易に判断することができる。更に、他の車両の停車を判断した場合に、導出した車外画像中の他の車両の像の停止位置と基準停止位置とを比較した結果に基づいてカメラの光軸の位置ズレを検知するため、検知装置は車外画像のみに基づいてその位置ズレを簡易に検知することができる。【選択図】図１１
2012109789.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方及び後方の何れかに搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
前記カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、前記他の車両の停車を判断する判断手段と、
前記他の車両の停車が判断された場合に、前記車外画像中の前記他の車両の像の停止位置を導出する導出手段と、
導出された前記停止位置と基準停止位置とを比較した結果に基づいて前記位置ズレを検知する検知手段と、
を備えることを特徴とする検知装置。
【請求項２】
請求項１に記載の検知装置において、
前記判断手段は、前記複数の車外画像の夫々に含まれる前記他の車両の像の変化に基づいて前記他の車両の停車を判断することを特徴とする検知装置。
【請求項３】
請求項２に記載の検知装置において、
前記判断手段は、前記変化を前記他の車両の像の特徴点に基づいて判断することを特徴とする検知装置。
【請求項４】
請求項２又は３の何れかに記載の検知装置において、
前記判断手段は、前記変化がなくなった場合に前記他の車両の停車を判断し、
前記導出手段は、前記変化がなくなった場合の前記他の車両の像の位置を前記停止位置として導出することを特徴とする検知装置。
【請求項５】
請求項２又は３の何れかに記載の検知装置において、
前記判断手段は、前記変化が始まる直前を前記他の車両の停車であると判断し、
前記導出手段は、前記変化が始まる直前の前記他の車両の像の位置を前記停止位置として導出することを特徴とする検知装置。
【請求項６】
請求項１乃至５の何れかに記載の検知装置において、
前記車両が停車している場合に前記導出手段を有効化させる有効化手段を更に備えることを特徴とする検知装置。
【請求項７】
請求項１乃至６の何れかに記載の検知装置において、
前記基準停止位置は、前記カメラが車両の適切な位置へ搭載されたときから所定期間を経過するまでに、複数回にわたって前記導出手段によって導出された前記停止位置の統計データに基づいて設定されることを特徴とする検知装置。
【請求項８】
請求項１乃至７の何れかに記載の検知装置において、
前記検知手段は、現在から過去の所定期間以内に複数回にわたって前記導出手段によって導出された前記停止位置の統計データに基づく値を、前記基準停止位置との比較に用いることを特徴とする検知装置。
【請求項９】
車両の前方及び後方の何れかに搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
（ａ）前記カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、前記他の車両の停車を判断する工程と、
（ｂ）前記他の車両の停車が判断された場合に、前記車外画像中の前記他の車両の像の停止位置を導出する工程と、
（ｃ）導出された前記停止位置と基準停止位置とを比較した結果に基づいて前記位置ズレを検知する工程と、
を備えることを特徴とする検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの光軸の位置ズレを検知する技術に関する。
【背景技術】
【０００２】
近年、車両に搭載されたカメラが撮影した車外画像を車両に搭載されたディスプレイへ表示する画像表示装置が開発されている。このような画像表示装置によれば、ユーザはディスプレイに表示された車外画像を参考にして車両を運転することができる。
【０００３】
画像表示装置がその機能を適切に発揮するためには、車両に搭載されたカメラの光軸が予定された角度で設定されなければならない。
【０００４】
従って、予定された角度で設定されたカメラの光軸が経年とともにズレてしまった場合などには、画像表示装置はそのズレを検知してユーザに知らせるとともにユーザにカメラの光軸を予定していた角度に再設定させる必要がある。
【０００５】
その位置ズレを検知する画像処理装置として次のようなものが知られている。つまり、基準となる車外画像に映る車両の一部分が初期の位置とズレている場合に、カメラの光軸の位置ズレを検知する画像処理装置が知られている。このため、画像処理装置は車外画像のみに基づいてその位置ズレを簡易に検知することができる。係る技術は、例えば、特許文献１に記載されている。
【０００６】
なお、このような画像表示装置は、カメラの光軸の位置ズレを検知する機能を備えているため検知装置であるともいえる。従って、以降、検知装置として説明をする。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１７３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、そのような検知装置は、車外画像に映る車両の一部分を基準にしてその位置ズレ検知を行うため、車外画像において車両の一部分が映るようにカメラを車両に搭載させる必要がある。つまり、カメラの車両に対する搭載位置が制約されてしまうという問題がある。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、カメラの車両に対する搭載位置が制約されず、かつ、カメラが撮影した車外画像のみに基づいてカメラの位置ズレを簡易に検知できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両の前方及び後方の何れかに搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、前記他の車両の停車を判断する判断手段と、前記他の車両の停車が判断された場合に、前記車外画像中の前記他の車両の像の停止位置を導出する導出手段と、導出された前記停止位置と基準停止位置とを比較した結果に基づいて前記位置ズレを検知する検知手段と、を備えることを特徴とする。
【００１１】
また、請求項２の発明は、請求項１に記載の検知装置において、前記判断手段は、前記複数の車外画像の夫々に含まれる前記他の車両の像の変化に基づいて前記他の車両の停車を判断することを特徴とする。
【００１２】
また、請求項３の発明は、請求項２に記載の検知装置において、前記判断手段は、前記変化を前記他の車両の像の特徴点に基づいて判断することを特徴とする。
【００１３】
また、請求項4の発明は、請求項２又は３の何れかに記載の検知装置において、前記判断手段は、前記変化がなくなった場合に前記他の車両の停車を判断し、前記導出手段は、前記変化がなくなった場合の前記他の車両の像の位置を前記停止位置として導出することを特徴とする。
【００１４】
また、請求項５の発明は、請求項２又は３の何れかに記載の検知装置において、前記判断手段は、前記変化が始まる直前を前記他の車両の停車であると判断し、前記導出手段は、前記変化が始まる直前の前記他の車両の像の位置を前記停止位置として導出することを特徴とする。
【００１５】
また、請求項６の発明は、請求項１乃至５の何れかに記載の検知装置において、前記車両が停車している場合に前記導出手段を有効化させる有効化手段を更に備えることを特徴とする。
【００１６】
また、請求項７の発明は、請求項１乃至６の何れかに記載の検知装置において、前記基準停止位置は、前記カメラが車両の適切な位置へ搭載されたときから所定期間を経過するまでに、複数回にわたって前記導出手段によって導出された前記停止位置の統計データに基づいて設定されることを特徴とする。
【００１７】
また、請求項８の発明は、請求項１乃至７の何れかに記載の検知装置において、前記検知手段は、現在から過去の所定期間以内に複数回にわたって前記導出手段によって導出された前記停止位置の統計データに基づく値を、前記基準停止位置との比較に用いることを特徴とする。
【００１８】
また、請求項９の発明は、車両の前方及び後方の何れかに搭載されたカメラの光軸の位置ズレを検知する検知方法であって、（ａ）前記カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、前記他の車両の停車を判断する工程と、（ｂ）前記他の車両の停車が判断された場合に、前記車外画像中の前記他の車両の像の停止位置を導出する工程と、（ｃ）導出された前記停止位置と基準停止位置とを比較した結果に基づいて前記位置ズレを検知する工程と、を備えることを特徴とする。
【発明の効果】
【００１９】
請求項１ないし９の発明によれば、カメラが撮影した時間的に連続する複数の車外画像の夫々に含まれる他の車両の像に基づいて、他の車両の停車を判断するため、その停止を車外画像のみで簡易に判断することができる。
【００２０】
更に、他の車両の停車を判断した場合に、導出した車外画像中の他の車両の像の停止位置と基準停止位置とを比較した結果に基づいてカメラの光軸の位置ズレを検知するため、車外画像のみに基づいてその位置ズレを簡易に検知することができる。
【００２１】
また、請求項２の発明によれば、カメラが撮影した複数の車外画像の夫々に含まれる他の車両の像の変化に基づいて他の車両の停車を判断するため、その停車を車外画像のみに基づいて簡易に判断することができる。
【００２２】
また、請求項３の発明によれば、他の車両の像の変化を他の車両の特徴点に基づいて判断するため、その判断する処理負荷を低減させることができる。
【００２３】
また、請求項４の発明によれば、他の車両の像の変化がなくなった場合に他の車両の停車を判断するとともに、その変化がなくなった場合の車外画像中の他の車両の像の位置を他の車両の像の停止位置とするため、その停止位置をより精度良く導出できる。
【００２４】
また、請求項５の発明によれば、他の車両の像の変化が始まる直前を他の車両の停止と判断するとともに、その変化が始まる直前の車外画像中の他の車両の像の位置を他の車両の像の停止位置とするため、その停止位置をより精度良く導出できる。
【００２５】
また、請求項６の発明によれば、車両が停止している場合に、他の車両の像の停止位置を導出するため、他の車両の像の停止位置をより精度良く導出できる。
【００２６】
また、請求項７の発明によれば、基準停止位置は、カメラが車両の適切な位置へ搭載されたときから所定期間を経過するまでに、複数回にわたって導出された停止位置の統計データに基づいて設定されるため、より精度良くその位置ズレの検知ができる。
【００２７】
また、請求項８の発明によれば、前記検知手段は、現在から過去の所定期間内に複数回にわたって導出された停止位置の統計データに基づく値を基準停止位置との比較に用いるため、より精度良くその位置ズレの検知ができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、検知装置のシステムブロックを示す図である。
【図２】図２は、車両を示す図である。
【図３】図３は、車両を示す図である。
【図４】図４は、車両及び車外画像を示す図である。
【図５】図５は、合成画像を説明する図である。
【図６】図６は、車外画像から他の車両の像の抽出を説明する図である。
【図７】図７は、車外画像から他の車両の像の抽出を説明する図である。
【図８】図８は、他の車両の像の停止の判断方法を説明するである。
【図９】図９は、他の車両の像の停止位置と基準停止位置との比較を示す図である。
【図１０】図１０は、検知装置が実行する制御のフローを示す図である。
【図１１】図１１は、検知装置が実行する制御のフローを示す図である。
【図１２】図１２は、他の車両の像の停止の判断方法を説明するである。
【図１３】図１３は、車外画像から他の車両の像の抽出を説明する図である。
【図１４】図１４は、他の車両の像の停止位置と基準停止位置との比較を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３０】
＜第１の実施の形態＞
図１は、第１の実施の形態の検知装置のシステムブロック図である。この検知装置２は、車両１の前方に搭載されたフロントカメラ３の光軸の位置ズレを検知する処理を実行する。そして、検知装置２は、そのズレを検知した場合にその旨を知らせる処理を実行する。
【００３１】
なお、検知装置２は、車両１の側方、前方、後方に搭載されたカメラが撮影した車外画像に基づいて合成画像を生成する処理を実行する。従って、検知装置２は画像処理装置であるともいえる。
【００３２】
検知装置２が実行するこれらの処理を説明するために、まず、図１に基づいて検知装置２の構成を説明する。
【００３３】
（検知装置の構成）
検知装置２は、フロントカメラ３、左サイドカメラ４、右サイドカメラ５、リヤカメラ６（以降において、全てのカメラを単体で説明する場合はカメラ３〜６という）、車速センサ７、シフトポジションセンサ８、ディスプレイ９、及び、音出力部１０などとケーブルによって電気的に接続されている。
【００３４】
図１のシステムブロック図に示すように検知装置２は、画像処理部２１、制御部２７、入力部２０、及び、出力部２９などを備える。
【００３５】
画像処理部２１は、例えば、ＡＳＩＣなどのハード回路である。画像処理部２１は、合成画像生成部２２、判断部２３、導出部２４、検知部２５、及び、記憶部２６などを備える。
【００３６】
合成画像生成部２２は、カメラ３〜６が撮影した車外画像に基づいて合成画像を生成する処理を実行する（以降、合成画像生成部２２が実行するこの処理を合成画像生成処理という）。合成画像生成処理の詳細については後述する。
【００３７】
判断部２３は、フロントカメラ３が撮影した時間的に連続する複数の車外画像に含まれる他の車両の像に基づいて、他の車両の停車を判断する処理を実行する（以降、判断部２３が実行するこの処理を判断処理という）。判断処理の詳細については後述する。
【００３８】
導出部２４は、判断部２３が判断処理を実行したことにより他の車両の停車が判断された場合に、車外画像中の他の車両の像の停止位置を導出する処理を実行する（以降、導出部２４が実行するこの処理を導出処理という）。導出処理の詳細については後述する。
【００３９】
検知部２５は、フロントカメラ３の光軸の位置ズレを検知する処理を実行する（以降、検知部２５が実行するこの処理を検知処理という）。検知処理の詳細については後述する。
【００４０】
記憶部２６は、検知部２５が検知処理を実行する際に利用する基準停止位置などのデータを記憶する。
【００４１】
制御部２７は、例えば、マイクロコンピュータなどを備える。マイクロコンピュータは、例えば、ＣＰＵ、ＲＯＭ、及び、ＲＡＭなどを備える。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。また、制御部２７は、報知部２８などを備えている。
【００４２】
報知部２８は、フロントカメラ３の光軸の位置ズレを検知部２５が検知した場合に、その旨をディスプレイ９に表示させるとともに、音出力部１０を制御することによって音を出力してユーザへその旨を知らせる処理を実行する（以降、報知部２８が実行するこの処理を報知処理という）。報知処理の詳細については後述する。
【００４３】
入力部２０は、例えば、外部装置と電気的に接続されるインターフェースである。入力部２０は、カメラ３〜６が撮影した車外画像を画像処理部２１及び制御部２７などへ入力させる処理を実行する。
【００４４】
出力部２９は、例えば、外部装置と電気的に接続されるインターフェースである。出力部２９は、画像処理部２１が処理した車外画像などをディスプレイ９へ出力して表示させる処理を実行する。
【００４５】
ディスプレイ９は、車両１の運転席と助手席との間のセンターコンソール上部に備わっている。
【００４６】
フロントカメラ３は、図２に示すように車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の前進方向へ向けられている。
【００４７】
左サイドカメラ４は、図２に示すように左サイドミラー３０に設けられており、その光軸は車両１の前進方向を基準にした左方向に沿って外部へ向けられている。
【００４８】
右サイドカメラ５は、図２に示すように右サイドミラー３１に設けられており、その光軸は車両１の前進方向を基準にした右方向に沿って外部へ向けられている。
【００４９】
リヤカメラ６は、図２に示すように車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の前進方向の逆方向へ向けられている。
【００５０】
なお、フロントカメラ３やリヤカメラ６の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５１】
カメラ３〜６のレンズとしては魚眼レンズが採用されており、その魚眼レンズは１８０度以上の画角を有している。このため、カメラ３〜６を利用することで、車両１の全周囲の撮影が可能となっている。
【００５２】
車速センサ７は、車両１が移動した際に車輪が回転する速度を車速信号として検知装置２へ出力する。車速センサ７は、車両１のエンジンルーム内に設置される。
【００５３】
シフトポジションセンサ８は、車両１に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検知してシフトポジションを示す信号を検知装置２へ出力する。シフトポジションセンサ８は、車両１のセンターコンソール中央部に備わるシフトレバー近傍に設定される。
【００５４】
次に、画像処理部２１が備える各部が実行する「合成画像生成処理」、「判断処理」、「導出処理」、及び、「検知処理」、並びに、制御部２７が備える報知部２８が実行する「報知処理」の詳細について説明する。
【００５５】
（合成画像生成処理）
まず、合成画像生成部２２が実行する合成画像生成処理について説明する。
【００５６】
合成画像生成部２２は、カメラ３〜６が撮影した、図４に示すような、車外画像Ｇ１〜Ｇ４をカメラ３〜６より取得する。合成画像生成部２２は、取得した車外画像Ｇ１〜Ｇ４を検知装置２へ出力する。
【００５７】
検知装置２は、入力した車外画像Ｇ１〜Ｇ４を記憶部２６へ記憶する。
【００５８】
検知装置２が備える合成画像生成部２２は、記憶部２６に記憶された、車外画像Ｇ１〜Ｇ４を、図５に示すような、仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。車外画像Ｇ１〜Ｇ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と車外画像Ｇ１〜Ｇ４に含まれる各画素の値とに基づいて決定される。
【００５９】
車外画像Ｇ１〜Ｇ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つの車載カメラであるカメラ３〜６の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、記憶部２６に記憶された車種別データに含まれている。
【００６０】
また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両１の像が仮想的に構成される。構成された車両１の像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。
【００６１】
さらに、立体曲面Ｐが存在する三次元空間に対して、合成画像生成部２２により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６２】
そして、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域が画像として切り出される。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして記憶部２６等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１の像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点ＡＧＬからみた様子を示す合成画像が生成されることになる。
【００６３】
例えば、視点位置が車両１の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１及び車両１の周辺の領域を示す合成画像Ｇ５が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方方向とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像Ｇ６が生成される。
【００６４】
なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを車外画像Ｇ１〜Ｇ４に基づいて決定することで、処理速度を向上できる。
【００６５】
検知装置２では、このような合成画像生成部２２の機能を利用することで、車両１の周辺の任意の視点からみた合成画像を生成して、ディスプレイ９へ生成した合成画像を出力して表示させることができる。
【００６６】
（判断処理）
次に、判断部２３が実行する判断処理について説明する。
【００６７】
判断処理とは、フロントカメラ３が撮影した時間的に連続する複数の車外画像に含まれる他の車両１の像に基づいて、他の車両の停車を判断する処理である。
【００６８】
判断処理をより具体的に説明する。まず、複数の車外画像夫々に含まれる他の車両の像を判断部２３が抽出する。図６は、複数の車外画像のうち一の車外画像に含まれる他の車両Ｃを判断部２３が抽出する方法を説明する図である。
【００６９】
なお、説明の便宜上、図中において車外画像の左右方向をＸ軸方向、車外画像の前後方向をＹ軸方向として方向を示す。
【００７０】
フロントカメラ３が撮影した車外画像Ｇ７ａを判断部２３が入力する。そして、入力した車外画像Ｇ７ａに対して例えば、ソベルフィルタなどの処理を施して車外画像Ｇ７ａに含まれる物体のエッジを抽出する。
【００７１】
次に、車外画像Ｇ７ｂの左右中央の近傍に含まれる物体の像のエッジを判断部２３が抽出する。具体的には、図６に示す車外画像Ｇ７ｂに含まれる複数の矢印線が示すように、車外画像Ｇ７ｂの横方向（図６に示すＸ軸の＋方向）の輝度の差を分析してそのエッジを抽出する処理を判断部２３が縦方向へ複数回繰り返し実行する。
【００７２】
次に、車外画像Ｇ７ｃの左右中央の近傍に含まれる物体の像のエッジを判断部２３が抽出する。具体的には、図６に示す車外画像Ｇ７ｃに含まれる複数の矢印線が示すように、車外画像Ｇ７ｃの縦方向（図６に示すＹ軸の−方向）の輝度の差を分析してそのエッジを抽出する処理を判断部２３が横方向へ複数回繰り返し実行する。
【００７３】
次に、車外画像Ｇ７ｂで抽出した車外画像の左右中央の近傍に含まれる物体の像のエッジ及び車外画像Ｇ７ｃで抽出した車外画像の左右中央の近傍に含まれる物体の像のエッジが重複するポイントを判断部２３が抽出する。これにより、判断部２３が、車外画像Ｇ７ｄの左右中央の近傍に含まれる物体の像の角のポイントを抽出することができる。この物体の像の角のポイントはその物体の特徴点であるともいえる。
【００７４】
次に、車外画像Ｇ７ｄの左右中央の近傍に含まれる物体の像の角のポイントを線により繋いで定まる領域を判断部２３が抽出する。
【００７５】
車外画像の左右中央の近傍において含まれる物体の像に基づく領域を抽出する理由は、他の車両Ｃに基づく領域のみを目的として抽出するためであり、車外画像Ｇ７ｄにおいて車両１の前方を走行する他の車両Ｃの像がよく映る位置は、車外画像Ｇ７ｄの左右中央の近傍だからである。
【００７６】
なお、車外画像Ｇ７ｄは、他の車両Ｃを表しやすいように建物の像などの他の物体を省略している。
【００７７】
車外画像Ｇ７ｄの左右中央の近傍に存在する領域の定め方について、図７に基づいてより具体的に説明する。
【００７８】
まず、図７のＳＳ１に示すように、他の車両Ｃの像に含まれる全ての角のポイントを判断部２３が抽出する。
【００７９】
そして、図７のＳＳ２に示すように、全ての角のポイントのうち横方向（図７に示すＸ軸の＋方向及び−方向）の最も端側のポイントを含んだ矩形を成す車外画像の横方向（図７に示すＸ軸）と平行する線Ｌ１を判断部２３が抽出する。
【００８０】
そして、図７のＳＳ２に示すように、全ての角のポイントのうち縦方向（図７に示すＹ軸の＋方向及び−方向）の最も端側のポイントを含んだ矩形を成す車外画像の縦方向（図７に示すＹ軸）と平行する線Ｌ２を判断部２３が抽出する。
【００８１】
そして、図７のＳＳ３に示すように、それらの線Ｌ１、Ｌ２から構成される矩形の領域Ｓを判断部２３が抽出する。
【００８２】
以上のような抽出処理を、図８に示す、フロントカメラ３が撮影した時間的に連続する複数の車外画像Ｇ７〜Ｇ１０の全てに対して判断部２３が実行する。つまり、車外画像Ｇ７〜Ｇ１０の夫々に含まれる他の車両Ｃの像に基づいて矩形の領域Ｓ１〜Ｓ４を判断部２３が抽出する。
【００８３】
なお、車外画像Ｇ７〜Ｇ１０は、矩形の領域Ｓ１〜Ｓ４を表しやすいように建物の像などの他の物体を省略している。
【００８４】
そして、複数の車外画像Ｇ７〜Ｇ１０夫々に含まれる他の車両Ｃの像に基づいて抽出された複数の矩形の領域Ｓ１〜Ｓ４に基づいて、矩形の領域の大きさの変化を導出部２４が解析する。
【００８５】
図８に示すように、矩形の領域Ｓが領域Ｓ１からＳ４へと大きくなって変化し、その変化がなくなったことを解析した場合で、かつ、車速センサ７から受信する信号に基づいて車両１の像が停止していることを判断した場合に、他の車両Ｃの停車を判断部２３が判断する。
【００８６】
なお、領域Ｓ１からＳ４へと大きくなって変化しその変化がなくなった場合とは、ユーザが車両１を前方に停車している他の車両Ｃの後ろまで移動させて停車させた場合である。
【００８７】
また、判断部２３によるその判断において、車両１が停車していることの条件が必要な理由は、車両１と前方の他の車両１とが等速で走行していると、その変化がしなくなる場合があり、車外画像のみではこの場合もその判断を行ってしまう虞があるからである。
【００８８】
このような処理、つまり、フロントカメラ３が撮影した時間的に連続する複数の車外画像に含まれる他の車両Ｃに基づいて抽出される矩形の領域Ｓはその形状が単純であるため、判断部２３は矩形の領域Ｓの大きさの変化を解析する処理の負荷を低減することができる。また、判断部２３は矩形の領域Ｓの大きさの変化に基づく他の車両Ｃの停車の判断についての精度を向上させることができる。
【００８９】
また、車外画像の左右中央の近傍に含まれる他の車両Ｃの変化に基づいて他の車両Ｃの停車を判断する理由は、車外画像の左右中央の近傍において、他の車両Ｃの像が動いている状態から停止している状態へ遷移したことによって他の車両Ｃの停車を判断すれば、前方の物体が他の車両Ｃであること及びその停車であることを精度良く推定できるからである。
【００９０】
（導出処理）
次に、導出部２４が実行する導出処理について説明する。
【００９１】
導出処理とは、判断部２３が実行した導出処理によって他の車両Ｃの停車が判断された場合に、車外画像中の他の車両Ｃの像の停止位置を導出する処理である。
【００９２】
導出処理をより具体的に説明する。判断部２３が実行した判断処理によって他の車両Ｃの停車が判断されたときの車外画像に含まれる他の車両１の像の車外画像中の停止位置を導出する。つまり、図８に示される矩形の領域Ｓが、領域Ｓ１からＳ４へと変化して、その変化がなくなった矩形の領域Ｓ、即ち、領域Ｓ４が含まれる車外画像Ｇ１０中の矩形の領域Ｓ４の位置を導出部２４が導出する。
【００９３】
つまり、車外画像Ｇ１０中の他の車両Ｃに基づいて抽出された矩形の領域Ｓ４の下方（図８に示すＹ軸−方向）の２つの角のポイントＰ１、Ｐ２を導出部２４が導出する。
【００９４】
矩形の領域Ｓ４の下の２つの角のポイントＰ１、Ｐ２を導出部２４が導出する理由は、その２つの角のポイントＰ１、Ｐ２は車種が異なっても路面との位置関係が略同じとなる車両に備わるバンパーやタイヤの近傍であるからである。より詳しく言えば、フロントカメラ３の光軸の位置が適切に設定されていれば、その２つの角のポイントＰ１、Ｐ２Ｐ１、Ｐ２が車外画像中において出現する位置は毎回略同じ位置に出現するため、その２つの角のポイントの位置に基づけば、後述する検知処理によって検知されるフロントカメラ３の光軸の位置ズレを検知することができるからである。
【００９５】
（検知処理）
次に、検知部２５が実行する検知処理について説明する。
【００９６】
検知処理とは、導出部２４が導出処理を実行することにより導出した車外画像中の他の車両Ｃの像の停止位置と、基準停止位置とを比較した結果に基づいてフロントカメラ３の光軸の位置ズレを検知する処理である。
【００９７】
検知処理をより具体的に説明する。まず、基準停止位置について具体的に説明する。フロントカメラ３の光軸の位置が、検知装置２の機能が発揮できるよう車両１の適切な位置に設定されている場合に、フロントカメラ３が撮影した車外画像中の他の車両Ｃの像の停止位置を所定の期間（例えば、２ヶ月）にわたって検知部２５が記録する。そして、記録したその停止位置の統計データに基づいて検知部２５が基準停止位置を設定する。
【００９８】
図９は停止位置とその発生数、即ち、度数との関係を示す統計データであるヒストグラムＳＤを示している。例えば、図９に示すように、ヒストグラムＳＤにおいて度数が比較的多い部分の範囲にある停止位置を基準停止位置ＢＳＰとして検知部２５が設定する。
【００９９】
基準停止位置ＢＳＰをこのような統計データに基づいて設定する理由は、停車した車両１と前方に停車する他の車両Ｃとの車間距離は、運転するユーザによって異なるとともに基準停止位置ＢＳＰもユーザによって異なるため、ユーザに応じた基準停止位置ＢＳＰを設定する必要があるからである。
【０１００】
このように設定された基準停止位置ＢＳＰと、所定の期間を経過した後に他の車両Ｃの停止が判断された場合に、導出された車外画像中の他の車両Ｃの像の停止位置とを検知部２５が比較する。停止位置が基準停止位置ＢＳＰの何れかと比較して一致しないという比較結果が所定回数（例えば、１０回）よりも多くなった場合は、検知部２５はフロントカメラ３の光軸の位置ズレを検知する。
【０１０１】
その一致しないという比較結果が所定回数よりも多い場合にその位置ズレを検知する理由は、同一のユーザであっても前方に停車する他の車両Ｃとの車間距離を常に一定にして車両１を停車させるとは限らないからである。
【０１０２】
このような処理、つまり、基準停止位置ＢＳＰの何れかと、他の車両Ｃの停車が判断された場合に、導出された車外画像中の他の車両Ｃの像の停止位置とが一致しないという比較結果が所定回数より多い場合に、フロントカメラ３の光軸の位置ズレを検知する検知処理を実行するため、検知部２５はその位置ズレの検知精度を向上させることができる。
【０１０３】
（報知処理）
次に、報知部２８が実行する報知処理について説明する。検知処理を実行することによってフロントカメラ３の光軸の位置ズレを検知した場合に、検知部２５は報知部２８へその旨を示す信号を送信する。
【０１０４】
その旨を示す信号を受信した場合に、報知部２８は音出力部及びディスプレイ９の何れかを制御してユーザへフロントカメラ３の光軸の位置がズレていることを知らせる。
【０１０５】
以上に説明した、判断処理、導出処理、検知処理、及び、報知処理を検知装置２が備える各部が実行することにより、検知装置２は車外画像のみに基づいてその位置ズレを簡易に検知することができる。
【０１０６】
（制御フロー）
次に、検知装置２が実行する制御フローについて説明する。
検知装置２は、ユーザにより電源が投入されて、その機能を開始させる開始ボタンが操作された場合に、図１１に示す第１フローを所定の周期（以降、第１の周期という）で実行する。また、検知装置２は、その場合に図１２に示す第２フローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。
【０１０７】
なお、第１の周期は、例えば、１０ｍｓであり、第２の周期は、例えば、２０ｍｓである。
【０１０８】
（第１フロー）
検知装置２は、第１の周期ごとに図１１に示す第１フローのステップＳＡ１の処理を実行する。
【０１０９】
制御部２７は、シフトポジションセンサ８からシフトポジションが”Ｒ”を示す信号を受信したか否かを判定する（ステップＳＡ１）。
【０１１０】
シフトポジションが”Ｒ”を示す信号を受信した旨の信号を制御部２７から受信した場合は、合成画像生成部２２は前述した合成画像生成処理を実行する。（ステップＳＡ２）。これにより、合成画像生成部２２は車両１を仮想的に俯瞰した合成画像を生成する。
【０１１１】
次に、合成画像生成部２２はその合成画像をディスプレイ９へ表示する処理を実行する（ステップＳＡ３）。
【０１１２】
つまり、ユーザがシフトポジションを”Ｒ”にして車両１を後進させる際に、検知装置２がユーザに対し合成画像を表示する。このため、ユーザは車両１を後進させる際に認識しにくい車両１の周辺の障害物を認識することができる。
【０１１３】
次に、検知装置２は図１１に示す第２フローに基づく処理を終了する。
【０１１４】
なお、シフトポジションが”Ｒ”を示す信号を受信した旨の信号を制御部２７から受信しない場合は、検知装置２は図１１に示す第２フローに基づく処理を終了する。
【０１１５】
（第２フロー）
検知装置２は、第２の周期ごとに図１２に示す第２フローのステップＳＢ１の処理を実行する。
【０１１６】
まず、フロントカメラ３が撮影した時間的に連続する複数の車外画像を入力部２０を介して画像処理部２１が入力する（ステップＳＢ１）。複数の車外画像は一時的に記憶部２６が記憶する。
【０１１７】
次に、記憶部２６によって記憶されている複数の車外画像に基づいて、前述した判断処理を実行することによって、他の車両Ｃの停車の判断を判断部２３が実行する（ステップＳＢ２）。
【０１１８】
次に、車速センサから受信する信号に基づいて車両１が停車したか否かを制御部２７が判断する（ステップＳＢ３）。例えば、車速センサから受信する信号に基づいて車速が０ｋｍ／ｈであるか否かを制御部２７が判断する。更に、シフトポジションセンサ８から受信する信号に基づいて車両１が停車したか否かを制御部２７が判断しても良い。例えば、シフトポジションセンサ８から受信する信号に基づいてシフトポジションが”Ｎ”及び、”Ｐ”の何れかであるか否かを制御部２７が判断する。
【０１１９】
制御部２７によって車両１が停車していると判断された場合（ステップＳＢ４においてＹＥＳの場合）に、前述した導出処理を実行することによって、車外画像中の他の車両Ｃの像の停止位置を導出部２４が導出する（ステップＳＢ４）。つまり、車両１が停車していると判断した場合に、制御部２７は導出部２４による導出処理を有効化させる。
【０１２０】
次に、導出された停止位置と基準停止位置とに基づいて、前述した検知処理を検知部２５が実行する（ステップＳＢ５）。
【０１２１】
検知部が実行する検知処理に基づいて停止位置が基準停止位置と一致しない場合（ステップＳＢ５においてＮＯの場合）に、制御部２７はカウンタＣＴをカウントアップする（ステップＳＢ６）。なお、このカウンタＣＴは検知装置２が備える開始ボタンを操作された場合に０にされる。
【０１２２】
カウンタＣＴが所定の回数ＸＴ（例えば、１０回）より多い場合（ステップＳＢ７においてＹＥＳの場合）に報知部２８が前述した報知処理を実行して、フロントカメラ３の光軸がズレたことをユーザへ知らせる（ステップＳＢ８）。
【０１２３】
停止位置と基準停止位置とが一致しない場合にカウンタＣＴをカウントアップして、カウンタＣＴが所定回数ＸＴより多い場合にユーザへその位置ズレを検知をしたことを報知する理由は、ユーザが前方の他の車両Ｃとの車間距離を気分的に通常よりも広くして駐車したような場合にユーザへその報知がされないようにするためである。
【０１２４】
なお、ステップＳＢ３において車両１が停車していると判断しない場合（ステップＳＢ４においてＮＯの場合）、ステップＳＢ５において停止位置が基準停止位置と一致する場合（ステップＳＢ５においてＹＥＳの場合）、及び、ステップＳＢ７においてカウンタＣＴが所定の回数ＸＴより多くない場合（ステップＳＢ７においてＮＯの場合）は、検知装置２はその処理を終了する。
【０１２５】
以上のような、処理を実行することにより、検知装置２はフロントカメラ３が撮影した複数の車外画像の夫々に含まれる他の車両Ｃの像に基づいて、他の車両Ｃの停車を判断するため、その停車を車外画像のみに基づいて簡易に判断することができる。
【０１２６】
更に、検知装置２は、他の車両Ｃの停車を判断した場合に、導出した車外画像中の他の車両Ｃの像の停止位置と基準停止位置とを比較した結果に基づいてフロントカメラ３の光軸の位置ズレを検知するため、車外画像のみに基づいてその位置ズレを簡易に検知することができる。
【０１２７】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第２の実施の形態とにおいて相違する点を主に説明する。
【０１２８】
第１の実施の形態において、判断処理は、「図８に示す矩形の領域Ｓが領域Ｓ１からＳ４へと大きくなって変化し、その変化がなくなったことを解析して他の車両Ｃの停車を判断部２３が判断する。なお、領域Ｓ１からＳ４へと大きくなって変化しその変化がなくなった場合とは、ユーザが車両１を前方に停車している他の車両Ｃの後ろまで移動させて停車させた場合である。」と説明した。
【０１２９】
第２の実施の形態の判断処理においては、図１２に示す矩形の領域Ｓが領域Ｓ１ＸからＳ４Ｘへと小さくなって変化し、その変化がなくなったことを解析した場合で、かつ、車速センサ７から受信する信号に基づいて車両１が停車していることを判断した場合に、他の車両Ｃの停車を判断部２３が判断する。
【０１３０】
なお、領域Ｓ１ＸからＳ４Ｘへと小さくなって変化しその変化がなくなった場合とは、ユーザが停車させている車両１の前方に停車している他の車両Ｃが発進して遠のいて行く場合である。
【０１３１】
このような場合において、複数の車外画像に基づいて解析したその変化が始まる直前にフロントカメラ３が撮影した車外画像に含まれる他の車両Ｃの像の車外画像中の停止位置を導出部２４が導出する。
【０１３２】
以上のような処理を判断部２３及び導出部２４が実行することによって、ユーザが停車させている車両１の前方に停車している他の車両Ｃが発進して遠のいて行く場合にフロントカメラ３が撮影した車外画像に基づいて、フロントカメラ３の光軸のズレを検知することができる。
【０１３３】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第３の実施の形態とにおいて相違する点を主に説明する。
【０１３４】
第１の実施の形態の判断処理において、「フロントカメラ３が撮影した時間的に連続する複数の車外画像に基づいて、他の車両Ｃの停車を判断部２３が判断する」と説明した。
【０１３５】
第３の実施の形態においては、リヤカメラ６が撮影した時間的に連続する複数の車外画像に基づいて、他の車両Ｃの停車を判断部２３が判断する。
【０１３６】
リヤカメラ６が撮影した車外画像Ｇ７ａＸを判断部２３が入力する。そして、入力した車外画像Ｇ７ａＸに対して例えば、ソベルフィルタなどの処理を施して車外画像Ｇ７ａＸに含まれる物体のエッジを抽出する。
【０１３７】
次に、車外画像Ｇ７ｂＸの左右中央の近傍に含まれる物体の像のエッジを判断部２３が抽出する。具体的には、図１３に示す車外画像Ｇ７ｂＸに含まれる複数の矢印線が示すように、車外画像Ｇ７ｂＸの横方向（図１３に示すＸ軸の＋方向）の輝度の差を分析してそのエッジを抽出する処理を判断部２３が縦方向へ複数回繰り返し実行する。
【０１３８】
次に、車外画像Ｇ７ｃＸの左右中央の近傍に含まれる物体の像のエッジを判断部２３が抽出する。具体的には、図１３に示す車外画像Ｇ７ｃＸに含まれる複数の矢印線が示すように、車外画像Ｇ７ｃＸの縦方向（図１３に示すＹ軸の−方向）の輝度の差を分析してそのエッジを抽出する処理を判断部２３が横方向へ複数回繰り返し実行する。
【０１３９】
次に、車外画像Ｇ７ｂＸで抽出した車外画像の左右中央の近傍に含まれる物体の像のエッジ及び車外画像Ｇ７ｃＸで抽出した車外画像の左右中央の近傍に含まれる物体の像のエッジが重複するポイントを判断部２３が抽出する。これにより、判断部２３が、車外画像Ｇ７ｄＸの左右中央の近傍に含まれる物体の像の角のポイントを抽出することができる。この物体の像の角のポイントはその物体の特徴点であるともいえる。
【０１４０】
次に、車外画像Ｇ７ｄＸの左右中央の近傍に含まれる物体の像の角のポイントを線により繋いで定まる領域を判断部２３が抽出する。
【０１４１】
車外画像の左右中央の近傍に含まれる物体の像に基づく領域を抽出する理由は、他の車両Ｃに基づく領域のみを目的として抽出するためであり、車外画像Ｇ７ｄＸにおいて車両１の後方を走行する他の車両Ｃの像がよく映る位置は、車外画像Ｇ７ｄＸの左右中央の近傍だからである。
【０１４２】
なお、車外画像Ｇ７ｄＸは、他の車両Ｃを表しやすいように建物の像などの他の物体を省略している。
【０１４３】
以上のような処理を判断部２３が実行することによって、リヤカメラ６が撮影した車外画像のみに基づいて、リヤカメラ６の光軸のズレを検知することができる。
【０１４４】
＜第４の実施の形態＞
次に、第４の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第４の実施の形態とにおいて相違する点を主に説明する。
【０１４５】
第４の実施の形態における検知処理は、第１の実施の形態における検知処理とは異なり現在から過去の所定期間内に複数回にわたって導出された停止位置の統計データに基づいて導出部２４が導出した値を基準停止位置と比較するようになっている。
【０１４６】
まず、停止位置について具体的に説明する。検知処理が実行される日の所定の期間（例えば、２ヶ月）前から検知処理が実行される日までに導出部２４により導出された他の車両Ｃの像の停止位置は、検知部２５によって記録されている。そして、記録されたそれらの停止位置の統計データに基づいて、検知部２５が比較に用いる値（停止位置）を導出部２４が導出する。
【０１４７】
比較に用いる停止位置をこのような統計データに基づいて導出する理由は、停車した車両１と前方の他の車両Ｃとの車間距離は、同じユーザであっても運転するたびにバラつきがあるため、そのユーザが頻繁にとる車間距離に応じた停止位置を導出する必要があるからである。
【０１４８】
具体的には、図１４に示すように、設定された基準停止位置のヒストグラムＤ１のピークＤＰ１と、導出された停止位置の統計データであるヒストグラムＤ２のピークＤＰ２とを検知部２５が比較する。それらのピーク同士を比較した結果、それらの差が所定値よりも大きい場合に、検知部２５はフロントカメラ３の光軸の位置ズレを検知する。
【０１４９】
このような処理、つまり、設定された基準停止位置のヒストグラムＤ１のピークＤＰ１の値と導出された停止位置のヒストグラムＤ２のピークＤＰ２の値との差が所定値よりも大きい場合に、フロントカメラ３の光軸の位置ズレを検知部２５が検知するため、検知部２５はその位置ズレの検知精度を向上させることができる。
【０１５０】
＜変形例＞
以上、本発明の第１の実施の形態について説明してきたが、この発明は上記第１の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
【０１５１】
＜変形例１＞
上記第１の実施の形態の検知装置２は、「カメラ３〜６が備えるレンズは魚眼レンズである」と説明したが、魚眼レンズが備える画角よりも狭いレンズをカメラ３〜６に備えても良い。例えば、画角が４５度の標準レンズをカメラ３〜６に備えても良く、画角が４５度よりも広く１８０度よりも狭い広角レンズをカメラ３〜６に備えても良い。
【０１５２】
＜変形例２＞
上記第１の実施の形態において、「基準停止位置は、フロントカメラ３が車両１の適切な位置へ搭載されたときから所定期間を経過するまでに複数回にわたって導出部２４により導出された車外画像に含まれる他の車両の像の車外画像中の停止位置の統計データに基づいて設定される」と説明したが、その停止位置の統計データは平均したデータであっても良い。
【符号の説明】
【０１５３】
２    検知装置
２１    画像処理部
２３    判断部
２４    導出部
２５    検知部
２７    制御部
２８    報知部
３    フロントカメラ
４    左サイドカメラ
５    右サイドカメラ
６    リヤカメラ
【図１】
2012109789.tif 000003
【図２】
2012109789.tif 000004
【図３】
2012109789.tif 000005
【図４】
2012109789.tif 000006
【図５】
2012109789.tif 000007
【図６】
2012109789.tif 000008
【図７】
2012109789.tif 000009
【図８】
2012109789.tif 000010
【図９】
2012109789.tif 000011
【図１０】
2012109789.tif 000012
【図１１】
2012109789.tif 000013
【図１２】
2012109789.tif 000014
【図１３】
2012109789.tif 000015
【図１４】
2012109789.tif 000016