(57)【要約】【課題】車両が走行する場所に拘わらず、また、車載カメラで車両周囲の画像を撮像するあらゆるシステムにおいて、車載カメラの光軸ずれを的確に検出できるようにする。【解決手段】車載カメラ２を例えばリアバンパ等の車体の一部が視野に入るように車両に取り付ける。そして、この車載カメラ２により撮像される画像内においてリアバンパ等が本来観測されるべき位置を、テンプレート画像としてデータＲＯＭ８に予め格納しておく。車載カメラ２の光軸ずれを検出する際は、車載カメラ２により撮像された実画像内におけるリアバンパ等の位置を、テンプレート画像内におけるリアバンパ等の位置と比較して、所定値以上の位置ずれが生じている場合には、車載カメラ２に光軸ずれが生じているものと判定する。【選択図】　　　図２
2004001658.tif 000002
【特許請求の範囲】
【請求項１】
車体の一部が視野内に入る取付位置にて車両に取り付けられた車載カメラと、
前記車載カメラにより撮像される画像内において前記車体の一部が本来観測されるべき位置を予め記憶しておく記憶手段と、
前記車載カメラにより実際に撮像された画像を処理して、当該画像内において前記車体の一部が観測された位置を検出する画像処理手段と、
前記記憶手段に記憶された前記車体の一部の本来観測されるべき位置と、前記画像処理手段により検出された前記車体の一部の実際に観測された位置とを比較して、その位置ずれを基に前記車載カメラの光軸ずれを判定する光軸ずれ判定手段とを備えること
を特徴とする車載カメラの光軸ずれ検出装置。
【請求項２】
前記車載カメラが前記車両後方の画像を撮像すること
を特徴とする請求項１に記載の車載カメラの光軸ずれ検出装置。
【請求項３】
前記車載カメラが、前記車体の一部として前記車両後端部に設けられたリアバンパを含む画像を撮像すること
を特徴とする請求項２に記載の車載カメラの光軸ずれ検出装置。
【請求項４】
前記車載カメラが前記車両のドアミラーから前記車両前方の画像を撮像すること
を特徴とする請求項１に記載の車載カメラの光軸ずれ検出装置。
【請求項５】
前記車載カメラが、前記車体の一部として前記車両側方に設けられたウインカを含む画像を撮像すること
を特徴とする請求項４に記載の車載カメラの光軸ずれ検出装置。
【請求項６】
前記車載カメラが前記ウインカ点灯時と非点灯時との双方の画像を撮像し、
前記画像処理手段が前記ウインカ点灯時に撮像された画像とウインカ非点灯時に撮像された画像との差分に基づき、これらの画像内における前記ウインカの位置を特定すること
を特徴とする請求項５に記載の車載カメラの光軸ずれ検出装置。
【請求項７】
前記画像処理手段が前記ウインカ点灯時に撮像された画像とウインカ非点灯時に撮像された画像との差分結果を所定の閾値で２値化し、得られた領域の重心位置を前記ウインカの位置として特定すること
を特徴とする請求項６に記載の車載カメラの光軸ずれ検出装置。
【請求項８】
前記光軸ずれ判定手段により前記車載カメラに光軸ずれが生じていると判定されたときに、その旨を報知する報知手段を更に備えること
を特徴とする請求項１乃至７の何れかに記載の車載カメラの光軸ずれ検出装置。
【請求項９】
前記光軸ずれ判定手段により前記車載カメラに光軸ずれが生じていると判定されたときに、前記車載カメラの位置を調整して光軸ずれを補正するカメラ位置調整手段を更に備えること
を特徴とする請求項１乃至７の何れかに記載の車載カメラの光軸ずれ検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されて車両周囲の画像を撮像する車載カメラに生じた光軸ずれを検出する車載カメラの光軸ずれ検出装置に関する。
【０００２】
【従来の技術】
近年、車両周囲の画像を車載カメラで撮像し、この画像を例えば車室内に設置されたモニタ等に表示することによって、運転者の適切な運転操作を支援する試みが盛んに行われている。このような用途で用いられる車載カメラは、車両周囲の所望の領域を適切に撮像できるように、予め定められた取り付け状態で車両に取り付けられるようになっているが、例えば、取り付けの際の位置ずれや経年劣化等の様々な要因に起因して、光軸ずれが生じる場合がある。このように車載カメラに光軸ずれが生じた場合には、それを的確に検出して、その光軸ずれを補正することが求められる。
【０００３】
車載カメラの光軸ずれを検出する技術としては、例えば特開２０００−１７１５４４号公報にて開示される光軸ずれ検出装置が提案されている。この光軸ずれ検出装置は、車両が走行レーンの白線に沿って走行するように車両の操舵角制御を行う走行支援システムに適用されたものであり、車載カメラにより撮像された画像から白線を検出してこの白線に沿って走行するための目標舵角を演算し、この演算により得られた目標舵角と、運転者の操作による実際の操舵角との間に差が生じている場合に、その差分を車載カメラの光軸ずれとして検出するようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、以上のような従来の技術は、車載カメラにより撮像された画像から白線を検出することが前提となっているため、白線のない場所では、車載カメラに光軸ずれが生じても、それを的確に検出することができないという問題がある。
【０００５】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両が走行する場所に拘わらず、また、車載カメラで車両周囲の画像を撮像するあらゆるシステムにおいて、車載カメラの光軸ずれを的確に検出できる車載カメラの光軸ずれ検出装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る車載カメラの光軸ずれ検出装置は、車載カメラと、記憶手段と、画像処理手段と、光軸ずれ判定手段とを備えて構成される。車載カメラは、車体の一部が視野内に入る取付位置にて車両に取り付けられており、車体の一部を含む画像を撮像するようになっている。また、記憶手段には、車載カメラにより撮像される画像内において車体の一部が本来観測されるべき位置が予め記憶されている。
【０００７】
画像処理手段は、車載カメラにより実際に撮像された画像を処理して、この実際に撮像された画像内において車体の一部が観測された位置を検出する。そして、光軸ずれ判定手段が、記憶手段に記憶された車体の一部の本来観測されるべき位置と、画像処理手段により検出された車体の一部の実際に観測された位置とを比較して、その位置ずれを基に車載カメラの光軸ずれを判定するようになっている。
【０００８】
【発明の効果】
本発明に係る車載カメラの光軸ずれ検出装置によれば、車載カメラで車体の一部を含む画像を撮像するようにし、車体の一部が実際の画像内で観測される位置と、予め記憶手段に記憶された本来観測されるべき位置とを比較して、その位置ずれを基に車載カメラの光軸ずれを判定するようにしているので、白線の有無といった道路状況に拘わらず、任意のタイミングで車載カメラの光軸ずれを的確に検出することができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
（第１の実施形態）
本発明に係る車載カメラの光軸ずれ検出装置は、例えば図１に示すような車載システム１に適用されて、この車載システム１が備える車載カメラ２に光軸ずれが生じたときに、その車載カメラ２の光軸ずれを検出する機能を実現する。
【００１１】
図１に示す車載システム１は、車両に搭載されてこの車両（以下、自車両という。）の乗員に各種情報を提示するためのものであり、自車両後方の画像を撮像する車載カメラ２と、車室内に設置されて各種画像を表示するためのディスプレイ３と、車載カメラ２に光軸ずれが生じたときに警告音を発生するブザー４と、ディスプレイ３の表示制御をはじめとして当該車載システム１全体の動作を制御するコントロールユニット５とを備えている。
【００１２】
車載カメラ２は、自車両後端部に取り付けられて、自車両後方の様子を、所定の俯角で地面を見下ろした画像として撮像するようになっている。特に、この車載カメラ２は、自車両後端部に設けられたリアバンパが視野内に入るように自車両に取り付けられており、リアバンパを含む画像を撮像するようになっている。この車載カメラ２により撮像された自車両後方の画像（以下、実画像という。）はコントロールユニット５に供給され、必要に応じて、バックビューモニタ画像としてディスプレイ３に表示される。このバックビューモニタ画像は、例えば自車両を駐車させる場合等のように自車両を後退走行させる際に、運転者の運転操作を支援するための画像である。
【００１３】
ディスプレイ３は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示器よりなり、コントロールユニット５による表示制御のもとで、例えばナビゲーション画像や上述したバックビューモニタ画像等の各種画像を表示する。また、このディスプレイ３は、コントロールユニット５により車載カメラ２に光軸ずれが生じていることが検出されたときに、このコントロールユニット５による制御のもとで、光軸ずれの発生を報知するメッセージを表示する。また、車載システム１においては、コントロールユニット５により車載カメラ２に光軸ずれが生じていることが検出された場合には、このコントロールユニット５による制御のもとでブザー４が駆動されて、警告音による報知も行われるようになっている。
【００１４】
コントロールユニット５は、ＣＰＵ６やＲＡＭ７、データＲＯＭ８、プログラムＲＯＭ９等がバスを介して接続されたマイクロプロセッサ構成を有しており、ＣＰＵ６がプログラムＲＯＭ９に格納された各種制御プログラムを実行することで、車載システム１全体の動作を制御するようになっている。特に、このコントロールユニット５では、ＲＡＭ７が、車載カメラ２により撮像されてＡ／Ｄ変換されれた自車両後方の実画像のデータを保持する画像メモリとして機能するようになっている。また、データＲＯＭ８には、車載カメラ２が正常な位置に取り付けられて光軸ずれが生じていない理想的な状態のときに、この車載カメラ２で撮像される画像内においてリアバンパが本来観測されるべき位置を示す画像（以下、テンプレート画像という。）が格納されている。すなわち、このデータＲＯＭ８が、車載カメラ２により撮像される画像内において自車両のリアバンパが本来観測されるべき位置を予め記憶しておく記憶手段として機能するようになっている。
【００１５】
更に、このコントロールユニット５では、プログラムＲＯＭ９にナビゲーションプログラムや後方監視プログラム、光軸ずれ検出プログラムがそれぞれ格納されており、ＣＰＵ６がこれらのプログラムを実行することで、ナビゲーション機能やバックビューモニタ機能、光軸ずれ検出機能がそれぞれ実現されるようになっている。
【００１６】
また、このコントロールユニット５には、車速センサ１０、ジャイロセンサ１１及びＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機１２が接続されており、コントロールユニット５がＧＰＳ受信機１２からのＧＰＳ信号を車速センサ１０やジャイロセンサ１１からのセンサ信号を用いて補正することで、自車両の正確な現在位置を検出できるようになっている。また、このコントロールユニット５には、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）ドライブ等のデータ再生装置１３が接続されており、ＤＶＤ等の記録媒体に格納された地図画像がデータ再生装置１３で読み出されコントロールユニット５に供給されるようになっている。更に、このコントロールユニット５には、ジョイスティック等の操作スイッチ１４が接続されており、この操作スイッチ１４を利用した乗員による操作入力がコントロールユニット５に供給されるようになっている。そして、車載システム１の通常動作時においては、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、データ再生装置１３によって読み出された地図画像上に、自車両の現在位置や、乗員の操作入力に応じて探索された経路等を重ねて合わせたナビゲーション画像がディスプレイ３に表示されるようになっている。
【００１７】
また、コントロールユニット５には、自車両のギヤがリバース位置にシフトされたときにオンとされるリバーススイッチ１５が接続されている。そして、このリバーススイッチ１５からのリバースオン信号が供給されると、コントロールユニット５のＣＰＵ６によって後方監視プログラムが実行され、車載カメラ２により撮像された自車両後方の実画像に距離目盛りを重ね合わせたバックビューモニタ画像がディスプレイ３に表示されるようになっている。
【００１８】
また、このコントロールユニット５には、自車両のエンジン始動時にオンとされるイグニッションスイッチ１６が接続されている。そして、このイグニッションスイッチ１６からのイグニッションオン信号が供給されると、コントロールユニット５のＣＰＵ６によって光軸ずれ検出プログラムが実行され、コントロールユニット５が、図２に示すように、バンパ位置検出部（画像処理手段）２１、バンパ位置ずれ評価部（光軸ずれ判定手段）２２及び報知制御部２３として機能するようになっている。
【００１９】
バンパ位置検出部２１は、車載カメラ２によって撮像されてＲＡＭ７に保持された自車両後方の実画像のデータを処理して、この実画像内において、自車両後端部に設けられたリアバンパが映っている位置を検出する機能を有するものである。この実画像内におけるリアバンパの位置の検出は、例えば、実画像を構成する各画素毎に隣接する画素との画素値の差分を検出し、隣接する画素間で画素値の差分が所定の値を超える位置をリアバンパと背景との境界と仮定することで容易に行える。
【００２０】
バンパ位置ずれ評価部２２は、データＲＯＭ８に格納されたテンプレート画像で示されるリアバンパの本来観測されるべき位置と、バンパ位置検出部２１によって検出された実画像内におけるリアバンパの位置とを比較して、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する機能を有するものである。
【００２１】
報知制御部２３は、バンパ位置ずれ評価部２２によって車載カメラ２に光軸ずれが生じていると判定されたときに、ディスプレイ３にその旨のメッセージを表示させると共に、ブザー４を駆動して警告音を発生させる制御を行う機能を有するものである。
【００２２】
以上のように構成される車載システム１は、自車両を後退走行させる場合を除く通常動作時においては、上述したように、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、ディスプレイ３にナビゲーション画像が表示されるようになっている。そして、自車両のギヤがリバース位置にシフトされてコントロールユニット５にリバースオン信号が供給されると、コントロールユニット５のＣＰＵ６によって後方監視プログラムが実行され、ディスプレイ３にバックビューモニタ画像が表示されるようになっている。
【００２３】
このとき、車載カメラ２の取り付け時の位置ずれや、車両の接触等のような物理的要因による位置ずれ、或いは経年劣化による位置ずれ等に起因して、当該車載カメラ２に光軸ずれが生じていると、車載カメラ２で自車両後方の実画像を適切に撮像できずに、バックビューモニタ画像の距離目盛りが実際の距離と異なってしまったり、極端な場合には観察したい領域とは全く異なる領域の画像が表示されたりして、運転者の運転操作を適切に支援できなくなるといった問題が生じる。そこで、本発明を適用した車載システム１では、イグニッションスイッチ１６がオンとされると、コントロールユニット５のＣＰＵ６が光軸ずれ検出プログラムを実行して、車載カメラ２に光軸ずれが生じているかどうかを定期的に判定して、車載カメラ２に光軸ずれが生じた場合には、その旨をメッセージとしてディスプレイ３に表示させると共に、ブザー４から警告音を発生させて、車両の乗員に報知するようにしている。
【００２４】
ここで、以上のような車載システム１において、車載カメラ２の光軸ずれを判定するコントロールユニット５による一連の処理の流れを図３のフローチャートを参照しながら説明する。この図３に示す一連の処理は、イグニッションスイッチ１６がオンとなったときにスタートし、イグニッションスイッチ１６がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ３に表示されている画像がナビゲーション画像であるかバックビューモニタ画像であるかに拘わらず実施される。
【００２５】
まず、イグニッションスイッチ１６がオンとなると、コントロールユニット５により光軸ずれ検出プログラムが実行され、予め定められた光軸ずれ検出タイミングとなったかどうかが判断される（ステップＳ１−１）。この光軸ずれ検出タイミングは、要求される検出精度やコントロールユニット５の処理能力等に応じて任意に設定可能である。そして、光軸ずれ検出タイミングとなったときは、車載カメラ２により自車両後方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ１−２）。
【００２６】
次に、バンパ位置検出部２１により、ＲＡＭ７に保持された自車両後方の実画像内において、リアバンパが映っている位置を検出する処理が行われる。具体的には、バンパ位置検出部２１は、まず、自車両後方の実画像を下から上、左から右に順次探索して、縦方向に隣り合った画素同士の画素値の差分をそれぞれ検出する（ステップＳ１−３）。そして、この実画像を構成する各画素の中で隣り合う画素との画素値の差分が所定の値を超える画素、すなわち、この実画像の中で明るさが大きく変化する位置を特定し（ステップＳ１−４）、その位置座標を識別可能に登録しておく（ステップＳ１−５）。具体的には、例えばこの明るさが大きく変化する位置の位置座標Ｉ（ｘ、ｙ）は「１」とし、その他の位置座標Ｉ（ｘ、ｙ）を「０」として登録する。以上の処理を実画像全体の各画素に対して繰り返し行う（ステップＳ１−６）。
【００２７】
実画像の中で明るさが大きく変化する位置は、通常、図４（ａ）に示すように、実画像内において連続した線として表れ、この位置が、自車両後端部に設けられたリアバンパと背景との境界と捉えられる。そして、バンパ位置検出部２１による以上のような処理により、このリアバンパと背景との境界を示す各点の位置座標が識別可能に登録されることになる。
【００２８】
次に、バンパ位置ずれ評価部２２により、データＲＯＭ８に格納されたテンプレート画像で示されるリアバンパの本来観測されるべき位置と、バンパ位置検出部２１によって検出された実画像内におけるリアバンパの位置とが比較され、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する処理が行われる。
【００２９】
データＲＯＭ８に格納されたテンプレート画像では、例えば図４（ｂ）に示すように、本来観測されるべきリアバンパと背景との境界が線として表れ、この境界線を構成する各点の位置座標がＪ（ｘ、ｙ）として特定されている。バンパ位置ずれ評価部２２は、このテンプレート画像においてリアバンパと背景との境界線として表れる各点の位置座標Ｊ（ｘ、ｙ）と、バンパ位置検出部２１により検出された実画像内におけるリアバンパと背景との境界を示す各点の位置座標Ｉ（ｘ、ｙ）とを比較する。具体的には、バンパ位置ずれ評価部２２は、まず、図４（ｃ）に示すように、画像の横方向（ｘ軸方向）全体に亘って、同一水平位置（ｘ値）に対応するテンプレート画像上の点のｙ軸方向の位置（ｙ値）と、実画像上の点のｙ軸方向の位置（ｙ値）との差α（ｘ）を求める（ステップＳ１−７）。ここで、α（ｘ）は、画像の横方向における任意の位置（ｘ）でのテンプレート画像上の点のｙ値と、実画像上の点のｙ値との差である。次に、算出したα（ｘ）に対し、２つの評価値Ｄ１，Ｄ２をそれぞれ計算する（ステップＳ１−８）。ここで、Ｄ１はＤ１＝Σ｜α（ｘ）｜で求められる評価値であり、Ｄ２はα（ｘ）の分散、すなわちＶａｒ（α（ｘ））で表される評価値である。そして、バンパ位置ずれ評価部２２は、以上のように求めた２つの評価値をそれぞれ所定の閾値と比較して、評価値Ｄ１が所定の閾値以上の場合、或いは評価値Ｄ２が所定の閾値以上である場合に、車載カメラ２に光軸ずれが生じているものと判定する（ステップＳ１−９）。
【００３０】
バンパ位置ずれ評価部２２により車載カメラ２に光軸ずれが生じていると判定されると、次に、報知制御部２３によりディスプレイ３の表示制御が行われて、車載カメラ２に光軸ずれが生じている旨のメッセージがディスプレイ３に表示される。また、報知制御部２３によりブザー４が駆動されて警告音が発生され、車載カメラ２に光軸ずれが生じている旨が車両の乗員に報知される（ステップＳ１−１０）。車両の乗員は、この報知によって車載カメラ２に光軸ずれが生じていることを認識することができ、例えば修理工場に自車両を持ち込んで車載カメラ２の光軸調整を受けるといった適切な対応を図ることが可能となる。本発明を適用した車載システム１では、イグニッションスイッチ１６がオフとなるまで、コントロールユニット５によって以上のような一連の処理が繰り返し行われ、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定されるようになっている。
【００３１】
以上説明したように、本発明を適用した車載システム１では、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定され、車載カメラ２に光軸ずれが生じているときには、その旨が車両の乗員に報知されるようになっているので、車両の乗員に光軸調整等の適切な対応を促して、車載カメラ２で必要な画像を撮像してディスプレイ３に表示させ、運転者による運転操作を適切に支援することができる。特に、この車載システム１では、予めデータＲＯＭ８に格納されたテンプレート画像と、実際に車載カメラ２で撮像されてＲＡＭ７に取り込まれた実画像とを比較することで、車載カメラ２の光軸ずれを判定するようにしているので、白線の有無といった道路状況や車載カメラ２の用途等に拘わらず、車載カメラ２の光軸ずれを的確に検出することができる。
【００３２】
（第２の実施形態）
次に、第２の実施形態として、本発明を図５に示すような他の車載システム３０に適用した例について説明する。この第２の実施形態の車載システム３０は、自車両の乗員による指示入力に応じて、車載カメラ２で自車両左前方（左フェンダー近傍）の運転者から死角となる位置の画像を撮像してディスプレイ３に表示させ、左折時等における運転者の運転操作を支援するものであり、車載カメラ２が自車両の左側のドアミラーに内蔵されている。そして、この車載カメラ２は、自車両側方に設けられた左ウインカが視野内に入るようにサイドミラー内部に取り付けられており、左ウインカを含む画像を撮像するようになっている。
【００３３】
また、この第２の実施形態の車載システム３０は、上述した第１の実施形態の車載システム１が備えるリバーススイッチ１５に代えて、表示切り替えスイッチ３１を備えている。この表示切り替えスイッチ３１は、車載カメラ２で撮像された死角となる位置の画像をディスプレイ３に表示させる指示入力を行うためのものであり、コントロールユニット５に接続されている。なお、この表示切り替えスイッチ３１は、ナビゲーションに関する操作入力を行うための操作スイッチ１４と一体のものとして構成されていてもよい。
【００３４】
また、この第２の実施形態の車載システム３０では、コントロールユニット５に対して更にウインカスイッチ３２が接続されている。このウインカスイッチ３２は、自車両のウインカレバーが操作されて左ウインカが動作したときにオンとされるものである。また、この第２の実施形態の車載システム３０では、コントロールユニット５のデータＲＯＭ８に、車載カメラ２が正常な位置に取り付けられて光軸ずれが生じていない理想的な状態のときに、この車載カメラ２で撮像される画像内において左ウインカが本来観測されるべき位置を示す画像（以下、テンプレート画像という。）が格納されている。すなわち、このデータＲＯＭ８が、車載カメラ２により撮像される画像内において自車両の左ウインカが本来観測されるべき位置を予め記憶しておく記憶手段として機能するようになっている。更に、このコントロールユニット５のプログラムＲＯＭ９には、上述した後方監視プログラムに代えて死角補助プログラムが格納されており、ＣＰＵ６がこの死角監視プログラムを実行することで、死角補助機能が実現されるようになっている。
【００３５】
なお、この第２の実施形態の車載システム３０における他の構成については、上述した第１の実施形態の車載システム１と同様であるので、以下、この車載システム１と同様の構成については図中同一の符号を付して、重複した説明を省略する。
【００３６】
この第２の実施形態の車載システム３０では、イグニッションスイッチ１６からのイグニッションオン信号がコントロールユニット５に供給されると、コントロールユニット５のＣＰＵ６によって光軸ずれ検出プログラムが実行され、コントロールユニット５が、図６に示すように、ウインカ位置検出部（画像処理手段）３３、ウインカ位置ずれ評価部（光軸ずれ判定手段）３４及び報知制御部３５として機能するようになっている。
【００３７】
ウインカ位置検出部３３は、車載カメラ２によって撮像されてＲＡＭ７に保持された自車両左前方の死角となる位置の画像（以下、実画像という。）のデータを処理して、この実画像内において、自車両側方に設けられた左ウインカが映っている位置を検出する機能を有するものである。
【００３８】
ウインカ位置ずれ評価部３４は、データＲＯＭ８に格納されたテンプレート画像で示されるウインカの本来観測されるべき位置と、ウインカ位置検出部３３によって検出された実画像内におけるウインカの位置とを比較して、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する機能を有するものである。
【００３９】
報知制御部３５は、ウインカ位置ずれ評価部３４によって車載カメラ２に光軸ずれが生じていると判定されたときに、ディスプレイ３にその旨のメッセージを表示させると共に、ブザー４を駆動して警告音を発生させる制御を行う機能を有するものである。
【００４０】
以上のように構成される第２の実施形態の車載システム２０は、自車両の乗員から表示切り替えスイッチ３１を利用した指示入力があった場合を除く通常動作時においては、上述した第１の実施形態の車載システム１と同様に、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、ディスプレイ３にナビゲーション画像が表示されるようになっている。そして、表示切り替えスイッチ３１を利用した指示入力ががコントロールユニット５に供給されると、コントロールユニット５のＣＰＵ６によって死角補助プログラムが実行され、ディスプレイ３に自車両左前方の運転者から死角となる位置の実画像が表示されるようになっている。
【００４１】
このとき、車載カメラ２の取り付け時の位置ずれや、車両の接触等のような物理的要因による位置ずれ、或いは経年劣化による位置ずれ等に起因して、当該車載カメラ２に光軸ずれが生じていると、死角となる位置の画像を車載カメラ２で適切に撮像できずに、死角補助の機能が発揮できなくなるといった問題が生じる。そこで、この第２の実施形態の車載システム３０においても、上述した第１の実施形態の車載システム１と同様に、イグニッションスイッチ１６がオンとされると、コントロールユニット５のＣＰＵ６が光軸ずれ検出プログラムを実行して、車載カメラ２に光軸ずれが生じているかどうかを定期的に判定して、車載カメラ２に光軸ずれが生じた場合には、その旨をメッセージとしてディスプレイ３に表示させると共に、ブザー４から警告音を発生させて、車両の乗員に報知するようにしている。
【００４２】
ここで、以上のような第２の実施形態の車載システム３０において、車載カメラ２の光軸ずれを判定するコントロールユニット５による一連の処理の流れを図７のフローチャートを参照しながら説明する。この図７に示す一連の処理は、イグニッションスイッチ１６がオンとなったときにスタートし、イグニッションスイッチ１６がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ３に表示されている画像がナビゲーション画像であるか自車両左前方の死角となる位置の画像であるかに拘わらず実施される。
【００４３】
まず、イグニッションスイッチ１６がオンとなると、コントロールユニット５により光軸ずれ検出プログラムが実行され、予め定められた光軸ずれ検出タイミングとなったかどうかが判断される（ステップＳ２−１）。この光軸ずれ検出タイミングは、例えば、ウインカスイッチ３２のオン／オフを基準として判断される。そして、ウインカスイッチ３２がオンとなったタイミングで、車載カメラ２により、図８（ａ）に示すような左ウインカ点灯時における自車両左前方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ２−２）。また、ウインカスイッチ３２がオフとなったタイミングで、車載カメラ２により、図８（ｂ）に示すような左ウインカ非点灯時における自車両左前方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ２−３）。
【００４４】
次に、ウインカ位置検出部３３により、ＲＡＭ７に保持された自車両左前方の実画像内において、左ウインカが映っている位置を検出する処理が行われる。具体的には、ウインカ位置検出部３３は、まず、左ウインカ点灯時に撮像された自車両左前方の実画像と、左ウインカ非点灯時に撮像された自車両左前方の実画像との差分を検出する（ステップＳ２−４）。これらの実画像の差分は、左ウインカの位置でのみ大きな値が得られるので、次に、この差分結果を所定の閾値で２値化して図８（ｃ）に示すような左ウインカの大まかな領域を特定し、更に、この領域の重心位置Ｇ（ｘ、ｙ）を求めて、この重心位置Ｇ（ｘ、ｙ）を自車両左前方の実画像内における左ウインカの位置として特定する（ステップＳ２−５）。なお、左ウインカ点灯時の実画像と左ウインカ非点灯時の実画像との差分結果にはノイズが混入している場合があり、このノイズが左ウインカの正確な位置を特定する上で妨げとなることも予想されるので、実画像間の差分を求める範囲を左ウインカが存在するであろう範囲にある程度限定したり、閾値を超える差分結果が得られた領域であってもその領域面積が所定の範囲外の場合には対象から外すといったような工夫を加えることが望ましい。
【００４５】
次に、ウインカ位置ずれ評価部３４により、データＲＯＭ８に格納されたテンプレート画像で示される左ウインカの本来観測されるべき位置と、ウインカ位置検出部３３によって検出された実画像内における左ウインカの位置とが比較され、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する処理が行われる。
【００４６】
データＲＯＭ８に格納されたテンプレート画像では、例えば図８（ｄ）に示すように、本来観測されるべき左ウインカの重心位置が示されている。ウインカ位置ずれ評価部３４は、まず、このテンプレート画像で示されている左ウインカの重心位置と、ウインカ位置検出部３３により検出された実画像内における左ウインカの重心位置とを比較し、それらの位置座標の幾何学的距離ｄを算出することで、これらテンプレート画像における左ウインカの位置と実画像における左ウインカの位置との位置ずれを算出する（ステップＳ２−６）。そして、算出した距離ｄが所定の閾値以上の場合、車載カメラ２に光軸ずれが生じているものと判定する（ステップＳ２−７）。
【００４７】
ウインカ位置ずれ評価部３４により車載カメラ２に光軸ずれが生じていると判定されると、次に、報知制御部３５によりディスプレイ３の表示制御が行われて、車載カメラ２に光軸ずれが生じている旨のメッセージがディスプレイ３に表示される。また、報知制御部３５によりブザー４が駆動されて警告音が発生され、車載カメラ２に光軸ずれが生じている旨が車両の乗員に報知される（ステップＳ２−８）。車両の乗員は、この報知によって車載カメラ２に光軸ずれが生じていることを認識することができ、例えば修理工場に自車両を持ち込んで車載カメラ２の光軸調整を受けるといった適切な対応を図ることが可能となる。第２の実施形態の車載システム３０では、第１の実施形態の車載システム１と同様に、イグニッションスイッチ１６がオフとなるまで、コントロールユニット５によって以上のような一連の処理が繰り返し行われ、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定されるようになっている。
【００４８】
以上説明したように、第２の実施形態の車載システム３０においても、上述した第１の実施形態の車載システム１と同様に、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定され、車載カメラ２に光軸ずれが生じているときには、その旨が車両の乗員に報知されるようになっているので、車両の乗員に光軸調整等の適切な対応を促して、車載カメラ２で必要な画像を撮像してディスプレイ３に表示させ、運転者による運転操作を適切に支援することができる。特に、この車載システム１では、予めデータＲＯＭ８に格納されたテンプレート画像と、実際に車載カメラ２で撮像されてＲＡＭ７に取り込まれた実画像とを比較することで、車載カメラ２の光軸ずれを判定するようにしているので、白線の有無といった道路状況や車載カメラ２の用途等に拘わらず、車載カメラ２の光軸ずれを的確に検出することができる。
【００４９】
また、この第２の実施形態の車載システム３０では、左ウインカ点灯時における自車両左前方の実画像と、左ウインカ非点灯時における自車両左前方の実画像とをそれぞれ車載カメラ２で撮像し、これらの画像の差分を求めてその結果に基づいて実画像内における左ウインカの位置を特定するようにしているので、例えば時間帯や天候等の様々な条件によって、実画像内において左ウインカと背景との差分が少ない場合であっても、左ウインカの位置を正確に特定し、これを基に車載カメラ２に生じた光軸ずれを的確に検出することができる。
【００５０】
更に、この第２の実施形態の車載システム３０では、左ウインカ点灯時における自車両左前方の実画像と、左ウインカ非点灯時における自車両左前方の実画像との差分結果を所定の閾値で２値化して、得られた領域の重心位置を左ウインカの位置として特定するようにしているので、例えばウインカ点灯時における車体への映り込みによる影響を低減して左ウインカの位置を更に正確に特定することができ、これを基に車載カメラ２に生じた光軸ずれをより的確に検出することができる。
【００５１】
以上、本発明の適用例として、バックビューモニタ機能を有する車載システム１及び死角補助機能を有する車載システム３０について具体的に説明したが、本発明は以上の例に限定されるものではなく、車載カメラを備え、その光軸ずれの検出が望まれるあらゆる車載システムに対して有効に適用可能である。
【００５２】
また、以上説明した例では、車載カメラ２の光軸ずれが検出された場合に、例えばディスプレイ３にその旨のメッセージを表示させたり、ブザー４を駆動して警告音を発生させることで、車載カメラ２の光軸ずれを車両の乗員に報知させるようにしているが、車載カメラ２の光軸ずれが検出された場合にその光軸ずれを自動的に補正する構成としてもよい。この場合には、車載システム１，３０に車載カメラ２の光軸方向を調整可能なアクチュエータ（カメラ位置調整手段）を設け、コントロールユニット５が、検出した車載カメラ２の光軸ずれのずれ量に応じてアクチュエータを駆動させるようにすればよい。具体的には、第１の実施形態の車載システム１においては、コントロールユニット５が、上述した評価値Ｄ１，Ｄ２を常時モニタリングしながら、これら評価値Ｄ１，Ｄ２が共に略０となるようにアクチュエータを駆動制御すればよい。また、第２の実施形態の車載システム３０においては、コントロールユニット５が、上述した幾何学的距離ｄを常時モニタリングしながら、この幾何学的距離ｄが略０となるようにアクチュエータを駆動制御すればよい。
【００５３】
この例のように、車載カメラ２の光軸ずれが検出された場合にその光軸ずれを自動的に補正するようにした場合には、自車両を修理工場に持ち込んで車載カメラ２の光軸調整を行う必要がないので、より利便性が高い。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施形態の車載システムを示すブロック図である。
【図２】前記第１の実施形態の車載システムにおいて、光軸ずれ検出プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。
【図３】前記第１の実施形態の車載システムにおいて、車載カメラの光軸ずれを判定するコントロールユニットによる一連の処理の流れを示すフローチャートである。
【図４】前記第１の実施形態の車載システムにおいて、実画像内におけるリアバンパの位置とテンプレート画像内におけるリアバンパの位置との位置ずれを検出する方法を説明する図であり、（ａ）は実画像内のリアバンパ境界線を示し、（ｂ）はテンプレート画像のリアバンパ境界線を示し、（ｃ）はこれら境界線を比較した様子を示している。
【図５】本発明を適用した第２の実施形態の車載システムを示すブロック図である。
【図６】前記第２の実施形態の車載システムにおいて、光軸ずれ検出プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。
【図７】前記第２の実施形態の車載システムにおいて、車載カメラの光軸ずれを判定するコントロールユニットによる一連の処理の流れを示すフローチャートである。
【図８】前記第２の実施形態の車載システムにおいて、実画像内における左ウインカの位置とテンプレート画像内における左ウインカの位置との位置ずれを検出する方法を説明する図であり、（ａ）は左ウインカ点灯時に撮像した実画像を示し、（ｂ）は左ウインカ非点灯時に撮像した実画像を示し、（ｃ）はこれらの実画像の差分結果を示し、（ｄ）は本来観測されるべき左ウインカの重心位置（テンプレート画像）を示している。
【符号の説明】
１　車載システム
２　車載カメラ
３　ディスプレイ
７　ブザー
５　コントロールユニット
８　データＲＯＭ（記憶手段）
２１　バンパ位置検出部（画像処理手段）
２２　バンパ位置ずれ評価部（光軸ずれ判定手段）
２３　報知制御部
３０　車載システム
３３　ウインカ位置検出部（画像処理手段）
３４　ウインカ位置ずれ評価部（光軸ずれ判定手段）
３５　報知制御部
【図１】
2004001658.tif 000003
【図２】
2004001658.tif 000004
【図３】
2004001658.tif 000005
【図４】
2004001658.tif 000006
【図５】
2004001658.tif 000007
【図６】
2004001658.tif 000008
【図７】
2004001658.tif 000009
【図８】
2004001658.tif 000010