(57)【要約】【課題】走行中の振動や周囲温度の変化などによって車載カメラの撮影光軸がずれた場合、そのずれ量を自動的に検出し、この検出に基づいて運転支援システムを動作させることができる車載カメラの光軸ずれ検出装置を提供すること。【解決手段】フロントガラスなどに設けたマ−ク指標と、カメラ１１の撮影画像からマ−ク指標の画像位置を選び、この画像位置情報をフレ−ムメモリに保存するカメラ制御部１２と、フレ−ムメモリから読み出した基準となる画像位置情報と、新たに撮影されたマ−ク指標の画像位置情報を比較し、これら画像位置情報の差が所定の範囲内のときはフレ−ムメモリを新たな画像位置情報に更新し、所定の範囲外となるときは警告ブザ−などを起動させ、運転支援システム機能を停止させる車輌制御部１４を備えた構成となっている。【選択図】        図１
2004173037.tif 000002
【特許請求の範囲】
【請求項１】
運転支援システムに用いられる車載カメラの光軸ずれ検出装置において、
運転支援する車体部上のマ−キングを含む範囲を撮影する車載カメラの撮影画像から該マ−キングの位置情報を検出する画像処理手段と、
初期設定されたマ−キング位置情報と新たに検出されたマ−キングの位置情報とを比較することにより撮影光軸ずれを判断する判断手段とを備えたことを特徴とする車載カメラの光軸ずれ検出装置。
【請求項２】
請求項１に記載した車載カメラの光軸ずれ検出装置において、
前記画像処理手段が、フロントガラス又はボンネットに設けた構造物を前記マ−キングと認識することを特徴とする車載カメラの光軸ずれ検出装置。
【請求項３】
請求項２に記載した車載カメラの光軸ずれ検出装置において、
前記構造物は、前記ボンネットの一部の特定形状であることを特徴とする車載カメラの光軸ずれ検出装置。
【請求項４】
請求項１に記載した車載カメラの光軸ずれ検出装置において、
前記判断手段の光軸ずれの判断にしたがって報知する報知手段を備えたことを特徴とする車載カメラの光軸ずれ検出装置。
【請求項５】
請求項１に記載した車載カメラの光軸ずれ検出装置において、
前記判断手段によって判断された光軸ずれが所定範囲内であるときは新たなマ−キング位置情報を基準の位置情報に換え、光軸ずれが所定範囲外となるときはシステム制御する構成としたことを特徴とする車載カメラの光軸ずれ検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車載カメラの撮影光軸ずれを検出して運転支援システムに対処するための光軸ずれ検出装置に関する。
【０００２】
【従来の技術】
自己車輌が異常走行している場合や前方車輌との車間距離が近づきすぎている場合などに自動的にブレ−キをかけ、また、運転者に警告を発したりする運転支援システムが知られている。
また、このようなシステムは、車輌をバックさせるとき、後方確認のできるものもある。
【０００３】
上記の運転支援システムを備えた車輌は、白線のレ−ンマ−クなどを確認して異常走行を判断したり、また、前方車輌との車間距離を測定するためにステレオカメラシステム等の車載カメラが取付けられている。
【０００４】
車載カメラとしては、ＣＣＤ等の固体撮像素子、情報処理回路、メモリなどを備えており、固体撮像素子が出力する撮影画像情報を処理して走行状態の確認や前方車輌との距離を測定、或いは、車輌の後方を確認してシステム制御するようになっている。
【０００５】
【発明が解決しようとする課題】
車載カメラは車輌の製造過程、つまり、車輌を工場から出荷する前に取付けられ、その際にカメラの撮影光軸が固定的に設定されるが、車輌の使用による振動、周囲温度変化などによってカメラの撮影光軸がずれる場合がある。
【０００６】
カメラの撮影光軸のずれは、撮影範囲が変ったり、レ−ンマ−クなどの画像位置情報が変るために運転支援システムが正常な動作とならないし、また、前方車輌との距離測定が不正確となるため、車輌走行に際して非常に危険な状態を伴う。
【０００７】
本発明は上記した実情にかんがみ、撮影光軸がずれた場合にもその光軸ずれを判断して運転支援システムを正常に動作させ、或いは、撮影光軸のずれによる走行の危険性がある場合には、車輌を制動したり、運転者に告知することができる車載カメラの光軸ずれ検出装置を提案することを目的とする。
【０００８】
【課題を解決するための手段】
上記した目的を達成するため、本発明では、第１の発明として、運転支援システムに用いられる車載カメラの光軸ずれ検出装置において、運転支援する車体部上のマ−キングを含む範囲を撮影する車載カメラの撮影画像から該マ−キングの位置情報を検出する画像処理手段と、初期設定されたマ−キング位置情報と新たに検出されたマ−キングの位置情報とを比較することにより撮影光軸ずれを判断する判断手段とを備えたことを特徴とする車載カメラの光軸ずれ検出装置を提案する。
【０００９】
この第１の発明の光軸ずれ検出装置は、カメラを車輌に取付けたときに、初期のマ−キング位置情報を設定する。
すなわち、車体部上のマ−キングを含む撮影範囲となるようにカメラを車輌に取付け、その取付け状態で撮影することにより、画像処理手段が撮影画像からマ−キングの位置情報を検出し、このマ−キング位置情報を演算・記憶して初期の基準位置として設定する。
【００１０】
その後は、車輌が走行中に車載カメラが撮影し、その撮影画像から検出された新たなマ−キング位置情報と上記した初期設定のマ−キング位置情報とを比較し、初期撮影のマ−キング位置とその後の撮影のマ−キング位置とを比べて光軸ずれの有無を判断する。
【００１１】
すなわち、判断手段が初期撮影のマ−キング位置とその後の撮影のマ−キング位置とを比較して、マ−キング位置にずれがなければ、光軸ずれがないと判断し、マ−キング位置にずれがあれば光軸ずれがあると判断することから、車載カメラの光軸ずれが検出される。
【００１２】
第２の発明は、前記画像処理手段が、フロントガラス又はボンネットに設けた構造物を前記マ−キングと認識することを特徴とする車載カメラの光軸ずれ検出装置を提案する。
【００１３】
第３の発明は、前記構造物は、前記ボンネットの一部の特定形状であることを特徴とする車載カメラの光軸ずれ検出装置を提案する。
【００１４】
第２の発明と第３の発明は、上記したマ−キングの形態を特徴としたもので、第２の発明では、フロントガラス又はボンネットに設けたマ−ク指標などの構造物をマ−キングと認識する構成としてあり、第３の発明では、ボンネットの一部の特定形状をマ−キングとして認識する構成としてある。
【００１５】
第４の発明は、前記判断手段の光軸ずれの判断にしたがって報知する報知手段を備えたことを特徴とする車載カメラの光軸ずれ検出装置を提案する。
【００１６】
この第４の発明では、判断手段が光軸ずれを判断したときは、報知手段によって異常走行していることを報知する構成としてある。
例えば、ブザ−などを起動させて運転者に警告したり、ブレ−キをかけて車輌を制動する。
【００１７】
第５の発明は、前記判断手段によって判断された光軸ずれが所定範囲内であるときは新たなマ−キング位置情報を基準の位置情報に換え、光軸ずれが所定範囲外となるときはシステム制御する構成としたことを特徴とする車載カメラの光軸ずれ検出装置を提案する。
【００１８】
この第５の発明では、判断手段が光軸ずれを判断したとき、その光軸ずれが初期設定のマ−キング位置情報から所定範囲内のものか、所定範囲外のものかを検出する。
そして、光軸ずれが所定範囲内であるときは、初期設定のマ−キング位置情報制御の基準の位置情報として動作する状態から、新たに設定されたマ−キング位置情報を基準の位置情報として動作する状態に切換える。
また、光軸ずれが所定範囲外であるときは、運転支援システム機能が保証できないほど光軸ずれしていると判断し、例えば、警告を発し、運転支援システム機能を停止するようにシステム制御する。
【００１９】
【発明の実施の形態】
次に、本発明の一実施形態について図面に沿って説明する。
図１は車輌に備えられた運転支援システムの基本的な構成例を示したブロック図である。
【００２０】
この運転支援システムは、カメラ１１から出力される被写体の画像情報をカメラ制御部１２で処理し、その処理情報を走行状態判断部１３と車輌制御部１４とに送る。
【００２１】
車輌制御部１４は、カメラ制御部１２から送られる撮影光軸情報と走行状態判断部１３から送られる車輌情報１５にしたがって車輌走行が正常か否かを判断し、正常でなければシステム制御信号１６を出力する。
【００２２】
上記したカメラ１１は、撮影レンズ１１ａ、固体撮像素子１１ｂ、情報処理回路１１ｃなどを含むカメラ構成となっており、ビデオカメラ、電子カメラなどを使用することができる。
【００２３】
そして、このカメラ１１は、車輌を出荷する前に、フロントガラス上方の車内位置に取付け、図２に示すように、車輌前方を撮影するようにセットする。
また、車輌１７には、カメラ１１の撮影範囲内となるフロントガラスの上部にマ−キングを形成する構造物としてのマ−ク指標１８が設けてある。
なお、このマ−ク指標１８は、フロントガラスに設けることなく、図２に示してあるように、車輌１７のボンネット前部に設けてもよい。
なお、図示する参照符号１９は車載カメラ１１の光軸を示す。
【００２４】
カメラ制御部１２は、カメラ１１やモニタ−２０を動作制御する回路手段の他に、画像情報を処理しそのデ−タ画像をメモリに記憶させ、また、読み出すための回路と、画像情報からマ−ク指標１８の画像位置を選び出し、その位置情報を求める回路と、マ−ク指標１８の位置情報デ−タをフレ−ムメモリに記憶させる回路と、フレ−ムメモリに記憶された基準位置情報とマ−ク指標１８の新たな画像位置情報とを比較する比較回路などを備えている。
【００２５】
走行状態判断部１３は、カメラ制御部１２から送られる画像情報にしたがつて車輌１７の走行状態を判断し、その判断結果の車輌情報１５を車輌制御部１４に送る。
【００２６】
例えば、この走行状態判断部１３は、車輌１７が蛇行走行したり、道路のレ−ンマ−クを外して走行している場合の他に、前方車輌に近づきすぎている場合などの走行状態を判断し、この走行状態情報を車輌情報１５として出力する。
【００２７】
車輌制御部１４は、上記したような車輌情報１５を入力したときは、システム制御信号１６を出力し、ブレ−キを自動制御したり、運転者に注意を喚起させる警告ブザ−などを起動させる。
【００２８】
また、この車輌制御部１４は、カメラ制御部１２から送られる初期設定されたマ−ク指標１８の位置情報と撮影画像から新たに検出されたマ−ク指標１８の位置情報との比較情報から撮影光軸ずれを判断する回路を備え、撮影光軸がずれている場合は、上記同様にシステム制御信号１６を出力し、ブレ−キを自動制御したり、警告ブザ−などを起動させ、また、運転支援システムの走行に問題が生ずるほど撮影光軸がずれているときは、警告を発し、運転支援システム機能を停止させる。
【００２９】
なお、モニタ−２０は運転支援システムが動作している間常時表示させるものではなく、必要に応じて撮影画像を確認するためのもので、例えば、ナビゲ−ション装置のディスプレイを利用する構成とすることができる。
【００３０】
次に、上記のように構成した光軸ずれ検出装置の動作について説明する。
既に述べたように、車載カメラ１１は車輌を出荷する前にマ−ク指標１８を含む撮影範囲となるように取付ける。
【００３１】
カメラ１１を撮影動作させると、図３に示すような撮影画像情報が固体撮像素子１１ｂより出力され、この画像情報がカメラ制御部１２で情報処理されて画像メモリにデ−タ記憶される。
また、上記の画像情報は画像メモリより読み出しモニタ−２０によって表示させることができる。
【００３２】
図４はマ−ク指標１８の初期設定を示すフロ−チャ−トであり、カメラ制御部１２が上記のように撮影画像情報を入力すると、この画像情報からマ−ク指標１８の画像位置情報が選び出される。例えば、光軸を原点（０、０）として、マ−ク指標１８を特定する位置座標（Ｘｏ、Ｙｏ）として選び出す。（ステップＳＴ１０１、ＳＴ１０２）
そして、その画像位置情報がフレ−ムメモリに記憶されて保存される。（ステップＳＴ１０３）
以上の動作でカメラ１１の撮影光軸が定められる。
この初期設定は車輌電源から運転支援システムの回路及びカメラ１１に給電して行なう。
【００３３】
図５は車輌が出荷された後の上記した光軸ずれ検出装置の動作を示すフロ−チャ−トである。
このフロ−チャ−トより分かる通り、車輌が走行している間に、カメラ制御部１２では、フレ−ムメモリから初期設定の撮影光軸情報を読み出し、また、カメラ撮影された撮影画像情報を入力する。（ステップＳＴ２０１、ＳＴ２０２）
【００３４】
そして、このとき入力した撮影画像情報からマ−ク指標１８の画像位置を認識し、その画像位置情報をマ−ク指標１８の新たな画像位置情報として初期設定の画像位置情報と比較する。（ステップＳＴ２０３）
【００３５】
続いて、上記の比較結果の情報がカメラ制御部１４に送られる。
カメラ制御部１４では、マ−ク指標１８のずれ量があるか否かを判断する。（ステップＳＴ２０４）
【００３６】
このステップで、新たな画像位置情報が初期設定の画像位置情報に対して差がなければ、運転支援システムが正常動作するとして終了する。（ステップＳＴ２０５）
【００３７】
新たな画像位置情報が初期設定の画像位置情報に対して差がある場合は、つまり、マ−ク指標１８が位置ずれしている場合は、新たな画像位置情報が判別できるものであるか否か、つまり、マ−ク指標１８が明るい被写体として撮影されたものであるかを確認する。（ステップＳＴ２０６）
【００３８】
そして、判別できないときには、今回の新たな画像位置情報は採用しない。（ステップＳＴ２０７）
判別できるときは、次のステップに進み、初期設定の画像位置情報に対する新たな画像位置情報の差、つまり、マ−ク指標１８にずれがあっても運転支援システムに問題がないか否かを判断する。（ステップＳＴ２０８）
【００３９】
マ−ク指標１８のずれが問題となるときは、警告を発し、運転支援システム機能を停止させる。（ステップＳＴ２０９）
【００４０】
今回の撮影で検出されたマ−ク指標１８のずれ、つまり、撮影光軸のずれでは、運転支援システムに問題とならないと判断できるときは、新たな画像位置情報を基準とする新たな位置情報をフレ−ムメモリに設定し、初期設定された画像位置情報を基準として動作する状態から新たに設定した位置情報を基準に動作するように切換える。
【００４１】
そして、以降に行なわれる光軸ずれ検出は、フレ−ムメモリに新たに設定される画像位置情報と、新たに入力する画像位置情報とを比較するようにして上記の動作を繰り返し、光軸ずれを検出する。
【００４２】
なお、基準となる新たな画像位置情報がフレ−ムメモリに設定される場合が繰り返されると、フレ−ムメモリに設定される画像位置情報が順次更新され、許容できるマ−ク指標１８のずれ量が検出できないことになるため、このような場合の繰り返し検出についてはその回数を定め、その回数以後は警告を発し、運転支援システム機能を停止させる。なお、この場合には、運転支援システムを修正することになる。
【００４３】
以上、フロントガラスまたはボンネット上部に設けたマ−ク指標１８のずれ量を検出するものについて説明したが、ボンネットの形状の画像位置情報に基づいて判断する構成としても上記同様に光軸ずれの検出を行なうことができる。
【００４４】
【発明の効果】
上記した通り、本発明の光軸ずれ検出装置によれば、車載カメラの撮影により、マ−キングの位置ずれ、すなわち、撮影光軸のずれを自動的に検出し、撮影光軸ずれに問題がなければ運転支援システムを引き続き正常動作させ、撮影光軸のずれによって問題が生ずるときは、運転支援システム機能を停止させるなどの処置を施すことができる。
【００４５】
この結果、運転支援システムを備える車輌の車載カメラに付帯させれば、交通安全に極めて優れる光軸ずれ検出装置となる。
【図面の簡単な説明】
【図１】本発明の一実施形態である運転支援システムの基本的な構成例を示すブロック図である。
【図２】車載カメラの撮影光軸ずれを検出するためのマ−ク指標の取付け位置を示す車輌の簡略図である。
【図３】車載カメラが出力する撮影画像を示した図である。
【図４】マ−ク指標の画像位置情報の初期設定動作を示すフロ−チャ−トである。
【図５】撮影光軸ずれの検出動作を示すフロ−チャ−トである。
【符号の説明】
１１  車載カメラ
１２  カメラ制御部
１３  走行状態判断部
１４  車輌制御部
１５  車輌情報
１６  制御信号
１７  車輌
１８  マ−ク指標
２０  モニタ−
【図１】
2004173037.tif 000003
【図２】
2004173037.tif 000004
【図３】
2004173037.tif 000005
【図４】
2004173037.tif 000006
【図５】
2004173037.tif 000007