(57)【要約】【課題】撮影装置の汚れを精度よく検出可能な車両用撮影装置、車両用撮影装置の汚れ検出方法を提供すること。【解決手段】自車両周囲を撮影する撮影手段１３を備えた車両用撮影装置１において、撮影手段１３の汚れを検出する汚れ自己診断手段１４ｄと、車両周囲の物体を検出する物体検出手段２が物体を検出した場合、汚れ自己診断手段１４ｄに汚れの検出を許可する汚れ診断許可手段１４ｅと、を有することを特徴とする。【選択図】図３
2007293672.tif 000002
【特許請求の範囲】
【請求項１】
自車両周囲を撮影する撮影手段を備えた車両用撮影装置において、
前記撮影手段の汚れを検出する汚れ自己診断手段と、
車両周囲の物体を検出する物体検出手段が物体を検出した場合、前記汚れ自己診断手段に汚れの検出を許可する汚れ診断許可手段と、
を有することを特徴とする車両用撮影装置。
【請求項２】
前記物体が自車両前方の所定距離以内に検出された場合、前記汚れ診断許可手段が汚れの検出を許可する、ことを特徴とする請求項１記載の車両用撮影装置。
【請求項３】
自車両周囲を撮影する撮影手段を備えた車両用撮影装置の汚れ検出方法において、
車両周囲の物体を検出する物体検出手段により車両周囲に物体が検出された場合、汚れ診断許可手段が汚れの検出を許可するステップと、
汚れの検出が許可された場合、汚れ自己診断手段が前記撮影手段の汚れを検出するステップと、
を有することを特徴とする車両用撮影装置の汚れ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用撮影装置、車両用撮影装置の汚れ検出方法に関し、特に、汚れの自己診断を行うことができる車両用撮影装置、車両用撮影装置の汚れ検出方法に関する。
【背景技術】
【０００２】
車両の前方又は後方をカメラにより撮影して障害物や走行車線を検出して運転者の車両操作を支援する車両用撮影装置が知られている。車両用撮影装置はカメラのレンズ等に汚れが付着すると性能が低下するため、汚れを検出する技術や検出した場合には所定のフェイルセーフ制御を実行する技術が提案されている（例えば、特許文献１参照。）。特許文献１では、画像処理装置が車両前方の画像から車線を検出できない場合にその回数を計数し、所定時間内の回数が閾値を超えている場合に光学系に汚れが付着していると判定する。このように撮影された画像に基づき汚れの付着を検出するので、汚れを検出するための付加装置が必要なく、コストや取り付けスペースを節約できるとしている。
【特許文献１】特開平８−２０２９９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１記載の汚れの検出方法では、例えば、白線のない道路では汚れを検出できないか又は白線が検出できないとして汚れが付着していると誤判定してしまうという問題がある。
【０００４】
所定の条件下において、車両用撮影装置の汚れが検出できないと性能低下の検出が遅れ、又、誤判定してしまうとアラームが吹聴されたりレンズを拭ったりと運転者が煩わしさを感じる場合があり好ましくない。
【０００５】
本発明は、上記課題に鑑み、撮影装置の汚れを精度よく検出可能な車両用撮影装置、車両用撮影装置の汚れ検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、自車両周囲を撮影する撮影手段を備えた車両用撮影装置において、撮影手段の汚れを検出する汚れ自己診断手段と、車両周囲の物体を検出する物体検出手段が物体を検出した場合、汚れ自己診断手段に汚れの検出を許可する汚れ診断許可手段と、を有することを特徴とする。
【０００７】
本発明によれば、物体が検出された場合に汚れの自己診断を許可するので、夜間など光量が十分でない場合であっても、検出された物体の画像を利用して精度よく撮影手段の汚れを検出できる。
【発明の効果】
【０００８】
撮影装置の汚れを精度よく検出可能な車両用撮影装置、車両用撮影装置の汚れ検出方法を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。
【００１０】
図１は、本実施例における車両用撮影装置１と車内ＬＡＮ１８により接続された物体検出装置２の概略構成図の一例を示す。車両用撮影装置１は、従来は夜間走行中に禁止されていた汚れの自己診断を先行車等が検出される場合には許可するので、夜間走行中においても精度よく汚れを検出することができる。なお、本実施の形態では、車両周囲の先行車、ガードレール等の敷設物等の立体物を物体と言う場合がある。
【００１１】
車両用撮影装置１は、撮影装置１２Ｒ、１２Ｌ及びレンズ１１Ｒ、１１Ｌにより構成されるカメラ１３Ｒ、１３Ｌ（カメラ１３Ｒと１３Ｌを単にカメラ１３という）を有し、周知のステレオカメラを構成する。撮影装置１２Ｒ，１２Ｌは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge  Coupled  Device）の撮像素子を有している。各カメラにより撮影された画像データ（以下、フレームという）はステレオＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｏｒｏｌ  Ｕｎｉｔ）１４に出力される。なお、カメラ１３Ｒ、１３Ｌに加え更に他のカメラを備えていてもよい。
【００１２】
ステレオＥＣＵ１４は、プログラムを実行するＣＰＵ（Central Processing Unit）、プログラムを記憶したＲＯＭ、データや演算結果を一時的に記憶するＲＡＭ、データやパラメータを記憶する不揮発メモリ（ＮＶ−ＲＡＭ）、他のＥＣＵ間でデータを入出力する入力／出力インターフェース、などがバスにより接続された一ユニットとして構成されたものであり、マイコンやコンピュータとも呼ばれる。
【００１３】
ステレオＥＣＵ１４は、幾何変換処理部１４ａ、ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）１４ｃ、画像認識処理部１４ｂ、汚れ自己診断部１４ｄ及び汚れ診断許可部１４ｅを有し、ＣＰＵがプログラムを実行することで幾何変換処理部１４ａ、画像認識処理部１４ｂ、汚れ自己診断部１４ｄ及び汚れ診断許可部１４ｅが実現される。
【００１４】
カメラ１３Ｒ、１３Ｌに車両前方から入射した光は撮像素子により光電変換され、蓄積した電荷を電圧として読み出し増幅してＡ／Ｄ変換された後、所定の輝度階調（例えば、２５６階調）のデジタル画像に変換される。カメラ１３Ｒ、１３Ｌは、例えば３０〜６０回／秒程度のフレームレートで撮影し、撮影されたフレームを所定のバッファ等に保持しながら順次ステレオＥＣＵ１４に出力する。
【００１５】
後述するようにステレオＥＣＵ１４は、左右のカメラ１３Ｒ、１３Ｌの視差に基づき物体までの距離を検出するため、左右のカメラ１３Ｒ、１３Ｌが視差以外の誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）を生じないようにキャリブレーションされている。キャリブレーションにより誤差要因はキャリブレーションデータとしてＬＵＴ１４ｃに格納されているので、幾何変換処理部１４ａはどのようなカメラ１３Ｒ、１３Ｌが接続されてもＬＵＴを参照して変換することで誤差要因を除去したフレームを出力する。
【００１６】
画像認識処理部１４ｂは、幾何変換処理部１４ａからの幾何変換されたフレームに基づいて画像認識処理を行う。画像認識処理は、例えば三角測量の技術によって撮像されたフレーム毎に立体物や立体物までの距離を検出する処理である。
【００１７】
画像認識処理は、例えば左右に配置されたカメラ１３Ｒ、１３Ｌによりほぼ同時に撮影された左右のフレーム同士で３次元空間中の同一点を対応づけ、三角測量の要領でその点の３次元位置を求める。
【００１８】
画像認識処理部１４ｂは、カメラ１３Ｒ、１３Ｌによりそれぞれ撮影されたフレームにおいて同一点の視差を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、カメラ１３Ｒによるフレームとカメラ１３Ｌによるフレームとを重ね合わせると、撮像対象物が左右横方向にずれる。片方のフレームを１画素ずつシフトしながら、例えば画素間の輝度を比較し、画素間の相関（例えばシティブロック距離）が最も高いシフト量を視差として検出する。
【００１９】
最も相関が高くなるようにシフトした画素数をｎとし、レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。この（ｎ・ｄ）を視差という。なお、同一点の３次元空間中における路面からの高さは、カメラ１３Ｒ、１３Ｌの路面からの高さによって算出できる。
【００２０】
汚れ自己診断部１４ｄは、左右のカメラ１３Ｒ、１３Ｌの汚れを検出する。カメラ１３Ｒ、１３Ｌが車内にある場合、汚れは前方のフロントガラス又はリアガラスに貼付されたシール、付着した泥、車内につり下げられたアクセサリー等であり、カメラ１３Ｒ、１３Ｌが車外にある場合、汚れはレンズ１１Ｒ、１１Ｌに付着した泥等である。すなわち、汚れとはカメラ１３Ｒ、１３Ｌと車両前方の物体の間にあって正常な撮影を阻害する物を言う。以下では、汚れの形態を問わず単にカメラ１３の汚れという。
【００２１】
汚れ自己診断部１４ｄは左右のカメラ１３Ｒ、１３Ｌによりフレームを比較して他方又は双方のカメラの汚れを検出する。また、汚れ診断許可部１４ｅは、物体検出装置２が物体を検出したか否かに基づき、汚れ自己診断部１４ｄに汚れの検出を許可する。これらについて詳細は後述する。
【００２２】
車両用撮影装置１を車両に搭載することによって、車両前方に先行車や白線があればその距離を検出し、ＣＡＮ（Ｃｏｎｔｏｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の車内ＬＡＮ１８を介して、画像認識処理結果を必要とする他のＥＣＵにその結果を送信する。他のＥＣＵとは、例えば、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間制御ＥＣＵ、ブレーキＥＣＵ等である。
【００２３】
例えば、車線維持支援システムでは、撮影されたフレームの例えば輝度に基づき、所定の閾値以上の輝度を有する領域をフレーム底部から上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので、車両前方のフレームを水平方向に微分すると、白線の両端にピークが得られ、そのピークは白線の線内に、白線外から白線と白線から白線外とで正負逆に得られるため、白線部分が推定できる。このような処理を行う白線強調フィルタをフレームに施すことで白線部分を強調でき、白線が強調されたフレームから、白線の特徴である、輝度が高い、線状の形状である等の特徴のある領域を、マッチングなどの手法により白線を検出できる。車線維持支援システムのＥＣＵは、例えば１００ｍ程度先までの白線を認識しその略中央を目標走行線として定め目標走行線から自車両が所定以上に乖離しないように操舵トルクをアシストする。
【００２４】
物体検出装置２は、ミリ波レーダやレーザレーダ等を用いて車両前方又は周囲の物体を検出する。レーダ装置１５は、レーダを発信してから受信されるまでの時間に基づき障害物までの距離及び相対速度を検出し、障害物ＥＣＵ１６に送出する。
【００２５】
レーダ装置１５は、アンテナ部、高周波回路部及び信号処理部を有し、高周波回路部は、送信アンテナから時間と共に周波数が直線的に増加（又は減少）する無線信号を発信させ、受信アンテナはそれが物体で反射して戻ってきた反射波を受信する。
【００２６】
受信波は、送信波よりも対象物までの距離Ｌの往復分長い距離を伝わるので、時間にして  ２×Ｌ／光速  だけ、送信波に対し時間遅れを持っており、その時間分、周波数が低い（高い）ことになる。このため、物体までの距離に応じて送信波と受信波に干渉が生じ（ビート信号が出力され）、信号処理部がビート信号に基づき対象物までの距離を検出する。また、ビート信号の周波数を解析すると相対速度が得られる。
【００２７】
障害物ＥＣＵ１６には車速センサにより自車両の速度が取得されているので、物体の速度を検出できる。例えば、物体との異常接近が検出される場合には、プリクラッシュＥＣＵやブレーキＥＣＵ等に信号を出力して、これらのＥＣＵが物体回避又は支援のための車両制御を行う。
【００２８】
ところで、物体検出装置２が物体を検出する空間Ａ１と車両用撮影装置１が撮影して物体を検出する空間Ａ２とはそれぞれ３次元空間において完全には重複しない。図２は自車両が走行している様子の平面図である。範囲Ａ１はレーダ装置１５により物体が検出可能な空間を、範囲Ａ２は車両用撮影装置１により物体が検出可能な空間をそれぞれ示し、又、斜線部が空間Ａ１とＡ２と重複する空間を示す。
【００２９】
本実施の形態の車両用撮影装置１は、空間Ａ１とＡ２と重複する空間では、物体が車両用撮影装置１と物体検出装置２の双方により検出されることを利用するものである。
【００３０】
続いて、汚れ診断許可部１４ｅによるカメラ１３Ｒ、１３Ｌの汚れの自己診断の許可手順について図３（ａ）のフローチャート図に基づき説明する。図３（ａ）は汚れの自己診断を汚れ自己診断部１４ｄに許可するか否かを判定するためのフローチャート図である。図３（ａ）の判定手順は、車両が所定速度以上で走行中に所定の時間毎に行われる。
【００３１】
汚れ診断許可部１４ｄは最初に現在の時刻が夜間か否かを判定する（Ｓ１）。夜間か否かとは、車両用撮影装置１により車両前方や周囲の撮影をするために必要な明るさを太陽から得られる状態でないことをいい、例えばシャッタ時間により判定する。フレームの露出はシャッタ時間（シャッタスピード）に応じて変化するため、カメラ１３Ｒ、１３Ｌは周囲が暗ければシャッタ時間を長くして光量を確保する。したがって、シャッタ時間が所定の閾値以上の場合、車両前方や周囲の撮影をするために十分な明るさがなく、夜間であることが分かる。このように判定すれば、車載した時計により判定する場合と異なり日中にトンネルを走行しているような場合には夜間であると判定することができる。なお、夜間か否かを照度計によりしてもよい。
【００３２】
夜間でない場合（Ｓ１のＮｏ）、すなわち日中の場合、汚れの自己診断を許可する（Ｓ２）。日中に診断を許可するのは、周囲が明るいためカメラに十分な情報を有するフレームが撮影され、汚れ検出が精度よく行えるからである。
【００３３】
夜間の場合（Ｓ１のＹｅｓ）、汚れ診断許可部１４ｄは、物体検出装置２が自車両の前方に先行車を検出しているか否かを判定する（Ｓ３）。物体検出装置２が自車両の前方に先行車を検出する場合（Ｓ３のＹｅｓ）、汚れ診断許可部１４ｄは汚れの自己診断を許可する（Ｓ２）。
【００３４】
レーダ装置１５により自車両の先方に先行車が検出された場合、車両用撮影装置１に同じ先行車が撮影されているはずであるので、夜間であっても先行車が存在することが判明していれば、先行車が撮影されたフレームを画像処理して汚れの自己診断が可能であると判定できる。
【００３５】
したがって、物体検出装置２により先行車が検出される空間は、少なくとも図２の空間Ａ１とＡ２が重複した空間であり、より好ましくは先行車がある程度大きく撮影される所定の距離以内（例えば２０ｍ以内）である。
【００３６】
物体検出装置２が自車両の先方に先行車を検出しない場合（Ｓ３のＮｏ）、汚れ診断許可部１４ｄは汚れの自己診断を禁止する（Ｓ４）。すなわち、夜間であって先行車が検出されない場合、汚れの自己診断を行わない。
【００３７】
続いて、汚れの自己診断について図３（ｂ）のフローチャート図に基づき説明する。図３（ｂ）の汚れの自己診断は、図３（ａ）の自己診断を許可するか否かの判定手順により許可すると判定された直後に実行される。
【００３８】
汚れ自己診断部１４ｄは、物体検出装置２が先行車を検出した場合、好ましくはその直後にカメラ１３Ｒ、１３Ｌが撮影したフレームにそれぞれ所定以上のエッジ情報が含まれるか否かを判定する（Ｓ１０）。エッジ情報とは隣り合う画素の画素値の変化分であるが、本実施の形態ではエッジ情報のうち変化分が所定以上のものをいう。
【００３９】
エッジ情報の検出にはいくつかの方法が提案されているが、周知の方法として、例えば、フレームの画素値を水平方向及び垂直方向に１次微分又は２次微分することで求める。具体的には、３×３のマトリックスをオペレータとしてフレームに掛け合わせ、９個の演算結果の合計を求めていく。結果は負を含むアナログ量になるのでこれの絶対値をとり、一定の閾値と比較して、閾値より大きい場合にエッジ情報とする。
【００４０】
日中では、先行車がいない場合であっても、自車両前方を撮影したフレームには、白線やガードレール、歩行者等が撮影されることによる所定以上のエッジ情報が検出されるものである。また、夜間、先行車が存在すると判定されている場合、先行車と背景、先行車のテールランプ、ナンバープレート、ボディとリアガラスの境界等、所定以上のエッジ情報が検出される。
【００４１】
また、汚れが付着している場合、汚れはレンズ１１Ｒ、１１Ｌ、フロントガラス１７等の焦点の合わない位置に付着するので、隣り合う画素の画素値の変化分が緩やかになり所定数以上のエッジ情報が検出されない。
【００４２】
なお、図３（ａ）のステップＳ３において、夜間に先行車の有無を判定するのは、エッジ情報を得るためであるので、夜間であっても前照灯等によりガードレール、交通標識等の立体的な敷設物も撮影されればエッジ情報が検出されることから、先行車だけでなく敷設物の有無を判定してもよい。
【００４３】
したがって、所定数以上のエッジ情報が検出されない場合（Ｓ１０のＮｏ）、汚れ自己診断部１４ｄは、カメラ１３Ｒ又はカメラ１３Ｌに汚れが付着していると判定する（Ｓ２０）。なお、エッジ情報の数でなく、フレーム面積に対するエッジ情報の比率に基づき判定してもよい。なお、カメラ１３Ｒ又はカメラ１３Ｌの双方からエッジ情報が検出されない場合、双方に汚れが付着していると判定できる。
【００４４】
所定数以上のエッジ情報が検出された場合（Ｓ１０のＹｅｓ）、カメラ１３Ｒとカメラ１３Ｌにより撮影されたフレームに差異があるか否かを判定する（Ｓ３０）。車両用撮影装置１は視差以外の差異がないようにキャリブレーションされているので、視差程度の差異についてはフレーム間に差異がないと判定される。例えば、汚れ自己診断部１４ｄは、視差（ｎ・ｄ）だけ一方のフレームをシフトし画素毎に画素値を比較する。例えば、画素値の差の合計が所定以上であれば左右のフレームに視差以上の差異があると判定する。
【００４５】
カメラ１３Ｒとカメラ１３Ｌにより撮影されたフレームに差異がある場合（Ｓ３０のＮｏ）、汚れ自己診断部１４ｄはカメラ１３Ｒ及びカメラ１３Ｌに汚れが付着していると判定する（Ｓ２０）。例えば、撮影範囲の一部に汚れが付着しているような場合、所定数以上のエッジ情報が検出されることがあるが、フレームの差異を判定することで撮影範囲の一部の汚れを検出できる。
【００４６】
カメラ１３Ｒとカメラ１３Ｌにより撮影されたフレームに差異がない場合（Ｓ３０のＹｅｓ）、汚れ自己診断部１４ｄはカメラ１３Ｒ及びカメラ１３Ｌに汚れは付着していないと判定し処理を終了する（Ｓ４０）。
【００４７】
なお、汚れを検出した場合でも、１フレームだけではフレームや汚れ検出の処理過程のノイズ等により誤って汚れと誤検出される場合があるので、所定時間又は所定フレーム数、汚れが検出される場合に汚れが検出されたと判定することが好適である。
【００４８】
また、物体を撮影するカメラが１つしかない場合、エッジ情報の有無により（Ｓ１０）汚れの有無を判定すれば、カメラが１つでも汚れの自己診断ができる。
【００４９】
汚れを検出した場合、汚れ自己診断部１４ｄはナビＥＣＵやパネルに信号を送出し、表示装置にカメラ１３Ｒ又は１３Ｌに汚れが付着している旨を運転者に報知する。これにより運転者は汚れを除去するなど適切な処置を施すことができる。
【００５０】
以上のように、本実施の形態の車両用撮影装置１によれば、十分な光量が得られない例えば夜間のような条件下でも、カメラの汚れを検出することができる。好ましくは先行車、又は、エッジ情報のあるフレームが撮影されれば汚れの自己診断を実行できるので、白線のない道路など条件を選ばずに精度よく汚れを検出できる。また、汚れを検出するための付加装置が必要なく、コストや取り付けスペースを節約できる。
【図面の簡単な説明】
【００５１】
【図１】車両用撮影装置と車内ＬＡＮにより接続された物体検出装置の概略構成図である。
【図２】自車両が走行している様子の平面図である。
【図３】カメラの汚れの自己診断の許可、自己診断する手順を示すフローチャート図である。
【符号の説明】
【００５２】
１      車両用撮影装置
２      物体検出装置
１１Ｒ、１１Ｌ  レンズ
１２Ｒ、１２Ｌ  撮像素子
１３Ｒ、１３Ｌ  カメラ
１４    ステレオＥＣＵ
１５    レーダ装置  
１６    障害物ＥＣＵ
１７    フロントガラス
１８    車内ＬＡＮ
【図１】
2007293672.tif 000003
【図２】
2007293672.tif 000004
【図３】
2007293672.tif 000005