(57)【特許請求の範囲】
【請求項１】
車両に設けられ所定の方向を撮像する撮像手段と、該撮像手段からの画像を処理しオプティカルフローを演算するオプティカルフロー演算手段と、該オプティカルフロー演算手段から求めたオプティカルフローの現れ方から前記撮像手段への含水物の付着状態を判定するとともに、
前記撮像手段から得た撮像画像を複数のエリアに分割し、前記オプティカルフロー演算手段から得たオプティカルフローが遠いエリアから近いエリアに順に現れた場合には正常と判定し、前記オプティカルフローが急に近いエリアに現れた場合には前記含水物付着の可能性有りと判定する判定手段と、前記判定手段により前記含水物付着を検出した場合にはドライバに報知する報知手段とを備えたことを特徴とする含水物付着検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は自動車等の車両において、車両の周囲をモニタするビデオカメラ等の撮像手段の表面への、雨水等の含水物の付着状況を検知する含水物の付着検知装置に関する。
【０００２】
【従来の技術】
自動車（以下車という）においては、図５に示すようにルームミラー１０ａ左右のサイドミラー１０ｂ、１０ｂにより、後方を監視して後方からの車等の接近を検知しているが、かかるルームミラー１０ａの視野範囲θ２及びサイドミラー１０ｂ、１０ｂの視野範囲θ３が狭く、特に後部側方に監視不能な範囲が存在するため、この範囲における接近車の見落としが発生し易い。
【０００３】
このため、近年は車１０の後部にビデオカメラ２を設置して該ビデオカメラ２により、前記後部側方を含む車１０の後方の状態を検出し（検出角度θ１＝１１５°程度まで拡大可能となる）、運転室の表示手段に表示する手段が提案されている。
【０００４】
かかるビデオカメラによる車両の後方の監視システムとして、特開平７−５０７６９号の発明が提案されている。この発明においては、ビデオカメラで撮像した一連の後方画像中の、時間的に相前後する２コマの画像中に写し出される対象物体上の同一点の移動をオプティカルフローベクトルとして検出し、その方向と大きさとにより危険を判断するようになっている。
【０００５】
また、車に搭載される前記ビデオカメラ等の監視カメラの保護カバーの汚れを除去する手段として、特開平３−８５０７０号の発明が提案されている。
この発明においては、前記監視用カメラによる映像信号がバンドパスフィルタで処理されて検波回路で広域成分が検出され、この成分のレベルと基準信号出力回路の基準信号レベルとが比較され、この比較結果から前記カメラの保護カバーの汚れを判定して判定結果を出力し、汚れが判定されるとウォッシャを駆動して洗浄がなされるように構成されている。
【０００６】
【発明が解決しようとする課題】
前記特開平７−５０７６９号にて提案されているような、ビデオカメラを用いた後方監視システムにおいて、雨天時にビデオカメラ２の保護カバー（ガラスカバー）に雨滴が付着すると、該ビデオカメラから鮮明画像が得られず画像検出性能が低下するという不具合の発生をみる。
【０００７】
かかる不具合の発生を防止する技術として、前記特開平３−８５０７０号の発明が提案されているが、この発明においては雨滴付着を検出するために、あらたに雨滴検出ロジックを組込む必要があり複雑かつ高価となる。
【０００８】
本発明はかかる従来技術の課題に鑑み、ビデオカメラ等の撮像手段への雨滴等の含水物による付着状態を撮像手段からの画像より得たオプティカルフローの現れ方から検出できるようにした含水物検出装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明はかかる課題を解決するため、請求項１記載の発明として、
車両に設けられ所定の方向を撮像する撮像手段と、該撮像手段からの画像を処理しオプティカルフローを演算するオプティカルフロー演算手段と、該オプティカルフロー演算手段から求めたオプティカルフローの現れ方から前記撮像手段への含水物の付着状態を判定するとともに、
前記撮像手段から得た撮像画像を複数のエリアに分割し、前記オプティカルフロー演算手段から得たオプティカルフローが遠いエリアから近いエリアに順に現れた場合には正常と判定し、前記オプティカルフローが急に近いエリアに現れた場合には前記含水物付着の可能性有りと判定する判定手段と、前記判定手段により前記含水物付着を検出した場合にはドライバに報知する報知手段とを備えたことを特徴とする含水物付着検出装置を提案する。
【００１１】
請求項１の発明では、既知の撮像手段から得たオプティカルフローを利用し、オプティカルフローの現れ方を画像上での出現位置より遠い側と近い側とで比較することにより、撮像装置への雨滴等の含水物付着状態を検出できる。
【００１３】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載が無い限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００１４】
図１は本発明の実施形態にかかる自動車用ビデオカメラの雨滴付着検出装置の制御ブロック図、図２は制御フローチャート、図３は全体構成図（ハード構成図）、図４はオプティカルフローの動作説明図である。
【００１５】
図３に示す全体構成において、１０は自動車（以下車という）、４はハンドル、３はターンレバーであり、該車１０の車室１内には、運転席の前方のドライバーが目識容易な部位に警報、表示装置５が設けられている。２は車１０の後部に取付けられたビデオカメラ（撮像手段）である。８はワイパーの駆動を検知するワイパー信号検出器、７は車１０の車速を検出する車速検出器である。６はコントローラで、前記ワイパー信号検出器８からワイパー駆動信号、車速検出器７から車速がそれぞれ入力され、また、ターンレバー３からターンレバーによる左折、右折信号が必要に応じて入力され、さらにビデオカメラ２から車１０の後方の状態の撮像信号が入力され、後述する処理を行った結果を前記警報、表示装置５に出力するものである。
【００１６】
図１に示す制御ブロック図において、ビデオカメラ２にて撮像された車１０の後方の状態（光景）の撮像信号は、コントローラ６の画像処理部６１に入力される。
該画像処理部６１において所要の画像形態に処理された撮像信号はオプティカルフロー演算部６２に入力される。
該オプティカルフロー演算部６２には車速検出器７から車１０の車速の検出信号が入力されている。
【００１７】
そして該オプティカルフロー演算部６２においては前記画像処理が施された撮像信号及び車速信号に基づき後述するような演算処理を行った後、その結果を雨滴付着判定部６３に出力する。
該雨滴付着判定部６３にはワイパー信号検出器８からワイパーの駆動信号が入力されている。
【００１８】
そして、該雨滴付着判定部６３においては、前記オプティカルフロー演算部６２にて算出されたオプティカルフローに基づき、ビデオカメラ２への雨滴の付着状態（付着の程度）を判定し、その結果を運転室１内の警報、表示装置５に出力する。
該警報、表示装置５においては、前記雨滴付着判定部６３におけるビデオカメラ２への雨滴の付着状態の判定結果に基づき、これを画面に表示するとともに、雨滴付着を検出した場合には警報信号を発信してドライバーにこれを知らせる。
【００１９】
次に図２〜図３により、前記オプティカルフロー演算部６２及び雨滴付着判定部６３の動作を説明する。
まずオプティカルフロー演算部６２においては、画像処理部６１から入力される車１０の後方の撮影画像を処理してオプティカルフローを演算する。
【００２０】
雨滴付着判定部６３においては、前記オプティカルフロー演算部６２から入力されるオプティカルフローに基づき、図４に示すような左右の白線１１ａ、１１ｂの交点から右側及び左側に、車１０の遠方から順に１、２、３及び１’、２’、３’のように、各側において、各３つのエリアに分割（２分割以上であればよい）する。
図４において、左側は［晴］、右側は［雨］の場合で、この図は（１）に示す時点（時間ｔ）から（２）に示すΔｔ時間後のｔ＋Δｔの時点、そして（３）に示すさらにΔｔ時間後のｔ＋２Δｔの時点における接近車１０のベクトルの移動状況を示している。
即ち、図４に示すように接近車１０のオプティカルフローは、白線１１ａ（１１ｂ）に沿って、エリア１→２→３（１’→２’→３’）のように移動し、（１）の時点（時間ｔ）→（２）（時間ｔ＋Δｔ）→（３）（時間ｔ＋２Δｔ）のように変移していく。
【００２１】
また、図４の左側に示す［晴］の場合は接近車１０のオプティカルフローがエリア１、エリア２、エリア３の順に現れ、右側に示す［雨］の場合においてはビデオカメラに雨滴が付着していると、該接近車１０のオプティカルフローは最も遠くにある（１）の時点ではエリア１（１’）では検出できない。これは雨滴が付着して見えにくいのと、なおかつ画像上で接近車の特徴がつかみにくいためである。
そして、エリア２（２’）まで近づくとオプティカルフローが得られる。これは画像上での接近車がやや大きく見えるようになるためである。
あるいはエリア２（２’）までオプティカルフローが得られず、エリア３（３’）にくるとオプティカルフローが得られる。これは画像上での接近車が大きく見えるようになるためで雨滴付着の有無にかかわらず見えるためである。
従って、前記オプティカルフローの現れ方を検出することにより、ビデオカメラへの雨滴１２の付着の有無を判定できる。
【００２２】
次にビデオカメラ２への雨滴付着状態の判定にあたっては、図２のフローチャートに示すように、前記画像処理部６１からの画像が入力され（ステップ（１））、オプティカルフロー演算部６２における前記のようなオプティカルフローの演算結果が出力される（ステップ（２））と、これらに続いてワイパー信号検出器８からワイパー信号が入力されているか否かを判断し（ステップ（３））、入力あり（ＹＥＳ）の場合は次の雨滴付着判定に移行する。
【００２３】
前記雨滴付着判定部６３においては、次の手順で雨滴付着状態を判定する。
ステップ（４）に示すように、図５に示す前記オプティカルフローにおいて、検出態様（１）の場合、即ちエリア１（あるいは１’）において、車１０のベクトルが検出された場合は、図４（１）の［晴］の場合に該当し、雨滴付着無しと判定する。
【００２４】
検出態様（２）の場合、即ち図４の［晴］（２）のように、エリア２（あるいは２’）で車１０のベクトルが検出され、そのΔｔ時間前のエリア１（あるいは１’）でも検出されていた場合（ＹＥＳ）には雨滴付着無しと判定し、エリア２（あるいは２’）で検出されていて、図４の［雨］（１）のように、エリア１（あるいは１’）で検出されていなかった場合（ＮＯ）には雨滴付着可能性有りと判定する。
【００２５】
さらに検出態様（３）の場合、即ち図４の［晴］（３）のように、エリア３（あるいは３’）で車１０のベクトルが検出され、そのΔｔ時間前のエリア２（あるいは２’）でも検出されていた場合は検出態様（４）の判定を行う。（ステップ（５））。即ち検出態様（５）の場合、前記エリア２（あるいは２’）で検出する場合のΔｔ時間前におけるエリア１（あるいは１’）においても検出されていた場合（ＹＥＳ）は雨滴付着無しと判定する。
つまり、図４の［晴］（１）、（２）、（３）のように、車１０のベクトルがエリア１（１’）→２（２’）→３（３’）と続いて現れる場合は雨滴付着無しと判定する。
【００２６】
また検出態様（３）において、エリア３（３’）で検出されていてもエリア１（１’）で検出されていなかった場合（ＮＯ）は雨滴付着と判定する。
さらに検出態様（４）において、エリア３（３’）及び２（２’）で検出されていてもエリア１（１’）で検出されていなかった場合（ＮＯ）には雨滴付着の可能性ありと判定する。
即ち、図４のように、エリア１（１’）で検出されなかったが、エリア２（２’）→エリア３（３’）と続いて検出された場合には、雨滴付着可能性ありと判定する。
【００２７】
以上のように、かかる雨滴付着判定部においては、
（Ａ）  車１０のベクトルがエリア１（１’）→２（２’）→３（３’）と続いて現れればビデオカメラ２には雨滴の付着無し。
（Ｂ）  エリア１（１’）及び２（２’）に現れず、３（３’）で現れた場合はビデオカメラ２に雨滴の付着あり。
（Ｃ）  エリア１（１’）で検出されず、エリア２（２’）で検出されていた場合、又はエリア１（１’）で検出されずエリア２（２’）及び３（３’）で検出された場合はビデオカメラ２に雨滴が付着している可能性ありと判定する。
【００２８】
【発明の効果】
以上記載のごとく、本発明によれば、接近車両の状態を撮像手段による画像を用いてオプティカルフローにて現れるようにし、該オプティカルフローの現れ方を画像上での出現位置より遠い側と近い側とで比較することで、即ち、接近車両監視システムにおける既知の画像処理のオプティカルフローを利用することにより、撮像手段への雨滴等の付着を検出し、ドライバに知らせることができる。
【図面の簡単な説明】
【図１】  本発明の実施形態にかかる自動車用ビデオカメラの雨滴付着検出装置の制御ブロック図である。
【図２】  上記実施形態における雨滴付着判定のフローチャートである。
【図３】  上記実施形態における全体構成図（ハード構成図）である。
【図４】  上記実施形態におけるオプティカルフローの動作説明図である。
【図５】  自動車の後方視野範囲を示す説明図である。
【符号の説明】
１０    車
１      車室
２      ビデオカメラ
３      ターンレバー
５      警報、表示装置
６      コントローラ
７      ワイパー信号検出器
１１ａ、１１ｂ  白線
６１    画像処理部
６２    オプティカルフロー演算部
６３    雨滴付着判定部
【図１】
0003675231.tif 000002
【図２】
0003675231.tif 000003
【図３】
0003675231.tif 000004
【図４】
0003675231.tif 000005
【図５】
0003675231.tif 000006