(57)【要約】【課題】付着物検出装置の光照射部における無駄な電力消費を抑制することを課題とする。【解決手段】フロントガラス１０５の雨滴観測部分を照明する光を照射する光照射部２０２と、光照射部から照射される光で照明された雨滴観測部分を、設定された露光時間で撮像する撮像部２０１と、撮像部の露光時間を設定する露光制御部２０１ａと、撮像部が撮像した撮像画像に基づいて雨滴観測部分に付着している雨滴Ｒｄを検出する雨滴量情報算出部２０３と、露光制御部が設定する露光時間を取得し、取得した露光時間に同期させて光照射部の光照射期間を制御する光源制御部２０５とを有する。【選択図】図２
2014235079.tif 000002
【特許請求の範囲】
【請求項１】
光透過部材の付着物観測部分を照明する光を照射する光照射部と、
前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光期間で撮像する撮像手段と、
前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光期間設定手段と、
前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、
前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする付着物検出装置。
【請求項２】
請求項１の付着物検出装置において、
前記光照射期間制御手段は、前記露光期間設定手段が設定する露光時間を取得し、取得した露光期間と前記光照射部の光照射期間とが同期するように制御することを特徴とする付着物検出装置。
【請求項３】
光透過部材の付着物観測部分を照明する光を照射する光照射部と、
前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、
前記撮像手段が撮像した撮像画像に基づいて前記光照射部から前記付着物観測部分を経由して前記撮像手段に受光される光源光の受光量が規定条件を満たす光照射期間を決定し、決定した光照射期間に従って以降の撮像時における前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする付着物検出装置。
【請求項４】
請求項３の付着物検出装置において、
前記光照射部は、予め決められた光照射時間だけ光を照射するものであり、
前記光照射期間制御手段は、前記撮像手段が撮像した撮像画像に基づいて前記光源光の受光量が規定条件を満たす光照射開始タイミング又は光照射終了タイミングを決定し、決定したタイミングに従って以降の撮像時における前記光照射部の光照射開始タイミング又は光照射終了タイミングを制御することを特徴とする付着物検出装置。
【請求項５】
請求項４の付着物検出装置において、
前記光照射期間制御手段は、光照射開始タイミング又は光照射終了タイミングが互いに異なる複数の撮像画像の中から、前記光源光の受光量が最大である撮像画像を選択し、選択した撮像画像についての光照射開始タイミング又は光照射終了タイミングを決定することを特徴とする付着物検出装置。
【請求項６】
移動体における光透過部材の付着物観測部分に付着する付着物を検出する付着物検出手段と、
前記付着物検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
前記付着物検出手段として、請求項１乃至５のいずれか１項に記載の付着物検出装置を用いたことを特徴とする移動体機器制御システム。
【請求項７】
所定の機器を搭載して移動する移動体において、
前記所定の機器を制御する手段として、請求項６の移動体機器制御システムを用いたことを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源からの光が照射されるガラス等の光透過部材を撮像手段で撮像して得られる撮像画像に基づいて当該光透過部材に付着している付着物を検出する付着物検出装置、移動体機器制御システム及び移動体に関するものである。
【背景技術】
【０００２】
この種の付着物検出装置としては、例えば、特許文献１や特許文献２に記載された装置が知られている。これらの装置は、車両等のガラス（光透過部材）に光照射部から光を照射し、そのガラスからの反射光を用いて、設定された露光期間で撮像手段により撮像することで、その露光期間中の受光量に応じた撮像画像を作成し、その撮像画像に基づいてガラスに付着した雨滴等の付着物を検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の付着物検出装置に用いられる撮像手段の多くは、その撮像目的に適した撮像画像が得られるように、撮像状況等に応じて露光期間を調整して撮像動作を行うが、光照射部の光照射期間（光照射部が光を照射している期間）は一定に設定されている。そのため、光照射部から照射された光は、撮像手段の露光期間（撮像画像に反映させる光を撮像手段が受光している期間）から外れる時期にも、撮像手段に入射する場合がある。このような時期に撮像手段へ入射する光は、撮像画像に反映されない無駄な光であるため、光照射部において無駄に電力を消費するという問題が生じる。
【０００４】
本発明は、前記問題に鑑みなされたものであり、その目的とするところは、光照射部における無駄な電力消費を抑制できる付着物検出装置、移動体機器制御システム及び付着物検出用プログラムを提供することである。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、本発明は、光透過部材の付着物観測部分を照明する光を照射する光照射部と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光期間で撮像する撮像手段と、前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光期間設定手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、露光期間設定手段が設定した撮像手段の露光期間に応じた時期に光照射部が光を照射するように制御することができるので、撮像手段の撮像時間等の露光期間が設定変更されても、撮像手段の露光期間から外れる時期に光照射部が照射する光量を抑制でき、光照射部における無駄な電力消費を抑制できるという優れた効果が得られる。
【図面の簡単な説明】
【０００７】
【図１】実施形態１における車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムにおける雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成の一例を示す模式図である。
【図３】同車載機器制御システムにおける雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成の他の例を示す模式図である。
【図４】１つの光源で雨滴検出用画像領域を照明したときの画像を模式的に示した一例を示す説明図である。
【図５】８つの光源で雨滴検出用画像領域を照明したときの画像を模式的に示した一例を示す説明図である。
【図６】雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図７】雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図８】撮像部に設けられる光学フィルタの正面図である。
【図９】同撮像部の撮像画像データの画像例を示す説明図である。
【図１０】実施形態１における雨滴量算出処理の流れを示すフローチャートである。
【図１１】実施形態２における車載機器制御システムの雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。
【図１２】実施形態２における雨滴量算出処理を開始する前に行われる光照射期間決定処理の流れを示すフローチャートである。
【図１３】同光照射期間決定処理で用いられる５つの疑似露光同期信号（ｔ＝１〜５）と撮像部の露光期間との対応関係の一例を示すタイミングチャートである。
【図１４】図１３に示した例において、同光照射期間決定処理によって得られる５つの輝度総和値を示すグラフである。
【図１５】変形例における雨滴量算出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
〔実施形態１〕
以下、本発明に係る付着物検出装置を移動体機器制御システムである車載機器制御システムに用いた一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本発明に係る付着物検出装置は、車載機器制御システムに限らず、他のシステムにも適用できる。
【０００９】
図１は、本実施形態１における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像部で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ワイパーの駆動制御、ヘッドランプの配光制御、その他の車載機器の制御を行うものである。
【００１０】
本実施形態１の車載機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものである。撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、光透過部材であるフロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
【００１１】
画像解析ユニット１０２の算出結果は、ランプ制御手段としてのヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１２】
画像解析ユニット１０２の算出結果は、ワイパー制御手段としてのワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７の図示しないワイパー駆動部に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７が稼動する。
【００１３】
また、画像解析ユニット１０２の算出結果は、車両走行制御手段としての車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１４】
図２は、付着物検出装置としての雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成の一例を示す模式図である。
この雨滴検出装置２００は、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とから構成されている。本実施形態１において、光照射部２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴Ｒｄである場合を例に挙げて説明する。）を検出するためのものである。
【００１５】
図２に示す雨滴検出装置２００では、光照射部２０２から照射した光がフロントガラス１０５の内壁面から内部へ入射するように、光照射部２０２が配置されている。光照射部２０２からフロントガラス１０５の内部へ入射した光は、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着していない非付着領域では、その多くがフロントガラス外壁面を透過し、撮像部２０１に受光されない。一方、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着している付着領域では、その多くがフロントガラス外壁面で反射し、その正反射光が撮像部２０１に受光される。したがって、撮像部２０１での受光量は、非付着領域からの受光量が少なく、付着領域からの受光量が多い。よって、撮像画像上においては、非付着領域を映し出す非付着物画像領域である非雨滴画像領域の画素値（輝度）よりも付着領域を映し出す付着物画像領域である雨滴画像領域の画素値（輝度）の方が高いものとなる。
【００１６】
図３は、雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成の他の例を示す模式図である。
この雨滴検出装置２００は、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２、導光部２０４及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とから構成されている。図３に示す雨滴検出装置２００では、光照射部２０２から照射した光がプリズム等で構成される導光部２０４の内部へ入射する。導光部２０４は、フロントガラス１０５の内壁面に密着する密着面を有し、光照射部２０２から導光部２０４の内部へ入射した光は、導光部２０４の密着面とフロントガラス内壁面との境界面を透過してフロントガラス１０５の内部へ入射する。フロントガラス１０５の内部に入射した光は、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着していない非付着領域では、その多くがフロントガラス外壁面で反射し、その正反射光が撮像部２０１に受光される。一方、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着している付着領域では、その多くがフロントガラス外壁面を透過して、撮像部２０１には受光されない。したがって、撮像部２０１での受光量は、非付着領域からの受光量が多く、付着領域からの受光量が少ない。よって、撮像画像上においては、非付着領域を映し出す非雨滴画像領域の画素値（輝度）よりも付着領域を映し出す雨滴画像領域の画素値（輝度）の方が低いものとなる。
【００１７】
本実施形態１では、図２に示す雨滴検出装置２００でも、図３に示す雨滴検出装置２００でも、同様に採用することができるが、以下の説明では、図３に示す雨滴検出装置２００を例に挙げて説明する。
【００１８】
本実施形態１では、撮像部２０１に設けられる撮像レンズの焦点は、無限遠又は無限遠とフロントガラス１０５の外壁面との間に設定している。これにより、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２０１の撮像画像データから適切な情報を取得することができる。
【００１９】
光照射部２０２は、光源を１又は２以上搭載する。１つの光源だけでフロントガラス１０５を照明する場合、その雨滴検出用画像領域２１４には、図４に示すような画像が表示される。この画像は、外乱光も付着物も存在しない状況において１つの光源でフロントガラス１０５を照明したときの光源画像を示している。図４に示すように、１つの光源から照射される光によるフロントガラス１０５上の照明範囲内には照度ムラが存在する。また、２以上の光源でフロントガラス１０５を照明する場合、その雨滴検出用画像領域２１４には、図５に示すような画像が表示される。この画像は、外乱光も付着物も存在しない状況において８つの光源でフロントガラス１０５を照明した光源画像を示している。図５に示すように、８つの光源から照射される光によるフロントガラス１０５上の照明範囲内にも照度ムラが存在する。
【００２０】
光照射部２０２に設けられる光源としては、ＬＥＤ（発光ダイオード）やＬＤ（レーザーダイオード）を好適に用いることができる。本実施形態１では、コスト、消費電力、省スペースの関係で、小型のＬＥＤを光源として用いているため、複数のＬＥＤを用いた光照射部２０２を採用してフロントガラス照明範囲を確保している。したがって、本実施形態１において、雨滴検出用画像領域２１４上に現れる光源画像は図５に示すようなものとなる。なお、光照射部２０２には、光の発散を低減して照明範囲内での光効率を上げるため、光線を平行にするコリメートレンズ等を設けてもよい。
【００２１】
光照射部２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光照射部２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサの受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域が好ましい。本実施形態１の光照射部２０２は、赤外光領域の波長を有する光を照射するものである。
【００２２】
特に、直射日光などの外界からの外乱光の影響を低減するためには、９５０ｎｍを中心とした波長を選択することが有効である。ここで、フロントガラス１０５の外壁面で反射した光照射部２０２からの赤外波長光を撮像部２０１で撮像する際、撮像部２０１の画像センサでは、光照射部２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光照射部２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光照射部２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光照射部２０２を用いることは困難である場合が多い。
【００２３】
そこで、本実施形態１においては、例えば、図６に示すように光照射部２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光照射部２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光照射部２０２からの光を画像センサで受光するように構成する。これにより、光照射部２０２の発光波長以外の光を除去して受光できるので、画像センサで受光される光照射部２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光照射部２０２でなくても、光照射部２０２からの光を外乱交と区別することが可能となる。
【００２４】
ただし、本実施形態１においては、撮像画像データから、フロントガラス１０５上の雨滴Ｒｄを検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光照射部２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサで受光できず、これらの検出に支障をきたす。そこで、本実施形態１では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴Ｒｄを検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光照射部２０２が照射する赤外波長光以外の波長帯を除去する光学フィルタを用いている。
【００２５】
図８は、光学フィルタの一例を示す正面図である。
図９は、撮像画像データの画像例を示す説明図である。
本実施形態１の光学フィルタ２１０は、図９に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。
【００２６】
対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、撮像画像中央部を含む残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して光学フィルタ２１０を領域分割するのが好適である。
【００２７】
なお、撮像画像上部の情報は、自車両前方の上空の画像が存在するのが通常であり、撮像画像下部の情報と同様、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別にはあまり重要でない。よって、雨滴検出用画像領域２１４を撮像画像上部に設けるようにしてもよいし、撮像画像上部と下部の両方に設けるようにしてもよい。
【００２８】
また、本実施形態１においては、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで雨滴検出精度を悪化させる原因となる。このような場合でも、本実施形態１では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が雨滴検出用画像領域２１４に含まれずに除去され、雨滴検出精度の悪化を抑制している。
【００２９】
また、本実施形態１の光学フィルタ２１０における車両検出用画像領域２１３に対応する箇所には、赤外光カットフィルタ領域２１１が配置される。この箇所のフィルタ領域は、可視光を透過できればよいので、全波長帯を透過する非フィルタ領域でもよいが、光照射部２０２からの赤外波長光が入射してもこれによるノイズが軽減されるように、赤外波長をカットできるのが望ましい。
【００３０】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別するようにしてもよい。
【００３１】
撮像領域からの光は、撮像部２０１の撮像レンズを通り、光学フィルタ２１０を透過して、画像センサでその光強度に応じた電気信号に変換される。画像センサから出力される電気信号（アナログ信号）は、画像センサ上における各画素の明るさ（輝度）を示すデジタル信号に変換され、画像の水平・垂直同期信号とともに撮像画像データとして画像解析ユニット１０２へ出力される。
【００３２】
画像センサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子（受光部）にはフォトダイオードを用いている。フォトダイオードは、画素ごとに二次元方向に配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板が形成されている。
【００３３】
ここで、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて受光量が大きく変化する。よって、撮像シーンに応じて露光時間を適宜調整することが好ましい。本実施形態１においては、撮像状況等に応じて撮像部２０１の露光時間を調整しながら撮像動作を行う。露光時間の調整は、例えば、画像センサの出力に基づいて自動露光調整を行う。露光時間の変更は、例えば、画像センサが受光量を電気信号に変換する時間を撮像部２０１内に設けられた露光期間設定手段としての露光制御部２０１ａで制御することにより行うことができる。
【００３４】
次に、本実施形態１における付着物検出処理である雨滴量算出処理について説明する。
図１０は、本実施形態１における雨滴量算出処理の流れを示すフローチャートである。
所定の雨滴量検出タイミングが到来したら、まず、露光制御部２０１ａにより設定されている撮像部２０１の設定露光時間の情報を取得し、取得した露光時間に応じて光照射部２０２の光照射期間を制御する。具体的に説明すると、本実施形態１における撮像部２０１からは露光同期信号が出力され、この露光同期信号が光照射期間制御手段としての光源制御部２０５に入力される。この露光同期信号は、撮像部２０１の露光期間（撮像画像に反映させる光を撮像手段が受光している時期。言い換えると、画像センサが光情報を蓄積する時期）にＯＮとなり、非露光期間にはＯＦＦとなる信号である。
【００３５】
本実施形態１では、光源制御部２０５は、撮像部２０１からの露光同期信号に同期して、露光同期信号がＯＮになるタイミングで（Ｓ１）、光照射部２０２を点灯させる（Ｓ２）。これにより、光照射部２０２からの光が照射されたフロントガラス１０５の付着物観測部分（雨滴観測部分）が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（点灯時画像）が撮像部２０１により撮像される（Ｓ３）。この点灯時画像のデータは、所定のメモリに格納される。
【００３６】
そして、光源制御部２０５は、撮像部２０１からの露光同期信号に同期して、露光同期信号がＯＦＦになるタイミングで（Ｓ４）、光照射部２０２を消灯させる（Ｓ５）。これにより、光照射部２０２から光が照射されていない状態のフロントガラス１０５の雨滴観測部分が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（消灯時画像）が撮像部２０１により撮像される（Ｓ６）。この点灯時画像のデータは、雨滴量情報算出部２０３に送られる。
【００３７】
点灯時画像の撮像時点と消灯時画像の撮像時点とはより近い時点であるのが好ましい。したがって、本実施形態１では、点灯時画像及び消灯時画像として、連続する２フレームで撮像したものを使用する。なお、点灯時画像や消灯時画像をそのまま用いると、後述する雨滴量情報算出部２０３における処理対象数は、点灯時画像や消灯時画像の画素数となり、処理負荷が大きくなってしまう場合がある。このような場合には、例えば、点灯時画像及び消灯時画像の画素を適宜間引きして処理対象数を減らしたり、複数の画素を１つの処理ブロックとし、その処理ブロック単位で処理するようにして処理対象数を減らしたりしてもよい。なお、以下の説明では、説明を簡略化するために、このような処理対象数の削減は行わない例について説明する。
【００３８】
雨滴量情報算出部２０３は、消灯時画像のデータ入力があると、メモリに格納されている点灯時画像を読み出し、点灯時画像と消灯時画像の差分画像（差分情報）を作成する（Ｓ７）。この差分画像は、点灯時画像の画素値と消灯時画像の画素値との差分値を画素値とした画像である。本実施形態１における点灯時画像及び消灯時画像が特定波長帯（光照射部２０２の発光波長を含む波長帯）についての輝度画像であり、その差分画像は輝度の差分をとった輝度差分画像となる。なお、点灯時画像及び消灯時画像は、例えば特定の偏光成分のみを撮像した偏光画像などの特殊な画像であってもよい。
【００３９】
このようにして作成された輝度差分画像のデータは、所定のメモリに保存される（Ｓ８）。そして、雨滴量情報算出部２０３は、メモリに保存されている前回の輝度差分画像のデータを読み出し、前回の輝度差分画像と今回の輝度差分画像との差分をとった時差分画像を作成する（Ｓ９）。この時差分画像は、前回の輝度差分画像の画素値と今回の輝度差分画像の画素値との差分値を画素値とした画像である。
【００４０】
本実施形態１において、この時差分画像において規定値以上の画素値をもつ画像領域は、当該２つの輝度差分画像間における前回の輝度差分画像の作成時と今回の輝度差分画像の作成時との間の時期に雨滴が付着した箇所である。よって、このような時差分画像の画素値から雨滴を検出することができる。特に、このような時差分画像の画素値から雨滴を検出する方法によれば、光源による照明範囲内に照度ムラが存在していても、両画像間における同一箇所については光源による照度は同一なので、雨滴の検出精度に対する照度ムラの影響が少ない。よって、高い検出精度で雨滴を検出することが可能である。
【００４１】
本実施形態１においては、上述したように、光照射部２０２からの光のうち、雨滴Ｒｄが付着しているフロントガラス１０５上の付着領域に入射する光は撮像部２０１に入射せず、雨滴Ｒｄが付着していない非付着領域に入射した光は撮像部２０１に入射する。したがって、雨滴Ｒｄを映し出す雨滴画像は、雨滴検出用画像領域２１４上において低輝度な画像として映し出される。したがって、雨滴Ｒｄを映し出す雨滴画像領域は、時差分画像において大きな画素値をもつことになる。
【００４２】
そこで、本実施形態１では、雨滴量情報算出部２０３において、時差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴Ｒｄが映し出された雨滴画像領域の候補領域として特定する。具体的には、雨滴量情報算出部２０３は、まず、時差分画像の画素値を所定の規定値と比較することにより２値化処理を行う。この２値化処理では、例えば、所定の規定値以上の画素値をもつ画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する。これによって、時差分画像の画素値が大きい近接した複数の画素の集合が、１つの画像領域として抽出される。
【００４３】
次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨滴量として算出する（Ｓ１０）。
【００４４】
ワイパー制御ユニット１０６は、例えば、この雨滴量の算出結果が所定の条件（例えば、連続して作成された２０個の時差分画像について、いずれも雨滴量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。
【００４５】
本実施形態１によれば、撮像部２０１から露光同期信号と光照射部２０２の点灯期間（光照射期間）とを同期させることができるので、撮像部２０１の露光期間から外れた時期に光照射部２０２が点灯するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部２０２から照射される事態を抑制でき、光照射部２０２における無駄な電力消費を抑制することができる。
【００４６】
〔実施形態２〕
次に、本発明に係る付着物検出装置を、前記実施形態１と同様に、車載機器制御システムに用いた他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
本実施形態２においては、撮像部２０１が露光同期信号を出力しない構成のものであり、そのため、撮像部２０１の露光同期信号に応じて光照射部２０２の光照射期間を制御することができない。そこで、本実施形態２では、撮像部２０１が撮像した撮像画像に基づいて光照射部２０２からフロントガラス１０５の雨滴観測部分を経由して撮像部２０１に受光される光源光の受光量が規定範囲内となるような光照射期間を決定し、以降の撮像時における光照射部２０２の光照射期間が、決定された光照射期間となるように制御する。
なお、本実施形態２に係る車載機器制御システムの基本的な構成及び動作は、前記実施形態１のものと同様であるため、以下、前記実施形態１とは異なる点を中心に説明する。
【００４７】
図１１は、本実施形態２における車載機器制御システムの雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
この雨滴検出装置２００は、図３に示した雨滴検出装置２００と同様、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２、導光部２０４及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とを備えているが、本実施形態２では、更に、光量算出部２０６及び光照射期間決定部２０７を撮像ユニット１０１に備えている。本実施形態２において、光照射期間制御手段は、光量算出部２０６、光照射期間決定部２０７及び光源制御部２０５によって構成される。
【００４８】
光量算出部２０６は、撮像部２０１が撮像した撮像画像データを取得し、雨滴検出用画像領域２１４における画素値の総和（輝度総和値）を算出する処理を行う。
光照射期間決定部２０７は、光量算出部２０６が算出した輝度総和値に基づき、疑似露光同期信号を生成して出力する処理を行う。
光源制御部２０５は、光照射期間決定部２０７から出力される疑似露光同期信号に同期するように、光照射部２０２の点灯、消灯を制御する。なお、光源制御部２０５の動作は、前記実施形態１の場合と同様である。
【００４９】
図１２は、雨滴量算出処理を開始する前に行われる光照射期間決定処理の流れを示すフローチャートである。
雨滴量算出処理を開始する前における所定の処理実行タイミングが到来したら、光照射期間決定処理を開始し、まず、順序パラメータｔと、輝度総和値Ｓを初期値（ｔ＝１，Ｓ＝０）にリセットする（Ｓ１１）。そして、フレーム同期信号がＯＮになったら（Ｓ１２）、予め決められた待ち時間ＴにＴ１（ここではＴ１＝０）を足した時間が経過するのを待ってから（Ｓ１３）、光照射部２０２を点灯させる（Ｓ１４）。具体的には、フレーム同期信号がＯＮになってから待ち時間Ｔ＋Ｔ１が経過したときに、光源制御部２０５から光照射部２０２へ出力される疑似露光同期信号をＯＮにすることで、光照射部２０２を点灯させる。
【００５０】
このとき、フレーム同期信号に合わせて撮像部２０１は撮像動作を行い、点灯時画像が撮像される（Ｓ１５）。光照射部２０２は、点灯を開始してから予め決められた規定発光時間が経過したときに（Ｓ１６）、消灯する（Ｓ１７）。具体的には、疑似露光同期信号をＯＮにしてから規定発光時間が経過するタイミングで疑似露光同期信号をＯＦＦにし、光照射部２０２を消灯させる。
【００５１】
光量算出部２０６は、このようにして撮像された撮像画像の雨滴検出用画像領域２１４における画素値の総和（輝度総和値Ｓ１）を算出する（Ｓ１８）。そして、この輝度総和値Ｓ１が現在設定されている輝度総和値Ｓ（ここではＳ＝０）よりも大きいか否かを判断する（Ｓ１９）。今回は初回であるため、この判断では大きいと判断される結果、輝度総和値Ｓに今回算出した輝度総和値Ｓ１がセットされ、かつ、決定パラメータＡ＝１がセットされる（Ｓ２０）。その後、ｔ＝ｔ＋１をセットしたら（Ｓ２１）、ｔが５よりも大きいか否かを判断する（Ｓ２２）。今回はｔ＝１であるため、この判断では大きいと判断されず、前記処理ステップＳ１２へ戻る。
【００５２】
以上の処理ステップＳ１２〜Ｓ２２は、あと４回繰り返し行われることになる。このような処理により、図１３に示すように、フレーム同期信号に応じた撮像部２０１の撮像動作（同じ露光期間）に対し、互いに異なる５つの疑似露光同期信号（ｔ＝１〜５）を用いて光照射部２０２を点灯制御したときの５つの点灯時画像が得られる。そして、本実施形態２においては、このようにして撮像される５つの点灯時画像のうち、雨滴検出用画像領域２１４における輝度総和値Ｓｔが最大となるという規定条件を満たすｔが決定パラメータＡにセットされ、この決定パラメータＡに対応する疑似露光同期信号を、以降の点灯時画像の撮像動作時における光照射部２０２の点灯制御に用いる疑似露光同期信号として決定する（Ｓ２３）。
【００５３】
図１４は、本実施形態２における光照射期間決定処理によって得られる５つの輝度総和値Ｓｔの一例を示すグラフである。この例では、ｔ＝３の疑似露光同期信号を用いたときに最も輝度総和値Ｓｔが大きい。この場合、Ａ＝３がセットされる結果、ｔ＝３の疑似露光同期信号が、以降の点灯時画像の撮像動作時における光照射部２０２の点灯制御に用いる疑似露光同期信号として決定される。そして、本実施形態２においては、雨滴量算出処理を実行する際、前記実施形態１における撮像部からの露光同期信号に代えて、このような光照射期間決定処理により決定された疑似露光同期信号が、光照射期間決定部２０７から光源制御部２０５に入力される。これにより、光源制御部２０５は、この疑似露光同期信号に同期し、疑似露光同期信号がＯＮになるタイミングで光照射部２０２を点灯させ、疑似露光同期信号がＯＦＦになるタイミングで光照射部２０２を消灯させる。
【００５４】
本実施形態２によれば、撮像部２０１から露光同期信号が出力されないなど撮像部２０１の露光期間を把握できない状況であっても、撮像部２０１の露光期間に合わせた点灯制御が可能となり、光照射部２０２における無駄な電力消費を抑制することができる。
【００５５】
〔変形例〕
次に、雨滴量算出処理の一変形例について説明する。なお、本変形例においては、前記実施形態１の変形例として説明するが、前記実施形態２の変形例としても同様である。
雨滴量算出処理では、雨滴の量を算出できればよく、雨滴の付着箇所の情報を用いることはない。本変形例は、輝度差分画像のデータに代えて、点灯時画像の画素値（輝度値）の総和から消灯時画像の画素値（輝度値）の総和を差し引いた輝度総和差分値（差分情報）を用いる簡易な雨滴量算出処理である。
【００５６】
図１５は、本変形例における雨滴量算出処理の流れを示すフローチャートである。
所定の雨滴量検出タイミングが到来したら、まず、光照射部２０２を消灯させて（Ｓ３１）、撮像部２０１により消灯時画像を撮像する（Ｓ３２）。そして、消灯時画像における雨滴検出用画像領域２１４の最初の画素座標（ｘ，ｙ）についての輝度値Ｐ（ｘ，ｙ）を、撮像した消灯時画像のデータから取得し（Ｓ３３）、輝度総和差分値となるＳｕｍデータから減算する処理を行う（Ｓ３４）。輝度値Ｐ（ｘ，ｙ）を取得してからＳｕｍデータの減算処理を行うまでの処理（Ｓ３３，Ｓ３４）は、消灯時画像における雨滴検出用画像領域２１４内の各画素について、最初の画素座標から所定の順番で順次行われる。
【００５７】
消灯時画像について雨滴検出用画像領域２１４内の最終画素座標（ｗ，ｈ）まで処理を終えたら（Ｓ３５のＹｅｓ）、次に、露光同期信号がＯＮになるタイミングで（Ｓ３６）、光照射部２０２を点灯させて（Ｓ３７）、撮像部２０１により点灯時画像を撮像する（Ｓ３８）。また、露光同期信号がＯＦＦになるタイミングで（Ｓ３９）、光照射部２０２は消灯させる（Ｓ４０）。その後、点灯時画像における雨滴検出用画像領域２１４内の最初の画素座標（ｘ，ｙ）についての輝度値Ｐ（ｘ，ｙ）を、撮像した点灯時画像のデータから取得して（Ｓ４１）、Ｓｕｍデータに加算する処理を行う（Ｓ４２）。輝度値Ｐ（ｘ，ｙ）を取得してからＳｕｍデータの減算処理を行うまでの処理（Ｓ４１，Ｓ４２）は、点灯時画像における雨滴検出用画像領域２１４内の各画素について、最初の画素座標から所定の順番で順次行われる。この結果、得られるＳｕｍデータは、点灯時画像の雨滴検出用画像領域２１４における全画素値の総和から、消灯時画像の雨滴検出用画像領域２１４における全画素値の総和を差し引いた輝度総和差分値を示すものとなる。
【００５８】
このようにして算出されたＳｕｍデータすなわち輝度総和差分値Ｓｕｍはメモリに保存しておく（Ｓ４４）。そして、今回の輝度総和差分値Ｓｕｍと前回の輝度総和差分値Ｓｕｍとの差分をとった時差分値を算出する（Ｓ４５）。この時差分値は、前回と今回との間の時期に付着した雨滴の画像面積と高い相関関係を示すものであり、この時差分値から雨滴量が算出される（Ｓ４６）。
【００５９】
本変形例によれば、メモリに保存するデータが輝度総和差分値Ｓｕｍという数値データであるため、メモリに輝度差分画像データを保存する前記実施形態１の場合よりもメモリ容量を大幅に削減できる。
【００６０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
フロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を照明する光を照射する光照射部２０２と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光時間で撮像する撮像部２０１等の撮像手段と、前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光制御部２０１ａ等の露光期間設定手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している雨滴Ｒｄ等の付着物を検出する付着物検出処理を実行する雨滴量情報算出部２０３等の検出処理手段を備えた付着物検出装置において、前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光源制御部２０５等の光照射期間制御手段を有することを特徴とする。
これによれば、前記実施形態１で説明したように、撮像手段の露光期間に合わせて光照射部の光照射期間を制御することができるので、撮像手段の露光量調整等によって露光期間が変わっても、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部から照射される事態を抑制でき、光照射部における無駄な電力消費を抑制することができる。
【００６１】
（態様Ｂ）
前記態様Ａにおいて、前記光照射期間制御手段は、前記露光期間設定手段が設定する露光時間を取得し、取得した露光期間と前記光照射部の光照射期間とが同期するように制御することを特徴とする。
これによれば、前記実施形態１で説明したように、撮像手段の露光期間と光照射部の光照射期間とを同期させることができるので、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を簡易かつ効果的に抑制でき、光照射部における無駄な電力消費を抑制することができる。
【００６２】
（態様Ｃ）
フロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を照明する光を照射する光照射部２０２と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を撮像する撮像部２０１等の撮像手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している雨滴Ｒｄ等の付着物を検出する付着物検出処理を実行する雨滴量情報算出部２０３等の検出処理手段を備えた付着物検出装置において、前記撮像手段が撮像した撮像画像に基づいて前記光照射部から前記付着物観測部分を経由して前記撮像手段に受光される光源光の受光量が規定条件を満たす光照射期間を決定し、決定した光照射期間に従って以降の撮像時における前記光照射部の光照射期間を制御する光量算出部２０６、光照射期間決定部２０７及び光源制御部２０５等の光照射期間制御手段を有することを特徴とする。
これによれば、前記実施形態２で説明したように、撮像部２０１の露光期間を把握できない状況であっても、撮像部２０１の露光期間に合わせた光照射部の光照射時期の制御が可能となり、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部から照射される事態を抑制でき、光照射部における無駄な電力消費を抑制することができる。
【００６３】
（態様Ｄ）
前記態様Ｃにおいて、前記光照射部は、予め決められた規定発光時間等の光照射時間だけ光を照射するものであり、前記光照射期間制御手段は、前記撮像手段が撮像した撮像画像に基づいて前記光源光の受光量が規定条件を満たす光照射開始タイミング又は光照射終了タイミングを決定し、決定したタイミングに従って以降の撮像時における前記光照射部の光照射開始タイミング又は光照射終了タイミングを制御することを特徴とする。
これによれば、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を簡易に抑制でき、光照射部における無駄な電力消費を抑制することができる。
【００６４】
（態様Ｅ）
前記態様Ｄにおいて、前記光照射期間制御手段は、光照射開始タイミング又は光照射終了タイミングが互いに異なる複数の撮像画像（互いに異なる疑似露光同期信号を用いて撮像した５つの点灯時画像）の中から、前記光源光の受光量が最大である撮像画像を選択し、選択した撮像画像についての光照射開始タイミング又は光照射終了タイミングを決定することを特徴とする。
これによれば、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる簡易な処理を実現できる。
【００６５】
（態様Ｆ）
自車両１００等の移動体におけるフロントガラス１０５等の光透過部材の付着物観測部分に付着する雨滴Ｒｄ等の付着物を検出する付着物検出手段と、前記付着物検出手段の検出結果に基づいて、前記移動体に搭載されたワイパー１０７等の所定の機器を制御するワイパー制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記付着物検出手段として、前記態様Ａ〜Ｅのいずれかの態様に係る付着物検出装置を用いたことを特徴とする。
これによれば、光照射部における無駄な電力消費を抑制することができるので、移動体に搭載された所定の機器を低消費電力で制御することができる。
【００６６】
（態様Ｇ）
ワイパー１０７等の所定の機器を搭載して移動する自車両１００等の移動体において、前記所定の機器を制御する手段として、前記態様Ｆに係る移動体機器制御システムを用いたことを特徴とする。
これによれば、光照射部における無駄な電力消費を抑制することができるので、所定の機器を低消費電力で制御できる移動体を提供することができる。
【符号の説明】
【００６７】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０５  フロントガラス
１０６  ワイパー制御ユニット
１０７  ワイパー
２００  雨滴検出装置
２０１  撮像部
２０１ａ  露光制御部
２０２  光照射部
２０３  雨滴量情報算出部
２０４  導光部
２０５  光源制御部
２０６  光量算出部
２０７  光照射期間決定部
２１３  車両検出用画像領域
２１４  雨滴検出用画像領域
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２０１０−１９０６７０号公報
【特許文献２】特許第４３２６９９９号公報
【図１】
2014235079.tif 000003
【図２】
2014235079.tif 000004
【図３】
2014235079.tif 000005
【図６】
2014235079.tif 000006
【図７】
2014235079.tif 000007
【図８】
2014235079.tif 000008
【図９】
2014235079.tif 000009
【図１０】
2014235079.tif 000010
【図１１】
2014235079.tif 000011
【図１２】
2014235079.tif 000012
【図１３】
2014235079.tif 000013
【図１４】
2014235079.tif 000014
【図１５】
2014235079.tif 000015
【図４】
2014235079.tif 000016
【図５】
2014235079.tif 000017