(57)【要約】【課題】撮像部で撮像した画像に付着物の付着が確認できる場合でも、他の処理装置を有効に利用できるようにすることができる付着物検出装置を提供する。【解決手段】付着物検出装置は、例えば、車両に搭載された撮像部から出力される撮像画像データを取得する取得部と、撮像画像データに基づき、撮像部の撮像面を複数の領域に分割した場合の各領域の付着物の有無を検出する検出部と、付着物を検出した領域に基づき、撮像画像データを利用して所定の演算処理を実行する処理装置における、演算処理の信頼性が所定値以上維持できる信頼領域と信頼性が所定値未満の非信頼領域とを判別する判定部と、を備える。【選択図】図３
2020050119.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部から出力される撮像画像データを取得する取得部と、
前記撮像画像データに基づき、前記撮像部の撮像面を複数の領域に分割した場合の各領域の付着物の有無を検出する検出部と、
前記付着物を検出した領域に基づき、前記撮像画像データを利用して所定の演算処理を実行する処理装置における、前記演算処理の信頼性が所定値以上維持できる信頼領域と前記信頼性が所定値未満の非信頼領域とを判別する判定部と、
を備える付着物検出装置。
【請求項２】
前記判定部の判定結果に基づき、前記信頼領域と前記非信頼領域とを識別可能な態様で表示装置に表示させる表示処理部を、さらに備える、請求項１に記載の付着物検出装置。
【請求項３】
前記検出部は、前記付着物を検出した場合、当該付着物の種別を推定する、請求項２に記載の付着物検出装置。
【請求項４】
前記表示処理部は、前記非信頼領域における前記付着物の表示態様を決定する、請求項２または請求項３に記載の付着物検出装置。
【請求項５】
前記表示処理は、前記非信頼領域に対応する報知メッセージを表示する、請求項２から請求項４のいずれか１項に記載の付着物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、付着物検出装置に関する。
【背景技術】
【０００２】
従来、車両に設置された撮像部（カメラ）により撮像された撮像画像データに基づく画像を表示装置に表示させて車両の周辺の状況を運転者等に認識させたり、その画像に基づいて障害物の有無検出や接近検出等を実行したりするシステムがある。このようなシステムにおいて、撮像部の撮像面（例えばレンズ）に汚れ等の付着物が付着している場合、適切な画像表示ができなかったり、その画像を用いた適切な画像処理や検出処理ができなかったりする場合がある。そのため、付着物の付着状況の変化を管理したり、報知したり、また外部の端末等に付着状況を通知する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−２６６７１号公報
【特許文献２】特許第５５２１９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のシステムの場合、付着物が検出された場合、撮像部が撮像した画像を用いている他の処理装置、例えば、駐車支援処理や障害物検出処理、接近物認識処理等は、その処理が禁止されるように構成されている。つまり、付着物を検出する装置側では、他の処理装置の処理に制限を与えるような処理が行われることになる。しかしながら、付着物が撮像面の全体を覆っていない場合もある。このような場合、正常に機能している他の処理装置（障害物の検出等）を少しでも利用できれば、利便性の向上に寄与できる。したがって、撮像部で撮像した画像に付着物の付着が確認できる場合でも、他の処理装置を有効に利用できるようにすることができる付着物検出装置が提供できれば、運転者等に利用価値のある情報が継続的に提供可能となり、有意義である。
【課題を解決するための手段】
【０００５】
本発明の実施形態にかかる付着物検出装置は、例えば、車両に搭載された撮像部から出力される撮像画像データを取得する取得部と、上記撮像画像データに基づき、上記撮像部の撮像面を複数の領域に分割した場合の各領域の付着物の有無を検出する検出部と、上記付着物を検出した領域に基づき、上記撮像画像データを利用して所定の演算処理を実行する処理装置における、上記演算処理の信頼性が所定値以上維持できる信頼領域と上記信頼性が所定値未満の非信頼領域とを判別する判定部と、を備える。この構成によれば、例えば、信頼領域と非信頼領域との存在を利用者に認識させやすくするとともに、付着物が付着した領域以外の信頼領域で処理装置の演算処理が維持されて、信頼領域において処理装置を有効に利用できることを利用者に認識させやすくすることができる。
【０００６】
本発明の実施形態にかかる付着物検出装置は、例えば、上記判定部の判定結果に基づき、上記信頼領域と上記非信頼領域とを識別可能な態様で表示装置に表示させる表示処理部を、さらに備えてもよい。この構成によれば、例えば、付着物の付着により演算処理の信頼性が低下している領域と、付着物が付着しておらず信頼性が確保されて正常な演算処理ができる領域とを、利用者に認識させやすくすることができる。
【０００７】
本発明の実施形態にかかる付着物検出装置の上記検出部は、例えば、上記付着物を検出した場合、当該付着物の種別を推定してもよい。この構成によれば、例えば、どの様な付着物が付着しているか利用者に認識させやすくなる。
【０００８】
本発明の実施形態にかかる付着物検出装置の上記表示処理部は、例えば、上記非信頼領域における上記付着物の表示態様を決定するようにしてもよい。この構成において、例えば、表示態様の決定は、撮像画像データに基づく画像を用いて付着物の存在領域を示す表示態様と、マーク等を用いて簡易的に付着物の存在領域を示す表示態様とを決定するものでもよい。また、撮像画像データに基づく画像を用いて付着物の存在領域を表示する場合に、付着物の種別に応じて、画像上に重畳する付着物の表示態様（例えば、表示色等）を決定するものでもよい。その結果、付着物が存在する場合で、他の処理装置で信頼性のある処理が実行されている領域を利用者に認識させやすくすることができる。
【０００９】
本発明の実施形態にかかる付着物検出装置の上記表示処理は、例えば、上記非信頼領域に対応する報知メッセージを表示するようにしてもよい。この構成によれば、例えば、演算処理の信頼性が所定値未満の非信頼領域が存在することや非信頼領域の存在により留意する必要があること等を利用者に理解させやすくすることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態にかかる付着物検出装置を搭載可能な車両の一例を示す模式的な平面図である。
【図２】図２は、実施形態にかかる付着物検出装置を含む車両制御システムの構成の例示的なブロック図である。
【図３】図３は、実施形態にかかる付着物検出装置（付着物検出部）を含む各モジュールが実現されたＣＰＵの構成を例示的に示すブロック図である。
【図４】図４は、実施形態にかかる付着物検出装置における撮像部の撮像面の領域の分割を例示的に示す模式図である。
【図５】図５は、実施形態にかかる付着物検出装置により演算処理の信頼領域と非信頼領域が示される表示装置の一例を例示的に示す模式図である。
【図６】図６は、実施形態にかかる付着物検出装置により演算処理の信頼領域と非信頼領域が示される表示装置の他の例を例示的に示す模式図である。
【図７】図７は、実施形態にかかる付着物検出装置による付着物の検出結果の出力例を示す模式図である。
【図８】図８は、実施形態にかかる付着物検出装置による処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１２】
図１は、本実施形態の付着物検出装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１３】
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ〜１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ〜１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や物体（障害物として、例えば、歩行者、他車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
【００１４】
撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。
【００１５】
例えば、撮像部１４ａ〜１４ｄで得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４ａ〜１４ｄが撮像する撮像画像データ（画像）には、互いに重複する重複領域を設けてもよい。例えば、撮像部１４ａの撮像した撮像画像データの右側の端部と撮像部１４ｃが撮像した撮像画像データの前方側の端部とが重複する。そして、二つの画像を繋げる（合成する）場合、前方画像の撮像画像データと右側方画像の撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、前方画像と右側方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像、左側方画像と後方画像、後方画像と右側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。
【００１６】
各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像データは、後述するが、画像処理により各種検出や検知を行う処理装置（処理部）に提供され、車両１０を制御するために利用することができる。
【００１７】
図２は、車両１０に搭載される付着物検出装置を含む車両制御システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。使用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００１８】
また、図２に例示されるように、車両制御システム１００（付着物検出装置を含む）は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic  control  unit）が含まれる。車両制御システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。なお、車内ネットワーク２６には、車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサ（舵角センサ、車輪速センサ、アクセルセンサ等）が接続されているが、図２では図示を省略するとともに、その説明を省略する。
【００１９】
ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central  processing  unit）や、ＲＯＭ２４ｂ（read  only  memory）、ＲＡＭ２４ｃ（random  access  memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid  state  drive、フラッシュメモリ）等を有している。
【００２０】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、撮像部１４の付着物検出処理や表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、撮像部１４が撮像した撮像画像データに演算処理、画像処理等を実行して、撮像部１４ごとの撮像面の付着物の付着位置（付着領域）の検出や付着物の種別の推定、付着物の付着位置に応じた表示の切り替え等を実行する。また、ＣＰＵ２４ａは、付着物の付着位置に基づいて、撮像画像データを利用した他の処理装置（処理部、システム）の演算処理（画像処理や認識処理）の信頼性が所定値以上維持できる信頼領域と信頼性が所定値未満の非信頼領域とを判別する。また、ＣＰＵ２４ａは、その判定結果を利用者に、例えば表示装置１６を介して通知することができる。ＣＰＵ２４ａは、さらに、付着物検出装置以外に車両１０を制御するための駐車支援処理や障害物検出処理、接近物認識処理等を実現するモジュールを含む。ＣＰＵ２４ａの詳細は後述する。
【００２１】
ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
【００２２】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部１４の撮像面における付着物検出処理およびその結果に基づき表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データに対して画像処理等を施すことにより、複数の領域に分割した撮像面のいずれかの領域に付着物が付着しているか否かを検出する。ＥＣＵ２４は、付着物が検出された場合、その付着領域の位置にしたがい、撮像画像データを利用して所定の演算処理を実行する処理装置における演算処理の信頼性が所定値以上維持できる信頼領域と信頼性が所定値未満の非信頼領域とを判別する。つまり、ＥＣＵ２４は、演算処理の信頼性が低下する領域が存在する場合でも、信頼性を確保できる限定的な領域で処理装置（処理部）の演算処理が有効であることを利用者に認識させ、処理装置（処理部）や利用者に有用な情報を可能な限り提供する。また、ＥＣＵ２４は、非信頼領域を利用者に提示することで、付着物が付着していることを強く認識させるとともに、処理装置（処理部）は、注意しながら限定的な領域で利用できることを認識させやすくしている。
【００２３】
図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａの構成の例示的なブロック図である。ＣＰＵ２４ａは、上述したような付着検出部として、付着物が付着する領域の検出処理、付着物が検出された場合に、撮像画像データを利用する処理装置（処理部）の演算処理の信頼領域または非信頼領域を判別する判定処理、判定結果を利用者に提示する表示処理等を実行するための各種モジュールを備える。また、ＥＣＵ２４は、付着物検出装置の他、撮像画像データを利用して所定の演算処理を実行する処理装置を実現する各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、付着物検出部２８、駐車支援部３０、障害物検出処理部３２、接近物認識処理部３４、光軸ズレ検出処理部３６等を実現する。なお、駐車支援部３０、障害物検出処理部３２、接近物認識処理部３４、光軸ズレ検出処理部３６等は、撮像部１４の撮像する撮像画像データを利用して所定の演算処理を実行する処理装置（処理部）の一例である。したがって、ＣＰＵ２４ａは、この他にも種々の処理装置（処理部）を実現しうる。また、これらの処理装置は、ＣＰＵ２４ａとは異なるＣＰＵで実現されてもよいし、異なるＥＣＵにおいて実現されてもよい。また、専用のハードウェアとして構成されてもよい。駐車支援部３０は、各撮像部１４が取得した撮像画像データに基づき設定された目標駐車領域（駐車枠）に車両１０を誘導する走行経路を取得し、車両１０を自動走行または手動走行で誘導するような処理を実行する。障害物検出処理部３２は、各撮像部１４が取得した撮像画像データに基づき、車両１０の周囲に存在しうる障害物を例えばパターンマッチング処理等を用いて検出するような処理を実行する。接近物認識処理部３４は、障害物検出処理部３２と同様に各撮像部１４が取得した撮像画像データに基づき、車両１０の周囲に存在しうる障害物等を例えばパターンマッチング処理等を用いて検出し、さらにその障害物を追尾することで接近物の認識処理を実行する。光軸ズレ検出処理部３６は、例えば、前照灯を検査用の壁面に照射させ、その壁面を撮像部１４ａで撮像し、その撮像画像データを解析することで光軸ズレ検出等の処理を実行する。駐車支援部３０、障害物検出処理部３２、接近物認識処理部３４、光軸ズレ検出処理部３６等については、周知の技術が適用可能であり、本実施形態では、その詳細な構成や動作の説明は省略する。
【００２４】
付着物検出部２８は、付着物に関する検出処理および検出結果に基づく表示処理を実現するための詳細モジュールとして、取得部３８、検出部４０、判定部４２、表示処理部４４等を含む。
【００２５】
取得部３８は、各撮像部１４で撮像される撮像画像データを逐次取得する。本実施形態の場合は、例えば、各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部３８に出力してもよいし、取得部３８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。取得部３８は、各撮像部１４で撮像される撮像画像データに対して歪み補正や輝度補正を実行し、付着物の検出がし易い状態に変換するようにしてもよい。
【００２６】
検出部４０は、詳細モジュールとして、付着物検出処理部４０ａ、種別推定部４０ｂ等を含む。
【００２７】
付着物検出処理部４０ａは、例えば、車両１０の走行中に撮像部１４が時系列で所定時間間隔を空けて撮像した複数の撮像画像データ（画像）ごとに画像処理、例えば、周知の差分検出処理を施し、画像上で不動の要素を検出することにより撮像面の付着物の有無検出を行う。走行中の車両１０に搭載された撮像部１４ａで撮像した画像は、時々刻々と画像内容が変化する。しかしながら、仮に、撮像面（例えばレンズ）に泥はねや水滴等の付着物が付着していた場合、その付着部分は、時系列で撮像された撮像画像データ（画像）上で同じ位置にとどまる。一方、付着物が付着していない部分は、時々刻々と表示内容が変化する。したがって、所定間隔（例えば、０．５秒等）を空けた少なくとも二つの画像の差分を取ることにより、表示内容の変化がない部分（画像に写り込んでいる車体部分を除く部分）に付着物が付着していると判定することができる。この場合、付着物と判定するための判定閾値が設定され、軽度の汚れ（付着）、例えば、実質的に画像内容を隠蔽しないような微小な付着物や透明であり光の反射や屈折等をほとんど生じないような薄い水滴等の場合は、「付着物は無い」、と判定するようにしてもよい。判定閾値は、撮像画像データを利用するする各処理装置（処理部、駐車支援部３０等）ごとに予め試験等で決定することが可能で、例えばＲＯＭ２４ｂ等に記憶しておくことができる。なお、判定閾値は、各処理装置で同じでもよいし、各処理装置で異なる閾値を設定してもよい。
【００２８】
付着物検出処理部４０ａは、図４に示すように、撮像部１４の撮像面４６を複数の領域４６ａに分割し、検出した付着物がどの領域４６ａに付着しているか否かを判定することができる。図４の場合、図面の簡略化のため、撮像面４６を縦×横＝４×４で分割し１６個の領域４６ａを形成する例を示しているが、より詳細に分割して、縦横とも例えば１０〜２０分割にして、付着物の付着位置をより正確に検出するようにしている。
【００２９】
また、他の付着物検出技術としては、例えば、周知の空間周波数を用いた検出が知られている。撮像部１４が撮像した画像（例えば領域４６ａごとの画像）にＦＦＴ（フーリエ変換）処理を施し、周波数領域の表示に直す。この場合、撮像部１４の撮像面（例えばレンズ）に付着物が付着していると光がぼけるので、画像に写り込んでいる物体のエッジがぼける。つまり、高域の周波数部分が減衰する。このような現象が生じている場合、撮像面に付着物が存在すると判定することができるとともに、付着している領域４６ａの特定を行うことができる。この場合、撮像部１４が撮像した一つの画像で付着物の検出が可能であり、車両１０が停車している場合や極低速で撮像された画像を用いても付着物検出が可能になる。なお、付着物検出は、これらの技術に限定されず、周知の技術が利用可能である。また、過去の検出結果に基づき、付着物が付着しているか否かの学習行わせて、検出効率を向上するようにしてもよい。
【００３０】
種別推定部４０ｂは、付着物検出処理部４０ａにより付着物が検出された場合、付着している付着物の種別を推定する。例えば、付着物が付着していると判定された領域４６ａの輝度または透過度が所定閾値より低い（輝度が低い、または透過度が低い）場合、付着物は、光を通しにくい不透明のもの、例えば「泥はね」等であると推定できる。逆に、付着物が付着していると判定された領域４６ａの輝度または透過度が所定閾値より以上（輝度が高い、または透過度が高い）場合、付着物は、光を通し易い透明性のある、例えば「水滴」等であると推定できる。また、種別推定部４０ｂは、付着物と判定したものが、時間の経過とともに移動する場合、付着物は流動性のある「水滴」であると推定してもよい。逆に付着物と判定したものが、時間が経過しても移動しない場合、付着物は流動性がない「泥はね」であると推定してもよい。
【００３１】
判定部４２は、付着物検出処理部４０ａにより付着物が検出された場合、付着物の位置（領域４６ａ）にしたがい、撮像画像データを利用して所定の演算処理を実行する処理装置（例えば、駐車支援部３０や障害物検出処理部３２等）における演算処理の信頼性が所定値以上維持できる「信頼領域」と信頼性が所定値未満の「非信頼領域」とを判別する。「信頼領域」は、撮像部１４の撮像面において付着物が付着していないと判定された領域４６ａに対応する領域である。「信頼領域」に対して演算処理（例えば、白線検出処理）を実行することにより、その領域４６ａの撮像画像データ（部分データ）に例えば白線が写っている場合、その白線を通常通り、所定値以上の信頼性を確保した状態で検出することができる。一方、「非信頼領域」は、撮像部１４の撮像面において付着物が付着していると判定された領域４６ａに対応する領域である。「非信頼領域」に対して演算処理（例えば、白線検出処理）を実行する場合、その領域４６ａの撮像画像データ（部分データ）に例えば白線が写っている場合でも、その白線は付着物によって隠蔽されて認識することができないと見なすことができる。つまり、所定値以上の信頼性を確保した検出ができない（信頼性が所定値未満の検出となる）と見なすことができる。
【００３２】
表示処理部４４は、判定部４２の判定結果に基づき、信頼領域と非信頼領域とを識別可能な態様で表示装置１６に表示させるために、表示態様処理部４４ａ、メッセージ処理部４４ｂ等の詳細モジュールを備える。
【００３３】
表示態様処理部４４ａは、図５、図６に示すように、表示装置１６の表示領域４８を例えば第１表示領域４８ａと第２表示領域４８ｂの２分割構成で表示させる。第１表示領域４８ａは、例えば撮像部１４ａが撮像した車両１０の前方の状況を示す実画像５０（例えば、歪み補正や輝度補正が施された画像）が表示されている。図５の場合、第１表示領域４８ａの中央領域に付着物５２が付着している例が示されている。図６の場合、第１表示領域４８ａの左領域に付着物５２が付着している例が示されている。その結果、撮像部１４ａの撮像面のいずれの領域（位置）に付着物５２が付着しているかを利用者（運転者等）に直感的に理解させることができる。なお、図５、図６に示すように、付着物５２が存在する位置に対応する領域４６ａ（領域枠）を示すようにしてもよい。
【００３４】
また、第２表示領域４８ｂには、現在、演算処理を実行している処理装置（例えば、駐車支援部３０、障害物検出処理部３２、接近物認識処理部３４等）において、何を認識（検出、抽出）しているかイメージさせやすい機能表示画面５４を表示する。また、機能表示画面５４は、付着物５２の付着によって、処理装置の認識（検出、抽出）の信頼性が低下している非信頼領域と、信頼性が通常通り維持されている信頼領域とを明示するような表示を行う。
【００３５】
例えば、駐車支援部３０の処理が実行されている場合、駐車支援部３０は、目標駐車位置や誘導経路を取得するために、センターラインや区画線、駐車枠等の白線を撮像部１４が撮像した撮像画像データに基づき検出することがある。第２表示領域４８ｂには、白線の検出機能が実行中であることを示す白線検出機能表示画面５４ａが示されている。白線検出機能表示画面５４ａは、第１表示領域４８ａに表示される付着物５２が付着する領域４６ａに対応して、中央領域の白線５６に対して信頼性のある認識が不能であることを示す例えば「×」等のマーク５８が示されている。一方、付着物５２が付着していない領域に対応する左右領域には、マーク５８は付されない。つまり、信頼性を維持した状態で白線認識が可能な領域が存在することを白線検出機能表示画面５４ａは表示している。
【００３６】
このように、付着物５２が実画像５０の中央領域に存在する場合、撮像部１４ａの撮像した撮像画像データの中央領域を用いた白線検出の信頼性は低い、または検出処理不能となる。換言すれば、図５の場合、左右の領域については、従来通りの白線検出が可能となる。その結果、撮像部１４ａの撮像面に付着物５２が付着している場合でも、駐車支援部３０は、限定的に領域ではあるが、白線検出が信頼性を維持した状態で実行可能であり、有用な情報（例えば、白線情報）を駐車支援部３０や利用者に提供することができる。
【００３７】
また、障害物検出処理部３２の処理が実行されている場合、車両１０の周囲に存在する可能性のある歩行者や他車両、構造物等を撮像部１４が撮像した撮像画像データに基づく画像に対してパターンマッチング処理等を施すことにより検出することがある。この場合、第２表示領域４８ｂには、障害物（例えば、歩行者、他車両、構造物等）の検出機能が実行中であることを示す障害物検出機能表示画面５４ｂが示されている。障害物検出機能表示画面５４ｂは、第１表示領域４８ａに表示される付着物５２が付着する領域４６ａに対応して中央領域の障害物６０（例えば、歩行者マーク）に対して信頼性のある検出が不能であることを示す「×」マーク５８が示されている。また、付着物５２が付着していない領域に対応する左右領域には、マーク５８は付されない。つまり、信頼性を維持した状態で障害物認識が可能な領域が存在することを障害物検出機能表示画面５４ｂは表示している。
【００３８】
同様に、図６の第２表示領域４８ｂには、白線検出機能表示画面５４ａおよび障害物検出機能表示画面５４ｂが表示され、第１表示領域４８ａに表示される付着物５２が付着する領域４６ａに対応して左領域の白線５６や障害物６０に対して信頼性のある認識が不能であることを示す例えば「×」等のマーク５８が示されている。また、付着物５２が付着していない領域に対応する中央領域および右領域には、マーク５８は付されない。つまり、信頼性を維持した状態で白線認識や障害物認識が可能であることが示されている。
【００３９】
なお、図５、図６において、機能表示画面５４ｃは、ブランク表示されている。機能表示画面５４ｃには、撮像部１４の撮像した撮像画像データに基づく他の処理部の演算処理が実行されている場合、その機能を示す画像が表示されるとともに、付着物５２の存在により、認識の信頼性が所定値未満の場合に、マーク５８が表示される。なお、白線検出機能表示画面５４ａ、障害物検出機能表示画面５４ｂ等の機能表示画面５４の表示位置は固定でもよいし、演算処理の実行順に表示されてもよい。固定で表示される場合、その表示位置により表示内容を直感的に利用者に認識させやすくなる。
【００４０】
このように、第２表示領域４８ｂに機能表示画面５４が表示されることにより、付着物５２の付着により、信頼領域と非信頼領域とが存在することを利用者に認識させるように報知することができる。つまり、駐車支援部３０や障害物検出処理部３２等の処理部が全く利用できないのではなく、一部利用できることを利用者に認識させやすくしている。
【００４１】
本実施形態の場合、他の処理装置（処理部）は、付着物５２が検出された領域に対応する領域に対しても、演算処理を省略することなく実行する。つまり、付着物５２の付着に基づいて、他の処理装置（処理部）は、処理を省略することなく（機能制限されることなく）動作する。
【００４２】
また、図５、図６に示す機能表示画面５４の場合、領域を横方向に３分割している例を示しているが、より詳細な領域分割を行ってもよい。例えば、さらに上下に２分割して、合計６分割で表示するようにしてもよい。
【００４３】
表示態様処理部４４ａは、第１表示領域４８ａと第２表示領域４８ｂとのいずれか一方を表示するようにしてもよい。たとえば、利用者による操作入力部２０の操作に基づき、表示装置１６の表示態様を変更するようにしてもよい。この場合、限られた表示装置１６の表示領域に対して第１表示領域４８ａまたは第２表示領域４８ｂを拡大表示することが可能になり、利用者の認識性向上に寄与することができる。第１表示領域４８ａのみが表示される場合、付着物５２が付着し、非信頼領域と判定された領域にマーク５８と同様な「×」等のマークが付されるようにしてもよい。
【００４４】
また、表示態様処理部４４ａは、種別推定部４０ｂが推定した付着物５２の種別に基づいて、実画像５０に表示する付着物５２の表示態様を変更してもよい。例えば、付着物５２の種別が、実質的に画像内容を隠蔽してしまうような、例えば、「泥はね」と推定される場合、「泥はね」をイメージさせ易い、濃い茶色系の表示色で付着物５２を表示してもよい。逆に、付着物５２の種別が、画像内容をある程度透過するような例えば、「水滴」と推定される場合、「水滴」をイメージさせ易い、薄い青系の表示色で付着物５２を表示してもよい。このように、付着物５２の種別に応じて、実画像５０における付着物５２の表示態様（例えば、表示色）を決定することにより、利用者に付着物５２の種別を直感的に認識させやすくなり、付着物５２の除去のタイミングを判断させやすくなる。例えば、付着物５２が水滴の場合、走行中の風圧等により除去できる可能性があるため、少し様子を見るという判断もさせることができる。逆に、泥はねの場合、時間の経過により固まるため、できるだけ速く除去した方が好ましいという判断をさせることができる。また、付着物５２の種別を認識させやすくすることで、表示のエンターテインメント性を向上させることが可能で、商品としての価値向上に寄与できる。
【００４５】
また、表示態様処理部４４ａは、実画像５０において、付着物５２が存在する領域４６ａを他の領域と区別し易い透過態様の表示色で表示するようにしてもよい。例えば、付着物５２が含まれる領域４６ａの表示色を薄い「赤色」や薄い「黄色」で表示してもよい。また、その領域４６ａを点滅表示させたり、輝度を変更させたりして表示してもよい。
【００４６】
メッセージ処理部４４ｂは、非信頼領域に対応する報知メッセージを表示領域４８のメッセージ領域４８ｃに表示する。例えば、図５のように、付着物５２が撮像面の中央領域に付着している場合、「画面中央領域に付着物があり、検出精度が低下しています。中央領域は目視確認してください。」等のメッセージを表示させることができる。また、図６のように、付着物５２が撮像面の左領域に付着している場合、「画面左領域に付着物があり、検出精度が低下しています。左領域は目視確認してください。」等のメッセージを表示させることができる。このようなメッセージを表示することにより、演算処理中に処理装置（処理部）に非信頼領域が存在することや非信頼領域の存在により留意する必要があること等を利用者に理解させやすくすることができる。なお、付着物検出部２８は、同様な内容の音声メッセージを音声出力装置１８を介して出力するようにしてもよい。また、メッセージ処理部４４ｂは、機能表示画面５４で表示している内容に応じたメッセージ、例えば、「中央領域の白線検出の信頼性が低下しています。」や「中央領域の障害物（歩行者）の検出信頼性が低下しています。」等を合わせて表示するようにしてもよい。
【００４７】
図７は、表示処理部４４による付着物５２の検出結果の出力例を示す模式図である。上述のように、ＥＣＵ２４のＣＰＵ２４ａは、撮像部１４（１４ａ〜１４ｄ）で取得した画像に基づき、付着物５２の付着領域や付着物５２の種別等を検出して、表示装置１６に付着物５２が付着した状態の実画像５０や機能表示画面５４を表示させる。別の実施形態では、ＥＣＵ２４のＣＰＵ２４ａは、無線通信等を用いて、利用者が車両１０の車外で確認できる外部表示装置６２（例えば、携帯端末やパーソナルコンピュータ等）に付着物５２の付着領域や付着物５２の種別等を示す実画像５０や機能表示画面５４を表示させてもよい。外部表示装置６２に付着物５２の付着領域や付着物５２の種別等示す実画像５０や機能表示画面５４を表示させることにより、例えば、付着物５２の除去作業等のメンテナンスを行う場合の作業効率を向上させることができる。また、付着物５２の種別を示す実画像５０を外部表示装置６２で認識させることで、表示のエンターテインメント性を向上させることが可能で、商品としての価値向上に寄与できる。
【００４８】
なお、図３に示すモジュール構成は一例であり、同様な処理ができれば、機能の分割や統合は適宜可能である。
【００４９】
以上にように構成される付着物検出部２８による付着物検出処理の流れの一例を図８のフローチャートを用いて説明する。
【００５０】
ＣＰＵ２４ａは車両１０の電源がＯＮされている場合、走行の有無に拘わらず、常時、各撮像部１４が撮像する撮像画像データの画像処理を伴う処理部（駐車支援部３０等）が実行中あるか否か監視する（Ｓ１００）。画像処理を伴う実行中の処理部（駐車支援部３０等）が存在しない場合（Ｓ１００のＮｏ）、一旦項フローを終了する。
【００５１】
画像処理を伴う実行中の処理部（駐車支援部３０等）が存在する場合（Ｓ１００のＹｅｓ）、取得部３８は、各撮像部１４が撮像する撮像画像データを逐次取得する（Ｓ１０２）。続いて、付着物検出処理部４０ａは取得部３８が取得した撮像画像データに基づき付着物５２の有無検出を実行する（Ｓ１０４）。付着物５２が検出された場合（Ｓ１０６のＹｅｓ）、付着物検出処理部４０ａは、付着物５２の付着領域を判定（確定）する（Ｓ１０８）。また、種別推定部４０ｂは、検出された付着物５２の種別推定を実行する（Ｓ１１０）。そして、判定部４２は、付着物５２の付着領域に基づき、実行中の処理部（駐車支援部３０等）の演算処理における信頼領域（非信頼領域）を検出する（Ｓ１１２）。判定部４２は、信頼領域が撮像面の所定割合以上（例えば４０％以上）の場合、実行中の処理部（駐車支援部３０等）に関して、限定的な利用が可能であると判定する（Ｓ１１４のＹｅｓ）。そして、表示態様処理部４４ａは、付着物５２の表示態様を種別推定部４０ｂの推定結果に基づいて決定する（Ｓ１１６）。また、表示態様処理部４４ａは、付着物５２の付着位置に基づき、機能表示画面５４の表示内容を決定する（Ｓ１１８）。例えば、白線検出機能表示画面５４ａの表示を決定するとともに、「×」等のマーク５８を表示する位置を決定する。また、メッセージ処理部４４ｂは、実行中の処理部（駐車支援部３０等）の機能や付着物５２の付着位置等に基づき、利用者に提示する処理部（駐車支援部３０等）が限定利用可能であることを示す表示メッセージ、例えば、「画面中央領域に付着物があり、検出精度が低下しています。中央領域は目視確認してください。」等のメッセージを例えばＲＯＭ２４ｂ等から読み出し決定する（Ｓ１２０）。
【００５２】
そして、表示処理部４４は、表示態様が決定された付着物５２を重畳した実画像５０、機能表示画面５４、メッセージ領域４８ｃに表示する表示メッセージ等を合成した合成画像を生成する（Ｓ１２２）。そして、ＣＰＵ２４ａは生成した合成画像を表示制御部２４ｄを介して出力し表示装置１６に表示させる画像出力処理を実行する（Ｓ１２４）。
【００５３】
また、Ｓ１１４において、信頼領域が撮像面の所定割合未満（例えば４０％未満）の場合、判定部４２は、実行中の処理部（駐車支援部３０等）に関して、十分な画像認識処理等ができず利用できないと判定する（Ｓ１１４のＮｏ）。そして、メッセージ処理部４４ｂは、処理部（駐車支援部３０等）が利用不可であることを示すメッセージ、例えば、「付着物により良好な画像が取得できません。画像を用いた白線検出機能を停止します。」等のメッセージをＲＯＭ２４ｂ等から読み出し決定する（Ｓ１２６）。そして、Ｓ１２２に移行して合成画面を生成する。この場合、機能表示画面５４は、例えば非表示としてもよいし、全ての領域において、「×」等のマーク５８を付すようにしてもよい。
【００５４】
また、Ｓ１０６において、付着物５２がない（画像処理に影響するような付着物がない）と判定された場合（Ｓ１０６のＮｏ）、メッセージ処理部４４ｂは、処理部（駐車支援部３０等）が通常運用可能であることを示すメッセージ、例えば、「駐車支援が正常に実行されます。」等のメッセージをＲＯＭ２４ｂ等から読み出し決定する（Ｓ１２８）。そして、Ｓ１２２に移行して合成画面を生成する。この場合、機能表示画面５４は、「×」等のマーク５８が付されない状態で表示されてもよいし、機能表示画面５４を非表示としてもよい。
【００５５】
このように、本実施形態の付着物検出装置によれば、撮像部１４が撮像した画像に信頼領域と非信頼領域との存在を利用者に認識させやすくするとともに、付着物５２が付着した領域以外の信頼領域で駐車支援部３０等の処理部（処理装置）の演算処理が維持されて、信頼領域において有効に利用できることを利用者に認識させやすくすることができる。その結果、付着物５２の付着が検出された場合でも、他の処理装置（処理部）における利用価値のある情報を当該処理装置（処理部）や利用者に継続的に提供することができる。
【００５６】
なお、上述した実施形態では、第１表示領域４８ａに実画像５０として正面画像を表示させ、第２表示領域４８ｂに正面画像を用いて処理部が実行する演算処理による検出状況を示す機能表示画面５４が表示される例を示しました。別の例では、例えば、処理部が例えば後方画像を用いて演算処理を実行する場合は、実画像５０として後方画像が表示され、第２表示領域４８ｂに後方画像を用いた検出状況を示す機能表示画面５４が表示される。
【００５７】
本実施形態のＣＰＵ２４ａで実行される付着物検出処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５８】
さらに、付着物検出処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される付着物検出処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００５９】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６０】
１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｄ…表示制御部、２８…付着物検出部、３０…駐車支援部、３８…取得部、４０…検出部、４０ａ…付着物検出処理部、４０ｂ…種別推定部、４２…判定部、４４…表示処理部、４４ａ…表示態様処理部、４４ｂ…メッセージ処理部、４６…撮像面、４６ａ…領域、４８…表示領域、４８ａ…第１表示領域、４８ｂ…第２表示領域、４８ｃ…メッセージ領域、５０…実画像、５２…付着物、５４…機能表示画面、５４ａ…白線検出機能表示画面、５４ｂ…障害物検出機能表示画面、５４ｃ…機能表示画面、５６…白線、５８…マーク、６０…障害物、６２…外部表示装置。
【図１】
2020050119.tif 000003
【図２】
2020050119.tif 000004
【図３】
2020050119.tif 000005
【図４】
2020050119.tif 000006
【図５】
2020050119.tif 000007
【図６】
2020050119.tif 000008
【図７】
2020050119.tif 000009
【図８】
2020050119.tif 000010