(57)【要約】【課題】汚れ発生時に応急処置として修復画像を利用することで使い勝手の良さを維持しつつ信頼性の確保が可能な、システムとしてバランスの取れた周辺監視装置を提供する。【解決手段】周辺監視装置は、車両に備えられて車両の周囲を撮像可能な撮像部で車両が移動している際に撮像する撮像画像を取得する取得部と、撮像画像に汚れが存在している場合に、汚れにより隠蔽された撮像画像の汚れ領域を汚れが存在しないように復元して復元画像を生成する復元処理部と、復元画像を車両の現在の周囲状況を示す画像として非表示とする非表示条件が成立するまで復元画像の表示を許容する表示判定部と、を備える。【選択図】図３
2020138569.tif 000002
【特許請求の範囲】
【請求項１】
車両に備えられて前記車両の周囲を撮像可能な撮像部で前記車両が移動している際に撮像する撮像画像を取得する取得部と、
前記撮像画像に汚れが存在している場合に、前記汚れにより隠蔽された前記撮像画像の汚れ領域を前記汚れが存在しないように復元して復元画像を生成する復元処理部と、
前記復元画像を前記車両の現在の周囲状況を示す画像として非表示とする非表示条件が成立するまで前記復元画像の表示を許容する表示判定部と、
を備える、周辺監視装置。
【請求項２】
前記表示判定部は、前記車両の利用者の降車を可能とする車両操作が行われた後に前記汚れが継続して存在する場合、または前記復元画像の表示開始から所定期間復元画像の表示が実行された場合に、前記非表示条件が成立したと見なす、請求項１に記載の周辺監視装置。
【請求項３】
前記表示判定部は、前記車両に搭載された変速装置がパーキング位置になった場合、前記車両の駐車ブレーキが有効になった場合、前記車両のドアのいずれかが開放された場合、前記車両の電源スイッチが遮断された場合、のうち少なくともいずれか一つが実行された場合に前記車両操作が行われたと判定する、請求項２に記載の周辺監視装置。
【請求項４】
前記復元処理部が前記撮像画像に前記汚れが存在していると判定した場合、前記汚れが存在していることを利用者に報知する報知部をさらに備える、請求項１から請求項３のいずれか１項に記載の周辺監視装置。
【請求項５】
前記報知部は、前記復元画像が表示されている場合に実行される前記復元画像の表示報知と、前記復元画像の非表示条件が成立している場合に実行される前記復元画像の非表示報知と、の少なくとも一方を実行する、請求項４に記載の周辺監視装置。
【請求項６】
前記報知部は、前記復元画像の表示が行われている場合、前記利用者の降車を可能とする車両操作が行われたときに、前記撮像部の清掃を促す報知を実行する、請求項４または請求項５に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に設置された撮像部（カメラ）により撮像された撮像画像データに基づく撮像画像を表示装置に表示させて車両の周辺の状況を運転者等に認識さるシステムがある。このようなシステムにおいて、撮像部の撮像面（例えばレンズ）に雨滴や埃、泥はね等の汚れが付着している場合、撮像画像に汚れが写り込み、周辺の状況を認識されるための適切な画像表示ができない場合がある。そこで、撮像画像に対して画像処理を施して、汚れを取り除かれたかのような復元画像を生成して表示するシステムが提案されている。汚れが発生した場合に、復元画像を表示して利用者に提供することにより、利用者は、汚れが発生した場合でも、汚れの付着の度に降車して撮像部の清掃を行うことなく、車両の周囲の状況の確認を車内の表示装置で復元画像を視認することで継続的に行い易くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９２６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、復元画像は、画像上の汚れを画像処理で消去し、その代わりに汚れ部分に対応する可能性のある画像を重畳して生成する合成画像である。したがって、ある瞬間で、汚れ部分で隠蔽された領域に物体が存在していた場合、その物体を復元し損ない、利用者に認識させることができない場合がある。そのため、長期間継続的に復元画像を利用することは周辺画像としての信頼性が低下してしまう場合があり望ましくない。
【０００５】
そこで、本発明の課題の一つは、汚れ発生時に応急処置として修復画像を利用することによる使い勝手の良さを維持しつつ信頼性の確保が可能な、システムとしてバランスの取れた周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、車両に備えられて上記車両の周囲を撮像可能な撮像部で上記車両が移動している際に撮像する撮像画像を取得する取得部と、上記撮像画像に汚れが存在している場合に、上記汚れにより隠蔽された上記撮像画像の汚れ領域を上記汚れが存在しないように復元して復元画像を生成する復元処理部と、上記復元画像を上記車両の現在の周囲状況を示す画像として非表示とする非表示条件が成立するまで上記復元画像の表示を許容する表示判定部と、を備える。この構成によれば、例えば、非表示条件が成立した場合、それ以降は復元画像の表示が行われない。その結果、一時的に復元画像が利用できるものの、継続して長期間利用され続けることが防止され、使い勝手の良さと信頼性の確保のバランスを取りながら周辺監視装置を運用することができる。
【０００７】
本発明の実施形態にかかる周辺監視装置の上記表示判定部は、例えば、上記車両の利用者の降車を可能とする車両操作が行われた後に上記汚れが継続して存在する場合、または上記復元画像の表示開始から所定期間復元画像の表示が実行された場合に、上記非表示条件が成立したと見なすようにしてもよい。この構成によれば、例えば、利用者が降車可能で撮像部の清掃が可能であるにも拘わらず、撮像部の清掃が行われずに汚れが継続して存在する場合、それ以降は復元画像が非表示となる。または、復元画像の表示を始めてから所定期間、降車を可能にするような車両操作が行われることがなかった場合、長時間、撮像部の清掃が行われることなく復元画像が表示され続ける可能性がある。そこで、復元画像の表示開始後、所定期間経過した場合、それ以降は復元画像を非表示とすることで、復元画像が長期間使用続けられることが抑制できる。
【０００８】
本発明の実施形態にかかる周辺監視装置の上記表示判定部は、例えば、上記車両に搭載された変速装置がパーキング位置になった場合、上記車両の駐車ブレーキが有効になった場合、上記車両のドアのいずれかが開放された場合、上記車両の電源スイッチが遮断された場合、のうち少なくともいずれか一つが実行された場合に上記車両操作が行われたと判定するようにしてもよい。この構成によれば、例えば、通常の車両運転時に行われる車両操作により撮像部の清掃が可能となるタイミングが検出可能となり、降車とともに撮像部の清掃を推奨することができる。その結果、撮像部の清掃を目的として、それだけのために降車させるというイメージを軽減させることができる。
【０００９】
本発明の実施形態にかかる周辺監視装置の上記復元処理部が、例えば、上記撮像画像に上記汚れが存在していると判定した場合、上記汚れが存在していることを利用者に報知する報知部をさらに備えてもよい。この構成によれば、例えば、復元画像が表示されていることを利用者に認識させやすくなり、運転者に自身の目視による周辺確認の意識を喚起させやすくなる。
【００１０】
本発明の実施形態にかかる周辺監視装置の上記報知部は、上記復元画像が表示されている場合に実行される上記復元画像の表示報知と、上記復元画像の非表示条件が成立している場合に実行される上記復元画像の非表示報知と、の少なくとも一方を実行するようにしてもよい。復元画像は、汚れが除かれた画像となるため、表示された画像が、汚れが取り除かれた復元画像であるか、もともと汚れが存在しない非復元画像であるかが識別されにくい。この構成によれば、例えば、現在表示されている画像が復元画像であるか否かの識別を利用者にさせやすくすることができる。
【００１１】
本発明の実施形態にかかる周辺監視装置の上記報知部は、例えば、上記復元画像の表示が行われている場合、上記利用者の降車を可能とする車両操作が行われたときに、上記撮像部の清掃を促す報知を実行するようにしてもよい。この構成によれば、例えば、通常の車両運転時に行われる車両操作により、撮像部の清掃を推奨することを報知することができる。その結果、撮像部の清掃のために降車させるというイメージを軽減させることができる。また、撮像部の清掃が、今必要であることを利用者に認識させやすく、清掃忘れを軽減させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態にかかる周辺監視装置を搭載可能な車両の一例を示す模式的な平面図である。
【図２】図２は、実施形態にかかる周辺監視装置を含む車両制御システムの構成を示す模式的かつ例示的なブロック図である。
【図３】図３は、実施形態にかかる周辺監視装置（周辺監視部）をＣＰＵで実現する場合の構成を示す模式的かつ例示的なブロック図である。
【図４】図４は、実施形態にかかる周辺監視装置における汚れ学習済みモデルの学習イメージを示す例示的かつ模式的な説明図である。
【図５】図５は、実施形態にかかる周辺監視装置において復元画像を生成する復元処理のイメージを示す例示的かつ模式的な説明図である。
【図６】図６は、実施形態にかかる周辺監視装置において復元画像と復元画像の表示報知（復元時メッセージ）の表示例を模式的に示す説明図である。
【図７】図７は、実施形態にかかる周辺監視装置において非復元画像と復元画像の非表示報知（非復元時メッセージ）の表示例を模式的に示す説明図である。
【図８】図８は、実施形態にかかる周辺監視装置における、復元画像の表示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１４】
本実施形態の周辺監視装置は、例えば、車両に搭載された撮像部のレンズに汚れが付着して、撮像画像に汚れが写り込んでいた場合、この汚れを取り除いたかのような画像、つまり汚れが存在しない状態を復元した復元画像を生成する。そして、復元画像を用いることで、周辺監視装置における周辺監視機能を向上する。そして、本実施形態の周辺監視装置の場合において、復元画像は、非表示条件が成立するまでの限定的な期間に応急処置的に表示され、無制限に復元画像が表示し続けられることを回避する。その結果、修復画像を利用することによる使い勝手の良さ、例えば、汚れ付着の都度汚れ清掃を行うことなく、周辺監視が継続できる使い勝手のよさを維持しつつ、復元画像が長期間表示され続けられることの回避によるシステムとしての信頼性の確保をバランスよく行うことができる。以下、まず、周辺監視装置の詳細を説明する。
【００１５】
図１は、本実施形態の周辺監視装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１６】
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ〜１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ〜１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や物体（障害物として、例えば、歩行者、他車両等）を含む車両１０の外部の周辺環境（周囲状況）を逐次撮影し、撮像画像データとして出力する。
【００１７】
撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。
【００１８】
例えば、撮像部１４ａ〜１４ｄで得られた各撮像画像データは、それぞれ演算処理や画像処理を実行することで、車両１０の周囲それぞれの方向における画像を表示したり周辺監視を実行したりすることができる。また、各撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成して表示したり、周辺監視を実行したりすることができる。
【００１９】
各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像データは、各種検出や検知を行う処理装置（処理部）に提供され、車両１０を制御するために利用することができる。
【００２０】
図２は、車両１０に搭載される周辺監視装置を含む車両制御システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。利用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００２１】
また、図２に例示されるように、車両制御システム１００（周辺監視装置を含む）は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic  control  unit）、シフトセンサ２６、パーキングブレーキセンサ２８、ドア開閉センサ３０、ＩＧＳＷセンサ３２（イグニッションスイッチセンサ）、車輪速センサ３４、舵角センサ３６、情報取得部３８等が含まれる。車両制御システム１００において、ＥＣＵ２４やモニタ装置２２、シフトセンサ２６、パーキングブレーキセンサ２８、ドア開閉センサ３０、ＩＧＳＷセンサ３２、車輪速センサ３４、舵角センサ３６、情報取得部３８等は、電気通信回線としての車内ネットワーク４０を介して電気的に接続されている。車内ネットワーク４０は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ２４は、車内ネットワーク４０を通じて制御信号を送ることで、各種システム（例えば、駆動システム、操舵システム、ブレーキシステム等）の制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク４０を介して、操作入力部２０や各種スイッチの操作信号等、シフトセンサ２６、パーキングブレーキセンサ２８、ドア開閉センサ３０、ＩＧＳＷセンサ３２、車輪速センサ３４、舵角センサ３６等の各種センサの検出信号等、情報取得部３８が取得可能な位置情報等の情報を、受け取ることができる。なお、車内ネットワーク４０には、前述したように車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサが接続されているが、図２において、本実施形態の周辺監視装置で必須ではない構成は図示を省略するとともに、その説明を省略する。
【００２２】
ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central  processing  unit）や、ＲＯＭ２４ｂ（read  only  memory）、ＲＡＭ２４ｃ（random  access  memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid  state  drive、フラッシュメモリ）等を有している。
【００２３】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ、撮像画像を復元する際に利用する、予め複数のデータを用いて学習させた学習済みモデル等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａが復元画像の復元処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる各種のデータ（撮像部１４で逐次（時系列的に）撮像される撮像画像データ等）の一時的な格納エリアとして利用される。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
【００２４】
シフトセンサ２６は、例えば、車両１０の変速操作部の可動部の位置を検出するセンサである。シフトセンサ２６は、可動部としての、レバーや、アーム、ボタン等の位置に基づき、変速操作部の可動部が例えば「パーキング（Ｐ）レンジ（パーキング位置）」であるか否かを検出することができる。変速操作部の可動部の位置が「パーキング（Ｐ）レンジ」の場合、車両１０の利用者（例えば、運転者等）が、降車可能な状態となる車両操作が行われたとみなすことができる。
【００２５】
パーキングブレーキセンサ２８は、車両１０の車輪１２に接続されている、例えばディスクブレーキの制動力発生状態を維持するための操作部、例えば、レバー、スイッチ、ペダル等の位置を検出するセンサである。パーキングブレーキ（駐車ブレーキ）が動作状態（制動力発生状態）であることを示すレバーやスイッチ、ペダル等の位置が検出された場合、車両１０の利用者（例えば、運転者等）が、降車可能な状態となる車両操作が行われたとみなすことができる。
【００２６】
ドア開閉センサ３０は、車両１０の前後列の運転席側、助手席側のドアの開閉を検出するセンサである。ドア開閉センサ３０は例えば、各ドアのヒンジの部分に配置され、乗員の乗り降りが十分に行える程度の開放角度になったことを検出するセンサである。ドアの開放角度として、乗員の乗り降りが十分に行える程度であることが検出された場合、車両１０の利用者（例えば、運転者等）が、降車可能な状態となる車両操作が行われたとみなすことができる。
【００２７】
ＩＧＳＷセンサ３２は、車両１０を走行状態にするために電源スイッチの操作状態を検出するセンサであり、キーを差し込むシリンダタイプのイグニッションスイッチの場合、キーの回動位置や回動によって接続される回路の状態に基づいて、イグニッションスイッチの状態を検出する。また、イグニッションスイッチがプッシュスイッチ等で構成される場合、プッシュスイッチの操作で決定されている回路状態に基づき、イグニッションスイッチの状態を検出する。イグニッションスイッチの状態に基づき、車両１０が走行できない状態（例えば、エンジンやモータの停止、電源の遮断等）が検出された場合、車両１０の利用者（例えば、運転者等）が、降車可能な状態となる車両操作が行われたとみなすことができる。
【００２８】
車輪速センサ３４は、車輪１２の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ３４は、各車輪１２に配置され、各車輪１２で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ３４は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ２４ａは、車輪速センサ３４から取得したセンサ値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さなセンサ値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。本実施形態の場合、車速は、後述するが、復元画像の復元処理を実行するか否かを決定する際に利用することができる。
【００２９】
舵角センサ３６は、例えば、ステアリングホイール等の操舵量を検出するセンサである。舵角センサ３６は、例えば、ホール素子などを用いて構成される。ＣＰＵ２４ａは、運転者によるステアリングホイールの操舵量や、自動操舵時の各車輪１２の操舵量等を、舵角センサ３６から取得して各種制御を実行する。なお、舵角センサ３６は、ステアリングホイールに含まれる回転部分の回転角度を検出する。本実施形態の場合、操舵量は、後述するが、復元画像の復元処理を実行するか否かを決定する際に利用することができる。
【００３０】
情報取得部３８は、ＧＰＳ（Global  Positioning  System）とうから送信されるＧＰＳ信号を受信することで車両１０の現在の位置を取得したり、外部の情報センタ等が送信する気象情報等を取得したりすることが可能で、取得した情報を各種制御に利用する。なお、車両１０の位置情報や外部情報等は、モニタ装置２２がナビゲーションシステムを供える場合、ナビゲーションシステム側で取得してもよい。本実施形態の場合、情報取得部３８が取得する情報は、後述するが、復元画像の復元処理を実行するか否かを決定する際に利用することができる。
【００３１】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部１４で撮像された撮像画像に汚れが存在する場合、その撮像画像から汚れを取り除いたかのような画像、つまり、汚れが存在しない状態を復元した「復元画像」の生成処理（復元処理）および、その復元画像を表示するか否か決定する表示処理を司る。図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、実施形態にかかる周辺監視装置（周辺監視部４２）が実現される場合の構成を例示的に示すブロック図である。
【００３２】
周辺監視部４２は、撮像画像に存在する汚れを取り除いたかのような復元画像を生成する復元処理機能を実現するための各種モジュールを含む。例えば、周辺監視部４２は、受付部４２ａ、画像取得部４２ｂ、汚れ情報取得部４２ｃ、速度取得部４２ｄ、復元処理部４２ｅ、表示判定部４２ｆ、報知部４２ｇ、出力部４２ｈ等を含む。これらのモジュールは、専用のハードウェアとして構成されてもよい。なお、後述するが、復元処理部４２ｅで実行するディープラーニング等を用いた処理では膨大な並列計算が必要とされため、例えばＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field-Programmable  Gate  Array）等を活用してもよい。周辺監視部４２には、実際に周辺監視処理として、障害物検出や白線検出等を実行するためのモジュールが含まれるが、図３においては、復元処理に必要なモジュール以外は、図示を省略するとともに、その説明を省略する。
【００３３】
ＲＯＭ２４ｂは、ＣＰＵ２４ａで実行される各種プログラムの他、復元画像を生成する場合に利用するモデルデータ、各種判定を実行する際に参照する閾値データ、各種報知を行う場合に利用するメッセージデータ等を格納する。ＲＯＭ２４ｂは、例えば、汚れ情報学習済みモデル格納部４４ａ、学習済みモデル格納部４４ｂ、閾値データ格納部４４ｃ、報知データ格納部４４ｄ等を含む。
【００３４】
汚れ情報学習済みモデル格納部４４ａに格納される汚れ情報学習済みモデルは、汚れ情報取得部４２ｃで利用される、復元対象の撮像画像における汚れ（例えば、雨滴等）の存在する確率をピクセル毎に算出するためのモデルである。汚れ情報学習済みモデルを構築する場合、例えば、汚れなしを示す値を「０」とし、汚れありを示す値を「１」とする。そして、学習用画像のピクセル毎に汚れである確からしさを「０〜１」の間の評価値で示す。この評価値を用いた学習用画像に基づいて、例えば、ディープラーニング等の機械学習手法によって学習させることで、汚れ情報学習済みモデルを構築する。したがって、撮像部１４で撮像した撮像画像（データ）を汚れ情報学習済みモデルに入力することで、評価値が「１」に近いピクセルの多さが判定され、汚れの位置や汚れの大きさ（領域の大きさ）が出力される。
【００３５】
学習済みモデル格納部４４ｂに格納される学習済みモデルは、復元処理部４２ｅで利用されるモデルである。学習済みモデルは、車両１０に備えられた撮像部１４で車両１０が移動している際に時系列的に撮像される複数の撮像画像のうち、最新撮像画像において汚れにより隠蔽された領域を復元させた復元画像を復元画像として生成する場合に利用される。学習済みモデルの構築概念を図４に示す。図４に示すように、学習済みモデル５６は、学習用汚れ５４（例えば、雨滴等）が存在しない学習用画像５０と、この学習用画像５０に学習用汚れ５４を存在させた、複数の学習用汚れ画像５２と、の関係を例えば、ディープラーニング等の周知の機械学習手法によって学習させたモデルである。学習済みモデル５６を用いた復元処理の詳細は後述する。
【００３６】
閾値データ格納部４４ｃは、復元処理部４２ｅが復元処理を実行するか否かを判定する場合に参照する閾値を格納する。
【００３７】
報知データ格納部４４ｄは、復元画像の表示の有無を利用者に認識させやすくするための報知や、汚れが撮像部１４に付着していると推定される場合に、清掃を促す報知等のメッセージや組み合わせてメッセージを出力する場合のメッセージワード等が格納されている。
【００３８】
また、ＲＡＭ２４ｃは、前述したように、ＣＰＵ２４ａが復元画像の復元処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる撮像画像データ（撮像部１４で逐次（時系列的に）撮像される撮像画像データ等）を一時的に格納する撮像画像格納部４６等を含む。撮像画像格納部４６は、予め定めた記憶領域が一杯になるまで撮像画像データを逐次記憶するとともに、予め定めた記憶容量が一杯になった場合、古い順に撮像画像データを消去して、新たな撮像画像データの記憶領域を確保する。従って、撮像画像格納部４６は、一定期間の撮像画像データを常に保持しておくことができる。
【００３９】
ＳＳＤ２４ｆは、ＥＣＵ２４の電源がＯＦＦされた場合に保存しておくデータとして、例えば、復元画像の生成履歴を保存する復元履歴格納部４８を備える。復元履歴格納部４８には複数の撮像部１４のうちどの撮像部１４の撮像画像データに対して復元を行ったかを示すデータや、復元を行った時刻、復元の程度等のデータが復元履歴として保存される。ＳＳＤ２４ｆは、例えば、ＥＣＵ２４の電源がＯＦＦされる前（例えば、運転者が降車する前）に復元画像が表示されていた場合、その復元内容を記憶しておく。その結果、ＥＣＵ２４の電源がＯＮされた場合（例えば、運転者が走行のために乗車した場合）に、ＥＣＵ２４の電源がＯＦＦされる前に画像復元が実施されていたか否かを判定することができる。後述するが、復元画像が表示されているときに、ＥＣＵ２４の電源がＯＦＦされた後、再度ＯＮされた場合、車両１０に乗り込む前に撮像部１４の清掃が可能であるにも拘わらず、清掃が行われなかった場合、復元画像の表示を許容しない（禁止する）。なお、他の実施形態では、復元履歴を一定期間保持して復元の傾向等を取得する際に利用してもよいが、基本的には、汚れが除去されことを条件に復元履歴を破棄することで、ＳＳＤ２４ｆの記憶容量のオーバーを防止する。
【００４０】
受付部４２ａは、復元画像の生成が要求される場合の要求信号を受け付ける。復元画像の生成は、例えば、車両１０の走行中、撮像画像に汚れが検出された場合に自動的に実行されてもよい（自動復元モード）。また、車両１０の利用者（例えば、運転者）が操作入力部２０等を介して希望するタイミング（例えば、表示装置１６に表示されている画像が汚れで見にくくなった場合等）に復元画像の生成を手動で実行させてもよい（手動復元モード）。受付部４２ａは、復元画像の生成が自動的に要求される場合は、周辺監視部４２側からの要求信号を受付け、復元画像の生成が手動で要求される場合は、操作入力部２０等からの操作信号を車内ネットワーク４０を介して受け付ける。なお、本実施形態の周辺監視部４２が表示する復元画像は、前述したように、非表示条件が成立するまでの限定的な期間に、汚れ発生時の応急処置的に表示される。したがって、復元画像の表示状況によっては、自動復元モードが選択されている場合でも周辺監視部４２側で要求信号が出力されない場合がある。また、手動復元モードが有効にならない場合（操作入力部２０等の操作ができなくなる場合）もある。なお、復元画像は、汚れが除去された画像であるため、利用者が表示装置１６に表示されている画像が復元画像であると気づかない場合がある。したがって、復元画像の表示は、「手動復元モード」で実行できるようにして、利用者に表示されている画像が復元画像であることを認識し易くすることが望ましい。
【００４１】
画像取得部４２ｂは、各撮像部１４で撮像された撮像画像データをフレーム毎に取得し、ＲＡＭ２４ｃの撮像画像格納部４６に格納する。画像取得部４２ｂは、車両１０（ＥＣＵ２４）の電源がＯＮの場合に撮像部１４で撮像される撮像画像データを逐次取得することができる。画像取得部４２ｂは、各撮像部１４（１４ａ〜１４ｄ）が撮像した撮像画像データを撮像部１４毎に識別して取得し、撮像画像格納部４６に格納する。したがって、撮像画像格納部４６には、各撮像部１４毎に時系列的に連続するフレームデータとして撮像画像データが格納される。撮像画像格納部４６は、一定期間、例えば、３〜５秒分の撮像画像データが格納可能で、逐次新しい撮像画像データを上書する。したがって、撮像画像格納部４６は、最新撮像画像および最新撮像画像から時系列的に所定期間遡った複数の過去画像を復元処理部４２ｅに提供することができる。また、撮像画像格納部４６が、撮像画像データを一定期間格納する場合の別の例として、例えば、撮像画像格納部４６は、車両１０が一定距離走行する間の撮像画像データを格納するようにしてもよい。
【００４２】
汚れ情報取得部４２ｃは、撮像画像に汚れが存在するか否か、および汚れが存在する場合は、その汚れの位置や大きさを、ＲＯＭ２４ｂの汚れ情報学習済みモデル格納部４４ａから読み出した汚れ情報学習済みモデルに撮像画像を入力することで取得する。汚れ情報取得部４２ｃは、取得した汚れ情報を逐次復元処理部４２ｅに提供する。汚れが、例えば、泥はねや埃の付着の場合、車両１０が走行する場合でも撮像部１４のレンズ上で移動する可能性は低い。一方、汚れが雨滴等のように容易に移動したり変形したりするものの場合、車両１０の走行時に受ける風圧等により撮像部１４のレンズ上で移動したり、大きさが変化したりする可能性がある。そのため、汚れ情報取得部４２ｃは、少なくとも復元処理部４２ｅが復元処理を実行している間は、撮像画像毎に汚れ情報の取得を逐次実行する。
【００４３】
速度取得部４２ｄは、車輪速センサ３４の検出値に基づき、車両１０の現在の車速や加速度を取得する。速度取得部４２ｄは、車両１０の車速を復元処理部４２ｅに提供し、表示判定部４２ｆにおいて、復元画像の表示を許容する非表示条件が非成立の場合において、復元処理を実行するか否かを判定する場合に利用される。車速の利用の詳細については後述する。
【００４４】
復元処理部４２ｅは、復元対象の撮像画像の復元を行う。図５は、復元処理部４２ｅで実行される復元処理のイメージを示す例示的かつ模式的な説明図である。なお、図５は、復元対象の撮像画像として、撮像部１４のうち撮像部１４ａで撮像した前方画像を復元する場合を一例として示している。
【００４５】
まず、復元処理部４２ｅは、撮像部１４（撮像部１４ａ）で逐次撮像され、ＲＡＭ２４ｃの撮像画像格納部４６に時系列的に格納された複数の撮像画像５８を学習済みモデル５６に入力する。この場合、撮像画像５８に存在する汚れ６０（例えば、泥はね）の位置や大きさに関する汚れ情報は、汚れ情報取得部４２ｃから提供される汚れ情報に基づいて認識可能であり、学習済みモデル５６では、汚れ６０の存在する可能性の高い領域に対して復元処理が順次実行されることになる。この場合、復元処理は、時系列的な複数の撮像画像５８のうち最新撮像画像５８ａに対して実行される。このとき、走行する車両１０の撮像部１４で撮像された、最新撮像画像５８ａより時系列的に過去の過去画像５８ｂには、最新撮像画像５８ａ上に存在する汚れ６０で隠蔽された領域が、汚れ６０で隠蔽されることなく写っている可能性がある。したがって、学習済みモデル５６は、複数の過去画像５８ｂの情報が入力されることにより、汚れ６０で隠蔽された領域が高確率で復元された復元画像６２の生成が可能となり、復元画像の品質を向上することができる。図５の場合、撮像画像５８において、汚れ６０で隠蔽されていた、ガードレール６６ａの一部やフェンス６６ｂの一部が、復元画像６２における復元領域６４で復元される。その結果、復元画像６２において、ガードレール６６ａやフェンス６６ｂを確認することができる。
【００４６】
復元処理部４２ｅは、復元実行判定部４２ｅ１を備える。復元処理部４２ｅは、上述したように、最新撮像画像５８ａおよび過去画像５８ｂを含む複数の撮像画像５８を用いて復元処理を実行する。この場合、復元処理に利用できる過去画像５８ｂは、最新撮像画像５８ａに写っているものが含まれるものに限られる。車両１０が走行している場合、例えば、数秒前までに撮像された過去画像５８ｂに限られる。このように、利用できる過去画像５８ｂに制限がある状況では、最新撮像画像５８ａに存在する汚れ６０が大きい場合、最新撮像画像５８ａおよび過去画像５８ｂからなる複数の撮像画像５８を用いて復元処理を実行しても十分な復元ができない場合がある。例えば、汚れ６０が、所定の閾値で示す大きさを超えている場合、過去画像５８ｂにおいても汚れ６０で隠蔽され続いている物体が存在する可能がある。このような場合、最新撮像画像５８ａにおいて汚れ６０が隠蔽している領域を十分に復元することができないため、復元処理部４２ｅによる復元処理の実行は望ましくない。そこで、復元実行判定部４２ｅ１は、復元可能条件が満たされない場合、復元処理を非実行としている。復元実行判定部４２ｅ１は、汚れ情報取得部４２ｃが取得する汚れ情報に含まれる最新撮像画像５８ａの汚れの大きさと、所定の閾値と、の比較を行い、汚れの大きさが閾値以上の場合、十分な汚れ部分の復元が不可能であると判定し、復元処理を非実行とする。
【００４７】
なお、この場合、閾値は一定値としてもよいが、車両１０の速度によって、復元ができる場合とできない場合が生じることがある。例えば、汚れ６０の大きさが大きい場合でも車両１０の移動速度が高い場合、最新撮像画像５８ａで隠蔽の原因になっている汚れ６０が、過去画像５８ｂでは最新撮像画像５８ａの隠蔽領域から離れた位置を隠蔽している可能性が高くなる。つまり、車両１０の移動量が大きい場合、時系列的に遡った過去画像５８ｂに、最新撮像画像５８ａにおいて汚れ６０で隠蔽されている領域が写っている可能性が増加する。逆に、汚れ６０の大きさが小さい場合でも車両１０の移動速度が低い場合、最新撮像画像５８ａと過去画像５８ｂとで汚れ６０の移動量が小さい。そのため、時系列的に遡った過去画像５８ｂを参照しても最新撮像画像５８ａにおいて汚れ６０で隠蔽されている領域が隠蔽されたままの可能性が増加する。したがって、閾値変更部４２ｅ２は、車両１０の車速と汚れ６０との大きさに応じて、復元実行の可否を判定する場合の閾値を変更する。閾値変更部４２ｅ２は、車両１０の車速と汚れ６０の大きさと閾値とを関連付けた閾値マップをＲＯＭ２４ｂの閾値データ格納部４４ｃから読み出す。そして、閾値変更部４２ｅ２は、復元処理部４２ｅにおける復元処理実行時に、速度取得部４２ｄから車両１０の現在の車速を取得するとともに、汚れ情報取得部４２ｃが取得した汚れ情報から汚れ６０の大きさを取得して、閾値マップを参照する。そして、閾値変更部４２ｅ２は、現在の状況において復元実行の可否を判定するために最も適した閾値を決定（変更）して、復元処理部４２ｅに提供する。復元処理部４２ｅでは、提供された閾値に基づき復元処理を実行するか否かの判定を行う。
【００４８】
ところで、前述したように、復元画像６２は、画像上の汚れを画像処理で消去し、その代わりに汚れ６０が存在した位置に対応する可能性のある画像を重畳して生成した合成画像である。したがって、ある瞬間で、汚れ６０で隠蔽された領域に物体が存在していた場合、その物体を復元し損ない、利用者に認識させることができない場合がある。そのため、長期間継続的に復元画像６２を利用することは周辺画像としての信頼性が低下してしまう場合があり望ましくない。そこで、周辺監視部４２の表示判定部４２ｆは、復元画像６２を表示し続けるべきか、非表示とするべきかを判定する。本実施形態の場合、汚れ６０が発生した場合、撮像部１４の清掃（汚れ６０の除去）だけのために利用者を降車させるという煩わしさを回避しつつ、復元画像６２を表示することにより表示装置１６を応急処置的に見やすくするというメリットを維持する。その一方で、撮像部１４の清掃とは関係無く、利用者が車両１０を降車する場合に、ついでに撮像部１４の清掃（汚れ６０の除去)を行わせることで、撮像部１４の清掃のためだけに降車したというイメージを軽減させるようにしている。ただし、汚れ６０が存在する場合（復元画像６２が生成されている場合）に、一度降車の機会があったにも拘わらず、撮像部１４の清掃（汚れ６０の除去）を行わなかった場合は、復元画像６２の表示を終了（禁止）して、敢えて汚れ６０が存在したままの撮像画像５８を表示させる。汚れ６０が存在する撮像画像５８を表示することにより、利用者に汚れ６０存在を意識させ易くするとともに、汚れ６０の除去（撮像部１４の清掃）の必要性を強調することができる。
【００４９】
表示判定部４２ｆは、復元処理部４２ｅによって復元画像６２の表示が行われている場合、車両１０の利用者の降車を可能とする車両操作が行われたか否かを判定する。表示判定部４２ｆは、復元画像６２が表示されていた状態（復元画像６２の生成が許可されている状態）で、例えば、シフトセンサ２６の検出結果に基づき、現在の変速操作部の状態が「パーキング（Ｐ）レンジ」であるか否かを取得し、「パーキング（Ｐ）レンジ」の場合、車両１０の利用者（例えば、運転者等）が、降車可能な状態であると判定する。その後、「パーキング（Ｐ）レンジ」から他のレンジ、例えば、ドライブ（Ｄ）レンジ（車両１０の駐車が解除された状態となるレンジ）に切り替わったにも拘わらず、汚れ６０の存在が継続していた場合、降車の機会があったにも拘わらず、撮像部１４の清掃（汚れ６０の除去）が行われなかった判定する。つまり、復元画像６２を非表示とする非表示条件が成立したと見なし、復元画像６２の表示を終了（禁止）する。つまり、表示装置１６には、汚れ６０が存在する撮像画像５８が表示されることになり、復元領域に現実と異なる物体が存在する可能性のある復元画像６２が継続して表示されることを回避する。
【００５０】
なお、撮像部１４の清掃（汚れ６０の除去）が実施されたか否かの判定は、周知の汚れ検出技術を利用することができる。例えば、汚れ６０の除去が行われた可能性のある期間（降車）の前後のタイミングで取得した複数（例えば二枚）の撮像画像を比較することで、汚れ６０の有無を検出することができる。例えば、「パーキング（Ｐ）レンジ」に移行したことが検出できたときの復元画像６２と、その後「ドライブ（Ｄ）レンジ」に移行したときの復元画像６２とを比較することにより判定することができる。撮像部１４の清掃（汚れ６０の除去）が行われない場合、二枚の復元画像６２の変化は少ない。一方、撮像部１４の清掃（汚れ６０の除去）が行われた場合、汚れ６０がなくなるため二枚の復元画像６２の変化が大きくなる。その結果、撮像部１４の清掃（汚れ６０の除去）の有無を判定することができる。また、他の汚れ６０の検出技術としては、例えば、周知の空間周波数を用いた検出が知られている。撮像部１４(例えば撮像部１４ａ)が撮像した撮像画像にＦＦＴ（フーリエ変換）処理を施し、周波数領域の表示に直す。この場合、撮像部１４の撮像面（例えばレンズ）に汚れ６０が付着していると光がぼけるので、画像に写り込んでいる物体のエッジがぼける。つまり、高域の周波数部分が減衰する。このような現象が生じている場合、撮像部１４の撮像面に汚れ６０が存在すると判定することができる。
【００５１】
また、表示判定部４２ｆは、パーキングブレーキセンサ２８の検出結果を利用しても同様に、車両１０の利用者の降車を可能とする車両操作が行われたか否かを判定することができる。つまり、パーキングブレーキが有効化されるような車両操作が行われた場合、利用者が車両１０を降車すると推定できる。また、表示判定部４２ｆは、ドア開閉センサ３０の検出結果を利用してもよい。この場合、利用者の降車の可能性をより精度よくすることができる。また、表示判定部４２ｆは、ＩＧＳＷセンサ３２の検出結果を利用してもよい。この場合も、車両１０の走行を（一時的に）終了したと推定可能で、利用者が降車する可能性が高いと推定することができる。
【００５２】
車両１０の利用者の降車を可能とする車両操作が行われたか否かを判定するために用いるセンサは、一例であり、これに限定されない。また、複数のセンサの検出結果を組み合わせて判定に利用してもよい。この場合、判定（推定）精度を向上することができる。なお、車両１０が長期間駐車された場合（例えば、数日間駐車される場合）でも、上述のように撮像部１４の清掃（汚れ６０の除去）の機会があったか否かを判定することが可能である。また、この場合、復元履歴格納部４８を参照することで、長期間の駐車さる前に汚れ６０の存在により復元画像６２が表示（生成）されていたか否かを確認することができる。
【００５３】
表示判定部４２ｆは、撮像部１４の清掃（汚れ６０の除去）が行われたと判定した場合、復元処理部４２ｅによる復元画像の表示を一旦終了し、非復元処理の撮像画像５８を表示装置１６に表示させる。つまり、汚れ６０が存在しない、撮像画像５８を通常通りに表示させる。
【００５４】
なお、復元画像６２が生成されて表示装置１６に表示されている場合でも、車両１０の走行が長時間継続する場合がある。例えば、高速道路を走行している場合、パーキングエリアの間隔によっては、利用者の降車がなかなか実施されない場合がある。このような場合、復元画像６２が長時間表示続けられることになる。そこで、表示判定部４２ｆは、復元画像６２の表示開始から所定期間、当該復元画像６２の表示が実行された場合に、非表示条件が成立したと見なすようにしてもよい。表示判定部４２ｆは、復元画像６２の表示が開始されてから、例えば、３０分が経過した場合、非表示条件が成立したと判定し、復元画像６２の表示を終了（禁止）して、汚れ６０が存在する非復元画像を表示するようにしてもよい。
【００５５】
報知部４２ｇは、復元処理部４２ｅが撮像画像５８に汚れ６０が存在していると判定した場合、汚れ６０が存在していることを利用者に報知する。報知部４２ｇは、復元画像６２が表示されている場合に実行される復元画像６２の表示報知と、復元画像６２の非表示条件が成立している場合に実行される復元画像６２の非表示報知と、の少なくとも一方を実行する。また、報知部４２ｇは、復元画像６２の表示が行われている場合、利用者の降車を可能とする車両操作が行われたときに、撮像部１４の清掃を促す報知を実行する。報知部４２ｇは、例えば、ＲＯＭ２４ｂの報知データ格納部４４ｄに格納された報知メッセージを読み出して、表示装置１６に表示させてもよいし、音声メッセージを読み出して音声出力装置１８を介して出力するようにしてもよい。また、それらを組み合わせて実施してもよい。報知データ格納部４４ｄに格納されているメッセージは、定型のメッセージでもよいし、複数のメッセージワードを組み合わせて、状況に応じたメッセージを構成するものでもよい。
【００５６】
図６は、復元画像６８が表示されている場合に実行される復元画像６８の「表示報知」の一例を示す模式的な説明図である。図６示されるように、表示装置１６に復元画像６８を表示する場合、表示装置１６は、例えば、画像表示領域１６ａとメッセージ表示領域１６ｂとに分割される。図６の場合、画像表示領域１６ａには、復元領域６４においてガードレール６６ａやフェンス６６ｂ等が復元された復元画像６８が表示されている。図６の場合、説明のため、復元領域６４を示しているが、実際の復元画像６８では、復元領域６４は識別されにくいように復元が行われる。メッセージ表示領域１６ｂには、復元画像６８の表示報知として、メッセージ７０（復元時メッセージ）が表示される。メッセージ７０は、例えば、「現在、復元表示モード表示中です。周囲の確認を十分に行ってください。安全な場所に停車して、カメラレンズのクリーニングを行うことをお勧めします。」等の内容とすることができる。このように、復元画像６８の「表示報知」の場合、復元画像６８の表示を肯定しつつ、撮像部１４の清掃を推奨する程度の報知とすることができる。なお、上述したようなメッセージ７０の内容は、復元画像６８の表示が開始された後、所定の期間、例えば、１５秒程度実行し、その後は、「復元モード表示中」のみの部分メッセージを画像表示領域１６ａの一部に表示するようにしてもよい。これにより、メッセージ表示領域１６ｂの表示領域を画像表示領域１６ａの表示領域として利用可能となり、復元画像６８をより大きく表示することができる。また、メッセージ７０の過剰な表示で利用者に煩わしさを与えてしまうことを抑制することができる。なお、メッセージ７０の表示やメッセージ７０に代えて表示する「復元モード表示中」等の部分メッセージは、利用者の注意をより喚起できるように、識別し易く、かつ強調しすぎない表示色(例えば、黄色やオレンジ色)で表示することができる。また、メッセージ７０の表示や部分メッセージの表示を周期的に行うようにしても、過剰なメッセージ表示を抑制することができる。なお、メッセージ７０等のメッセージ内容は、一例であり適宜変更することができる。また、メッセージ７０に代えて、音声で同様な内容の音声メッセージを音声出力装置１８等から出力するようにしてもよい。また、メッセージ７０の表示と、音声メッセージの出力の両方を行うようにしてもよい。
【００５７】
図７は、非復元画像７２が表示されている場合に実行される非復元画像７２の「非表示報知」の一例を示す模式的な説明図である。図７示されるように、復元画像６８を表示する場合と同様に、表示装置１６に非復元画像７２を表示する場合、表示装置１６は、例えば、画像表示領域１６ａとメッセージ表示領域１６ｂとに分割される。図７の場合、画像表示領域１６ａには、汚れ６０により、ガードレール６６ａやフェンス６６ｂ等の一部が隠蔽された非復元画像７２が表示されている。メッセージ表示領域１６ｂには、非復元画像７２の表示報知として、メッセージ７４（非復元時メッセージ）が表示される。メッセージ７４は、例えば、「現在、復元表示モードは使えません。周囲の確認を十分に行ってください。安全な場所に停車して、カメラレンズのクリーニングを行ってください。」等の内容とすることができる。このように、非復元画像７２の「非表示報知」の場合、非復元画像７２の表示を明示しつつ、撮像部１４の清掃を実施することを報知する。なお、上述したようなメッセージ７４の内容は、非復元画像７２の表示に切り替わった後、所定の期間、例えば、１５秒程度で、その後は、「復元モード表示不可」および「カメラレンズのクリーニング」等の部分メッセージを画像表示領域１６ａの一部に表示してもよい。これにより、メッセージ表示領域１６ｂの表示領域を画像表示領域１６ａの表示領域として利用可能となり、非復元画像７２をより大きく表示し、汚れ６０の存在を利用者に早期に気づかせやすくすることができる。逆に、メッセージ表示領域１６ｂの表示領域を広げて、メッセージ７４の表示により、復元モードの表示不可や早急な撮像部１４の清掃の必要性を利用者に早期に気づかせやすくしてもよい。なお、メッセージ７４の表示やメッセージ７４に代えて表示する部分メッセージは、利用者の注意を喚起するために、識別し易い表示色(例えば、赤色等)で表示することができる。なお、メッセージ７４等のメッセージ内容は、一例であり適宜変更することができる。また、メッセージ７４に代えて、音声で同様な内容の音声メッセージを音声出力装置１８等から出力するようにしてもよい。また、メッセージ７４の表示と、音声メッセージの出力の両方を行うようにしてもよい。なお、撮像部１４の清掃を実施することを報知するメッセージは、非復元画像７２の表示中の他、特に非表示条件が成立した場合、つまり、利用者が降車するタイミングで、報知するようにしてもよい。これにより、降車時に撮像部１４の清掃が必要であることを利用者に強く認識させやすくなる。なお、この場合、汚れ６０が付着した撮像部１４を特定するメッセージや撮像部１４のレンズ上における汚れ６０の位置を示すメッセージを併せて提供してもよい。これにより、より確実な撮像部１４の清掃を実行させやすくなる。
【００５８】
出力部４２ｈは、復元処理部４２ｅで生成された復元画像６８や復元画像６８の表示が禁止された場合の非復元画像７２、またそれらの画像に対応するメッセージ７０やメッセージ７４を表示制御部２４ｄに出力し、表示装置１６で表示させる。また、音声メッセージを音声制御部２４ｅに出力し音声出力装置１８から出力させる。
【００５９】
なお、図３に示すブロック図は、機能毎に分類したモジュールで記載しているが、各機能を適宜統合したり、分割したりしてもよい。
【００６０】
以上のように構成される周辺監視装置（周辺監視部４２）による撮像画像の復元処理の流れの一例を図８のフローチャートを用いて説明する。なお、図８のフローは、車両１０の電源がＯＮになっている間、所定の処理周期で繰り返し実行されるものとする。
【００６１】
まず、車両１０（ＥＣＵ２４）の電源がＯＮされると、画像取得部４２ｂは、撮像部１４を動作させ撮像画像の取得を開始し（Ｓ１００）、逐次ＲＡＭ２４ｃの撮像画像格納部４６の格納して行く。そして、汚れ情報取得部４２ｃは、撮像部１４で撮像された撮像画像に対して、汚れ情報の取得を開始する（Ｓ１０２）。すなわち、撮像画像を、汚れ情報学習済みモデル格納部４４ａから呼び出した汚れ情報学習済みモデルに順次入力して、汚れの有無および汚れが存在する場合、その汚れの大きさと位置を示す汚れ情報を取得する。
【００６２】
続いて、受付部４２ａは、復元要求信号を受け付けているか否か確認し（Ｓ１０４）、復元要求信号を受け付けていない場合は（Ｓ１０４のＮｏ）、Ｓ１００に戻る。受付部４２ａは、例えば、利用者が操作入力部２０等を介して復元画像の表示を要求した場合（手動復元モード選択時）、または汚れ情報取得部４２ｃが取得した汚れ情報に基づき汚れを検出した場合（自動復元モード選択時）に、復元要求信号を受け付ける（Ｓ１０４のＹｅｓ）。受付部４２ａが復元要求信号を受け付けると、速度取得部４２ｄは、現在の車両１０の車速情報の取得を開始する（Ｓ１０６）。表示判定部４２ｆは、現在表示しようとしている撮像画像５８に汚れ６０が存在する否か（撮像部１４が汚れ状態か否か）を判定する（Ｓ１０８）。この判定は、前述したように、例えば、ＦＦＴ（フーリエ変換）処理を用いたり、時間的に前後する複数枚の撮像画像５８の表示内容を比較したりすることで実施することができる。また、汚れ情報取得部４２ｃの取得結果を利用して判定してもよい。そして、表示判定部４２ｆが、汚れ状態であると判定した場合（Ｓ１０８のＹｅｓ）、つまり、図５に示すように、撮像画像５８に汚れ６０が存在すると判定した場合、非表示条件が成立中か否か判定する（Ｓ１１０）。表示判定部４２ｆは、例えば、車両１０の利用者の降車を可能とする車両操作が行われた後に汚れ６０が継続して存在する場合、または復元画像６８の表示開始から所定期間、復元画像６８の表示が実行された場合に、非表示条件が成立していると見なす（Ｓ１１０のＹｅｓ）。この場合、表示判定部４２ｆは、復元画像６８の表示を終了（禁止）させる。そして表示判定部４２ｆは、非復元画像７２（汚れ６０あり）を表示装置１６の画像表示領域１６ａに表示させるとともに（Ｓ１１２）、メッセージ７４（非復元時メッセージ）を出力させてメッセージ表示領域１６ｂに表示させて（Ｓ１１４）、一旦このフローを終了する。
【００６３】
Ｓ１１０において、表示判定部４２ｆが非表示条件は成立していないと判定した場合（Ｓ１１０のＮｏ）、つまり、復元画像６８を表示してよい状態の場合、表示判定部４２ｆは、現在、復元処理が実行中であるか否かを判定する（Ｓ１１６）。そして、表示判定部４２ｆが、現在復元処置中であると判定した場合（Ｓ１１６のＹｅｓ）、復元処理部４２ｅは、現在の撮像画像５８に対して復元処理を実行し、復元画像６８を生成する（Ｓ１１８）。そして、出力部４２ｈは、復元された復元画像６８を表示制御部２４ｄに出力し、表示装置１６の画像表示領域１６ａに表示させる（Ｓ１２０）。また、出力部４２ｈは、メッセージ７０（復元時メッセージ）を出力させてメッセージ表示領域１６ｂに表示させる（Ｓ１２２）。この時点で、表示判定部４２ｆが、非表示条件は成立していないと判定している場合（Ｓ１２４のＮｏ）、一旦このフローを終了する。つまり、車両の利用者の降車を可能とする車両操作が行われたり、復元画像６８の表示を開始してから所定期間が経過していなかったりする場合、復元画像６８の表示を継続する。
【００６４】
Ｓ１２４において、表示判定部４２ｆが、非表示条件が成立したと判定した場合（Ｓ１２４のＹｅｓ）、出力部４２ｈは、復元画像６８の表示を終了させて、非復元画像７２（汚れ６０あり）を表示装置１６の画像表示領域１６ａに表示させる（Ｓ１２６）。また、表示判定部４２ｆは、復元画像６８の復元を許可する復元可能フラグを一旦「ＯＦＦ」する（Ｓ１２８）。そして、出力部４２ｈは、メッセージ７４（非復元時メッセージ）を出力させて（Ｓ１３０）、メッセージ表示領域１６ｂに表示させて、一旦このフローを終了する。
【００６５】
Ｓ１１６において、現在、復元処理中ではない場合（Ｓ１１６のＮｏ）、つまり、汚れ６０が存在し、これから復元画像６８の生成を開始する状況の場合、表示判定部４２ｆは、復元中フラグを「ＯＮ」し（Ｓ１３２）、出力部４２ｈに、表示装置１６において復元画像６８の表示を開始することを示す「復元開始メッセージ」を出力させて（Ｓ１３４）、Ｓ１１８に移行する。
【００６６】
Ｓ１０８において、表示判定部４２ｆが、汚れ状態ではないと判定した場合（Ｓ１０８のＮｏ）、つまり、ＦＦＴ（フーリエ変換）処理を用いたり、時間的に前後する複数枚の撮像画像５８の表示内容を比較したりすることにより、汚れ６０の存在が確認できない場合である。この場合、表示判定部４２ｆは、復元中フラグが「ＯＮ」または、復元可能フラグが「ＯＦＦ」である場合（Ｓ１３６のＹｅｓ）、復元中フラグを「ＯＦＦ」、復元可能フラグを「ＯＮ」にする（Ｓ１３８）。そして、出力部４２ｈに、非復元画像、つまり、汚れ６０が存在しない、撮像画像５８を通常通り、表示装置１６に表示させて、このフローを一旦終了する。この場合、特にメッセージは不要であり、表示装置１６は、メッセージ表示領域１６ｂの領域を用いて拡大された画像表示領域１６ａを表示とすることができる。
【００６７】
このように本実施形態の周辺監視装置（周辺監視部４２）によれば、撮像画像に汚れが含まれる場合、その汚れがないかのように見せる復元画像の表示を可能にする。ただし、非表示条件が成立した場合、それ以降は復元画像の表示が行われない。すなわち、復元画像の表示は、応急処置的に、車両１０の運転の一区切りである「ワントリップ」限定で実行される。または、復元画像は、ワントリップ中で復元画像の表示が開始されてから所定期間限定で表示可能となる。その結果、一時的に復元画像が利用できるものの、継続して長期間利用され続けることが防止され、汚れ付着の都度汚れ清掃を行うことなく、周辺監視が継続できる使い勝手の良さと、復元画像が長期間表示され続けられることの回避による信頼性の確保をバランスよく実施しながら周辺監視装置を運用することができる。また、本実施形態は、ワントリップ終了後でも復元履歴を参照して、新たに車両１０の走行を開始する場合に、復元画像を表示するか非表示にするかを判定している。この場合、例えば、利用者（運転者等）が別人となった場合、つまり、過去の復元画像の表示の事実、撮像部１４の清掃の必要性の事実を知らない新たな利用者が車両１０に乗り込んだ場合でも、撮像部１４の清掃が行われていない場合、復元画像は非表示となる。したがって、復元画像が知らない間に表示し続けられることを確実に防止することができる。
【００６８】
また、上述の例では、非表示条件が成立した場合に、復元画像を非表示とする例を説明した。この場合、復元画像を生成し続けてもよいが、別の実施形態では、復元画像の生成を終了（禁止）して、表示されないようにしてもよく、同様の効果を得ることができる。なお、復元画像の表示が終了（禁止）された場合、他の周辺監視処理、例えば、障害物検出処理や、自走走行処理等は継続してもよいし、復元画像の非表示とともに終了（禁止）するようにしてもよい。
【００６９】
なお、上述した実施形態では、復元処理の実行の可否を汚れ６０の大きさと車両１０の車速により決定（変更）される閾値に基づいて判定したが、例えば、車両１０の操舵角や加速度等を考慮して閾値を変更してもよい。例えば、舵角センサ３６の検出値に基づき、車両１０が方向を大きく変えていることが検出された場合を考える。この場合、汚れの大きさが大きい場合や車速が遅い場合でも、最新撮像画像５８ａで汚れ６０により隠蔽されている領域でも時系列的に遡った過去画像５８ｂでは、汚れ６０で隠蔽されていな可能性が高まる。車両１０が加速された場合も同様である。したがって、舵角情報や加速度情報を用いることにより、閾値の最適化が可能になり、より適切に復元処理を実行することができる。また、情報取得部３８から取得可能な車両１０の位置情報や車両１０が存在する場所の天候情報を考慮して閾値を変更してもよい。例えば、激しい雨天で、撮像画像５８上の雨滴の数が極端に多いと判定される場合、各汚れ（雨滴）の大きさが小さい場合でも、復元処理を非実行とするように閾値を変更してもよい。
【００７０】
また、上述した実施形態では、例えば、前方画像について、汚れが存在しないかのように復元した例を示したが、他の撮像画像、例えば、後方画像、右側方画像、左側方画像についても、同様な処理により復元処理を実行することが可能で、同様の効果を得ることができる。また、俯瞰画像等の合成画像に対しても本実施形態の復元処理が適用可能であり、同様の効果を得ることができる。この場合、復元対象の撮像画像や合成画像は、操作入力部２０等により指定するようにしてもよいし、表示装置１６に表示する画像や周辺監視で用いる画像データに応じて自動的に選択されるようにしてもよい。
【００７１】
本実施形態の周辺監視部４２（ＣＰＵ２４ａ）で実行される復元処理のための周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７２】
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７３】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、１６ａ…画像表示領域、１６ｂ…メッセージ表示領域、１８…音声出力装置、２０…操作入力部、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｂ…ＲＯＭ、２４ｃ…ＲＡＭ、２６…シフトセンサ、２８…パーキングブレーキセンサ、３０…ドア開閉センサ、３２…ＩＧＳＷセンサ、３４…車輪速センサ、３６…舵角センサ、３８…情報取得部、４２…周辺監視部、４２ａ…受付部、４２ｂ…画像取得部、４２ｃ…汚れ情報取得部、４２ｄ…速度取得部、４２ｅ…復元処理部、４２ｅ１…復元実行判定部、４２ｅ２…閾値変更部、４２ｆ…表示判定部、４２ｇ…報知部、４２ｈ…出力部、４４ａ…汚れ情報学習済みモデル格納部、４４ｂ…学習済みモデル格納部、４４ｃ…閾値データ格納部、４４ｄ…報知データ格納部、４６…撮像画像格納部、４８…復元履歴格納部、５８…撮像画像、５８ａ…最新撮像画像、５８ｂ…過去画像、６０…汚れ、６２，６８…復元画像、６４…復元領域、７０，７４…メッセージ、７２…非復元画像。
【図１】
2020138569.tif 000003
【図２】
2020138569.tif 000004
【図３】
2020138569.tif 000005
【図４】
2020138569.tif 000006
【図５】
2020138569.tif 000007
【図６】
2020138569.tif 000008
【図７】
2020138569.tif 000009
【図８】
2020138569.tif 000010