(57)【要約】【課題】車載カメラのレンズ等の異常を診断するにあたり、誤判定を抑制する。【解決手段】撮影異常診断装置は、車載カメラによって撮影された車両周囲の画像を取得する画像取得部３１と、三次元センサによって検出された車両周囲の三次元情報を取得する三次元情報取得部３２と、三次元情報取得部によって取得された三次元情報に基づいて画像上の物体が表されているべき領域を特定する領域特定部３４と、画像の解析により画像の所定の領域に物体が写っている度合いである映り度合いを検出する映り度合い検出部３５と、物体が表されているべき領域における映り度合いが所定度合い以下であるときには車載カメラによる撮影に異常が生じていると判断する診断部３６と、を備える。【選択図】図３
2020088420.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラによって撮影された車両周囲の画像を取得する画像取得部と、
三次元センサによって検出された車両周囲の三次元情報を取得する三次元情報取得部と、
前記三次元情報取得部によって取得された三次元情報に基づいて前記画像上の物体が表されているべき領域を特定する領域特定部と、
前記画像の解析により前記画像の所定の領域に物体が写っている度合いである映り度合いを検出する映り度合い検出部と、
前記物体が表されているべき領域における前記映り度合いが所定度合い以下であるときには前記車載カメラによる撮影に異常が生じていると判断する診断部と、を備える、撮影異常診断装置。
【請求項２】
前記映り度合いとして画像のテクスチャ度合いが用いられ、画像のテクスチャ度合いが高いほどその画像への映り度合いが高いものとして扱われる、請求項１に記載の撮影異常診断装置。
【請求項３】
前記映り度合いとして、画像の中の各領域に物体が存在する確信度が用いられ、確信度が高いほどその画像への映り度合いが高いものとして扱われる、請求項１に記載の撮影異常診断装置。
【請求項４】
前記映り度合い検出部は、前記物体が表されているべき領域のみにおける映り度合いを検出する、請求項１〜３のいずれか１項に記載の撮影異常診断装置。
【請求項５】
前記診断部は、前記領域特定部によって特定された領域が同じ領域である複数の画像について前記映り度合い検出部によって検出されたその領域における映り度合いの時系列処理による統計値が所定値以下であるときに前記車載カメラによる撮影に異常が生じていると判断する、請求項１〜４のいずれか１項に記載の撮影異常診断装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮影異常診断装置を備えた車両であって、当該車両の周囲を撮影する車載カメラと、当該車両の周囲の三次元情報を検出する三次元センサとを備え、前記車載カメラと前記三次元センサとは当該車両の異なる部位に取り付けられる、車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮影異常診断装置及び撮影異常診断装置を備えた車両に関する。
【背景技術】
【０００２】
近年、多くの車両に、車両の周囲を撮影する車載カメラが設けられている。斯かる車載カメラは、例えば、車両周辺の状況をモニタして危険を感知した際にドライバに警告するためや、車両を部分的に又は完全に自律的に運転させるために用いられる。
【０００３】
車両の周囲を撮影する車載カメラでは、そのレンズや、レンズの前方に設けられた防護部材（例えば、窓ガラス等）に、水滴、雪、泥、粉塵といった汚れが付着することがある。このような汚れが付着すると、撮影された画像に汚れが写り込み、ドライバへの警告や車両の自律的な運転を適切に行うことができなくなる。
【０００４】
そこで、車載カメラのレンズ等の汚れを検出する装置が提案されている（例えば、特許文献１）。特に、特許文献１に記載の装置は、車載カメラによって撮影された画像の各領域毎にその領域内の画像の高周波成分の強度を算出し、算出された強度に基づいて車載カメラのレンズの汚れの有無を判定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０２６９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載の装置では、各領域の高周波成分の強度が低いときに、その領域に対応するレンズ等の位置に汚れが付着していてレンズ等に異常が生じていると判定している。しかしながら、車載カメラによって撮影された画像は、例えば、建物の大きな壁等を含むことがあり、斯かる壁が表された領域では高周波成分の強度が低くなる。この場合、レンズ等の異常を誤判定してしまうことになる。
【０００７】
上記課題に鑑みて、本開示の目的は、車載カメラのレンズ等の異常を診断するにあたり、誤判定を抑制することにある。
【課題を解決するための手段】
【０００８】
本開示の要旨は以下のとおりである。
【０００９】
（１）車載カメラによって撮影された車両周囲の画像を取得する画像取得部と、三次元センサによって検出された車両周囲の三次元情報を取得する三次元情報取得部と、前記三次元情報取得部によって取得された三次元情報に基づいて前記画像上の物体が表されているべき領域を特定する領域特定部と、前記画像の解析により前記画像の所定の領域に物体が写っている度合いである映り度合いを検出する映り度合い検出部と、前記物体が表されているべき領域における前記映り度合いが所定度合い以下であるときには前記車載カメラによる撮影に異常が生じていると判断する診断部と、を備える、撮影異常診断装置。
【００１０】
（２）前記映り度合いとして画像のテクスチャ度合いが用いられ、画像のテクスチャ度合いが高いほどその画像への映り度合いが高いものとして扱われる、上記（１）に記載の撮影異常診断装置。
【００１１】
（３）前記映り度合いとして、画像の中の各領域に物体が存在する確信度が用いられ、確信度が高いほどその画像への映り度合いが高いものとして扱われる、上記（１）に記載の撮影異常診断装置。
【００１２】
（４）前記映り度合い検出部は、前記物体が表されているべき領域のみにおける映り度合いを検出する、上記（１）〜（３）のいずれか一つに記載の撮影異常診断装置。
【００１３】
（５）前記診断部は、前記領域特定部によって特定された領域が同じ領域である複数の画像について前記映り度合い検出部によって検出されたその領域における映り度合いの時系列処理による統計値が所定値以下であるときに前記車載カメラによる撮影に異常が生じていると判断する、上記（１）〜（４）のいずれか一つに記載の撮影異常診断装置。
【００１４】
（６）上記（１）〜（５）のいずれか一つに記載の撮影異常診断装置を備えた車両であって、当該車両の周囲を撮影する車載カメラと、当該車両の周囲の三次元情報を検出する三次元センサとを備え、前記車載カメラと前記三次元センサとは当該車両の異なる部位に取り付けられる、車両。
【発明の効果】
【００１５】
本開示によれば、車載カメラのレンズ等の異常を診断するにあたり、誤判定が抑制される。
【図面の簡単な説明】
【００１６】
【図１】図１は、本実施形態に係る撮影異常診断装置が実装される車両の構成を概略的に示す図である。
【図２】図２は、ＥＣＵのハードウェア構成図である。
【図３】図３は、撮影異常検出処理に関するＥＣＵの機能ブロック図である。
【図４】図４は、三次元センサ及び車載カメラの三次元座標並びに画像座標の関係を概略的に示す図である。
【図５】図５は、車載カメラによって撮影されて画像取得部によって取得された画像の一例を示している。
【図６】図６は、車載カメラによって撮影されて画像取得部によって取得された画像の一例を示している。
【図７】図７は、第一実施形態に係る撮影異常診断処理を示すフローチャートである。
【図８】図８は、第二実施形態に係る撮影以上診断処理を示す、図７と同様なフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、一つの実施形態に係る撮影異常診断装置及び撮影異常診断装置を備える車両について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
【００１８】
＜第一実施形態＞
≪車両の構成≫
図１は、本実施形態に係る撮影異常診断装置が実装される車両の構成を概略的に示す図である。図１に示したように、車両１は、車載カメラ２、三次元センサ３、第一ワイパ４及び第二ワイパ５及び電子制御ユニット（ＥＣＵ）６を備える。車載カメラ２、三次元センサ３、第一ワイパ４、第二ワイパ５及びＥＣＵ６は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク７を介して互いに通信可能に接続される。
【００１９】
車載カメラ２は、車両周囲の所定範囲を撮影してその範囲の画像を生成する。車載カメラ２は、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。
【００２０】
本実施形態では、車載カメラ２は、車両１に設けられ、車両１の周囲を撮影する。具体的には、車載カメラ２は、車両１のフロントウィンドウの内側に設けられ、車両１の前方領域を撮影する。例えば、車載カメラ２は車両１のフロントウィンドウの中央上部に設けられる。車載カメラ２は、車両１のイグニッションスイッチがオンである間、所定の撮影間隔（例えば１／３０秒〜１／１０秒）毎に車両１の前方領域を撮影し、前方領域の画像を生成する。車載カメラ２によって生成された画像は、車載カメラ２から車内ネットワーク７を介してＥＣＵ６に送信される。車載カメラ２によって生成される画像はカラー画像であってもよいし、グレー画像であってもよい。
【００２１】
三次元センサ３は、車両周囲の所定範囲における三次元情報を検出する。三次元センサ３は、例えば、三次元センサ３からの各方向に存在する対象物までの距離を計測することで車両周囲の三次元情報を検出する。三次元情報は、例えば、車両１周りの各方向に存在する対象物までの点群データである。三次元センサ３は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）又はミリ波レーダーである。
【００２２】
本実施形態では、三次元センサ３は、車両１に設けられ、車両１の周囲の三次元情報を検出する。具体的には、三次元センサ３は、車両１の前端部付近に設けられ、車両１の前方領域における三次元情報を検出する。例えば、三次元センサ３は、バンパ内に設けられる。三次元センサ３は、車両１のイグニッションスイッチがオンである間、所定の周期で前方領域を走査し、車両１の周りの対象物までの距離を計測する。三次元センサ３によって生成された三次元情報は、三次元センサ３から車内ネットワーク７を介してＥＣＵ６に送信される。
【００２３】
なお、車載カメラ２及び三次元センサ３は、互いに車両１の異なる部位に取り付けられれば、ルームミラーの背面やバンパ内とは異なる位置に設けられてもよい。具体的には、例えば、車載カメラ２や三次元センサ３は、車両１の天井の上に設けられてもよいし、車両１のフロントグリルの中に設けられてもよい。特に、車載カメラ２及び三次元センサ３が共に同じ部品（例えば、フロントウィンドウ）に設けられるような場合には、車載カメラ２が中央上部に、三次元センサ３が中央側部に取り付けられるなど、同じ部品の異なった部位に取り付けられる。
【００２４】
また、車載カメラ２は車両１の後方領域を撮影するように設けられてもよい。同様に、三次元センサ３は、車両１の後方領域における三次元情報を検出するように設けられてもよい。
【００２５】
第一ワイパ４は、車両１のフロントウィンドウを拭くように、フロントウィンドウの前方に配置される。第一ワイパ４は、フロントウィンドウ前を往復揺動するように駆動され、駆動されると車載カメラ２の前方のフロントウィンドウの汚れを拭き取ることができる。第二ワイパ５は、三次元センサ３の周りのバンパの部分（三次元センサのレーザを透過するような材料で形成された部分）を拭くように、バンパに配置される。第二ワイパ５は、バンパ前を往復揺動するように駆動され、駆動されると三次元センサ３の前方のバンパの部分の汚れを拭き取ることができる。第一ワイパ４及び第二ワイパ５には、共に車内ネットワーク７を介してＥＣＵ６から駆動信号が送信される。
【００２６】
ＥＣＵ６は、車載カメラ２による撮影に異常を診断する撮影異常診断装置として機能する。加えて、ＥＣＵ６は、車載カメラ２によって撮影された画像及び三次元センサ３によって検出された三次元情報に基づいて車両１が自律的に運転されるように車両１を制御してもよい。
【００２７】
図２は、ＥＣＵ６のハードウェア構成図である。図２に示したように、ＥＣＵ６は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。
【００２８】
通信インターフェース２１は、ＥＣＵ６を車内ネットワーク７に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は車内ネットワーク７を介して車載カメラ２及び三次元センサ３に接続される。そして、通信インターフェース２１は、車載カメラ２から画像を受信し、受信した画像をプロセッサ２３に伝送する。同様に、通信インターフェース２１は、三次元センサ３から三次元情報を受信し、受信した三次元情報をプロセッサ２３に伝送する。
【００２９】
メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用される各種データ等を記憶する。例えば、メモリ２２は、車載カメラ２から受信した画像、三次元センサ３によって検出された三次元情報、地図情報等を記憶する。また、メモリ２２は、プロセッサ２３によって各種処理を実行するためのコンピュータプログラムを記憶する。
【００３０】
プロセッサ２３は、一つ又は複数のＣＰＵ（Central Processing Unit）及びその周辺回路を有する。プロセッサ２３は、更にＧＰＵ（Graphics Processing Unit）を有していてもよい。プロセッサ２３は、車両１のイグニッションスイッチがオンである間、三次元センサ３から三次元情報を受信する毎に、撮影異常診断処理を実行する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような他の演算回路を更に有していてもよい。
【００３１】
また、プロセッサ２３は、車載カメラ２によって撮影された画像及び三次元センサ３によって検出された三次元情報に基づいて、車両１が自律的に運転されるように車両１を制御する車両制御処理を実行するように構成されてもよい。
【００３２】
≪撮影異常検出処理≫
図３は、撮影異常検出処理に関するＥＣＵ６の機能ブロック図である。ＥＣＵ６は、画像取得部３１、三次元情報取得部３２、物体検出部３３、領域特定部３４、映り度合い検出部３５及び診断部３６を有する。ＥＣＵ６のこれら機能ブロックは、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ２３に設けられた専用の演算回路であってもよい。
【００３３】
画像取得部３１は、車載カメラ２によって撮影されて通信インターフェース２１へ送信された車両周囲の画像を取得する。画像取得部３１は、取得した画像を映り度合い検出部３５へ送信する。
【００３４】
三次元情報取得部３２は、三次元センサ３によって検出されて通信インターフェース２１へ送信された車両周囲の三次元情報を取得する。三次元情報取得部３２は、取得した三次元情報を物体検出部３３へ送信する。
【００３５】
物体検出部３３は、三次元情報取得部３２によって取得された三次元情報に基づいて、車両１周りの物体の位置及び大きさを検出する。三次元情報が車両１周りの各方向に存在する対象物までの点群データである場合には、例えば、物体検出部３３は、まず、この点群データに対してフィルタリング処理を行い、不要な情報を除去する。フィルタリング処理では、例えば、点群データから地面を計測したと推定される点群が検出され、それら点群が除去される。その後、物体検出部３３は、残った点群データに対してクラスタリング処理を行い、これによって車両１周りの物体の位置及び大きさが検出される。クラスタリング処理では、例えば、一定距離以内に存在する点群は同一物体を表すものとしてクラスタリングが行われる。したがって、各クラスタが一つの同一物体を表すものとして取り扱われる。たとえば、物体検出部３３では、各クラスタに含まれる点群データにおける三次元センサ３からの平均的な距離や方向に基づいてその物体の位置が検出され、各クラスタの高さｈや幅ｗから物体の大きさが検出される。物体検出部３３は、検出した各物体の位置及び大きさを含むデータを領域特定部３４へ送信する。
【００３６】
なお、物体検出部３３は、三次元情報に基づいて車両１周りの物体の位置及び大きさを検出することができれば、上記方法以外の任意の方法で検出を行ってもよい。例えば、物体検出部３３は、畳み込み層を備えたニューラルネットワーク（ＣＮＮ）によって検出を行ってもよい。この場合、ＣＮＮの入力層の各ノードに、三次元情報の点群データにおける各点の値が入力される。また、ＣＮＮで用いられる重みの値は、正解データを含む教師データを用いて予め学習される。
【００３７】
領域特定部３４は、物体検出部３３によって検出された各物体の位置及び大きさに基づいて、その物体が画像取得部３１によって取得された画像に表されたときにその画像内においてその物体が表されているべき領域を特定する。具体的には、領域特定部３４は、例えば、三次元センサ３における座標系と車載カメラ２における座標系との座標変換を用いて、画像内に物体が表されているべき領域を特定する。
【００３８】
図４は、三次元センサ３及び車載カメラ２の三次元座標並びに画像座標の関係を概略的に示す図である。図４からわかるように、三次元センサ３を原点とする座標系（Ｘs、Ｙs、Ｚs）と、車載カメラ２を原点とする座標系（Ｘｃ、Ｙc、Ｚc）は別々の座標系となっている。そして、三次元センサ３を原点とする座標系（Ｘs、Ｙs、Ｚs）における或る三次元点の座標（ｘs、ｙs、ｚs）は、車載カメラ２を原点とする座標系における座標（ｘc、ｙc、ｚc）に変換することができる。そして、車載カメラ２を原点とする座標系における上記三次元点の座標（ｘc、ｙc、ｚc）がわかれば、その三次元点が画像に表されたときのその三次元点の画像上の座標（ｕ、ｖ）を特定することができる。
【００３９】
したがって、本実施形態では、領域特定部３４は、同じ物体を表すとしてクラスタリングされた三次元点の集合（または、その一部）の三次元座標を、三次元センサ３を原点とする座標系（Ｘs、Ｙs、Ｚs）から車載カメラ２を原点とする座標系（Ｘc、Ｙc、Ｚc）へ変換する。その後、領域特定部３４は、車載カメラ２を原点とする座標系に変換された同じ物体を表す三次元点の集合（またはその一部）に基づいて、その物体が画像に表されたときのその物体の二次元座標（ｕ、ｖ）の集合を算出する。その後、領域特定部３４は、物体が画像に表されたときに画像内においてその物体が表されているべき領域を特定する。
【００４０】
図５は、車載カメラ２によって撮影されて画像取得部３１によって取得された画像の一例を示している。図５に示したように、画像取得部３１によって取得された画像１００は、任意の画像サイズの領域Ｒに分割される。各領域の画像サイズは、例えば、縦×横が３２画素×３２画素である。図５に示した例では、画像１００は、縦方向が６つに分割され、横方向が８つに分割されている。図５に示した例では、縦方向において上からｍ番目であって横方向において左からｎ番目の領域は、Ｒmnで表される。
【００４１】
図５に示した画像には、中心付近に車両１周囲の物体（車両）１１０が表されている。領域特定部３４は、三次元センサ３によって検出された三次元情報に基づいて物体１１０が表されているべき領域を特定する。図５に示した例では、領域特定部３４は、領域Ｒ34、Ｒ35、Ｒ44及びＲ45を物体が表されているべき領域として特定することになる。
【００４２】
なお、図５に示した画像には、道路も表されているが、物体としては認識されない。したがって、領域特定部３４は、道路のみが表されている領域（例えば、Ｒ52〜Ｒ76）を物体が表されているべき領域としては特定しない。
【００４３】
映り度合い検出部３５は、領域特定部３４によって物体が表されているべき領域が特定されたとき、すなわち領域特定部３４によって画像上の任意の領域に物体が表されているべきと判断されたときには、その画像の解析によりこの領域に物体が写っている度合いである映り度合いを検出する。映り度合いは、様々な指標で表すことができる。
【００４４】
映り度合いを表す一つの指標としては、例えば、テクスチャ度が挙げられる。テクスチャ度は、画像が平坦ではない度合い、すなわち画像の中に含まれる高周波成分又はエッジ成分の多さを表す。したがって、平坦度が高く、高周波成分やエッジ成分の少ない画像はテクスチャ度が低く、よって映り度合いが低いといえる。逆に、平坦度が低く、高周波成分やエッジ成分の多い画像はテクスチャ度が高く、よって映り度合いが高いといえる。
【００４５】
ここで、例えば、画像の中の物体が表されているべき領域に物体が正しく表されている場合には、その領域の画像は平坦度の低い画像となり、よってテクスチャ度の高い画像となる傾向にある。一方、車載カメラ２のレンズや、レンズの前方に設けられた防護部材（例えば、フロントウィンドウ等）に、水滴、雪、泥、粉塵といった汚れが付着している場合、汚れによる光の散乱又は遮蔽などにより、汚れが付着した領域はぼやけた画像又は平坦な画像となる。
【００４６】
図６は、車載カメラ２によって撮影されて画像取得部３１によって取得された画像の一例を示している。特に、図６に示した画像は、車載カメラ２のレンズ等に汚れが付着していて、この汚れ１２０により領域Ｒ34、Ｒ35、Ｒ44及びＲ45において画像がぼやけている場合を示している。
【００４７】
図６からわかるように、汚れが付着した領域（Ｒ34、Ｒ35、Ｒ44及びＲ45）の画像は平坦度の高い画像となり、よってテクスチャ度の低い画像となる傾向にある。特に、領域Ｒ34、Ｒ35、Ｒ44及びＲ45は物体１１０が表されているべき領域であるため、汚れが無ければテクスチャ度が高くなるはずである。したがって、物体が表されていると判断された領域のテクスチャ度を検出することによって、その領域における汚れの有無を診断することができる。
【００４８】
画像のテクスチャ度は、例えば、画像の中に含まれる高周波成分の多さに基づいて評価される。この場合、高周波成分が多いほどテクスチャ度は高いと判断される。各領域Ｒにおける周波数の解析は、任意の公知の方法によって行われる。具体的には、例えば、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）や、高速フーリエ変換（FFT：Fast Fourier Transform）によって各周波数成分の強度が算出される。このうち、或る特定の閾値以上の高周波成分の強度がテクスチャ度として用いられる。
【００４９】
或いは、画像のテクスチャ度は、画像の中に含まれるエッジ成分の多さに基づいて評価されてもよい。この場合、エッジ成分が多いほどテクスチャ度は高いと判断される。各領域Ｒにおけるエッジ成分の抽出は、任意の公知の方法によって行われる。具体的には、例えば、ラプラシアン法、ソーベル法、キャニー法等によって各領域Ｒにおけるエッジ成分の抽出が行われる。ラプラシアン法を例にとると、各領域の画像に対してラプラシアンフィルタによってフィルタリング処理を行った際の出力値（エッジ近傍において出力値が大きくなる）が或る特定の閾値以上である点の個数がテクスチャ度として用いられる。
【００５０】
或いは、画像のテクスチャ度は、画像の各点における分散に基づいて評価されてもよい。この場合、分散が大きいほどテクスチャ度は高いと判断される。具体的には、各領域の各点における分散は、各点の明度の分散や、ＲＧＢのうちの一つ又は複数の色の強度の分散として求められる。この場合、分散の値が或る特定の閾値以上である点の個数がテクスチャ度として用いられる。
【００５１】
映り度合いを表す別の一つの指標としては、例えば、画像の中の各領域に物体が表されている確信度（物体が存在する確率）が挙げられる。画像の或る領域に物体が表されている確信度が高いほど、その領域には物体がはっきりと表されていることから、その領域の映り度合いが高いといえる。
【００５２】
各領域に物体が表されている確信度は、例えば、畳み込み層を備えたニューラルネットワークを用いて算出される。この場合、ＣＮＮは、画像の各点の値（明度やＲＧＢデータ）が入力されると、画像の各領域に表されている確信度を出力する。したがって、ＣＮＮの入力層の各ノードには画像の各点の値（明度やＲＧＢデータ）が入力される。また、ＣＮＮの出力層の各ノードからは画像の各領域の確信度が出力される。また、ＣＮＮで用いられる重みの値は、正解データを含む教師データを用いて予め学習される。
【００５３】
なお、各領域に物体が表されている確信度は、その他の方法によって算出されてもよい。例えば、画像の各領域についてＨＯＧ（Histograms of Oriented Gradients）特徴量を算出し、算出された特徴量を識別器に入力することで確信度が算出されてもよい。
【００５４】
診断部３６は、映り度合い検出部３５によって検出された映り度合いが所定の基準度合い以下である場合には、車載カメラ２による撮影に異常が生じていると判断する。具体的には、診断部３６は、斯かる場合には、車載カメラ２のレンズ又はレンズの前方に設けられた防護部材に、汚れが付着していると判断する。
【００５５】
例えば、映り度合いとしてテクスチャ度が用いられている場合には、領域特定部３４によって物体が表されているべきと判断された領域のテクスチャ度が所定の閾値以下である場合には車載カメラ２による撮影に異常が生じていると判断する。この場合、具体的には、或る領域に含まれる周波数成分のうち特定の閾値以上の周波数成分の強度が、所定の閾値以下である場合には異常が生じていると判断される。また、映り度合いとして確信度が用いられている場合には、領域特定部３４によって物体が表されているべきと判断された領域の確信度が所定の閾値以下である場合には車載カメラ２による撮影に異常が生じていると判断する。
【００５６】
診断部３６による診断結果は、撮影異常検出処理とは異なる、ＥＣＵ６の別の処理に利用される。例えば、診断結果は、車両１に乗車している乗員への情報伝達を行うユーザインターフェース（ディスプレーやスピーカ）の制御を行うインターフェース制御処理に利用される。この場合、ＥＣＵ６は、車載カメラ２による撮影に異常が生じていると判断されたときには、ディスプレーやスピーカにより乗員に対して警告を行う。
【００５７】
また、診断部３６による診断結果は、車両１の各種機器を制御する機器制御処理に利用される。この場合、ＥＣＵ６は、車載カメラ２による撮影に異常が生じていると判断されたときには、車載カメラ２の前方のフロントウィンドウの汚れを拭き取るように第一ワイパ４を駆動する。
【００５８】
或いは、診断部３６による診断結果は、車両１が自律的に運転されるように車両１を制御する自動運転処理に利用される。この場合、ＥＣＵ６は、車載カメラ２による撮影に異常が生じていると判断されたときには、自動運転処理による自動運転を中止する。
【００５９】
≪フローチャート≫
次に、図７を参照して、撮影異常診断処理について説明する。図７は、撮影異常診断処理を示すフローチャートである。図７に示した撮影異常診断処理は、ＥＣＵ６のプロセッサ２３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、三次元センサ３からＥＣＵ６に三次元情報が送信される間隔である。
【００６０】
まず、ステップＳ１１において、画像取得部３１は、車載カメラ２から通信インターフェース２１を介して画像を取得する。同様に、三次元情報取得部３２は、三次元センサ３から通信インターフェース２１を介して三次元情報を取得する。取得した画像は、映り度合い検出部３５に入力され、取得した三次元情報は物体検出部３３に入力される。
【００６１】
次いで、ステップＳ１２では、物体検出部３３が、三次元情報に基づいて、車両１周りの物体の位置及び大きさを検出する。具体的には、物体検出部３３は、三次元情報を表す点群データに対してクラスタリングを行い、同一の物体を表す各クラスタに属する点群データに基づいて各物体の位置及び大きさが検出される。
【００６２】
次いで、ステップＳ１３では、領域特定部３４が、物体検出部３３によって検出された各物体が画像取得部３１によって取得された画像に表されたときにその画像内において各物体が表されているべき領域を特定する。具体的には、領域特定部３４は、例えば、三次元センサ３における座標系と車載カメラ２における座標系との座標変換を用いて、画像内に物体が表されているべき領域を特定する。
【００６３】
次いで、ステップＳ１４では、映り度合い検出部３５が、領域特定部３４によって特定された物体が表されているべき領域について、画像処理等を行うことにより、物体が写っている度合いである映り度合いＤを検出する。具体的には、映り度合い検出部３５は、物体が表されているべき領域について、テクスチャ度を算出する。或いは、映り度合い検出部３５は、物体が表されているべき領域について、その領域に任意の物体が表されている確信度を算出する。
【００６４】
次いで、ステップＳ１５では、ステップＳ１４において検出された或る領域についての映り度合いＤが、予め定められた基準度合いＤｒｅｆよりも大きいか否かが判定される。基準度合いＤｒｅｆは予め定められた一定値であってもよいし、物体が表されているべき領域に表されていると想定される物体の種類や物体までの距離等に応じて変化する値であってもよい。
【００６５】
ステップＳ１５において、映り度合いＤが基準度合いＤｒｅｆよりも大きいと判定された場合、すなわち映り度合いＤが高く、その領域には汚れ等は存在しないと考えられる場合には、ステップＳ１６へと進む。ステップＳ１６では、ステップＳ１３において特定された物体が表されているべき全ての領域についてステップＳ１５の処理が完了したか否かが判定される。未だ一部の領域については処理が完了していないと判定された場合にはステップＳ１５へと戻り、物体が表されているべき別の領域について映り度合いＤが基準度合いＤｒｅｆ以上であるか否かが判定される。一方、ステップＳ１６において、物体が表されているべき全ての領域について処理が完了していると判定された場合には、車載カメラ２による撮影に異常が生じていると判定されることなく制御ルーチンが終了せしめられる。
【００６６】
一方、ステップＳ１５において、映り度合いＤが基準度合いＤｒｅｆ以下であると判定された場合、すなわち映り度合いＤが低く、その領域には汚れ等が存在していると考えられる場合には、ステップＳ１７へと進む。ステップＳ１７では、車載カメラ２による撮影に異常が生じていると判定され、制御ルーチンが終了せしめられる。
【００６７】
≪作用・効果≫
本実施形態の撮影異常診断装置によれば、三次元センサ３によって検出された三次元情報に基づいて画像上に物体が表されているべき領域が特定され、その領域における映り度合いに基づいてその領域における異常診断が行われる。このため、大きな建物が写っているような領域、すなわち高周波成分の強度が低くなる領域については、異常診断が行われない。これにより、汚れ等が付着していないにも関わらず、車載カメラ２のレンズ等の異常を誤判定してしまうことが抑制される。
【００６８】
また、本実施形態では、車載カメラ２及び三次元センサ３は、互いに車両１の異なる部位に取り付けられている。したがって、車載カメラ２及び三次元センサ３は離れて配置されるため、これら車載カメラ２と三次元センサ３とに同一の汚れによって異常が生じてしまうことが抑制される。
【００６９】
≪変形例≫
【００７０】
上記実施形態では、映り度合い検出部３５は、領域特定部３４によって物体が表されているべきとして特定された領域のみについて映り度合いを検出している。しかしながら、一つの変形例では、映り度合い検出部３５は、領域特定部３４によって物体が表されているべきとして特定された領域のみならず、画像上の全ての領域について映り度合いを検出してもよい。この場合、映り度合い検出部３５は、画像上の全ての領域について、例えば、テクスチャ度や物体が表されている確信度を算出する。この場合、領域特定部３４によって領域が特定される前から各領域の映り度合いを検出することができるため、各領域の映り度合いを比較的早くに検出することができる。
【００７１】
＜第二実施形態＞
次に、図８を参照して、第二実施形態に係る撮影異常診断装置について説明する。以下では、第一実施形態に係る撮影異常診断装置及び撮影異常診断装置を備える車両とは異なる部分を中心に説明する。
【００７２】
上記第一実施形態では、診断部は、任意の領域に物体が表されているべきときの一つの画像に基づいて、その領域における汚れ等の異常診断を行っている。しかしながら、映り度合いにノイズ等が生じる可能性を考慮すると、一つの画像のみに基づいて異常診断を行った場合には誤判定される可能性がある。
【００７３】
そこで、本実施形態では、診断部３６は、領域特定部３４によって特定された領域が同じ領域である複数の画像について映り度合い検出部３５によって検出されたその領域における映り度合いの時系列処理による統計値を算出し、この統計値が所定値以下であるときに車載カメラ２による撮影に異常が生じていると判断するようにしている。
【００７４】
具体的には、領域特定部３４は、第一実施形態と同様に、或る時刻において三次元センサ３によって検出された三次元情報に基づいて、物体が表されているべき領域を特定する。また、映り度合い検出部３５は、第一実施形態と同様に、領域特定部３４によって特定された各領域における映り度合いＤｍｎを検出する。
【００７５】
本実施形態では、診断部３６は、任意の期間中に画像の中の或る領域について領域特定部３４によって物体が複数回表されているべきと判断された後に、映り度合い検出部３５によって複数回検出されたその領域における映り度合いＤｍｎの平均値Ｄａｖｍｎが算出される。そして、診断部３６は、この映り度合いの平均値Ｄａｖｍｎが所定の基準度合いＤｒｅｆ以下である場合には、車載カメラ２による撮影に異常が生じていると判断する。
【００７６】
なお、本実施形態では、異常診断に用いられる値として、或る領域Ｒｍｎについての映り度合いの時系列上の平均値Ｄａｖｍｎを用いている。しかしながら、異常診断に用いられる値は、公知の様々な時系列に沿ったフィルタリング手法によって求めることができる。斯かるフィルタリング手法としては、具体的には、例えばＩＩＲ（Infinite Impulse Response）フィルタが挙げられる。したがって、本実施形態では、診断部３６は、領域特定部３４によって特定された領域が同じ領域である複数の画像について映り度合い検出部３５によって検出されたその領域における映り度合いの時系列処理による統計値が所定値以下であるときに車載カメラによる撮影に異常が生じていると判断していると言える。
【００７７】
図８は、第二実施形態に係る撮影以上診断処理を示す、図７と同様なフローチャートである。図８に示したステップＳ２１、Ｓ２２はそれぞれ図７のステップＳ１１、Ｓ１２と同様であるため、説明を省略する。
【００７８】
ステップＳ１３では、領域特定部３４が、画像内において各物体が表されているべき領域Ｒｍｎを特定する。領域特定部３４は、物体が表されているべき領域が複数あるときにはその全ての領域Ｒｍｎを特定する。
【００７９】
ステップＳ２４では、映り度合い検出部３５が、領域特定部３４によって特定された各領域Ｒｍｎについて、画像処理等を行うことにより、物体が写っている度合いである映り度合いＤｍｎを検出する。特定された領域が複数あるときには、その全ての領域Ｒｍｎについて映り度合いＤｍｎを検出する。
【００８０】
次いで、ステップＳ２５では、領域特定部３４によって特定された各領域Ｒｍｎについて、その領域の映り度合いの総和ＴＤｍｎにステップＳ２４で算出されたその領域Ｒｍｎにおける映り度合いＤｍｎを加えた値が新たな総和とされる（ＴＤｍｎ＝ＴＤｍｎ＋Ｄｍｎ）。加えて、その領域Ｒｍｎに物体が表されているべきとして領域特定部３４によって特定された回数を表すカウンタＣｍｎに１が加算される（Ｃｍｎ＝Ｃｍｎ＋１）。さらに、各領域Ｒｍｎについて、映り度合いの総和ＴＤｍｎをカウンタＣｍｎの値で除算することによってその領域Ｒｍｎにおける映り度合いの平均値Ｄａｖｍｎが算出される（Ｄａｖｍｎ＝ＴＤｍｎ／Ｃｍｎ）。
【００８１】
次いで、ステップＳ２６では、或る領域Ｒｍｎについて、カウンタＣｍｎの値が基準値Ｃｒｅｆ（例えば、１０回）以上であるか否かが判定される。カウンタＣｍｎの値が基準値Ｃｒｅｆ未満であると判定された場合にはステップＳ２７がスキップされて、制御ルーチンはステップＳ２８へと進む。一方、ステップＳ２６において、カウンタＣｍｎの値が基準値Ｃｒｅｆ以上であると判定された場合には、ステップＳ２７へと進む。
【００８２】
ステップＳ２７では、或る領域Ｒｍｎについての映り度合いの平均値Ｄａｖｍｎが基準度合いＤｒｅｆよりも大きいか否かが判定される。ステップＳ２７において、映り度合いの平均値Ｄａｖｍｎが基準度合いＤｒｅｆよりも大きいと判定された場合、すなわち映り度合いＤが高く、その領域には汚れ等は存在しないと考えられる場合には、ステップＳ２８へと進む。ステップＳ２８では、ステップＳ１３において特定された全ての領域についてステップＳ２６、Ｓ２７の処理が完了したか否かが判定される。未だ一部の領域については処理が完了していないと判定された場合にはステップＳ２６へと戻り、ステップＳ２３で特定された全ての領域について処理が終わるまで、ステップＳ２６、Ｓ２７が繰り返される。一方、ステップＳ２８において、全ての領域について処理が完了したと判定された場合には、車載カメラ２による撮影に異常が生じていると判定されることなく制御ルーチンが終了せしめられる。
【００８３】
一方、ステップＳ２７において、或る領域Ｒｍｎについて映り度合いの平均値Ｄａｖｍｎが基準度合いＤｒｅｆ以下であると判定された場合、すなわち映り度合いＤが低く、その領域には汚れ等が存在していると考えられる場合には、ステップＳ２９へと進む。ステップＳ２９では、車載カメラ２による撮影に異常が生じていると判定され、制御ルーチンが終了せしめられる。
【００８４】
以上、一つの好適な実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、様々な修正及び変形を行うことができる。
【符号の説明】
【００８５】
１    車両
２    車載カメラ
３    三次元センサ
６    電子制御ユニット（ＥＣＵ）
３１    画像取得部
３２    三次元情報取得部
３３    物体検出部
３４    領域特定部
３５    映り度合い検出部
３６    診断部
【図１】
2020088420.tif 000003
【図２】
2020088420.tif 000004
【図３】
2020088420.tif 000005
【図４】
2020088420.tif 000006
【図５】
2020088420.tif 000007
【図６】
2020088420.tif 000008
【図７】
2020088420.tif 000009
【図８】
2020088420.tif 000010