(57)【要約】【課題】画像を生成する撮像装置およびそれらを撮像する光路上の光学部材の異常を環境によらず正確に判定することができる。【解決手段】画像処理装置２は、第１画像を受信する第１受信部５１と、第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を受信する第２受信部５２と、第１画像と第２画像との撮像範囲における共通部分に基づいて、第１画像または第２画像の異常を判定するコントローラ５３と、を備える。【選択図】図２
2019125942.tif 000002
【特許請求の範囲】
【請求項１】
第１画像を受信する第１受信部と、
前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を受信する第２受信部と、
前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を備える画像処理装置。
【請求項２】
前記第１受信部は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された前記第１画像を受信し、
前記第２受信部は、前記光学部材を介して前記被写体を撮像して生成された前記第２画像を受信する、請求項１に記載の画像処理装置。
【請求項３】
前記コントローラは、前記第１画像の前記共通部分における特性を示す第１画像特性値および前記第２画像の前記共通部分における特性を示す第２画像特性値に基づく画像特性比率を用いて前記異常を判定する請求項１または２に記載の画像処理装置。
【請求項４】
前記第１画像特性値は、前記第１画像の画素特徴値の分布の広さを示す第１分布幅であり、前記第２画像特性値は、前記第２画像の画素特徴値の分布の広さを示す第２分布幅であり、前記画素特徴値は、各画素の所定の特徴を示すものであり、
前記コントローラは、前記第１分布幅の前記第２分布幅に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
【請求項５】
前記第１画像特性値は、前記第１画像の画素特徴値の分布における、度数の最大値である第１最大度数であり、前記第２画像特性値は、前記第２画像の画素特徴値の分布における、度数の最大値である第２最大度数であり、前記画素特徴値は、各画素の所定の特徴を示すものであり、
前記コントローラは、前記第２最大度数に対する前記第１最大度数に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
【請求項６】
前記第１画像特性値は、前記第１画像において算出されるエッジ幅である第１エッジ幅であり、前記第２画像特性値は、前記第２画像において算出される前記第１画像で算出された前記エッジに対応するエッジの幅である第２エッジ幅であり、
前記コントローラは、前記第２エッジ幅に対する前記第１エッジ幅に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
【請求項７】
前記第１エッジ幅および前記第２エッジ幅は、各画素の所定の特徴を示す値を画素特徴値とするとき、前記エッジを含むエッジ領域で前記画素特徴値が変化する領域の幅である請求項６に記載の画像処理装置。
【請求項８】
前記画素特徴値が変化する領域は、前記エッジ領域における前記画素特徴値が、前記エッジ領域における前記画素特徴値の最小値より大きい下限側特徴値と前記エッジ領域における前記画素特徴値の最大値より小さい上限側特徴値との間にある領域である請求項７に記載の画像処理装置。
【請求項９】
前記第１画像特性値は、前記第１画像において抽出されるエッジを含むエッジ領域で画素特徴値の前記エッジに交差する方向の変化率が所定値以上となる領域の最大の画素特徴値と最小の画素特徴値との差である第１エッジレベルであり、前記第２画像特性値は、前記第２画像における前記第１画像における前記エッジ領域に対応する領域での前記画素特徴値の前記エッジに交差する方向の変化率が所定値以上となる領域の最大の画素特徴値と最小の画素特徴値との差である第２エッジレベルであり、前記画素特徴値は、各画素の所定の特徴を示すものであり、
前記コントローラは、前記第１エッジレベルの前記第２エッジレベルに対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
【請求項１０】
前記コントローラは、前記画像特性比率が０より大きく１より小さい第１値以下であると判定した場合、前記第１画像に異常があると判定し、前記第１画像を生成した第１撮像装置の光学系に付着した異物を除去するための異物除去制御を行う請求項４から９に記載の画像処理装置。
【請求項１１】
前記コントローラは、前記第１撮像装置を洗浄または加熱させることによって異物除去制御を行う請求項１０に記載の画像処理装置。
【請求項１２】
前記コントローラは、前記画像特性比率が前記第１値より低い第２値以下である場合、前記第１画像を生成する第１撮像装置に異常があると判定する請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記コントローラは、前記画像特性比率が１より大きい第３値以上であると判定した場合、前記第２画像に異常があると判定し、前記第２画像を生成した第２撮像装置の撮像素子に到達する光が透過する部材に付着した異物を除去するための異物除去制御を行う請求項４から９のいずれか一項に記載の画像処理装置。
【請求項１４】
前記コントローラは、前記部材を洗浄または加熱させることによって異物除去制御を行う請求項１３に記載の画像処理装置
【請求項１５】
前記コントローラは、前記画像特性比率が前記第３値より高い第４値以上である場合、前記第２画像を生成する第２撮像装置に異常があると判定する請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記画素特徴値は、輝度、彩度、または明度である請求項４から１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記コントローラは、前記第１画像に異常があると判定された場合、前記第２画像に基づいた画像を前記第１画像に異常がない場合に前記第１画像を送信する第１表示装置に送信し、前記第２画像に異常があると判定された場合、前記第１画像に基づいた画像を前記第２画像に異常がない場合に前記第２画像を送信する第２表示装置に送信する送信部を更に備える請求項１から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
第１画像を生成する第１撮像装置と、
前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を生成する第２撮像装置と、
前記第１画像を受信する第１受信部と、前記第２画像を受信する第２受信部と、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を含む画像処理装置と、
を備える撮像システム。
【請求項１９】
第１画像を生成する第１撮像装置と、
前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を生成する第２撮像装置と、
前記第１画像を受信する第１受信部と、前記第２画像を受信する第２受信部と、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を含む画像処理装置と、
を備える移動体。
【請求項２０】
画像処理装置が実行する画像処理方法であって、
第１画像を受信し、
前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を受信し、
前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、撮像システム、移動体、および画像処理方法に関する。
【背景技術】
【０００２】
従来、移動体のウィンドウシールドの曇りを判定する技術が提案されている。例えば、特許文献１には、ウィンドウシールドを介した撮像によって生成された画像の明度分布に基づいて、ウィンドウシールドの汚れおよび曇りを判定することが記載されている。これにより、移動体の運転者によって操作されることなく、ウィンドウシールドの曇りを除去するための装置が作動し、運転者の利便性が高められている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２−１３０４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、移動体に搭載された撮像装置によって生成された画像の明度分布は、時間帯、天候、被写体、照明等の周辺環境によって大きく変化する。すなわち、移動体に搭載された撮像装置によって生成された画像において、明度分布はウィンドウシールドの曇りのみによって変化するのではないため、明度分布に基づいて正確に曇りを判定することが困難であることがある。
【０００５】
本開示は、画像を生成する撮像装置およびそれらを撮像する光路上の光学部材の異常を周辺環境によらず正確に判定することができる画像処理装置、撮像システム、移動体、および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、第１受信部と、第２受信部と、コントローラと、を備える。前記第１受信部は、第１画像を受信する。前記第２受信部は、前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。
【０００７】
本開示の撮像システムは、第１撮像装置と、第２撮像装置と、画像処理装置とを備える。前記第１撮像装置は、第１画像を生成する。第２撮像装置は、前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を生成する。前記画像処理装置は、第１受信部と、第２受信部と、コントローラと、を含む。前記第１受信部は、第１画像を受信する。前記第２受信部は、第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。
【０００８】
本開示の移動体は、第１撮像装置と、第２撮像装置と、画像処理装置とを備える。前記第１撮像装置は、第１画像を生成する。前記第２撮像装置は、前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を生成する。前記画像処理装置は、第１受信部と、第２受信部と、コントローラと、を含む。前記第１受信部は、前記第１画像を受信する。前記第２受信部は、前記第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。
【０００９】
本開示の画像処理方法は、画像処理装置が実行する画像処理方法である。前記画像処理装置は、第１画像を受信する。前記画像処理装置は、前記第１画像の撮像範囲の少なくとも一部を撮像範囲に含む第２画像を受信する。前記画像処理装置は、前記第１画像と前記第２画像との撮像範囲における共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。
【発明の効果】
【００１０】
本開示の一実施形態によれば、画像を生成する撮像装置およびそれらを撮像する光路上の光学部材の異常を環境によらず正確に判定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本開示の一実施形態の撮像システムを搭載した移動体の例を示す図である。
【図２】図２は、図１に示す撮像システムの機能ブロック図である。
【図３】図３は、図２に示す室外カメラの機能ブロック図である。
【図４】図４は、図２に示す室内カメラの機能ブロック図である。
【図５】図５は、室外カメラが曇っている場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。
【図６】図６は、室外カメラおよびウィンドウシールドが曇っていない場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。
【図７】図７は、室外カメラが故障している場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。
【図８】図８は、ウィンドウシールドが曇っている場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの他の例を示す図である。
【図９】図９は、室内カメラが故障している場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。
【図１０Ａ】図１０Ａは、図２に示す画像処理装置による制御の手順の一部を示すフローチャートである。
【図１０Ｂ】図１０Ｂは、図２に示す画像処理装置による制御の手順の一部を示すフローチャートである。
【図１１】図１１は、室外カメラ画像または室内カメラ画像の、エッジに交差する方向における任意の基準点からの所定の方向の距離にある画素の輝度を示す図である。
【発明を実施するための形態】
【００１２】
以下、本開示の第１実施形態について、図面を参照して説明する。
【００１３】
本開示の第１実施形態にかかる撮像システム１は、図１に示すように、移動体２に搭載される。撮像システム１は、図２に示すように、第１撮像装置としての室外カメラ３と、第２撮像装置としての室内カメラ４と、画像処理装置５と、加熱装置６と、洗浄装置７と、室外カメラ用表示装置８（第１表示装置）と、室内カメラ用表示装置９（第２表示装置）等を含んで構成される。以降において、室外カメラ３および室内カメラ４を単に「撮像装置」と称することがある。
【００１４】
室外カメラ３は、移動体２の室外を撮像するように移動体２の外側に取り付けられる。室外カメラ３は、移動体２のウィンドウシールド２１を介さずに室外の被写体を撮像することによって画像（第１画像）を生成する。以降において、室外カメラ３によって生成された画像を「室外画像」という。ウィンドウシールド２１は、移動体２の室外と室内とを隔てる可視光に対して透過性を有する光学部材である。ウィンドウシールド２１は、リアガラス、フロントガラス、サイドウィンドウ等を含んでよい。例えば、室外カメラ３は、図１に示したように移動体２の後方の被写体を撮像するように該移動体２に取り付けられたリアカメラであってよい。室外カメラ３は、リアカメラに限定されず、例えば、移動体２の前方または側方の被写体を撮像するように該移動体２に取り付けられたカメラであってよい。
【００１５】
室外カメラ３は、図３に示すように、第１光学系３１（光学系）と、第１撮像素子３２と、第１画像処理プロセッサ３３と、第１制御プロセッサ３４と、第１ＣＡＮ（Controller Area Network）トランシーバ３５と、第１通信部３６と、加熱部３７と、洗浄部３８と、を含んで構成される。
【００１６】
第１光学系３１は、１つ以上のレンズを含んで構成される。第１光学系３１は、被写体から入射した光を第１撮像素子３２の撮像面において被写体像として結像させる。レンズは、広角レンズを採用しうる。レンズは、魚眼レンズを用いてよい。
【００１７】
第１撮像素子３２（撮像素子）は、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等で構成される。第１撮像素子３２は、第１光学系３１が構成するレンズの光軸ＯＸに垂直に取り付けられる。第１撮像素子３２は、被写体像を撮像して、画像を生成する。具体的には、第１撮像素子３２は、第１光学系３１によって結像された被写体像を光電変換することによって第１画像を生成する。
【００１８】
第１画像処理プロセッサ３３は、第１撮像素子３２による光電変換によって生成された画像に対して各種の画像処理を行う画像処理専用のプロセッサであり、例えばＩＳＰ（Image Signal Processor）等により構成される。第１画像処理プロセッサ３３は、第１撮像素子３２の制御、第１光学系３１の補正、ノイズ低減等の処理を行う。第１光学系３１に含まれるレンズが広角レンズである場合、第１画像処理プロセッサ３３は、広角レンズにより画像に発生した歪みを補正してよい。
【００１９】
第１制御プロセッサ３４は、室外カメラ３の種々の制御を実行する部分であり、ソフトウェアプログラムに従い処理を実行する、ＭＰＵ（Micro Processing Unit）等のプロセッサを含んで構成することができる。
【００２０】
第１ＣＡＮトランシーバ３５は、ＣＡＮ通信を介して移動体２を制御するＥＣＵ（Engine Control UnitまたはElectric Control Unit）と情報を送受信するためのインターフェースである。ＥＣＵは、例えば移動体２に関連して使用される被制御装置を制御することにより、移動体２の走行を制御することができる。被制御装置には、例えば、エンジン、モータ、トランスミッション、カーエアコンディショナ、パワーウィンドウ、カーナビゲーションシステム、カーオーディオ、ヘッドアップディスプレイ等を含んでよいが、これらに限られない。
【００２１】
第１通信部３６は、画像処理装置５と情報を送受信するためのインターフェースである。第１通信部３６が画像処理装置５と通信するにあたって用いられる通信方式は、近距離の無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、ＮＦＣ（Near Field Communication）、ＴｒａｓｆｅｒＪｅｔおよびＺｉｇＢｅｅ等を含んでよい。
【００２２】
加熱部３７は、画像処理装置５の制御に基づいて第１光学系３１を加熱する。加熱部３７は、画像処理装置５から加熱信号が受信されると、公知の方法により第１光学系３１を加熱してよい。
【００２３】
洗浄部３８は、画像処理装置５の制御に基づいて第１光学系３１を洗浄する。洗浄部３８は、画像処理装置５から洗浄信号が受信されると、公知の方法により第１光学系３１を洗浄してよい。
【００２４】
室内カメラ４は、移動体２の室内に取り付けられる。室内カメラ４は、移動体２のウィンドウシールド２１を介して室外の被写体を撮像することによって室内カメラ画像（第２画像）を生成する。室内カメラ４は、該室外カメラ３の撮像範囲の少なくとも一部を撮像範囲に含むように画像を生成する。以降において、室内カメラ４によって生成された画像を「室内画像」という。例えば、室外カメラ３がリアカメラである場合、ウィンドウシールド２１はリアウィンドウであってよい。
【００２５】
室内カメラ４は、例えば、図１に示したように移動体２の後方の被写体を撮像するように該移動体２に取り付けられた室内ミラー用カメラである。室内カメラ４は、室内ミラー用カメラに限定されず、例えば、移動体２の前方または側方の被写体を撮像するように該移動体２に取り付けられたカメラであってよい。室内カメラ４は、図４に示すように、第２光学系４１と、第２撮像素子４２（撮像素子）と、第２画像処理プロセッサ４３と、第２制御プロセッサ４４と、第２ＣＡＮトランシーバ４５と、第２通信部４６とを含んで構成される。第２光学系４１、第２撮像素子４２、および第２画像処理プロセッサ４３は、それぞれ第１光学系３１、第１撮像素子３２、および第１画像処理プロセッサ３３と類似であるため、説明が省略される。第２制御プロセッサ４４、第２ＣＡＮトランシーバ４５、および第２通信部４６は、それぞれ第１制御プロセッサ３４、第１ＣＡＮトランシーバ３５、および第１通信部３６と同一であるため、説明が省略される。
【００２６】
画像処理装置５は、図２に示したように、第１受信部５１と、第２受信部５２と、コントローラ５３と、送信部５４とを含んで構成される。
【００２７】
第１受信部５１は、室外カメラ３によって生成された室外カメラ画像を受信する。第１受信部５１が室外カメラ３と通信するにあたって、第１通信部３６が用いる通信方式に対応する通信方式が用いられる。
【００２８】
第２受信部５２は、室内カメラ４によって生成された室内カメラ画像を受信する。第２受信部５２が室内カメラ４と通信するにあたって、第２通信部４６が用いる通信方式に対応する通信方式が用いられる。第２受信部５２は、第１受信部５１を兼ねてもよいし、第１受信部５１とは別の受信部であってもよい。
【００２９】
コントローラ５３は、例えばＣＰＵ等のプロセッサであってよい。コントローラ５３は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ５３は、複数の集積回路を組み合わせて構成されてもよい。コントローラ５３は、画像処理装置５の動作を統括的に制御して各種の機能を実現する。
【００３０】
コントローラ５３は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分（以下において、単に「共通部分」と呼ぶ）に基づいて、室外カメラ画像または室内カメラ画像の異常を判定する。室外カメラ画像と室内カメラ画像との撮像範囲における共通部分は、以下において、適宜単に「共通部分」と呼ばれる。室外カメラ画像の異常は、例えば、室外カメラ３の第１光学系３１に異物が付着していたり、室外カメラ３が故障していたりすることによって発生する画像の異常である。室内カメラ画像の異常とは、例えば、移動体２のウィンドウシールド２１に異物が付着していたり、室内カメラ４が故障していたりすることによって発生する画像の異常である。異物は、例えば、曇り、汚れを含む。コントローラ５３が実行する室外カメラ画像または室内カメラ画像の異常の判定についての詳細は後述する。
【００３１】
送信部５４は、コントローラ５３による室外カメラ画像または室内カメラ画像の異常の判定に基づいて、各種の制御信号をＣＡＮ通信等の通信ネットワークを介して洗浄装置７および加熱装置６に送信する。送信部５４は、コントローラ５３による室外カメラ画像または室内カメラ画像の異常の判定に基づいて、室外カメラ用表示装置８及び室内カメラ用表示装置９に各種の画像を、通信ネットワークを介して送信する。送信部５４が実行する各種の制御信号および画像の送信の詳細は後述する。
【００３２】
加熱装置６は、コントローラ５３の制御に基づいてウィンドウシールド２１を加熱する。加熱装置６は、公知の方法によりウィンドウシールド２１を加熱してよい。例えば、加熱装置６は、ウィンドウシールド２１に接触して配置された熱線を備え、加熱を命令するための加熱信号を受信すると、熱線が加熱されてよい。これにより、ウィンドウシールド２１に付着した異物が除去されうる。
【００３３】
洗浄装置７は、コントローラ５３の制御に基づいてウィンドウシールド２１を洗浄する。洗浄装置７は、公知の方法によりウィンドウシールド２１を洗浄してよい。例えば、洗浄装置７は、液体洗剤を収容し、洗浄を命令するための洗浄信号を受信すると、ウィンドウシールド２１に液体洗剤を射出してよい。洗浄装置７は、ワイパーを備え、洗浄を命令するための洗浄信号を受信すると、あるいは液体洗剤が射出されると、ワイパーをウィンドウシールド２１に摺接させてよい。これにより、ウィンドウシールド２１に付着した汚れが除去されうる。
【００３４】
室外カメラ用表示装置８は、画像処理装置５から送信された画像を表示する。具体的には、室外カメラ用表示装置８は、画像処理装置５から室内カメラ画像が送信されると、該室内カメラ画像を表示する。室外カメラ用表示装置８は、画像処理装置５から室外カメラ画像が送信されると、該室外カメラ画像を表示する。
【００３５】
室内カメラ用表示装置９は、画像処理装置５から送信された画像を表示する。具体的には、室内カメラ用表示装置９は、画像処理装置５から室内カメラ画像が送信されると、該室内カメラ画像を表示する。室内カメラ用表示装置９は、画像処理装置５から室外カメラ画像が送信されると、該室外カメラ画像を表示する。
【００３６】
ここで、画像処理装置５のコントローラ５３が実行する、室外カメラ画像または室内カメラ画像の異常の判定について詳細に説明する。コントローラ５３は、室外カメラ画像および室内カメラ画像それぞれの各画素の所定の特徴を示す画素特徴値に基づいて異常を判定する。画素特徴値は、例えば、輝度である。以降において、コントローラ５３は、室外カメラ画像および室内カメラ画像の輝度に基づいて異常を判定するとして説明する。画素特徴値は、輝度に限られず、例えば彩度または明度であってよい。
【００３７】
コントローラ５３は、第１受信部５１によって受信された室外カメラ画像の共通部分における、輝度の分布（画素特徴値の分布）を示す輝度ヒストグラム（第１ヒストグラム）を生成する。コントローラ５３は、第２受信部５２によって受信された室内カメラ画像の共通部分における輝度分布を示す輝度ヒストグラム（第２ヒストグラム）を生成する。コントローラ５３が第２ヒストグラムを生成する対象となる室内カメラ画像と、第１ヒストグラムを生成する対象となる室外カメラ画像とがそれぞれ生成された時刻は所定時間内である。所定時間は、室外カメラ３の撮像範囲における環境と室内カメラ４の撮像範囲における環境との差異が、異物の影響による画像の異常の判定に影響を及ぼさないと見込まれる時間である。例えば、室外カメラ画像と室外カメラ画像とは、略同時に生成されてよい。
【００３８】
コントローラ５３は、室外画像特性値（第１画像特性値）および室内画像特性値（第２画像特性値）に基づいて異常を判定する。室外画像特性値は、室外画像の共通部分における輝度の特性を示す値である。室外画像特性値は、例えば、図５に示すような、室外カメラ画像の輝度の分布の広さを示す室外分布幅Ｗ１（第１分布幅）である。室内画像特性値は、室内画像の共通部分における画素分布の特性を示す値である。室内画像特性値は、例えば、室内カメラ画像の輝度の分布の広さを示す室内分布幅Ｗ２（第２分布幅）である。
【００３９】
室外分布幅Ｗ１は、例えば、図５に示すような、室外カメラ画像において輝度の高い所定割合の画素と輝度の低い所定割合の画素とを除いた輝度のうち、最高輝度Ｌ１maxから、最低輝度Ｌ１minを引いた値である。室内分布幅Ｗ２は、輝度の高い所定割合の画素と輝度の低い所定割合の画素とを除いた輝度のうち、最高輝度Ｌ２maxから、最低輝度Ｌ２minを引いた値である。所定割合は、例えば、１０％である。
【００４０】
コントローラ５３は、室外カメラ画像および室内カメラ画像に基づいて分布幅比率Ｒ（画像特性比率）を算出する。分布幅比率Ｒは、室外カメラ画像と室内カメラ画像とにおける輝度の分布の差異を示す値である。分布幅比率Ｒは、例えば、室外分布幅Ｗ１と室内分布幅Ｗ２との比率である。本実施形態では、分布幅比率Ｒは、室外分布幅Ｗ１の室内分布幅Ｗ２に対する比率Ｗ１／Ｗ２であるとして説明し、分布幅比率Ｒを分布幅比率Ｗ１／Ｗ２と記載する。
【００４１】
具体的には、コントローラ５３は、室外カメラ画像および室内カメラ画像に基づいて、それぞれ第１ヒストグラムおよび第２ヒストグラムを生成する。コントローラ５３は、第１ヒストグラムおよび第２ヒストグラムに基づいて、それぞれ室外分布幅Ｗ１および室内分布幅Ｗ２を算出する。そして、コントローラ５３は、室外分布幅Ｗ１に対する室内分布幅Ｗ２の比率を算出することによって分布幅比率Ｗ１／Ｗ２を算出する。
【００４２】
ここで、第１ヒストグラムおよび第２ヒストグラムの例について図５〜図９を参照して説明する。
【００４３】
ウィンドウシールド２１に異物が付着していない場合、時間帯、天候、被写体、照明等の周辺環境にもよるが、例えば図５および図６に示すように、室内カメラ画像の輝度は、例えば該輝度が８ビットで表されるＡ／Ｄ変換値である場合に０から２５５までの範囲にわたって分布する。このとき、室外カメラ３の第１光学系３１にも異物が付着していなければ、図６に示したように室外カメラ画像の輝度の分布は室内カメラ画像の輝度の分布に類似する。したがって、分布幅比率Ｗ１／Ｗ２は、１を含む所定範囲（例えば、０．９〜１．１）にあると見込まれる。一方、室外カメラ３の第１光学系３１に異物が付着している場合、光が第１光学系３１を透過しにくいため、または、光が異物により散乱されるため、第１撮像素子３２に到達する光量の減少、または、撮像される画像のコントラストの低下が起こる。そのため、図５に示したように、室外カメラ画像の輝度は、室内カメラ画像の輝度に比べて狭い範囲に分布する。したがって、分布幅比率Ｗ１／Ｗ２は、１より小さく、さらに、第１光学系３１に異物が付着していない場合の分布幅比率Ｗ１／Ｗ２に比べて小さい。
【００４４】
室外カメラ３が故障している場合、第１撮像素子３２が正常に画像を生成することができない。多くの場合、故障した室外カメラ３の画像は、全面が輝度略０の黒色となる。そのため、図７に示すように、室外カメラ画像の輝度は、図５に示した場合に比べてより狭い範囲に分布する。室外分布幅Ｗ１は、図５に示した場合に比べてより小さい。この場合、室内カメラ４が故障していず、かつウィンドウシールド２１に異物が付着していなければ、分布幅比率Ｗ１／Ｗ２は、図５に示した場合に比べてより小さい。
【００４５】
第１光学系３１に異物が付着していない場合、周辺環境にもよるが、図８に示すように、室外カメラ画像の輝度は、例えば該輝度が８ビットで表されるＡ／Ｄ変換値である場合に０から２５５までの範囲にわたって分布する。一方、ウィンドウシールド２１に異物が付着している場合、光がウィンドウシールド２１を透過しにくいため、または、光が異物により散乱されるため、室内カメラ４の第２撮像素子４２に到達する光量の減少、または、撮像される画像のコントラストの低下が起こる。そのため、室内カメラ画像の輝度は、室外カメラ画像の輝度に比べて狭い範囲に分布する。この場合、分布幅比率Ｗ１／Ｗ２は、１より大きく、さらに、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
【００４６】
室内カメラ４が故障している場合、第２撮像素子４２が正常に画像を生成することができない。そのため、室内カメラ画像の輝度は図９に示すように、図８に示す場合に比べてより狭い範囲に分布する。この場合、室内分布幅Ｗ２が図８に示した場合に比べてより小さい。このとき、室外カメラ３が故障していず、第１光学系３１に異物が付着していなければ、分布幅比率Ｗ１／Ｗ２は、図８に示す場合に比べてよりさらに大きい。
【００４７】
このように分布幅比率Ｗ１／Ｗ２は、撮像装置の故障または光学部材への異物付着による室外カメラ画像または室内カメラ画像の異常によって変化する。これを利用して、コントローラ５３は、分布幅比率Ｗ１／Ｗ２に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。そして、コントローラ５３は、室外カメラ画像または室内カメラ画像の異常の判定結果に基づいて、各種の処理を行う。以降において、コントローラ５３による異常の判定および各種の処理について詳細に説明する。
【００４８】
まず、コントローラ５３が、室外異物判定値Ｋ１（第１値）および室外カメラ故障判定値Ｋ２（第２値）を用いて、室外カメラ画像の異常を判定する例について説明する。室外異物判定値Ｋ１は、０より大きく１より小さい値である。室外異物判定値Ｋ１は、予めの実験により第１光学系３１に異物が付着している場合、または、室外カメラ３が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最大値である。室外カメラ故障判定値Ｋ２は、０より大きく、室外異物判定値Ｋ１より小さい値である。室外カメラ故障判定値Ｋ２は、予めの実験により、室外カメラ３が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最大値である。
【００４９】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ３の故障または第１光学系３１への異物付着によって室外カメラ画像に異常があると判定する。
【００５０】
コントローラ５３は、室外カメラ画像に異常があると判定すると、室外カメラ３の第１光学系３１の異物を除去するための異物除去制御を行う。異物除去制御には、第１光学系３１の加熱および洗浄が含まれる。
【００５１】
具体的には、コントローラ５３は、室外カメラ３の加熱部３７が第１光学系３１を加熱するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、送信部５４によって室外カメラ３に第１光学系３１の加熱を命令するための加熱信号を送信してよい。
【００５２】
コントローラ５３は、室外カメラ３の洗浄部３８が第１光学系３１を洗浄するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、送信部５４によって室外カメラ３に第１光学系３１の洗浄を命令するための洗浄信号を送信してよい。
【００５３】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であるか否かを判定してよい。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３の故障によって室外カメラ画像に異常がある、すなわち室外カメラ３に異常があると判定してよい。
【００５４】
コントローラ５３は、室外カメラ３に異常があると判定した場合、室外カメラ３の故障を示す室外故障情報を室外カメラ用表示装置８に送信してよい。コントローラ５３は、室内カメラ画像を室外カメラ用表示装置８に送信してよい。コントローラ５３は、室内カメラ画像から室外カメラ３の撮像範囲を切り出してよい。コントローラ５３は、室内カメラ画像が室外カメラ３によって撮影された場合の歪み、明るさ、コントラストとなるように、歪み、明るさ、コントラスト等を補正してよい。コントローラ５３は、補正された室内カメラ画像を室外カメラ用表示装置８に送信してよい。
【００５５】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であり、室外カメラ故障判定値Ｋ２より大きいと判定した場合、第１光学系３１への異物付着によって室外カメラ画像に異常があると判定してもよい。この場合、コントローラ５３は、第１光学系３１に異物が付着していることを示す光学系異物情報を室外カメラ用表示装置８に送信してよい。室外カメラ用表示装置８は、光学系異物情報を受信し、表示してよい。
【００５６】
次に、コントローラ５３が、ウィンドウ異物判定値Ｋ３（第３値）および室内カメラ故障判定値Ｋ４（第４値）を用いて室内カメラ画像の異常を判定する例について説明する。ウィンドウ異物判定値Ｋ３は、１より大きい値である。ウィンドウ異物判定値Ｋ３は、予めの実験によりウィンドウシールド２１に異物が付着しているか、室内カメラ４が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最小値である。室内カメラ故障判定値Ｋ４は、ウィンドウ異物判定値Ｋ３より大きい値である。室内カメラ故障判定値Ｋ４は、予めの実験により、室内カメラ４が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最小値である。
【００５７】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ４の故障またはウィンドウシールド２１への異物付着によって室内カメラ画像に異常があると判定する。
【００５８】
コントローラ５３は、室内カメラ画像に異常があると判定すると、ウィンドウシールド２１の異物を除去するための異物除去制御を行う。異物除去制御には、ウィンドウシールド２１の加熱および洗浄が含まれる。
【００５９】
具体的には、コントローラ５３は、加熱装置６がウィンドウシールド２１を加熱するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、加熱装置６にウィンドウシールド２１の加熱を命令するための加熱信号を送信してよい。
【００６０】
コントローラ５３は、洗浄装置７がウィンドウシールド２１を洗浄するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、洗浄装置７にウィンドウシールド２１の洗浄を命令するための洗浄信号を送信してよい。
【００６１】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４の故障によって室内カメラ画像に異常がある、すなわち室内カメラ４に異常があると判定する。
【００６２】
コントローラ５３は、室内カメラ４に異常があると判定した場合、室内カメラ４の故障を示す室内故障情報を室内カメラ用表示装置９に送信してよい。コントローラ５３は、室外カメラ画像を室内カメラ用表示装置９に送信してよい。コントローラ５３は、室外カメラ画像から室内カメラ４の撮像範囲を切り出し、室外カメラ画像が、室内カメラ４によって撮影された場合の歪み、明るさ、コントラストとなるように、歪み、明るさ、コントラスト等を補正してよい。コントローラ５３は、補正された室外カメラ画像を室内カメラ用表示装置９に送信してよい。
【００６３】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であり、室内カメラ故障判定値Ｋ４未満であると判定した場合、ウィンドウシールド２１への異物付着に起因して室内カメラ画像に異常があると判定してもよい。この場合、コントローラ５３は、ウィンドウシールド２１に異物が付着していることを示すウィンドウ異物情報を室内カメラ用表示装置９に送信してよい。室内カメラ用表示装置９は、ウィンドウ異物情報を受信し、表示してよい。
【００６４】
続いて、図１０Ａおよび図１０Ｂに示すフローチャートを参照して、コントローラ５３による画像処理方法について説明する。コントローラ５３は、第１受信部５１が室外カメラ画像を受信し、第２受信部５２が室内カメラ画像を受信し、室外カメラ画像と室内カメラ画像とがそれぞれ撮像された時刻が所定時間内であった場合に処理を開始する。
【００６５】
まず、コントローラ５３は、分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１１）。具体的には、コントローラ５３は、第１受信部５１によって受信された室外カメラ画像に基づいて第１ヒストグラムを生成する。そして、コントローラ５３は、第１ヒストグラムに基づいて室外分布幅Ｗ１を算出する。コントローラ５３は、第２受信部５２によって受信された室内カメラ画像に基づいて第２ヒストグラムを生成する。そして、コントローラ５３は、第２ヒストグラムに基づいて室内分布幅Ｗ２を算出する。そして、コントローラ５３は、室外分布幅Ｗ１の室内分布幅Ｗ２に対する比率である分布幅比率Ｗ１／Ｗ２を算出する。
【００６６】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１２）。
【００６７】
コントローラ５３は、ステップＳ１２で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、室外カメラ３の加熱部３７が第１光学系３１を加熱するよう制御する（ステップＳ１３）。
【００６８】
コントローラ５３は、第１光学系３１の加熱後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１４）。
【００６９】
コントローラ５３は、ステップＳ１４で算出された第１光学系３１の加熱後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１５）。
【００７０】
コントローラ５３は、ステップＳ１５で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、室外カメラ３の洗浄部３８が第１光学系３１を洗浄するよう制御する（ステップＳ１６）。
【００７１】
コントローラ５３は、第１光学系３１の洗浄後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１７）。
【００７２】
コントローラ５３は、ステップＳ１７で算出された第１光学系３１の洗浄後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１８）。
【００７３】
コントローラ５３は、ステップＳ１８で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であるか否かを判定する（ステップＳ１９）。
【００７４】
コントローラ５３は、ステップＳ１９で分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３に異常があると判定する。そして、コントローラ５３は、室外カメラ故障情報を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２０）。
【００７５】
コントローラ５３は、室内カメラ画像を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２１）。このとき、コントローラ５３は、室内カメラ画像を補正し、送信部５４によって補正された室内カメラ画像を送信してよい。コントローラ５３は、室内カメラ画像を、送信部５４によって室内カメラ用表示装置９に送信してよい。
【００７６】
コントローラ５３は、ステップＳ１９で分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２より大きいと判定した場合、第１光学系３１への異物の付着を示す光学系異物情報を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２２）。
【００７７】
コントローラ５３は、ステップＳ１２、ステップＳ１５、またはステップＳ１８で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１より大きいと判定した場合、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する（ステップＳ２３）。
【００７８】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、加熱装置６がウィンドウシールド２１を加熱するよう制御する（ステップＳ２４）。
【００７９】
コントローラ５３は、ウィンドウシールド２１の加熱後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ２５）。
【００８０】
コントローラ５３は、ステップＳ２５で算出された、ウィンドウシールド２１の加熱後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する（ステップＳ２６）。
【００８１】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、洗浄装置７がウィンドウシールド２１を洗浄するよう制御する（ステップＳ２７）。
【００８２】
コントローラ５３は、ウィンドウシールド２１の洗浄後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ２８）。
【００８３】
コントローラ５３は、ステップＳ２８で算出された、ウィンドウシールド２１の洗浄後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを再び判定する（ステップＳ２９）。
【００８４】
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であるか否かを判定する（ステップＳ３０）。
【００８５】
コントローラ５３は、ステップＳ３０で分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４に異常があると判定する。そして、コントローラ５３は、室内カメラ故障情報を送信部５４によって室内カメラ用表示装置９に送信する（ステップＳ３１）。
【００８６】
コントローラ５３は、送信部５４によって室外カメラ画像を室内カメラ用表示装置９に送信する（ステップＳ３２）。このとき、コントローラ５３は、室外カメラ画像を補正し、送信部５４によって補正された室外カメラ画像を送信してよい。コントローラ５３は、室外カメラ画像を、送信部５４によって室外カメラ用表示装置８に送信してよい。
【００８７】
コントローラ５３は、ステップＳ３０で分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４未満であると判定した場合、送信部５４によって、ウィンドウ異物情報を室内カメラ用表示装置９に送信する（ステップＳ３３）。
【００８８】
以上説明したように、第１実施形態によれば、画像処理装置５は、室外カメラ画像を受信する第１受信部５１と、室内カメラ画像を受信する第２受信部５２とを備える。さらに、画像処理装置５は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分に基づいて、室内カメラ画像または室外カメラ画像の異常を判定するコントローラ５３を備える。カメラによって生成された画像は周辺環境の影響によって大きく変化するため、１つの画像のみに基づいて、カメラの故障、あるいは光学部材への異物付着によって画像に異常があるか否かを判定することは困難である。例えば、１つのカメラによって生成された画像が全体的に黒に近い色合いで表されていた場合、被写体が黒に近い色合いであるためか、あるいは光学部材が曇っているためかを判定することは困難である。例えば、１つのカメラによって生成された画像が全体的に黒に近い色合いで表されていた場合、被写体が黒に近い色合いであるためか、カメラが故障しているためかを判定することは困難である。これに対して、第１実施形態の室外カメラ画像と室内カメラ画像とは撮像範囲における共通部分において周辺環境が同一である。そのため、画像処理装置５は、室内カメラ画像と室外カメラ画像とを比較することによって正確に異常を判定することができる。
【００８９】
第１実施形態によれば、室外カメラ画像は、ウィンドウシールド２１を介さずに被写体を撮像して生成される。室内カメラ画像は、ウィンドウシールド２１を介して被写体を撮像して生成される。このため、ウィンドウシールド２１に汚れ、曇り等の異物が付着している場合、室内カメラ画像の共通部分は、ウィンドウシールド２１を介さない撮像によって生成される室外カメラ画像の共通部分とは異なる画像となる。したがって、第１実施形態の画像処理装置５は、同一の周辺環境で生成された室内カメラ画像と室外カメラ画像とを比較することによってウィンドウシールド２１の異物付着に起因した異常を判定することができる。
【００９０】
第１実施形態によれば、画像処理装置５は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、第１光学系３１の異物除去制御を行う。このため、室外カメラ画像の異常が取り除かれうる。
【００９１】
第１実施形態によれば、画像処理装置５は、異物除去制御後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合に、該分布幅比率が室外カメラ故障判定値Ｋ２以下であると判定すると、室外カメラ３に異常があると判定する。これにより、画像処理装置５は、室外カメラ画像の故障を示す室外故障情報を室外カメラ用表示装置８に送信することができる。室外カメラ用表示装置８は室外故障情報を表示することができる。したがって、移動体２の運転者は、室外カメラ３の故障を認識する。そして、運転者は、室内カメラ４によって生成された室内カメラ画像により移動体２の室外の状況を注意して確認したり、早期に室外カメラ３を修理したりすることによって安全に運転することができる。
【００９２】
第１実施形態によれば、画像処理装置５は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、第２光学系４１またはウィンドウシールド２１の異物を除去するための異物除去制御を行う。このため、画像処理装置５が、室内カメラ画像の異常が取り除かれうる。
【００９３】
第１実施形態によれば、画像処理装置５は、異物除去制御後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、該分布幅比率が室内カメラ故障判定値Ｋ４以上であると判定すると、室内カメラ４に異常があると判定する。これにより、画像処理装置５は、室内カメラ画像の故障を示す室内故障情報を室内カメラ用表示装置９に送信することができる。室内カメラ用表示装置９は室内故障情報を表示することができる。したがって、移動体２の運転者は、室内カメラ４の故障を認識する。そして、運転者は、室内カメラ画像の代わりに、室外カメラ画像により移動体２の室外の状況を注意して確認したり、早期に室内カメラ４を修理したりすることによって安全に運転することができる。
【００９４】
第１実施形態によれば、画像処理装置５は、室外カメラ３に異常があると判定された場合、室内カメラ画像に基づいた画像を室外カメラ用表示装置８に送信する。これにより、移動体２の運転者は、室外カメラ画像を参照することができない代わりに、室内カメラ画像によって室外の状況を認識することができる。画像処理装置５は、室内カメラ４に異常があると判定された場合、室外カメラ画像に基づいた画像を室内カメラ用表示装置９に送信する。これにより、移動体２の運転者は、室内カメラ画像を参照することができない代わりに、室外カメラ画像によって室外の状況を認識することができる。
【００９５】
続いて、本開示の第２実施形態について説明する。
【００９６】
第２実施形態においては、第１実施形態と異なる構成のみについて説明する。第２実施形態において説明を省略する構成については第１実施形態と同一である。
【００９７】
第１実施形態において、室外画像特性値は、室外画像の輝度分布の広さを示す室外分布幅Ｗ１であった。室内画像特性値は、室内画像の輝度分布の広さを示す室内分布幅Ｗ２であった。しかし、第２実施形態において、室外画像特性値は、図５に示したような、室外カメラ画像の輝度の最大度数Ｆ１（第１最大度数）である。室内画像特性値は、室内カメラ画像の輝度の最大度数Ｆ２（第２最大度数）である。画像特性比率は、最大度数Ｆ２の最大度数Ｆ１に対する比率である最大度数比率Ｆ２／Ｆ１である。
【００９８】
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光の量は少なくなる。そのため、室外カメラ画像の輝度分布において、低い輝度に対応する度数が高くなる。一方、室内カメラ４に異物が付着していなければ、異物による光の量の減少に伴う、低い輝度に対応する度数の増加は少ない。この場合、最大度数比率Ｆ２／Ｆ１は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、最大度数比率Ｆ２／Ｆ１は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
【００９９】
したがって、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、最大度数比率Ｆ２／Ｆ１に基づいて室外カメラ画像の異常を判定してよい。第２実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第１実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、最大度数比率Ｆ２／Ｆ１に基づいて室内カメラ画像の異常を判定してよい。第２実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第１実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
【０１００】
以上説明したように、第２実施形態によれば、画像処理装置５は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分に基づいて、室内カメラ画像または室外カメラ画像の異常を判定する。このため、第１実施形態と類似して、室内カメラ画像または室外カメラ画像の異常を正確に判定することができる。
【０１０１】
また、第２実施形態によれば、画像処理装置５は、最大度数比率Ｆ２／Ｆ１に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。最大度数Ｆ１が最大度数Ｆ２に比べて大きい場合、室外カメラ３の故障または異物の付着に起因して室外カメラ画像に異常があると推定されえる。最大度数Ｆ１が最大度数Ｆ２に比べて小さい場合、室内カメラ４の故障またはウィンドウシールド２１への異物付着に起因して室外カメラ画像に異常があると推定されえる。したがって、画像処理装置５は、室内カメラ画像または室外カメラ画像の異常を正確に判定することができる。
【０１０２】
続いて、本開示の第３実施形態について図面を参照して説明する。
【０１０３】
第３実施形態においては、第１実施形態と異なる構成のみについて説明する。第３実施形態において説明を省略する構成については第１実施形態と同一である。
【０１０４】
第３実施形態において、室外画像特性値は、室外カメラ画像に含まれる被写体間の境界のエッジ幅ＷＥ１（第１エッジ幅）である。室内画像特性値は、室内カメラ画像に含まれる被写体間の境界のエッジ幅ＷＥ２（第２エッジ幅）である。画像特性比率は、室内カメラ画像のエッジ幅ＷＥ２の、室外カメラ画像のエッジ幅ＷＥ１に対する比率であるエッジ幅比率ＷＥ２／ＷＥ１である。
【０１０５】
エッジ幅ＷＥ１およびエッジ幅ＷＥ２は、それぞれ室外カメラ画像および室内カメラ画像のコントラストの低さを示す値である。エッジ幅ＷＥ１およびエッジ幅ＷＥ２は、エッジ領域で輝度が変化する領域の幅である。エッジ領域は、室外カメラ画像および室内カメラ画像のうち一方の画像から公知の方法により抽出されたエッジを含む領域、および他の画像における該領域に対応する領域である。
【０１０６】
具体的には、室外カメラ画像からエッジ領域が抽出された場合、室外カメラ画像のエッジ領域は抽出されたエッジ領域である。この場合、室内カメラ画像のエッジ領域は、室外カメラ画像のエッジ領域に対応する領域である。エッジ領域が室内カメラ画像から抽出された場合、室外カメラ画像のエッジ領域は抽出されたエッジ領域である。この場合、室内カメラ画像のエッジ領域は、室外カメラ画像のエッジ領域に対応する領域である。
【０１０７】
図１１は、エッジに交差する方向における、基準点から距離に応じた画素の輝度を示す図である。図１１を参照して説明すると、画素特徴値が変化する領域は、輝度が、上限側輝度（上限側特徴値）と下限側輝度（下限側特徴値）との間にある領域である。したがって、エッジ幅ＷＥ１は、室外カメラ画像のエッジ領域における上限側輝度に対応する位置Ｐ１maxと、下限側輝度に対応する位置Ｐ１minとの差である。上限側輝度は、例えば、エッジ領域における最高輝度に１より小さい所定係数（例えば、０．８）を乗じた輝度である。下限側輝度は、エッジ領域における最低輝度に１より大きい所定係数（例えば、１．２）を乗じた輝度である。例えば、エッジ幅ＷＥ２は、室内カメラ画像の、エッジ領域に対応する領域における上限側輝度に対応する位置Ｐ２maxと、下限側輝度に対応する位置Ｐ２minとの差である。
【０１０８】
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光が散乱および／または吸収されるため、室外カメラ３に異物が付着していない場合に比べて輝度のコントラストが低くなる。したがって、室外カメラ画像のエッジ幅ＷＥ１は、室外カメラ３に異物が付着している場合、異物が付着していない場合に比べて大きい。一方、ウィンドウシールド２１に異物が付着していない場合、異物による光の量の減少に伴う、室内カメラ画像のコントラストの低下は少なく、室内カメラ画像のエッジ幅ＷＥ２は大きくならない。したがって、室外カメラ３に異物が付着しており、ウィンドウシールド２１に異物が付着していない場合、エッジ幅比率ＷＥ２／ＷＥ１は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、エッジ幅比率ＷＥ２／ＷＥ１は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
【０１０９】
したがって、コントローラ５３は、室外カメラ画像および室内カメラ画像それぞれからエッジを公知の方法によって抽出する。コントローラ５３は、室外カメラ画像および室内カメラ画像のいずれかからエッジ領域が抽出されると、該エッジ領域に基づいてエッジ幅ＷＥ１およびエッジ幅Ｗ２を算出する。具体的には、コントローラ５３は、室外カメラ画像からエッジ領域が抽出されると、該エッジ領域に基づいてエッジ幅ＷＥ１を算出する。コントローラ５３は、室内カメラ画像のエッジ領域に対応する領域に基づいてエッジ幅ＷＥ２を算出する。そして、コントローラ５３は、エッジ幅比率ＷＥ２／ＷＥ１を算出する。
【０１１０】
さらに、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室外カメラ画像の異常を判定してよい。第３実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第１実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室内カメラ画像の異常を判定してよい。第３実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第１実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
【０１１１】
以上説明したように、第３実施形態によれば、画像処理装置５は、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。光学部材に汚れ、曇り等の異物が付着することによって、画像のコントラストは低下する。したがって、コントラストによって変動するエッジ幅ＷＥ１およびＷＥ２を用いることによって、画像処理装置５は、室外カメラ画像または室内カメラ画像の異常を判定することができる。
【０１１２】
続いて、本開示の第４実施形態について図面を参照して説明する。
【０１１３】
第４実施形態においては、第３実施形態と異なる構成のみについて説明する。第４実施形態において説明を省略する構成については第３実施形態と同一である。
【０１１４】
第４実施形態において、室外画像特性値は、図１１に示したような、室外カメラ画像のエッジレベルＬＥ１（第１エッジレベル）である。室内画像特性値は、室内カメラ画像のエッジレベルＬＥ２（第２エッジレベル）である。画像特性比率は、室内カメラ画像のエッジレベルＬＥ１の、室外カメラ画像のエッジレベルＬＥ２に対する比率であるエッジレベル比率ＬＥ１／ＬＥ２である。
【０１１５】
エッジレベルＬＥ１およびエッジレベルＬＥ２は、室外カメラ画像のコントラストの低さを示す値である。例えば、エッジレベルＬＥ１は、室外カメラ画像のエッジ領域において輝度の変化率が所定値以上となる領域の最大輝度（最大の画素特徴値）と最小輝度（最小の画素特徴値）との差であってよい。エッジレベルＬＥ２は、室内カメラ画像のエッジ領域において輝度の変化率が所定値以上となる領域の最大輝度と最小輝度との差であってよい。輝度の変化率は、例えば、各画素の輝度と、該画素にエッジと交差する方向に隣接する画素の輝度との差である。第４実施形態におけるエッジ領域は、第３実施形態におけるエッジ領域と同一である。
【０１１６】
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光が異物によって散乱するため、室外カメラ３に異物が付着していない場合に比べて輝度のコントラストが低くなる。したがって、室外カメラ画像のエッジレベルＬＥ１は、室外カメラ３に異物が付着している場合、異物が付着していない場合に比べて小さい。一方、ウィンドウシールド２１に異物が付着していない場合、異物による光の散乱に伴う、室内カメラ画像のコントラストの低下は少なく、室外カメラ画像のエッジレベルＬＥ１は小さくならない。したがって、エッジレベル比率ＬＥ１／ＬＥ２は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、エッジレベル比率ＬＥ１／ＬＥ２は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
【０１１７】
したがって、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室外カメラ画像の異常を判定してよい。第４実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第３実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室内カメラ画像の異常を判定してよい。第４実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第３実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
【０１１８】
以上説明したように、第４実施形態によれば、画像処理装置５は、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。光学部材に汚れ、曇り等の異物が付着することによって、該光学部材を透過する光を撮像することによって生成される画像のコントラストは低下する。したがって、コントラストによって変動するエッジレベル比率ＬＥ１およびＬＥ２を用いることによって、画像処理装置５は、室外カメラ画像または室内カメラ画像の異常を判定することができる。
【０１１９】
続いて、本開示の第５実施形態について説明する。
【０１２０】
第５実施形態においては、第１実施形態と異なる構成のみについて説明する。第５実施形態において説明を省略する構成については第１実施形態と同一である。
【０１２１】
第１実施形態において、コントローラ５３は、室外画像特性値および室内画像特性値に基づいて室外カメラ画像または室内カメラ画像の異常を判定した。これに対して、第５実施形態において、コントローラ５３は、室外カメラ画像の共通部分を二値化した室外二値化画像と、室内カメラ画像の共通部分を二値化した室内二値化画像とに基づいて室外カメラ画像または室内カメラ画像の異常を判定する。具体的には、コントローラ５３は、室外二値化画像の各画素と、室内二値化画像の対応する画素とがそれぞれ一致しているか否かを判定する。コントローラ５３は、一致している画素数の、全体の画素数に対する比率である一致率を算出する。コントローラ５３は、一致率が閾値以下であった場合、室外二値化画像と室内二値化画像とのいずれかに異常があると判定してよい。
【０１２２】
以上説明したように、第５実施形態によれば、画像処理装置５は、室外二値化画像と室内二値化画像との撮像範囲における共通部分に基づいて異常を判定する。室外カメラ画像と室内カメラ画像とのいずれにも異常がなければ、室外二値化画像と室内二値化画像とにおける対応する各画素は一致することが多い。しかし、光学部材に汚れ、曇り等の異物が付着することによって、画像の輝度は低くなる。すなわち、光学部材への異物付着に起因して一致率は低下する。したがって、画像処理装置５は、室外二値化画像と室内二値化画像との撮像範囲における共通部分に基づいて異常を判定することができる。
【０１２３】
上述の実施形態における「移動体」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【０１２４】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【０１２５】
上述の実施形態において、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３に異常があると判定したが、この限りではない。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以上であり、かつ室外分布幅Ｗ１が第１故障値Ｋ５以下である場合に室外カメラ３に異常があると判定してよい。
【０１２６】
上述の実施形態において、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４に異常があると判定したが、この限りではない。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であり、かつ室内分布幅Ｗ２が第２故障値Ｋ６以下である場合に室内カメラ４に異常があると判定してよい。
【０１２７】
室外カメラ３が故障している場合、時間帯、天候、被写体、照明等の周辺環境によらず、図７に示したように室外カメラ画像の輝度の分布範囲は狭いことが見込まれる。したがって、室外分布幅Ｗ１に基づいてより正確に室外カメラ３の故障を判定することができる。類似して、室内分布幅Ｗ２に基づいてより正確に室内カメラ４の故障を判定することができる。
【０１２８】
上述の実施形態において、第１撮像装置は室外カメラ３であり、第２撮像装置は室内カメラ４であるがこれに限られない。例えば、第１撮像装置および第２撮像装置はいずれも室外カメラ３であってよい。この場合、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、ウィンドウシールド２１ではなく第２光学系４１への異物付着に起因して、第２撮像装置によって撮像された画像（第２画像）に異常があると判定する。コントローラ５３は、第２撮像装置に異常があると判定すると、ウィンドウシールド２１ではなく第２光学系４１の異物を除去するための異物除去制御を行ってよい。
【０１２９】
上述の実施形態において、室外カメラ３は加熱部３７および洗浄部３８を備えるとしたがこれに限られない。例えば、室外カメラ３は加熱部３７および洗浄部３８を備えず、室外カメラ３の近傍に室外カメラ３とは別の機器である加熱器および洗浄器が設けられてもよい。この場合、コントローラ５３は、加熱信号および洗浄信号を室外カメラ３にではなく、それぞれ加熱器および洗浄器に送信することによって該加熱器および該洗浄器を制御してよい。そして、加熱器は加熱信号を受信すると第１光学系３１を加熱してよい。洗浄器は、洗浄信号を受信すると第１光学系３１を洗浄してよい。
【０１３０】
上述の実施形態において、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱して洗浄したが、これに限られない。例えば、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱して、洗浄しなくてもよい。例えば、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱せず、洗浄してもよい。コントローラ５３は、加熱または洗浄させることによって異物除去制御を行ったが、これに限られない。コントローラ５３は、任意の方法により第１光学系３１およびウィンドウシールド２１に付着した異物を除去してよい。
【０１３１】
上述の実施形態では、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて室外カメラ画像の異常を判定した後に、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて室内カメラ画像の異常を判定したが、これに限られない。例えば、コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて室内カメラ画像の異常を判定した後に、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて室外カメラ画像の異常を判定してもよい。
【符号の説明】
【０１３２】
１    撮像システム
２    移動体
３    室外カメラ（第１撮像装置）
４    室内カメラ（第２撮像装置）
５    画像処理装置
６    加熱装置
７    洗浄装置
８    室外カメラ用表示装置（第１表示装置）
９    室内カメラ用表示装置（第２表示装置）
３１  第１光学系
３２  第１撮像素子
３３  第１画像処理プロセッサ
３４  第１制御プロセッサ
３５  第１ＣＡＮトランシーバ
３６  第１通信部
３７  加熱部
３８  洗浄部
４１  第２光学系
４２  第２撮像素子
４３  第２画像処理プロセッサ
４４  第２制御プロセッサ
４５  第２ＣＡＮトランシーバ
４６  第２通信部
５１  第１受信部
５２  第２受信部
５３  コントローラ
５４  送信部
【図１】
2019125942.tif 000003
【図２】
2019125942.tif 000004
【図３】
2019125942.tif 000005
【図４】
2019125942.tif 000006
【図５】
2019125942.tif 000007
【図６】
2019125942.tif 000008
【図７】
2019125942.tif 000009
【図８】
2019125942.tif 000010
【図９】
2019125942.tif 000011
【図１０Ａ】
2019125942.tif 000012
【図１０Ｂ】
2019125942.tif 000013
【図１１】
2019125942.tif 000014