(57)【特許請求の範囲】
【請求項１】
所定の視野の映像を撮影する撮影手段と、
この撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、
前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段と、
を具備したことを特徴とする映像診断装置。
【請求項２】
前記診断手段により異常状態の映像であると診断された場合、前記撮影手段の撮影面等に対する異物付着による映像異常である旨を報知する警報手段をさらに具備したことを特徴とする請求項１記載の映像診断装置。
【請求項３】
前記撮影手段は、所定の視野の映像を時系列的に複数撮影し、
前記映像診断領域決定手段は、前記撮影手段から時系列的に得られる複数の映像のうち少なくとも１つの映像の一部を映像診断領域として決定することを特徴とする請求項１記載の映像診断装置。
【請求項４】
車両に設けられ、当該車両周辺の監視領域の映像を撮影する撮影手段を有し、この撮影手段により撮影された映像を監視する車載型映像監視装置において、
前記撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、
前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段と、
を具備したことを特徴とする車載型映像監視装置。
【請求項５】
車両に設けられ、当該車両周辺の監視領域の映像を撮影する撮影手段を有し、この撮影手段により撮影された映像を監視する車載型映像監視装置において、
前記撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、
前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段と、
前記撮影手段により撮影された映像に基づき、当該映像は昼間に撮影されたものか夜間に撮影されたものかを判定する昼夜判定手段と、
この昼夜判定手段の判定結果に応じて前記診断手段における閾値を可変する閾値可変手段と、
を具備したことを特徴とする車載型映像監視装置。
【請求項６】
前記診断手段により異常状態の映像であると診断された場合、前記撮影手段の撮影面等に対する異物付着による映像異常である旨を報知する警報手段をさらに具備したことを特徴とする請求項４または請求項５記載の車載型映像監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両の前方あるいは後方等の監視用の車載カメラからの映像を診断する映像診断装置、および、この映像診断装置を用いた車載型映像監視装置に関する。
【０００２】
【従来の技術】
自動車運転時の安全性を向上させる目的で、運転時に計測可能な画像入力センサの計測結果を評価して、警告を発したり運転制御を行って事故を回避するための装置が数多く提案されている。
【０００３】
たとえば、自車前方に設置されたカメラを用いるものとして、走行路前面の単一カメラからの画像解析によって自車線を抽出し走行路逸脱警報を発するためのものや、走行路前面の複数台のカメラ画像の解析によりステレオの原理を用いて、走行路前面の障害物を検知したり、自車の前走車との距離を計測して追突警報を行うものなどがある。
【０００４】
また、自車後方に設置されたカメラを用いるものとして、自車の後方から接近して自軍を追い越す動きのある他車を検知し、接触事故予防のための警報を発する装置などがある。
【０００５】
このような監視、警報装置において、入力画像が本来の監視処理に対して適正か、どうかを判定するものとして、逆光やスメアー（ｓｍｅａｒ）のような輝度レベルの問題に注目し、画面内の輝度レベルの代表値をある閾値にしたがって評価し、是非を判定するものがある。たとえば、特開２００１−４３３７７号公報では、画面内の水平方向の輝度分布を異常時の分布と比較することで前述の判定をおこなっている。また、特開２００１−４３３５２号公報においては、画像の水平方向のエッジ（ｅｄｇｅ）が少なく、かつ平均輝度が高いときにフェールと判定するものである。
【０００６】
前述したこれら従来技術からなる装置の大部分は、ある特定の特徴量を検出するために良好な入力映像が得られる場合を仮定しており、場合によっては検出条件を満たさない（以後異常映像と称する）ことも考えられる。この例として、入力画像の輝度が異常に高く飽和状態になったり逆に非常に不足している場合、および悪天候による雨滴、雪等、またはその他なんらかの汚れ、ゴミ等が撮像面に付着したり故意に正常映像が遮られてしまった場合などがある。
【０００７】
以上の場合、ユーザーが異常に気付かずに装置を使用し続けたことで、本来の映像特徴量の計測ができないために所望の監視結果が得られない恐れがある。その場合、車両運転中のユーザが誤った判断をして、事故につながるおそれがある。これに対して、異常映像に対する手段を講じている車載監視装置の従来例として、前述の特開２００１−４３３７７号公報や特開２００１−４３３５２号公報、または特願平０７−１２１６７８号（車両用車外監視装置）などがある。
【０００８】
前者は逆光やスメアー（ｓｍｅａｒ）のような輝度レベルの影響によっておこる異常映像を検知するためのものであるが、輝度分布やエッジ量の判定を水平方向のみで行っており、車両の進行方向が暗に画面垂直方向に仮定されており、不十分と考えられる。また、一般に車載監視装置において起こり得る異常状態としては、このような輝度レベルの問題以外に、撮像系レンズ面等に付着物が存在するために起こるものも多く、そのための対策が考慮されていない。
【０００９】
一方、後者の例では撮像装置の画像取込タイミングをワイパーの動きと連動させたものであるため、雨雪による影響によって生じる異常映像をワイパーで除去してから使用しているために、ワイパーを動作させている場合には、付着物の問題にも対処できる。しかし一般に晴天時や少雨の場合にワイパーを使用するユーザは極めて少ないため、後者の方法を用いても異常映像に気付かずに監視装置を動作させ続けユーザの判断をあやまらせる可能性が残り、問題である。
【００１０】
【発明が解決しようとする課題】
そこで、この発明は、監視用の映像が規格に満たない異常状態の映像か否かを診断することができる映像診断装置および車載型映像監視装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明の映像診断装置は、所定の視野の映像を撮影する撮影手段と、この撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段とを具備している。
【００１２】
また、この発明の車載型映像監視装置は、車両に設けられ、当該車両周辺の監視領域の映像を撮影する撮影手段を有し、この撮影手段により撮影された映像を監視する車載型映像監視装置において、前記撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段とを具備している。
さらに、この発明の車載型映像監視装置は、車両に設けられ、当該車両周辺の監視領域の映像を撮影する撮影手段を有し、この撮影手段により撮影された映像を監視する車載型映像監視装置において、前記撮影手段により撮影された映像の一部を映像診断領域として決定する映像診断領域決定手段と、前記映像診断領域内のテクスチャーのある画像集合に対して移動ベクトルを計測し、前記画素集合内の速度０なるベクトル数と前記画素集合内の全移動ベクトル数との比が閾値より大きい場合に、前記撮影手段により撮影された映像に前記撮像手段における異物付着による映像異常が生じていると診断する診断手段と、前記撮影手段により撮影された映像に基づき、当該映像は昼間に撮影されたものか夜間に撮影されたものかを判定する昼夜判定手段と、この昼夜判定手段の判定結果に応じて前記診断手段における閾値を可変する閾値可変手段とを具備している。
【００１３】
【発明の実施の形態】
以下、図面を参照してこの発明の実施の形態に係る映像診断装置が適用される車載型映像監視装置を説明する。すなわち、オプティカルフロー（ｏｐｔｉｃａｌ−ｆｌｏｗ）検出を基本原理とする車載型映像監視装置によって監視を実施する場合に、入力映像診断を行う場合の例を示す。車載型映像監視装置は、画像の中の動き情報を検出し、この動き情報に基づいて、車両がどこにいるとか、追越を掛けてきたとか、横から出てきた等を監視するものである。この装置における基となる入力映像の診断を行うものである。
【００１４】
図１は、後側方監視用途で用いられる車載型映像監視装置の概略構成を示すものである。
【００１５】
この車載型映像監視装置は、車両に搭載され、車両の後側方監視用途で用いられるものであり、映像入力手段１、映像監視手段２、映像診断領域決定手段３、判定モード設定手段４、高輝度異常映像判定手段５、異物付着異常映像判定手段６、警報手段７、非映像センサ８により構成されている。
【００１６】
上記映像入力手段１、映像監視手段２、警報手段７により、車両の後方の映像に基づいて後側方からの追い越し車両の存在についての警告信号を発する運転支援システム（車載型映像監視装置）となっている。
【００１７】
映像入力手段１は、車両後部から後側方視野（自車線の両隣りの車線に相当する）をカバーするように自車の後方を撮像する撮像手段としてのＣＣＤカメラ（車載カメラ）により構成され、撮像画像はディジタル化された映像として映像監視手段２、映像診断領域決定手段３、高輝度異常映像判定手段５、異物付着異常映像判定手段６に出力される。この映像入力手段１の撮像面（カメラレンズ）、またはそのカバー面などに雨滴、雪、氷、泥などの異物が付着したり、逆光、昼間のトンネルの出入りによる照度の急変などによって入力映像が劣化し、監視が不可能になる場合がある。
【００１８】
映像監視手段２は、後述する手法により、映像入力手段１からの入力映像としてのディジタル化された映像信号を用いて追い越し等の後側方監視処理を行うものである。
映像診断領域決定手段３は、映像入力手段１からの入力映像としてのディジタル化された映像信号を用いて、図２に示すように、映像監視手段２が処理対象とする画面内の追越車両監視領域Ａｄと、この追越車両監視領域Ａｄに隣接する周辺領域Ａｓとをたとえば白線の判断に基づいて映像診断領域として決定するものである。
【００１９】
たとえば、映像入力手段１からの複数フレームのビットマップデータを用いて、車両等の搬送方向（舵角の方向）と略同じ方向に連続する所定の幅を持ったデータを抽出することにより判断できる。
【００２０】
判定モード設定手段４は、高輝度異常映像判定手段５、異物付着異常映像判定手段６が、１つのフレーム単位で処理を行うのか、複数のフレーム単位で処理を行うのかを設定するものである。
【００２１】
高輝度異常映像判定手段５は、入力映像が高輝度による異常映像であるか否かを判定するものである。
【００２２】
異物付着異常映像判定手段６は、入力映像が異物付着による異常映像であるか否かを判定するものである。
【００２３】
警報手段７は、映像監視手段２による映像の監視結果が映像、音声にて報知するものである。
非映像センサ８は、本システムで使用するシステム時計、速度センサ、舵角センサ、ワーパースイッチの各センサとなっている。
【００２４】
第１の実施形態は、輝度に関する異常映像の診断を行うものである。
【００２５】
第１の実施形態は、映像を用いた車両用監視システムにおいて、入力映像が監視に不適な異常状態映像であることをオンライン検出する映像診断方式であり、異常状態映像として強反射、強入射光による輝度飽和映像を想定するが、正常映像と異常映像に対する監視対象領域とその周囲領域との輝度分布、およびそれぞれの領域での輝度分布同士の関係を用いて正常と異常とを判定するものである。
【００２６】
第２の実施形態は、輝度に関する異常映像の診断での複数フレーム情報を利用するものである。
第２の実施形態は、映像を用いた車両用監視システムにおいて、入力映像が監視に不適な異常状態映像であることをオンライン検出する映像診断方式であり、異常状態映像として強反射、強入射光による輝度飽和映像を想定するが、正常映像と異常映像に対する監視対象領域とその周囲領域との輝度分布、およびそれぞれの領域での輝度分布同士の関係を用いて正常と異常とを判定することを特徴とする車両用監視装置において、映像中から時系列的に得られる前述の正常、異常判定情報を複数フレーム画像全体または一部から抽出して、その時間的分布を評価することによって監視不可能な異常状態映像を判定するものである。
【００２７】
第３の実施形態は、異物付着に関する異常映像の診断を行うものである。
【００２８】
第３の実施形態は、映像を用いた車両用監視システムにおいて、入力映像が監視に不適な異常状態映像であることをオンライン検出する映像診断方式であり、異常状態映像として撮像系レンズ面等に付着物が存在するために、本来の監視対象映像が遮られてしまった場合の映像を想定し、付着物が存在する映像中では、画面内のテクスチャ量が正常時より少なく、かつテクスチャの移動量が少ないのに対し、正常映像中では、テクスチャ量は多く、またその中での背景物体や移動物体上のテクスチャは移動するという特性に従って、画面内監視対象、領域でのテクスチャ総量に対する移動するテクスチャ量の比を評価して異常状態を検知するものである。
【００２９】
第４の実施形態は、異物付着に関する異常映像の診断での複数フレーム情報の利用を行うものである。
【００３０】
第４の実施形態は、映像を用いた車両用監視システムにおいて、入力映像が監視に不適な異常状態映像であることをオンライン検出する映像診断方式であり、異常状態映像として撮像系レンズ面等に付着物が存在するために、本来の監視対象映像が遮られてしまった場合の映像を想定し、付着物が存在する映像中では、画面内のテクスチャ量が正常時より少なく、かつテクスチャの移動量が少ないのに対し、正常映像中では、テクスチャ量は多く、またその中での背景物体や移動物体上のテクスチャは移動するという特性に従って、画面内監視対象領域でのテクスチャ総量に対する移動するテクスチャ量の比を評価して瞬間での異常状態を検知し、その時間的な分布から異常状態であるかどうかを判定するものである。第５の実施形態は、異物付着に関する異常映像の診断における昼夜対応を行うものである。
映像を用いた車両用監視システムにおいて、入力映像が監視に不適な異常状態映像であることをオンライン検出する映像診断方式であり、異常状態映像として撮像系レンズ面等に付着物が存在するために、本来の監視対象映像が遮られてしまった場合の映像を想定し、付着物のテクスチャは移動量が少ないのに対し、背景物体やシーン内の移動物体のテクスチャは移動するという特性に従って、画面内テクスチャ領域の総量に対する移動するテクスチャ領域の量（面積）比を閾値処理して異常状態を検知する車両用監視装置における映像診断方式において、画面内の輝度代表値から昼夜を区別（または輝度が夜間に準ずるレベルかどうかを区別）し、異常映像と判定するための上記閾値を変えるものである。
【００３１】
第６の実施形態は、映像の診断結果の通知を行うものである。
【００３２】
第６の実施形態は、監視領域全体、または監視領域を複数部分に分割した小領域毎について、複数の異常状態判定を行い、その結果を原因ごとの判定結果をユーザに通知するものである。
【００３３】
上記車両用監視システム中の映像監視手段２は、例えば参考文献（特開２０００−１１１３３号公報、移動物体検出装置及びその方法）に示すような手法を用いた手段、または装置でよいが、後側方からの追い越し車両の存在についての警告信号を発することができるものとする。そのために前記映像入力手段１から入力され、ディジタル化された映像のうちある１フレームの中の指定領域についてある一定強度以上のテクスチャが存在する画素について、別時点のフレームにおいて対応付けをとり、それら同一と考えられる点のそれぞれのフレーム間での移動ベクトル（Ｏｐｔｉｃａｌ  ｆｌｏｗ）を評価する手法を用いているものと仮定する。
【００３４】
この監視手法の場合、例えば前述の映像入力手段１の撮像面、またはそのカバー面などに雨滴、雪、氷、泥などの異物が付着したり、逆光、昼間のトンネルの出入りによる照度の急変などによって入力映像が劣化し、監視が不可能になる場合がある。雨滴、氷逆光などの結果、主に画像は輝度が飽和ぎみになったり、コントラスト不足となり、検出対象物に対する充分なテクスチャが存在しない画像である場合が多い。また、泥の付着の場合は主に対象物が隠蔽されて正確な追跡が行なえない。雪、氷の場台には、その付着量によって、コントラスト不足と隠蔽のどちらか、または両方の原因によって、やはり追跡による監視が不可能になる場合が多い。一般には、上述の監視を失敗させるような要因は複合して発生し、またその程度が本来の監視処理にどのような影響を及ぼした場合に監視不可能になるのかを詳細に調査することは困難な作業となる。
【００３５】
したがって、第１の実施形態から第６の実施形態に示す各処理方法を用いることで、入力画像に生じた異常状態が、上述の主なる異常映像のうちのどちらか、または両方に該当するかどうかを、各々の異常映像ごとのチェック手法を並列に適用して判定することで、実際の映像監視手段２の処理を行なわないか、または映像監視手段２の処理と並行して、その処理成否を予測し入力画像が異常か正常かを通報することが可能となる。
【００３６】
本システムの処理を大きく分けると、入力が監視映像として適切なものかどうかを判断するために、入力映像が高輝度異常映像であるかどうかを判定するための高輝度異常映像判定ステップと、入力映像が異物付着による異常映像であるかどうかを判定するための付着異常映像判定ステップと、それら両者からの判定結果を合成して、監視領域ごとに通報するための警報ステップとからなる。この時の全体処理の流れを図３のフローチャートに示す。
【００３７】
まず、車両後部から後側方視野（自車線の両隣りの車線に相当する）をカバーするように設置された映像入力手段１において入力され（ＳＴ１）、ディジタル化された映像信号が映像監視手段２において、本来の目的である後側方監視処理に用いられる（ＳＴ２）。この処理の結果はある時点における追い越し車両存在の有無と、もし存在した場合には、その位置と自車両までの距離であり、これら情報を警報手段７において、追い越し車両が自車両の左右どちらかに存在し、距離（または接近の度合）がどの程度かを出力する。
【００３８】
後側方監視処理と並行して、前述の高輝度異常映像判定ステップにおいては、映像診断領域決定手段３によって、映像監視手段２自身が処理対象とする画面内の追越車両監視領域Ａｄと、この追越車両監視領域Ａｄに隣接する周辺領域Ａｓとを映像診断領域として設定する。
【００３９】
これにより、高輝度異常映像判定手段５において、第１の実施形態に示すように、監視対象領域とその周囲領域との輝度分布、およびそれぞれの領域での輝度分布同士の関係を用いて正常と異常とを判定する（ＳＴ３）。この際ユーザは、あらかじめ判定モード設定手段４を用いて、高輝度異常映像判定手段５での処理を第１の実施形態で示すような単一フレームごとに算出するのか、第１の実施形態に示すように、異常であるか正常であるかを判定するための情報を複数フレーム画像全体または一部から抽出して、その時間的分布を評価することで、総合的に異常映像を判定するのか否かのモードを設定しておくことができる。
【００４０】
また、同じく前述の付着異常映像判定ステップにおいては、第３の実施形態に示すように、付着物が存在する映像中では、画面内のテクスチャ量が正常時より少なく、かつテクスチャの移動量が少ないのに対し、正常映像中では、テクスチャ量は多く、またその中での背景物体や移動物体上のテクスチャは移動するという特性に従って、画面内監視対象領域でのテクスチャ総量に対する移動するテクスチャ量の比を評価して、入力映像が、異物付着による異常映像か否かの判定を異物付着異常映像判定手段６において行う（ＳＴ４）。高輝度異常映像判定ステップでの場合と同様に、本ステップにおいてもユーザが、あらかじめ判定モード設定手段４を用いて、異物付着異常映像判定手段６での処理を第３の実施形態で示すような単一フレームごとに算出するのか、第４の実施形態に示すように、異常であるか正常であるかを判定するための情報を複数フレーム画像全体または一部から抽出して、その時間的分布を評価することで、総合的に異常映像を判定するのか否かのモードを設定しておくことができる。
【００４１】
最後に、上記２ステップによって、各判定処理領域（追越車両監視領域Ａｄ）ごとに算出された高輝度異常映像か否か、および異物付着異常映像か否かについての判定結果は、高輝度異常映像判定手段５、および異物付着異常映像判定手段６から、警報手段７に送られ、この警報手段７によってまとめられた後、音声と映像に変換され、ユーザに提示される（ＳＴ５）。この点は第６の実施形態に示す。
【００４２】
次に、上記高輝度異常映像判定ステップの処理について説明する。
【００４３】
本ステップで検出対象とする異常映像は、真後ろや横から入射する強い光（逆光やスメアー）によるものであり、図４に示すようなものである。この場合、映像の上部に逆光による白く飛んでしまって見えなくなった部分（高輝度部分）がある異常映像である。
【００４４】
まず、フレームごとに、映像監視手段２が処理対象とする、追越車両監視領域（図２）Ａｄの輝度頻度分布Ｈｄと、周辺領域Ａｓの輝度頻度分布Ｈｓを求め、輝度頻度分布の特徴と輝度頻度分布間の関係とから、高輝度異常映像か否かの判定を各フレームにおいて行う。
【００４５】
具体的には図２の追越車両監視領域Ａｄと周辺領域Ａｓについて、輝度頻度分布Ｈｄ、Ｈｓをそれぞれ求め、追越車両監視領域Ａｄ内の輝度頻度分布Ｈｄについて、閾値Ｌより大なる輝度を持つ画素数と追越車両監視領域Ａｄ内の全画素数との比Ｒｄを算出し、閾値Ｒｔに対し、
Ｒｄ＞Ｒｔ                        （１）
なる場合に該当フレームの該当追越車両監視領域Ａｄ内において高輝度異常映像の候補とする。
【００４６】
ここで単に追越車両監視領域Ａｄ内部のみが高輝度なものとしては、白色の車の進入、車道への積雪等の例があり誤判定の恐れがある。そこで監視対象領域のみが高輝度なのではなく、その周辺部もある程度高輝度であるようなもののみを高輝度異常映像とすることで判定精度を向上する。このために、あらかじめ複数の正常映像と高輝度異常映像とで上記Ｒｔに相当する量と、周辺領域Ａｓ内の輝度頻度分布Ｈｓについて閾値Ｌより大なる輝度を持つ画素数とＡｓ領域内全画素数との比Ｒｓとを算出してそれらの関係を関数近似しておく。そして判定段階において、入力映像についてのＲｓに相当する量を上記関数Ｇ（ｘ）にあてはめることで判定を行う。すなわち、以下式を満たす場合に、高輝度異常映像と判定する。
【００４７】
Ｒｓ＞Ｇ（Ｒｔ）                        （２）
ここに、関数Ｇ（ｘ）としては例えば１次関数を用いて以下のようなもので良い。
【００４８】
Ｇ（ｘ）＝Ｐ＊ｘ＋Ｑ                    （３）
ここにＰ、Ｑは上記で求められていた一次関数のパラメータであり、以下を最小二乗の意味で満たすものとして良い。
【００４９】
Ｒｓ＝Ｐ＊Ｒｄ＋Ｑ                      （４）
また上記式（４）であてはめ関数としては、Ｒｄに関しての一次式を用いていたが、処理速度が許すならば、より次数をあげて二次式以上の関数を用いてもよい。ここまでの処理は第１の実施形態に該当する。
【００５０】
上記関数Ｇ（ｘ）としては、高輝度の異常映像における追越車両監視領域Ａｄに対する輝度分布（図５）と周辺領域Ａｓに対する輝度分布（図６）を用いて、追越車両監視領域Ａｄ内の閾値Ｌより大なる輝度を持つ画素数Ｐｄと追越車両監視領域Ａｄ内の全画素数Ｑｄとの比Ｒｄを算出し、周辺領域Ａｓ内の閾値Ｌより大なる輝度を持つ画素数Ｐｓと周辺領域Ａｓ内の全画素数Ｑｓとの比Ｒｓを算出し、この値をプロットすることにより得られた図７に示すようなグラフにより、上記あてはめ関数による式が生成される。
【００５１】
さらに前述のように高輝度による異常映像を安定して抽出する目的のために、判定モード設定手段４を用いて、複数フレームでの情報を総合して、異常か否かを判定する場合の処理としては、各フレームごとに式１、および式３の条件を判定し、条件が満たされた場合に、輝度異常フレーム候補のフレーム数カウントＣを大きくする。そして一定繰り返しフレーム数Ｆごとに以下をチェックし、条件を満たした場合に異常映像と判定する。
【００５２】
Ｃ／Ｆ＞Ｓ                              （５）
ただし、ここでＳを異常フレーム数割合の閾値とする。以上処理は第２の実施形態に該当する。
【００５３】
上記第１の実施形態による高輝度異常映像判定ステップの処理を、図８に示すフローチャートを参照しつつ説明する。
【００５４】
すなわち、高輝度異常映像判定手段５は、映像入力手段１から供給される現フレーム画像を取得する（ＳＴ１１）。
【００５５】
高輝度異常映像判定手段５は、この現フレーム画像に対して、映像診断領域決定手段３によって設定された領域情報に基づいて追越車両監視領域Ａｄと周辺領域Ａｓを設定する（ＳＴ１２）。
【００５６】
これにより、高輝度異常映像判定手段５は、追越車両監視領域Ａｄ内で輝度が閾値Ｌより大なる画素数Ｐｄと追越車両監視領域Ａｄ全体の画素数Ｑｄとの比Ｒｄを算出する（ＳＴ１３）。
また、高輝度異常映像判定手段５は、周辺領域Ａｓ内で輝度が閾値Ｌより大なる画素数Ｐｓと周辺領域Ａｓ全体の画素数Ｑｄとの比Ｒｓを算出する（ＳＴ１４）。
【００５７】
この結果、高輝度異常映像判定手段５は、比Ｒｄが閾値Ｒｔよりも大きく、かつ比ＲｓがＧ（Ｒｔ）よりも大きいか否かを判断する（ＳＴ１５）。
【００５８】
この判断の結果、比Ｒｄが閾値Ｒｔよりも大きく、かつ比ＲｓがＧ（Ｒｔ）よりも大きい場合に、高輝度異常映像判定手段５は、追越車両監視領域Ａｄ内での高輝度映像異常を判断し、高輝度映像異常情報を警報手段７に出力し（ＳＴ１６）、ステップ１１に戻る。
また、ステップ１５において、比Ｒｄが閾値Ｒｔよりも小さく、あるいは比ＲｓがＧ（Ｒｔ）よりも小さい場合に、高輝度異常映像判定手段５は、追越車両監視領域Ａｄ内での高輝度映像異常が発生していない（正常）と判断し、ステップ１１に戻る。
【００５９】
なお、上記白線検知による領域情報の決定を高輝度異常映像判定手段５が行うようにしても良い。
【００６０】
次に、上記第２の実施形態による高輝度異常映像判定ステップの処理を、図９に示すフローチャートを参照しつつ説明する。
【００６１】
この場合、高輝度異常映像判定手段５に、高輝度フレーム候補のカウントが為される高輝度フレーム候補カウンタＣと、サンプリングするフレーム数がカウントされるフレームカウンタＦとが設けられる。
【００６２】
すなわち、高輝度異常映像判定手段５は、高輝度フレーム候補カウンタＣ＝０、フレームカウンタＦ＝０を設定する（ＳＴ２０）。ついで、高輝度異常映像判定手段５は、映像入力手段１から供給される現フレーム画像を取得する（ＳＴ２１）。
【００６３】
高輝度異常映像判定手段５は、この現フレーム画像に対して、映像診断領域決定手段３による白線検知によって設定された領域情報に基づいて追越車両監視領域Ａｄと周辺領域Ａｓを設定する（ＳＴ２２）。
【００６４】
これにより、高輝度異常映像判定手段５は、追越車両監視領域Ａｄ内で輝度が閾値Ｌより大なる画素数Ｐｄと追越車両監視領域Ａｄ全体の画素数Ｑｄとの比Ｒｄを算出する（ＳＴ２３）。
また、高輝度異常映像判定手段５は、周辺領域Ａｓ内で輝度が閾値Ｌより大なる画素数Ｐｓと周辺領域Ａｓ全体の画素数Ｑｄとの比Ｒｓを算出する（ＳＴ２４）。
【００６５】
この結果、高輝度異常映像判定手段５は、比Ｒｄが閾値Ｒｔよりも大きく、かつ比ＲｓがＧ（Ｒｔ）よりも大きいか否かを判断する（ＳＴ２５）。
【００６６】
この判断の結果、比Ｒｄが閾値Ｒｔよりも大きく、かつ比ＲｓがＧ（Ｒｔ）よりも大きい場合に、高輝度異常映像判定手段５は、高輝度フレーム候補カウンタＣをカウントアップ（Ｃ＝Ｃ＋１）する（ＳＴ２６）。さらに、高輝度異常映像判定手段５は、フレームカウンタＦがサンプリングするフレーム数（Ｆｔ）に達したか否かを判断する（ＳＴ２７）。
【００６７】
そして、高輝度異常映像判定手段５は、フレームカウンタＦがサンプリングするフレーム数に達したと判断した際、高輝度フレーム候補数をサンプリングするフレーム数により除算した値が、所定値Ｓよりも大きい場合に（ＳＴ２８）、追越車両監視領域Ａｄ内での高輝度映像異常を判断し、高輝度映像異常情報を警報手段７に出力し（ＳＴ２９）、高輝度フレーム候補カウンタＣを０に設定し、フレームカウンタＦを０に設定し（ＳＴ３０）、ステップ２１に戻る。
【００６８】
また、ステップ２５において、比Ｒｄが閾値Ｒｔよりも小さく、あるいは比ＲｓがＧ（Ｒｔ）よりも小さい場合、またはステップ２７において、フレームカウンタＦがサンプリングするフレーム数（Ｆｔ）に達していないと判断された場合、高輝度異常映像判定手段５は、フレームカウンタＦをカウントアップ（Ｆ＝Ｆ＋１）し（ＳＴ３１）、ステップ２１に戻る。
【００６９】
また、ステップ２８において、高輝度異常映像判定手段５は、高輝度フレーム候補数をサンプリングするフレーム数により除算した値が、所定値（異常フレーム数割合の閾値）Ｓよりも小さい場合に、ステップ２１に戻る。
【００７０】
また、上記第１の実施形態と上記第２の実施形態とが、判定モード設定手段４により設定されている判定モードに基づいて、１つのフレーム単位の処理を行うのか、複数フレームによる処理を行うようにしても良い。
【００７１】
この場合、図１０に示すように、図９に示すフローチャートに、ステップ２５のＹＥＳ、ＮＯのそれぞれの後段に複数フレーム判定モードかを判断するステップ３３、３４を追加する。ステップ３３によりＮＯを判断した際、ステップ２１に戻り、ステップ３３によりＹＥＳを判断した際、ステップ３１に進む。
【００７２】
また、ステップ３４によりＹＥＳを判断した際、ステップ２６に進み、ステップ３４によりＮＯを判断した際、追越車両監視領域Ａｄ内での高輝度映像異常を判断し、高輝度映像異常情報を警報手段７に出力し（ＳＴ３５）、ステップ２１に戻る。
【００７３】
次に、上記付着異常映像判定ステップの処理について説明する。
【００７４】
本ステップで検出対象とする異常映像は、画面を覆う形の雪、泥等の付着によるものであり、図１１に示すようなものである。通常、視界が良好の状態で車両が移動している場合、映像入力手段１からの映像を解析してｏｐｔｉｃａｌ ｆｌｏｗ（＝移動ベクトル）を求めたとすると、前記追越車両監視領域Ａｄにおいては、絶対値が完全に０となるｏｐｔｉｃａｌ ｆｌｏｗは極めて少ない。一方、図１１の雪、泥などの付着による不検出状態では、同じ検知領域内において、このような速度０の移動ベクトル数Ｖ０の割合は多くなる。したがって、毎フレームでの前記追越車両監視領域Ａｄ内のテクスチャのある画素集合Ｇに対して、移動ベクトルを計測し、速度０なる移動ベクトル数Ｖ０と画素集合Ｇのうちの全移動ベクトル数Ｖａとの比が下式のように、閾値Ｍより大きい場合、現在のフレームＦを”付着による不検出候補フレーム”Ｆｓとする。
【００７５】
Ｆ＝Ｆｓ．ｉｆＶ０／Ｖａ＞Ｍ （６）
ただし上記において、移動ベクトルの算出には、一般に相関法と呼ばれる方法を用いる。すなわち、まず、あるフレームｔ内での注目画素ｐ（ｘ，ｙ，ｔ）について、その近傍領域ｒと、他フレームｔ’において、前述ｐ（ｘ，ｙ，ｔ）の周囲ｗ以内のある画素ｐ’（ｘ’，ｙ’，ｔ’）の近傍領域ｒ’（ただし、ｒとｒ’とは同一形状）とを仮定し、ｒとｒ’内部の対応する画素同士の輝度積または輝度差の絶対値を求め、ｒ領域内についての総和Ｓを求める。この処理を前記ｗ以内の全画素について行い、ｓがある閾値ｓｔ以下で、かつ最小となるような画素ｐ’＝ｐ”を求め、ベクトルｐｐ”を移動ベクトルとする。一般に注目画素は画面内で強いテクスチャを持つものを、例えばエッジ画像の閾値処理などを用いて選んで用いる（閾値による２値化）が、付着物が画面内監視領域の大半を覆って監視に支障をきたすような場合には、通常、画面内に強いテクスチャを持つ画素が少ないため、ここでは、ある程度エッジ抽出閾値を小さくして画素の選択を行う。ところが、夜間では、付着物が無い状態においても、強いテクスチャを持つ画素が少なく、上述のｐ”の探索が失敗する場合があるが、この場合には、注目画素からの移動ベクトル量は０として扱う。したがって夜間では、式（６）中のＶ０は昼間に比べて小さくなる。
【００７６】
このような理由から、式（６）中での閾値Ｍは、昼夜では異なるものを使うべきであるが、本方式では第５の実施形態に述べるように、画面全体、または一部領域について、輝度代表値を算出し、昼夜（または、これに相当する状態か否か）を区別し、昼と判定された場合の上述の閾値Ｍ＝Ｍｄより、夜間と判定された場合の閾値Ｍ＝Ｍｎを低く設定する。ここでは上記輝度代表値として例えば、全画面領域の画像を一定サイズ縮小した画像の輝度総和をＬＭとして、輝度総和ＬＭが輝度総和の閾値ＬＴ以上の場合閾値Ｍ＝Ｍｄとし、それ以外のとき閾値Ｍ＝Ｍｎを選択する。
【００７７】
また、上記処理では付着物によって、一般にテクスチャ強度が低下することを前提に、そもそも強いテクスチャ領域を含む映像については、付着物検出がおこなわれにくいように閾値Ｍを大きく設定して処理を行う。ここでは、強いテクスチャ領域の確認のために、エッジ画像のうち、輝度の閾値Ｅｔ以上の輝度値を有する画素の数Ｅｎが、閾値Ｅｎｔより大の場合にＭ＝Ｍｄ’を用いる。このＭｄ’は、Ｍｄに対して１より大きな数が乗算されたものとなっている。
【００７８】
ところが一方、たとえば渋滞の多い市街地走行を行う場合のように、自車両の速度が低速かつテクスチャの複雑な走行シーンが多くある場合、図１中の非映像センサ８として車速センサを用いて自車速度を求め、その速度が小さく閾値ＳＰｔ以下の時には、前述の閾値Ｍを非常に大きな値（＝Ｍｄ”）とすることを行ってもよい。このＭｄ”は、Ｍｄ’に対して１より大きな数が乗算されたものとなっている。
【００７９】
さらに高輝度異常映像検出と同様に、判定モード設定手段４を用いて、複数フレームでの情報を総合して、異常か否かを判定する場合の処理としては、このようなフレームごとの不検出候補Ｆｓの判定をある一定時間（一定フレーム数）Ｎｃを単位として行い、Ｎｃフレーム中のＦｓなるフレームの数ＮｓとＮｃとの比が閾値Ｓｔを超える場合、すなわち、
Ｎｓ／Ｎｃ＞Ｓｔ．                    （７）
この場合に付着状態と判定する。なお、この部分の処理は、第４の実施形態に示すものに相当する。
【００８０】
上記第３の実施形態による異物付着異常映像判定ステップの処理を、図１２に示すフローチャートを参照しつつ説明する。
【００８１】
すなわち、異物付着異常映像判定手段６は、映像入力手段１から供給される現フレーム画像を取得する（ＳＴ４１）。
【００８２】
異物付着異常映像判定手段６は、この現フレーム画像に対して、映像診断領域決定手段３によって設定された領域情報に基づいて追越車両監視領域Ａｄを設定する（ＳＴ４２）。
【００８３】
これにより、異物付着異常映像判定手段６は、追越車両監視領域Ａｄ内で、エッジ画像を作成し、かつ一定閾値で２値化した画素集合Ｇとする（ＳＴ４３）。
【００８４】
異物付着異常映像判定手段６は、追越車両監視領域Ａｄ内の画像を一定サイズ縮小した画像の輝度総和ＬＭを算出する（ＳＴ４４）。
【００８５】
異物付着異常映像判定手段６は、輝度総和ＬＭが昼夜の閾値ＬＴより大きいか否かにより（ＬＭ＞ＬＴ？）、昼か夜かを判断する（ＳＴ４５）。
【００８６】
異物付着異常映像判定手段６は、「ＬＭ＞ＬＴ」の場合、昼と判断し、閾値Ｍを閾値Ｍｄに設定する（ＳＴ４６）。また、異物付着異常映像判定手段６は、「ＬＭ＜ＬＴ」の場合、夜と判断し、閾値Ｍを閾値Ｍｎ（閾値Ｍｎは閾値Ｍｄよりも小さいものとなっている）に設定する（ＳＴ４７）。
【００８７】
異物付着異常映像判定手段６は、強いテクスチャ領域の確認のために、エッジ画像つまり画素集合Ｇ内での輝度の閾値Ｅｔ以上の輝度値を有する画素の数Ｅｎが、閾値Ｅｎｔより大（Ｅｎ＞Ｅｎｔ）か否かを判断する（ＳＴ４８）。異物付着異常映像判定手段６は、画素の数Ｅｎが、閾値Ｅｎｔより大を判断した際に、閾値Ｍを閾値Ｍｄ’に設定する（ＳＴ４９）。異物付着異常映像判定手段６は、画素の数Ｅｎが、閾値Ｅｎｔより小を判断した際に、閾値Ｍｄの設定のままステップ５０へ進む。
【００８８】
さらに、異物付着異常映像判定手段６は、非映像センサ８として車速センサを用いて自車速度を求め、その速度が小さく閾値ＳＰｔ以下の時には（ＳＴ５０）、前述の閾値Ｍを非常に大きな値（＝Ｍｄ”）とする（ＳＴ５１）。
【００８９】
異物付着異常映像判定手段６は、上記画素集合Ｇ内でオプティカルフローを算出し、画素集合Ｇ内の速度０なるベクトル数Ｖ０と画素集合Ｇ内の全移動ベクトル数Ｖａとを算出する（ＳＴ５２）。
異物付着異常映像判定手段６は、画素集合Ｇ内の速度０なるベクトル数Ｖ０を画素集合Ｇ内の全移動ベクトル数Ｖａにより除算した値が、閾値Ｍより小さいか否かにより（Ｖ０／Ｖａ＜Ｍ）、異物付着による映像異常が生じているか否かを判断する（ＳＴ５３）。
【００９０】
この結果、異物付着異常映像判定手段６は、異物付着による映像異常が生じていると判断した際に、追越車両監視領域Ａｄでの異物付着映像異常情報を出力する（ＳＴ５４）。
【００９１】
また、異物付着異常映像判定手段６は、異物付着による映像異常が生じていないと判断した際に、ステップ４１に戻る。
【００９２】
なお、上記白線検知による領域情報の決定を異物付着異常映像判定手段６が行うようにしても良い。
【００９３】
上記第４、第５の実施形態による異物付着異常映像判定ステップの処理を、図１３に示すフローチャートを参照しつつ説明する。
【００９４】
この場合、異物付着異常映像判定手段６に、付着フレーム候補のカウントが為される異物付着フレーム候補カウンタＮｓと、サンプリングするフレーム数がカウントされるフレームカウンタＦとが設けられる。
【００９５】
すなわち、異物付着異常映像判定手段６は、異物付着フレーム候補カウンタＮｓを０に（Ｎｓ＝０）設定し、フレームカウンタＦを０に（Ｆ＝０）設定する（ＳＴ６０）。ついで、異物付着異常映像判定手段６は、映像入力手段１から供給される現フレーム画像を取得する（ＳＴ６１）。
【００９６】
異物付着異常映像判定手段６は、この現フレーム画像に対して、映像診断領域決定手段３によって設定された領域情報に基づいて追越車両監視領域Ａｄを設定する（ＳＴ６２）。
【００９７】
これにより、異物付着異常映像判定手段６は、追越車両監視領域Ａｄ内で、エッジ画像を作成し、かつ一定閾値で２値化した画素集合Ｇとする（ＳＴ６３）。
【００９８】
異物付着異常映像判定手段６は、追越車両監視領域Ａｄ内の画像を一定サイズ縮小した画像の輝度総和ＬＭを算出する（ＳＴ６４）。
【００９９】
異物付着異常映像判定手段６は、輝度総和ＬＭが昼夜の閾値ＬＴより大きいか否かにより（ＬＭ＞ＬＴ？）、昼か夜かを判断する（ＳＴ６５）。
【０１００】
異物付着異常映像判定手段６は、「ＬＭ＞ＬＴ」の場合、昼と判断し、閾値Ｍを閾値Ｍｄに設定する（ＳＴ６６）。また、異物付着異常映像判定手段６は、「ＬＭ＜ＬＴ」の場合、夜と判断し、閾値Ｍを閾値Ｍｎ（閾値Ｍｎは閾値Ｍｄよりも小さいものとなっている）に設定する（ＳＴ６７）。
【０１０１】
異物付着異常映像判定手段６は、強いテクスチャ領域の確認のために、エッジ画像つまり画素集合Ｇ内での輝度の閾値Ｅｔ以上の輝度値を有する画素の数Ｅｎが、閾値Ｅｎｔより大（Ｅｎ＞Ｅｎｔ）か否かを判断する（ＳＴ６８）。異物付着異常映像判定手段６は、画素の数Ｅｎが、閾値Ｅｎｔより大を判断した際に、閾値Ｍを閾値Ｍｄ’に設定する（ＳＴ６９）。異物付着異常映像判定手段６は、画素の数Ｅｎが、閾値Ｅｎｔより小を判断した際に、閾値Ｍｄの設定のままステップ７０へ進む。
【０１０２】
さらに、異物付着異常映像判定手段６は、非映像センサ８として車速センサを用いて自車速度を求め、その速度が小さく閾値ＳＰｔ以下の時には（ＳＴ７０）、前述の閾値Ｍを非常に大きな値（＝Ｍｄ”）とする（ＳＴ７１）。
【０１０３】
異物付着異常映像判定手段６は、上記画素集合Ｇ内でオプティカルフローを算出し、画素集合Ｇ内の速度０なるベクトル数Ｖ０と画素集合Ｇ内の全移動ベクトル数Ｖａとを算出する（ＳＴ７２）。
異物付着異常映像判定手段６は、画素集合Ｇ内の速度０なるベクトル数Ｖ０を画素集合Ｇ内の全移動ベクトル数Ｖａにより除算した値が、閾値Ｍより小さいか否かにより（Ｖ０／Ｖａ＜Ｍ）、異物付着による映像異常が生じているか否かを判断する（ＳＴ７３）。
【０１０４】
この判断の結果、異物付着による映像異常が生じている場合、異物付着異常映像判定手段６は、異物付着フレーム候補カウンタＮｓをカウントアップ（Ｎｓ＝Ｎｓ＋１）する（ＳＴ７４）。さらに、異物付着異常映像判定手段６は、フレームカウンタＦがサンプリングするフレーム数（Ｎｃ）に達したか否かを判断する（ＳＴ７５）。
【０１０５】
そして、異物付着異常映像判定手段６は、フレームカウンタＦがサンプリングするフレーム数に達したと判断した際、異物付着フレーム候補数（Ｎｓ）をサンプリングするフレーム数（Ｎｃ）により除算した値が、所定値Ｓｔよりも大きい場合に（ＳＴ７６）、追越車両監視領域Ａｄ内での異物付着映像異常を判断し、異物付着映像異常情報を警報手段７に出力し（ＳＴ７７）、異物付着フレーム候補カウンタＮｓを０に設定し、フレームカウンタＦを０に設定し（ＳＴ７８）、ステップ６１に戻る。
【０１０６】
また、ステップ７３において、異物付着による映像異常が生じていないと判断された場合、またはステップ７５において、フレームカウンタＦがサンプリングするフレーム数（Ｎｃ）に達していないと判断された場合、異物付着異常映像判定手段６は、フレームカウンタＦをカウントアップ（Ｆ＝Ｆ＋１）し（ＳＴ７９）、ステップ６１に戻る。
【０１０７】
また、ステップ７６において、異物付着異常映像判定手段６は、異物付着フレーム候補数をサンプリングするフレーム数により除算した値が、所定値（異常フレーム数割合の閾値）Ｓｔよりも小さい場合に、ステップ６１に戻る。
【０１０８】
また、上記第３の実施形態と上記第４の実施形態とが、判定モード設定手段４により設定されている判定モードに基づいて、１つのフレーム単位の処理を行うのか、複数フレームによる処理を行うようにしても良い。
【０１０９】
この場合、図１４に示すように、図１３に示すフローチャートに、ステップ７３のＹＥＳ、ＮＯのそれぞれの後段に複数フレーム判定モードかを判断するステップ８１、８２を追加する。ステップ８１によりＮＯを判断した際、ステップ６１に戻り、ステップ８１によりＹＥＳを判断した際、ステップ７９に進む。
【０１１０】
また、ステップ８２によりＹＥＳを判断した際、ステップ７４に進み、ステップ８２によりＮＯを判断した際、追越車両監視領域Ａｄ内での異物付着映像異常を判断し、異物付着映像異常情報を警報手段７に出力し（ＳＴ８３）、ステップ６１に戻る。
【０１１１】
次に、検出状態の通知について説明する。
【０１１２】
本方式の実行結果は、第６の実施形態に示すように、警報手段７によって、各フレームごとに、または異常映像の判定が行われるごとに、各判定処理領域ごとに算出された高輝度異常映像か否か、および異物付着異常映像か否かについての判定結果が、音声、または音声と映像によってユーザに提示されるが、この時の提示内容は例えば図１５に示すように、各種状態に応じてランプの非点灯と点灯、テキスト発話内容なっている。
【０１１３】
たとえば、正常時、ランプは非点灯でテキスト発話内容がなしとなっている。
【０１１４】
また、右レーンで高輝度異常の際に、ランプが点灯され、「右レーンで反射逆光」が発話される。右レーンで付着状態の際に、ランプが点灯され、「右レーンで異物付着」が発話される。右レーンで付着状態かつ高輝度異常の際に、ランプが点灯され、「右レーンで異物付着かつ反射逆光」が発話される。左右レーンでともに高輝度異常の際に、ランプが点灯され、「左右レーンで反射逆光」が発話される。左レーンで高輝度異常、右レーンで付着状態の際に、ランプが点灯され、「左レーンで反射逆光、右レーンで異物付着」が発話される。左レーンで高輝度異常、右レーンで付着状態かつ高輝度異常の際に、ランプが点灯され、「左レーンで反射逆光、右レーンで異物付着かつ反射逆光」が発話される。左レーンで付着状態の際に、ランプが点灯され、「左レーンで異物付着」が発話される。左レーンで付着状態、右レーンで高輝度異常の際に、ランプが点灯され、「左レーンで異物付着、右レーンで反射逆光」が発話される。左右レーンがともに付着状態の際に、ランプが点灯され、「左右レーンともに異物付着」が発話される。左レーンで付着状態、右レーンで付着状態かつ高輝度異常の際に、ランプが点灯され、「左レーンで異物付着、右レーンで異物付着かつ反射逆光」が発話される。左レーンで付着状態かつ高輝度異常の際に、ランプが点灯され、「左レーンで異物付着かつ反射逆光」が発話される。左レーンで付着状態かつ高輝度異常、右レーンで高輝度異常の際に、ランプが点灯され、「左レーンで異物付着、かつ反射逆光、右レーンで反射逆光」が発話される。左レーンで付着状態かつ高輝度異常、右レーンで高輝度異常の際に、ランプが点灯され、「左レーンで異物付着、かつ反射逆光、右レーンで反射逆光」が発話される。左レーンで付着状態かつ高輝度異常、右レーンで付着状態の際に、ランプが点灯され、「左レーンで異物付着、かつ反射逆光、右レーンで異物付着」が発話される。左右レーンでともに付着、かつ逆光の際に、ランプが点灯され、「左右レーンともに異物付着、かつ高輝度異常」が発話される。
【０１１５】
上記したように、映像を用いた車両用監視システムにおいて、高輝度入力映像による輝度飽和による映像を診断、判定する目的において、第１の実施形態のように単に輝度が異常に高いことや、水平方向の輝度分布などを使うのではなく、監視対象領域とその隣接領域のそれぞれにおける輝度分布、およびそれら分布間同士の関係とを用いて異常状態かどうかを判定するため、輝度の強い進入車両や路側の看板、積雪などを異常状態と誤判定しにくくなり、安定した映像診断を行うことが可能となる。
【０１１６】
また、通過車両上への一瞬の反射などのように、ある一瞬のみ異常な映像には違いないが、状態がすぐに正常に復帰する種類の異常は、そもそもの監視処理にとってシビアではなく、むしろ異常と判定しない方が望ましい場合がある。第２の実施形態のように、複数フレームでの判定特徴を総合することにより、この種の異常を問題ないものと判定させることが可能となる。
【０１１７】
異常状態として異物の光学系への付着によるものも存在するが、監視装置の設置状況として、本発明のように車両用監視装置を考えた場合には、第３の実施形態を用いることで、このような異常映像を検出することが可能となる。この場合、第２の実施形態と同様に一瞬の判定では好ましくない場合もあるが、第４の実施形態を用いることで、この種の異常状態にも対応できる。
【０１１８】
さらに夜間のように画面内での全体的輝度が低く、テクスチャ量が少ない場合において、移動、および静止テクスチャ量比が小さくなることにより異物付着時と判定されないために、第５の実施形態を用いることで、夜間において、過剰に異常状態映像と判定することを抑制できる。
【０１１９】
以上から、車載型の画像監視装置における異常とみなされる入力映像のうちの主なものである、高輝度入力映像による輝度飽和、および異物の光学系への付着という状態を安定に検出することが可能となる。
【０１２０】
一方、入力が異常であることが検知されたとして、それをユーザに通報する必要があるが、第６の実施形態に示すように、映像内で、監視対象としている一個ないしは、複数の領域それぞれについて、前述のように別々の原因による異常が発生しているか否かを判定し、その結果を通報することによって、ユーザが容易に異常回避の対策を考慮することが可能となる。たとえば、追い越し車両の自動検知を行う車両監視システムがあり、そのシステムに装備されている本診断方式の診断結果として、ある領域（位置）において、高輝度による異常発生が検知された場合、画面内のその位置での自動監視はできないが、その位置から追い越しをかけてくる車両があるかもしれないので、ドライバーがその方向く場所）について注意を払うことをうながすことができる。
【０１２１】
【発明の効果】
以上詳述したように、この発明によれば、監視用の映像が規格に満たない異常状態の映像か否かを診断することができる映像診断装置および車載型映像監視装置を提供できる。
【図面の簡単な説明】
【図１】  この発明の実施の形態に係る映像診断装置が適用される車載型映像監視装置の概略構成を示すブロック図。
【図２】  映像の例と領域を説明するための図。
【図３】  車載型映像監視装置の映像診断処理を説明するためのフローチャート。
【図４】  高輝度異常映像の例を説明するための図。
【図５】  高輝度の異常映像における追越車両監視領域Ａｄに対する輝度分布を説明するための図。
【図６】  周辺領域Ａｓに対する輝度分布を説明するための図。
【図７】  あてはめ関数を説明するための図。
【図８】  高輝度異常映像判定ステップの処理を説明するためのフローチャート。
【図９】  高輝度異常映像判定ステップの処理を説明するためのフローチャート。
【図１０】  高輝度異常映像判定ステップの処理を説明するためのフローチャート。
【図１１】  付着異常映像の例を説明するための図。
【図１２】  異物付着異常映像判定ステップの処理を説明するためのフローチャート。
【図１３】  異物付着異常映像判定ステップの処理を説明するためのフローチャート。
【図１４】  異物付着異常映像判定ステップの処理を説明するためのフローチャート。
【図１５】  警報手段による警報の内容を説明するための図。
【符号の説明】
１…映像入力手段、２…映像監視手段、３…映像診断領域決定手段、４…判定モード設定手段、５…高輝度異常映像判定手段、６…異物付着異常映像判定手段、７…警報手段、８…非映像センサ。
【図１】
0004346275.tif 000002
【図２】
0004346275.tif 000003
【図３】
0004346275.tif 000004
【図４】
0004346275.tif 000005
【図５】
0004346275.tif 000006
【図６】
0004346275.tif 000007
【図７】
0004346275.tif 000008
【図８】
0004346275.tif 000009
【図９】
0004346275.tif 000010
【図１０】
0004346275.tif 000011
【図１１】
0004346275.tif 000012
【図１２】
0004346275.tif 000013
【図１３】
0004346275.tif 000014
【図１４】
0004346275.tif 000015
【図１５】
0004346275.tif 000016