(57)【要約】    【課題】  コンピュータビジョン・システムに於ける画像処理に於けるロバストネスを改善する。    【解決手段】  汚染により光学的に閉塞された対象の第１の画像をキャプチャし、異なる視点から同一対象の第２の画像をキャプチャし、第１の画像の光学的に閉塞された部分を、第２の画像の情報により再構成するような画像復元方法が用いられる。その手法としては、ステレオ画像不一致推定、オプティカルフロー推定、フォトメトリック・モデル推定、フレームの選択的除外、アウトリア（outlier）の除外、カルマンフィルタの応用等がある。【選択図】    図１
2010084707.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ・ビジョン・システムに於ける画像復元方法であって、
汚染により光学的に閉塞（occluded）された対象の第１の画像をキャプチャする工程と、
異なる視点から前記対象の第２の画像をキャプチャする工程と、
前記第１の画像の光学的に閉塞された部分を、前記第２の画像の情報により再構成する工程とを有することを特徴とする方法。
【請求項２】
前記汚染により光学的に閉塞された実質的に透明なシートを通して前記第１及び第２の画像をキャプチャすることを特徴とする請求項１に記載の方法。
【請求項３】
前記汚染が、透明なシート上の雨滴、ガラスの欠け及び汚れのいずれかを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の画像が前記第１の位置にある第１のカメラによりキャプチャされ、前記第２の画像が前記第１の位置にある第１のカメラの光軸に対して直角方向に変位した第２の位置にある第２のカメラによりキャプチャされることを特徴とする請求項１に記載の方法。
【請求項５】
前記対象が静止体であって、前記第１の画像が移動体に搭載されたカメラにより第１の時点に於いてキャプチャされ、前記第２の画像が前記カメラにより、前記第１の時点に対して時間的に変位した第２の時点に於いてキャプチャされることを特徴とする請求項１に記載の方法。
【請求項６】
前記対象の画像が、一連の時点に対応する複数のフレームとしてキャプチャされ、前記フレームのいずれかに光学的閉塞が検出されたときには、そのフレームを、先行するフレーム内の画像の対応する部分により再構成することを特徴とする請求項１に記載の方法。
【請求項７】
前記対象の画像が、汚染により光学的に閉塞されることがあり、かつそのような汚染を定期的に除去するためのワイパを備えた実質的に透明なシートを通してキャプチャされ、前記画像の光学的に閉塞された部分の再構成が、前記ワイパにより光学的な閉塞が除去されたばかりのフレームを利用して行なうようにしたことを特徴とする請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は改良されたコンピュータビジョン・システムに関し、特に雨滴その他の外乱としての光学的閉塞による視野の閉塞（occlusion）に基づく干渉を除去することにより、コンピュータ・ビジョンのロバストネス即ち頑強性を改善するための技術に関する。
【背景技術】
【０００２】
コンピュータビジョンに基づく高度ドライバ補助システム（ADAS: advanced driver assistance system）は、対象の検出及び追跡により周囲の交通状況に関する知識を抽出する。検出されるべき代表的な対象としては、他の車両、車線、交通信号、歩行者などがある。典型的な画像処理システムは、ADASによる機能並びに応用自体に加えて、モジュール特徴抽出（feature extraction）、対象検出、追跡及び分類を含む。特徴抽出モジュール分析は、キャプチャされたフレームのエッジ、コーナー、強度ヒストグラムなどの低レベル特性を分析する。所望に応じて、景色の時間に伴う挙動についての情報を収集するためにオプティカルフロー推定を用いることもできる。ステレオカメラシステムは、将来のビジョンに基づくADASのための有効な技術であると考えられる。景色の深さについての情報を、一対のステレオ視画像の不一致を推定することにより得ることができる。【０００３】
更に、対象追跡は、検出された対象の時間に関連する挙動についての知識を得て、対象の分類を補助するための公知の手法である。例えば、カルマンフィルターや拡張カルマンフィルターは対象追跡のために広く利用されている。【０００４】
画像領域及び又は画像特徴についての相関手法は、ビデオストリーム中の次の画像に於ける対象を発見するための公知の対象追跡アルゴリズムにより利用されている。このような方法に於いては、特定の対象が次の画像フレームに於いて同様の外観を呈することが重要である。画像にローカルな歪みがある場合、この要件を満たすことができず、このようなアルゴリズムは、関心の対象である物体を見失うことがある。画像のローカルな歪みは、ウインドシールド上の雨滴、ウインドシールドの汚染、石によるガラスの破損、その他のウインドシールド上の乱れた領域により引き起こされる。【０００５】
ウインドシールド上の雨滴に代表されるような悪天候による影響、汚染された領域或いは小さな破損などは、様々な画像領域の部分的閉塞、ぼやけ或いはローカルな歪などの幾つもの種類の画像の乱れの原因となる。従って、特徴を抽出する性能並びに、追跡モジュールの検出性能が劣化する。【０００６】
特許文献１は、走行する車両に取り付けられたカメラにより、移動体を検出するための方法を記載している。特許文献１によれば、この先行発明により、外乱と称されるノイズを除去することができるとされている。しかしながら、この文献の開示内容によれば、この先行発明は道路の凹凸により引き起こされる外乱に対処するものである。従って、この特許文献に於いてノイズと称されるものは、車両のピッチングに他ならず、これは斬新な方法により補償されている。しかしながら、この方法は悪天候に際しては、画像を復元するために利用することが出来ない。なぜなら、ほとんど全ての画像には、雨滴が含まれており、ノイズを含まない次の画像フレーム或いは新たな画像フレームが出現するのを待つ必要があることから、画像処理に要する時間が多大となる。【０００７】
特許文献２は、異物により一時的に光学的に閉塞された移動体を追跡するための方法を記載している。しかも、このような一時的に閉塞された対象のための警告方法についても記載している。【０００８】
特許文献３は、ウインドシールド上の疑わしい点のそれぞれにより形成される画像を外の景色と、ある座標変換の手法を用いることにより比較し、これら両画像の相関を評価することによりウインドシールド上の雨滴を検出するための方法を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許公開２００５−３４６３８７号
【特許文献２】特許公開２００７−０７４３２６号
【特許文献３】国際公開第０９／              号パンフレット                  （ＰＣＴ／ＪＰ２００９／０００１８１）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
このような従来技術の問題点に鑑み、本発明の主な目的は画像処理に於けるロバストネスを改善するための方法を提供することにある。【００１１】
本発明の第２の目的は、異なる視点から得られた光学情報を用いることにより、閉塞された画像を再構成するための方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明によれば、このような目的は、コンピュータビジョン・システムに於ける画像復元方法であって、汚染により光学的に閉塞（occluded）された対象の第１の画像をキャプチャする工程と、異なる視点から前記対象の第２の画像をキャプチャする工程と、前記第１の画像の光学的に閉塞された部分を、前記第２の画像の情報により再構成する工程とを有することを特徴とする方法を提供することにより達成される。
【発明の効果】
【００１３】
このようにして、画像の閉塞された部分を、冗長性を有する光学情報を利用することにより、再構成することができる。特に、これは、ローカルな歪みがある画像領域を再構成し、或いは更なる画像処理から排除するために、時間的或いは空間的マッピング手法を利用することにより達成される。これらのマッピング手法は、多大な計算時間を要するなどの従来技術の問題を解消することができる。このようにして、最小限のハードウェア資源を用いて、最小限の計算時間を要するのみで、コンピュータビジョン・システムに完全な画像を提供することができる。通常、前記汚染により光学的に閉塞された実質的に透明なシートを通して前記第１及び第２の画像をキャプチャし、前記汚染が、透明なシート上の雨滴、ガラスの欠け及び汚れのいずれかを含むものからなる。【００１４】
発明の或る側面によれば、前記第１の画像が前記第１の位置にある第１のカメラによりキャプチャされ、前記第２の画像が前記第１の位置にある第１のカメラの光軸に対して直角方向に変位した第２の位置にある第２のカメラによりキャプチャされる。【００１５】
これは、ステレオ視画像の不一致推定に基づくもので、通常、キャプチャされた画像の深さに関する情報を提供するが、同時に、光学的閉塞を再構成することを可能にするような光学的冗長性を提供する。【００１６】
発明の別の側面によれば、前記対象が静止体であって、前記第１の画像が移動体に搭載されたカメラにより第１の時点に於いてキャプチャされ、前記第２の画像が前記カメラにより、前記第１の時点に対して時間的に変位した第２の時点に於いてキャプチャされる。【００１７】
これは、オプティカルフロー推定に基づくものである。対象が静止体であって、その画像が。車両などの移動体に搭載された１つ又は複数のカメラによりキャプチャされる場合、対象と移動体との間の相対運動のために、対象はカメラの視野内で移動するように見えるのに対し、光学的閉塞はカメラの視野内で静止したままとなる。従って、或る時点に於いて光学的に閉塞した対象の部分は、後続の或いは先行する時点では、光学的に閉塞していないことがある。このような時間的な冗長性は、光学的に閉塞した画像を再構成することを可能にする。【００１８】
光学的な閉塞がウインドシールド上の雨滴であったり、他の車両からウインドシールド上に跳ね上げられた水であって、その後にワイパにより、そのような光学的な閉塞が除去されるような、光学的な閉塞が時間的なものである場合、現在の画像を、その直前の同一の画像により置換することにより、光学的に閉塞された画像を再構成することができる。【００１９】
このような原理に基づく実施例によれば、前記対象の画像が、一連の時点に対応する複数のフレームとしてキャプチャされ、前記フレームのいずれかに光学的閉塞が検出されたときには、そのフレームを、先行するフレーム内の画像の対応する部分により再構成するものとしている。【００２０】
これは、前記対象の画像が、汚染により光学的に閉塞されることがあり、かつそのような汚染を定期的に除去するためのワイパを備えた実質的に透明なシートを通してキャプチャされ、前記画像の光学的に閉塞された部分の再構成が、前記ワイパにより光学的な閉塞が除去されたばかりのフレームを利用して行なうようにした場合に、特に有益である。
【図面の簡単な説明】
【００２１】
【図１】様々な可能性の内から運転者を補助するために利用し得るような本発明に基づく画像処理システムの一例を示すブロック図である。
【図２】雨滴により阻害された街路の景色の左側及び右側カメラのフレーム画像（ａ）、（ｂ）並びに、（ａ）から（ｂ）に情報をコピーすることにより再構成された右側のフレーム画像（ｃ）を示す。
【図３】雨滴検知及び低レベル画像再構成を伴う構造の拡張ブロック図である。
【図４】左右のカメラ画像に於ける関連する対象の見え方を示す。
【図５】オプティカルフロー・リマッピングによる道路面の再構成図である。
【図６】オプティカルフローに基づく雨滴検出及び画像再構成を行う構成を示す拡張ブロック図である。
【図７】オプティカルフローに基づく画像再構成の手法を示すフロー図である。
【図８】オプティカルフローに基づく画像再構成の手法を示す詳細フロー図である。
【図９】フォトメトリックモデルを適用することに基づく閉塞背景画像の再構成を示す。
【図１０】各雨滴内に於ける背景の画像の屈折画像を示す。
【図１１】線形マッピング関数を用いた景色の雨滴へのマッピングを示す。
【図１２】ルックアップ・テーブルを用いたアフィン・マッピングによる画像再構成を行う構成を示すブロック図である。
【図１３】ワイパ通過前（左側）及び通過後（右側）の関連する対象を示す図である。
【図１４】アウトリア（outlier:例外）を回避することにより、ロバストネスを改善するようにした雨滴検知方法を示すダイヤグラム図である。
【図１５】悪天候のときに対象を追跡する性能を改善し得るような画像処理システムの一例を示す拡張ブロック図である。
【図１６】ワイパの運動の知識により、（認識に於ける不確かさに関連する）追跡パラメーターを適合させる手法を示すダイヤグラム図である。
【発明を実施するための形態】
【００２２】
図１は、本発明の基本概念を示す。本発明は、通常、様々な可能性のうちでも、車線追跡、障害物の検出、交通信号の検出、車間距離を適正に保つために先行車両を追跡するなどの目的で外界の景色の像をキャプチャするために車両に用いられる。
【００２３】
車両には、ステレオカメラであって良いカメラが搭載され、更にカメラにより取得された画像データを処理するためのコンピュータを備えている。カメラにより取得された画像は、コンピュータにより処理され、その画像の特徴点が抽出される。これらの特徴点は、対象検出、セグメンテーション及び対象追跡／分類などの様々な手法により更に処理される。必要な画像取り扱い処理は、コンピュータ上で実行される適当なコンピュータプログラムにより実現される。取得された画像は、ウインドシールド上の雨滴、小石による破損或いは泥などにより汚染される場合がある。そのような場合、画像の閉塞された部分は以下に詳しく説明するオプティカルフロー推定またはステレオ不一致推定などにより再構成される。完全に再構成された画像は、所要の目的に供される。対象追跡はしばしば対象分類と一体的に利用される。
【００２４】
ステレオ画像不一致推定
将来のビジョンシステムは、車線、交通標識、歩行者、先行車両、交通信号などからなるいくつものADAS機能を実現することが期待されている。これらの機能のいくつかは、ステレオカメラにより取得される深さ情報を必要とする。車線認識などのような単一のカメラの画像を利用するものもある。ステレオカメラの対による冗長性を伴う情報は、単一のカメラの画像によって動作し得るようなこれらの機能を果たすために、歪んだ画像の領域を再構成するために用いることを特徴としている。
【００２５】
例えば、道路面などのような車両の前方の知られた水平面上の対象について、ステレオカメラ対の一方のカメラの画像は、他方のカメラの画像から計算することができる。その詳細については、"Inverse perspective mapping technique", Mallot H.A., Bulthoff H. H., Little J. J. & Bohrer S. （1991）: Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biological Cybernetics 64:177-185を参照されたい。ここで提案されている方法によれば、一方のカメラの画像に於いては雨滴その他の異物により歪められた車両の前方の道路標識（車線、停止線など）を、第２のカメラの画像を用いて再構成することができる。図２は、道路面の画像が雨滴により歪められた状態の左右のカメラフレーム画像（ａ）、（ｂ）及び、（ａ）から（ｂ）に情報をコピーすることにより右側の画像（ｃ）を再構成する様子を示している。
【００２６】
雨滴の位置に関する情報は、特許文献３に記載された方法或いは他の適宜な方法により得ることができる。この方法は、両方のカメラの画像間に相当程度の不一致があるような領域（近傍領域）について特に好適に適用することができる。この方法は、左右のカメラ画像間に知られた不一致がある対象に対して適用することができる。
【００２７】
図３は、上記した概念を実現するために低レベルの画像再構成を伴うステレオ画像処理システムの拡張ブロック図を示す。取得された画像の閉塞された部分は、例えば特許文献３に於いて提案されている方法を用いて雨滴を検出することにより識別することができる。この方法は、画像を再構成するために逆透視マッピング技術（inverse perspective mapping technology）をうまく利用することに基づくものである。通常逆透視マッピング法は、路面などのような既知の面上に於ける障害物を検出するために適用することができる。ここでは、この方法を画期的な方法で適用している。この方法は、実際の画像を再構成可能とし、したがって処理時間を増大させることなく画像処理を行うことができる。
【００２８】
遠方にある対象については、ステレオカメラに於ける２つの画像間の不一致はほとんど無視することができる。その場合、一方のカメラの画像内に於いて乱された領域に対しては、左カメラの画像のピクセルを右側のカメラの画像に単純にコピーし或いはその逆を行うことにより対応することができる。この概念は、特に遠方にある対象については、上記した概念の変形であるということができる。この概念は、図３に示された構造に対して適用することができる。
【００２９】
この方法は特許文献３に開示された発明に基づくものである。更に、画像を再構成するためにステレオカメラの両画像に於ける冗長性を利用する。この冗長性は、影響を受けたピクセルのみを再構成する点で新規な方法で利用されている。この方法によれば、実際の画像の再構成が可能であって、従って画像の処理を多大な時間を要することなく行うことができる。
【００３０】
ステレオカメラ・システムに於いては、関心のある領域（ＲＯＩ：region of interest）を、対象を認識する目的のために、乱された領域による影響を比較的受けていない側の左又は右側の画像から選択することができる。その理由は次の通りである。特定の機能或いはサブ機能（交通信号の識別など）のために、両ステレオ画像の不一致により得られる深さ情報が重要でない場合には、ステレオカメラの冗長性を利用することができる（図４）。これは、上記した方法の変形であって、雨滴による影響を受けた個々のピクセルではなく、ＲＯＩ全体をカバーする。従って、対象セグメンテーションのステップが必要となる。図３の破線を参照されたい。
【００３１】
この方法は、画像を再構成するためにステレオカメラの画像の冗長性を利用する。この冗長性は、影響を受けたＲＯＩのみを再構成する点でうまく利用されていると言える。この方法によれば、実際の画像の再構成が可能であって、従って画像の処理を多大な時間を要することなく行うことができる。
【００３２】
オプティカルフロー推定
地表面上の物体等、既知のオプティカルフローに関わる対象については、ある時点ｔｎに於いてキャプチャされた画像に於ける乱れた領域は、先行する時点ｔｎ−１に於いてキャプチャされた対応する画像領域をリマッピングすることにより再構成することができる。この方法は、乱れた領域の再構成を可能にする。この考えによればステレオカメラを必要としない。図５は、オプティカルフローを用いることにより車線を再構成する例を示しており、外界の景色は、上部には空を下部には路面を含んでいる。路面は車線を含んでいる。車両が道路を走行するに伴い、車線の各点は、時間の経過と共に下方向に移動する。各時点ｔ０、ｔ１、ｔ２に於ける点Ａの位置の変化を観察されたい。
【００３３】
オプティカルフロー推定即ち、オプティカルフロー・リマッピングによれば、ある時点に於ける点Ａ等の位置を、それに先立つ時点に於ける同一の点の位置から推定することができる。道路上の点或いは対象が、固定した物体に属する場合には、車両のオドメータを、車両の位置即ち距離情報を提供するために利用することができる。適当なアルゴリズムを用いることにより、ある時点に於ける外界の景色内に於ける移動体の位置を、それに先行する時点に於ける同一対象の２つ以上の位置から予測することができる。
【００３４】
図６は、オプティカルフロー推定を雨滴検知と組み合わせた場合の画像再構成を行う構成を示すブロック図である。これは、図３のブロック図と同様であるが、ステレオカメラに於ける不一致に基づく推定に代えて、オプティカルフロー推定が用いられている点に於いて相違する。
【００３５】
図７は、オプティカルフロー推定に基づく画像再構成を実行するためのアルゴリズムを示している。
【００３６】
１．カメラ（１）によりキャプチャされた画像は、バッファされ（２）、それに引き続く１組のフレームが抽出される。特許文献３に記載されたアルゴリズムを用いて雨滴が検出される（３）。雨滴マスクを計算し、バッファする（４）。
【００３７】
２．（オドメータの情報を考慮するものであって良い）パラレル・オプティカルフロー推定（５）が、ワーピングマトリックス／ホモグラフィ（６）を計算し、過去の画像を現在の画像のジオメトリ−にワープするために用いられる。
【００３８】
３．雨滴マスクに基づいて現在の画像及びワープされた過去の画像をマルチプレックスし、画像（７）を再構成する。このブロックに関する詳細が図８に示されている。
【００３９】
４．最後に、再構成された画像がアプリケーション（８）に転送される。
【００４０】
より詳しい画像再構成のフロー図が図８に示されている。現在のフレームNに於いて雨滴によりカバーされた各領域について、前回の画像N-Mに於ける（ワープ後の）同一の領域も雨滴による影響を受けているかをチェックする。影響を受けていない場合、現在の雨滴に対応する領域を置換する。影響を受けている場合には２つの可能性が考えられる。
【００４１】
１．何の対策も取らない。従って、この領域は再構成されない。例えばウインドシールドの５％の領域が雨滴により覆われていたとすると、これは、（見える範囲の）ウインドシールドの（０．０５＊０．０５）＊１００  ＝０．２５％に当てはまることになり、これは多くの用途に於いて、無視できる大きさである。（この計算に於ける仮定の内容は次の通りである。例えば、フレームN及びN-Mについて、雨滴により、画像領域の５％が、均等なパターンで乱されていたとする。即ち、雨滴の分布には格別なパターンが無いものとする。上記したアルゴリズムは、ワープされたフレームN-Mを用いることにより、フレームNに於ける乱れた領域を再構成しようとする。ワープを行なうことから、フレームN-Mに於けるワープされた領域が乱れている確率は、この領域がフレームNに於いても乱れている確率とは独立した事象である。この独立性のため、ある領域が、フレームNに於いて乱れ、かつフレームN-Mに於いても乱れている確率は、２つの事象の確率の積として与えられる。）即ち、これにより、画像処理の応用に於けるロバストネスが高いことが示されている。
【００４２】
２．より多数のフレームがバッファされている場合には、特定の領域がフレームN-Kから再構成し得るかをチェックする。そのためには、より大きなバッファスペースが必要となる。
【００４３】
この方法の性能は、"Video-based raindrop detection for improved image registration", Martin Roser, Andreas Geiger, Institut fur Mess- und Regelungstechnik, Universitat Karlsruhe (TH), July 3, 2009に報告されている。
【００４４】
雨滴検知は、特許文献３に開示された発明に基づいて行われる。更に、画像を再構成するためにオプティカルフロー補償が適用される。しかしながら、雨滴による外乱があるために、（相関手法に基づく）通常のオプティカルフロー推定法ではうまくいかないと考えられる。そこで、オドメータからの情報を考慮することにより路面上のオプティカルフローを推定する方法が提案される。この方法によれば、実際の画像の再構成が可能となり、画像処理に要する時間が短縮される。
【００４５】
フォトメトリック・モデル推定
雨滴により閉塞されたウインドシールドの領域は、特許文献３に記載されたフォトメリックモデルを適用することにより部分的に再構成することができる。図９は、垂直の壁からなるものと仮定される背景について、カメラよりキャプチャされた景色を示している。濃い領域は雨滴により閉塞されており、従ってカメラによって観測されていない。それに代えて、カメラは、レンズとして機能する雨滴の内部で屈折された背景の画像である灰色の領域を観測することになる。フォトメトリック・モデルを適用することにより、濃い領域即ち雨滴の背景は、雨滴の内部の画像情報から部分的に再構成することができる。
【００４６】
図１０に示されるよう、雨滴内の雨滴背景の観測位置及び寸法は、雨滴毎に異なる。しかしながら、雨滴の形状が知られれば、雨滴背景（図９、濃い領域）の位置を、ウインドシールド上に於ける雨滴の位置（x, y）及び雨滴の半径のみから表現することができる。背景の全体が雨滴により屈折された画像から再構成されるためには、カメラは、高い解像度を有することが必要となり、また画像プロセッサは短い時間で多数のピクセルを処理し得るものであることを有する。そこで、雨滴などについて局部的に高い解像度を適用し、視界のうちのそれ以外の部分の解像度を下げる等の対策が必要になるかもしれない。特に、マッピング技術を用いることにより計算を高速化することができる。この方法のためには、雨滴の形状の仮定がなされる。
【００４７】
（図９に於いて灰色により示された）雨滴を通過する観測領域の境域を知り、特許文献３に記載された正確なフォトメリック雨滴モデルを近似するために、線形マッピング関数を用いることができる。この関数は、それほど計算労力を要することなく、十分に雨滴の外観を近似することができる。図１１は、線形マッピング関数の一例による結果を示す。
【００４８】
高速化のもう１つの方法としては図１２に示されたルックアップ・テーブルがある。それによれば、フォトメリック・モデルに基づき計算することに代えて、ルックアップ・テーブルに記憶されたピクセルの対応関係に基づくアフィン・マッピングを行うことにより、画像の再構成を行うことかできる。
【００４９】
フレームの選択的除外
対象領域（ＲＯＩ：region of interest）が殆ど歪みを含まない場合には、パターンマッチングを画像フレームに適用することにより対象認識を限定することができる。ＲＯＩがかなりの歪みを含むようなフレームについては、パターンマッチングから除外することができる。あまり歪みのないフレームは、ワイパのタイミングを知ることにより識別することができる。歪みのある領域は、雨滴及び外乱領域を検出する方法により特定することができる。図１３は、２つの異なるフレームを示し、速度制限の交通標識がＲＯＩとして抽出される。フレームの１つに於いては、速度制限標識が雨滴によりぼやかされている。このようなフレームはパターンマッチングから除外することができる。
【００５０】
この概念に基づくある実施例に於いては、システムが外界の景色を一連のフレームとしてキャプチャする。フレームの或るものに於いては、外界の景色が雨滴により閉塞され、これにより特定のコンピュータビジョン・システム（ＣＶＳ：computer vision system）の適用を妨げる。しかしながら、ワイパがウインドシールドを拭く度ごとに、雨滴、従ってそれにより引き起こされる光学的閉塞が解消される。ＣＶＳは、ワイパの運動に関する情報が与えられていることから、ウインドシールドの表面からの雨滴の除去を予測することができる。従って、雨滴により光学的に閉塞されたフレームを、ワイパの作用により閉塞が除去されている隣接するフレームをもって適宜置換することにより、光学的閉塞のない連続したフレーム即ち画像をＣＶＳに適用することができる。
【００５１】
アウトリア（outlier）の除外
この概念の変形としてエッジ或いはコーナー検出のような特徴抽出から歪んだ領域を除外するための方法を適用することができる。画像特徴に基づき作動する対象認識モジュールの多くは、間違った特徴の場合よりも、特徴が失われた場合に於けるロバストネスが高い。従って、アウトリア（outlier: 例外）を含む特徴画像に於いては、破綻することがあるのに対し（図１４の左側を参照されたい）、有る特徴が失われている場合には同一のアルゴリズムが良好な結果を得ることがある（図１４の右側を参照されたい）。
【００５２】
図１４に示された実施例では、特徴抽出に於いて、アウトリアを回避することにより、より改善されたロバストネスをもって雨滴を検知をすることができる。雨滴検出に於いては、障害となるアウトリアを抑制するためのマスクされた画像が得られる。
【００５３】
実際のDASの応用に際して、複数対象追跡（ＭＯＴ：multi object tracking）と呼ばれる方法により、いくつもの対象を追跡する必要が生じる場合がある。ＭＯＴのためには、新たなトラック、分岐したトラック、合流したトラック、及び消去されたトラックを生成するために複数のトラックを管理する必要がある。後続の画像フレームには対象が見いだされないような場合には、対応するトラックを消去する必要がある。トラックを消去する決定を行うためには、異なる画像フレームにおけるＲＯＩ間の最小限の近似性については閾値を定める必要がある。この閾値は、対象を見失うのを回避するために雨滴などのような既知のローカルな画像の乱れに対応するように適合させることかできる。
【００５４】
カルマンフィルタの応用
カルマンフィルタは、（速度が徐々に変化するという仮定に基づくなどして）追跡されるべき対象の特性をモデル化し、所定の時間に渡って、観測された位置の不確定さを考慮したような観測を行うことにより対象を追跡する。このようなフィルタを用いることにより、外部的な観測及び（内部的な）対象の予測に対して重み付けを行なうことができる。変化する環境条件についての知識があれば、この重み付けをチューニングすることができる。即ち、カメラ画像などのような外部的な観測結果は、ウインドシールド上の雨滴などのような外乱を含む場合には、対象の特性についての内部的な予測に対する重みを増大させ、全体的な追跡性能を改善することができる。従って、悪天候の下であっても、追跡性能を向上させ、複数の対象を追跡する際にロバストネスを改善することができる。
【００５５】
画像処理手法に於いては、ワイパの運動について知識を利用し、それを追跡パラメータに対して適用することができる。即ち、ワイパが通過した直後であれば、ウインドシールド上には雨滴がないと仮定することができるため、測定ノイズの共分散を減少させることできる。ワイパが通過した後に時間が経過するに従って、即ちウインドシールド上の雨滴が増大するに従って、測定ノイズの共分散が増大し、ウインドシールド上の雨滴による認識結果の不確定さが増大する。図１６を参照されたい。この方法は、詳細なローカルな画像の乱れの情報に代えて雨滴な数などのようなマクロ的情報を利用することにより追跡性能を改善することができる。
【００５６】
先行車両による水の跳ね上げなどのような局部的な水滴の付着或いは濡れた表面による太陽光などの反射などの明るい反射光などの影響を車両の前方に生じた場合には、景色におけるローカルかつ一時的な盲点領域が発生する。このような領域についての知識を、対象を追跡する際のロバストネスを改善するために利用することができる。
【００５７】
ローカルな水の跳ね上げの影響は、高レベルの情報から得ることもできる。例えば雨が降っており、車両の前方に於いて、トラックが走行しているような場合が考えられる。このような場合には、水の跳ね上げが生じることが予想され、影響を受けた領域に於ける対象の視認性が減少する。必要なレベルの情報は、図１５に示されるような対象分類モジュールにより提供することができる。
【００５８】
以上、本発明を特定の実施例について説明したが、当業者であれは容易に理解できるように、本発明の発明概念から逸脱することなく様々な変形・変更が可能であって、本発明の発明概念は、添付の請求の範囲に記載された通りである。
【００５９】
また、パリ条約に基づく優先権主張の基礎となった日本国出願は、それに言及することをもって、その内容を本願の一部とする。
【図１】
2010084707.tif 000003
【図２】
2010084707.tif 000004
【図３】
2010084707.tif 000005
【図４】
2010084707.tif 000006
【図５】
2010084707.tif 000007
【図６】
2010084707.tif 000008
【図７】
2010084707.tif 000009
【図８】
2010084707.tif 000010
【図９】
2010084707.tif 000011
【図１０】
2010084707.tif 000012
【図１１】
2010084707.tif 000013
【図１２】
2010084707.tif 000014
【図１３】
2010084707.tif 000015
【図１４】
2010084707.tif 000016
【図１５】
2010084707.tif 000017
【図１６】
2010084707.tif 000018
【国際調査報告】
2010084707.tif 000019
2010084707.tif 000020