(57)【要約】【課題】  観察システムのウインドウ表面上の汚染物質を検出する。【解決手段】  ウインドウ表面上の汚染物質から光を反射させ；画像内の反射光を獲得し；画像を画像データに変換し；そしてウインドウ表面上の汚染物質を検出するために画像データを処理する諸段階を含む。観察システムのウインドウの外側表面上の汚染物質を検出する装置は、外側表面上の汚染物質から光を反射させるための少なくも１個の光源；反射光を獲得しかつ画像を画像データに変換するための画像化装置；及び外側表面上の汚染物質を検出するために画像データを処理するためのプロセッサーを備える。【選択図】  図２
2005214974.tif 000002
【特許請求の範囲】
【請求項１】
観察システムのウインドウ表面上の汚染物質を検出する方法であって：
前記ウインドウ表面上の汚染物質から光を反射させ；
画像における前記反射光を獲得し；
前記画像を画像データに変換し；そして
前記ウインドウ表面上の前記汚染物質を検出するために前記画像データを処理する
諸段階よりなる前記方法。
【請求項２】
反射段階が、ウインドウの観察区域と交差する軸線に沿ってウインドウ内に縁方向で光を投射することを含み、前記投射された光の一部がウインドウ表面を通過しそして前記表面の前記観察区域内の汚染物質から反射される請求項１の方法。
【請求項３】
反射段階が、ウインドウの外側表面上の汚染物質からの反射光がウインドウ及びその内側面を通って戻ることを含む請求項１の方法。
【請求項４】
獲得段階が、複数の画素よりなる区域画像内の反射光を獲得することを含み、更に変換段階が、画像の前記画素を、画像を表現する電気データに変換することを含む請求項１の方法。
【請求項５】
処理段階が、観察システムの光景内の背景光について前記画像データを補償することを含む請求項１の方法。
【請求項６】
反射光を除いた観察システムの光景の第１の画像を獲得し；前記第１の画像を第１の画像データに変換し；反射光を含んだ前記光景の第２の画像を獲得し；前記第２の画像を第２の画像データに変換し；そして前記第２の画像データと前記第１の画像データとを比較する諸段階を含んだ請求項１の方法。
【請求項７】
補償段階が、補償された画像データを作るために第２の画像データから第１の画像データを差し引くことを含む請求項６の方法。
【請求項８】
補償された画像データが多数の画素の光強度値よりなり；更に、所定値より大きい補償された画像データ内の画素の光強度値の数を決定し；そして前記画素の光強度値の数に基づいてウインドウ表面上の汚染物質が観察システムの光景画像に影響を与えるであろうか否かを決定する諸段階を含む請求項６の方法。
【請求項９】
第１及び第２の画像を、互いに短い時間間隔内で獲得する段階を含む請求項６の方法。
【請求項１０】
ウインドウ表面上の検出された汚染物質が観察システムの光景画像に影響を与えるであろうか否かを決定することを含む請求項１の方法。
【請求項１１】
観察システムのウインドウの外側表面上の汚染物質を検出する装置であって：
前記外側表面上の汚染物質から光を反射させるための少なくも１個の光源；
前記反射光の画像を獲得しそして前記画像を画像データに変換するための画像化装置；及び
前記外側表面上の前記汚染物質を検出するために前記画像データを処理するためのプロセッサー
を備えた前記装置。
【請求項１２】
プロセッサーが、検出された汚染物質が観察システムの光景画像に影響するであろうか否かを決定するように作動する請求項１１の装置。
【請求項１３】
少なくも１個の光源が、ウインドウの観察区域と交差する軸線に沿ってウインドウ内に縁方向で光を投射し、前記投射光の一部がウインドウ表面を通過させられそして前記表面の前記観察区域内に汚染物質から反射されてウインドウ及びその内側面を通って戻るように配置される請求項１１の装置。
【請求項１４】
汚染物質から反射されてウインドウ及びその内側面を通って戻る光を獲得するために、ウインドウの後方に画像化装置が配置される請求項１３の装置。
【請求項１５】
少なくも１個の光源は点滅制御可能であり；画像化装置は、少なくも１個の光源が滅に制御されたとき観察システムの光景の第１の画像を獲得し更に少なくも１個の光源が点に制御されたとき前記光景の第２の画像を獲得するように作動し；そしてプロセッサーは、画像化装置から第１の画像データと第２の画像データとを受け入れ更に補償された画像データを作るために前記第１の画像データにより前記第２の画像データを補償するように更に作動する請求項１１の装置。
【請求項１６】
補償された画像データが多数の画素の光強度値からなり；そしてプロセッサーが所定値を越えている画素の光強度値に基づいてウインドウ表面上の汚染物質を検出するように作動する請求項１５の装置。
【請求項１７】
プロセッサーが、所定値より大きい補償画像データの画素の光強度値の数を決定し、かつ前記数に基づいてウインドウ表面上の汚染物質が観察システムの光景画像に影響するであろうか否かを決定するように作動する請求項１６の装置。
【請求項１８】
プロセッサーは、ウインドウ表面上の汚染物質が観察システムの光景画像に影響するであろう状態を表示する信号を作るように作動する請求項１７の装置。
【請求項１９】
少なくも１個の光源が発光ダイオードよりなる請求項１１の装置。
【請求項２０】
画像化装置が電荷結合素子よりなる請求項１１の装置。
【請求項２１】
システムにより観察可能な光景の環境から観察システムを保護するためのウインドウ；  前記ウインドウの観察区域を通して前記光景の画像を獲得しかつ前記画像を画像データに変換するために前記ウインドウの後方に配置された画像化装置；
前記ウインドウ表面上の汚染物質から投射光を反射させるために前記ウインドウ内に縁方向で光を投射するように配置された少なくも１個の光源、前記汚染物質から反射された前記光を含んだ前記光景の画像も獲得する前記画像化装置；及び
前記外部表面上の前記汚染物質を検出するために、前記汚染物質からの反射光を含まない前記光景の画像データと前記汚染物質からの反射光を含んだ前記光景の画像データとの両者を処理するためのプロセッサー
を備えた観察システム。
【請求項２２】
プロセッサーが、前記少なくも１個の光源の点滅作動を制御するように作動する請求項２１の観察システム。
【請求項２３】
プロセッサーが、補償された画像データを作りそして補償された画像データに基づいてウインドウ表面上の汚染物質を検出するために、反射光を含まない光景の画像データにより、反射光を含んだ光景の画像データを補償するように作動する請求項２１の観察システム。
【請求項２４】
補償された画像データが多数の画素の強度値からなり；そしてプロセッサーが、補償された画像データの画素の強度値と所定値とを比較することによりウインドウ表面上の汚染物質を検出するように作動する請求項２３の装置。
【請求項２５】
プロセッサーが、所定値より大きい補償画像データの画素の強度値の数を決定し、そして前記数に基づいて光景画像を無視するか否かを決定するように作動する請求項２４の装置。
【請求項２６】
プロセッサーが、所定値より大きい補償画像データの画素の強度値の数を決定し、そして前記数に基づいて前記ウインドウの清掃を行うか否かを決定するように作動する請求項２４の装置。
【請求項２７】
少なくも１個の光源及び画像化装置が、汚染物質からの反射光を含まない光景の画像、及び汚染物質からの反射光を含んだ光景の画像とを、互いに短い時間間隔内で獲得するように制御される請求項２１の観察システム。
【請求項２８】
画像化装置からの画像データをデジタル画像データに変換するためのデジタイザーを備え；更にプロセッサーが、プログラムされたアルゴニズムに従ってデジタル画像データを処理するためのデジタル信号プロセッサーを備える請求項２１の観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にウインドウの汚染物質の検出に関し、より特別には光を利用している観察システムのウインドウ表面上の汚染物質を検出するための方法及び装置に関する。
【背景技術】
【０００２】
窓の区域は、一般に、観察光景の環境から観察者又は観察システムを保護するために使用される。例えば、塵埃、氷、水及び同等物のような粒子となし得る汚染物質が、ウインドウの外側表面上に形成して光景の観察を妨げることがある。観察者はかかる汚染物質を検出しそしてこの光景を別の視点から観察するように自分の頭を動かし、これによりこの汚染物質を避けることができる。しかし、観察システムにおいては、カメラは、一定の視点からウインドウを通して光景を観察するようにウインドウの後方の静止位置に置かれる。かかる状況下では、カメラの視界内のウインドウ上に形成されたいかなる汚染物質もカメラにより作られる画像を劣化させるであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特定の用途のために自動画像処理を利用した観察システムは、ウインドウ表面の観察区域上で形成する汚染物質に対して特に脆弱である。かかるシステムは、例えばビデオカメラ又は赤外線カメラを通して光景を観察することができ、これらカメラはその光景の画像フレームを表す電気信号を作る。各フレームは絵の要素又は画素の列及び行で構成することができる。各電気信号はフレームの各画素の光の強度を表すことができる。信号プロセッサーは、予め定められた幾つかの基準に従って光景内で観察されるあるパラメーターにおける変化を検出するために、各画像フレームの画素信号を処理するようにこれを使うことができる。カメラ画像が人に示されない場合は、ウインドウの観察区域内で形成された汚染物質は検出されないであろう。かかる汚染物質は画素信号に影響を与え、パラメーター変化の偽検出を起こすことがある。従って、画素信号の画像処理によりなされた決定は、汚染物質により欠陥が生ずるであろう。
【課題を解決するために手段】
【０００４】
本発明は、かかる汚染物質及び画素信号の画像処理によりなされた決定における有り得る欠陥を作業者に警告できるように、光を利用してウインドウ表面の観察区域内の汚染物質を検出するための方法及び装置を提供する。
【０００５】
本発明の一態様により、観察システムのウインドウ表面上の汚染物質を検出する方法は、ウインドウ表面上の汚染物質からの光を検出し；画像内の反射光を獲得し；画像を画像データに変換し；そしてウインドウ表面上の汚染物質を検出するために画像データを処理する諸段階を含む。
【０００６】
本発明の別の態様により、観察システムのウインドウの外側表面上の汚染物質を検出するための装置は、外側表面上の汚染物質からの光を反射させるための少なくも１個の光源；反射光の画像を獲得しかつ画像を画像データに変換するための画像化装置；及び外側表面上の汚染物質を検出するために画像データを処理するためのプロセッサーを備える。
【０００７】
本発明のなお別の態様により、観察システムは、システムにより観察可能な光景の環境から観察システムを保護するためのウインドウ；ウインドウの観察区域を通して光景の画像を獲得しかつこの画像を画像データに変換するためにウインドウの後方に配置された画像化装置；ウインドウ表面上の汚染物質から投射光を反射させるためにウインドウ内に縁方向で光を投射するように配置された少なくも１個の光源を備え、この画像化装置は汚染物質から反射された光を含んだ光景の画像も獲得し；更に外側表面上の汚染物質を検出するために、汚染物質からの反射光を含まない光景の画像データと汚染物質からの反射光を含んだ光景の画像データとの両者を処理するプロセッサーを備える。
【発明を実施するための最良の形態】
【０００８】
本発明は、観察システムのウインドウの観察区域における汚染物質を検出するために光を利用する。本発明の種々の実施例が図１、２及び３に示される。図１を参照すれば、例えばガラス製となし得るウインドウ１０が、その観察区域１２を通して光景を観察するカメラの前面に配置される。このウインドウ１０は、観察している光景の環境から観察システムのカメラ及びその他の構成要素を保護するために設けられる。図２は、本発明の一実施例の断面図である。図１の切断面Ａ−Ａに沿った図２の断面図を参照すれば、例えば発光ダイオード（ＬＥＤ）又はレーザーチップとなし得る光源１４ａが、好ましくは、観察区域１２を二分する軸線１８（図１参照）に沿って、ウインドウ１０の側面１６内に光を投射するように配置される。ウインドウの側面１６は、光源１４ａからのウインドウ１０内への光の結合効率を改良するために研磨することができる。
【０００９】
光源１４ａは、ウインドウ１０内に直接結合させ或いは反射させることができる。図２の実施例においては、観察装置に要する全寸法を最小にするために、光は、反射プリズム２４により光源１４ａからウインドウ１０内に反射される。反射プリズム２４及び光源１４ａは、例えば、屈折率整合用エポキシにより、一緒にウインドウ１４に取り付けることができる。例えば、電荷結合検出器（ＣＣＤ）又は光電アレイ検出器のような区域画像化装置となし得る光検出器２６が、これに当たる光を獲得しその強度を測定するために、ウインドウ１０の観察区域１２の後方に位置決めされる。この実施例においては、光検出器は、５００×８００アレイの検知用素子又は画素を有するＣＣＤを備える。光源１４ａの波長はＣＣＤ検出器に対して最適であるように選ばれる。この実施例においては、光源は、５０ｎｍ台の帯域幅を有する波長８８０ｎｍの光ビームを作る。
【００１０】
光源１４ａからの光ビームは、側面１６からウインドウ内に投射され、そして軸線１８に沿って通過するであろう（図１参照）。この実施例においては、ビーム幅は、光ビームが側面１６から離れるように動くとき、図１に光線２０及び２２により示されるように軸線１８に対してほぼ±４０゜で広がり、そして観察区域１２の大部分を覆うであろう。光がウインドウ１０を通過するとき、図２に矢印線で示されるように光の一部は反射されてウインドウ内に戻り、そしてウインドウ１０を通って移動するであろう。その他の投射光はウインドウ表面２８を通過する。この通過光が表面２８の観察区域１２内の粒子３０に当たったとき、光は散乱しそして反射される。粒子３０からの光の一部は、矢印線３２で示されるように反射されてウインドウ１０を通り、ＣＣＤ２６により獲得される。このＣＣＤは、ＣＣＤアレイの画素に獲得された光の強度を表す電気信号のデータの流れを作る。ＣＣＤ２６の画素データの流れは、図３の実施例に関連して以下更に詳細に説明されるであろうように、ウインドウ１０の表面２８上の粒子３０を検出するために観察システムの構成要素により更にこれを処理することができる。
【００１１】
別の実施例においては、ＣＣＤ２６により獲得される光信号の強さを増強させるため及び／又は冗長性を与えるために多数の光源１４を利用することができる。図１の切断面Ａ−Ａに沿ったウインドウ１０の断面図を示す図３の例示実施例においては、光を軸線１８に沿ってウインドウ１０内に直接投射するように、２個のＬＥＤ光源１４ａ及び１４ｂが、ウインドウ１０の両側の側面に配置される（図１参照）。ＬＥＤ光源１４ａ及び１４ｂからの光をそれぞれウインドウ１０内に結合させる側面４０及び４２の各は、光の結合効率を改善させるために研磨される。光源１４ｂからウインドウ１０内に投射された光は、図２の実施例における光源１４ａについて説明されたと同じ方法で（図１参照）観察区域１２を覆うように広がるであろう。
【００１２】
図３の実施例においては、ウインドウ１０の表面２８上の汚染物質を検出するための装置は、赤外線ビデオ又は同等となし得る観察システムの現存の構成要素を利用する。この実施例については、汚染物質の検出器及び観察システムのカメラの両者としてＣＣＤ２６が利用される。ＣＣＤ２６により作られた画素信号のデータの流れは、信号線４４上でビデオデコーダー４６に伝送され、ここで、画素信号がデジタル化され、行及び列の画像フレームにフォーマットされる。ビデオデコーダー４６は、例えば、アナログ・デバイス（Analog Devices）社によりモデルｎｏ．ＡＤＶ７１７９として製造された形式のものとすることができる。例えばシリンクス（Xilinx）社によりモデルｎｏ．ＸＣ２Ｓ２００Ｅとして製造されたものとすることのできるＦＰＧＡ（Field Programmable Gate Array）が論理回路でプログラムされて、デジタル信号プロセッサー（ＤＳＰ）５４の処理と協同して観察システムのタイミングと制御とを実行する。例えば、ＦＰＧＡ４８は、更なる処理のために、フレーム形式にフォーマットされたデジタル画素データをＤＳＰ５４への信号線上で逐次出力するようにビデオデコーダー４６を制御することができる。ＤＳＰ５４は、例えば、テキサス・インスツルメンツ（Texas Instruments）社によりモデルｎｏ．ＴＭＳ３２０Ｃ６４１４として製造された形式のものとすることができる。また、ＦＰＧＡ４８は、光をタイムリーな方法でウインドウ１０内に投射させるためのＬＥＤドライバー回路５６を制御することもできる。
【００１３】
例示実施例においては、ＤＳＰ５４は、ＦＰＧＡ４８を介して、ウインドウ内への光の投射なしの状態でＣＣＤ２６からの１フレーム又はそれ以上の画素データを収集することを指示できる。ＤＳＰ５４は、ＣＣＤ２６の観察光景におけるいかなる背景光又は迷光に対しても基準データを確立するために、この収集された画素データを処理するであろう。次いで、ＤＳＰ５４は、ＦＰＧＡ４８を介して、一方又は双方の研磨された側面４０及び４２を通してウインドウ１０内に光を投射させるようにＬＥＤドライバー回路に指示することができる。光の投射時間中、ＤＳＰ５４は、粒子３０からの反射光３２及び背景と観察光景との迷光を含むであろう未補償の測定データを確立するために、ＦＰＧＡ４８を介して、ＣＣＤ２６からの１フレーム以上の画素データの収集を指示することができる。その後、ＤＳＰ５４は、観察光景の背景光及び迷光に対して補償された観察区域１２の汚染物質の測定値を確立するために、画素毎に未補償測定データから収集された基準光の強さのデータを差し引くことができる。補償された汚染測定データは、ウインドウの観察区域における汚染物質により恐らくは影響される画素の数、従って観察システム又は画像化システムにより獲得された画像を歪める強度値を有する画素の数を見積もるために使用することができる。
【００１４】
以上説明された演算はＤＳＰ５４による実行のためのアルゴニズムにおいて具体化することができる。このための例示アルゴニズムの流れ図が図４に示される。例示実施例においては、このアルゴニズムは、ＣＣＤ２６又はその他の画像獲得装置により獲得された２個の別個の画像を利用する。第１の画像は、カメラ又は画像獲得装置（即ち、ＣＣＤなど）が感知する光源を獲得するように意図される。これら光源はカメラ又は画像化装置の視野内にあり、かつこれらはカメラ又は画像化装置が属する観察システムの管理下にはない。例えば、カメラ又は画像化装置の視野内にある点灯された電球は、これをこの画像内で見ることができる。この効果を達成するために、流れ図のブロック７０において、システムの管理下の全ての内部及び外部の照明が消される。これらの条件下で、第１の画像が、ビデオデコーダー４６を介してＣＣＤ２６から獲得され、そしてブロック７２においてＤＳＰ５４のメモリ内に記憶される。例えば、蛍光灯のようなシステム管理外の外部光源は、画像中の輝くスポットのような非常に強い連続画素として現れるため、第１の画像は、以後、「ホットスポット画像」と呼ばれるであろう。
【００１５】
その後、この条件下で、ブロック７４において、センサーの光源が点灯され、ブロック７６において、このアルゴニズムにより利用される第２の画像が、第１の画像と同じ方法で獲得され、そしてＤＳＰ５４のメモリ内に記憶される。以後ここでは「クリーンリネス画像」と呼ばれる第２の画像は、ホットスポット画像として同じ光源を含むだけでなく、更にウインドウの観察区域における汚染物質又はデブリにより画像化装置内に反射された光も含むように意図される。クリーンリネス画像は、ホットスポット画像獲得後の非常に短い時間（例えば、３３ｍｓ）に獲得されることが好ましい。これは、このアルゴニズムにおける移動し又は変動するホットスポットの影響を最小にし、即ち、輝く同じスポットを、両画像の画素の同じ集団内に維持するであろう。
【００１６】
アルゴニズムにおける通常のＣＣＤノイズの影響を減らすために、ホットスポット画像及びクリーンリネス画像の両者は、ブロック７８において同じ方法でこれらを予備処理することができる。画像の予備処理の一つの可能な予備処理は、各画像に平均化フィルターを適用することである。これが、ＣＣＤ及びその他の画像獲得装置の固有のノイズの一部を平滑化する。平均化フィルターに加えて、或いはこれに代わって、その他の予備処理法を行うこともできる。観察システムが獲得画像における顕著なノイズを受けない場合は、予備処理は不要である。
【００１７】
ウインドウ光源からの光は、ウインドウにおける汚染物質又はデブリにより反射されてＣＣＤ画像化装置に戻るため、どの位の量のデブリが存在するかの尺度は、クリーンリネス画像において輝いている画素の数に依存する。しかし、外部照明源のある場合は、その結果として画像化装置により見られる光がデブリから反射された光のため混乱させられる可能性がある。この種の偶発事件を減らすために、ブロック８０において、［デブリ画像」と呼ばれるであろう結果画像を作るために、（恐らくは予備処理を受けた）ホットスポット画像が（恐らくは予備処理を受けた）クリーンリネス画像から引き算され、そしてこれもＤＳＰ５４のメモリに記憶される。デブリ画像において高い強度を有する残りの画素の全ては、ウインドウ上の実際の汚染物質又はデブリから反射した光により生じたはずである。
【００１８】
次にブロック８２において、デブリ画像は、ウインドウの観察区域におけるデブリのために生じた画素値の分布を作るためにＤＳＰ５４により使用される。この分布は、デブリ画像内に存在する所与の強度値を有する画素の数に関連する標準ヒストグラムとすることができる。図５は、汚染された画像のヒストグラム例を示す。ＤＳＰ５４は、ブロック８４において、このヒストグラムから、与えられた値又は強度閾値より大きいか又はこれに等しい画素値を有する画素がデブリ画像内に幾つあるか示す第２の分布（例えば、図６）を作ることができる。本システムの使用者は、「画素の強度閾値」であって、画素（ウインドウ部分）がその値以上のときは［汚染された」と考えられ、かつその値以下のときは「クリーン」であると考えられる前記画素の強度閾値を選ぶことができる（この強度閾値は、ウインドウにデブリを置きそして得られた補償画像画素と、外部の光が画素に到達することを阻止したデブリの量とを比較することにより、実験的に選定することが好ましい。）。
この第２の分布により、補償された画像の何個の画素がこの閾値より大きいか又は閾値に等しい強度を有するか、従って何個の画素が「汚染された」かが決定される。本実施例においては、ブロック８４において、強度閾値より大きいか又はこれに等しい強度を有する補償画像の画素の数（＃）が、この数を画像内の画素の総数で割ることにより阻止％に変換される。もしデブリ画像の阻止％が決定用ブロック８６により決定された使用者定義の最大封鎖閾値に等しいか又はこれより大きいときは、汚染センサーがシステムに警告して、例えば、ブロック８８におけるカレントの画像データの無視及び／又はブロック９０におけるヒーター又はウインドウクリーナーの作動のような適切な作用を取らせる。常にクリーンリネスを測定するように常に実行が継続される。ウインドウが汚れたならば、その他の画像処理だけが影響を受ける。
【００１９】
以上説明された方法に加えて、補償画像の画素強度値の平均値、標準偏差などのようなその他の有用な情報を作ることができ、この情報を使用者に供給し、或いは獲得画像を乱し得るウインドウ上の汚染物質を決定するために別の方法において使用することができる。
【００２０】
本発明は一つ以上の実施例に関連して以上説明されたが、かかる説明は単に例示として提供されたことが理解される。従って、以上説明された実施例は、いかなる方法においても、本発明を限定すると考えるべきではない。むしろ、本発明は、特許請求の範囲の詳説に従った広い範囲で解釈すべきである。
【図面の簡単な説明】
【００２１】
【図１】本発明の原理を具体化するに適した観察システムのウインドウの説明図である。
【図２】本発明の一態様の具体例を含んでいるウインドウの断面図である。
【図３】本発明の別の態様の具体例を含んでいるウインドウの断面図である。
【図４】本発明の更に別の態様を具体化するに適した例示アルゴリズムの流れ図である。
【図５】図４の例示アルゴリズムにおける使用に適した画素値の第１の分布を例示しているグラフである。
【図６】図４の例示アルゴリズムにけりる使用に適した画素値の第２の分布を例示しているグラフである。
【図１】
2005214974.tif 000003
【図２】
2005214974.tif 000004
【図３】
2005214974.tif 000005
【図４】
2005214974.tif 000006
【図５】
2005214974.tif 000007
【図６】
2005214974.tif 000008