(57)【要約】  赤外線感知カメラから得られる画像信号における道路の特徴を検出する方法が与えられる。その方法は、要約すると、その代表的な温度に応じてフレームにおけるピクセルにバイナリ値を割り当てることにより画像フレームを処理するステップを有し、その後、互いに同様なバイナリ値が割り当てられているピクセル領域を特定するためバイナリマスクを空間的に解析するステップを有する。道路の特徴は、相互に類似するバイナリ値を持つことが特定された領域の解析と、ユーザに提供される画像フレームに関連する道路の特徴の視覚的な識別とから連続的に見つけられる。
2008542895.tif 000002
【特許請求の範囲】
【請求項１】
夜間又は視界が悪い環境において道路を検出する方法において、前記方法が画像フレームに基づかれ、かつコンピュータにより実行され、前記画像フレームはピクセルに分割され、各ピクセルが前記画像フレームが表す環境におけるポイントの温度に対応して割り当てられる強度値を持ち、
道路を表す候補となるピクセルを前記画像フレームにおいて検出することによりマスクを計算するステップと、
前記画像フレームの下部の近傍に一致する又は前記近傍に配置される下部境界を持つ道路候補ピクセルの初期クラスタを、前記道路候補ピクセルから道路の推定として選択するステップと、
道路候補ピクセルの異なる密度により特徴付けられる水平領域間の第１の水平方向を向く境界として初期水平線推定を決定するステップと、
上部境界を持つ道路候補ピクセルの前記選択された初期クラスタを訂正することにより、最終的な道路クラスタを規定するステップであって、前記訂正が、前記初期推定された水平線に対する前記上部境界の位置と、前記水平線の位置に対する所定の上限とに基づかれる、ステップとを有する、方法。
【請求項２】
道路候補ピクセルの前記検出が、前記画像フレームの前記ピクセル強度値からの第１の閾値の計算に基づかれ、前記道路候補ピクセルは、各ピクセル強度値を前記第１の閾値と比較することにより検出される、請求項１に記載の方法。
【請求項３】
前記第１の閾値が、前記画像フレームにおける前記ピクセル値の平均として計算される、請求項２に記載の方法。
【請求項４】
前記第１の閾値が、前記画像フレームにおける前記ピクセル強度値の標準偏差で重み付けされる、請求項３に記載の方法。
【請求項５】
前記初期水平線推定が、前記マスクの前記道路候補ピクセルの垂直投影及び前記投影のデリバティブから計算される、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記初期水平線推定が、
所定の定数より大きな前記デリバティブの絶対値を持つ、前記マスクの最上行として決定される第２の水平線推定、又は
前記第２の水平線推定と、第１の水平線推定との平均に基づかれ、前記第１の水平線推定は、前記マスクの所定行の垂直投影と前記所定の定数との総和より大きな垂直投影を持つ、前記マスクの最上行として決定される、請求項５に記載の方法。
【請求項７】
前記道路候補ピクセルの選択が、候補ピクセル値が等しい接続クラスタを前記マスクにおいて特定するステップと、総ピクセルにおいて所定の割合より大きい部分を占め、かつ前記マスクの所定行より下に位置する下部境界を持つ、最大コヒーレントクラスタを選択するステップとを有する、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記マスクにおけるピクセル値が等しい接続クラスタの特定が、前記マスクに接続要素ラベリングアルゴリズムを適用することにより実行される、請求項７に記載の方法。
【請求項９】
前記最終的な道路クラスタの選択が、
初期道路クラスタの前記上部境界が所定の第２の閾値を超える場合、前記初期水平線推定内の前記初期道路クラスタの前記上部境界を再規定することにより、前記初期道路クラスタを訂正するステップと、
前記初期道路クラスタを選択し、前記初期道路クラスタの前記上部境界が前記所定の第２の閾値と同じか下回る位置にある場合、前記初期道路クラスタの前記上部境界に一致するよう、前記水平線推定を調整するステップとを有する、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
夜間又は視界が悪い環境において道路を検出するシステムであって、１つ又は複数のデータプロセッサと、１つ又は複数のデータメモリとを有し、前記システムが、前記１つ又は複数のメモリに画像フレームを表すデータを格納し、前記画像フレームは、ピクセルに分割され、各ピクセルが、前記画像フレームが表す環境におけるポイントの温度に対応して割り当てられる強度値を持ち、前記システムは、前記１つ又は複数のプロセッサによる実行によって前記システムに、
道路を表す候補となるピクセルを前記画像フレームにおいて検出することによりマスクを計算するステップと、
前記画像フレームの下部の近傍に一致する又は前記近傍に配置される下部境界を持つ道路候補ピクセルの初期クラスタを、前記道路候補ピクセルから道路の推定として選択するステップと、
道路候補ピクセルの異なる密度により特徴付けられる水平領域間の第１の水平方向を向く境界として初期水平線推定を決定するステップと、
上部境界を持つ道路候補ピクセルの前記選択された初期クラスタを訂正することにより、最終的な道路クラスタを規定するステップであって、前記訂正が、前記初期推定された水平線に対する前記上部境界の位置と、前記水平線の位置に対する所定の上限とに基づかれる、ステップとを実行させる命令を具備する、システム。
【請求項１１】
画像フレームを取得する単一の赤外線カメラを更に有する、請求項１０に記載のシステム。
【請求項１２】
画像フレームを取得する複数の赤外線カメラを有する、請求項１０に記載のシステム。
【請求項１３】
前記システムが、前記最終的な道路クラスタの画像をユーザに表示するよう更に構成される、請求項１０乃至１２のいずれかに記載のシステム。
【請求項１４】
前記複数のカメラを較正するための請求項１２に記載のシステムの使用。
【請求項１５】
コンピュータシステムにロードされるとき請求項１乃至９のいずれかに基づく方法を実行するデータプロセッサに対する命令を格納するデータ担体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線カメラから生成される信号に基づき、夜間又は視界が悪い環境において道路を検出する暗視システムに関する。本発明は更に、赤外線カメラから得られる画像から、夜間又は視界が悪い状況において道路を検出する方法に関する。本発明は更に、コンピュータシステムにロードされるとき、夜間又は視界が悪い環境において道路を検出する方法を実行するデータプロセッサに対する命令を格納するデータ担体に関する。
【背景技術】
【０００２】
歩行者関連の事故の約70%は、夜間に発生している。斯かる事故の主な理由の１つは、夜間において見通しが悪くなることである。更に、特定の視覚的な問題が原因で夜間の視覚鋭敏性が減少することが障害となる人々もいる。従って、自動車会社は、自動障害／対象物検出機能又はコンピュータ改良による夜間道路の画像化機能を含むオンボードシステムを運転手に提供することに注目している。これは、効率的な道路検出システムを必要とする。
【０００３】
夜間の道路における照明が不十分又は存在しないことが原因で、対象物の温度を感知する赤外線(IR)カメラが、視覚に基づくシステムを置換又は補足する可能性がある。暗視システムの主な用途は、運転手に警告するため又は運転手が利用可能な視野を改良するため、道路上の対象物を堅牢に検出することである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
単一の赤外線カメラを用いての夜間の道路検出は、歩行者の検出に関連して過去に記載されている。近年、歩行者の可能性があるものの識別を補助する道路検出アルゴリズムが、PCT国際特許出願番号第WO 2004/029659号で与えられた。この特許出願は、画像領域からの温度値をグレースケールコードに変換した後、一定の強度を持つ滑らかな表面として道路が現れることになるという特性に基づき、道路検出アルゴリズムを記載する。斯かる前提の下、Sobelエッジ検出アルゴリズムといったエッジ検出技術により、道路パターンが識別されることが可能にされる。しかしながら、前述の技術にはいくつかの欠点がある。道路標識は、道路を複数の面に分離するエッジとして認識されることになる。道路は、表面に関して強度が一定でない、ざらざらの(textured)パターンを与える場合がある。このことが、エッジ検出技術の有効性を減少させることになる。空も滑らかな表面を与えることになり、道路と同じエッジ及びテクスチャ特性を持つ場合がある。更に、道路と空とを分離する明示的な方法は述べられたことがない。
【０００５】
従って、夜間又は視界が悪い環境において使用する、改良された一層堅牢な道路検出方法は有利であり、特に、夜間又は視界が悪い環境において道路を検出する暗視システムが有利であることになる。
【課題を解決するための手段】
【０００６】
本発明は、道路が夜間は低温であるという観察に基づかれる。従って、画像フレームに観測される残りの景色と比べて、道路は、赤外線カメラ画像フレームにおける低強度ピクセル値を一般に生じさせる。本発明は、車の運転手が視界不良にさらされる大部分の状況が、平均気温が低く、かつ日中でも赤外線カメラが有益な情報を提供することができるような冬季期間に生じるという観察にも基づかれる。本発明は更に、道路と空とが赤外線カメラから得られる画像において単一の表面として見える場合、その道路と空とが通常、水平線に一致する線に交わるという事実にも基づかれる。
【０００７】
本発明の目的は、従来技術における問題を克服する、夜間での道路検出方法及びシステムを提供することにある。本発明の目的は更に、堅牢でコスト効率の良い夜間での道路検出方法及びシステムを提供することにある。
【０００８】
本発明の目的は、夜間又は視界が悪い環境において道路を検出する方法により達成される。上記方法は画像フレームに基づかれ、かつコンピュータにより実行され、上記画像フレームはピクセルに分割され、各ピクセルが上記画像フレームが表す環境におけるポイントの温度に対応して割り当てられる強度値を持ち、
道路を表す候補となるピクセルを上記画像フレームにおいて検出することによりマスクを計算するステップと、
上記画像フレームの下部の近傍に一致する又は上記近傍に配置される下部境界を持つ道路候補ピクセルの初期クラスタを、上記道路候補ピクセルから道路の推定として選択するステップと、
道路候補ピクセルの異なる密度により特徴付けられる水平領域間の第１の水平方向を向く境界として初期水平線推定を決定するステップと、
上部境界を持つ道路候補ピクセルの上記選択された初期クラスタを訂正することにより、最終的な道路クラスタを規定するステップであって、上記訂正が、上記初期推定された水平線に対する上記上部境界の位置と、上記水平線の位置に対する所定の上限とに基づかれる、ステップとを有する方法により達成される。
【０００９】
道路候補ピクセルの上記検出が、上記画像フレームの上記ピクセル強度値からの第１の閾値の計算に基づかれ、上記道路候補ピクセルは、各ピクセル強度値を上記第１の閾値と比較することにより検出される。
【００１０】
上記第１の閾値は、本発明の１つの側面において、上記画像フレームにおける上記ピクセル値の平均として計算されることができる。驚くべきことに、有益な第１の閾値がその計算によって得られる。コンピュータの処理要件を減らすことで閾値の計算が簡略化される。しかしながら、本発明の別の側面においては、上記第１の閾値が、上記画像フレームにおける上記ピクセル強度値の標準偏差で重み付けされることができる。
【００１１】
上記初期水平線推定は、上記マスクの上記道路候補ピクセルの垂直投影及び上記投影のデリバティブから計算されることができる。それにより、水平線を決定する計算効率の良い方法が得られる。
【００１２】
上記初期水平線推定が、
所定の定数より大きな上記デリバティブの絶対値を持つ、上記マスクの最上行として決定される第２の水平線推定、又は
上記第２の水平線推定と、第１の水平線推定との平均に基づかれ、ここで、上記第１の水平線推定は、上記マスクの所定行の垂直投影と上記所定の定数との総和より大きな垂直投影を持つ、上記マスクの最上行として決定される。
【００１３】
上記道路候補ピクセルの選択が、候補ピクセル値が等しい接続クラスタを上記マスクにおいて特定するステップと、総ピクセルにおいて所定の割合より大きい部分を占め、かつ上記マスクの所定の行より下に位置する下部境界を持つ、最大コヒーレントクラスタを選択するステップとを有する。
【００１４】
上記マスクにおけるピクセル値が等しい接続クラスタの特定は、本発明のある側面において、上記マスクに接続要素ラベリングアルゴリズムを適用することにより実行される。
【００１５】
最終的な道路クラスタの選択が、
初期道路クラスタの上記上部境界が所定の第２の閾値を超える場合、上記初期水平線推定内の上記初期道路クラスタの上記上部境界を再規定することにより、上記初期道路クラスタを訂正するステップと、
上記初期道路クラスタを選択し、上記初期道路クラスタの上記上部境界が上記所定の第２の閾値と同じか下回る位置にある場合、上記初期道路クラスタの上記上部境界に一致するよう、上記水平線推定を調整するステップとを有する。
【００１６】
それにより、最終的な道路推定がより正確になることが実現される。なぜなら、その方法は、道路推定に最も関連しそうな画像における情報で重み付けされるからである。
【００１７】
本発明の目的は、夜間又は視界が悪い環境において道路を検出するシステムにより更に達成される。上記システムは、１つ又は複数のデータプロセッサと、１つ又は複数のデータメモリとを有し、上記システムが、上記１つ又は複数のメモリに画像フレームを表すデータを格納する。上記画像フレームは、ピクセルに分割され、各ピクセルは、上記画像フレームが表す環境におけるポイントの温度に対応して割り当てられる強度値を持ち、上記システムは、上記１つ又は複数のプロセッサによる実行によって上記システムに、
道路を表す候補となるピクセルを上記画像フレームにおいて検出することによりマスクを計算するステップと、
上記画像フレームの下部の近傍に一致する又は上記近傍に配置される下部境界を持つ道路候補ピクセルの初期クラスタを、上記道路候補ピクセルから道路の推定として選択するステップと、
道路候補ピクセルの異なる密度により特徴付けられる水平領域間の第１の水平方向を向く境界として初期水平線推定を決定するステップと、
上部境界を持つ道路候補ピクセルの上記選択された初期クラスタを訂正することにより、最終的な道路クラスタを規定するステップであって、上記訂正が、上記初期推定された水平線に対する上記上部境界の位置と、上記水平線の位置に対する所定の上限とに基づかれる、ステップとを実行させる命令を具備する。
【００１８】
本発明の１つの側面において、そのシステムが、画像フレームを取得する単一の赤外線カメラを更に有する。それにより、コスト効率の良い、更に堅牢なシステムが得られることができる。
【００１９】
しかしながら、本発明の別の側面においては、そのシステムは、画像フレームを取得する複数の赤外線カメラを有することができる。それにより、本発明によるシステム及び方法は、その複数のカメラを較正する、より従来型のシステムに適用されることができる。
【００２０】
本発明の別の側面においては、上記システムが、上記最終的な道路クラスタの画像をユーザに表示するよう更に構成される。それにより、ユーザ、即ちそのシステムが適用される車の運転手は、道路が表示された画像に反応することができ、例えば夜間等の視界が悪い環境であっても自分の運転を改善することができる。
【００２１】
本発明の目的は、コンピュータシステムにロードされるとき前述の方法を実行するデータプロセッサに対する命令を格納するデータ担体によって更に達成される。
【００２２】
本明細書において、「derivative(デリバティブ)」という用語は、２つの数又はベクトルの間の数値的な差分を表すのに使用される。
【００２３】
本明細書において他に記述がなければ、「above(上回る)」、「below(下回る)」、「upper(上部)」及び「lower(下部)」という用語は、画像を表示する際に通常知覚される、画像フレームにおける方向を指している。
【００２４】
本明細書において、「cluster(クラスタ)」という用語は、類似するピクセル値を持つピクセルのコヒーレントなグループを意味する。
【発明を実施するための最良の形態】
【００２５】
本発明は以下、例示に過ぎないものを介して、対応する図面を参照しながら説明されることになる。
【００２６】
図１には、夜間又は視界が悪い環境において道路を検出するシステム１０の概略が示され、そのシステムは、コンピュータシステム２０、赤外線カメラ６０、ディスプレイ７０、オーディオビジュアルアラーム８０及び一連の制御キー９０を有する。コンピュータシステム１０は、メモリ２５、入力／出力コントローラ３５、通信バス４５及びプロセッサ５５を有する。メモリ２５は、画像フレーム記憶モジュール３０、アラームモジュール４０及び道路検出モジュール５０を有する。赤外線カメラ６０、ディスプレイ７０及びオーディオビジュアルアラーム８０は、例えば、同軸ケーブル、ツイストペアケーブルを介して、又は無線周波数接続を用いて、コンピュータシステム２０に結合される。入力／出力コントローラ３５、メモリ２５及びプロセッサ５５は、通信バス４５を介して互いに結合される。フレーム記憶モジュール３０、アラームモジュール４０及び道路検出モジュール５０は、メモリ２５に配置される。制御キー９０は、例えば、他の可能なアプリケーションにおいてシステムを開始及び終了することを可能にすることができる。
【００２７】
本発明の１つの用途において、夜間又は視界の悪い環境において道路を検出するシステム１０は、運転手であるユーザが運転中に先の道路を認識する手助けとなるよう、例えば自動車、バイク又はトラック等の車に設置されることができる。
【００２８】
夜間又は視界の悪い環境において道路を検出するシステム１０の動作が以下説明されることになる。プロセッサ５５は、入力／出力コントローラ３５及び通信バス４５を介して赤外線カメラ６０から画像フレームを受信する。そのフレームはメモリ２５に格納され、より詳細には、フレーム記憶モジュール３０に格納される。プロセッサ５５は、道路検出モジュール５０から動作命令を受け、赤外線カメラ６０から受信される画像フレームから観測されるものとして道路表面の推定を行う。道路表面の推定は、フレーム記憶モジュール３０に格納される。更に、プロセッサ５５は、本発明の１つの実施形態において、カメラ６０から受信される赤外線画像にその推定された道路表面を重畳させ、ディスプレイ７０上に対応する結果画像を表示する。第２の実施形態において、プロセッサ５５は、代替的又は追加的にアラームモジュール４０からの動作命令を受け、カメラ６０から受信される赤外線画像において道路が認識されないとき、例えば、オーディオビジュアルアラーム８０を用いて自動車の運転手にアドバイスする。代替的又は追加的に、アラームモジュール４０は、道路幅制限(road limit)内に車を保つサーボ制御システムにフィードバック情報を提供することができる。
【００２９】
図２には、道路検出モジュール５０がより詳細に示される。図２では、モジュール５０が道路候補ピクセル検出モジュール１００、初期水平線推定モジュール１１０、道路規定モジュール１２０及び道路／水平線訂正モジュール１３０を含む。本発明の１つの実施形態において、ディスプレイ表示モジュール１４０が、その方法を補完する。プロセッサ５５は、道路検出モジュール５０からの命令を受信し、続いて道路候補ピクセル検出モジュール１００、初期水平線推定モジュール１１０、道路規定モジュール１２０及び道路／水平線訂正モジュール１３０を用いて命令を実行する。本発明の１つの実施形態において、そのモジュールは最終的にディスプレイ表示モジュール１４０に含まれる命令を実行することになる。
【００３０】
図３には、単一の赤外線カメラから得られる画像から夜間又は視界が悪い環境において道路を検出する方法のステップを表わすフローチャート２００が一般的に示される。その方法は、好ましくは図１に示されるシステム１０における道路検出モジュール５０によるアルゴリズムとして実行される。その方法は、システム開始が押されたことを検出するステップ２１０、利用可能なとき次の画像フレームにアクセスするステップ２２０、バイナリマスクを与える道路候補ピクセルを検出するステップ２３０、水平線を推定するステップ２４０、バイナリマスクにおける道路を規定するステップ２５０、必要な場合に道路及び水平線を訂正するステップ２６０、オプションでディスプレイに画像を表示するステップ２７０及び追加的なフレームの処理への停止をユーザが指定したかどうかをチェックするステップ２８０を有する。
【００３１】
制御キー９０を用いてシステム開始が押され(ステップ２１０)、新しい画像フレームがフレーム記憶モジュール３０において利用可能なったとき、その画像フレームがアクセスされ(ステップ２２０)、道路候補ピクセルを検出するアルゴリズムステップが実行される(ステップ２３０)。候補ピクセルから得られるバイナリマスクに基づき(ステップ２３０)、初期の水平線推定アルゴリズム（ステップ２４０）及び道路規定アルゴリズム(ステップ２５０)が実行される。道路の特定と水平線の配置とに関する最終的な決定は、道路及び／又は水平線の訂正アルゴリズム(ステップ２６０)で得られる。元の赤外線画像フレームが、道路及び水平線推定と共に、好ましくはディスプレイ７０に与えられる(ステップ２７０)。最終的に、ユーザにより例えば制御キー９０を用いて入力されるシステム停止信号が確認されることができるかどうかを、アルゴリズム２００はチェックする(ステップ２８０)。もし何ら停止信号が観測されない場合、そのアルゴリズム２００は、新しい画像フレームにアクセスし、それから再度前述のステップを実行する。もしシステム停止信号が観測される場合、そのアルゴリズム２００は、新たにシステム開始が押される(ステップ２１０)のを待つ、スタンバイ状態へとシステムを設定することになる(ステップ２９０)。
【００３２】
赤外線カメラから得られる画像フレームは一般に、行列状のピクセル(xmax * ymax)を有することになる。ここで、xmaxは、水平方向に利用可能なピクセル数、つまり列の数を表し、ymaxは、垂直方向に利用可能なピクセル数、つまり行の数を表す。各ピクセルには、そのピクセルが関連する画像領域の温度を表す特定の値が割り当てられることになる。ピクセル値は、一般的に各画像フレームで強度を変化させることになる。以下の説明において、画像の最上行は行値 i = 1が割り当てられ、画像の最下行は、行値 i = Ymaxが割り当てられる。
【００３３】
図４において、道路候補ピクセル２３０を検出するアルゴリズムに関するフローチャートが示される。プロセッサ５５が図２に示される道路候補検出モジュール１００を構成する命令を受信するとき、そのアルゴリズムは実行される。アルゴリズム２３０は、解析される画像フレームのコピーを作成するステップ３１０により開始され、閾値を推定するステップ３２０と、画像フレームから最初のピクセルにアクセスするステップ３３０と、ピクセル強度がステップ３２０で推定された閾値を超えるかを評価するステップ３４０と、ピクセルに偽値(zero value)、つまりP = 0を割り当てるステップ３５０、又は真値(one value)、つまりP = 1を割り当てるステップ３６０と、評価されたピクセルが画像における最後のものかをチェックするステップ３７０と、次のピクセル画像にアクセスするステップ３８０と、道路候補ピクセルのバイナリマスクを作成及び格納するステップ３９０とを有し、ステップ３９５で終了する。
【００３４】
一旦、最初／次のフレームが利用可能とされると(ステップ２２０)、道路候補ピクセルアルゴリズム２３０は、メモリ画像フレーム記憶モジュール３０に解析されることになる画像フレームのコピーを作成するステップ３１０により開始される。閾値Thは、一般には、画像フレームピクセル値の強度の平均値
2008542895.tif 000003
及び画像フレームピクセル値の強度の標準偏差σIの関数として推定される(ステップ３２０)。この関数は、式(1)に示される。この式において、k1及びk2は、２つの統計量、即ち
2008542895.tif 000004
及びσIの寄与度を決定するパラメタである。特定の用途に応じて、これらのパラメタk1及びk2の最適値が発見されることができる。本発明の１つの実施形態において、閾値Thは、赤外線画像ピクセル値の強度の平均値
2008542895.tif 000005
として直接計算されることができる。この場合、k1は1であり、k2は0であることを意味する。この実施形態は、標準偏差σIを評価するための過剰な計算処理を避け、低コストを実現できるという利点を持つ。上述の実施形態の性能は、慎重に検討され、標準偏差を含む最適な閾値と比較されてきた。結果は、道路検出アプリケーションに使用されるとき、本発明によるこの手法が、処理に必要な要求量を減らしつつ、擬似最適状態を提供するものであることを示した。
2008542895.tif 000006
【００３５】
本発明と直接的な関連がなくとも、標準偏差σIの計算が必要な状況においてはk1とk2とが両方使用される。様々な条件で得られる画像を含む詳細な実験的調査によれば、k1及びk2の両方に0.5が割り当てられたとき、最適な性能が実現されることが示される。
【００３６】
アルゴリズム２３０における次のステップでは、赤外線画像の最初のピクセルがフレーム記憶モジュール３０からアクセスされ、その強度値が推定された閾値と比較される(ステップ３４０)。ピクセルの強度が閾値Thより大きい場合(ステップ３５０)、ピクセルPには値0が割り当てられる。ピクセルの強度が閾値Thと等しいか又は小さい場合、ピクセルPには値1が割り当てられることになる。この手順は、道路ピクセルに対する候補として相対的に低い温度を持つピクセルを抽出しようとする。その方法におけるステップ３７０では、アクセスされたピクセルがその画像フレームからの最後のものであるかがチェックされる。最後のピクセルである場合、すべての道路候補ピクセルを含むバイナリマスクがフレーム記憶モジュール３０に格納されることになる。最後のピクセルではない場合、次のピクセルPがアクセスされることになり(ステップ３８０)、道路候補ピクセルの実行が終了する最後のピクセルに到達するまで(ステップ３９５)、閾値Thとの新たな比較が実行される(ステップ３４０)。ステップ３６０は、式(2)で表される。その式では、バイナリマスクR(x,y)が、赤外線画像におけるピクセル強度I(x,y)と閾値Thとの関数として規定される。
2008542895.tif 000007
【００３７】
図５には、水平線の初期推定を実行するアルゴリズム２４０のステップを表すフローチャートが示される。プロセッサ５５が図２に示される初期水平線推定モジュール１１０を構成する命令を受信するとき、そのアルゴリズムは実行される。そのアルゴリズムは、道路候補ピクセルのバイナリマスクにアクセスするステップ４１０と、ピクセルの垂直投影を計算するステップ４２０と、垂直投影のデリバティブ(derivate:導関数、差分計算)を計算するステップ４３０と、第１の水平線推定を計算するステップ４４０と、第２の水平線推定を計算するステップ４５０と、最終水平線推定を決定し、その位置を格納するステップ４６０とを有する。
【００３８】
垂直投影計算４２０は、道路候補ピクセルのバイナリマスクからアクセスされる(ステップ４１０)ピクセルデータの各行に対して、すべてのピクセル値の和を計算し、その和をベクトル形式でPv(y)としてメモリに格納することを必要とする。このステップは、式(3)で表されるようにPv(y)の計算として数学的に表現されることができる。そのアルゴリズムにおける次のステップは、垂直投影のデリバティブPDv(y)の計算である(ステップ４３０)。これは、式(4)で表される。その式で、Nは差分処理において減算される要素間の行差(row difference)である。様々な条件で得られる画像を含む詳細な実験的調査によれば、N = 3がそのアルゴリズムの最適な性能を与えるという結論が得られた。しかしながら、この最適値N = 3からのわずかな変動、例えば、N = 2、N = 4、N = 5としてもこのアルゴリズムの精度になんら重大な影響は与えないであろう。試験は主に、(320 x 240)ピクセルを有する画像フレームに関して実行された。赤外線画像が(xmax x ymax)ピクセルという形式で他の寸法を持つ場合、Nの値は一般的に、式(5)に表されるマージン内の値に調整されるであろう(scale)。
【００３９】
第１の水平線推定(ステップ４４０)は、式(6)の評価により計算される。画像の最上行i = 1から比較が開始され、式(6)に表される不等式を満たす行が見つかるまで連続的にチェックされる。ここで、H1は水平線が推定される行番号を表す。
【００４０】
式(6)において、iupはある行を示す。その行より上では高い確率で空の領域を見つける、そのような行である。TLargeは、水平線での道路の予想幅(有するピクセル数の観点で規定される幅)からの貢献と、ノイズから生じる道路候補ピクセルからの貢献とを有する定数として規定される。画像フレームにおけるノイズは、道路と似た温度特性を持つ対象物から生じるか、又は単に画像の記録から生じる場合がある。
【００４１】
空の温度が一般に閾値Thを超え、かつ、そのピクセルが一般に道路候補ピクセルとして考慮されていないとき、第１の水平線推定の計算(ステップ４４０)は特に重要である(relevant)。
【００４２】
不等式を満たす行がないままバイナリマスクの最下行i = Ymaxに到達する場合、第１の水平線推定(ステップ４４０)は棄却され、そのアルゴリズム２４０は、最終的な水平線推定を生成するにあたり、決定ステップ４６０において第２の水平線推定ステップ４５０だけを考慮することになる。最後に述べられた状況は、例えば、すべての空ピクセルが平均温度を下回る温度を持つ場合に生じることになる。
【００４３】
得られる赤外線画像フレームが水平及び垂直方向にそれぞれ行列状の320 * 240ピクセルを有するような本発明の１つの実施形態において、iupは、30から70までの間で考えられ、TLargeは、20から80までの間で考えられる。これらの値は、様々な条件で得られる画像を含む詳細な実験的調査から得られた。赤外線画像が、(xmax x ymax)ピクセルという形式で他の寸法を持つ場合、iupとTLargeとの値は、一般的に、式(7)及び(8)に表されるマージン内の値に調整されるであろう。
【００４４】
第２の水平線推定(ステップ４５０)は、水平線で、垂直投影の大きな局所デリバティブPv(y)が存在するであろうという観測に基づく。この推定(ステップ４５０)は、式(9)を評価することにより計算される。その比較は、画像の最上行i = 1から開始され、式(9)に表される不等式を満たす行が見つかるまで連続的にチェックされる。ここで、H2は水平線が推定される行番号を表す。
【００４５】
式(9)の不等式を満たす行がないまま、即ち何ら水平線が特定されないままバイナリマスクの最下行i = Ymaxに到達する場合、第２の水平線推定(ステップ４５０)がバイナリマスクの外側にある、即ち水平線が画像フレームにおいて表示されるものの外側にあるに違いないと考えられる。第２の水平線推定は、そのアルゴリズムの追加的なステップにおける不確かさを避けるため、偽値H2 = 0を割り当てられることになる。
【００４６】
水平線の初期推定の決定及び格納(ステップ４６０)は、第１の水平線推定(ステップ４４０)と第２の水平線推定(ステップ４５０)とに基づかれる。第１の水平線推定H1が一つも見つからない場合、水平線の初期推定Hは、第２の水平線推定H2に等しくされる(ステップ４６０)。第１及び第２の水平線推定が共に計算された場合、水平線の初期推定Hは、式(10)に基づき計算されることになる。即ち、解析される例示における最も好適な精度の推定を与える、２つの推定の平均として計算される。
【００４７】
図６において、画像フレームにおける道路を規定することを可能にするアルゴリズム２５０に関するフローチャートが示される。プロセッサ５５が図２に示される道路候補規定モジュール１２０を構成する命令を受信するとき、そのアルゴリズムは実行される。そのアルゴリズムは、道路候補ピクセルのバイナリマスクにアクセスするステップ５１０と、バイナリマスクに接続要素ラベリングアルゴリズムを適用するステップ５２０と、道路候補を識別するステップ５３０と、候補から道路を選択するステップ５４０と、選択された道路の最小境界ボックスを計算及び格納するステップ５５０とを有する。
【００４８】
接続要素ラベリングアルゴリズム５２０は、互いに同様な強度値を持つ隣接ピクセル領域を特定するため、マスクの上から下に、及び左から右にピクセル毎にバイナリマスクをスキャンするステップを有する。この場合、互いに同様な値を持つ隣接ピクセルは１でマークされる。要素ラベリングアルゴリズムを実現するとき、接続性に関する異なる尺度を使用することが可能である。本発明の１つの実施形態において、8接続性が使用される。4接続性の使用も可能であるが、道路の推定においてアルゴリズムの精度に影響を与えることになる。そのアルゴリズムは、３つの原理に基づき、道路が選択される(ステップ５４０)x-y平面に表される道路候補領域のリストを提供する(ステップ５３０)。以下の説明において、画像における最小のy座標であるy = 1は、画像の上部に対応し、画像における最大のy座標であるy = ymaxは、画像の下部に対応する。最初の原理は、有効な道路領域が、ピクセル総数の少なくとも一定の割合を覆わなければならないことである。第２の原理は、道路候補領域が、画面の特定の領域内に配置されるべきであること、及びその最大y座標Rymaxは所定定数RCminより大きいべきであることである。第３の原理は、その道路が、第１及び第２の原理に適合する最大の道路候補領域であると考えられることである。最終的に道路の最小の境界ボックスが計算され、メモリに格納される(ステップ５５０)。様々な条件で得られる画像を含む詳細な実験的調査によれば、道路候補がピクセルの総数の少なくとも10%を覆う場合、道路候補が有効であると考えられるべきであることが示される。得られる赤外線画像が行列状の320 x 240ピクセルを有するような本発明の１つの実施形態において、Rcminは120であると考えられる。このことは、道路の最下部、つまり最大のy座標が、画像の下半分内、つまり下部にあると予想されることを意味する。赤外線画像が(xmax x ymax)ピクセルという形式で他の寸法を持つ場合、RCminの値は、一般的に、式(11)に表される値に調整されるであろう。
2008542895.tif 000008
【００４９】
図７には、道路及び／又は水平線の訂正に使用されるアルゴリズム２６０のステップを表すフローチャートが表される。プロセッサ５５が図２に示される道路／水平線訂正モジュール１３０を構成する命令を受信するとき、そのアルゴリズムは実行される。以下の説明において、画像における最小のy座標であるy = 1は、画像の上部に対応し、画像における最大のy座標であるy = ymaxは、画像の下部に対応する。そのアルゴリズム２６０は：
-  水平線の初期推定と道路の最小の境界ボックスとにアクセスするステップ６１０と、
-  道路の最小境界ボックスの最小な垂直y座標値と所定の第２の閾値Nskyとを比較するステップ６２０と、
-  必要であれば、水平線を訂正するステップ６３０と、
-  必要であれば、道路の最大垂直y座標を訂正するステップ６４０と、
-  最後に、更新された水平線及び道路の境界ボックスを格納するステップ６６０とを有する。
【００５０】
水平線推定(ステップ２４０)は、図５に関連して以前に説明されており、道路の最小境界ボックスの規定(ステップ２５０)は、図６に関連して既に説明がされている。
【００５１】
道路及び／又は水平線の訂正のためのアルゴリズム２６０は、道路の最小境界ボックスRyminの最小の垂直y座標値を所定の第２の閾値Nskyと比較するステップ６２０により開始される。比較の第１のオプションとして、RyminがNskyより小さい場合、水平線推定Hが解析される。水平線推定Hがゼロに等しい場合、道路の最小境界ボックスは修正されることはない。水平線推定Hがゼロとは異なる場合、道路の最小境界ボックスは、水平線より下の部分のみを含むよう修正される。つまり、水平値Hより小さい垂直成分を持つすべてのピクセルが道路候補領域から消去される。比較の第２のオプションとして、RyminがNskyと等しいか又は大きい場合、水平線推定が修正され、その値は、道路の最小境界ボックスの最小垂直y座標値Ryminに等しいよう再規定される。最後に、道路の新たな最小境界ボックス(修正が行われる場合)及び新たな水平線(修正が行われる場合)がメモリに格納される(ステップ６６０)。得られる赤外線画像が行列状の320 x 240ピクセルを有するような本発明の１つの実施形態において、Nskyは、30から70の間であると考えられる。これらの値は、様々な条件で得られる画像を含む詳細な実験的調査から得られる。赤外線画像が(xmax x ymax)ピクセルという形式で他の寸法を持つ場合、Nskyの値は、一般的に、式(12)に表されるマージン内の値に調整されるであろう。
【００５２】
現在説明されている、初期道路クラスタを訂正するための基準は、例えば景観を見ながら又は都市を運転する間に予想されることができるほとんどの状況に対する方法に適合する。しかしながら、訂正アルゴリズム２６０に追加的な基準が実行される場合がある特殊な状況も起こり得る。
【００５３】
図８には、夜間又は視界が悪い環境において道路を検出する方法２００から得られる関連情報を、対応する赤外線画像フレームに重ねて表すアルゴリズム２７０に関するフローチャートが示される。アルゴリズム２７０は、元の赤外線画像フレームにアクセスするステップ７１０と、ユーザにより特定された場合、道路の境界ボックスを重ね合わせるステップ７２０と、ユーザにより特定された場合、推定された水平線を重ね合わせるステップ７３０と、ユーザにより特定された場合、空の境界ボックスを重ね合わせるステップ７４０と、ディスプレイ７０上で最終的な画像をユーザに提供するステップ７５０とを有する。
【００５４】
ユーザは、フレーム記憶モジュール３０から得られる元の赤外線画像に加えて、どの特徴がディスプレイ７０に表示されるかを、例えば、制御キー９０を用いて決定することができる。空及び道路の特徴は、ユーザが簡単に視覚的に識別することを可能にするよう、異なるカラーコードを用いてディスプレイ上に表示されることができる。その選択は、以下の中から１つも選択しないことからすべてを選択することまでを含む。
-  道路の境界ボックス７２０、
-  水平線推定７３０、
-  空の境界ボックス７４０。
【００５５】
空の境界ボックス(ステップ７４０)は、空の推定が利用可能であるとき、水平線推定より上の領域として計算される。特定される要素の１つ又は複数が利用可能ではない場合、例えば、オーディオビジュアルアラーム８０を用いて、例えばディスプレイ７０に表示されるメッセージとして、ユーザはその状況について通知を受けることができる。
【００５６】
夜間又は視界が悪い環境において道路を検出する方法の処理を説明する例示が、図９に示される。その例示は、日中であるかのように見える背景８１０と、赤外線画像フレームから派生する、バイナリマスクに含まれる道路候補ピクセル８２０と、赤外線画像フレームに適用されるアルゴリズムから得られる水平線推定及び道路境界ボックス８３０と、道路、水平線推定及び空領域が元の画像フレームに重ね合わされて、画面に与えられる最終画像８４０とを含む。
【００５７】
図９に示される例示は、16 x 12の低減された解像度を持つ画像に基づくアルゴリズム２００の適用を表す。示される例示は、画像フレームの平均温度を下回る空の温度を持つ空領域を持つことにより特徴付けられる。バイナリマスク８２０において観測されることができるように、空が低温であることで、空領域における道路候補ピクセルが提供される。空境界ボックスが最大の境界ボックスを構成するとしても、境界ボックスの最大y座標が特定の位置RCminを上回るので、その空境界ボックスは道路候補として捨てられる。RCminは与えられる例示では6であると考えられる。そのアルゴリズムは、出力として、水平線推定と道路境界ボックスとを与える(画面８３０)。本発明の１つの実施形態においては、ディスプレイ７０上でユーザナビゲーション情報を提供するため、空領域に加えて、その出力が元の赤外線画像フレームに重ね合わされる(画面８４０)。
【００５８】
上述の本発明の実施形態は、対応する請求項により規定されるような本発明の範囲から逸脱することなく修正されることができることを理解されるであろう。
【００５９】
対応する請求項において、括弧内の数字及び他の記号は、請求項の理解を助けるものであり、いかなる態様においても請求項の範囲を限定するものと意図されるべきではない。
【００６０】
「comprise(有する)」、「include(含む)」、「incorporate(組み込む)」、「is(である)」及び「have(持つ)」といった表現は、明細書及びその対応する請求項を解釈するにあたり非排他的な態様で解釈されるものではない。即ち、明示的に規定されていない他のアイテム又は要素が存在していてもよいと解釈されるべきである。単数形での参照は、複数形での参照と解釈されることもできる。その逆でもよい。
【００６１】
要約すると、本発明は、赤外線感知カメラから得られる画像信号における道路の特徴を検出する方法に関する。その方法は、要約すると、その代表的な温度に応じてフレームにおけるピクセルにバイナリ値を割り当てることにより画像フレームを処理するステップを有し、その後、互いに同様なバイナリ値が割り当てられているピクセル領域を特定するためバイナリマスクを空間的に解析するステップを有する。道路の特徴は、相互に類似するバイナリ値を持つことが特定された領域の解析と、ユーザに提供される画像フレームに関する道路の特徴の視覚的な識別とから連続的に見つけられる。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の側面による、夜間又は視界が悪い環境において道路を検出するシステムを示すブロック図である。
【図２】本発明の第１の側面による道路検出モジュールを示すブロック図である。
【図３】本発明の第２の側面による、単一の赤外線カメラから得られる画像フレームに基づき、夜間又は視界が悪い環境において道路を検出する方法を示すフローチャートである。
【図４】本発明の第２の側面による、道路候補ピクセルを検出しかつ元の赤外線画像のバイナリマスクを与えるアルゴリズムを示すフローチャートである。
【図５】本発明の第２の側面による、水平線を推定するアルゴリズムを示すフローチャートである。
【図６】本発明の第２の側面による、道路候補ピクセルのバイナリマスクに基づき道路を識別及び検出するアルゴリズムを示すフローチャートである。
【図７】本発明の第２の側面による、空の外観と水平線の位置とに対する第２の閾値に基づき、道路と規定されたものを訂正するアルゴリズムを示すフローチャートである。
【図８】本発明の実施形態による、対応する元の赤外線画像に重畳される道路を表すアルゴリズムを示すフローチャートである。
【図９】夜間又は視界が悪い環境において道路を検出する方法の処理の例示を概略的に示す図であり、その例示が、まるで日中であるかのような景色の画像と、その画像に関するアルゴリズム処理の中間ステップと、計算された道路、水平線推定及び空の領域が元の画像に重畳されるような結果画像とを含むような図である。
【図１】
2008542895.tif 000009
【図２】
2008542895.tif 000010
【図３】
2008542895.tif 000011
【図４】
2008542895.tif 000012
【図５】
2008542895.tif 000013
【図６】
2008542895.tif 000014
【図７】
2008542895.tif 000015
【図８】
2008542895.tif 000016
【図９】
2008542895.tif 000017
【国際調査報告】
2008542895.tif 000018