(57)【要約】本発明は、動的に変化する関心領域ＲＯＩにおける１台以上の車両を検出するための車両検出システムおよび方法を記載する。システムは光景認識モジュール（１０１）と、道路地形推定モジュール（１０２）と、車両検出モジュール（１０３）とを備える。光景認識モジュールは、動的に変化する関心領域における１つ以上の光景の状態を識別するために、高露光画像または低露光画像のいずれかを受信するように構成される。道路地形推定モジュールは、動的に変化する関心領域における道路のカーブ、勾配、および消失点の少なくとも１つを決定するために、高露光画像または低露光画像のいずれかを受信するように構成される。車両検出モジュールは、夜間に路上の１台以上の車両を検出するために、光景認識モジュールおよび道路地形モジュールと連結される。
2017505946.tif 000002
【特許請求の範囲】
【請求項１】
動的に変化する関心領域（ＲＯＩ）における１つ以上の光景の状態を識別するために、高露光画像および低露光画像のうちの１つを受信するように構成された光景認識モジュールと、
前記動的に変化する関心領域（ＲＯＩ）における道路のカーブ、勾配、および消失点のうちの少なくとも１つを決定するために、高露光画像および低露光画像のうちの１つを受信するように構成された道路地形推定モジュールと、
前記光景認識モジュールおよび前記道路地形モジュールと連結され、道路上の１台以上の車両を検出するように構成された車両検出モジュールと、
を備える車両検出システム。
【請求項２】
前記車両検出モジュールは、
二値画像データを提供するために、前記光景認識モジュールおよび前記道路地形推定モジュールの少なくとも１つから入力データを受信するように構成された画像セグメント化モジュールと、
前記画像セグメント化モジュールに連結され、ノイズおよび不要情報を除去するように構成されたフィルタリングモジュールと、
前記フィルタリングモジュールに連結され、フィルタリングされた画像で１つ以上のブロブを識別し、かつ識別された各ブロブの特性を決定するように構成されたブロブ識別モジュールと、
前記ブロブ識別モジュールに連結され、少なくとも１つのペアリング論理に基づいて物体を識別するように構成された物体識別モジュールと、
前記物体識別モジュールに連結され、１対以上の識別されたブロブの妥当性確認および検証を行うように構成された対妥当性確認および検証モジュールと、
前記対妥当性確認および検証モジュールに結合され、１対以上の妥当性確認および検証が行われたブロブを１つ以上のステージで追跡するように構成された追跡モジュールと、
を備える、請求項１に記載のシステム。
【請求項３】
前記ブロブ識別モジュールおよび前記対妥当性確認および検証モジュールから受信した１つ以上のブロブ情報に基づいて、ＲＯＩで識別された物体を二輪車と判定するように構成された二輪車識別モジュールをさらに備え、
前記１つ以上のブロブ情報はヘッドライトおよびテールライトの１つであるブロブを含む、請求項１に記載のシステム。
【請求項４】
フィルタリングされた画像で１つ以上のブロブを識別しかつ識別された各ブロブの特性を決定するように構成された前記ブロブ識別モジュールは、
前記１つ以上のブロブの各々に一意のラベルを割り当てるステップと、
前記１つ以上のラベル付けされたブロブの各々の特性を決定するステップであって、特性はブロブの原点、幅、高さ、ボックス面積、画素面積、赤色の画素数、アスペクト比、およびブロブプロファイルを含んで成るステップと、
前記決定された特性に基づいて、ダークフレームおよびブライトフレームのうちの１つへの前記１つ以上のラベル付けされたブロブの１つ以上の融合を決定するステップと、
前記１つ以上のラベル付けされたブロブをヘッドライト、テールライト、併合ライト、および無効ライトの少なくとも１つに分類するステップと、
を含む、請求項２に記載のシステム。
【請求項５】
少なくとも１つのペアリング論理に基づいて物体を識別するように構成された前記物体識別モジュールは、
前記１つ以上のブロブの水平方向の重なりを決定するステップ、
前記１つ以上のブロブのアスペクト比を決定するステップ、
前記１つ以上のブロブの画素面積比を決定するステップ、
前記１つ以上のブロブの幅比を決定するステップ、および
前記１つ以上のブロブの画素対ボックス面積比を決定するステップ、
のうちの少なくとも１つを含む、請求項２に記載のシステム。
【請求項６】
前記１対以上の識別されたブロブの妥当性確認および検証を実行するように構成された前記対妥当性確認および検証モジュールは、
１対の識別されたブロブの妥当性確認を行うステップ、
ライトの行の間で前記１つ以上の識別されたブロブの妥当性確認を行うステップ、および、
２対以上の識別されたブロブの間で前記１つ以上の識別されたブロブの妥当性確認を行うステップ、のうちの少なくとも１つを含む、請求項２に記載のシステム。
【請求項７】
１つ以上の併合ブロブを識別することによって、併合ライトの妥当性確認を行うことをさらに含む、請求項６に記載のシステム。
【請求項８】
１対の識別されたブロブの妥当性確認の実行は、
対の幅およびアスペクト比を決定すること、
対の間の不対ブロブの数を決定すること、および
対を成すブロブおよび不対ブロブの面積を対の幅の百分率で決定すること、
を含む、請求項６に記載のシステム。
【請求項９】
ＲＯＩにおけるライトの行の間で１つ以上の識別されたブロブの妥当性確認を実行することは、ＲＯＩにおけるライトの行全体に線当てはめアルゴリズムを実行することを含む、請求項６に記載のシステム。
【請求項１０】
２対以上の識別されたブロブの間で１つ以上の識別されたブロブを検証することは、
２対の識別されたブロブの列の重なりが非常に高いか非常に低いかのどちらかである場合、同一ブロブを共有する２対の識別されたブロブから、より小さい幅を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブの列の重なりが非常に高いものでも非常に低いものでもなく、かつ中間ブロブが対称的に位置していない場合、同一ブロブを共有する２対の識別されたブロブから、より大きい幅を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブが列の重なりを有し、行の重なりを持たない場合、別の対の識別されたブロブより小さい幅および高さを有する１対の識別されたブロブを除去するステップ、
別の対の識別されたブロブより低い強度、高さ、およびより広い幅を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブが同等の幅および高さを有し、かつ非常に高い列の重なりを有する場合、別の対の識別されたブロブより低い強度を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブが列および行の重なりを有し、かつ非対称的である場合、別の１対の識別されたブロブより大きい幅を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブが列を有しかつ対称的である場合、別の１対の識別されたブロブより小さい幅を有する１対の識別されたブロブを除去するステップ、
２対の識別されたブロブが非常に少ない列の重なりを有する場合、別の１対の識別されたブロブ内に位置する１対の識別されたブロブを除去するステップ、および
２対の識別されたブロブが非常に少ない列の重なりを有する場合、別の１対の識別されたブロブの下に位置する１対の識別されたブロブを除去するステップ、の少なくとも１つを含む、請求項６に記載のシステム。
【請求項１１】
前記光景認識モジュールは動的に変化する関心領域（ＲＯＩ）の飽和画素、明るさ、色、および領域変化を決定する、請求項１に記載のシステム。
【請求項１２】
前記道路地形推定モジュールは、動的に変化する関心領域（ＲＯＩ）における１つ以上の光景の状態を受信するために前記光景認識モジュールに連結される、請求項１に記載のシステム。
【請求項１３】
検出された車両のサイズの物理的幅とレンズの焦点距離の積と、画像内の検出された車両の幅とカメラの画素からメートルへの変換係数の積との比に基づいて、少なくとも１台の検出された車両とホスト車両との間の距離を算出するように構成された距離推定モジュールをさらに備えた、請求項１に記載のシステム。
【請求項１４】
光景認識モジュールおよび道路地形推定モジュールの少なくとも１つによって高露光画像および低露光画像の１つを受信するステップと、
動的に変化する関心領域（ＲＯＩ）における１つ以上の画像の状態を光景認識モジュールによって識別するステップと、
動的に変化する関心領域（ＲＯＩ）における道路のカーブ、勾配、および消失点の少なくとも１つを決定するステップと、
動的に変化する関心領域（ＲＯＩ）における１台以上の車両を検出するために前記１つ以上の画像を処理するステップと、
を含む、車両検出システムによって１台以上の車両を検出するための方法。
【請求項１５】
前記１つ以上の画像を処理するステップは、
フィルタリングモジュールによってノイズおよび不要情報を除去すること、
フィルタリングされた画像で１つ以上のブロブを識別すること、
識別された各ブロブの特性を決定すること、
少なくとも１つのペアリング論理を用いて、動的に変化するＲＯＩにおいて前記識別された１つ以上のブロブから１つ以上の物体を識別すること、および
前記１対以上の識別されたブロブの妥当性確認および検証を実行すること、
を含む、請求項１４に記載の方法。
【請求項１６】
前記ブロブ識別モジュールおよび前記対妥当性確認および検証モジュールから受信する前記１つ以上のブロブ情報に基づいて、前記ＲＯＩにおける識別された物体を二輪車と判定するステップをさらに含み、
前記１つ以上のブロブ情報は、ヘッドライトおよびテールライトの１つであるブロブを含む、請求項１４に記載の方法。
【請求項１７】
妥当性確認および検証が行われた１対以上のブロブを追跡モジュールによって１つ以上のステージで追跡するステップをさらに含み、
前記１つ以上のステージはアイドルステージ、追跡前ステージ、追跡ステージ、および追跡中止ステージを含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に車両検出に関し、さらに詳しくは夜間のような低光状態での車両検出システムに関する。
【背景技術】
【０００２】
先進運転者支援解決策は日に日に市場を獲得している。前方衝突警報は、ホスト車両が先行対象車両と衝突しそうなときに運転者に警報するアプリケーションの１つである。ビジョンアプリケーションは昼間および夜間に先行車両を検出し、算出された衝突までの時間に基づいて警報を発生する。前方衝突警報システムおよび他のビジョンベースの車載アプリケーションは、昼間および夜間の状態で車両を検出するのに異なるアルゴリズムを使用する。
【０００３】
しかし、既存の車両検出システムはあまり効率的ではなく、不便であり、かつ高コストである。効率的で経済的なビジョンベースの夜間車両検出用の方法およびシステムが求められている。様々な実時間シナリオで低光状態で車両のロバスト検出をもたらし、かつ疑似物体の排除も行うシステムが求められている。
【０００４】
田舎条件（暗い）および都市条件（明るい）をはじめとする広範囲の可視性条件下で、従来の視覚処理システムは不十分である。加えて、車両検出の類は、以下を含む多数の理由から特に難題である。
・様々な位置および形状の車両用灯具を持つ多種多様な車両。
・車両の灯火は一様でない。例えば破損したライト、点灯しているサイドライト。
・ライトを点灯していない車両。
・非常に多くの周囲雑光がある都市状態における車両検出。
・二輪車および距離推定。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、夜間に路上の１台以上の車両を検出するための車両検出システムが求められている。街路、交通コーン、および雑光源のような車両用灯具の形状によく似ている疑似物体を識別して除去することができ、こうして高レベルの精度を達成する、ロバストシステムが求められている。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、車両検出システムを記載する。車両検出システムは、動的に変化する関心領域（ＲＯＩ）における１つ以上の光景の状態を識別するために高露光画像および低露光画像の１つを受信するように構成された光景（シーン）認識モジュールと、動的に変化する関心領域（ＲＯＩ）における道路のカーブ、勾配、および消失点の少なくとも１つを決定するために高露光および低露光画像の１つを受信するように構成された道路地形推定モジュールと、光景認識モジュールおよび道路地形モジュールと連結され、路上の１台以上の車両を検出するように構成された車両検出モジュールとを含む。
【０００７】
本発明の別の実施形態は、車両検出システムによって１台以上の車両を検出するための方法を記載する。方法は、光景認識モジュールおよび道路地形推定モジュールの少なくとも１つによって高露光画像および低露光画像の１つを受信するステップと、動的に変化する関心領域（ＲＯＩ）における１つ以上の画像光景の状態を光景認識モジュールによって識別するステップと、動的に変化する関心領域（ＲＯＩ）における道路のカーブ、勾配、および消失点の少なくとも１つを決定するステップと、動的に変化する関心領域（ＲＯＩ）で１台以上の車両を検出するために１つ以上の画像を処理するステップとを含む。
【０００８】
動的に変化する関心領域（ＲＯＩ）で１台以上の車両を検出するために１つ以上の画像を処理するステップは、セグメント化モジュールを介して推定光源を得ること、フィルタリングモジュールによってノイズおよび不要情報を除去すること、フィルタリングされた画像で１つ以上のブロブを識別すること、識別された各ブロブの特性を決定すること、少なくとも１つのペアリング論理を用いて動的に変化するＲＯＩで識別された１つ以上のブロブから１つ以上の物体を識別すること、および識別された１対以上のブロブの妥当性確認および検証を行うことを含む。
【０００９】
一実施形態では、識別された２対以上のブロブのうちの識別された１つ以上のブロブは、２対の識別されたブロブの列の重なりが非常に高いか非常に低いかのどちらかである場合、同一ブロブを共有する２対の識別されたブロブから、より小さい幅を有する１対の識別されたブロブを除去すること、２対の識別されたブロブの列の重なりが非常に高いものでも非常に低いものでもなく、かつ中間ブロブが対称的に位置していない場合、同一ブロブを共有する２対の識別されたブロブから、より大きい幅を有する１対の識別されたブロブを除去すること、２対の識別されたブロブが列の重なりを有し、行の重なりを持たない場合、別の１対の識別されたブロブより小さい幅および高さを有する１対の識別されたブロブを除去すること、別の１対の識別されたブロブより低い強度、高さ、および広い幅を有する１対の識別されたブロブを除去すること、２対の識別されたブロブが同等の幅および高さを有し、かつ非常に高い列の重なりを有する場合、別の１対の識別されたブロブより低い強度を有する１対の識別されたブロブを除去すること、２対の識別されたブロブが列および行の重なりを有し、かつ非対称的である場合、別の１対の識別されたブロブより大きい幅を有する１対の識別されたブロブを除去すること、２対の識別されたブロブが列を有し、かつ対称的である場合、別の１対の識別されたブロブより小さい幅を有する１対の識別されたブロブを除去すること、２対の識別されたブロブが非常に少ない列の重なりを有する場合、別の１対の識別されたブロブ内に位置する１対の識別されたブロブを除去すること、および２対の識別されたブロブが非常に少ない列の重なりを有する場合、別の１対の識別されたブロブより下に位置する１対の識別されたブロブを除去することを含む、少なくとも１つの方法ステップを実行することによって検証される。
【００１０】
本発明の上述した態様および他の特徴について、以下の記載で、添付の図面に関連して説明する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る車両検出システムのブロック図を示す。
【図２】本発明の一実施形態に係る車両検出システムのブロック図を示す。
【図３】本発明の例示的実施形態に係る、動的に変化するＲＯＩにおける車両の取込み画像を示す。
【図４】本発明の実施形態に係る光景認識モジュールおよび道路地形推定モジュールに交互に提供される入力フレームを示す。
【図５】本発明の例示的実施形態に係る、動的に変化するＲＯＩの取込み画像を示す。
【図６】本発明の実施形態に係る道路地形推定モジュールのブロック図を示す。
【図７】本発明の例示的実施形態に係る、道路の勾配およびカーブに関連して変化する動的変化ＲＯＩを示す。
【図８】本発明の例示的実施形態に係るセグメント化のための取込み画像を示す。
【図９】本発明の実施形態に係るセグメント化実行後に導出された出力画像を示す。
【図１０】本発明の例示的実施形態に従って色相画像セグメント化を実行するための３×３のマトリックスを示す。
【図１１】本発明の例示的実施形態に従ってセグメント化された画像にフィルタリングを実行した後の出力画像を示す。
【図１２】本発明の例示的実施形態に係る２つの併合ブロブの分離を示す。
【図１３】本発明の例示的実施形態に従って各ブロブに異なるラベルが割り当てられた画像を示す。
【図１４】本発明の実施形態に従ってダークフレームおよびブライトフレームからブロブの最終リストを作製するプロセスのフローチャートを示す。
【図１５】本発明の例示的実施形態に従って、ヘッドライト、テールライト、またはいずれかの他のライトを識別するためにブロブが分類される画像を示す。
【図１６】本発明の例示的実施形態に従ってブロブが併合ブロブとして分類される画像を示す。
【図１７】本発明の実施形態に従ってペアリング論理に基づいて有効な対を識別するプロセスを示す。
【図１８（ａ）−（ｌ）】本発明の実施形態に従ってブロブの妥当性確認および検証を実行する方法を示す。
【図１９】本発明の例示的実施形態に従って妥当性確認および検証が実行される前と後のブロブ対を持つ画像を示す。
【図２０】本発明の例示的実施形態に従って併合された光／ブロブを示す。
【図２１】本発明の実施形態に従って二輪車を検出するために動的に変化するＲＯＩで有効なブロブを識別する方法を示す。
【図２２】本発明の実施形態に係る追跡モジュール状態機械サイクルを示す。
【図２３】本発明に係る距離推定モジュールによって検出された車両とホスト車両との間の距離を推定する実施形態を示す。
【図２４】本発明の例示的実施形態に従って推定された距離を持つ検出された車両を示す。
【図２５】本発明の実施形態に係る車両検出システムによって１台以上の車両を検出する方法のフローチャートを示す。
【発明を実施するための形態】
【００１２】
本発明の実施形態について、これより添付の図面を参照しながら詳述する。しかし、本発明は本実施形態に限定されない。本発明の装置の様々な要素のサイズ、形状、位置、数、および構成は単なる例示であって、当業者には本発明の範囲を逸脱することなく様々な変形が可能である。したがって、本発明の実施形態は、本発明の技術分野の通常の熟練者に対し本発明をより明確に説明するために提供するだけである。添付の図面では、同様の参照番号は同様の構成部品を示すために使用される。
【００１３】
本明細書では、幾つかの個所で「実施形態（ａｎ  ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」、または「一部の実施形態（ｓｏｍｅ  ｅｍｂｏｄｉｍｅｎｔｓ）」に言及することがある。これは必ずしも、各々のそのような言及が同じ実施形態を指し示しているとか、あるいは特徴が単一の実施形態のみに適用されることを意味するものではない。異なる実施形態の単一の特徴を組み合わせて、他の実施形態がもたらされることもある。
【００１４】
本書で使用する場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、そうでないことが明示的に記載されない限り、複数形をも含めることを意図している。さらに、用語「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、および／または「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、本書で使用する場合、明記する特徴、整数、ステップ、操作、要素、および／またはコンポーネントの存在を明示するものであって、１つ以上の他の特徴、整数、ステップ、操作、要素、コンポーネント、および／またはそれらの群の存在または追加を除外するものではないことを理解されたい。要素が別の要素に「接続」または「連結」されると言及される場合、それは他の要素に直接的に接続または連結することができ、あるいは介在要素が存在してもよいことを理解されたい。さらに、本書で使用する場合、「接続される」または「連結される」とは、作動的に接続または連結されることを含むことがある。本書で使用する場合、用語「および／または」は、関連する列挙項目のうちの１つ以上の項目のありとあらゆる組合せおよび構成を含む。
【００１５】
特に別途定義しない限り、本書で使用する全ての用語（科学技術用語を含めて）は、本開示が関係する技術分野の通常の熟練者によって一般的に理解されているのと同じ意味を有する。さらに、一般的に使用される辞書に定義されているような用語は、関連技術の文脈におけるそれらの意味と一貫性のある意味を有するものと解釈すべきであり、本書で明示的にそのように定義されない限り理想化された意味または過度に形式的な意味に解釈されないことを理解されたい。
【００１６】
本発明は、車両検出システムおよび夜間に発生する低光状態で車両を検出する方法を記載する。車両の検出は、前方衝突警報システム、動的ハイビーム支援、インテリジェントヘッドライト制御システム等のような多数の用途に必要である。システムは、主要な特徴としてテールライトのような車両用灯具を用いて、夜間に車両を検出する。システムは、様々な分類子を用いて車両のロバスト検出を達成し、疑似物体を識別して排除する。
【００１７】
図１は、本発明の実施形態に係る車両検出システムのブロック図を示す。車両検出システム１００は光景認識モジュール１０１、道路地形推定モジュール１０２、および車両検出モジュール１０３を備える。光景認識モジュール１０１は動的に変化する関心領域（ＲＯＩ）で１つ以上の光景／画像の状態を識別するために、高露光画像および低露光画像の１つを受信するように構成される。光景認識モジュールは動的に変化する関心領域（ＲＯＩ）における飽和画素、明るさ、および領域変化を決定する。道路地形推定モジュール１０２は、動的に変化する関心領域（ＲＯＩ）における道路のカーブ、勾配、および消失点のような道路の１つ以上の特徴を決定するために、高露光画像または低露光画像のいずれかを受信するように構成される。一実施形態では、道路地形推定モジュールは、動的に変化する関心領域（ＲＯＩ）における１つ以上の光景／画像の状態を受信するために光景認識モジュールに連結される。車両検出モジュール１０３は光景認識モジュール１０１および道路地形推定モジュール１０２と連結され、夜間に路上でホスト車両の前方にある先行車両または対向車両と呼ばれる１台以上の車両を検出するように構成される。ここで、システムは高速道路および都市の道路で夜間の状態で作動する。システムは、車両検出のための主要な特徴として、車両の分類子と共に車両のライトを使用する。
【００１８】
動的に変化するＲＯＩにおける画像は、それ（例えば高露光および低露光／異なる利得／露光を持つチャネル）をシステム１００に提供するために、画像取込みユニットによって取り込まれる。画像取込みユニットは車載カメラとすることができる。次いで入力画像はグレー画像および色相画像に変換され、システム１００に入力として提供される。システム１００は関心領域（ＲＯＩ）に対し作動する。光景認識モジュール１０１は昼間対夜間、夜間のダーク対ブライト、霧、および雨のような光景状態を識別する。道路地形推定モジュール１０２はカーブ、勾配等のような道路シナリオを識別する。一実施形態では、動的ＲＯＩは道路のカーブおよび勾配の変化に関連して変化するＲＯＩである。道路地形推定モジュール１０２および光景認識モジュール１０１は、フレームの高露光／利得およびフレームの低露光／利得の交互の組を受信して処理する。システム１００は、車両検出モジュール１０３によって処理された出力信号を提供するために、電子制御ユニット１０４に接続される。電子制御ユニット１０４は、車両のユーザまたは運転者に表示または警告するために受信した信号を処理する。
【００１９】
一実施形態では、動的に変化するＲＯＩは、以下のパラメータに基づいて道路地形推定モジュール１０２によって算出される。
・飽和画素
・明るさ
・領域変化
・色
【００２０】
一実施形態では、動的に変化する領域の光景／画像は、ＲＯＩ全体に広がる上記パラメータが高い場合には、ブライトと分類される。
【００２１】
図２は、本発明の一実施形態に係る車両検出システムのブロック図を示す。車両検出モジュール１０３は画像セグメント化モジュール２０１、フィルタリングモジュール２０２、ブロブ識別モジュール２０３、物体識別モジュール２０４、対妥当性確認および検証モジュール２０５、追跡モジュール２０７、および距離推定モジュール２０８を備える。車両検出モジュール１０３はさらに二輪車識別モジュール２０６を備える。
【００２２】
画像セグメント化モジュール２０１は、二値画像データを提供するために光景認識モジュール１０１または道路地形推定モジュール１０２のいずれかから入力データを受信するように構成される。二値画像データはテールライト、ヘッドライト、ノイズ、および不要情報を含む。
【００２３】
フィルタリングモジュール２０２は画像セグメント化モジュール２０１に連結され、非常に小さい物体、偽陽性、および同様の他の情報であるノイズおよび不要情報を除去するように構成される。
【００２４】
ブロブ識別モジュール２０３はフィルタリングモジュール２０２に連結され、フィルタリングされた画像で１つ以上のブロブを識別し、その後、各々の識別されたブロブの特性を決定するように構成される。ブロブ識別モジュール２０３は、１つ以上のブロブの各々に一意のラベルを割り当てること、１つ以上のラベル付けされたブロブの各々の特性を決定すること（特性はブロブの原点、幅、高さ、ボックス面積、画素面積、赤色画素の数、アスペクト比、およびブロブのプロファイルを含む）、決定された特性に基づいてダークフレームおよびブライトフレームの１つにおける１つ以上のラベル付けされたブロブの１つ以上の融合を決定すること、および１つ以上のラベル付けされたブロブをヘッドライト、テールライト、併合ライト、および無効ライトの少なくとも１つに分類することを含むステップを実行するように構成される。
【００２５】
物体識別モジュール２０４はブロブ識別モジュール２０３に連結され、１つ以上のペアリング論理に基づいて物体を識別するように構成される。物体識別モジュール２０４は、１つ以上のブロブの水平方向の重なりを決定すること、１つ以上のブロブのアスペクト比を決定すること、１つ以上のブロブの画素面積比を決定すること、１つ以上のブロブの幅比を決定すること、および１つ以上のブロブの画素対ボックス面積比を決定することを含むステップの少なくとも１つを実行するように構成される。
【００２６】
対妥当性確認および検証モジュール２０５は物体識別モジュール２０４に連結され、１対以上の識別されたブロブの妥当性確認および実証を行うように構成される。対妥当性確認および検証モジュール２０５は、１対の識別されたブロブの妥当性を確認すること、光ライトの行の間で１つ以上の識別されたブロブの妥当性を確認すること、２対以上の識別されたブロブの間で１つ以上の識別されたブロブを検証すること、および１つ以上の併合ブロブを識別することによって併合ライトの妥当性を確認することを含む、１つ以上のステップを実行するように構成される。識別されたブロブの対は、対の幅およびアスペクト比を決定すること、対間における不対ブロブの数を決定すること、および対ブロブ面積および不対ブロブ面積を対幅の百分率で決定することを含むステップを実行することによって妥当性が確認される。
【００２７】
一実施形態では、１つ以上の識別されたブロブは、ＲＯＩにおけるライトの行に線当てはめアルゴリズムを実行することを含むステップを実行することによって、ＲＯＩにおけるライトの行の間で妥当性が確認される。
【００２８】
追跡モジュール２０７は対妥当性確認および検証モジュール２０５に連結され、１つ以上のステージで妥当性確認および検証が行われた１対以上のブロブを追跡するように構成される。１つ以上のステージは、アイドルステージ、追跡前ステージ、追跡ステージ、および追跡中止ステージを含む。
【００２９】
二輪車識別モジュール２０６は、ブロブ識別モジュール２０３ならびに対妥当性確認および検証モジュール２０５から受信した１つ以上のブロブ情報に基づいて、ＲＯＩで識別された物体を二輪車と判定するように構成される。１つ以上のブロブ情報は、ブロブ識別モジュールでヘッドライトまたはテールライトのいずれかと分類され、かつ近距離で乗り手形状プロファイル分類子を通過したブロブを含む。一実施形態では、ブロブ識別モジュール２０３は二輪車を決定するために関心領域（ＲＯＩ）で単一のブロブを識別する。
【００３０】
追跡モジュール２０７は対妥当性確認および検証モジュール２０５ならびに二輪車識別モジュール２０６に連結され、妥当性確認および検証が行われた１対以上のブロブを１つ以上のステージで追跡するように構成される。１つ以上のステージは、アイドルステージ、追跡前ステージ、追跡ステージ、および／または追跡中止ステージを含む。
【００３１】
距離推定モジュール２０８は、検出された車両のサイズの物理的幅とレンズの焦点距離の積と、画像における検出された車両の幅とカメラ用の画素からメートルへの換算率との積の比に基づいて、１台以上の検出された車両とホスト車両との間の距離を算出するように構成される。
【００３２】
図３は、本発明の例示的実施形態に係る、動的に変化するＲＯＩにおける車両の取込み画像を示す。システムは、車両を検出しかつ分類するための主要な特徴として、車両のライトを使用する。車両の予め定められた位置に取り付けられた画像取込みユニットは画像を取り込み、取り込まれた画像をシステム１００に提供する。システム１００は高露光画像（図３ａに示す）および低露光画像（図３ｂに示す）を使用する。画像取込みユニットは取り込まれた画像を、高露光／利得および低露光／利得を含む入力フレームとして提供する。入力フレームは、図４に示す通り、光景認識モジュールおよび道路地形推定モジュールに交互に提供される。
【００３３】
図５は、例示的実施形態に係る取込み画像を示す。画像は画像取込みユニットによって取り込まれ、光景認識モジュールに提供される。光景認識モジュール１０１は受信した画像を処理し、ＲＯＩ全体の飽和画素、明るさ、色、および領域変化のようなパラメータが高い場合には、画像／光景をブライト／ダーク／霧／雨として分類する。時間およびヒステリシスを超えて蓄積された画像／光景の分類は、分類の変更を決定するために追加される。
【００３４】
図６は、本発明の実施形態に係る道路地形推定モジュール１０２のブロック図を示す。この実施形態では、道路地形推定モジュール１０２は、決定されたＲＯＩに対する推定消失点を算出する。画像におけるＲＯＩ（関心領域）は、上空領域が無くユーザが潜在的車両‐前方道路光景を探す領域である。道路地形推定モジュール１０２は、オフセット推定、消失点推定、ピッチ推定、光景認識、および車両外因性パラメータのような入力を受信して、道路の消失点を決定／推定する。動的ＲＯＩは、図７（ａ）および図７（ｂ）に示す通り、道路の勾配およびカーブに関連して変化するＲＯＩである。
【００３５】
カーブを推定する場合、道路地形推定モジュール１０２は、前方の曲率を推定するためにホスト車両のヨーレートおよび速度を使用する。
【００３６】
勾配を推定する場合、車両検出システムは前方の勾配を識別するために、以下のキューを使用する。
・連続フレーム間のオフセットを識別するマッチング／登録に基づく追跡
・ＬＤＷＳ（車線逸脱警報システム）からの入力
・特徴追跡モジュールからのピッチ推定
・昼間または夜間等のような光景認識出力
・ヨーレート、速度等のような車両外因性パラメータ
【００３７】
以下は、動的ＲＯＩを使用する利点である。
・カーブ路上で車両を検出することができる
・偽陽性が低減される
・不必要な処理を回避することができ、それによってシステムの性能が向上する
【００３８】
［画像のセグメント化］
図８は、本発明の例示的実施形態に係るセグメント化のための取込み画像を示す。この実施形態では、入力された低露光／利得画像および高露光／利得画像に示されるライトは、スライディングウィンドウに基づく二重閾値法を用いてセグメント化される。一次元固定／可変長ローカルウィンドウの閾値は、ウィンドウの画素値の平均ならびに予め定められた最小値および最大値から算出される。予め定められた最小値は、画像の明るさに基づいて調整することができる。より明るい状態の場合、閾値の最小値はさらに上昇する一方、より暗い状態の場合、閾値は予め定められた値まで移動する。固定ウィンドウまたは可変サイズのウィンドウのいずれかが、ＲＯＩにおける閾値を算出するために使用される。画像における画素の値は、閾値に基づいて変更される。例えば７つのセグメント化された画像は、予め定められた最小値および最大値を変化させることによって算出された７つの異なる閾値により形成される。セグメント化の出力は、図９に示す通り二値画像である。
【００３９】
色相画像をセグメント化する場合、色相画像およびセグメント化された入力画像（グレースケール画像を用いて得られる）が入力とみなされる。色相画像の色情報に基づいて、領域のサイズはセグメント化されたライト領域の周りで増大される。セグメント化されたライト画素の周りの画素値の決定は、低ライト状態または遠い領域のテールライトのサイズが増大するように、８つの隣接する赤色の色相閾値に基づいて決定される。例えば、図１０に示すように３×３のマトリックスでは、中間画素の値は、セグメント化された画素（すなわち「１」）および色相画像に基づいて決定される。色相画像はテールライト状態に対し赤色の色相を有するはずである。二重レベルの適応セグメント化画像および色画像を処理して、最終セグメント化画像を導出する。
【００４０】
［フィルタリング］
図９に示すセグメント化された二値画像は、テールライト、ノイズ、および不要情報から成る。ノイズおよび不要情報はフィルタリングを用いて除去される。フィルタリングは、モルフォロジー演算または中央値フィルタリングを用いて行うことができる。収縮および拡張のようなモルフォロジー演算は、３×３未満のサイズのブロブを除去するように、サイズ３の構造要素と共に使用される。中央値フィルタリングは、２×３未満および３×２未満のサイズのブロブを除去するように設計されている。光景に基づいて、より明るい光景の収縮のため、およびより暗い光景の中央値フィルタリングのために、フィルタリングはセグメント化された画像に適用される。フィルタリングは、光景に基づいて全ての異なる閾値セグメント化画像に実行される。フィルタリングモジュールの出力は、図１１に示すようにフィルタリングされた画像である。フィルタリングされた画像から、際立ったセグメント化画素群（ブロブ）が識別される。
【００４１】
［併合されたブロブの分離］
システム１００はさらに、フィルタリングされた画像における２つの併合されたブロブ、すなわち２つのテール／ヘッドライト、テール／ヘッドライトと他のライト、テール／ヘッドライトと反射等を分離するサブモジュールを備える。システム１００は、３×３のカーネルによる２レベルの収縮をセグメント化画像に適用して、２つの併合されたブロブを決定し、分離する。２つの併合されたブロブを図１２に示すように分離するために、フィルタリングされた画像に以下のプロセスが実行される。
‐フィルタリングされた画像が１つのブロブを有する一方、２つのレベルの収縮画像が同じ位置に２つのブロブを有する場合、フィルタリングされた画像で、２つのブロブを真ん中に置いて重なり領域に対して直角に切断することにより、ブロブを分断する。
‐フィルタリングされた画像が１つのブロブを有する一方、２つのレベルの収縮された画像が同じ位置にブロブを持たないか、あるいは１つのブロブを有する場合、フィルタリングされた画像のブロブを維持する。
‐フィルタリングされた画像が１つのブロブを有する一方、２つのレベルの収縮画像が同じ位置に３つ以上のブロブを有する場合、変化を回避する。
【００４２】
［ブロブの識別］
ブロブ識別モジュール２０３は、フィルタリングされた画像における異なるタイプのブロブを識別し、かつそれらの特性をも算出する。ブロブを識別するために、以下のステップが実行される。
・ブロブのラベル付け
・ブロブの特性算出
・ブロブの融合
・ブロブの分類
【００４３】
［ブロブのラベル付け］
図１３は、本発明の例示的実施形態に従って各ブロブに異なるラベルが割り当てられた画像を示す。ラベル付けのために、４連結性法が使用され、そこでは画素群が４連結性法を介して接続される場合、その画素群には同一ラベルが割り当てられる。各ブロブにラベルを割り当てた後、開始行、終了行、開始列、終了行、割り当てられたラベル、および画素面積のような情報がアレイに格納される。
【００４４】
［ブロブの特性］
各ブロブにラベルを割り当てた後、以下の特性が算出される。
・ブロブ原点：ブロブがダークフレームまたはブライトフレームに由来することを示す。
・幅；最終列と開始列との間の差を含む。
・高さ：最終行と開始行との間の差を含む。
・ボックス面積：幅と高さの乗算である（すなわち幅×高さ）。
・画素面積：ボックス内の白色画素の総数を含む。
・赤色の画素数：色相値に基づく赤色の総画素数を含む。
・アスペクト比：最小（幅、高さ）／最大（幅、高さ）を含む。
・ブロブのプロファイル：ブロブの形状を含む。
【００４５】
［ブロブの融合］
図１４は、本発明の実施形態に従って、ダークフレームおよびブライトフレームからブロブの最終リストを作製するプロセスのフローチャートを示す。ステップ１４０１で、ブロブの重なりを決定するために、低露光／利得フレームブロブおよび高露光／利得フレームブロブが受信される。重なりが存在しない場合、ステップ１４０２で、高露光／利得フレームブロブは、ブロブが潜在的なテールライトであるか検査される。重なりが存在しない場合、ステップ１４０２で、低露光／利得フレームブロブをブロブリストに含めることが許可される。低露光／利得フレームブロブは反射画像のため発生することがある。ステップ１４０２で高露光／利得フレームブロブが潜在的テールライトでない場合、ステップ１４０４でブロブは拒絶される。ステップ１４０２で高露光／利得フレームブロブが潜在的テールライトである場合、ステップ１４０５で、高露光／利得フレームブロブをブロブリストに含めることが許可される。ステップ１４０１でブロブの重なりが存在する場合、ステップ１４０６で低露光／利得フレームブロブをブロブリストに含めることが許可される。ステップ１４０７で最終ブロブリストが作成される。
【００４６】
以下の判断基準に基づいて、ブロブリストが作成される：
・ブロブは推定水平領域に存在するはずである。
・ブロブはその下に他の重なりブロブを持たないはずである。
・その隣接ブロブ間に同一強度の領域を持たないはずである。
・水平ＲＯＩは、ブライトフレームから潜在的な候補を識別するために、全幅の３５〜６５％から画定される。
・ブライトフレームから主として対を成すブロブが合格する。併合ブロブ（ハイビーム／ロービーム）である場合、それはダークフレームを介して合格する。２つのブロブ間の水平方向の重なりのペアリングの場合。連続フレームの移動のため、重なり閾値は非常に低いとみなされる。
・ブライトフレームにおける大きいブロブがダークフレームでは２つ以上のブロブを有する場合、ダークフレームからのブロブを考慮する。
【００４７】
［ブロブの分類］
図１５は、本発明の例示的実施形態に従ってブロブがヘッドライト、テールライト、またはいずれかの他のライトを識別するために分類される画像を示す。ひとたびブロブの最終リストが作成されると、ブロブはヘッドライト、テールライト、併合ライト、および他のライトの間で分類される。ブロブの赤色スコア（赤色画素の数）が予め定められた閾値より大きい場合、ブロブはテールライトである。青色を用いるテールライトの分類は図１５（ａ）に示す。ブロブは以下の判定基準に基づいてヘッドライトと分類される。
ａ）ブロブは、反射のため、その下に何らかのブロブを有する。かつ／または、
ｂ）ブロブ間に水平方向の重なりが存在し、また両方のブロブの高さの比が車両の最大幅の半分に満たない場合。かつ／または
ｃ）ブロブは最小値を有し、ブロブの周りに２つの最大値を有する。最小値と最大値のパターンは、特定ブロブの垂直プロファイリングを使用することによって決定される。
【００４８】
テールライトおよびヘッドライトの分類後に、赤色スコアが低く、サイズが小さい全てのヘッドライトは、それらに無効ブロブのラベル付けを行うことによって、リストから除去される。さらに、いずれかのブロブがその下に２つ以上のブロブを有する場合、それも無効ブロブとしてラベル付けされる。
【００４９】
上記ブロブを併合ブロブと分類するために、１０１および１１１のようなパターンが検査される。０は最小値位置に対応し、１は最大値位置を表す。パターンを決定するために、ブロブは３つの部分に分割され、フィルタリングされた画像を使用して、各部分に対して最小値位置および最大値位置が決定される。これらの値を用いて、１０１パターンを検査するために中心部分対左右部分の比が決定される。１１１パターンの場合、左右部分対中心部分の比が決定される。
【００５０】
一実施形態では、ブロブ識別モジュール２０３は、二輪車を決定するために、関心領域（ＲＯＩ）における単一ブロブを識別する。
【００５１】
図１６は、本発明の例示的実施形態に従ってブロブが併合ブロブとして分類される画像を示す。ブロブが併合として分類され、かつそのサイズが小さい場合、ブロブはそれぞれテールライトまたはヘッドライトとしての以前のその分類に基づいて、テールライトまたはロービームライトのいずれかとみなされる。
【００５２】
［ペアリング論理］
図１７は、本発明の実施形態に従ってペアリング論理に基づいて有効な対を識別するためのプロセスを示す。システム１００はさらに、ヒューリスティックをベースにする手法に従ってブロブから１対のテールライトを決定するペアリング論理モジュールを備える。ペアリングのプロセスは以下に記載する判定基準に基づいて実行される。
１．ブロブの水平方向の重なりが無いか、検査が実行される。
２．ブロブのアスペクト比について検査が実行される。
３．ブロブの画素面積比について検査が実行される。
４．ブロブの幅比について検査が実行される。
５．ブロブの画素対ボックス面積比について、検査が実行される。
６．大きいブロブの場合、ブロブの形状を照合するように検査が実行される。ブロブの形状は、縮小画像から元のブロブ画像を減算することによって得られる。ここで、縮小はサイズ３の構造要素を用いて行われる。ブロブの形状を検査するために、コサイン類似度が使用される。
【００５３】
コサイン類似度：ブロブのベクトル間の類似度を測定する。
コサイン類似度＝Ａ．Ｂ／｜｜Ａ｜｜  ｜｜Ｂ｜｜
式中、
｜｜Ａ｜｜  ベクトルＡの大きさ
｜｜Ｂ｜｜  ベクトルＢの大きさ
【００５４】
最終信頼度スコアは、上記検査から得られた重み付きスコアに基づいて算出される。ペアリングは、閾値より上のスコアを持つスコアマトリックスに従って実行される。ペアリングはごく基本的であり、不均等なテールライト、サイドライトＯＮ、およびわずかに位置がずれブロブのペアリングをも可能にするように、非常に低い閾値を使用する。
【００５５】
上記で決定された対は、動的ＲＯＩに基づいて車両幅検査を受ける。この論理全体の中心は、システムの初期化時に事前計算されロードされた動的三角形である（ＲＯＩはカメラおよび車両パラメータに従って更新し続ける）。
【００５６】
対のセントロイド行幅は、図１７（ａ）に示すように、最小三角形と最大三角形（動的ＲＯＩ）の行幅の間に存在するはずである。ペアリング論理の出力（図１７（ｂ）に示す通り）は、推定車両を表す対である。
【００５７】
［対の妥当性確認および検証（Ｖ＆Ｖ）］
対妥当性確認および検証モジュール２０５は対および併合ブロブの妥当性確認および検証を行う。モジュール２０５への入力は、図１９（ａ）に示す通り全ての推定対である。このモジュール２０５は、対妥当性確認モジュールおよび併合ライト妥当性確認モジュールを含む２つのサブモジュールに分割される。
【００５８】
［対の妥当性確認］
図１８は、本発明の実施形態に従ってブロブの妥当性を確認し検証する方法を示す。対の妥当性確認は個々の対、ライトの列間の対、および対間の対に対して実行される。
【００５９】
［単一対の検証］
図１８（ａ）は、実施形態に係るブロブの単一対の妥当性確認の方法を示す。ブロブの単一対の妥当性を確認するために、以下の条件を満たす必要がある。
１．対の幅およびアスペクト比
２．対間の不対ブロブ数
３．対の幅の百分率としての対ブロブおよび不対ブロブの面積
【００６０】
［ライトの列間の対の妥当性確認］
一実施形態では、反射体または街路灯のようなライトの行のシナリオに対して、１対のブロブの妥当性確認を行う必要がある。大抵の場合、反射体または街路灯は一列に並んでいる。ライトの行全体にわたって線当てはめアルゴリズムを検査する。ライトの行が直線状であり、連続ブロブの対間の複比が同一である場合、これらのライトで形成される対は有効でない。
【００６１】
［対間の妥当性確認］
図１８（ｂ）ないし図１８（ｊ）は、実施形態に係るブロブの対検証の方法を示す。ＲＯＩにおける２対のブロブから実際のブロブ対を決定するために、以下の規則が適用される：
１．２対が同一ブロブを共有しており、列の重なりが非常に高いかまたは非常に低い場合、図１８（ｂ）および（ｃ）に示す通り、より小さい幅の対を除去する。
２．２対が同一ブロブを共有しており、列の重なりが非常に高かったり低くはなく、かつ中間ブロブが対称的に位置していない場合、図１８（ｄ）および（ｅ）に示す通り、より大きい幅を持つ対を除去する。
３．２対が列の重なりを有し、行の重なりを持たず、下の対の幅および高さが上の対より小さい場合、下の対を除去し、下の対の高さおよび強度が上の対より大きく、かつ幅が上の対より低い場合、上の対を除去し、列の重なりが非常に高く、かつ幅および高さが同一である場合、図１８（ｆ）、（ｇ）、および（ｈ）に示す通り、強度がより低い方の対を除去する。
４．２対が列および行の重なりを有しており、かつ非対称的である場合、幅がより大きい方の対を除去し、列の重なりに良好な対称性が存在する場合、図１８（ｉ）および（ｊ）に示す通り、幅がより小さい方の対を除去する
５．２対の列の重なりが非常に小さく、かつ１対が他方の対の内側に存在する場合、図１８（ｋ）に示す通り、内側の対を除去する。
６．２対の列の重なりが非常に小さく、かつ１対が他方の対の下に位置する場合、図１８（ｌ）に示す通り、下の対を除去する。
【００６２】
図１９は、本発明の例示的実施形態に従って妥当性確認および検証が行われる前と後のブロブの対を含む画像を示す。図１９（ａ）は、妥当性確認および検証が行われる前の４対の識別されたブロブを示し、図１９（ｂ）は、図１８に記載した方法に基づいて検査を実行した後の３対の有効かつ検証済みのブロブを示す。図１９の対の妥当性確認後に、四輪車の判定基準を満たしている対はトラッカーに渡され、残りの対は除去される。
【００６３】
［併合ライトの妥当性確認］
図２０は、本発明の例示的実施形態に係る併合ライト／ブロブを示す。一実施形態では、併合ライトは遠距離の車両のヘッドライトであり、妥当性を確認する必要がある。併合ライトの妥当性を確認するために、以下の判定基準が考慮される：
１．併合ライトが先行する四輪車両のとの垂直方向の重なりをその下に有する場合、それは無効である。
２．併合ライトが対向車両との垂直方向の重なりを有する場合、併合ライトはテールライト、ノイズ、または不要情報と分類され、併合ライトが対向車両の下にある場合、併合ライトは無効である。
３．併合ライトが、形状マッチングのための第１の予め定められた閾値より大きい形状マッチングスコアを有する対との垂直方向の重なりを有し、かつ併合ライトスコアが第２の予め定められた閾値より低い場合。併合ライトが、第１の予め定められた閾値より低い形状マッチングスコアを有する対との垂直方向の重なりを有する場合、併合ライトは無効である。
４．併合ライトが、四輪車先行対との垂直方向の重なりおよび水平方向の重なりを有する場合、併合ライトは無効である。
５．併合ライトが垂直方向の重なりを有し、水平方向の重なりを持たず、形状マッチングスコアが予め定められた閾値より大きく、併合ブロブスコアが予め定められた閾値より低い場合、併合ブロブは無効である。
６．上記の事例でより小さい併合ライトが除去される場合、併合ライトトラッカーにより検査が実行される。併合ライトが垂直方向の重なり、水平方向の重なり、面積比、高さ比を有し、予め定められた閾値の範囲内である場合、併合ブロブは有効である。
【００６４】
［二輪車の検出］
図２１は、本発明の実施形態に従って二輪車を検出するために、動的に変化するＲＯＩにおける有効なブロブを識別する方法を示す。二輪車検出モジュール２０６はブロブ分類情報を使用する。モジュール２０６は先行車両および対向車両を検出する。対を成さず、併合ライトと分類されず、ヘッドライトまたはテールライトのいずれかと分類されるブロブは、推定二輪車とみなされ、二輪車としてのブロブを確認するために、道路の勾配、分類子を介する乗り手のプロファイル、ブロブの動きのような追加検査が実行される。空間における発生の有効性についても検査が行われる。例えば左側通行の対向車のヘッドライトの場合、ホスト車両は右側領域にブロブを有し、右側通行の場合、ブロブは左側領域に存在するはずである。さらに、ブロブは対との垂直方向の重なりを持たないはずである。上記の条件を満たすブロブは二輪車と識別される。図２１は、識別されたブロブが上述した条件に適合せず、したがって無効ブロブとみなされる２つの例を示す。
【００６５】
［トラッカー］
図２２は、本発明の実施形態に係る追跡モジュール状態機械サイクルを示す。追跡モジュール２０７の機能は、アイドル２２０１、追跡前２２０２、追跡２２０３、および追跡中止２２０４から成る４つのステージに分割される。デフォルトでは、追跡モジュール／トラッカーはアイドル状態２２０１である。物体が、四輪車両の場合には対として、二輪車の場合にはブロブとして、妥当性確認されるや否や、新規の追跡が開始され（従前のマッチング作動トラッカーが存在しない場合）、アイドル状態２２０１から追跡前状態２２０２に状態が変化する。追跡前状態２２０２は、対／ブロブの存在を再確認するために適用される。追跡前物体を対／ブロブとして妥当性確認し、それを追跡状態２２０３に移動させるための条件を以下に列記する。対／ブロブとして妥当性確認された追跡前物体は、以下の場合にだけ、追跡状態２２０３に移動する：
・それが「ｎ個」のフレームで優れた信頼度スコアで検出されている。各フレームにおける対／ブロブの信頼度は、ペアリング論理／二輪車検出によって返される検出信頼度から得られる。
・かなりの発生頻度を有する。
・優れた移動スコアを有する（四輪車のみに適用可能）。トラッカーは対の挙動を追跡し続ける。ここで、ブロブはどちらも縦列して移動することが考慮される。反対方向の移動は前方車両に対してのみ認められる。すなわち、車両はホスト車両に向かってくるか、ホスト車両から遠ざかっていくかのどちらかである。
【００６６】
追跡状態２２０３中に、カルマンフィルタを用いて追跡対象物体に対し連続予測および更新が行われる。技術的に公知の他の適切なフィルタを使用することもできる。
【００６７】
追跡対象物体が見つかり、特定のフレームが失われた場合、境界ボックスを表示するためにカルマン予測が使用される。また、同時にトラッカーは追跡状態２２０３から追跡中止状態２２０４に移行する。追跡中止状態２２０４中に、「ｍ個」のフレームに対して物体の妥当性確認が行われる。したがって、追跡中止状態２２０４は、以下を介して、優れたトラッカーの連続性を向上しようとする（それはかなりのフレーム数に対して追跡される）。
・運動束縛状態でリベラルチェックにより大きい面積の探索が行われる
・状態が非常に暗い場合、高利得／高露光フレームにおける探索
・近い車両対の場合、寿命を延ばすように１つのブロブのマッチングが試みられる
・近い二輪車または四輪車の場合、近隣の探索に分類子が使用される
【００６８】
追跡中止状態２２０４の場合、トラッカーを追跡状態２２０３に戻すかそれともアイドル状態２２０１にするか（有効な対でない）を決定するために、「ｍ個」のフレームに対する対信頼度が得られる。
【００６９】
したがって、追跡手順中に、追跡前およびマルチフレーム妥当性検査はスプリアス検出を拒絶する一方、追跡状態および追跡中止状態は、対応する物体の検出ギャップを埋める傾向がある。
【００７０】
追跡前状態における「ｎ個」のフレーム観察時間ウィンドウおよび追跡中止状態における「ｍ個」のフレーム観察時間ウィンドウは変数である。対／ブロブクラス、対／ブロブスコアおよび経時移動、対の幅、点滅対／ブロブ、カーブ／勾配状態のような様々な条件が、トラッカー状態の変更決定を動的にする。
【００７１】
［距離の推定］
図２３は、本発明に係る距離推定モジュール２０８によって、検出された車両とホスト車両との間の距離を推定する実施形態を示す。距離推定モジュール２０８は、検出された車両のサイズの物理的幅とレンズの焦点距離との積と、画像における検出車両の幅とカメラの画素からメートルへの変換係数との積との比率に基づいて、少なくとも１台の検出された車両とホスト車両との間の距離を算出するように構成される。
【００７２】
一実施形態では、距離は射影幾何学を用いて推定される。２つの三角形は、対応するそれらの３対の頂点が共点で交わる線によって結ばれる場合、一点から射影される。
【００７３】
射影法では、検出された車両とホスト車両との間の距離は、以下の式を用いて推定され、それを図２３に図式的に示す。
2017505946.tif 000003
式中、
ｆ：レンズの焦点距離（ｍｍ）
Ｗ：車両サイズの物理的幅（ｍ）
ｗ：画像内の車両の幅（画素）
ｋ：ＣＣＤカメラの画素からメータへの変換係数
Ｄ：標的車両までの距離（ｍ）
【００７４】
図２４は、本発明の例示的実施形態に従って推定距離で最終的に検出された車両を示す。車両検出システム１００は矩形のボックスで示される３台の車両を検出した。
【００７５】
図２５は、本発明の実施形態に係る車両検出システムによって、１台以上の車両を検出する方法を示す。ステップ２５０１で、高露光画像および低露光画像のうちの１つが、光景認識モジュールおよび道路地形推定モジュールの少なくとも１つによって受信される。ステップ２５０２で、１つ以上の光景の状態が光景認識モジュールによって動的に変化する関心領域（ＲＯＩ）で識別される。ステップ２５０３で、道路のカーブ、勾配、および消失点の少なくとも１つが動的に変化する関心領域（ＲＯＩ）で決定される。ステップ２５０４で、ノイズおよび不要情報はフィルタリングモジュールによって除去される。ステップ２５０５で、フィルタリングされた画像で１つ以上のブロブが識別される。ステップ２５０６で、識別された各ブロブの特性が決定される。ステップ２５０７で、動的に変化するＲＯＩで識別された１つ以上のブロブから１つ以上の物体が、少なくとも１つのペアリング論理を用いて識別される。ステップ２５０８で、１対以上の識別されたブロブの妥当性確認および検証が行われる。
【００７６】
システムおよび方法の発明を、添付の図面に示す本発明の実施形態に関連して説明したが、本発明はそれらに限定されない。本発明の範囲および趣旨から逸脱することなく、ブロブ識別、ブロブ分類、ペアリング論理、ならびに対の妥当性確認および検証について、様々な代替、変形、および変化を施すことができることは当業者には明白であろう。
【図３（ａ）】
2017505946.tif 000004
【図３（ｂ）】
2017505946.tif 000005
【図５（ａ）】
2017505946.tif 000006
【図５（ｂ）】
2017505946.tif 000007
【図７（ａ）】
2017505946.tif 000008
【図７（ｂ）】
2017505946.tif 000009
【図８】
2017505946.tif 000010
【図９】
2017505946.tif 000011
【図１１】
2017505946.tif 000012
【図１３】
2017505946.tif 000013
【図１５（ａ）】
2017505946.tif 000014
【図１５（ｂ）】
2017505946.tif 000015
【図１６】
2017505946.tif 000016
【図１９（ａ）】
2017505946.tif 000017
【図１９（ｂ）】
2017505946.tif 000018
【図２０】
2017505946.tif 000019
【図２４】
2017505946.tif 000020
【図１】
2017505946.tif 000021
【図２】
2017505946.tif 000022
【図４】
2017505946.tif 000023
【図６】
2017505946.tif 000024
【図１０】
2017505946.tif 000025
【図１２】
2017505946.tif 000026
【図１４】
2017505946.tif 000027
【図１７】
2017505946.tif 000028
【図１８ａ】
2017505946.tif 000029
【図１８ｂ】
2017505946.tif 000030
【図１８ｃ】
2017505946.tif 000031
【図１８ｄ】
2017505946.tif 000032
【図１８ｅ】
2017505946.tif 000033
【図１８ｆ】
2017505946.tif 000034
【図１８ｇ】
2017505946.tif 000035
【図１８ｈ】
2017505946.tif 000036
【図１８ｉ】
2017505946.tif 000037
【図１８ｊ】
2017505946.tif 000038
【図１８ｋ】
2017505946.tif 000039
【図１８ｌ】
2017505946.tif 000040
【図２１】
2017505946.tif 000041
【図２２】
2017505946.tif 000042
【図２３】
2017505946.tif 000043
【図２５】
2017505946.tif 000044
【国際調査報告】
2017505946.tif 000045
2017505946.tif 000046
2017505946.tif 000047