(57)【要約】      （修正有）【課題】本発明は、画像分析による点滅除去のための装置に関する。【解決手段】装置１００は、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するように構成されているＬＥＤ領域識別器１０と、識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するように構成されている形状構成器２０と、再構成されたＬＥＤ標識の色チェックを遂行するように構成されている色検証器３０と、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されているフレーム再構成器４０と、を備える。【選択図】図６
2018136932.tif 000002
【特許請求の範囲】
【請求項１】
画像分析による点滅除去のための装置（１００）であって、
−画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ標識の一部分を識別するように構成されているＬＥＤ領域識別器（１０）と；
−識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するように構成されている形状構成器（２０）と；
−再構成されたＬＥＤ標識の色チェックを遂行するように構成されている色検証器（３０）と；
−少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されている点滅ＬＥＤ標識フレーム再構成器（４０）を備える、装置（１００）。
【請求項２】
前記ＬＥＤ領域識別器（１０）が、既知の幾何学的形状の領域を識別するように構成されている、請求項１に記載の装置（１００）。
【請求項３】
前記形状構成器（２０）が、テンプレートマッチングに基づき、前記再構成されたＬＥＤ標識について前記形状を算出するように構成されている、請求項１又は２に記載の装置。
【請求項４】
前記色検証器（３０）が、予め定義された色の背景に対して背景色チェックを遂行することにより、前記再構成されたＬＥＤ標識の前記色チェックを遂行するように構成されている、先行する請求項のいずれか一項に記載の装置。
【請求項５】
記フレーム再構成器（４０）が、前記少なくとも１つの開始フレームにおける前記再構成されたＬＥＤ標識の位置を前記少なくとも１つの別のフレームにおける前記再構成されたＬＥＤ標識の位置へと投影することにより、前記少なくとも１つの開始フレームの前記再構成されて検証されたＬＥＤ標識を画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されている、先行する請求項のいずれか一項に記載の装置。
【請求項６】
前記フレーム再構成器（４０）が、前記再構成されて検証されたＬＥＤ標識を連続したフレームにおいて反復して再構成するように構成されている、請求項５に記載の装置。
【請求項７】
画像分析による点滅除去のための方法であって、
−ＬＥＤ領域識別器（１０）を用いて、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するステップ（Ｓ１）と；
−形状構成器（２０）を用いて、前記識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するステップ（Ｓ２）と；
−色検証器（３０）を用いて、前記再構成されたＬＥＤ標識の色チェックを遂行するステップ（Ｓ３）と；
−フレーム再構成器（４０）を用いて、前記少なくとも１つの開始フレームの前記再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するステップ（Ｓ４）を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体及び交通標識認識の分野に関する。特に、本発明は、画像分析による点滅除去のための装置及び方法に関する。
【背景技術】
【０００２】
標識認識プロジェクトは、道路脇にある交通標識を検出し分類することを目的としている。現在、ＬＥＤ交通標識は、部分的にのみ表示されることが多い。ＬＥＤ信号灯は、図１の図面に示すように、実際には回線周波数、例えば５０Ｈｚで点滅している。
【０００３】
こうしたＬＥＤ信号灯をリフレッシュレートが例えば３０Ｈｚのカメラ又は画像センサで撮影すると、両者の間に時刻同期がないため、図１の連続したフレームに示すように、ＬＥＤライトは、点滅、例えば、部分的に又は全体的に点いたり消えたりするように見える。
【０００４】
それ故、不正確な形状が提供されるため、更なる交通標識認識装置ＴＳＲはいずれも機能しない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両用の画像分析による交通標識の点滅除去のための装置及び方法を改善する必要がある。
【課題を解決するための手段】
【０００６】
こうした必要性は、独立請求項の主題によって満たされる。更なる例示的な実施形態は、従属請求項及び以下の記載から明らかとなる。
本発明の態様は、画像分析による点滅除去のための装置に関する。装置は、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するように構成されたＬＥＤ領域識別器を備え、装置は、識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するように構成された形状構成器を更に備え；装置は、再構成されたＬＥＤ標識の色チェックを遂行するように構成された色検証器を更に備え；装置は、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されたフレーム再構成器を更に備える。
【０００７】
画像分析による点滅除去のための本装置は、交通標識認識（ＴＳＲ）モジュールの検出段階を補完するものとして作用することで、ＴＳＲモジュールに非常に良く適合する。
【０００８】
画像分析による点滅除去のための本装置は、第１の段階において、追跡トラッキングと分類を用いて標識を検出するための標識認識モジュールを提供する。
【０００９】
形状検出の遂行と再構成が独立して遂行されるため、本方法は、提案されるＬＥＤ再構成モジュールから得られる再構成された出力を、直接分類段階へと送ることができる。
【００１０】
本発明の更なる第２の態様は、画像分析による点滅除去のための方法に関し、方法は、ＬＥＤ領域識別器を用いて、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するステップと；形状構成器を用いて、識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するステップと；色検証器を用いて、再構成されたＬＥＤ標識の色チェックを遂行するステップと；フレーム再構成器を用いて、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するステップを含む。
【００１１】
本発明の例示的な実施形態によると、ＬＥＤ領域識別器は、矩形の領域を識別すること、及び識別された矩形の領域の色チェックを遂行することにより、ＬＥＤ交通標識の一部分を識別するように構成されている。
【００１２】
本発明の例示的な実施形態によると、色検証器は、黒色に対するチェックを遂行することにより、再構成されたＬＥＤ標識の色チェックを遂行するように構成されている。
【００１３】
本発明の例示的な実施形態によると、形状構成器は、テンプレートマッチングに基づき、再構成されたＬＥＤ標識について形状を算出するように構成されている。
【００１４】
本発明の例示的な実施形態によると、フレーム再構成器は、少なくとも１つの開始フレームにおける再構成されたＬＥＤ標識の位置を少なくとも１つの別のフレームにおける再構成されたＬＥＤ標識の位置へと投影することにより、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されている。
【００１５】
本発明の例示的な実施形態によると、フレーム再構成器は、再構成されて検証されたＬＥＤ標識を、連続したフレームにおいて反復して再構成するように構成されている。
【００１６】
本発明の方法を遂行するコンピュータプログラムは、コンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、フロッピーディスク、ハードディスク、ＣＤ、ＤＶＤ、ＵＳＢ（ユニバーサル・シリアル・バス）記憶装置、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み取り専用メモリ）、又はＥＰＲＯＭ（消去可能プログラマブル読み取り専用メモリ）であってもよい。
【００１７】
コンピュータ可読媒体は、プログラムコードのダウンロードを可能にするデータ通信ネットワーク、例えばインターネットであってもよい。
【００１８】
本明細書に記載する方法、システム、及び装置は、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、又は他の任意のサイドプロセッサ内のソフトウェアとして実施してもよく、特定用途向け集積回路（ＡＳＩＣ）、ＣＰＬＤ、又はＦＰＧＡ内のハードウェア回路として実施してもよい。
【００１９】
本発明は、デジタル電子回路において、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはそれらの組合せにおいて、例えば、従来の医療用撮像装置の利用可能なハードウェアにおいて、又は本明細書に記載する方法を処理することに特化した新しいハードウェアにおいて、実施することができる。
【００２０】
本発明とそれに付随する利点のより完全な真価が、以下の概略図を参照することにより明確に理解される。概略図の縮尺は正確ではない。
【図面の簡単な説明】
【００２１】
【図１】本発明を説明するための、点滅が存在しているときのＬＥＤ信号灯の略図を示し；
【図２】本発明の例示的な実施形態による、提案されるアプローチを示し；
【図３】本発明の例示的な実施形態による、概略的高レベルアーキテクチャチャートの別の略図を示し；
【図４】本発明の例示的な実施形態による、標識認識を用いたアルゴリズム適合性の提案されるアプローチを示し；
【図５】本発明の例示的な実施形態による、例示的カットアウトを示し；
【図６】本発明の例示的な実施形態による、画像分析による点滅除去のための装置の概略図を示し；
【図７】本発明の例示的な実施形態による、画像分析による点滅除去のための方法の別の略図を示す。
【発明を実施するための形態】
【００２２】
図面に示すのは単なる概略であり、相似関係やサイズ情報を提供することを意図したものではない。異なる図面において、類似又は同一の要素には、同じ参照番号が付してある。
【００２３】
一般に、本明細書において同一の部分、ユニット、実在物、又はステップには、同じ参照符号が付してある。
【００２４】
図１は、は、本発明を説明するための、点滅が存在しているときのＬＥＤ信号灯の略図を示す。
【００２５】
図２は、本発明の例示的な実施形態による、提案されるアプローチを示す。
【００２６】
図２は、提案される方法の概略を示し、図２の左側には、フレームにおいて視認可能な交通標識の一部分を示してある。全てのフレームにおいて標識の同じ部分が視認可能なわけではないことを理解することが大切である。従って、様々な蓄積されたフレームは標識の視認可能な部分がそれぞれ異なっている。
【００２７】
図３は、本発明の例示的な実施形態による、概略的高レベルアーキテクチャチャート別の略図を示す。
【００２８】
図３は、提案されるシステム及び標識認識モジュールを示し、本方法が、交通標識認識（ＴＳＲ）モジュールの検出段階を補完するものとして作用することで、ＳＲモジュールに非常に良く適合することを示している。
【００２９】
従来のいずれの標識認識モジュールにおいても、第１の段階は、追跡トラッキング及び分類によって標識を検出することである。提案されるシステム及び標識認識モジュールは、形状検出と再構成を遂行するため、提案されるＬＥＤ再構成モジュールから得られる再構成された出力は、直接分類段階へと送ることができる。
【００３０】
図３は、提案される解決策の高レベルの概念を示す。我々が提案するシステムは、点滅しているＬＥＤ領域の蓄積されたカットアウト（カットアウトは、おそらくは交通標識である画像の切り取られた領域と定義される）を受け取り、それを再構成することにより、擬似的な全体ＬＥＤ領域を生成する。
【００３１】
図３において注目すべきは、蓄積されたカットアウトは、様々なフレームに亘って重なり合わない形状を呈する。図２は、同じ形状が全フレームにおいて再び現れるものと理解すべきではない。
【００３２】
アルゴリズムが図３に示されている。ここでの問題は、点滅しているＬＥＤ標識を再構成することであり、従って、我々のアルゴリズムは、いずれかの画像フレームにおいて潜在的なＬＥＤ領域を見つけることから始まる。ＬＥＤのカットアウトは、矩形（ほとんどのＬＥＤ標識は、背景が黒である）を見つけ、次いで、それに対して色チェックを遂行することにより、任意の画像フレームにおいて検出することができる。
【００３３】
ＬＥＤ領域が見つかったら、形状確率、即ち、それが円、三角形などであるか否かの確率を計算する。かかる操作は、テンプレートマッチングアプローチを使用することにより達成することができる。
【００３４】
ただし、誤検出を減らすため、計算された形状に対応する色チェックを遂行する。色チェックをパスしたら、例えば、ＬＥＤ標識を含む長方形の領域について、１つの追跡を開始し、領域は、カルマンフィルターの助けを借りてフレームを横断して追跡される。ＬＥＤ領域が実在の標識である場合、次のフレームにおいて、投影された位置と実際の標識の位置との間の誤差が小さくなる。
【００３５】
ここで留意すべきは、ＬＥＤ領域の投影位置は、追跡器により（ｎ−１）番目のフレームにおいて計算されており、ＬＥＤ標識の実際の位置は、ｎ番目のフレームにおいて測定されていることである。このように時間的誤差が小さいことは、現在のＬＥＤ領域が実在する標識であることを意味する。一方、誤差が大きい場合、それは、誤った物体を追跡していることを意味し、対応する追跡は終了される。
【００３６】
追跡の長さが１を超える場合、それらのカットアウト領域を局所的メモリに蓄積する。ここでの追跡の長さとは、集合の濃度を指す。その集合の項は、追跡器の予測誤差の小さい実例を表す。
【００３７】
カットアウトは、小さい予測誤差許容範囲内であるという条件で、追跡されたＬＥＤ領域についてのみ蓄積される。
【００３８】
カットアウトを蓄積した後、分類を目的としてＴＳＡモジュールに供給できるように、蓄積されたカットアウトの形状の再構成を試みる。その目的のため、様々な操作、即ち、（１）形状再構成に基づき、全てのカットアウトを同じサイズに変更する、（２）コントラスト強調、（３）再構成された形状に基づいてアフィン変換を遂行する（スケーリング効果及び回転効果を考慮しながら）、（４）カットアウトを整列させる、（５）画像を登録する、という操作を遂行する。
【００３９】
登録プロセスは、以下のように遂行してもよい。蓄積されたカットアウトは異なる空間寸法を有しており、そのため、登録プロセスが複雑になる。しかし、この問題を回避するため、蓄積されたカットアウトは、同じＬＥＤ領域に属し、スケーリング効果の影響を受けているという事実を使用することができる。スケーリング効果は、車両が標識に近づく場合に起こる。そのシナリオにおいて、ＬＥＤ交通標識は、空間寸法がだんだん大きくなるように見える。
【００４０】
本発明の例示的な実施形態によると、カットアウトを全て同じ空間寸法にサイズ変更する。同じ解像度に変更した後、再構成された画像を得るために全ての画素値の平均を求める。
【００４１】
この再構成プロセスを、ｋ個のカットアウト（第１の例の場合ｋ＝２）について開始してもよい。再構成の後、色チェックを遂行し、それが有効なＬＥＤ標識であることを確認する。この色チェックにより、有効なＬＥＤ領域を分類のために送っていることが確実となる。
【００４２】
再構成されたＬＥＤ標識をＴＳＡ分類器に送ってもよい。ＴＳＡ分類器が再構成された標識について無用なクラスを出力（ｋ＝２で）した場合、ｋをインクリメントし、ｋ＝ｋ＋１として再度再構成を行う。ただし、アルゴリズムの複雑さを制限するため、ｋはＮ＝７を超えることはない。
【００４３】
図３は、画像中の１つの物体のみについてのアルゴリズムを説明する。ＬＥＤ再構成操作を利用するためには、同様の操作を画像中に見つかった全ての物体に対して遂行する必要がある。
【００４４】
図３の出口は、プログラムからの出口を指す。
【００４５】
図４は、本発明の例示的な実施形態による、標識認識を用いたアルゴリズム適合性の提案されるアプローチを示す。
【００４６】
図５は、本発明の例示的な実施形態による、例示的カットアウトを示す。
【００４７】
例示的カットアウトは、フルフレームから抽出してもよい。
【００４８】
図６は、本発明の例示的な実施形態による、画像分析による点滅除去のための装置の概略図を示す。
【００４９】
画像分析による点滅除去のための装置１００は、ＬＥＤ領域識別器１０と、形状構成器２０と、色検証器３０と、フレーム再構成器４０とを備える。
【００５０】
ＬＥＤ領域識別器１０は、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するように構成されている。
【００５１】
形状構成器２０は、識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するように構成されている。
【００５２】
色検証器３０は、再構成されたＬＥＤ標識の色チェックを遂行するように構成されている。
【００５３】
フレーム再構成器４０は、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するように構成されている。
【００５４】
図７は、本発明の例示的な実施形態による、画像分析による点滅除去のための方法の概略図を示す。
【００５５】
画像分析による点滅除去のための方法は、以下のステップを含んでもよい。
【００５６】
方法の第１のステップとして、ＬＥＤ領域識別器１０を用いて、画像センサによって提供される少なくとも１つの開始フレームの中のＬＥＤ交通標識の一部分を識別するステップＳ１が遂行されてもよい。
【００５７】
方法の第２のステップとして、形状構成器２０を用いて、識別された一部分に基づき再構成されたＬＥＤ標識について形状を算出するステップＳ２が遂行されてもよい。
【００５８】
方法の第３のステップとして、色検証器３０を用いて、再構成されたＬＥＤ標識の色チェックを遂行するステップＳ３が行われる。
【００５９】
方法の第４のステップとして、フレーム再構成器４０を用いて、少なくとも１つの開始フレームの再構成されて検証されたＬＥＤ標識を、画像センサによって提供される少なくとも１つの別のフレームにおいて再構成するステップＳ４が行われる。
【００６０】
なお、本発明の実施形態は、異なる主題に関連して記載されている。特に、一部の実施形態は、方法タイプの請求項に関連して記載されている一方、他の実施形態は、装置タイプの請求項に関連して記載されている。
【００６１】
しかし、当業者は、上記の記述から、特に断りのない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴の任意の組み合わせもまたこの出願によって開示されていると考えられることを推測する。
【００６２】
しかしながら、特徴は全て、組み合わされてこれらの特徴の単純な足し合わせを超える相乗効果を提供することができる。
【００６３】
本発明を図面及び上記の記載において詳細に図示し説明したが、かかる図示及び記載は、制限的なものではなく、説明的又は例示的であると考えるべきである。本発明は、開示される実施形態に限定されない。
【００６４】
図面、開示及び添付の請求項の検討から、開示される実施形態に対する他の変更は、請求項に記載の発明を実施する際に当業者が理解し達成することができる。
【００６５】
請求項において、「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は、複数を除外しない。単一のプロセッサ又はコントローラ又は他のユニットは、請求項に列挙されるいくつかのアイテムの機能を果たすことができる。
【００６６】
特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項における参照符号は、本発明の範囲を限定するものとして解釈すべきではない。
【図１】
2018136932.tif 000003
【図２】
2018136932.tif 000004
【図３】
2018136932.tif 000005
【図４】
2018136932.tif 000006
【図５】
2018136932.tif 000007
【図６】
2018136932.tif 000008
【図７】
2018136932.tif 000009
【外国語明細書】
2018136932000001.pdf