(57)【要約】  ここに記載されているのは、少なくとも１つの交通標識を検出して認識する方法である。複数の画像フレームを含むビデオシーケンスを受信する。１つまたはそれ以上のフィルタが使用されて、関心対象オブジェクトを示す少なくとも１つの画像フレームにおいて特徴を測定する。これらの測定した特徴を組み合わせて、オブジェクトが存在し得ることを示すスコアに総計する。ロバストな検出のために、複数の画像フレームにわたってこれらのスコアを融合する。スコアにより、この画像フレームの１エリアにおいてオブジェクトが存在し得ることが示される場合、このエリアとモデルとを位置合わせする。つぎにこのエリアが交通標識を表すか否かについて決定する。このエリアが交通標識を表す場合、このエリアを交通標識の特定のタイプに分類する。本発明はまた、交通標識を検出して認識するシステムをトレーニングすることにも関する。
2008517353.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの交通標識を検出して認識する方法において、
該方法は、
ａ．  複数の画像フレームからなるビデオシーケンスを受信するステップと、
ｂ．  １つ以上のフィルタを使用し、関心対象オブジェクトを示す少なくとも１つの画像フレームにて、特徴を測定するステップと、
ｃ．  特徴を組み合わせて、オブジェクトが存在し得ることを示すスコアに総計するステップと、
ｄ．  ロバストな検出を得るために複数の画像フレームにわたって該スコアを融合するステップと、
ｅ．  スコアにより、画像フレームの１エリアにてオブジェクトが存在し得ることが示される場合、当該エリアとモデルとを位置合わせするステップと、
ｆ．  該エリアが交通標識を示しているか否か決定するステップと、
ｇ．  交通標識を示している場合、該エリアを交通標識の所定のタイプに分類するステップとを有することを特徴とする、
少なくとも１つの交通標識を検出して認識する方法。
【請求項２】
前記画像フレームは、カラー画像フレームである、
請求項１に記載の方法。
【請求項３】
前記画像フレームは、グレイスケール画像フレームである、
請求項１に記載の方法。
【請求項４】
少なくとも１つのフィルタは、色表現フィルタである、
請求項２に記載の方法。
【請求項５】
少なくとも１つのフィルタは、グレイスケール表現フィルタである、
請求項３に記載の方法。
【請求項６】
前記のカラーフィルタには１つまたはそれ以上のカラーチャネルが組み込まれている、
請求項４に記載の方法
【請求項７】
少なくとも１つのカラーチャネルは、正規化されたカラーチャネルである、
請求項６に記載の方法。
【請求項８】
少なくとも１つのチャネルは、グレイチャネルである、
請求項６に記載の方法。
【請求項９】
少なくとも１つのカラーチャネルは、カラーチャネルの線形変換である、
請求項６に記載の方法。
【請求項１０】
少なくとも１つのフィルタは、リングフィルタである、
請求項１に記載の方法。
【請求項１１】
前記の特徴を組み合わせてスコアにするステップにはさらに、単純なクラシファイアおよびウェーブレット特徴を総計して評価することが含まれる、
請求項１に記載の方法。
【請求項１２】
逐次仮説検定方式および部分クラシファイア決定を使用して、前記の総計されたクラシファイアを評価する、
請求項１１に記載の方法。
【請求項１３】
前記の交通標識を検出するステップにはさらに、
連続する画像フレームに対してスコアを累積して、累積スコアを得るステップと、
各画像フレームの後、当該の累積されたスコアを比較して、あらかじめ定めた閾値よりも当該スコアが大きいか否かを決定するステップと、
該スコアが閾値よりも大きい場合、つぎの画像フレームから得られる特徴スコアを前記の累積スコアに加えるステップと、
スコアが閾値よりも小さい場合、当該特徴は、関心対象のオブジェクトと関連していないと決定するステップとが含まれている、
請求項１に記載の方法。
【請求項１４】
前記の画像のエリアを位置合わせするステップにはさらに、
エッジ領域、境界領域、リング領域および内部領域を定めるステップと、
標識モデルと候補標識画像パッチとの間の相違を測定するコスト関数を定めるステップと、
パラメタ空間にてエラー関数を最小化することによって正しい標識パラメタを推定するステップとが含まれている、
請求項１に記載の方法。
【請求項１５】
前記の標識パラメタを推定するステップを画像の正規化に使用し、また該ステップにはさらに、
前記の標識パラメタの位置をおよびスケールを正規化するステップと、
ｘ，ｙおよびｒで定められたエリアおよび該エリアの統計的な特性を使用することによって画像輝度を正規化するステップとが含まれている、
請求項１４に記載の方法。
【請求項１６】
前記の推定された標識パラメタはｘ，ｙおよびｒであり、また画像の関心対象領域ＲＯＩ（region-of-interest）を形成するために使用される、
請求項１４に記載の方法。
【請求項１７】
前記ＲＯＩにおけるピクセルの線形判別分析（ＬＤＡ  linear discriminant analysis）から分類特徴ベクトルを得る、
請求項１６に記載の方法。
【請求項１８】
特徴空間のマルチバリアントガウス確率密度関数および最大アプリオリ（ＭＡＰ  maximum-a-priori）または最尤度（ＭＬ  maximum likelihood）アプローチを使用して前記の標識画像の分類を得る、
請求項１に記載の方法。
【請求項１９】
前記の分類のステップにはさらに、
連続する画像フレームに対する分類スコアを累積して、累算分類スコアを得るステップが含まれている、
請求項１８に記載の方法。
【請求項２０】
検出される交通標識は、周囲に色付きのリングを有する円形の標識である、
請求項１に記載の方法。
【請求項２１】
AdaBoostを使用して、フィルタｆt，重み付けαtおよびクラシファイア閾値Θtを適合させる、
請求項１に記載の方法。
【請求項２２】
AdaBoostを使用して、フィルタｆtの幾何学的パラメタを適合させる、
請求項１に記載の方法。
【請求項２３】
AdaBoostを使用して、フィルタｆtの色表現を適合させる、
請求項１に記載の方法。
【請求項２４】
前記の色空間におけるオブジェクトおよび非オブジェクトの線形判別分析（ＬＤＡ linear discriminant analysis）によって線形変換を決定する、
請求項１７に記載の方法。
【請求項２５】
逐次仮説検定に対する閾値Θtは、
【数１】
2008517353.tif 000036
から決定され、ここでターゲット誤りネガティブレートは
2008517353.tif 000037
である、
請求項２１に記載の方法。
【請求項２６】
逐次仮説検定に対する閾値Θtは、
【数２】
2008517353.tif 000038
から決定される、
請求項２１に記載の方法。
【請求項２７】
【数３】
2008517353.tif 000039
におけるパラメタαiの適合化を分類エラーについての勾配降下によって行う、
請求項１４に記載の方法。
【請求項２８】
標識クラスのトレーニングには、トレーニング画像の自動位置合わせ、画像の正規化、関心対象領域の形成、線形判別分析（ＬＤＡ）特徴変換およびガウス確率密度関数の推定が含まれている、
請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願に対する相互参照
この明細書は、2004年8月16日に提出した米国暫定特許明細書第60/601,788号および2004年12月21日に提出した米国暫定特許明細書第60/637,841号に優先権を主張するものであり、これらの明細書全体を引用によってここに組み込むものである。
【０００２】
発明の技術分野
本発明は、交通標識検出方法に関するものであり、殊にグレイスケールまたは色、形状および動き情報を使用して、交通標識を検出し認識する方法およびシステムに関する。
【０００３】
発明の背景
交通環境では標識によって交通が規制され、運転者に警告が発せられ、また特定の行動が命じられるかまたは禁止される。リアルタイムかつロバストな自動交通標識認識は、運転者を支援して負担を軽減することができ、ひいては運転の安全性および快適性を大幅に向上させることが可できる。例えば、上記のような自動交通標識認識は、現在の速度制限を運転者に気づかせ、また一方通行道路に進入する、追い越し不可区域において他車を追い越す、不所望の高速走行などのような不適切な行動を運転者が起こさないようにすることができる。さらに、このような自動標識認識は、ストレスの多い運転を軽減するためにアダプティブクルーズコントロール（ＡＣＣ  adaptive cruise control）に組み込むことが可能である。一層グローバルなコンテキストでは、自動交通標識認識は、（例えば、自動車が市内または高速道路を走行している場合などに）交通状況を把握しようするシーンに貢献することができる。
【０００４】
交通標識認識は、いくつかの基本的な仮定を前提としており、交通標識のいくつかの有効な特徴が利用される。第１に交通標識のデザインに一意的であり、したがってオブジェクトの変化は小さい。さらに標識の色は、周囲環境に対して極めて良好にコントラストをなしていることが多い。さらに標識は、（車両と異なり）周囲環境に対して固定に配置されており、運転者から見易いところに設置されることが多い。
【０００５】
それにもかかわらず、認識に成功するためには多くの難題が残っている。第１に交通環境において天候およびライティング条件は多く変化するため、上記の一意性の利点が小さくなってしまう。また、カメラは移動しているため、付加的な画像の歪み、例えば、動きによるぼけおよび急峻なコントラスト変化が頻繁に発生する。さらに標識の設置状況および表面材料は、事故および天候の影響を受けて時間の経過と共に物理的に変化するため、標識が回転したり、退色が発生したりという結果になる。最後に、適用分野によって課される制約により、安価なシステム（すなわち、低品質のセンサ、低速のハードウェア）、高精度およびリアルタイム計算が要求される。
【０００６】
公知の交通標識認識に対するテクニックの大多数は、少なくとも２つのステップを利用している。１つの検出を目的としており、他の１つは分類、すなわち検出した標識画像をその意味上のカテゴリに対応付けるというタスクを目的としているのである。検出についての問題に関していくつかのアプローチが提案されている。これらのアプローチのうちのいくつかは、グレイスケールデータに依拠している。このようなアプローチの１つは、距離変換と組み合わせたテンプレートベースのテクニックを使用している。別のアプローチは、放射形対称についての尺度を利用し、これをフレームワーク内でのプレセグメンテーションとして適用している。放射形対称性は、単純化された（すなわち高速な）円形ハフ変換に相応するため、殊に円形の標識が出現し得ることを検出するのに適用可能である。仮説の検証は、上記の分類内に組み込まれる。
【０００７】
交通標識を検出するための別のいくつかのテクニックでは色情報を使用するものがある。これらのテクニックの共通であるのは、２ステップのストラテジである。第１に、赤緑青（ＲＧＢ）などの色表現に対する閾値処理によってプリセグメンテーションが行われる。ＲＧＢ表現の線形または非線形な変換も使用されている。引き続いて最終的な検出の決定が、形状ベースの特徴から得られる。これは上記のプリセグメンテーションが行われた領域だけに適用される。コーナおよびエッジ特徴、遺伝的アルゴリズムおよびテンプレートマッチングが使用されている。
【０００８】
これらのような逐次形のストラテジの欠点は、カラーセグメンテーションによって誤って否認された領域を、後続の処理において回復させることができないことである。またカラーセグメンテーションには閾値を固定しなければないが、これはほとんど場合に時間を消費しかつエラーを生じやすい手動のチューニングから得られるのである。
【０００９】
色および形状を組み合わせて扱うアプローチもすでに提案されている。このアプローチでは、標識の幾何学モデルを組み込む一方で、色および勾配情報に基づいて全体画像フレームの特徴マップを計算する。このアプローチにも手動の閾値チューニングが必要であり、計算コストがかかる。
【００１０】
上記の分類タスクに対して、ほとんどのアプローチでは、テンプレートマッチング、マルチレイヤ認知（multi-layer perception）、放射ベース関数ネットワーク（radial basis function network）およびラプラスカーネルクラシファイア（Laplace kernel classifier）などの周知のテクニックが利用される。フレームの時間的な融合（temporal fusion of frame）をベースにした検出を使用して、一層ロバストで包括的な検出を得ようとするアプローチはわずかである。これらのアプローチには、なんらかのトラッキングフレームワークが必要である。このように一般的なオブジェクト検出における色および形状モデリングに対して統合されたアプローチを使用するが、閾値を手動でチューニングする必要のない交通標識検出および認識のための方法に対するニーズが存在するのである。
【００１１】
本発明の概要
本発明は、少なくとも１つの交通標識を検出して認識する方法に関する。複数の画像フレームからなるビデオシーケンスを受信する。１つ以上のフィルタを使用して、関心対象オブジェクトを示す少なくとも１つの画像フレームにおいて特徴を測定する。測定した特徴を組み合わせ、オブジェクトが存在し得ることを示すスコアに総計する。これらのスコアは、ロバストな検出のために複数の画像フレームにわたって融合される。スコアにより、この画像フレームの１エリアにおいてオブジェクトが存在し得ることが示される場合、このエリアとモデルとを位置合わせする。つぎにこのエリアが交通標識を表すか否かについて決定を行う。このエリアが交通標識を表す場合、このエリアを交通標識の特定のタイプに分類する。本発明はまたシステムをトレーニングして、このシステムにより、交通標識が検出されて認識されるようにすることにも関する。
【００１２】
本発明の有利な実施形態では、上記の画像フレームは、カラー画像フレームまたはグレイスケール画像フレームである。
【００１３】
本発明の有利な実施形態では、少なくとも１つのフィルタは色表現フィルタまたはグレイスケール表現フィルタである。
【００１４】
本発明の有利な実施形態では、カラーフィルタに１つまたはそれ以上のカラーチャネルが組み込まれている。
【００１５】
本発明の有利な実施形態では、少なくとも１つのカラーチャネルは、正規化されたカラーチャネルである。
【００１６】
本発明の有利な実施形態では、少なくとも１つのチャネルは、グレイチャネルである。
【００１７】
本発明の有利な実施形態では、少なくとも１つのカラーチャネルは、カラーチャネルの線形変換である。
【００１８】
本発明の有利な実施形態では、少なくとも１つのフィルタは、リングフィルタである。
【００１９】
本発明の有利な実施形態では、上記の特徴を組み合わせてスコアにするステップにさらに、単純なクラシファイアおよびウェーブレット特徴を総計して評価することが含まれる。
【００２０】
本発明の有利な実施形態では、逐次仮説検定方式および部分クラシファイア決定を使用して、上記の総計されたクラシファイアを評価する。
【００２１】
本発明の有利な実施形態では、上記の交通標識を検出するステップにさらに、連続する画像フレームに対してスコアを累積して、累積スコアを得るステップと、各画像フレームの後、この累積されたスコアを比較して、あらかじめ定めた閾値よりもこのスコアが大きいか否かを決定するステップと、このスコアが閾値よりも大きい場合、つぎの画像フレームから得られる特徴スコアを上記の累積スコアに加えるステップと、スコアが閾値よりも小さい場合、この特徴は、関心対象のオブジェクトと関連していないと決定するステップとが含まれている。
【００２２】
本発明の有利な実施形態では、上記の画像のエリアを位置合わせするステップにさらに、エッジ領域、境界領域、リング領域および内部領域を定めるステップと、標識モデルと候補標識画像パッチとの間の相違を測定するコスト関数を定めるステップと、パラメタ空間にてエラー関数を最小化することによって正しい標識パラメタを推定するステップとが含まれている。
【００２３】
本発明の有利な実施形態では、上記の標識パラメタを推定するステップを画像の正規化に使用し、またこのステップにさらに、上記の標識パラメタの位置をおよびスケールを正規化するステップと、ｘ，ｙおよびｒで定められたエリアおよびこのエリアの統計的な特性を使用することによって画像輝度を正規化するステップとが含まれている。
【００２４】
本発明の有利な実施形態では、上記の推定された標識パラメタはｘ，ｙおよびｒであり、また画像の関心対象領域ＲＯＩ（region-of-interest）を形成するために使用される。
【００２５】
本発明の有利な実施形態では、上記のＲＯＩにおけるピクセルの線形判別分析（ＬＤＡ  linear discriminant analysis）から分類特徴ベクトルを得る。
【００２６】
本発明の有利な実施形態では、特徴空間のマルチバリアントガウス確率密度関数および最大アプリオリ（ＭＡＰ  maximum-a-priori）または最尤度（ＭＬ  maximum likelihood）アプローチを使用して前記の標識画像の分類を得る。
【００２７】
本発明の有利な実施形態では、上記の分類のステップにさらに、連続する画像フレームに対する分類スコアを累積して、累算分類スコアを得るステップが含まれている。
【００２８】
本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆt，重み付けαtおよびクラシファイア閾値Θtを適合させる。
【００２９】
本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆtの幾何学的パラメタを適合させる。
【００３０】
本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆtの色表現を適合させる。
【００３１】
本発明の有利な実施形態では、上記の色空間におけるオブジェクトおよび非オブジェクトの線形判別分析（ＬＤＡ linear discriminant analysis）によって線形変換を決定する。
【００３２】
本発明の有利な実施形態では、標識クラスのトレーニングに、トレーニング画像の自動位置合わせ、画像の正規化、関心対象領域の形成、線形判別分析（LDＡ）特徴変換およびガウス確率密度関数の推定が含まれている。
【００３３】
図面の簡単な説明
以下では図面に基づいて本発明の有利な実施形態を詳しく説明する。図中、同じ参照符号は、同じ要素を表す。ここで、
図１は、本発明にしたがって標識を認識するシステムのシステムブロック図であり、
図２は、本発明にしたがって検出可能な交通標識の例を例示する一連の画像であり、
図３は、本発明にしたがって交通標識を認識する方法を説明する図であり、
図４は、本発明による弱いクラシファイアの関数である部分応答のポジティブおよびネガティブの例のグラフを示しており、
図５は、本発明によるリング形状フィルタの例を示しており、
図６は、本発明によるリングフィルタウェーブレットを含み、AdaBoostアルゴリズムによって選択される最初の６つのHaarウェーブレットを示しており、
図７は、本発明にしたがい、標識に対して定められる３つの領域を示している。
【００３４】
詳細な説明
本発明は、交通標識を検出して認識する方法に関する。図1は、本発明を実現するシステムのブロック図を示している。カメラ１０２が使用されて、道路およびその周囲の画像がキャプチャされる。カメラ１０２はふつう車両に取り付けられ、交通標識をキャプチャするために１方向を向いている。典型的な道路画像で予期されるように、画像には道路、建物、樹木、および家のような背景画像およびこの道路を走行する車両が含まれている。これらの画像はプロセッサ１０４に供給され、このプロセッサにより、画像強度および画像の動きが分析されて、シーンダイナミクスにおける任意の変化が検出される。
【００３５】
標識検出フレームワークは、AdaBoostトレーニングを使用して実現され、フィルタベースの特徴が組み合わされる。検出されたオブジェクトは、時間情報伝搬フレームワーク（tempora information propagation frame）内でトラッキングされる。つぎに、精確な正規化を得るため、検出された標識は、標識の幾何学形状の統計的なモデリングを使用してピクセル精度まで精確に位置合わせされる。最後に、複数のフレームにわたる仮説融合（hypothesis fusion）を含め、ベイズ生成モデリングに基づいて分類が行われる。
【００３６】
一旦交通標識が検出されると、この標識は、出力装置１０６を介して識別される。出力装置１０６によって出力信号が供給され、この出力信号により、交通標識の存在することがユーザに伝えられる。この出力信号は音響信号、または別のタイプの警報信号とすることができる。出力装置１０６は、検出した標識を見るためのディスプレイを含むこともできる。このディスプレイによって、検出されまたトラッキングしている標識のアイコン表示が供給される。これらのアイコンはデータベース１０８に記憶することが可能である。
【００３７】
本発明によって提供されるのは、リアルタイムでロバストな交通標識検出および認識に対するフレームワークであり、このフレームワークでは、色、形状および動きから得られる手掛かりが融合される。このようなシステムは、例えば、インテリジェント自動車コクピット環境において運転者を支援するために使用することができる。図２には、本発明の方法を使用して検出可能な交通標識を例示する一連の画像フレームが示されている。これらの画像は白黒であるが、グレイスケール輝度の違いは、標識の彩色を示しており、ここでこの彩色は上で述べた背景色から大きく異なっている。
【００３８】
本発明は、３つの主要なコンポーネントから構成されている。図３には、交通標識を検出する本発明の方法の概略が示されている。最初の画像フレーム３０２は、道路環境から得られたものである。画像フレーム３０２には道路の図ならびに背景の図が含まれている。まず、AdaBoostトレーニングを使用して標識検出フレームワークを実現し、フィルタベースの特徴を組み合わせる。検出されたオブジェクトは、時間情報伝搬フレームワーク内でトラッキングされる。本発明では、検出すべき標識の形状に特に適合されたフィルタ設計を利用する。カラーセンシティブHaarウェーブレット特徴を使用して、各フレームｔにおいて標識の外観が検出される。フレーム３０４のような後続の画像フレーム毎に、オブジェクト（例えば、交通標識）が検出されるか否かが決定される。一旦、標識が検出されると、この標識をトラッキングし、ロバストで包括的に検出するため、フレーム（ｔ−ｔ0，…，ｔ）から得られる個別の検出結果を時間的に融合する。第２に、精確な正規化を得るため、検出された標識は、標識の幾何学形状の統計的なモデリングを使用してピクセル精度まで精確に位置合わせされる。標識は、位置、スケールおよび明るさについて正規化される。結果的に得られる画像は、フレーム３０６に示されており、このフレームによってオブジェクト候補が分離される。第３に、複数のフレームにわたる仮説融合を含めて、ベイズ生成モデリングに基づいて分類を行う。検出したオブジェクトが、関心対象のオブジェクトである場合、画像３０８によって図示したように最終的なオブジェクトが示される。
【００３９】
この例では交通標識であるオブジェクトの検出は、パッチベースアプローチで扱われる。詳しくいうと、単純な特徴および単純なクラシファイアの総計を評価することによって、画像パッチｘi（ベクトルと解釈する）を、２つのクラス「オブジェクト」（ｙi≧0）および「非オブジェクト」（ｙi＜0）のうちの１つに割り当てる。すなわち、
【数１】
2008517353.tif 000003
である。
【００４０】
変数ｆt（ベクトルと解釈する）はフィルタマスクであり、これはHaarウェーブレットの過完備集合である。この過完備集合は、所定の幾何学的パラメタ、例えば位置（ａ，ｂ）、幅ｗまたは高さを変化させることによって生成される。これらのウェーブレットの最適な部分集合、重み付けαtおよびクラシファイア閾値Θtは、AdaBoostトレーニングアルゴリズムから得られる。
【００４１】
以下でさらに詳しく説明するように本発明では、AdaBoostトレーニングフレームワーク内で色および形状を組み合わせたモデリングアプローチを使用する。交通標識認識の応用に対して、色は重要な情報である。それは、ふつうの背景パターン（例えば、樹木、家、アスファルトなど）において、ほとんどのオブジェクト色が観察されないからである。
【００４２】
AdaBoostが特徴選択として解釈される場合、AdaBoostにより、単純ではあるが、色の統合に対して極めて効果的な手段が得られる。従来のアプローチではAdaBoostは、位置（ａ，ｂ），幅ｗまたは高さｈなどの幾何学的特性によってパラメトライズされて、ウェーブレット特徴の集合を選択するために（また重み付けするため）に使用されている。これらのウェーブレットはふつうのグレイスケール画像のパッチに適用される。グレイスケール情報ではなく色が利用可能な状況において、いずれの色表現を使用すべきかという選択に対して、または線形または非線形の色変換内でどのように最適に組み合わされるかということに対して、従来技術により、一般的なガイダンスは得られない。
【００４３】
本発明によれば、色表現は、ａ，ｂ，ｗおよびｈと並んで、自由なウェーブレットパラメタとして操作されるとみなされ、これによってAdaboostフレームワーク内で完全に自動に色が選択される。組み合わされる色表現の変化は、Ｒ，ＧおよびＢに限定されない。事前のドメインについての知識は、線形または非線形の色変換を採用することよって組み込むことができる。このモデリングの有益な特性の１つは、これらの変換がAdaBoostトレーニングに対する単なる「提案」に過ぎないことである。
【００４４】
基本的には色および幾何学空間におけるどの組み合わせも提案することができる。上記のAdaBoostフレームワークは、最も有効なものを選択しかつ有効でないものを無視するように設計される。上記の「提案」の変化形態は、計算および記憶資源だけで制限される。本発明によれば、９つの色表現がつぎのように使用される。すなわち、
１）  単純なチャネルＲ，ＧおよびＢ，
２）  正規化されたチャネルｒ＝Ｒ／Ｓ，ｇ＝Ｇ／Ｓおよびｂ＝Ｂ／Ｓ、ただしＳ＝Ｒ＋Ｇ＋Ｂ，
３）  グレスケールチャネルＳ／３，および
４）  ２つの線形変換Ｔ1(Ｒ，Ｇ，Ｂ）およびＴ2(Ｒ，Ｇ，Ｂ）
が使用されるのである。ここでＴiは、３次元ＲＧＢ空間における線形判別分析（Fisher Discriminant Analysisとしても知られているＬＤＡ  linear dicriminant analysis）の第１の主要な成分に相応する。ここのデータは２つのクラスによって表される。すなわち、クラス１はふつうのオブジェクトを含み、クラス２は背景ピクセルを含む。この点からみるとＴiは、オブジェクトと背景ピクセルとを判別するための最適な線形変換である。（標識の「はじまり」に相応する）大きな赤のエリアが存在する標識に対してＴ1を評価し、（標識の「一時中止」に相応する）灰色によって占有されている標識に対してＴ2を評価する。
【００４５】
本発明の範囲および精神から逸脱することなく色表現の別の組み合わせまたはタイプを使用できることは当業者には当然のことである。
【００４６】
交通標識に対するAdaBoostトレーニングの結果は、図４に示されており、この図には標識検出に対してAdaBoostによって選択される最初の６つのウェーブレットが示されている。６つのHaarウェーブレットの１ずつに対して、白のエリアの下にあるピクセルは＋１で重み付けが行われ、黒のエリアは−１で重み付けが行われる。これらのウェーブレットは、その幅ｗ，高さｈおよび相対座標ａおよびｂによってパラメトライズされる。グレイレベルの違いで示される背景の「着色」は、個々の特徴を計算するカラーチャネルを示している。この例に対して、カラーチャネルは、ｒ，Ｒ，Ｇ，ｒ，Ｓ／３，ｇに相応する。
【００４７】
本発明を説明するため、本発明を使用して、周囲に赤いリングを有する円形の標識を位置決めすると仮定する。しかしながら、本発明の範囲および精神を逸脱することなく、上記の色表現およびウェーブレット特徴を相応に変更して、特性の異なる標識を検出できることは当業者にとって当然である。ウェーブレットを使用して標識を検出する場合、最も重要な情報は、色表現から選択される。この例の場合、ｒ，ＲおよびＧは、しばしば観察されるポジティブサンプル集合の赤いリングおよびネガティブサンプル集合の樹木にそれぞれ相応する。このことによって強調されるのは、本発明において色が有効なことである。
【００４８】
パッチベースの検出は、スケールに対して不変ではないため、多くの離散スケールに対して種々異なる検出器をトレーニングする。検出の後、相応する検出器の応答マップにおける最大値から、検出した標識パラメタの推定値（すなわち、位置（ａ0，b0）およびスケールｒ0）を得ることができる。
【００４９】
標識を一旦検出すると、単純な動きモデルおよび時間情報伝搬を使用して標識をトラッキングする。一層ロバストな検出に対して、個々のフレームに基づく検出の結果を融合して、結合された１つスコアにする。
【００５０】
本発明の別の様相によれば、リング形オブジェクトを検出するために新しいタイプのフィルタ特徴を使用する。この新たなフィルター特徴は、サイズが異なるが中心が同じ３つの矩形エリアの組み合わを利用することによってリング構造を近似する。このリング特徴の幾何学的な説明は図５に示されている。図示のように、白のエリアは、ポジティブピクセルに相応し、これらはフィルタによって＋１で重み付けされる。黒のエリアは、ネガティブピクセルに相応し、上記のフィルタによって−１で重み付けされる。灰色のエリアは背景であり、これは０の重み付けに相応する。このタイプのモデリングでは、標識は画像パッチの中心に位置合わせされていることを前提としていることに注意されたい。
【００５１】
AdaBoostに対する変形形態の全体をトレース可能に維持するため、自由なパラメタの個数をできるかぎり小さく維持する。リング特徴は、内側の矩形の高さｈ（これは幅と同じである）および帯域幅ｂによってパラメトライズ可能である。外側の矩形の高さおよび幅は２ｈである。センタリングされた小さなドット５０２，５０４，５０６に相応するオブジェクト（例えば標識）を適切にレジストレーションすることによって、上記のリングはセンタリングされたままになる。
【００５２】
本発明の別の様相は、数式（１）で定めるように「強いクラシファイア」を効果的に評価することに関する。ここで使用されるパッチベースのオブジェクト検出原理の一般的なコンテキストでは、以下の２つの考察が有効である。すなわち、
１）  観察されるテストパッチｘiの極めて大多数（実際上は99.99%以上）が、オブジェクトでない。すなわち結果はネガティブなｙiになる。
２）  ｙiの精確な推定値が数式（１）の最初のいくつかの和だけから形成することができるという意味で、これらの非オブジェクトの大半は「明らかに」ネガティブである。
【００５３】
第２の考察の実験的な検査結果は、図４に示されている。この図に示されているのは、５００個のポジティブなトレーニング例（図４（ａ））および５００個のネガティブなトレーニング例（図４（ｂ））ｘiの部分応答
【数２】
2008517353.tif 000004
であり、これは弱いクラシファイアのインデックスｔの関数である。図４（ｂ）から解釈できるのは、約１０〜５０の弱いクラシファイアの評価後、ネガティブな例の大半がすでに比較的大きな負の値（ここでは≒−０．０５…−０．１５）を有することである。ポジティブな例では、弱いクラシファイアの評価の同じ区間内でつねに値がｒi(t) ＞ −０．０５になる。
【００５４】
この点からみれば適切な際にｙiについて早期に決定を行うことによって計算コストを大幅に低減することができる。逐次に到着するデータに基づいてモデルを検証するというこの極めて一般的な問題は、逐次仮説検定という名称で文献において研究されている。このコンセプトを、つぎのように強いクラシファイア計算に適用する。閾値φ＝（φi，…，φT）の集合が与えられた場合、部分的なクラシファイア決定は、
【数３】
2008517353.tif 000005
のように定義され、また以下に説明するような候補刈り込みストラテジが考えられる。各ステップｔ∈{１，…，Ｔ−１}においてｙi(t)をゼロと比較する。ｙi(t) ≧ ０の場合、上記の加算を継続する。ｙi(t) ＜ ０の場合、上記の加算を終了して、ｘiをネガティブなパターンとして分類する。
【００５５】
効率と精確さとの間のトレードオフは、閾値φtによって制御することができる。φtが大きくなればなるほど、ステップｔにおいて刈り込まれる候補が少なくなる。以下の２つの状況は、極端なケースを表す。すなわち、
１）  
2008517353.tif 000006
の場合、ｙi(t)＞０がつねに成り立つ。ゆえにこの総和は、ｔ＝Ｔの前には終了せず、結果は、数式（１）の単純な評価に等しくなる。
２）  ε＞０を任意の小さな数とし、
2008517353.tif 000007
の場合、ｙi(t)＜０であり、上記の繰り返しは直ちに終了して、ｘiはネガティブサンプルとして分類される。しかしながら実際上はφtはポジティブと選択されることが極めて多い。
【００５６】
上記の閾値φは、与えられたデータから適合させることができる。合理的なストラテジの１つは、AdaBoostトレーニング中（またはこの後に）φtの集合を調整して、ステップｔにおけるトレーニングデータ集合（または共通部分のない評価データ集合）について、所定の誤ったネガティブレート１−ｄtとなるようにすることであり、すなわち、
【数４】
2008517353.tif 000008
である。
【００５７】
ゼロターゲット誤りネガティブレート（zero target false negative rate）、すなわち１−ｄt＝０，∀ｔ∈{１，…，Ｔ−１}である特別なケースに対して、これは
【数５】
2008517353.tif 000009
と等しく、ここで
2008517353.tif 000010
は、ステップｔにおけるポジティブトレーニング集合（または評価集合）の最小応答である。図４（ａ）のコンテキストでは
2008517353.tif 000011
は、すべての｛ｒi(t)｝の小さい方の境界に相応する。
【００５８】
交通標識検出というここでの応用に対して上で説明したストラテジを使用すると、平均でネガティブなｘiに対して２５０個の弱いクラシファイア評価の９４％を刈り取ることができた。ポジティブなｘiの端数は小さいため（上記の観察１を参照されたい）、これは大ざっぱにいって、候補の全体集合内の同じパーセントに相応する。
【００５９】
本発明ではカスケーディングとして知られる逐次検定を使用して、強いクラシファイアを識別する。複雑さの増大する複数の検出器のカスケード（すなわち、劣化された決定木）を評価する。（これらの各々は、数式（１）に起因してブーストされた強いクラシファイアによって実現される）。このカスケードにおいて、早い方（かつそれほど複雑でない方の）ノードは、明らかにネガティブな例を大量に拒否することを目的としており、これに対して遅い方（かつ一層複雑な方）のノードは、困難なネガティブおよびポジティブサンプルの間で精確に判別するために特化されている。
【００６０】
この逐次検定アプローチによってつぎのような利点が得られる。早期の決定は、明らかにネガティブな候補に対して行われる。逐次検定により、単一の強いクラシファイア決定が評価される。その目的は、特に定められたエラーレートを最小化することである。これに加えて、上記の逐次検定では、追加の計算なしに前のノードから得られる応答を再使用する。またこの逐次検定法により、それぞれの弱いクラシファイア評価の後、候補が刈り取られる。
【００６１】
本発明は、精確に位置合わせされたオブジェクト（例えば、標識）の検出に基づいている。フィルタ特徴に基づく検出により、標識の位置およびスケールが大まかに推定される。それはこのフィルタ特徴によって、あらかじめ定めた離散のスケールでパッチが検出されるからである。以下では、検出されたオブジェクトを本発明にしたがって位置合わせする方法を説明する。説明する例において、検出すべき標識はすべて円形である。したがってその位置およびサイズは、パラメタ（ａ，ｂ，ｒ）によって表すことができ、ここで（ａ，ｂ）は中心位置を、またｒは標識の半径を表す。
【００６２】
本発明では、標識の幾何学形状についての付加的な統計的情報によって強化したエッジ画像およびハフ変換を使用する。
【００６３】
検出する標識のほとんどは、その円形の全体形状によって背景上に輪郭が描かれるが、また例えば、周囲のリングである実質的に均一な領域または内部のピクトグラム領域によって区別される。
【００６４】
オブジェクトパラメタ（ａ，ｂ，ｒ）が与えられると、画像の４つの領域
2008517353.tif 000012
が図７および以下に示すように定められる。すなわち、
【数６】
2008517353.tif 000013
である。
【００６５】
量３ｒ／４は、標識のあらゆる「はじまり」に対する内側の円の半径に相応する。
【００６６】
パラメタ（ａ，ｂ，ｒ）を有する真の標識オブジェクトに対して予想されるのは、
１）  
2008517353.tif 000014
は、（ａ，ｂ）Tの方を向いている勾配ベクトルの成分の値が大きい。
２）  
2008517353.tif 000015
は、（ａ，ｂ）Tの方を向いている勾配ベクトルの成分の値が大きい。
３）  
2008517353.tif 000016
は、単峰形色分布において幅の狭い１つのピークを有する。
４）  
2008517353.tif 000017
は、双峰形色分布において幅の狭い２つのピークを有し、
2008517353.tif 000018
を背景領域
2008517353.tif 000019
および前景（テキスト）領域
2008517353.tif 000020
の２つのモードに分割する。ここで
2008517353.tif 000021
である。
５）  
2008517353.tif 000022
の分布は、内部の背景モード
2008517353.tif 000023
とは大きく異なる。
【００６７】
これらの考察に基づいてエネルギー関数を定める。すなわち、
【数７】
2008517353.tif 000024
であり、これは真の標識パラメタに対して最小になるはずである。すなわち、
【数８】
2008517353.tif 000025
である。
【００６８】
数式（１０）においてα1，…，α6は重みであり、これらを調整する。本発明では、分類エラーについて６次元α空間における勾配降下を使用することによってこの問題を解く。
2008517353.tif 000026
における２つのモードのカバーされていない部分は、標準のテクニック（例えば、平均シフト、ＥＭ）によって解くことができる。
【００６９】
推定したパラメタ（ａ0，ｂ0，ｒ0）に基づいて、以下の正規化ステップを実行する。すなわち、
１）  パラメタ（ａ，ｂ，ｒ）を有する標識エリアに相応する円形領域を抽出する。
２）  ヒストグラム等化によってこの領域内で画像の明るさを正規化する。
３）  得られた画像を、クラシファイア解像度まで双線形にスケーリングする。
【００７０】
つぎにこのオブジェクトの分類を実行する。この分類フレームワークは、生成パラダイムに基づいており、単峰形のガウス確率密度を使用する。確率的モデリングに先立って、標準線形判別分析（ＬＤＡ  linear discrimination analysis）を使用して特徴変換を行う。この点から見れば標識パターンの特徴ベクトルｘ∈Ｒ25には、ＬＤＡの２５個の最初の基本的なコンポーネントが含まれている。
【００７１】
クラスｌ毎に、確率密度関数p(ｘ｜l)を単峰形マルチバリアントガウシアン
【数９】
2008517353.tif 000027
に基づいて推定する。したがって全クラシファイアは、２３個（異なる標識クラスの数に等しい）の平均および共分散
2008517353.tif 000028
の対によって決定される。
【００７２】
フレームｔにおけるテストシーケンスから特徴ベクトルｘ(t)が与えられる場合、最尤度（ＭＬ  maximum likelihood）アプローチは、分類の決定
2008517353.tif 000029
に意味し、これは
【数１０】
2008517353.tif 000030
および
【数１１】
2008517353.tif 000031
によって定められる。
【００７３】
分類の性能は、時間的な依存性を考慮することによって改善することができる。上記のトラッキングから得られる結果として特徴シーケンスX(t0)＝[ｘ(l),...,x(t0)]が与えられる場合、上記のクラシファイアの決定は、これまで考察してきた観察から組み合わせることができる。ｘ(l),…,ｘ(t0)の統計的な依存性を前提とすると、結合された距離は、
【数１２】
2008517353.tif 000032
によって得られる。
【００７４】
実際的観点からは、個々のフレームの影響を別個に重み付けすることも有効であり得る。すなわち、
【数１３】
2008517353.tif 000033
である。
重み付けの１例は
【数１４】
2008517353.tif 000034
であり、ただしａ＜１である。この値を選択したのは、後のフレームにおいて交通標識が大きくなると、一層精確にフレームが分類されるようになるからである。
【００７５】
分類に対する確率的信頼度尺度は、クラスｌ’毎の事後確率によって得られ、
【数１５】
2008517353.tif 000035
である。したがって例えば交通環境（例えば市内または高速道路）から得られる標識についての情報を事前に上記アプローチに組み込むことは極めて素直なことである、
本発明は、交通標識を検出し、トラッキングして認識するシステムおよび方法に関する。このシステムでは、色、形状および動き情報が組み合わされる。本発明は３つのコンポーネントをベースとしている。すなわち、AdaBoostおよびHaarウェーブレット特徴に基づく検出およびトラッキングフレームワークと、標識幾何学形状の統計的なモデリングに基づく精確な位置合わせと、ガウス分布に基づくクラシファイアとをベースとしている。
【００７６】
ここまでは交通標識を検出する方法に対する複数の実施形態について説明してきたが、上で教示したことを考え合わせれば、当業者は種々の変更および変形をなし得ることに注意されたい。したがって、ここに示した本発明の特定の実施形態においてさまざまな変更をすることができるが、これらの変更が、添付の特許請求の範囲に定められた本発明の範囲および精神内の枠内にあることは当然である。ここまでは特許法によって要求される細目および詳細さで本発明を説明したが、請求しかつ特許証によって保護されることを望む事項は、添付の特許請求の範囲に記載されている。
【図面の簡単な説明】
【００７７】
【図１】本発明にしたがって標識を認識するシステムのシステムブロック図である。
【図２】本発明にしたがって検出可能な交通標識の例を例示する一連の画像である。
【図３】本発明にしたがって交通標識を認識する方法を説明する図である。
【図４】本発明による弱いクラシファイアの関数である部分応答のポジティブおよびネガティブの例のグラフである。
【図５】本発明によるリング形状フィルタの例を示す図である。
【図６】本発明によるリングフィルタウェーブレットを含み、AdaBoostアルゴリズムによって選択される最初の６つのHaarウェーブレットを示す図である。
【図７】本発明にしたがい、標識に対して定められる３つの領域を示す図である。
【図１】
2008517353.tif 000040
【図２】
2008517353.tif 000041
【図３】
2008517353.tif 000042
【図４】
2008517353.tif 000043
【図５】
2008517353.tif 000044
【図６】
2008517353.tif 000045
【図７】
2008517353.tif 000046
【国際調査報告】
2008517353.tif 000047
2008517353.tif 000048
2008517353.tif 000049