(57)【要約】本願は、種々の交通標識を検出及び認識するロバストで照明不変の装置及び方法を提供する。デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、以下のプロセッサ実施ステップ：ＲＧＢ画像をＨＳＶカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出するステップと、ＨＳＶカラーモデルにおけるノイズ成分を、物体対称形状特性に基づきフィルタリングするステップと、ノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出するステップと、判定した別個の物体の形状に基づき交通標識の形状を分類するステップと、交通標識の分類形状をテンプレートマッチングにより認識するステップとを含むことを特徴とする。さらに、本方法は、交通標識の認識データを使用して運転者に警告する措置を提供する。【選択図】図１
2013529348.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法であって、照明不変であり、以下のプロセッサ実施ステップ：
ＲＧＢ画像をＨＳＶカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出するステップと、
前記ＨＳＶカラーモデルにおけるノイズ成分を、物体対称形状特性に基づきフィルタリングするステップと、
ノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出するステップと、
判定した前記別個の物体の形状に基づき前記交通標識の形状を分類するステップと、
前記交通標識の分類形状をテンプレートマッチングにより認識するステップと
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記交通標識の前記形状は、三角形、逆三角形、矩形、八角形、円形、又は楕円形を含む方法。
【請求項３】
請求項１に記載の方法において、前記交通標識の前記形状は、
前記デジタルカラー暗視カメラが取り込んだ前記画像における前記ノイズに起因した歪み、
現実の交通標識における、該交通標識の製造時の問題に起因した形状歪み、又は
異なる視距離に起因した形状歪み
を含み得る方法。
【請求項４】
請求項１に記載の方法において、前記分類を、
確率的ハフ変換を使用して前記形状における線を検出すること、
線分を判定し、同じ線に属する場合に続いてそれらをマージすること、及び
交通標識の三角形、逆三角形、矩形、又は八角形を区別するために端点により画定される内角の和を計算すること
により行う方法。
【請求項５】
請求項１に記載の方法において、前記分類を、
確率的ハフ変換を使用して前記形状における線を検出すること、
線分を判定し、同じ線に属する場合に続いてそれらをマージすること、及び
交通標識の円形又は楕円形を区別するために候補交通標識の長軸長及び短軸長を検出すること
により行う方法。
【請求項６】
請求項１に記載の方法において、交通標識の前記形状の認識データを使用することを特徴とする、運転者に警告する措置をさらに含む方法。
【請求項７】
請求項１に記載の方法において、前記デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができる方法。
【請求項８】
交通標識を検出及び認識するロバストな装置において、照明不変であり、
画像の取り込み用に車両に配置したデジタルカラー暗視カメラと、
該デジタルカラー暗視カメラに埋め込んだ、前記交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析するプロセッサと
を備えることを特徴とする装置。
【請求項９】
請求項８に記載の装置において、前記交通標識の形状の認識データを使用することを特徴とする、運転者に警告する警報手段をさらに含む装置。
【請求項１０】
請求項８に記載の装置において、前記デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができる装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、包括的には交通標識の検出及び認識に関し、より詳細には、種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法に関する。
【背景技術】
【０００２】
交通安全機能及び運転者補助機能は、自動車設計及び製造業界にとって非常に重要である。歩行者を巻き込む交通事故は、昼間よりも夜間の方がはるかに多発する。世界的に、道路交通事故による毎年の死者数は約１２０万人と見積もられ、一方で負傷者数は５，０００万人にも上ると見積もられる。したがって、世界５大都市を合わせた人口が、このような望ましくない回避できる交通事故の犠牲になっている。このような事故の死者の多くは歩行者である。このような交通事故に関与する重要な要因の１つは、運転者の視界の狭さと関係した運転者の無知である。多くの場合、運転者に警告できたはずの、そしてその後の望ましくない一連の事象を避けられたはずの交通標識及び関連物体の検出及び認識が困難となる。したがって、改善された交通信号検出システム、認識システム、及びアラームシステムを車両が備えていれば、歩行者の死亡又は重傷が少なくなるであろう。
【０００３】
自動車に交通標識を検出及び認識するシステム、装置、デバイス、又は方法がないことが、長年の問題である。
【０００４】
したがって、下記の交通標識検出及び認識における既存の欠点（lacunae）のいくつかを緊急に解決する必要がある。
・昼間及び夜間条件に関係なく種々の交通標識を検出すること（照明不変）、
・種々の交通標識をロバストに検出すること、
・カメラが取り込んだ画像におけるノイズに起因した歪みに影響されない種々の交通標識の検出、
・交通標識の製造時の問題及び異なる視距離に起因した形状歪みに影響されない種々の交通標識の検出、又は
・検出した交通標識をロバストに認識すること、
・交通標識及び他の関連物体を認識したら運転者警告戦略を提供すること、及び
・既存の従来システムへの解決手段のインストールが単純で簡単であること。
【０００５】
既知の交通標識の検出及び認識を扱う発明のいくつかは、以下の通りである。これらのいずれも、上述の欠点に対処していない。
【０００６】
Gideon Steinにより出願された特許文献１は、車両に搭載したシステムを使用した方法の提供に関して開示している。このシステムは、リアビューカメラ及びリアビューカメラに取り付けたプロセッサを含む。運転者が車両をバックギアに入れ、車両が静止したままである間に、車両背後のすぐ近くから画像フレームが取り込まれる。車両背後のすぐ近くがリアビューカメラの視野内にある。画像フレームが処理されることにより、車両背後のすぐ近くにある場合に車両の動きを妨げるであろう物体が検出される。
【０００７】
Zvi Haim Levにより出願された特許文献２は、撮像能力を有するセルラー／無線デバイスを使用した確実なコンテンツアクセスのシステム及び方法であって、基準を識別及び使用して当該基準に関する情報、サービス、又はコンテンツにアクセスするために、印刷又は表示媒体の一部を使用する方法において、基準の画像を撮像デバイスで取り込むステップと、通信ネットワークを介して処理センターへ画像を送るステップと、画像内の関連フレームを識別して汎用の強調操作を行うよう前処理するステップと、画像内で最も関連のあるフレーム及びフレーム特性を検出するステップと、幾何学的補正、照明補正、及び焦点補正を関連フレームに施すステップと、色、アスペクト比、及びフレーム色を使用して粗認識を行うことにより、関連フレーム内の基準の可能な識別数を制限するステップと、リシーリング、ヒストグラムイコライゼーション、ブロックラベリング、エッジ操作、及び正規化相互相関といった特別な技法を使用して、画像内の基準を識別するステップとを含むシステム及び方法に関して開示している。
【０００８】
したがって、当該技術分野の上述の背景に鑑みて、インストールが単純且つ簡単であり低コストで高確度を提供する、運転者警告戦略を用いて交通標識及び他の関連物体の種々の形状を検出及び認識する装置、デバイス、システム、及び方法が必要であることが明らかである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国出願公開第２００８／０２６６３９６号明細書
【特許文献２】米国特許第７，５７５，１７１号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
主な目的は、種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供することである。
【００１１】
別の重要な目的は、既存の従来システムへのインストール及び組み込みが単純且つ簡単な、種々の交通標識を検出及び認識する照明不変且つロバストな装置を提供することである。
【００１２】
さらに別の目的は、種々の交通標識及び他の関連物体の三角形、逆三角形、矩形、円形、及び八角形等の形状を検出する体系的方法を提供することである。
【００１３】
さらに別の目的は、カメラが取り込んだ画像におけるノイズに起因した歪みに影響されない種々の交通標識を検出する装置及び方法を提供することである。
【００１４】
別の目的は、交通標識の製造時の問題及び異なる視距離に起因した形状歪みに影響されない種々の交通標識を検出する装置及び方法を提供することである。
【００１５】
さらに別の目的は、検出した交通標識を認識する体系的方法を提供することである。
【００１６】
さらに別の目的は、交通標識及び他の関連物体を認識したら運転者警告戦略を提供することである。
【課題を解決するための手段】
【００１７】
本発明の装置、方法、及びハードウェアの実施可能性を説明する前に、本開示において明示的に説明しない複数の可能な実施形態があり得るので、記載した特定の装置及び方法に本願を限定しないことを理解されたい。説明中で使用する用語は、特定の変形形態又は実施形態のみを説明するためのものであり、添付の特許請求の範囲によってのみ限定される本願の範囲を限定する意図はないことも理解されたい。
【００１８】
本願は、運転者警告戦略を用いて種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供する。
【００１９】
本願は、交通標識を検出及び認識するロバストな装置であって、照明不変であり、画像の取り込み用に車両に配置したデジタルカラー暗視カメラを備え、当該デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができることを特徴とする、ロバストな装置を具現する。好適な実施形態では、上記カラー暗視カメラを車両の前に配置し、車両は、自動交通システム（automatic transportation system）における複数の車両を含み、特に二輪車両、三輪車両、及び四輪車両等を含む。プロセッサが、交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析する。当該プロセッサは、コンピュータ、ラップトップ、ＰＤＡ、マイクロプロセッサ、マイクロコントローラ、及び任意の他のコンピューティングデバイスの群から選択することができる。好適な実施形態では、上記プロセッサはマイクロプロセッサである。好適な実施形態では、マイクロプロセッサをデジタルカラー暗視カメラの本体内に埋め込む。
【００２０】
一態様では、デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、種々のプロセッサ実施ステップを含むことを特徴とする。
【００２１】
別の態様では、最初に、少なくとも１つの交通標識に関連する複数のリアルタイム画像をデジタルカラー暗視カメラに使用により取得し、当該デジタルカラー暗視カメラは、任意の既知のデジタルカラー暗視カメラであり得る。
【００２２】
リアルタイム画像の複数のウィンドウフレームを取得したら、プロセッサの使用により、画像をＨＳＶカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出し、上記画像は、好適な一実施形態によればＲＧＢ画像である。
【００２３】
一態様では、ＲＧＢ画像をＨＳＶカラーモデルに変換したら、プロセッサにより、ＨＳＶカラーモデルにおけるノイズ成分を物体対称形状特性に基づきフィルタリングする。
【００２４】
別の態様では、プロセッサによりノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出する。
【００２５】
別の態様では、別個の物体を検出したら、判定した別個の物体の形状に基づきプロセッサにより交通標識の形状を分類する。
【００２６】
別の態様では、交通標識の形状を分類したら、プロセッサによりテンプレートマッチングを使用して交通標識の分類形状を認識する。
【００２７】
さらに別の態様では、交通標識の形状の認識データの使用を特徴とする運転者に警告する、警報手段を提供し、警報手段は、限定はしないが、アラーム、音声ベースの警告、ディスプレイ付きインジケータを含む、聴覚及び視聴覚デバイスであり得る。
【００２８】
上記の概要及び下記の好適な実施形態の詳細な説明は、添付図面と共に読めばより良く理解される。図面に例示的な実施形態を示す。用途は、図面に開示した特定の装置、システム、デバイス、及び方法に限定されない。
【図面の簡単な説明】
【００２９】
【図１】交通標識及び他の関連物体を検出及び認識する照明不変且つロバストな方法を示す。
【図２】交通標識認識の階層的戦略を示す。
【図３】楕円と、楕円の第１楕円点、第２楕円点、第３楕円点、及び中心点の座標とのグラフィック表現を示す。
【発明を実施するための形態】
【００３０】
特徴を示すいくつかの実施形態を、次に詳細に説明する。「備える」、「有する」、「収容する」、及び「含む」という字句、並びにそれらの他の形態は、これら字句のいずれか１つに伴う１つ又は複数の事項が当該事項を網羅的に列挙したものを意味するのではなく、列挙した事項のみに限定することを意味するものでもないという点で、同等の意味を有すると共に非限定的であることが意図される。本明細書及び添付の特許請求の範囲で使用する場合、単数形の不定冠詞及び定冠詞（"a," "an," and "the"）は、別段の明確な指示がない限り、複数の指示対象を含むことにも留意しなければならない。本明細書に記載のものと同様又は等価な任意の方法及びシステムを実施形態の実施又は試験に使用することができるが、好適な方法及びシステムを次に説明する。開示した実施形態は例示にすぎない。
【００３１】
本願は、運転者警告戦略を用いて種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供する。
【００３２】
本願は、交通標識を検出及び認識するロバストな装置であって、照明不変であり、画像の取り込み用に車両に配置したデジタルカラー暗視カメラを備え、当該デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができることを特徴とする、ロバストな装置を具現する。好適な実施形態では、上記カラー暗視カメラを車両の前に配置し、車両は、自動交通システムにおける複数の車両を含み、特に二輪車両、三輪車両、及び四輪車両等を含む。プロセッサが、交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析する。当該プロセッサは、コンピュータ、ラップトップ、ＰＤＡ、マイクロプロセッサ、マイクロコントローラ、及び任意の他のコンピューティングデバイスの群から選択することができる。好適な実施形態では、上記プロセッサはマイクロプロセッサである。好適な実施形態では、マイクロプロセッサをデジタルカラー暗視カメラの本体内に埋め込む。
【００３３】
図１は、交通標識及び他の関連物体を検出及び認識する照明不変且つロバストな方法を示す。一実施形態では、デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、種々のプロセッサ実施ステップを含むことを特徴とする。
【００３４】
上記ロバストな方法は、種々のプロセッサ実施ステップを含む。方法案の第１ステップにおいて、デジタルカラー暗視カメラが、車両の前にある少なくとも１つの交通標識に関連する複数のリアルタイム画像を連続的に取り込む（１１０）。一実施形態によれば、プロセッサは、デジタルカラー暗視カメラにおいてカラーセグメンテーションアルゴリズムを使用してＲＧＢ画像を撮像するコードを実行する。方法案の第２ステップにおいて、プロセッサは、上記ＲＧＢ画像をＨＳＶ色空間に変換する（１２０）コードを実行するが、ＨＳＶ色空間が選択されるのは、色相が乗算／スケール不変、加算／シフト不変、且つ彩度変化の下で不変であるので、光条件の変動に対して不変だからである。色相は、照明が白色である場合に物体に対する影及びハイライトに影響されない。
【００３５】
別の実施形態によれば、プロセッサは、カラーセグメンテーションアルゴリズムを使用して画像の各画素をＲＧＢからＨＳＶ色空間に変換し、色、強度、及び不純物の個別情報を有するようにするコードを実行する。プロセッサは、次式を使用して入力画像内の各画素の赤色値、緑色値、及び青色値をＨＳＶ色値に変化する。
【００３６】
【数１】
2013529348.tif 000003
【００３７】
式中、ＲＧＢであるｒ、ｇ、ｂは、画素の色値（０−２５５）であり、ｍ及びｎは、ｒ、ｇ、ｂの最大値及び最小値であり、ｈ、ｓ、ｖは、それぞれ画素の色相（０−３６０）、彩度（０−１．０）、及び値（０−１．０）を示す。
【００３８】
方法案の第３ステップにおいて、ＲＧＢ画像をＨＳＶ色空間に変換したら、プロセッサは、画像データ量を減らすために色量子化を使用して所望の色成分を抽出すると共に（１３０）、８色平面のそれぞれを２値画像として処理することにより交通標識検出の処理を簡略化し、このとき色、強度、及び不純物の範囲は非常に大きい。
【００３９】
好適な実施形態では、色量子化方式は以下のように要約される。ｈ、ｓ、ｖをＨＳＶドメイン色値とし、ｓ及びｖを［０，１］間で正規化する。これは、特定のｒ、ｇ、ｂ値及びインデックスが量子化ビンインデックスであるからである。
【００４０】
ここで、純粋な黒色領域は、ｖ∈［０，０．２］で見付けることができ、インデックス＝０である。
灰色領域は、ｓ∈［０，０．２］、ｖ∈［０．２，０．８］で見付けることができ、
2013529348.tif 000004
である。
白色領域は、ｓ∈［０，０．２］、ｖ∈［０．８，１．０］で見付けることができ、インデックス＝７である。
色領域は、ｈ値毎にｓ∈［０．２，１．０］及びｖ∈［０．２，１．０］で見付かる。
Ｈｉｎｄｅｘ、Ｓｉｎｄｅｘ、及びＶｉｎｄｅｘをｈ、ｓ、ｖの値毎の量子化インデックスとする。
【００４１】
【数２】
2013529348.tif 000005
【００４２】
次のステップにおいて、プロセッサは、次式を使用してヒストグラムビンインデックスを計算するコードを実行する。
2013529348.tif 000006
【００４３】
方法案の第４ステップにおいて、プロセッサは、全ての交通標識が規則的な形状でありエッジにおいて対称性を示す物体対称形状特性に基づき、ＨＳＶカラーモデルにおけるノイズ成分をフィルタリングするコードを実行する。画像内のノイズを識別してそれをフィルタリングするために（１４０）、プロセッサは以下のステップを実行する。
【００４４】
第１ステップにおいて、次式を使用して物体の重心Ｃｘ及びＣｙ（関心領域すなわちＲＯＩ）をトラバース計算する。
【００４５】
【数３】
2013529348.tif 000007
【００４６】
次のステップにおいて、各ＲＯＩに沿って左から水平に横行し、第１ストロークで現れる要素のみを考慮する。「ｘ」及び「ｙ」が第１ショットで現れる画素成分の座標を表すものとし、「ｌｅｆｔ＿Ｃｏｕｎｔ」が第１ストロークで現れる要素の数とする。
【００４７】
次のステップにおいて、第１ショットで現れる重心から左側要素までの距離を計算する。この距離を左距離「ｌｅｆｔ＿ｄｉｓｔａｎｃｅ」と称する。
【００４８】
次のステップにおいて、第１ストロークで現れる重心から右側要素までの距離を計算する。この距離を右距離「ｒｉｇｈｔ＿ｄｉｓｔａｎｃｅ」と称する。
【００４９】
定形物体の場合、
和（ｌｅｆｔ＿ｄｉｓｔａｎｃｅ／ｒｉｇｈｔ＿ｄｉｓｔａｎｃｅ）≒最大（ｌｅｆｔ＿ｃｏｕｎｔ，ｒｉｇｈｔ＿ｃｏｕｎｔ）
であることが観察された。
【００５０】
次のステップにおいて、プロセッサは、上記条件に反する物体をノイズとみなしてそれ以上処理することを考慮しない場合、この条件を使用してノイズを識別及びフィルタリングするコードを実行する。
【００５１】
方法案の第５ステップにおいて、プロセッサは、キャニーエッジ検出アルゴリズムを使用してノイズ成分除去画像における物体のエッジを抽出する（１５０）コードを実行する。
【００５２】
このステップは、物体の境界を識別するのに役立ち、物体の境界はさらに、画像内の異なる物体間を正確に区別するのに必要となる。キャニーエッジ検出は、プロセッサが実行する以下のステップを使用して、検出基準に最適なエッジ検出器の獲得、ローカリゼーション、及び複数応答の単一エッジへの最小化の原理を扱う。
【００５３】
第１ステップにおいて、プロセッサは、強度勾配を求めるコードを実行し、画像内の各画素における強度勾配を、Ｓｏｂｅｌオペレータの適用により求める。第１ステップは、以下のカーネル方程式を使用してＸ方向及びＹ方向の勾配を近似することである。
【００５４】
【数４】
2013529348.tif 000008
【００５５】
エッジ強度としても知られる勾配の大きさは、ユークリッド距離測定により求める。
【００５６】
【数５】
2013529348.tif 000009
【００５７】
式中、Ｇｘ及びＧｙは、ｘ方向及びｙ方向それぞれの勾配である。エッジの方向は次式により求める。
【００５８】
【数６】
2013529348.tif 000010
【００５９】
次のステップにおいて、プロセッサは、以下のステップを使用してぼけ画像をエッジの鮮明な画像に変換するコードを実行する。
１．勾配方向を最も近い４５°に回転させ、８連結性を使用する。
２．現在のピクセルのエッジ強度を正及び負の勾配方向の画素のエッジ強度と比較する。すなわち、勾配方向が北（θ＝９０°）の場合、南北の画素と比較する。
３．現在の画素のエッジ強度が大きい場合、エッジ強度の値を保存する。そうでない場合は値を除去する。
【００６０】
次のステップにおいて、プロセッサは、２重閾値処理のためにキャニーエッジ検出アルゴリズムを使用するコードを実行する。高閾値よりも強いエッジ画素を強とし、低閾値よりも弱いエッジ画素を弱とする。
【００６１】
次のステップにおいて、プロセッサは、ヒステリシスを使用してエッジを検出するコードを実行し、強エッジは最終エッジ画像に含まれるが、弱エッジは強（atrog）エッジ画素に連結されたとき且つそのときに限り含まれる。
【００６２】
方法案の第６ステップにおいて、プロセッサは、連結成分ラベリングアルゴリズム（１６０）を使用して画像内の別個の物体を検出するコードを実行する。連結成分ラベリングを行い、画像内の連結領域を検出する。これは２つのステップ手法を使用して求める。
・画像を画素毎に左から右及び上から下へ走査する。Ｐは、走査プロセスにおける現在の画素であり、４−ｎｂｒは、ＰのＮ、ＮＷ、ＮＥ、Ｗ方向の４つの隣接画素である。Ｐの値及びその４−ｎｂｒの値に応じて、ラベルをＰに割り当てる。ｐが０である場合、次の走査位置へ進む。Ｐが１であり、４−ｎｂｒの全値が０である場合、新たなラベルをＰに割り当てる。４−ｎｂｒの１つの値のみが０でない場合、その値をＰに割り当てる。４−ｎｂｒの２つ以上の値が０でない場合、ラベルの１つをＰに割り当て、４−ｎｂｒのラベルを等価であるとする。
・物体のサイズを、連結成分ラベリングした物体のＸ最小値、Ｘ最大値、Ｙ最小値、及びＹ最大値を知ることにより求める。
・最後に、閾値未満の値を有する物体を削除する。
【００６３】
方法案の第７ステップにおいて、プロセッサは、判定した別個の物体の形状に基づき交通標識の種々の形状を分類する（１７０）コードを実行する。閾値レベル未満である物体全部を削除した後に、連結成分ラベリングにより物体を見付ける。これらの物体は、三角形、逆三角形、矩形、八角形、円形、楕円形、又は任意の形状であり得る。
【００６４】
三角形、逆三角形、矩形、又は八角形の検出
プロセッサは、以下のステップを実行して三角形、逆三角形、矩形、又は八角形を分類する。第１ステップにおいて、プロセッサは、確率的ハフ変換を使用して形状における線を検出するコードを実行する。第２ステップにおいて、プロセッサは、線マージアルゴリズムを使用して、実際に同じ線に属する線分を判定してそれらをマージするコードを実行する。そして最終ステップにおいて、プロセッサは、交通標識のこれら異なる形状を区別するための線マージアルゴリズムの端点により画定される内角の和を計算するコードを実行し、これにより交通標識の三角形、逆三角形、矩形、又は八角形が正確に検出される。
【００６５】
例示的な一実施形態によれば、三角形、逆三角形、矩形、又は八角形の分類は、以下のプロセッサ実施ステップを含む。三角形、逆三角形、矩形、又は八角形としての物体の形状を求めるために、確率的ハフ変換（Progressive Probabilistic Hough transform）を使用する。ハフ変換は、物体における線の数を求めるのに使用される。しかしながら、ハフ変換は、任意形状の物体における有限数の線を求めるのに最速のものではない。したがって、確率的ハフ変換と称するハフの別の変形を使用して、物体における有限線数を求める。確率的ハフ変換は以下のステップを含む。
１．  入力エッジ画像（ＭＩＧ１）のコピー（ＩＭＧ２）を作成する。
２．  ＩＭＧ２が空の場合は終了する。
３．  ＩＭＧ２から無作為に選択した画素でアキュムレータを更新する。
４．  画素をＩＭＧ２から除去する。
５．  変更したアキュムレータ（ＢＩＮＸ）における最大値を有するビンが閾値よりも小さい場合、（１）へ進む。
６．  ＢＩＮＸにより指定されたコリド（corridor）に沿ってＩＭＧ１内を探索し、所与の閾値を超えない連続的な又は隙間を示す画素の最長セグメントを探し出す。
７．  セグメント内の画素をＩＭＧ２から除去する。
８．  ＢＩＭＸをクリアする。
９．  検出した線分が所与の最短長よりも長い場合、それを出力リストに追加する。
１０．  （２）へ進む。
【００６６】
確率的ハフ変換は、形状における線の数を返す。線マージアルゴリズムをプロセッサにより実施して、実際に同じ線に属する線分を見付けてそれらをマージする。このアルゴリズムは、以下のプロセッサ実施ステップを含む。
１．  線分を「ｉ」及び「ｊ」とする。「ａ」及び「ｂ」は線分「ｉ」の座標であり、「ｃ」及び「ｄ」は線分「ｊ」の座標である。
２．  ＸＧ及びＹＧをマージした線の重心とする。
【００６７】
【数７】
2013529348.tif 000011
【００６８】
３．  マージした線θｒの向きは、セグメントｉ（θｉ）及びセグメンテーションｊ（θｊ）の向きの加重和である。マージした線θｒの向きは、以下の用に与えられる。|θｉ−θｊ|≦π／２である場合に与えられる。このとき、
【００６９】
【数８】
2013529348.tif 000012
【００７０】
式中、ｌｉ、ｌｊ及びθｉ、θｊは、それぞれセグメントｉ及びｊの長さ及び方向を表す。
４．  重心（ＸＧ、ＹＧ）を中心とし、マージした線の方向θｒと平行なＸＧ軸を有するフレーム（ＸＧ、ＹＧ）。
５．  フレーム（ＸＧ、ＹＧ）における両セグメントの端点ａ、ｂ、ｃ、及びｄの座標を求める。座標変換は、並進に続く回転である。
δＸＧ＝（δｙ−ｙＧ）ｓｉｎθｒ＋（δｘ−ｘＧ）ｃｏｓθｒ
δＹＧ＝（δｙ−ｙＧ）ｃｏｓθｒ＋（δｘ−ｘＧ）ｓｉｎθｒ
式中、（δＸＧ，δＹＧ）は、フレーム（ＸＧ、ＹＧ）における点δの座標である。
６．  さらに離れた４つの端点ａ、ｂ、ｃ、及びｄの軸ＸＧ上の２つの正射影は、マージした線の端点を定める。
７．  線間の角度の和が約１８０°である場合、物体形状は三角形として認識される。
８．  ２つの連続した線間の角度が１３５°である場合、形状は八角形として認識される。
９．  ２つの連続した線間の角度が９０°であり、角度の和が３６０°である場合、形状は矩形として認識される。
【００７１】
上記方法案は、ある種の歪みを有し且つ完全な形状でない場合のある交通標識でさえも高確度で検出すること、及びデジタルカラー暗視カメラが取り込んだ画像におけるノイズに起因した歪みや、現実の（real word）交通標識における、交通標識の製造時の問題及び異なる視距離に起因して完全な三角形、逆三角形、矩形、又は八角形からずれるような形状歪みを含み得る、交通標識の三角形、逆三角形、矩形、又は八角形をロバストに検出することを確実にする。
【００７２】
円形又は楕円形の検出
プロセッサは、以下のステップを実行して三角形、逆三角形、矩形、又は八角形を分類する。第１ステップにおいて、プロセッサは、確率的ハフ変換を使用して形状における線を検出するコードを実行する。第２ステップにおいて、プロセッサは、線マージアルゴリズムを使用して、実際に同じ線に属する線分を判定してそれらをマージするコードを実行する。そして最終ステップにおいて、プロセッサは、候補交通標識の長軸長及び短軸長に基づく楕円検出アルゴリズムを使用して、交通標識の円形又は楕円形を検出するコードを実行するが、このとき現実の円形標識は、異なる距離から見ると、また交通標識の円形の製造時の問題に起因して、正確に円形ではない。リアルタイムの円形標識の大半は円形ではなく楕円形のカテゴリに入ったので、プロセッサが実施するこのアルゴリズムは、最適且つより正確であることが分かる。
【００７３】
例示的な一実施形態によれば、プロセッサが実施するアルゴリズムは、交通標識の楕円形又は円形を分類するために以下のステップを含む。
１．  全エッジ画素を１次元配列に格納する。
２．  アキュムレータ配列をクリアする。
３．  各画素（ｘ１，ｙ１）について、図３に示すように以下のステップ（４）〜（１４）を実行する。
４．  他の各画素（ｘ２，ｙ２）について、（ｘ１，ｙ１）と（ｘ２，ｙ２）との間の距離が考慮対象の画素対に必要な最短距離よりも大きい場合、以下のステップ（５）〜（１４）を実行する。
５．  画素対（ｘ１，ｙ１）及び（ｘ２，ｙ２）から、方程式（１）〜（４）を使用して、想定楕円の長軸の中心、向き、及び長さを計算する。
ｘ０＝（ｘ１＋ｘ２）／２          （１）
ｙ０＝（ｙ１＋ｙ２）／２          （２）
ａ＝［（ｘ２−ｘ１）２＋（ｙ２−ｙ１）２］１／２／２          （３）
α＝ａｔａｎ［（ｙ２−ｙ１）／（ｘ２−ｘ１）］          （４）
６．  各第３画素（ｘ，ｙ）について、（ｘ，ｙ）と（ｘ０，ｙ０）との間の距離が考慮対象の画素対に必要な最短距離よりも大きい場合、以下のステップ（７）〜（９）を実行する。
７．  方程式（５）及び（６）を使用して短軸の長さを計算する。
ｂ２＝（ａ２ｄ２ｓｉｎ２τ）／（ａ２−ｄ２ｃｏｓ２τ）
式中、ｃｏｓτは、ｃｏｓτ＝（（ａ２＋ｄ２−ｆ２）／（２ａｄ）である。
８．  この短軸の長さについてアキュムレータを１増やす。
９．  この画素対に関して全画素が計算されるまでループする。
１０．  アキュムレータ配列内の最大要素を求める。関連する長さは、想定楕円の短軸の予想長さである。得票が想定楕円に必要な最小数よりも多い場合、１つの楕円が検出される。
１１．  楕円パラメータを出力する。
１２．  検出した楕円上の画素をエッジ画素配列から除去する。
１３．  アキュムレータ配列をクリアする。
１４．  全画素対が計算されるまでループする。
１５．  検出した楕円を原画像に重ねる。
１６．  終了。
【００７４】
方法案の最終ステップにおいて、プロセッサは、（図２に簡単に示すように）テンプレートマッチングにより交通標識の分類形状を認識する（１８０）コードを実行する。
【００７５】
例示的な一実施形態によれば、検出した交通標識の種々の形状の認識は、種々のプロセッサ実施ステップを含む。
【００７６】
交通標識を認識するために、回転及びスケーリングに対して不変のテンプレートマッチングを利用する。物体の形状を検出すると、プロセッサは、テンプレートマッチングアルゴリズムを使用して、形状内の画像を抽出してデータベース内の既存のテンプレートと照合するコードを実行する。プロセッサが実施するテンプレートマッチングアルゴリズムは、以下のステップを含む。
【００７７】
１）第１ステップ（半径方向フィルタリング）：半径方向サンプリングフィルタは、入力画像「Ａ」及びテンプレート画像「Ｑ」の投影を使用する。これらの画像に基づき、プロセッサが実施する半径方向フィルタリングアルゴリズムは、入力画像の傾斜角度を与える。半径方向サンプリングは、１つの頂点が（ｘ，ｙ）、長さがλ、及び傾斜がαの放射状線により位置付けられるＢの画素の平均グレースケールである。
【００７８】
【数９】
2013529348.tif 000013
【００７９】
２）テンプレートＱ及びｍ個の角度傾斜の組（α０、α１、．．．、αｍ−１）があるとして、λ＝ｒｌ−１（最大サンプリング円半径）を使用してＱを放射状にサンプリングし、ｍ個の特徴でベクトルＲＱを得る。
【００８０】
【数１０】
2013529348.tif 000014
【００８１】
式中、（ｘ０，ｙ０）は画像Ｑの中心画素である。
【００８２】
３）半径方向フィルタリングは、ベクトルＲＡ［ｘ，ｙ］と、ＲＱと、コントラスト閾値及び輝度閾値ｔβ及びｔγとを使用して、ベストマッチ角度での半径方向サンプリング相関ＲａｓＣｏｒｒを検出する。
【００８３】
【数１１】
2013529348.tif 000015
【００８４】
式中、ｃｓｈｉｆｔｊは、引数ベクトルのｊ個の位置の循環シフトを意味する。
【００８５】
・最終ステップ（テンプレートマッチングフィルタ）：プロセッサが実施するテンプレートマッチングフィルタは、テンプレート画像Ｑと入力画像Ａとのコントラスト／輝度知覚相関を計算する。相関の絶対値が何らかの閾値ｔを超える場合、テンプレートは画素（ｘ，ｙ）で見付かったとみなされる。
【００８６】
図２は、交通標識認識の階層的戦略を示す。別の実施形態によれば、プロセッサは、テンプレートマッチングにより交通標識の分類形状を認識するコードを実行し、このとき交通標識の形状は、３つのカテゴリ、すなわち円形、三角形、及び逆三角形に大まかに分類される。円形は、２つのカテゴリ、すなわちカテゴリ１及びカテゴリ２に分類することができる。カテゴリ１は、Ｕターン禁止、右折禁止、歩行者通行禁止、追い越し禁止等の交通標識を含む。カテゴリ２は、停車禁止及び駐車禁止等の交通標識を含む。三角形は、カテゴリ３として分類することができる。カテゴリ３は、一方通行又は左折及び横断歩道等の交通標識を含む。逆三角形は、カテゴリ４として分類することができ、カテゴリ４は、徐行（give way）等の交通標識を含む。
【００８７】
一実施形態によれば、上記方法案は、交通標識の形状の認識データの使用を特徴とする、運転者に警告する措置も提供し、この措置は、車両内に配置した警報手段とすることができ（cab be）、警報手段は、アラーム、音声ベースの警告、ディスプレイ付きインジケータを含む、聴覚及び視聴覚デバイスであり得る。
【００８８】
一実施形態によれば、種々の交通標識を検出及び認識する照明不変且つロバストな装置は、既存の従来システムへのインストール及び組み込みが簡単である。
【００８９】
本明細書に記載の構成の図は、種々の実施形態の構造を全般的に理解させることを意図したものであり、本明細書に記載の構造を利用し得る装置及びシステムの要素及び特徴の全てを完全に説明する役割を果たすことを意図したものではない。多くの他の構成が、上記説明を読めば当業者には明らかとなるであろう。それらから他の構成を利用し導き出すことができ、本開示の範囲から逸脱することなく構造的及び論理的置換及び変更を行うことができる。図は、単に描写的なものでもあり、一定の縮尺で描かれていない場合がある。図の特定の割合が誇張される一方で、他のものが最小化されている場合がある。したがって、本明細書及び図面は、限定的ではなく例示的な意味でみなされるものとする。
【００９０】
上記説明は、種々の実施形態を参照して提示されている。本願が属する技術分野の当業者であれば、原理及び範囲から有意に逸脱することなく説明した構造及び動作方法の修正及び変更を実施できることを理解するであろう。
【図１】
2013529348.tif 000016
【図２】
2013529348.tif 000017
【図３】
2013529348.tif 000018
【国際調査報告】
2013529348.tif 000019