(57)【要約】【課題】特に自動車に配置された撮像デバイスの視界範囲内の環境の画像内の、好ましくは道路に関連する既知の形状の、特に道路標識の対称物体を検出する方法を提供すること。【解決手段】撮像デバイスによって画像が撮像され、画素またはその一部を含み、そのつどプリセットされた対称度を超える少なくとも１つの画像領域が、撮像された撮像内、または撮像された画像から画像処理によって生成された画像内で判定され、それぞれの関連する画像部分が後の形状認識のために、少なくとも１つの画像領域またはその一部に関連して判定され、そのつど対称物体の潜像を検出するために、形状認識が少なくとも１つの関連画像部分だけで実行される。【選択図】図３
2009048629.tif 000002
【特許請求の範囲】
【請求項１】
特に自動車に配置された撮像デバイスの視界範囲内の環境の画像（２５）内の、好ましくは道路に関連する、特に道路標識の、既知の形状の対称物体を検出する方法であって、
前記撮像デバイスによって画像が撮像されるステップ（１１）と、
画素（１９）またはその一部（３３、３５）を含み、そのつどプリセットされた対称度を超える少なくとも１つの画像領域が、前記撮像された撮像内、または前記撮像された画像から画像処理によって生成された画像（２５）内で判定されるステップ（１５）と、
それぞれの関連する画像部分が後の形状認識（１７）のために、前記少なくとも１つの画像領域または前記その一部（３３、３５）に関連して判定されるステップと、
そのつど前記対称物体の潜像（２９）を検出するために、前記形状認識（１７）が前記少なくとも１つの関連画像部分内だけで実行されるステップと、を含む方法。
【請求項２】
前記処理された画像（２５）を生成するためにエッジ認識が行われ（１３）、勾配画像（２５）が特に、勾配ベクトルまたは好ましくは発生する２値エッジ画像を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの画像領域の前記対称度がそのつど、線（３３、３５）に対して互いに反対に配置された前記勾配画像（２５）の前記画素（１９）の前記勾配ベクトルの比較によって判定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記少なくとも１つの画像領域がそのつど、特に、好ましくは垂直な対称線（３３、３５）に対して鏡面対称性を有することを特徴とする請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記少なくとも１つの画像領域、または前記その一部（３３、３５）の前記判定が、前記撮像された画像または生成された画像（２５）の選択された領域内でのみ実行されることを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記少なくとも１つの画像領域、または前記その一部（３３、３５）の前記判定が、前記物体の前記画像（２９）の予期されるサイズの予測を考慮に入れつつ実行されることを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つの関連する画像部分の前記判定が、前記物体の前記画像（２９）の予期されるサイズの予測を考慮に入れつつ実行されることを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
コンピュータプログラムがコンピュータまたは対応する演算ユニットで実行される場合に、請求項１から７のいずれか一項に記載の方法を実行するためのプログラムコード手段を有するコンピュータプログラム。
【請求項９】
コンピュータプログラムがコンピュータまたは対応する演算ユニットで実行される場合に、請求項１から７のいずれか一項に記載の方法を実行するための、コンピュータ可読データ記憶媒体に記憶されたプログラムコード手段を有するコンピュータプログラム製品。
【請求項１０】
特に自動車に配置された撮像デバイスの視界範囲内の環境の画像（２５）内の、好ましくは道路に関連する、特に道路標識の、既知の形状の対称物体を検出する装置であって、画像を撮像するためのカメラデバイスと、請求項１から７のいずれか一項に記載の方法を実行するようにされたデータ処理デバイスとを備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に自動車に配置された撮像デバイスの視界範囲内の環境の画像内の、好ましくは道路に関連する既知の形状の、特に道路標識の対称物体を検出する方法に関する。
【背景技術】
【０００２】
道路標識を認識するためのシステムは、例えば道路で検出される道路標識の図形表示のヘッドアップディスプレイを介した自動車のフロントガラスへの投影によって、自動車のドライバーに道路上の道路標識の情報を与えるために使用可能である。しかし、道路標識を認識するためのシステムは、例えばスピード違反の場合に運転速度を許可された最大速度へ自動的に落とすための運転支援システムとしても使用可能である。
【０００３】
道路標識を認識するために自動車の前の環境を撮像し、道路標識があるかどうかをチェックするカメラが使用される。道路標識の認識は例えば２段階で実行されることができる。第１段階（検出）では、撮像された画像内の道路標識の画像の潜在的な候補の位置を特徴抽出によって発見することが問題である。これは例えば、幾何形状を認識する役割を果たすハフ変換によって、または同色の連続領域が認識されるカラーセグメンテーションによって行うことができる。第２段階（分類）は先ず、それぞれの候補が実際に道路標識の画像であるか否かを判定し、そうである場合は、次いで撮像された道路標識の種類を判定する目的をもっている。これは、例えばテンプレートマッチングによって行うことができる。
【０００４】
しかし、データ処理デバイスによって実行されるこのような道路標識の認識には高度の演算努力を要し、その結果、演算時間が長くなる。その上、このような道路標識認識の頑健性は不十分である。
【非特許文献１】Ｂａｒｎｅｓら、「Ｒｅｇｕｌａｒ  Ｐｏｌｙｇｏｎ  Ｄｅｔｅｃｔｉｏｎ」、Ｔｅｎｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、７７８、２００５年
【特許文献１】欧州特許出願第０７  ０１４  ９２４．０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の根本的な目的は対称物体の検出のための演算時間を削減し、かつ／またはこの種の検出の頑健性を高める可能性を提示することにある。
【課題を解決するための手段】
【０００６】
この目的は、画像、特にデジタル画像が撮像デバイス、特にデジタル撮像デバイスによって撮像され、画素またはその一部を含み、そのつどプリセットされた対称度を超える少なくとも１つの画像領域が、撮像された画像内、または撮像された画像から画像処理によって生成された画像内で判定され、それぞれの関連する画像部分が後の形状認識のために少なくとも１つの画像領域またはその一部に関連して判定され、対称物体の潜像を検出するためにそのつど少なくとも１つの関連する画像部分内のみで形状認識が実行される上記の種類の方法によって達成される。
【０００７】
対称物体の検出は２つの方法ステップに分けることができる。
【０００８】
画像内の対称物体は対応する対称物体領域を生ずるので、第１の方法ステップで、撮像された画像、または撮像された画像から得られた画像内で少なくとも特定の最小限の対称度を有する画像領域が探索される。次いで、それぞれ関連する画像部分がこのような画像領域またはその一部から判定される。画像領域の一部は特に、好ましくは画像領域の垂直な対称線である。関連する画像部分は例えば、関連する画像領域、または追加の許容範囲を備えた関連する画像領域を含む領域であってよい。
【０００９】
次いで第２の方法ステップで関連する画像部分のみで形状認識が実行される。例えば円の認識のためのハフ変換、および／またはＢａｒｎｅｓら、「Ｒｅｇｕｌａｒ  Ｐｏｌｙｇｏｎ  Ｄｅｔｅｃｔｉｏｎ」、Ｔｅｎｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、７７８、２００５年に記載されているような正多角形の認識のための方法などのそれ自体が公知の方法を形状認識用に使用可能である。
【００１０】
特に固定的であり既知の形状を有する対称物体の潜像は形状認識によって判定可能であり、これは次いで、例えばテンプレートマッチングによって後続の分類で照合および認識されることができる。
【００１１】
形状検出の前に行われる対称性の検出によって、形状検出のための演算時間を大幅に削減することが可能になるが、その理由はそうすれば画像全体にわたって検出する必要がなく、ある幾つかの関連する画像部分だけに限定できるからである。さらに、各画像領域、またはその各部分が対称物体の画像に予期されるサイズの予測を既に含んでおり、予期されるサイズはそれぞれの画像領域またはその一部のサイズから直接明らかになるからである。付加的な対称性検出には、形状検出のための演算時間の利得の方が倍数量だけ超える比較的短い演算時間しか必要ない。さらに、検出全体の頑健性は予め行われる対称性の検出によって高められる。
【００１２】
少なくとも１つの画像領域、またはその一部は好ましくは画像処理によって生成された画像内で判定され、処理された画像を生成するためにエッジ認識またはエッジ検出が実行される。それ自体が公知の方法、例えばソーベル・オペレータなどの公知のエッジフィルタをエッジ検出用に使用可能である。生成された画像は好ましくは、撮像された画像内に対称物体の画像のエッジがある場合は、それらのエッジが強調される２値エッジ画像または勾配画像である。次いで後続の対称性検出が勾配画像または２値エッジ画像に関連して実行され、それによって対称性検出に要する演算時間を短縮できる。勾配画像とは、それぞれの勾配ベクトル、すなわち勾配値と勾配の方向とが画素に関連する画像のことである。
【００１３】
さらに、撮像された画像、特に撮像されたグレイ値画像内、または撮像された画像から生成されたグレイ値画像内の物体の画像の対称性は照射の不均一性によって損なわれることがある。例えば、画像の異なる領域が側方からの光の入射で異なる輝度で見えることがある。勾配画像または２値エッジ画像はこのような妨害に影響されにくい。それによって検出全体の頑健性がさらに高められる。
【００１４】
本発明の実施形態によって、それぞれの対称度が、少なくとも１つの画像領域に関して、線に対して互いに反対に配置された勾配画像の画素の勾配ベクトルの比較によって判定される。それによって対称性を確実に認識できるようになるが、その理由は、互いに反対に配置された画素の比較で、それぞれの画素の勾配方向をも考慮に入れることができ、その結果、勾配値は明らかに一致し、または互いに類似しているが、その勾配方向が線と少なくともほぼ鏡面対称に向いていない互いに反対側に配置された画素で、それぞれの画素に対してより小さい対称値が生ずるからである。しかし一般に、対称度を判定するために他のいずれかの公知の方法および／または先行技術から公知であるいずれかの方法を使用することもできる。
【００１５】
少なくとも１つの画像領域は好ましくは、そのつど特に、好ましくは垂直な対称線、または軸に対して鏡面対称性を有している。道路に関連する対称物体のほとんどが、特に円形または三角形の道路標識が垂直軸に対して対称構造または鏡面対称構造を有しているので、このことは特別の利点である。
【００１６】
本発明の別の実施形態によれば、少なくとも１つの画像領域、またはその一部の判定は、撮像され、または生成された画像の選択された領域、または「関心対象」内のみで実行される。したがって、検出される対称物体がとにかく出現する可能性がある領域を事前選択する方法ステップを、少なくとも１つの画像領域またはその一部の判定前に実行することができる。それとは対照的に、撮像された画像または生成された画像の選択されない領域では対称物体が予期されないので、この場合はいずれにせよ検出を行う必要がない。それによって、後続の対称性検出のための演算時間を短縮できる。選択される領域および／または選択されない領域は複数の非連続部分領域によって形成可能である。選択される領域の判定方法は例えば、これに関する内容が本出願に参照として組み込まれている、２００７年７月３０日に欧州特許庁に出願された欧州特許出願第０７  ０１４  ９２４．０号明細書、表題「Ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ａｎ  ｏｂｊｅｃｔ」に記載されている。
【００１７】
少なくとも１つの画像領域もしくはその一部の判定、および／または少なくとも１つの関連する画像部分の判定は、好ましくは、予期される物体の画像のサイズの予測を考慮に入れつつ実行される。それによって少なくとも１つの画像領域もしくはその一部を判定するための、および／または後続の形状検出のための演算時間を短縮できる。前述のように、予測はそれぞれの画像領域またはその一部のサイズから直接得られる。物体の画像の予期されるサイズに別の予測方法は、これに関する内容が本出願に参照として組み込まれている、２００７年７月３０日に欧州特許庁に出願された前述の欧州特許出願第０７  ０１４  ９２４．０号明細書、表題「Ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ａｎ  ｏｂｊｅｃｔ」に記載されている。
【００１８】
本発明の別の主題は、プログラムがコンピュータまたは対応する演算ユニットで実行される場合に上記の方法を実行するためのプログラミングコード手段を有するコンピュータプログラムである。
【００１９】
コンピュータプログラムがコンピュータまたは対応する演算ユニットで実行される場合に上記の方法を実行するための、コンピュータ可読データ記憶媒体に記憶されたプログラムコード手段を有するコンピュータプログラム製品も本発明の主題である。
【００２０】
これに関連して、コンピュータは方法を実行可能ないずれかの所望のデータ処理デバイスであると理解されたい。これらは特に、それによって方法を全面的、または部分的の実行可能なデジタル信号プロセッサおよび／またはマイクロプロセッサであり得る。
【００２１】
最後に、本発明の目的は、特に自動車に配置された撮像デバイスの視界範囲内の環境の画像内の、好ましくは道路に関連する既知の形状の、特に道路標識の対称物体を検出する装置であって、画像を撮像するためにカメラデバイスと、上記の方法を実行するようにされたデータ処理デバイスとを備える装置である。
【００２２】
本発明のさらなる有利な実施形態は独立クレーム、説明、および図面に記載されている。
【００２３】
以下に例示として図面を参照して本発明を説明する。図はそのつど概略的に示されている。
【発明を実施するための最良の形態】
【００２４】
道路標識を認識する方法の検出段階が図１に示されている。
【００２５】
この目的のため、先ず第１の方法ステップ１１で、環境のグレイ値画像が自動車に配置されたデジタルビデオカメラの視界範囲で撮像される。しかし一般に、カラー画像も撮像可能であり、これはその後グレイ値画像に変換される。
【００２６】
次いで、第２の方法ステップ１３でソーベル・オペレータを用いてグレイ値画像にエッジ認識がなされ、その結果、勾配画像が生ずる。勾配画像は、勾配ベクトル、すなわち勾配値および勾配方向が勾配画像の各画素またはピクセルに関連することを特徴としている。その前、またはその後に、概して道路標識が出現し得るグレイ値画像または勾配画像内の選択された領域（関心対象の領域）が判定される。これに関しては、選択されない領域には道路標識は出現し得ないものと想定される。選択された領域の判定については一般に知られており、例えば前述の欧州特許出願（出願番号第０７  ０１４  ９２４．０号）に記載されている。
【００２７】
引き続いて、第３の方法ステップ１５で、図２を参照してさらに詳細に説明されるように、勾配画像の選択された領域内で各々が所定の水平鏡面対称度を超える画像領域で垂直な対称線が探索される。次いで勾配画像のうちの関連する画像部分が各々の垂直な対称線にそれぞれ割り当てられる。それぞれの関連する画像部分は、それぞれの対称線が判定された画像領域にほぼ対応するが、これよりも許容範囲だけ空間的に拡張される。
【００２８】
最後に、第４の方法ステップ１７で、それぞれの形状検出が実行され、これはまさに垂直な対称線を含む関連する画像部分の領域のみで行われる。例えばハフ変換による勾配画像内での形状検出は先行技術から一般に知られている。これに関連して、形状検出は、関連する画像部分に勾配画像のこの位置での道路標識のそのつど予期されるサイズがそのつど付与されることによって容易にされる。予期されるサイズは、前述の欧州特許出願（出願番号第０７  ０１４  ９２４．０号）に記載の方法により、それぞれの垂直な対称線のサイズから、およびそれぞれの画像部分の領域で予期されるサイズの予測から判定される。
【００２９】
前記の対称線を発見するため、それぞれの列またはその一部が特定の画像領域での垂直な対称線を表しているか否かについて、選択された領域内の勾配画像の各列がチェックされる。これは、行と列とに配列された複数の連続的なピクセル１９が示されている図２に図示されている。例えば、列２１についてこれが垂直な対称線を含んでいるか否かを判定するため、それぞれのピクセルに関連する線が選択された領域内に水平な鏡面対称性を有しているか否かに関して、選択された領域内に位置する列２１の各ピクセルが検査される。
【００３０】
これは、ピクセル１９’が線２３内に配置されている列２１のピクセル１９’に関連して図２に示されている。線２３が選択された領域内でピクセル１９’に対してプリセットされた鏡面対称度を超えているか否かをチェックするため、１つがピクセル１９’の左に配置され、もう１つが右に配置され、ピクセル１９’から同じ間隔ｒを有する２つのピクセルがそのつど互いに比較される。例えば、ピクセル１９’に対して各々がｒ＝２のピクセルだけ水平にずらされた２つのピクセル１９’’、またはピクセル１９’に対して各々がｒ＝３のピクセルだけ水平にずらされた２つのピクセル１９’’’が互いに比較される。
【００３１】
これに関連して、ピクセル１９’から等間隔だけ離隔された２つのそれぞれのピクセルが互いに比較され、その間隔はピクセル１９’からの最小間隔ｒｍｉｎと最大間隔ｒｍａｘの間の区間内にある。この区間の限界ｒｍｉｎおよびｒｍａｘは、検出される道路標識のサイズと形状とによって左右される。これに関連して、例えば前述の欧州特許出願（出願番号第０７  ０１４  ９２４．０号）に記載されているような道路標識の予測サイズの予想が考慮に入れられる。
【００３２】
２つのそれぞれのピクセル、例えば２つのピクセル１９’’または１９’’’の比較はそのつど、２つのピクセルのうちの１つの勾配ベクトル
【００３３】
【数１】
2009048629.tif 000003
【００３４】
と、垂直軸を中心にした２つのピクセルのうちの他方の勾配ベクトル
【００３５】
【数２】
2009048629.tif 000004
【００３６】
をミラーリングすることによって作成された勾配ベクトル
【００３７】
【数３】
2009048629.tif 000005
【００３８】
とのスカラー積を形成することによって行われる。
【００３９】
【数４】
2009048629.tif 000006
【００４０】
２つのピクセルが各々１つのエッジに属している場合、すなわち、２つのピクセルが各々高い勾配値ｖ１、ｖ２ｍを有している場合、対応する高い値の２つの勾配値ｖ１、ｖ２ｍの積が生ずる。この積の値が高いことで、列２１に対する２つのピクセルの鏡面対称度が高くなるものと推定できる。２つのピクセルが明確に高い勾配値ｖ１、ｖ２ｍを有しているが、２つのピクセルの勾配方向が列２１に対して互いに鏡面対称に配向されていない場合は、すなわち、２つのピクセルが正確に鏡面対称のエッジに属していない場合は、対応して小さいコサイン値（１未満）が生ずるので、２つのピクセルのベクトル積、ひいては鏡面対称度も低下する。
【００４１】
ベクトル積は区間［ｒｍｉｎ、ｒｍａｘ］内の線２３の全てのピクセル対について形成される。ベクトル積はその後加算される。区間［ｒｍｉｎ、ｒｍａｘ］内の線２３のピクセル対のベクトル積の和がしきい値以上である場合は、ピクセル１９’は区間［ｒｍｉｎ、ｒｍａｘ］内の線２３のピクセルの対称中心であると認識される。
【００４２】
列２１内のピクセル１９’の上と下に位置するピクセルはそれに従って検査される。これに関連して、それぞれが対称中心であると認識された列２１の連続ピクセルは本発明の意味で対称線を形成し、その結果、対称線は所定の対称度を超える画像領域に関連する。方法を頑健にするため、対称中心であると認識されなかった対称線の形成にもピクセルを散発的に考慮に入れてもよい。
【００４３】
デジタルビデオカメラによって撮像されたグレイ画像値から生成され、高速道路に架橋された標識ブリッジ２７を示す、簡略な形態で示された勾配画像２５が図３に示されており、標識ブリッジ２７には３つの道路標識が取り付けられている。高速道路の右側に位置する茂み３１が勾配画像２５の右側の周縁領域に示されている。対称線３３は勾配画像２５内の道路標識の画像２９に関連している。さらに、対称の画像領域または画像の一部に明確に関連しているが、道路標識の画像には関連しないさらに別の対称線３５が示されている。対称線はそれぞれ上記のように判定されたものである。
【００４４】
次いで道路標識の画像２９の円形または三角形の形状を後続の形状検出１７によって認識できる。これに対して対称線３５については、後続の形状検出１７または後続の分類段階が、対称線３５に関連する画像領域または画像部分内に道路標識が撮像されないことを判定する。
【００４５】
上記の対称性の検出によってより迅速かつより高い頑健性を伴って道路標識の検出を実行することが可能になる。
【図面の簡単な説明】
【００４６】
【図１】対称物体を検出するための複数の方法ステップが示されるブロック図である。
【図２】対称度の判定を示すための画像領域の画素を示す図である。
【図３】デジタルビデオカメラによって撮像された画像から生成され、垂直の対称線が示されている勾配画像の図である。
【符号の説明】
【００４７】
１１  第１の方法ステップ
１３  第２の方法ステップ
１５  第３の方法ステップ
１７  第４の方法ステップ
１９  ピクセル（画素）
２１  列
２３  線
２５  勾配画像（画像、勾配画像）
２７  標識ブリッジ
２９  道路標識の画像（潜像）
３１  茂み
３３  対称線（画素（画像領域）の一部、対称線）
３５  対称線（画素（画像領域）の一部、対称線）
【図１】
2009048629.tif 000007
【図２】
2009048629.tif 000008
【図３】
2009048629.tif 000009
【外国語明細書】
2009048629000001.pdf