(57)【要約】  本発明は、車両用の、カメラにより信号現示を検出する装置に関し、装置（１）は：信号灯の像を撮影して画像データの形態で供給するように構成される画像センサ装置（１０）と；撮影像の少なくとも１つの部分領域を定義して信号灯の少なくとも１つの信号灯光に割り当てるように構成されるセグメンテーション装置（２０）と；少なくとも１つの部分領域の最大彩度および／または最大明度を算出するように構成されるスケーリング装置（３０）と；算出された最大彩度および／または算出された最大明度に基づいて信号灯の信号灯状態を決定するように構成される処理装置（４０）と、を備える。
2020509452.tif 000002
【特許請求の範囲】
【請求項１】
車両用の、カメラにより信号現示を検出する装置において、前記装置（１）は：
‐信号灯の像を撮影して画像データの形態で供給するように構成される画像センサ装置（１０）と；
‐前記撮影像の少なくとも１つの部分領域を定義して前記信号灯の少なくとも１つの信号灯光に割り当てるように構成されるセグメンテーション装置（２０）と；
‐前記少なくとも１つの部分領域の最大彩度および／または最大明度を算出するように構成されるスケーリング装置（３０）と；
‐算出された前記最大彩度および／または算出された前記最大明度に基づいて前記信号灯の信号灯状態を決定するように構成される処理装置（４０）と、を備える装置。
【請求項２】
‐検出信号灯の各信号灯光について前記撮影像の部分領域を定義して前記各信号灯に割り当てるように構成される前記セグメンテーション装置（２０）と；
‐前記部分領域のそれぞれについて最大彩度および／または最大明度を算出するように構成される前記スケーリング装置（３０）と；
‐前記検出信号灯の部分領域全部について最大彩度と中間彩度および／または最大明度と中間明度との比較に基づいて前記信号灯の前記信号灯状態を決定するように構成される前記処理装置（４０）と、を備える請求項１に記載の装置。
【請求項３】
前記処理装置（４０）は、
ｉ）前記撮影像のコントラスト値と；
ｉｉ）優勢な光比率と；
ｉｉｉ）使用される前記カメラの性能パラメータとに基づいて、
前記信号灯の前記信号灯状態を
ｉ）算出された前記最大彩度のみか；
ｉｉ）算出された前記最大明度のみか；または
ｉｉｉ）算出された前記最大彩度と算出された前記最大明度とを用いて決定するように構成される請求項１または２に記載の装置。
【請求項４】
前記スケーリング装置（３０）は、前記少なくとも１つの部分領域の前記最大彩度および前記最大明度を前記像のＨＳＶ色空間の評価に基づいて算出するように構成される請求項１〜３のいずれか１項に記載の装置。
【請求項５】
前記セグメンテーション装置（２０）は、前記少なくとも１つの部分領域を前記信号灯の前記少なくとも１つの信号灯光に、前記信号灯の信号ランプガラスの光学画像認識に基づいて割り当てるように構成される請求項１〜４のいずれか１項に記載の装置。
【請求項６】
前記画像センサ装置（１０）は広角レンズを含む請求項１〜５のいずれか１項に記載の装置。
【請求項７】
前記画像センサ装置（１０）は上方向きの視野方向を有し、頭上信号灯の像を撮影するように構成される請求項１〜６のいずれか１項に記載の装置。
【請求項８】
請求項１〜７のいずれか１項に記載の装置を備える車両。
【請求項９】
車両用の信号現示を検出する方法において、前記方法は：
‐画像センサ装置（１０）を用いて信号灯の像を撮影し、前記像を画像データの形態で供給するステップ（Ｓ１）と；
‐セグメンテーション装置（２０）を用いて前記撮影像の少なくとも１つの部分領域を定義し、前記セグメンテーション装置（２０）を用いて前記少なくとも１つの部分領域を前記信号灯の少なくとも１つの信号灯光に割り当てるステップ（Ｓ２）と；
‐スケーリング装置（３０）を用いて前記少なくとも１つの部分領域内の最大彩度および最大明度を算出するステップ（Ｓ３）と；
‐処理装置（４０）を用いて、算出された前記最大彩度および／または算出された前記最大明度に基づいて前記信号灯の信号灯状態を決定するステップ（Ｓ４）と、を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両における画像認識システムおよび画像処理システムに関する。
【０００２】
特に、本発明は、車両用の、カメラにより信号現示を検出する装置および方法に関する。
【背景技術】
【０００３】
ドイツ特許出願公開第１０２０１５００３８４７Ａ１号公報は、灯火式信号機の少なくとも１つの光信号による光信号を認識し、乗物の運転者に光信号を伝える方法を記載している。これは以下のステップを備える：
１．少なくとも１つの乗物側方画像認識装置を用いて乗物前方周辺領域を光学的に認識するステップと；
２．少なくとも１つの乗物側方画像認識装置により認識された画像データを画像評価装置により評価するステップであって、画像評価装置は認識された画像データを灯火式信号機の少なくとも１つの光信号装置による赤色光信号の存在に関して評価するステップと；
３．少なくとも１つの評価された画像データにおいて認識された光信号装置による赤色光信号を、乗物側方表示装置を用いて表示するステップ。
ステップ２に関して、公開公報には、「そのような画像評価装置および画像評価方法は従来技術からも公知であるため、この点に関してここで詳細にふれる必要はない」と記載されている。
【０００４】
しかし、例えば赤色、黄色、緑色など、実際に切り替わる信号現示を、交通場面における危険認識および状況認識の範囲において、先行して検出された信号灯をコンピュータ支援光学画像認識方法により決定するのは、以下の要因により困難である：
ｉ）発生するぎらつき、または撮影像の露出オーバー；
ｉｉ）例えば外光が引き起こす、信号灯非由来の、撮影像における信号灯ガラス上の反射；
ｉｉｉ）例えば頭上信号灯前の停止線において直接、明るい背景（空）の信号灯を撮像する際など、像撮影時の低コントラスト；
ｉｖ）同様に例えば頭上信号灯前の停止線において直接、信号灯を撮像する際の急な視角度；または
ｖ）例えば直接停止線上に停車した際の車道脇右側に設置された信号灯など、例えば側方撮影時などの、信号灯のランプシェードによる赤色光、緑色光または黄色光の領域の部分的な遮蔽。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ドイツ特許出願公開第１０２０１５００３８４７Ａ１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、交通信号灯の信号現示についての改善された光学画像認識を提供することである。
【課題を解決するための手段】
【０００７】
本課題は、独立請求項の主題により解決される。発展形態と実施形態が従属請求項、明細書および図面の図から見出される。
【０００８】
本発明の第１態様は、車両用の、カメラにより信号現示を検出する装置に関する。
【０００９】
本装置は、信号灯の像を撮影して画像データの形態で供給するように構成される画像センサ装置を備える。
【００１０】
本装置は、撮影像の少なくとも１つの部分領域を定義して信号灯の複数の信号灯光の少なくとも１つの信号灯光に割り当てるように構成されるセグメンテーション装置をさらに備える。
【００１１】
本装置は、少なくとも１つの部分領域の最大彩度および／または最大明度を算出するように構成されるスケーリング装置をさらに備える。ここで意図されているのは、特に、部分領域における画素または小さい連続する画素領域の最大彩度または最大明度である。
【００１２】
本装置は、算出された最大彩度および／または算出された最大明度に基づいて信号灯の信号灯状態を決定するように構成される処理装置をさらに備える。
【００１３】
言い換えると、有利には、本発明により信号灯とその各信号現示の認識を確実にすることが可能になる。
【００１４】
また、有利には、本発明により停止線において直接、つまり信号灯に向かって不利な急な視角度で、広角レンズを用いて乗物から頭上信号灯を認識することが可能になる。
【００１５】
本発明の有利な形態は従属請求項から見出される。
【００１６】
好ましい実施形態によると、セグメンテーション装置は、検出信号灯の各信号灯光、つまり各信号灯色について撮影像の部分領域を定義して（各）信号灯に割り当てるように構成される。好ましくは、スケーリング装置は、部分領域のそれぞれについて最大彩度および／または最大明度を算出するように構成される。好ましくは、処理装置は、信号灯の部分領域全部について最大彩度と中間彩度（または最大明度と中間明度）との比較に基づいて信号灯の信号灯状態を決定するように構成される。
言い換えると、各信号灯光（赤色、黄色および緑色により区別される）において最大明度および／または最大彩度を有する中心が求められ、各信号灯光の残りの領域における明度と比較される。信号現示は、各信号灯光の領域における最大値と中間値の比率に基づいて算出される。
各信号灯光の「簡単な明度」を認識用に用いるとすると、信号灯光が例えば外光により「単に」明るく反射しているほとんどの場合、信号現示を決定可能とするには十分でない。
【００１７】
本発明の有利な実施形態において、処理装置は、
ｉ）撮影像のコントラスト値と；
ｉｉ）像撮影の際の優勢な光比率と；
ｉｉｉ）使用されるカメラの性能パラメータとに基づいて、
信号灯の信号灯状態を
ｉ）算出された最大彩度のみか；
ｉｉ）算出された最大明度のみか；または
ｉｉｉ）算出された最大彩度と算出された最大明度とを用いて決定するように構成される。
【００１８】
本発明の有利な実施形態において、スケーリング装置は、少なくとも１つの部分領域の最大彩度および最大明度を像のＨＳＶ色空間の評価に基づいて算出するように構成される。この場合、ＨＳＶ色空間の評価は部分領域に限定されてもよい。
【００１９】
本発明の有利な実施形態において、セグメンテーション装置は、信号灯の信号灯光の部分領域を、信号灯の信号ランプガラスの光学画像認識に基づいて割り当てるように構成される。
【００２０】
本発明の有利な実施形態において、画像センサ装置は広角レンズを含む。
【００２１】
本発明により用いられる「広角レンズ」の概念は、この場合、標準レンズの画角よりも大きい画角、例えば４０°よりも大きいか、５０°よりも大きいかまたは６０°よりも大きい画角を有するレンズを含む。
【００２２】
本発明の有利な実施形態において、画像センサ装置は上方向きの視方向を有し、頭上信号灯の像を撮影するように構成される。これにより、有利に、急な視角度とその結果生じる、撮影像の低下したコントラスト質を補償することが可能になる。
【００２３】
記載の形態と発展形態は任意に互いに組み合わされてよい。
【００２４】
本発明のさらなる可能な形態、発展形態および実装は、上記または以下で実施形態に関して記載される本発明の特徴の明示的に記載されていない組み合わせも含む。
【００２５】
添付の図面は本発明の実施形態のさらなる理解に資するものである。
【００２６】
添付の図面は実施形態を示し、明細書と関連して本発明の概念の説明に役立つものである。
【００２７】
他の実施形態および多くの記載の有利な点は図面の図から得られる。図面の図に示される要素は必ずしも縮尺通りに示されていない。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の１つの実施形態例による、車両用の、カメラにより信号現示を検出する装置の概略図である。
【図２】図２は、本発明のさらなる実施形態例による、車両用の、カメラにより信号現示を検出する方法のフロー図の概略図である。
【図３】図３は、本発明のさらなる実施形態例によるセグメンテーションされた頭上信号灯の概略図である。
【図４】図４は、本発明のさらなる実施形態例による頭上信号灯の像の概略図である。
【発明を実施するための形態】
【００２９】
図面の図中、同一の参照符号は、別段の記載がない限り、同一または機能が同一の要素、部材、部品または方法ステップを示す。
【００３０】
車両または乗物とは、例えば車両または例えばセーリング機能を有するハイブリッド車両などのハイブリッド車両、例えば自動二輪車、バスもしくはトラックまたは自転車に関する。
【００３１】
信号灯または交通信号機として、本発明では道路交通における灯火式信号機（Ｌｉｃｈｔｓｉｇｎａｌａｎｌａｇｅ、ＬＳＡ）の信号指示部が示される。
【００３２】
灯火信号の形態の光学信号指示部は、形状および色が異なる交通標識に応じて、それぞれ別の意味を有し、制御する交通の進行方向の反対向きにのみ作動する。
【００３３】
運転支援システムは、大抵の場合光学画像認識および光学画像処理により、信号灯または交通信号灯の各状態を評価すること、つまり信号現示を評価することが必要である。
【００３４】
本発明で用いられる「ＨＳＶ色空間」の概念は、色を色相、英語では「ｈｕｅ」、彩度、英語では「ｓａｔｕｒａｔｉｏｎ」および明度、英語では「ｖａｌｕｅ」に基づいて定義するカラーモデルに基づいた色空間を示す。
【００３５】
また、本発明の実施形態において、相対的明るさ、英語では「ｌｉｇｈｔｎｅｓｓ」を用いるＨＳＬ色空間、または絶対的明るさ、英語では「ｂｒｉｇｈｔｎｅｓｓ」を用いるＨＳＢ色空間または光の強度、英語では「ｉｎｔｅｎｓｉｔｙ」を用いるＨＳＩ色空間を用いてよい。
【００３６】
図１は、本発明の１つの実施形態例による車両用信号現示検出装置の概略図を示す。
【００３７】
装置１は、画像センサ装置１０、セグメンテーション装置２０、スケーリング装置３０および処理装置４０を含む。
【００３８】
画像センサ装置１０は信号灯の像を撮影して画像データの形態で供給するように構成される。
【００３９】
セグメンテーション装置２０は撮影像の部分領域を定義して信号灯の複数の信号灯光の少なくとも１つの信号灯光に割り当てるように構成される。
【００４０】
スケーリング装置３０は部分領域の最大彩度および／または最大明度を算出するように構成される。
【００４１】
処理装置４０は算出された最大彩度および／または算出された最大明度に基づいて信号灯の信号灯状態を決定するように構成される。
【００４２】
図２は、本発明のさらなる実施形態例による、車両用の、カメラにより信号現示を検出する方法のフロー図の概略図を示す。
【００４３】
車両用の、カメラにより信号現示を検出する方法は以下の方法ステップを含む：
【００４４】
第１方法ステップとして、画像センサ装置１０を用いて信号灯の像を撮影し、像を画像データの形態で供給するステップＳ１を実施する。画像データは、例えば画像情報を再生するために電子的形態を有する二進符号化データである。
【００４５】
第２方法ステップとして、セグメンテーション装置２０を用いて撮影像の少なくとも１つの部分領域を定義、同様にセグメンテーションし、セグメンテーション装置２０を用いて少なくとも１つの部分領域を信号灯の少なくとも１つの信号灯光に割り当てるステップＳ２を実施する。
【００４６】
第３方法ステップとして、スケーリング装置３０を用いて少なくとも１つの部分領域の最大彩度および／または最大明度を算出するステップＳ３を実施する。
【００４７】
第４方法ステップとして、処理装置４０を用いて、算出された最大彩度および／または算出された最大明度に基づいて信号灯の信号灯状態を決定するステップＳ４を実施する。
【００４８】
図３は、本発明を説明するための、画像センサ装置を用いて撮影された信号灯の像に基づく、セグメンテーションされた頭上信号灯の選択についての概略図を示す。
【００４９】
７つの図示信号灯についてセグメンテーションが実施されたものであり、言い換えると、撮影像の部分領域ＳＭ１−１、．．．、ＳＭ７−３が例えばセグメンテーション装置２０により定義され、信号灯の信号灯光、例えば赤色（例えばＳＭ１−１、ＳＭ２−１、．．．、ＳＭ７−１）、黄色（ＳＭ１−２、．．．、ＳＭ７−２）、緑色（ＳＭ１−３、．．．、ＳＭ７−３）に割り当てられたものである。
【００５０】
図３に示される信号灯はこの場合、例えば距離が減少し視角度が増加する際のセグメンテーションされた頭上信号灯であって、視角度が１から７にかけて増加している。
【００５１】
円部は部分領域ＳＭ１−１、．．．、ＳＭ７−３を示し、スケーリング装置３０がその範囲内におけるそれぞれの最大彩度および平均彩度ならびに最大明度および平均明度を算出し、この場合、最大明度は、部分領域ＳＭ１−１、．．．、ＳＭ７−３の明度全体とは対照的に視角度が増加するなか、左側から右側にかけて、つまり１から７にかけて多かれ少なかれ一定でもある。５つの最初の図示の信号灯（ＳＭ１−、．．．、ＳＭ５−）において、最下方部分領域（ＳＭ１−３、．．．、ＳＭ５−３）はそれぞれ（両方の上方部分領域と比べた場合）最高中間彩度および最高中間明度を示している。その一方、第６信号灯（ＳＭ６−．．．）は、最上方部分領域（ＳＭ６−１）において最高中間彩度および最高中間明度を示している。その場合、先行技術の信号灯認識では、信号灯は赤信号を発していると結論すると考えられる。その一方、最大彩度および最大明度は第６信号灯では最下方部分領域（ＳＭ６−３）において最高でもある。その一方、第７信号灯（ＳＭ７−．．．）では、中間彩度および中間明度は中間部分領域（ＳＭ７−２）において最高である。その場合、先行技術の信号灯認識では、信号灯は黄信号を発していると結論すると考えられる。その一方、最大彩度および最大明度は第７信号灯でも最下方部分領域（ＳＭ７−３）において最高でもある。その場合、記載の装置を用いれば、７つの信号灯のすべてが緑信号を発しているとつねに正しく認識できる。
【００５２】
特に有利な実施形態において、最大明度と平均明度または最大彩度と平均彩度の比率構成を用いると、セグメンテーションされた信号灯がどの信号灯信号を示すか、つまり最高比率値を有する信号を、さらに明瞭に算出可能である。
【００５３】
図４は、本発明のさらなる実施形態例による頭上信号灯の像の概略図を示す。
【００５４】
図４は、信号現示検出には困難な条件を有する実施形態例を示す。左側信号灯は、赤色信号灯光の最高中間値を示し、緑色信号灯光の最低中間値を示す。最大値構成において、赤色と黄色が対照可能な明度および彩度を有することが示される。その場合、信号灯は黄―赤色を示す。
【００５５】
図４から明らかなように、右側信号灯の黄色信号灯光の中間値構成は、赤色信号灯光および緑色信号灯光の略同一の中間値よりも大幅に低い値になると考えられる。しかし、赤―緑色の信号現示は存在しないため、信号灯認識は決定をする必要がある。最大値構成において、赤色信号灯光が、緑色信号灯光と比べて小さい最大明度または彩度を有することが示される。
【００５６】
特に、最新の信号灯はＬＥＤ光源用に光分配器または形状自在のリフレクタ、同じく段階型リフレクタを有する。一定の不利な大きい視角度においては、光分配器は照明面の僅かな部分のみが照明されて見えるため、信号灯光のセグメンテーションされた部分領域は大きい（例えば＞３０°）視角度においては部分的にのみ照明されて見え、つまり信号灯光の面全体について十分な彩度および十分な明度を有さない状態で撮像される。
【００５７】
しかし、図４において同様に明らかなように、それぞれの信号灯光の領域の最大明度または最大明度値は、大きい視角度の影響を受けることはほとんどなく、右側信号灯の黄色信号灯光および赤色信号灯光についてはほぼ同様に小さい。したがって、右側信号灯は緑色を示す。
【００５８】
これにより有利には、最大彩度および／または最大明度に基づく画像データ評価は、異なる視角度での撮影に関してエラーが生じる可能性がより低く、したがって全体として確実性がより高いことが示される。
【００５９】
本発明は好ましい実施形態例に基づいて上述されたが、それには限定されず多様な方法で修正可能である。特に、本発明は発明の趣旨から逸脱することなく様々な方法で変更または修正可能である。
【００６０】
また、「備える」および「有する」とは他の構成要素またはステップを除外するものではなく、「１つ」とは複数を除外するものではないことに留意されたい。
【００６１】
さらに、上記実施形態例を参照して記載された特徴またはステップは、他の上記実施形態例の他の特徴またはステップと組み合わせて用いられてもよいことに留意されたい。請求項の参照符号は限定と見なされてはならない。
【図１】
2020509452.tif 000003
【図２】
2020509452.tif 000004
【図３】
2020509452.tif 000005
【図４】
2020509452.tif 000006
【国際調査報告】
2020509452.tif 000007
2020509452.tif 000008
2020509452.tif 000009
2020509452.tif 000010
2020509452.tif 000011
2020509452.tif 000012