(57)【要約】【課題】光源（７）を認識する方法に関する。【解決手段】方法は、カメラ（２）を用いて、一連の個別画像を取得する段階と、カメラ（２）の光センサ（５）を用いて、一連の個別画像の画素の濃淡値を計測する段階と、評価ユニット（６）を用いて、一連の個別画像の画素の少なくとも一部を、濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせる段階と、予め定められた特徴に関して画像領域を分析する段階と、所与の画像領域が特徴を示す場合に、所与の画像領域を光源として分類する段階とを備える。【選択図】図１
2013534332.tif 000002
【特許請求の範囲】
【請求項１】
光源を認識する方法であり、
カメラを用いて、一連の個別画像を取得する段階と、
前記カメラの光センサを用いて、前記一連の個別画像の複数の画素の濃淡値を計測する段階と、
評価ユニットを用いて、前記一連の個別画像の前記複数の画素の少なくとも一部を、前記濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせる段階と、
予め定められた特徴に関して前記画像領域を分析する段階と、
所与の画像領域が前記特徴を示す場合に、前記所与の画像領域を光源として分類する段階と
を備え、
前記センサは、輝度の変化によって特定の画素に関する前記センサの調整が必要である場合に、前記特定の画素に濃淡値として割り当てられる少なくとも１つの調整値を有し、
前記予め定められた特徴に関する前記分析には、前記画像領域の前記複数の画素が、前記センサの前記調整値の予め定められた近傍範囲に含まれる濃淡値を有するかどうかの分析が含まれ、
前記分析の結果が肯定的である場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、方法。
【請求項２】
前記センサの前記調整値に対応する濃淡値を有する前記所与の画像領域の複数の画素の相対的な割合が予め定められた閾値よりも大きい場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項１に記載の方法。
【請求項３】
前記所与の画像領域の前記複数の画素の前記濃淡値の分散が、閾値未満である場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項１または２に記載の方法。
【請求項４】
前記所与の画像領域の前記複数の画素の前記濃淡値の分散を、前記所与の画像領域の複数の全ての画素の濃淡値の分散で除算することによって得られる比率が、定められた閾値未満である場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記所与の画像領域が、前記一連の個別画像に含まれる前記所与の個別画像に続く個別画像において再度認識される場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記所与の個別画像に続く前記個別画像において、前記所与の画像領域の前記複数の画素の平均濃淡値の変化が、予め定められた閾値よりも大きい場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項５に記載の方法。
【請求項７】
前記所与の個別画像に続く前記個別画像において、前記所与の画像領域の前記複数の画素の前記濃淡値が、閾値よりも大きな周期で、前記センサの前記調整値の前記予め定められた近傍範囲に含まれる場合、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、請求項５または６に記載の方法。
【請求項８】
前記周期は、第１ベクトルと第２ベクトルとのハミング距離を計算することにより求められ、
前記第１ベクトルのｎ番目のエントリにおいて、前記一連の個別画像に含まれるｎ番目の位置の前記所与の個別画像に先行する個別画像の前記所与の画像領域の前記濃淡値が、前記センサの前記調整値の前記予め定められた近傍範囲に含まれるかどうかが特定され、
前記第２ベクトルは、前記第１ベクトルをｐビット分だけシフトすることにより得られ、
異なる前記ｐの値ごとに前記ハミング距離の計算が繰り返され、
前記ハミング距離が最小となる前記ｐの値が、前記所与の画像領域に対応する期間として求められ、
前記所与の画像領域の前記周期は、前記期間に属する前記ハミング距離に基づいて計算される、請求項７に記載の方法。
【請求項９】
光源を認識する装置であり、
一連の個別画像の複数の画素の濃淡値を計測する光センサを有し、前記一連の個別画像を検出するカメラと、
前記一連の個別画像の前記複数の画素の少なくとも一部を、前記濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせ、予め定められた特徴に関して続けて前記画像領域を分析し、所与の画像領域が前記特徴を示す場合、前記所与の画像領域を前記光源、または前記光源の一部として分類する評価ユニットと
を備え、
前記センサは、輝度の変化によって特定の画素に関する前記センサの調整が必要である場合に、前記特定の画素に濃淡値として割り当てられる少なくとも１つの調整値を有し、
前記予め定められた特徴に関する前記分析には、前記画像領域の前記複数の画素が、前記センサの前記調整値の予め定められた近傍範囲に含まれる濃淡値を有するかどうかの分析が含まれ、
前記分析の結果が肯定的である場合、前記評価ユニットは、前記所与の画像領域をパルス光源、またはパルス光源の一部として分類する、装置。
【請求項１０】
請求項９に記載の装置を備え、
他の車両の特にＬＥＤヘッドライトおよびＬＥＤリアライトなどのパルス光源などの、ヘッドライトおよびリアライトの少なくともいずれか一方を認識し、
前記装置の前記カメラが、車両の前方側面に好ましくは配列される、運転者支援システムを搭載した車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、特許請求の範囲の独立項に係る、光源認識方法および装置に関する。
【背景技術】
【０００２】
光源認識方法および装置は、様々な技術分野において公知である。例えばＤＥ  １０  ２００８  ０２５  ４５７Ａ１には、車両のライトを認識し、分類し、トラッキングする車両に関する多くの異なる方法が記載されている。これらの方法を運転者支援システムと組み合わせて、車両の照明システムまたはブレーキシステムの、認識された交通状況に応じた制御などに用いることが出来る。
【０００３】
特に車両の光源などの光源を認識する際、カメラを用いて一連の個別画像を取得し、カメラの光センサを用いて、個別画像の画素の濃淡値を計測することが知られている。この場合、通常評価ユニットにおいて、それぞれの個別画像の画素の少なくとも一部を、それらの濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせるか、またはグループ化する。これらの画像領域は、個別画像内の画像領域の絶対的な輝度、相対的な輝度、形状または位置など予め定められた特徴に関して続けて分析される。ＤＥ  １０  ２００８  ０２５  ４５７  Ａ１に記載されるように、複数の連続する個別画像に亘って特定の画像領域をトラッキングし、予め定められた特徴として、当該画像領域の濃淡値の経時変化または当該画像領域の動きを分析することなども考えつくであろう。
【０００４】
このようにして定められ、予め定められた特徴を有する所与の画像領域は、結果として、光源として分類される。
【０００５】
しかしこの方法でパルス光源を認識し、トラッキングし、分類することは極めて困難であることが分かっている。この方法では、パルス動作される、車両のＬＥＤヘッドライトなどパルス光源は、カメラのセンサを用いて明確かつ鮮明な画像として撮像することが出来ず、時間の経過に伴って変化しパルシングする、形状が異なる、コヒーレントでないパターンを有する画像として撮像される。このことは、パルス周波数（繰り返し率）がセンサの読み取り率と同程度か、それよりも大きい場合に特に当てはまる。特に繰り返し率が５０〜１０００Ｈｚである場合には、上述の課題が特に顕著となる。カメラが取得する個別画像における画像領域は、上述したような光源の場合に非常に不安定なものとなり、これらの画像領域を認識し、トラッキングし、分類するのは非常に困難である。
【０００６】
この課題が特に顕著となるのは、最新の車両が、ＬＥＤヘッドライト（フロントヘッドライト、リアライト、ブレーキライト、ウィンカ）を有した設計であることが多くなっているからである。しばしば、これらのヘッドライトのＬＥＤの繰り返し率は、例えば、エネルギー消費を減らすべく、またはヘッドライトの２つの異なる動作モード（ブレーキライトモードおよびＬＥＤリアライトの減光モード）間で切り替えるべく、ヘッドライトの明かりを暗くするよう変化させられる。また場合によっては、繰り返し率（パルス周波数）の代わりに、または繰り返し率に加えて、ＬＥＤのパルス間隔を調整することによっても、ヘッドライトのＬＥＤのデューティサイクルを変化させる。
【０００７】
しかし、多くのカメラベースの運転手支援システムは、他の車両のヘッドライト、リアライト、およびブレーキライトを認識することによって、他の車両を認識する。よって車両のＬＥＤヘッドライトの認識の信頼性が高いものでなければ、そのような運転者支援システムの機能性は確保出来ない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本願発明の目的は、従来技術の課題を克服する方法および装置を提供することである。
【０００９】
よって本願発明に係る方法および装置によれば、高い信頼性および高い正確性で、パルス動作されるＬＥＤヘッドライトなどのパルス光源を認識し、トラッキングし、分類出来る。さらに、運転者支援システムを搭載した車両が提供される。当該車両も、高い信頼性および高い正確性で、パルス動作されるＬＥＤヘッドライトなどのパルス光源を認識し、トラッキングし、分類出来る。
【００１０】
本願発明によれば、目的は、特許請求の範囲の独立項に係る方法およびシステムによって達成される。さらなる発展例及び特別な実施形態を、特許請求の範囲の従属項から導き出すことも可能である。さらに、目的は、請求項１０に係る車両によっても達成される。
【課題を解決するための手段】
【００１１】
したがって、本願発明に係る方法においては、カメラを用いて、一連の個別画像を取得し、カメラの光センサを用いて、一連の個別画像の画素の濃淡値を計測する。これらの濃淡値は評価ユニットに送信される。評価ユニットにおいて、それぞれの個別画像の画素の少なくとも一部を、濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせる。
【００１２】
評価ユニットにおいて、予め定められた特徴に関して画像領域を続けて分析し、所与の画像領域がこれらの特徴を示す場合に、所与の画像領域を光源として分類する。本願発明に係る方法においては、センサは、輝度の著しい変化によって特定の画素に関するセンサの調整が必要である場合に、この特定の画素に濃淡値として割り当てられる少なくとも１つの調整値を有する。
【００１３】
例えば、ＣＭＯＳセンサの多くは、１以上のそのような調整値（リセットレベル）を有する。１以上の画素（ピクセル）において輝度の著しい変化があった場合、センサは、その画素において調整を行い、この画素における感度を、この画素（ピクセル）における新しい輝度へと適合させる。この調整により、センサ固有の調整値（リセットレベル）が、関連するピクセルに割り当てられる。
【００１４】
本願発明に係る方法においては、予め定められた特徴に関する分析には、画像領域の画素が、センサの調整値の予め定められた近傍範囲に含まれる濃淡値を有するかどうかの分析も含まれる。分析の結果が肯定的である場合、所与の画像領域はパルス光源またはパルス光源の一部として分類される。
【００１５】
このように、本願発明に係る方法においては、カメラによって撮像される、十分に強くパルシングする光パワーを照射するパルス光源によって、カメラのセンサにおける、光源に割り当てられた画像領域の調整がトリガされる。これらの分析のそれぞれにより、センサは、同一の調整値、または少なくとも調整値の近傍範囲に含まれる濃淡値を領域の画素に対し割り当てる。このようにして、画像領域における濃淡値として、均一な値が繰り返されることとなる。本願発明に係る方法は、光源に関する仮説の確認に用いられる特徴として、このことを利用する。
【００１６】
画像領域がセンサの調整値の予め定められた近傍範囲に含まれる濃淡値を有する画素を含む場合、高いシンクロニシティで非常に短い時間の間にこの画素の輝度が大きく変化したことが明らかに示されている。これは、輝度がこの間に大きく変化した光源の特性である。このことは特に、光源がＬＥＤであることを示す。なぜならば、ＬＥＤ光源は、特に反応時間が短いという特性を有するからである。
【００１７】
さらに、互いに近接する画像領域を組み合わせて全体領域を形成し、個別の光源であるかどうか分類する。この全体領域を用いた場合、個別画像内でその形状および位置が特に安定し、よって、複数の個別画像に亘って再度認識し、トラッキングする際に特に信頼性が増すという大きな利点がある。このことは、さらに以下に説明するように、関連する画像領域のさらなる特徴が、連続する個別画像において分析される場合に特に有利である。
【００１８】
それらの特徴は、それぞれ、全体領域の分析においても用いられてもよい。このことにより、これらの特徴の安定性が増すという利点があり、方法の一層高い信頼性へと繋がる。この文脈において、以下において画像領域について説明するが、隣接する画像領域によって構成される全体領域についても同様のことが適用可能である。
【００１９】
画像領域に関してさらに分析される特徴には以下のものが含まれる。方法の信頼性および正確性は、画像領域の、パルス光源またはパルス光源の一部としての分類のさらなる必要条件として、これらの特徴をさらに加えることによってさらに高められる。
【００２０】
方法のさらなる発展例として、さらに、センサの調整値に正確に対応する濃淡値を有する所与の画像領域の画素の相対的な割合が予め定められた閾値よりも大きい場合、所与の画像領域をパルス光源またはパルス光源の一部として分類する。
【００２１】
さらに、所与の画像領域の画素の濃淡値の分散が、予め定められた閾値未満である場合、所与の画像領域をパルス光源またはパルス光源の一部として分類する。代替的に、若しくは追加的に、所与の画像領域の画素の濃淡値の分散を所与の画像領域の全ての画素の濃淡値の分散で除算することによって得られる比率が、予め定められた閾値未満であるかどうかについて分析することも出来る。
【００２２】
さらに、所与の画像領域が一連の個別画像に含まれる所与の個別画像に続く個別画像において再度認識される場合、所与の画像領域をパルス光源またはパルス光源の一部として分類することも可能である。この場合、上述したように、調整値の近傍範囲に含まれる濃淡値を有する、互いに近接する複数の画像領域を全体領域を形成するように組み合わせることにより、認識およびトラッキングを単純化することが出来る。
【００２３】
画像領域に関する以下の特徴はそれぞれ、一連の個別画像に含まれる複数の連続する個別画像（フレーム）に亘って再度認識（識別）し、トラッキングすることが出来る画像領域についてのみ関連する。
【００２４】
特に、所与の個別画像に続く個別画像において、所与の画像領域の画素の平均濃淡値の変化が、定められた閾値よりも大きい場合、所与の画像領域をパルス光源またはパルス光源の一部として分類することが出来る。このことは、この画像領域内の輝度が著しく変化したことを示しており、よって、パルス光源の特性である。
【００２５】
さらに所与の個別画像に続く個別画像において、所与の画像領域の画素の濃淡値が閾値よりも大きな周期で、センサの調整値の予め定められた近傍範囲に含まれる場合、所与の画像領域をパルス光源またはパルス光源の一部として分類することが出来る。詳細には、特にＬＥＤヘッドライトの所定の画像領域において、周期的な輝度の変化が生じるのが典型的である。これらの周期パターンは、ヘッドライトのＬＥＤのパルス周波数およびパルス間隔、読み出し頻度、センサの照射期間、並びにヘッドライトのＬＥＤ（または一般的にパルス光源）の読み取りと起動との間の位相シフトに大いに依存する。
【００２６】
特に単純かつ、労力を比較的要さず小さな容量のメモリで行うことの出来る周期の評価は、第１ベクトルと第２ベクトルとの間のハミング距離を計算することにより実行できる。第１ベクトルのｎ番目のエントリにおいて、一連の個別画像に含まれるｎ番目の位置の所与の個別画像に先行する個別画像の所与の画像領域の濃淡値が、センサの調整値の予め定められた近傍範囲に含まれるかどうかが特定される（よって、一連の個別画像には、当該個別画像と当該所与の個別画像との間に、さらにｎ−１の個別画像が位置するということである）。第２ベクトルは、第１ベクトルをｐビット分だけシフトすることにより得られる。
【００２７】
異なるｐの値ごとにハミング距離の計算が繰り返され、最終的にハミング距離が最小となるｐの値が、画像領域に対応する期間として求められる。最終的に画像領域の周期は、当該期間に属するハミング距離に基づいて求められる。一般的に短いハミング距離は、周期が大きいことを意味する。
【００２８】
最後に、本願発明に係る光源を認識する装置は、一連の個別画像を検出するカメラを備える。このカメラは、一連の個別画像の画素の濃淡値を計測する光センサを有する。装置は、一連の個別画像の画素の少なくとも一部を、濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせ、予め定められた特徴に関して続けて画像領域を分析し、所与の画像領域がこれらの特徴を示す場合、所与の画像領域を光源または光源の一部として分類する評価ユニットを備える。
【００２９】
さらに、センサは、輝度の著しい変化によって特定の画素に関するセンサの調整が必要である場合に、特定の画素に濃淡値として割り当てられる少なくとも１つの調整値を有し、予め定められた特徴に関する分析には、画像領域の画素が、センサの調整値の予め定められた近傍範囲に含まれる濃淡値を有するかどうかの分析が含まれ、評価ユニットは、分析の結果が肯定的である場合、所与の画像領域をパルス光源またはパルス光源の一部として分類する。
【００３０】
本願発明に係る方法と同様に、装置においても、カメラによって取得され、十分に強くパルシングする光パワーを照射するパルス光源によって、カメラのセンサにおける、光源に割り当てられた画像領域の調整がトリガされる。センサの調整値の予め定められた近傍範囲に含まれる濃淡値を有する画素を含む画像領域は、輝度が短い間に大きく変化した光源の特性である。このことは特に、ＬＥＤであることを示す。なぜならば、ＬＥＤ光源は、特に反応時間が短いという特性を有するからである。
【００３１】
このように、本願発明に係る装置によれば、特に信頼性の高い方法で、パルス光源を認識できる。
【００３２】
装置の有利な発展例は、装置の評価ユニットが、本明細書で説明する方法を実施するよう構成されることによって実現される。この方法の実施形態に応じて、上述した利点および、特にＬＥＤヘッドライトなどパルス動作をするパルス光源の認識する際において、一層高い信頼性を得ることが出来る。
【００３３】
最後に、運転者支援システムを搭載した車両を提供する。車両は、本明細書で説明する装置を備え、特に他の車両のヘッドライトおよび／またはリアライト、特にＬＥＤヘッドライトおよび／またはＬＥＤリアライトなどのパルス光源を認識し、好ましくは装置のカメラが、車両の前方側面に配列される。
【図面の簡単な説明】
【００３４】
以下、図１に概略的に示す実施形態を参照し、本願発明について詳細に説明する。
【００３５】
【図１】図１は、特にＬＥＤヘッドライトなどパルス光源を認識し、トラッキングし、分類するのに用いられる、本明細書で説明する方法を実施する、本明細書で説明する装置を備える運転者支援システムを有する車両１の概略図を示す。
【発明を実施するための形態】
【００３６】
装置は、前方に位置するか、または接近する車両４の一連の個別画像を検出する、車両の前方側面に配列された２つのカメラ２を備える。これらのカメラ２は、それぞれ、個別画像の画素の濃淡値を計測する光センサ５を備える。さらに装置は、評価ユニット６を備える。評価ユニット６は、２つのカメラ２に接続され、２つのカメラ２によって撮像された個別画像の画素の少なくとも一部を、それらの濃淡値に基づいて、均一な濃淡値を有するコヒーレントな画像領域を形成するよう組み合わせる。これにより評価ユニット６は、予め定められた特徴に関して続けて画像領域を分析し、所与の画像領域がこれらの特徴を示す場合、この所与の画像領域を光源７として、または光源７の一部として分類する。
【００３７】
さらに、センサは少なくとも１つの調整値を有してもよく、輝度の著しい変化によってセンサの調整が任意の画素に関して必要である場合に、調整値を濃淡値としてこの画素に割り当ててよい。この場合、予め定められた特徴に関する分析は、画像領域の画素が、センサの調整値の予め定められた近傍範囲に含まれる濃淡値を有するかどうかの分析も含んでよく、また、評価ユニットはさらに、当該分析の結果が肯定的である場合、当該所与の画像領域をパルス光源か、またはパルス光源の一部として分類する。
【００３８】
例えばセンサ５は、ＣＭＯＳセンサであり、１２ビットの濃淡値深度を有し、調整値は、３４５の濃淡値に対応する。調整値の予め定められた近傍範囲は、３３４〜３６９の濃淡値である。一般的に、調整値の近傍範囲の幅を調整値のおよそ１０％以下とし、この場合、調整値を当該範囲のおよそ中心の値と定義することが好ましい。
【００３９】
これにより、装置は、他の車両のヘッドライトおよび／またはリアライト、特にＬＥＤヘッドライトおよびＬＥＤリアライト７などのパルス光源を認識することが出来る。このことを目的とし、カメラ２は、車両１の前方側面３に配列される。
【００４０】
さらに評価ユニットにより、互いに近接する画像領域を組み合わせて全体領域を形成し、個別の光源７であるかどうか分類する。
【００４１】
さらに、光源の認識、トラッキングおよび分類に関する信頼性を一層高めるべく、装置は、分析対象の画像領域、および分析対象の画像領域から形成される全体領域の全てについて、以下の全ての特徴に関して分析を行う。このように分析される画像領域または全体領域は、以下で言及する特徴の全てを示す場合、パルス光源またはパルス光源の一部として分類される。以下の説明において、分析対象の画像領域のみについて言及するが、それら分析対象の画像領域から形成される全体領域についても同様のことが適用される（上記参照）。
【００４２】
分析される特徴には以下のものが含まれる。センサの調整値に正確に対応する濃淡値を有する（分析対象である）所与の画像領域の画素の相対的な割合が予め定められた閾値よりも大きい。所与の画像領域の画素の濃淡値の分散が、定められた閾値未満である。所与の画像領域の画素の濃淡値の分散を、所与の個別画像の全ての画素の濃淡値の分散で除算することによって得られる比率が、定められた閾値未満である。
【００４３】
装置によってさらに分析される特徴には、所与の画像領域が、一連の個別画像に含まれる所与の個別画像に続く個別画像において再度認識されるかどうか、また、個別画像に続く個別画像において、所与の画像領域の画素の平均濃淡値の変化が、定められた閾値よりも大きいかどうか、といったことが含まれる。
【００４４】
さらに分析される特徴は、続く個別画像において、分析対象の画像領域の画素の濃淡値が、閾値よりも大きな周期で、センサの調整値の予め定められた近傍範囲に含まれるかどうかといったことである。
【００４５】
この場合、周期は、第１ベクトルと第２ベクトルとのハミング距離を計算することにより求められる。第１ベクトルのｎ番目のエントリにおいて、一連の個別画像に含まれるｎ番目の位置の所与の個別画像に先行する個別画像の所与の画像領域の濃淡値が、センサの調整値の予め定められた近傍範囲に含まれるかどうかが特定される（よって、一連の個別画像には、当該個別画像と所与の個別画像との間に、さらにｎ−１の個別画像が位置するということである）。第２ベクトルは、第１ベクトルをｐビット分だけシフトすることにより得られる。
【００４６】
これにより、異なるｐの値ごとにハミング距離の計算が繰り返され、最終的にハミング距離が最小となるｐの値が、画像領域に対応する期間として求められる。最終的に画像領域の周期は、当該期間に属するハミング距離に基づいて求められ、一般的に短いハミング距離は、周期が大きいことを意味する。
【図１】
2013534332.tif 000003
【国際調査報告】
2013534332.tif 000004
2013534332.tif 000005
2013534332.tif 000006
2013534332.tif 000007
2013534332.tif 000008
2013534332.tif 000009
2013534332.tif 000010
2013534332.tif 000011
2013534332.tif 000012
2013534332.tif 000013
2013534332.tif 000014
2013534332.tif 000015