(57)【要約】  自動車用視覚システム（１０）は、自動車の周囲から画像を取り込むように適合された撮像装置（１１）と、撮像装置（１１）により取り込まれた画像に対して画像処理を遂行し、画像処理の結果に応じて少なくとも１つの運転者支援装置（１８）を制御するように適合されたデータ処理装置（１４）とを備える。画像処理は、縁部検出を通じた物体検出を含み、物体検出は、撮像装置により取り込まれた画像を、異なる色特性を有する複数の分解画像（２３、２４）に分解すること（２１、２２）を含む。別々の縁部検出（３５、３６）が、分解画像に対して遂行される。別々の縁部検出からの縁部（３７、３８）は、共通縁部リストにマージされる（３９）。縁部（３７、３８）の各々について縁部識別性度合いが計算され、縁部（３７、３８）のマージは、縁部識別性度合いに基づく。【選択図】図２
2019525346.tif 000002
【特許請求の範囲】
【請求項１】
自動車用視覚システム（１０）であって、前記自動車の周囲から画像を取り込むように適合された撮像装置（１１）と、前記撮像装置（１１）により取り込まれた画像に対して画像処理を遂行し、前記画像処理の結果に応じて少なくとも１つの運転者支援装置（１８）を制御するように適合されたデータ処理装置（１４）とを備え、前記画像処理は、縁部検出を通じた物体検出を含み、前記物体検出は、前記撮像装置により取り込まれた画像を、異なる色特性を有する複数の分解画像（２３、２４）に分解すること（２１、２２）と、前記分解画像に対して別々の縁部検出（３５、３６）を遂行することと、前記別々の縁部検出からの縁部（３７、３８）を共通縁部リスト（４０）にマージすること（３９）とを含み、前記縁部（３７、３８）の各々について縁部識別性度合いが計算され、前記縁部（３７、３８）の前記マージが、前記縁部識別性度合いに基づくことを特徴とする、自動車用視覚システム（１０）。
【請求項２】
前記縁部（３７、３８）の前記マージは、最高の識別性度合いを提供する異なる分解画像（２３、２４）からの縁部の中から前記縁部を選択することに基づくことを特徴とする、請求項１に記載の視覚システム。
【請求項３】
前記分解画像（２３、２４）の各々に対して勾配画像（２７、２８）が計算されることを特徴とする、請求項１又は２に記載の視覚システム。
【請求項４】
前記縁部識別性度合いは、各検出縁部（３７、３８）の勾配振幅であることを特徴とする、請求項３に記載の視覚システム。
【請求項５】
各検出縁部（３７、３８）について正規化された勾配が計算されることを特徴とする、請求項３又は４に記載の視覚システム。
【請求項６】
前記正規化された勾配は、前記検出縁部（３７、３８）の勾配値を対応する縁部閾値（３３、３４）で除算することにより計算されることを特徴とする、請求項５に記載の視覚システム。
【請求項７】
前記分解画像（２３、２４）の各々について縁部閾値（３３、３４）が計算されることを特徴とする、請求項１〜６のいずれか一項に記載の視覚システム。
【請求項８】
前記縁部閾値（３７、３８）は、勾配値の統計的中心値、好ましくは勾配値の中央値から計算されることを特徴とする、請求項７に記載の視覚システム。
【請求項９】
前記縁部検出は、各勾配画像（２９、３０）を前記縁部閾値（３７、３８）に対して二値化することにより遂行されることを特徴とする、請求項７又は８に記載の視覚システム。
【請求項１０】
重複した検出縁部は、前記分解画像（２３、２４）の各々において検出された全ての縁部（３７、３８）から除去されることを特徴とする、請求項１〜９のいずれか一項に記載の視覚システム。
【請求項１１】
２つの検出縁部（３７、３８）を、それらの位置が世界座標系において指定限界内にある場合、重複物であるとみなすことを特徴とする、請求項１〜１０のいずれか一項に記載の視覚システム。
【請求項１２】
前記分解画像（２３、２４）は、照明輝度画像（２３）及び重み付きカラー画像（２４）を含むことを特徴とする、請求項１〜１１のいずれか一項に記載の視覚システム。
【請求項１３】
前記重み付きカラー画像（２４）は、検出対象の自動車の環境内の物体と同じ色を有することを特徴とする、請求項１〜１２のいずれか一項に記載の視覚システム。
【請求項１４】
前記重み付きカラー画像（２４）は、（Ｒ＋Ｇ＋２×（Ｂｍａｘ−Ｂ））／４と（Ｒ＋（Ｂｍａｘ−Ｂ））／２との線形結合によりＲＧＢ画像から計算される黄色画像であることを特徴とする、請求項１〜１３のいずれか一項に記載の視覚システム。
【請求項１５】
自動車用視覚方法であって、前記自動車の周囲から画像を取り込むことと、取り込まれた画像に対して画像処理を遂行し、前記画像処理の結果に応じて少なくとも１つの運転者支援装置（１８）を制御することとを含み、前記画像処理は、縁部検出を通じた物体検出を含み、前記物体検出は、取り込まれた画像を、異なる色特性を有する複数の分解画像（２３、２４）に分解すること（２１、２２）と、前記分解画像に対して別々の縁部検出（３５、３６）を遂行することと、前記別々の縁部検出からの縁部（３７、３８）を共通縁部リストにマージすること（３９）とを含み、前記縁部（３７、３８）の各々について縁部識別性度合いが計算され、前記縁部（３７、３８）の前記マージが、前記縁部識別性度合いに基づくことを特徴とする、自動車用視覚方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車用視覚システムであって、自動車の周囲から画像を取り込むように適合された撮像装置と、撮像装置により取り込まれた画像に対して画像処理を遂行し、画像処理の結果に応じて少なくとも１つの運転者支援装置を制御するように適合された処理装置とを備え、画像処理は、縁部検出を通じた物体検出を含み、物体検出は、撮像装置により取り込まれた画像を、異なる色特性を有する複数の分解画像に分解することと、分解画像に対して別々の縁部検出を遂行することと、別々の縁部検出からの縁部を共通縁部リストにマージすることとを含む、自動車用視覚システム、に関する。本発明は、対応する視覚方法にも関する。
【背景技術】
【０００２】
黄色区画線は、例えば線が古いか、若しくは他の理由から退色している場合にグレースケール画像内で、かつ／又はコンクリート若しくは淡色アスファルトなどの淡色面を有する路上で、検出するのが困難である。また、気象条件は、黄色道路標示を検出するのを困難にすることがある。例えば、このような線は、曇天条件下では容易に検出され得るが、晴天条件下では検出するのが困難であり得る。困難であることが多い条件の他の例は、日の出及び日没である。
【０００３】
米国特許第８，７５０，５６７  （Ｂ２）号は、請求項１の前文による黄色道路標示を検出するように適合された自動車用視覚システムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８，７５０，５６７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の基礎となる目的は、困難な条件下でさえ自動車の外側の道路標示のようなカラー構造体のより確実な検出を可能にする視覚システム及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、独立請求項の特徴を用いてこの目的を解決する。本発明によれば、検出縁部の各々について縁部識別性度合いが計算され、検出縁部のマージは、識別性度合いに基づく。
【０００７】
本発明は、複数の画像において縁部検出を遂行し、その結果を新しい方法で組み合わせることにより、カラー道路標示、並びに他の車両、交通標識などのような他のカラー物体をより確実に検出するやり方を提供する。分解画像は、好ましくは、特定色の道路標示を鮮明に視認可能にするやり方でカラーチャネルを線形結合することにより、作成される。次いで、全ての分解画像で縁部検出が遂行される。縁部は、好ましくは重複した縁部、すなわち世界座標系において互いに近い縁部を除去することにより、好ましくは最高の縁部識別性度合い、特に好ましくは特定の縁部閾値により正規化された最高の縁部勾配を有する縁部を選択することにより、結合される。縁部閾値は、計算された勾配画像のヒストグラムを使用して計算されることが好ましい場合がある。
【０００８】
本発明は、相対勾配振幅のような縁部識別性度合いを使用して縁部レベルでマージを遂行する一方、米国特許第８，７５０，５６７  Ｂ２号は、縁部のグループ化後にマージし、本発明のような縁部識別性度合いを使用していない。本発明によれば、縁部は、個別に検出及び処理される。
【０００９】
撮像装置によって取り込まれた画像の全画像列から、選択された行のサブセットのみを縁部について探索することが好ましい。探索された各行の間にいくつかの行が存在あることが好ましい。外側探索列間の距離は、特に自動車の前方８０ｍの距離で３０ｃｍなど、自動車の前方８０ｍの距離で５０ｃｍ未満の、相対的に小さい高さに対応することが更に好ましい。例えば、区画線の探索は、好ましくは取り込み画像の下半分未満において、より好ましくは自動車の前方最大８０ｍの領域内で、遂行される。上記の特徴は、本発明の縁部検出の優れた演算効率に寄与する。
【図面の簡単な説明】
【００１０】
以下では、添付の図面を参照して、好ましい実施形態に基づいて本発明を例解する。
【図１】本発明の視覚システムの概略図である。
【図２】本発明を例示するための概略流れ図である。
【発明を実施するための形態】
【００１１】
視覚システム１０は、自動車内に取り付けられ、自動車の周囲の領域、例えば自動車の前方の領域の画像を取り込むための撮像装置１１を備える。撮像装置１１は、好ましくは可視及び／又は赤外波長範囲内で動作する１つ以上の光学撮像装置１２、特にカメラを含むことが好ましく、赤外線は、５ミクロン未満の波長を有する近赤外線及び／又は５ミクロン超の波長を有する遠赤外線をカバーする。いくつかの実施形態では、撮像装置１１は、特にステレオ撮像装置１１を形成する複数の撮像装置１２を含む。他の実施形態では、モノ撮像装置１１を形成するただ１つの撮像装置１２を使用することができる。
【００１２】
撮像装置１１は、撮像装置１１から受信した画像データを処理するように適合されたデータ処理装置１４に連結される。データ処理装置１４は、プログラムされた又はプログラマブルなデジタルデバイスであり、マイクロプロセッサ、マイクロコントローラのデジタル信号プロセッサ（ＤＳＰ）、及び／又はシステムオンチップ（ＳｏＣ）デバイス内のマイクロプロセッサ部を含むことが好ましく、データメモリ１５にアクセスするか、又はそれを含むことが好ましい。データ処理装置１４は、特定の機能を遂行するために、例えば撮像装置１１による画像の取り込みを制御し、撮像装置１１から画像情報を含む電気信号を受信し、左／右画像対を修正するか又は歪曲させて位置合わせし、かつ／又は像差画像若しくは奥行画像を作製するために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは特定用途向け集積回路（ＡＳＩＣ）、又はシステムオンチップ（ＳｏＣ）デバイス内のＦＰＧＡ及び／若しくはＡＳＩＣ部のような、専用ハードウェアデバイスを含み得る。データ処理装置１４、又はその機能の一部は、例えばＦＰＧＡ、ＤＳＰ、ＡＲＭ、及び／又はマイクロプロセッサ機能を含むシステムオンチップ（ＳｏＣ）デバイスにより実現することができる。データ処理装置１４及びメモリデバイス１５は、車載電子制御ユニット（ＥＣＵ）内に実現されることが好ましく、別個のケーブル又は車両データバスを介して撮像装置１１に接続され得る。別の実施形態では、ＥＣＵ及び撮像装置１２のうちの１つ以上を、単一のユニットに統合することができ、ＥＣＵ及び全ての撮像装置１２を含むワンボックスソリューションが好ましい場合がある。撮像、画像処理から、運転者支援装置１８の考えられる起動又は制御までの全てのステップは、運転中にリアルタイムで自動的かつ連続的に実行される。
【００１３】
データ処理装置１４で実行される画像及びデータ処理は、有利には、歩行者、他の車両、自転車乗用者、及び／又は大型動物などの自動車の前方の可能な物体（物体候補）を識別すること及び好ましくは更に分類することと、取り込んだ画像内の識別された物体又は物体候補の位置を経時的に追跡することと、追跡物体に関して遂行した推定、例えば推定衝突確率に応じて少なくとも１つの運転者支援装置１８を起動若しくは制御することと、を含む。運転者支援装置１８は、特に、検出物体に関する情報を表示するディスプレイ装置を含み得る。しかし、本発明は、ディスプレイ装置に限定されない。運転者支援装置１８は、加えて又は代替的に、好適な光学的、音響的、及び／又は触覚的信号により運転者に衝突警告を提供するように適合された警告装置、乗員エアバッグ又は安全ベルトテンショナ、歩行者エアバッグ、フードリフターなどの１つ以上の拘束システム、並びに／又は制動又は操舵制御装置などの動的車両制御システム、を含み得る。
【００１４】
下記において、本発明を、図２に示す流れ図を使用して説明する。本明細書において、撮像装置１１により撮影されたカラー画像２０は、データ処理装置１４において処理される。すなわち、図２のカラー画像２０の下流の全てのステップ２１〜３９は、データ処理装置１４内で遂行される。カラー画像２０は、本実施例ではＲＧＧＢ画像であるが、他の配色のカラー画像であってもよい。
【００１５】
ステップ２１、２２において、生のＲＧＧＢ画像２０は、輝度画像２３に分解又はデモザイク処理され（ステップ２１：輝度のデモザイク処理）、重み付きカラー画像２４に変換される（ステップ２２：重み付きカラーのデモザイク処理）。本明細書において、輝度のデモザイク処理ステップ２１は、各画素のグレースケール輝度をその色から独立して表示する輝度画像２３をもたらす。
【００１６】
重み付きカラーのデモザイク処理ステップ２２は、検出対象のカラー物体をできる限り明確に示すように設計されている。下記において、検出対象のカラー物体は、黄色道路標示であるものとするが、本発明は黄色以外の任意の色に、かつ道路標示以外の任意の物体に適用することができることが明らかである。
【００１７】
重み付きカラー画像２４は、検出対象の自動車の環境内のカラー物体と同色であることが好ましい。このため、本例では、重み付きカラー画像２４は、有利には黄色画像である。この黄色画像は、（Ｒ＋Ｇ＋２ｘ（Ｂｍａｘ−Ｂ））／４と（Ｒ＋（Ｂｍａｘ−Ｂ））／２との線形結合によりＲＧＧＢ画像から計算することができることが好ましく、Ｒは赤色輝度、Ｇは緑色輝度、Ｂは青色輝度、Ｂｍａｘは画像中の最大青色輝度である。これは、高い黄色コントラストレベルを提供する黄色画像を計算する、非常に計算が効率的なやり方である。黄色以外の色については、同様の簡単な式を構築して、Ｒ、Ｇ、及び／又はＢ値を伴う項の線形結合から重み付きカラー画像２４を計算することができる。
【００１８】
ステップ２１及び２２におけるカラー画像２０の分解に続いて、輝度画像２３及び重み付きカラー画像２４を別々に処理して、２つの並行処理ブランチ２５、２６、すなわち色から独立した輝度処理ブランチ２５と色処理ブランチ２６とを得る。
【００１９】
両方のブランチにおいて、勾配計算２７、２８が遂行され、対応する勾配画像２９、３０がそれぞれ得られる。入力画像から勾配画像を計算する方法は、当業者に公知である。
【００２０】
勾配画像２９については、次に閾値計算部３１において輝度縁部閾値３３が計算される。閾値計算部３１では、勾配画像２９中の全ての勾配値のヒストグラムが最初に計算されることが好ましい。次いで、輝度画像２３の縁部閾値３３は、係数と全ての勾配値の中央値との乗数として計算し得る。中央値の代わりに、勾配値の統計的分布に関する他の任意の中心値、例えば平均値、又はヒストグラムにおいて最も高い数を提供する値を使用することができる。更に、統計的中心値（中央値、平均など）は、勾配値ヒストグラムから以外のやり方で、例えば勾配画像から直接、計算されてもよい。その場合、ヒストグラムの計算は、必要とされないことがある。
【００２１】
同様に、カラー画像処理ブランチ２６内の勾配画像３０について、輝度縁部閾値３４が閾値計算部３２において計算される。閾値計算部３２では、勾配画像３０中の全ての勾配値のヒストグラムが最初に計算されることが好ましい。次いで、カラー画像２４の縁部閾値３４が、係数と全ての勾配値の中央値、又は勾配値の統計的分布に関する他の任意の中心値との乗数として計算され得る。ここで、統計的中心値は、勾配値ヒストグラムとは別のやり方で計算されてもよい。
【００２２】
次に、縁部検出部３５、３６において、勾配画像２９、３０を、それぞれ対応する計算された縁部閾値３３、３４に対して二値化する。ここで二値化とは、対応する縁部閾値３３、３４を下回る勾配画像２９、３０の各画素がゼロに設定され、対応する縁部閾値３３、３４に到達した（他の実施形態では、到達又は超過した）勾配画像２９、３０の各画素が、何らかの非ゼロ値に設定されることを意味する。この結果、二値化された輝度勾配画像２９の全ての非ゼロ位置は、輝度縁部３７として記憶され、二値化されたカラー勾配画像３０の全ての非ゼロ位置は、カラー縁部３８として記憶される。
【００２３】
次のステップでは、各記憶された縁部３７、３８について、正規化された勾配値が、考察対象の縁部の勾配値を対応する閾値３３、３４で除算することにより、計算される。この正規化された勾配値は、画像において縁部３７、３８がどれほど明確に見えるかの度合いである。正規化された勾配値の計算は、下記に記載するマージ部３９において遂行することができる。
【００２４】
正規化された勾配値の計算後、正規化された勾配値を有する縁部３７、３８のリストを、マージ部３９中の共通縁部リストにマージすることができる。
【００２５】
最後に、重複縁部が、共通縁部リスト３７、３８から除去される。重複縁部は、車両の外側の同じ物理的構造、例えば区画線により生み出される複数の縁部である。現在の文脈において、２つの縁部は、それらの位置が世界座標系において指定限界内にある場合、重複物とみなされる。全ての重複縁部について、より低い又は最低の正規化された勾配を有する縁部は、除去される。一般に、全ての複製縁部について、最高の正規化された勾配を有する縁部のみが、維持される。マージ部３９の出力は、重複物のない検出縁部リスト４０である。上記から、最終縁部リスト４０に含まれる縁部は、マージプロセス及び重複物除去プロセスのため、全ての縁部３７、３８の真のサブセットであることが明らかである。
【００２６】
更なる物体検出処理は、本例の道路標示検出のように、検出縁部リスト４０に対して遂行することができる。
【００２７】
本発明は、各カラー画像２０を３つ以上の分解画像２１、２２に、特に１つの分解輝度画像２１と、異なる色特性を伴う２つ以上の分解カラー画像２２とに分解することにより、３つ以上の処理ブランチ２５、２６に対して容易に一般化することができる。
【図１】
2019525346.tif 000003
【図２】
2019525346.tif 000004
【国際調査報告】
2019525346.tif 000005
2019525346.tif 000006
2019525346.tif 000007