(57)【要約】  本発明は、少なくとも、撮像センサ（１０）を備えたカメラシステムを有している自動車の走行方向における外部空間の監視ユニットであって、該撮像センサは部分領域（１１，１２，１３）においてカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）を有しかつその他はモノクロのコーディング（Ｓ／Ｗ）を有している監視ユニットに関する。本発明は更に、この形式の監視ユニットを備えている、殊に交通標識および／または走行車線捕捉検出のための車両用アシスタントシステムである。
2007538440.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、撮像センサ（１０）を持ったカメラシステムを有している自動車の走行方向における外部空間の監視ユニットであって、撮像センサは部分領域（１１，１２，１３）においてカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）を有しかつその他の部分ではモノクロのコーディング（Ｓ／Ｗ＝白黒）を有している
監視ユニット。
【請求項２】
バーチカルストライプおよび／または領域（１１）のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）がセンサ（１０）の右画像縁に設けられている
請求項１記載の監視ユニット。
【請求項３】
バーチカルストライプおよび／または領域（１２）のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）がセンサ（１０）の左画像縁における設けられている
請求項１または２記載の監視ユニット。
【請求項４】
ホリゾンタルストライプおよび／または領域（１３）のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）がセンサ（１０）の下側画像縁に設けられている
請求項１から３までのいずれか１項記載の監視ユニット。
【請求項５】
センサ（１０）の下側画像縁における領域（１３）のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）は、カメラが、普通の乗用車のボンネット上でちょうど道路を見る領域と一致している
請求項４記載の監視ユニット。
【請求項６】
カラーコーディングされたストライプおよび／または領域（１１，１２，１３）は個別カラー（Ｒ；Ｙ）において実現されている
請求項１から５までのいずれか１項記載の監視ユニット。
【請求項７】
バーチカルストライプおよび／または領域（１１，１２）は赤の（Ｒ）カラーコーディングを有している
請求項６記載の監視ユニット。
【請求項８】
ホリゾンタルストライプおよび／または領域（１３）は黄色の（Ｙ）カラーコーディングを有している
請求項６または７記載の監視ユニット。
【請求項９】
カラーコーディングされたストライプおよび／または領域（１１，１２，１３）は２つのカラー（Ｒ；Ｇ）の組み合わせにおいて実現されている
請求項１から８までのいずれか１項記載の監視ユニット。
【請求項１０】
バーチカルストライプおよび／または領域（１１，１２）は赤（Ｒ）および緑の（Ｇ）カラーコーディングを有している
請求項８または９記載の監視ユニット。
【請求項１１】
カラーコーディングされたストライプおよび／または領域（１１，１２，１３）はバイヤ・パターン（Ｒ，Ｇ，Ｂ）として実現されている
請求項１から１０までのいずれか１項記載の監視ユニット。
【請求項１２】
モノクロのコーディング（Ｓ／Ｗ）の、部分カラーコーディングに対する比は６０：４０％、有利には７５：２５％、殊に８０：２０％である
請求項１から１１までのいずれか１項記載の監視ユニット。
【請求項１３】
請求項１から１２までのいずれか１項記載の、自動車の走行方向における外部空間を捕捉検出する少なくとも１つの監視ユニットを備えた、例えば交通標識および／または走行車線捕捉検出のための自動車用支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも、撮像センサを持ったカメラシステムを有している自動車の走行方向における外部空間の監視ユニットに関する。
【０００２】
更に本発明は殊に自動車の走行方向における外部空間を捕捉検出する少なくとも１つの監視ユニットを備え、該監視ユニットは少なくとも、撮像センサを持ったカメラシステムを有している、殊に交通標識および／または走行車線捕捉検出のための、自動車用支援システムに関する。
【０００３】
インテリジェントＡＤＡＳ（Advanced Driver Assistance Systems）ドライバー支援システムは将来の今日的な自動車においてますます重要な位置を占めるようになる。将来の自動車は例えば、例えばデジタルＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）形画像センサを補助手段として持つカメラシステムのような監視ユニットを含むことになる。これは例えば自動車の走行方向における外部空間を捕捉検出するものである。
【０００４】
走行周辺捕捉検出のためのオートモービル分野におけるこの形式の画像処理システムでは、大抵の課題のために純然たる白黒（schwarz/weiss＝Ｓ／Ｗ）、すなわちモノクロな撮像の方がカラー撮像よりも好都合である。しかし画像処理によって生成される出力ベクトルの一層高い確率の表出（"confidence level"＝信頼係数）を実現するためには、例えばＲＧＢ３原色赤（Ｒ）、緑（Ｇ）、青（Ｂ）および／または例えば黄色（Ｙ）等の別のカラーから得られるカラー情報が重要である用途がある。
【０００５】
１つの例は交通標識の識別であり、その際場合によっては個々のカラー情報（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹ等のような別のカラー）について、それが禁止もしくは規制標識なのか単なる情報提供標識なのかを識別することができる。
【０００６】
別の機能は例えば建設現場領域におけるカラーの走行車線マークの識別である。ここでは同様に、通常の白い、もはや有効ではないマークと、付加的な黄色いカラー走行車線マークとを区別できるようにするためにはカラーの情報が役に立ちかつ必要でもある。
【０００７】
これに対して妨害物、別の車両、二輪走行者または人のような物体の識別のためには純然たるモノクロの（Ｓ／Ｗ）撮像で十分である。というのはこの場合にはカラー情報（Ｒ，Ｇ，Ｂ，Ｙ等）は通例は一層高い品質の識別に貢献しないからである。
【０００８】
本発明の課題は、少なくとも、撮像センサを持ったカメラシステムを有している自動車の走行方向における外部空間の改善された監視ユニット、並びに殊に交通標識および／または走行車線捕捉検出のための、改善された自動車用支援システムを提供することである。
【０００９】
この課題は独立請求項の特徴部分に記載の構成によって解決される。
【００１０】
個別にまたは相互の組み合わせにおいて使用することができる有利な実施形態および発展形態は従属請求項の対象である。
【００１１】
本発明は、冒頭に述べた形式の、自動車の走行方向における外部空間の監視ユニットにおいて、監視ユニットは部分領域においてカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）を有しかつその他の部分ではモノクロのコーディング（Ｓ／Ｗ）を有している撮像センサを備えている少なくとも１つのカメラを有しているということによって特徴付けられている。従って本発明は実質的にモノクロ（Ｓ／Ｗ）に構成されているもしくはコーディングされている撮像センサから出発しており、該撮像センサは本発明によれば部分領域においてカラーコーディング（Ｒおよび／またはＧおよび／またはＢおよび／または例えば黄色Ｙなどのような別のカラー）を有している。
【００１２】
交通標識の具体的なカラーの識別もしくは対応付けを目的として、右および／または左の画像縁にバーチカルストライプおよび／または領域のカラーコーディング（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹなどの別のカラー）を設けることが提案される。交通標識はカメラがフロント領域に組み込まれていて直線走行している場合にはカメラ目線的に画像の中心から外方向に移動するので、標識がカラーコーディングされたストライプもしくは領域内にある時点で有利な仕方で標識のカラーおよびこれに結びついている基本的な表示事項（禁止、規制、その他の情報）を突き止めることができる。
【００１３】
走行車線マークの例えば黄色または白いカラーの識別の目的で、センサの下側の画像縁にカラーコーディング（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹなどのような別のカラー）を設けることが提案される。カラーコーディングは水平方向のストライプおよび／または領域において行われており、有利には殊に通例の乗用車（Ｐｋｗ）においては殊にカメラ目線がボンネットの上でちょうど道路を捕らえる領域においてである。しかし本発明の監視ユニットが貨物自動車（Ｌｋｗ）または小型運搬車などに使用される場合にもカメラの相応する配置が可能である。この領域は物体検出または走行車線捕捉検出に関する画像評価には必ずしも必要ではないので、有利にもこの領域をカラー識別の目的のために用いることができる。カメラがフロンに組み込まれておりかつ直線走行している場合には画像中央の真ん中／上側の領域から左下もしくは右下画像領域までの走行車線を見ることができるので、走行車線のポジションに対して付加的に、有利にもカラーを突き止めかつ画像処理システムをおいて使用することができる。
【００１４】
所望のカラー情報（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹなどのような別のカラー）を得るために、重要と認めるストライプもしくは領域のそれぞれ個々のセル（ピクセル）の前に小さな、場合によっては用途に固有に整合されているカラーフィルタを取り付けることが提案される。
【００１５】
第１の実施形態においてカラーコーディングされたストライプおよび／または領域は例えば個別カラー（Ｒ；Ｙ：など）において実現されている。
【００１６】
有利にもバーチカルストライプおよび／または領域は赤の（Ｒ）カラーコーディングを有している。他方において水平方向のストライプおよび／または領域は黄色の（Ｙ）カラーコーディングを有している。
【００１７】
択一的または累加的に、カラーコーディングされたストライプおよび／または領域は２つのカラーの組み合わせにおいて実現されているようにしてもよい。殊に、バーチカルストライプおよび／または領域が赤（Ｒ）および緑の（Ｇ）カラーコーディングを有していれば禁止標識と樹木のコントラストを高めるのに好都合であることが分かっている。
【００１８】
別の実施形態において所望のカラー情報（Ｒ，Ｇ，Ｂ）を得るために、重要と見なしたストライプもしくは領域のそれぞれ個別のセル（ピクセル）の前に、有利にはいわゆるバイヤ・パターンにおいて配置されている３原色ＲＧＢの１つ赤（Ｒ）、緑（Ｇ）および青（Ｂ）の小さなカラーフィルタを取り付けることが提案される。
【００１９】
本発明は更に上に説明してきた形式の監視ユニットを備えているアシスタントシステムに関する。このようにして監視ユニットの利点は、殊に交通標識および／または走行車線捕捉検出のためにシステム全体の枠内で利用価値を見つけることができる。その際モノクロのコーディング（Ｓ／Ｗ）の、部分カラーコーディングに対する比は８０：２０％である。各用途が持つ重点次第で、部分カラーコーディングされた領域はセンサ面の２５％を占めていてもよく、または４０％になっても構わない。
【００２０】
部分カラーコーディング（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹなどのような別のカラー）されたカメラを有している自動車の走行方向の外部空間に対する本発明の監視ユニットもしくはこの形式の監視ユニットを有している自動車に対するアシスタントの重要な利点は、初めて、１台のカメラで走行周辺捕捉検出のためにすべての重要なデータを得ることができるようになったということである。カメラの実質的にモノクロな（Ｓ／Ｗ）撮像により、感度は制限されておらず、光の状態が悪い場合にも確実な評価が保証されている。というのは、センサの縁領域にあるカラーコーディング（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹなどのような別のカラー）は純然たるモノクロ（Ｓ／Ｗ）画像の方が有利である用途をなんら妨げないからである。
【００２１】
これに対して、センサの画面の右端および／または左端にあるバーチカルストライプおよび／または領域を有しているカラーコーディングＲおよび／またはＧおよび／またはＢおよび／または例えばＹなどのような別のカラー）は交通標識のカラー（Ｒ，Ｇ，Ｂ，Ｙ，…）に関する確実な情報を提供し、下側の画像領域におけるカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ，…）走行車線マークのカラーに関する確実な情報を提供する。
【００２２】
従ってすべての関連用途に対して唯一のカメラを使用することができ、このために有利にもコストおよび構造スペースが節約されることになる。
【００２３】
次に本発明を添付図面を参照して有利な実施例に基づいて説明する。
【００２４】
図中
図１は自動車のモノクロ（Ｓ／Ｗ）にイメージ化されている外部空間シーンの例を示し、
図２は監視ユニットのカメラの撮像素子の可能なカラーフィルタ（Ｒ，Ｇ，Ｂ）の分布の基本原理を示し、
図３は図２のカラーフィルタの一部を拡大して示し、
図４は図２に示すように部分カラーコーディングされている外部空間を持った図１の例を示し、
図５および図６は監視ユニットの撮像素子のカラーフィルタ分布の別の例を示している。
【００２５】
図１には、自動車のモノクロでイメージ化されている外部空間シーンの例が示されている。この形式の白黒（黒／白＝schwarz／weiss＝Ｓ／Ｗと略記することもある）撮像で不都合なのは、３原色赤（Ｒ）および／または緑（Ｇ）および／または青（Ｂ）および／または例えばＹのような別のカラーから得られるカラー情報が落ちていることである。
【００２６】
この形式のカラー情報（Ｒ，Ｇ，Ｂ，Ｙ…）は、−図１の画像部分の右端にある速度制限標識の場合のように−禁止または規制標識であるのかまたは単なる案内標識（図示されていない）であるのかをカラー情報（Ｒおよび／またはＧおよび／またはＢおよび／または例えばＹ等のような別のカラー）を介して識別することができるところでは、画像処理によって生成される出力ベクトルの尤もらしさのレベルの一段と高い情報表出（"confidence level"）を実現するために重要になってくる。
【００２７】
別の機能は、建設現場におけるカラーの走行車線マークの識別である。ここではその時点ではもはや有効ではない通常の白線と付加的な黄色の走行車線とを区別することが大切であり、必要でもある。
【００２８】
カラーコーディングのみされている（Ｒ，Ｇ，Ｂ，Ｙ…）撮像素子を使用するという考えられる解決法は計算時間がかかり、従ってコスト高につくばかりでなく、その上、一連の外部空間用途に対して、殊に妨害物、別の車両、２輪運転者、人およびこの種のものの物体検出に対してまたは夜間の用途に対してモノクロ（Ｓ／Ｗ）画像の方が有利であるという不都合を有している。
【００２９】
互いに相容れないこの要求を解決するために本発明は冒頭に述べた形式の監視ユニットにおいて例えば特有に構成されているＣＣＤカメラの使用を提案する。このカメラは部分領域１１，１２，１３においてカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）を有しておりかつその他の所ではモノクロのコーディング（Ｓ／Ｗ）を有している。換言すると、本発明は実質的にモノクロ（Ｓ／Ｗ）に構成されているもしくはコーディングされているセンサ１０から出発している。このセンサは部分領域においてカラーコーディング（Ｂおよび／またはＧおよび／またはＲおよび／または例えばＹ等…のような別のカラー）を有している。このことは例えばバーチカルなストライプ（垂直方向に細長く延びた領域）（図示されてない）または右側の画像縁１１および左側の画像縁１２の領域のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ…）によって行うことができ、かつ例えば交通標識に正しいカラー（Ｒ，Ｇ，Ｂ，Ｙ…）を対応付けるのに役立つ。車両のフロント領域にカメラをマウントした場合交通標識は直線走行においてカメラ目線的に画像の中央から外方向に移動するので、標識がカラーコーディングされた（Ｒ，Ｇ，Ｂ，Ｙ…）ストライプもしくは領域１１，１２内にある時点で標識のカラー（Ｒ，Ｇ，Ｂ，Ｙ…）を突き止めることができる。
【００３０】
走行車線のカラー（例えば黄色または白）を識別するために、センサ１０の下側の領域１３において同様に、殊に黄色（Ｙ）のカラーコーディングを設けることが提案される。この領域は有利には、通例の自動車ではカメラがちょうどボンネットの上で道路を見ている領域である。この領域は物体検出または走行車線捕捉検出に関する画像評価のために必ずしも必要ではなく、従ってカラー識別（Ｙ）のために使用することができる。カメラがフロントにマウントされていて、直線走行している場合には走行車線は真ん中／上側の画像中央から下側の左および右の画像領域まで見ることができるので、走行車線のポジションに対して付加的に依然としてカラーを突き止めかつ画像処理システムで使用することができる。ただしこの特徴はボンネットを有する車両に制限されておらず、本発明の監視ユニットを使用する場合、殊に貨物自動車または小型運搬車などにも類似の仕方で実現することができる。
【００３１】
夜間に使用する場合にも、近赤外線を含めて全部の、すなわちフィルタリングされていない波長領域に及ぶできるだけ高度な感度が必要である。しかしここでは一般に、著しく小さな捕捉検出角度も検出されなければならないので、カラーコーディングのない比較的小さな真ん中の領域を設けることで十分である。
【００３２】
図２には監視ユニットのカメラの撮像素子１０の可能なカラーフィルタ分布（Ｒ，Ｇ，Ｂ．Ｙ…）の原理の一例が示されている。通例は、監視ユニットのデジタルカメラのカラーコーディングされていない（Ｎ）ＣＣＤセンサ１０の光に感応するセルは輝度値だけを捕捉検出する。カラー情報（Ｒ，Ｇ，Ｂ．Ｙ…）を得るためにそれぞれ個々のセルの前に例えば３原色赤（Ｒ）、緑（Ｇ）および／または青（Ｂ）および／または例えば黄色（Ｙ）などの別のカラーの１つの小さなカラーフィルタを被着するべきである。原色から構成されているフィルタは通例、配置Ｒ−Ｇ−Ｒ−Ｇにおいておよび次の行においてＧ−Ｂ−Ｇ−Ｂにおいて取り付けられている。この配置において所謂バイヤ・パターン（Bayer Pattern）が生じる。
【００３３】
図３にはバイヤ・パターンとして配置されている、図２のカラーフィルタ分布（Ｒ，Ｇ，Ｂ．Ｙ…）の一部が拡大して示されている。それぞれのＣＣＤエレメントが唯一のカラー成分の情報しか供給しないので、相応の実際のカラーの実現のためには隣接ピクセルが用いられなければならないことがよく分かる。この過程でいわゆる「カラー補間」が行われる。
【００３４】
この形式のカラー補間を用いてバイヤ・パターンとしてコーディングされている、センサ１０のストライプもしくは領域１１，１２，１３内で道路交通において表す必要があるカラー情報が得られかつ画像処理のために使用することができる。
【００３５】
図１の相応の例と図２に示すように部分的にカラーコーディングされている外部空間とが図４に一緒に示されている。
【００３６】
カラー情報は必ずしも３原色から成っている必要はない。例えば禁止標識に対する赤（Ｒ）または例えば建設現場における走行車線マークに対する黄色（Ｙ）のような個々のカラーフィルタだけを使用するようにしてもよい。また、禁止標識の、樹木に対するコントラストを高めるために、赤（Ｒ）および緑（Ｇ）を組み合わせたフィルタまたは用途に固有に整合されているカラーフィルタも好適であることがわかっている。この形式のカラーフィルタは有利には例えば、行および／または列の１つ置きのピクセルに相互に間隔を置いて配置してもよい。すなわちコーディングされていない（Ｎ）ピクセルまたは別のカラーコーディングされたピクセルもしくは必要に応じて用途に整合されているカラーフィルタの任意の組み合わせが可能である。
【００３７】
この形式の有利な配置構成もしくは「バイヤ・パターン」に代わって使用することができるカラーコーディングの別の例が図５および図６に示されている。
【００３８】
図５には例えば禁止標識を識別するために行内の１つ置きのピクセルだけにおよび／または１つ置きの列に赤のカラーフィルタ（Ｒ）を備えている例が分かり易く示されている。
【００３９】
図６には２つのカラーの組み合わせの有利な形態が示されている。「バイヤ・パターン」の場合のようなＲ−Ｇ−Ｒ−Ｇおよび次の行Ｇ−Ｂ−Ｇ−Ｂに代わって、パターンＲ−Ｎ−Ｒ−Ｎおよび次の行のＮ−Ｇ−Ｎ−Ｇのカラーフィルタが使用される。ここでＮはカラーコーディングされていない。
【００４０】
部分的にカラーコーディングされているカメラの重要な利点は、１つのカメラだけで走行周辺捕捉検出のための重要なデータを得ることができることである。実質的にモノクロの（Ｓ／Ｗ）カメラにより、光の状態が悪い場合にも確実な評価を保証するために感度は下がっていない。つまり、センサ１０の規定の縁領域１１，１２，１３におけるカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ，…）はモノクロ（Ｓ／Ｗ）画像だけの方が好都合である用途に対しても妨げにならない。これに対して左の画像縁１１および右の画像縁１２にホリゾンタルストライプを有しているカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ，…）は交通標識のカラー（Ｒ，Ｇ，Ｂ，Ｙ，…）に関する情報を提供し、下の画像領域１３のカラーコーディング（Ｒ，Ｇ，Ｂ，Ｙ，…）は走行車線のカラーに関する確実な情報を提供する。
【００４１】
こうしてあらゆる用途に対して唯一のカメラを使用することができ、コストおよび構造空間も節約される。
【００４２】
それ故に本発明は殊に交通標識および／または走行車線捕捉検出のために、自動車のアシスタントシステムに実現するのに殊に適している。ブラインドスポット検出、ＬＤＷ（Lane Departure Warning）−走行車線監視、夜間視認（ナイト／ビジョン）などのような自動車の既存のアシスタントシステムと組み合わせて使用できるばかりでなく、このために有利にも道路交通における安全性が高められる、
【図面の簡単な説明】
【００４３】
【図１】自動車のモノクロ（白黒）に表示されている外部空間シーンの例を示す図
【図２】監視ユニットのカメラの撮像素子の可能なカラーフィルタ（Ｒ，Ｇ，Ｂ）の分布の基本原理を示す図
【図３】図２のカラーフィルタの一部を拡大して示す図
【図４】図２に示すように部分カラーコーディングされている界部空間を持った図１の例を示す図
【図５】監視ユニットの撮像素子のカラーフィルタ分布の別の例を示す図
【図６】監視ユニットの撮像素子のカラーフィルタ分布の更に別の例を示す図
【図１】
2007538440.tif 000003
【図２】
2007538440.tif 000004
【図３】
2007538440.tif 000005
【図４】
2007538440.tif 000006
【図５】
2007538440.tif 000007
【図６】
2007538440.tif 000008
【国際調査報告】
2007538440.tif 000009
2007538440.tif 000010
2007538440.tif 000011
2007538440.tif 000012
2007538440.tif 000013
2007538440.tif 000014