(57)【特許請求の範囲】
【請求項１】
カメラ（２）および該カメラに接続されている、画像認識のための制御／評価ユニット（１６，１７）を有している車両において情報を指示するための方法において、
前記制御／評価ユニット（１６，１７）は、前記カメラ（２）によって撮影された画像のうち、画像処理により、運転者支援のために必要である道路標識および補助標識の輪郭を含んでいる部分（７）を他の画像部分から分離して取り出しかつ該道路標識および補助標識の解釈を行い、該道路標識および補助標識の輪郭を含んでいる部分（７）ならびに前記解釈に基づく付加的情報を比較可能な態様で同時に指示ユニット（１１）にて車両の運転者に直接指示すると共に、
前記制御／評価ユニット（１６，１７）は、少なくとも１つの別の車両センサ（１８，１９）からの情報を評価しかつ該評価の結果としての道路標識の最後の認識からの距離および／または時間を、前記カメラ（２）によって撮影された画像の前記部分（７）に対して付加的に指示する
ことを特徴とする方法。
【請求項２】
前記制御／評価ユニット（１６，１７）は、前記カメラ（２）によって撮影された画像のセグメント化を行い、前記セグメント化後に前記道路標識の認識及び分類を行う
請求項１記載の情報指示方法。
【請求項３】
最後に認識された道路標識の指示を行うか否かを、前記分類に基づいて決定する
請求項２記載の情報指示方法。
【請求項４】
最後に認識された道路標識の前記分類を指示する
請求項２記載の情報指示方法。
【請求項５】
最後に認識された道路標識を呼び出し可能にデータバンクにファイルしおよび／または運転者に表示する
請求項１から４までのいずれか１項記載の情報指示方法。
【請求項６】
車両の速度の目標／実際値比較の際に速度が過度に高められている場合には音響的および／または光学的な警報を出力する
請求項１から５までのいずれか１項記載の情報指示方法。
【請求項７】
前記制御／評価ユニットにより車線認識を行いかつ車両が追い越し禁止区間において軌道を逸脱しそうになると音響的および／または光学的な警報を出力する請求項１から６までのいずれか１項記載の情報指示方法。
【請求項８】
カメラは非線形ないし対数化ＣＭＯＳ画像センサを含んでいる
請求項１から７までのいずれか１項記載の情報指示方法。
【請求項９】
前記カメラ（２）によって撮影された画像の前記部分（７）の画質を改善して、前記道路標識および補助標識の指示を行う
請求項１から８までのいずれか１項記載の情報指示方法。
【発明の詳細な説明】
【０００１】
従来技術
本発明は、請求項１の上位概念に記載の自動車における情報指示方法から出発している。
【０００２】
今日の車両において、道路標識認識の際に運転者を支援するための自動化された機能は存在していない。しかしこれがあれば快適さおよび安全性という点で非常に価値があり、例えば、速度制限または追い越し禁止の際に運転者に警報する、もしくは運転者にその時に当てはまる制限について運転者の希望に基づいて情報を与えることができる。既存のトラヒックインフラストラクチャ（Verkehrsinfrastruktur）では、道路標識の認識および評価は画像センサを用いてしか行うことができない。というのは、情報は、純光学的に評価できるようにしか存在していないからである。道路標識認識の高度な快適さおよび安全性重要性に基づいて、ビデオをベースとした道路標識認識が行われる。公知のアプローチはすべて、認識すべき道路標識の量の制限から出発している。認識すべき道路標識の量に基づいて、カメラによって撮影される画像の画像セグメント化が行われて、興味のある道路標識が認識されかつ分類されるようにしている。分類によって、道路標識情報、例えば７０ｋｍ／ｈへの速度制限が得られる。分類された道路標識情報は、例えば数字組み合わせ「７０」を指示することによって、運転者に相応の指示フィールドを介して通報される。センサによって得られた画像の情報を道路標識について探索しかつ評価を運転者に指示するという方法によって、分類が非常に確実に行われなければならないという問題が生じる。そうでなければ、運転者に誤った情報が与えられることを排除することができない。誤った分類により一方においてこの種のシステムの受け入れが低下され、他方において製品に対する法的な責任問題が生じることになることが予測され得る。運転者に誤った速度制限が示され、その結果運転者が最高速度を超過したとして、このことから生じる損害の責任は誰がとるのかという問いが生じる。従来技術によれば、道路標識の認識の際の誤った分類は排除することができない。
【０００３】
発明の利点
請求項１の特徴部分に記載の構成を有する情報を指示するための本発明の方法は、センサによって検出された画像の部分が、道路標識の内容の評価および分類が行われることなしに直接指示されるという利点を有している。カメラの画像の評価は道路標識の輪郭を求めかつこの画像部分を直接運転者に表示する。分類は運転者が自身で行い、運転者には道路標識だけが指示されかつ支援する形式で表出されている。評価の際にエラーがあったとしても、運転者には道路標識のない画像部分が表示されるにすぎず、それを運転者は単に無視することができる。
【０００４】
従属請求項に記載の構成によって、請求項１に記載の方法の有利な形態および改良例が可能である。評価ユニットがカメラの他に別の車両センサから付加的に情報を受け取るとき、道路標識に対して付加的に更に別の情報を表示することができれば特別有利である。すなわち有利には、道路標識の最後の認識以降の時間並びに距離を指示することができる。
【０００５】
有利には、この方法は、速度制限の場合の例えば「濡れているときだけ」（図２，３に５で示されている条件（nur bei Naesse）というような付加情報を有する道路標識も捕捉検出することができる。道路標識の表示は、付加領域によって行われ、その際車両の指示フィールドにおける表示は文字を解像することはできないが、補助記号の存在を示唆することができる。道路標識分類に基づいた運転者の付加的な警報の際にこの方法の透明感は維持されることも有利である。情報処理に基づいた運転者の音響的、触覚的または光学的な警報は運転者によって、指示フィールドの画像との比較によって容易に比較されることができる。
【０００６】
図面
本発明の実施例は図面に示されておりかつ以下の説明において詳細に説明される。図１は、画像センサを備えた車両を示し、図２は、道路シーンを例示し、図３は、第２の表示能力を備えた道路シーンを例示し、図４は、表示能力が例示された道路シーンを示し、図５は、表示能力を備えた道路シーンを例示し、かつ図６は、車両におけるセンサエレクトロニクスを略示している。
【０００７】
実施例の説明
図１には、車両１内の画像センサ２の位置決め状態が示されている。画像センサ２はフロントガラスの後ろで中央の位置にできるだけ高く取り付けられ、その際視角は走行方向に配向されている。センサはどちらかといえばワイパーの領域にあるべきだ。図２には、走行路制限体９によって囲まれている走行路３が例示されている。対向車線には対向車８が略示されている。右側の車線には組み合わせ道路標識が設置されている。道路標識４は制限付きの補助標識５を有している。更に、道路標識「注意、走行路に凹凸あり」が設置されている。運転者の眼は、ハンドル１２と共に自分の車両の計器板１０を見ることができる。計器板１０においてスクリーン１１が運転者の視野内にはめ込まれている。スクリーンには、画像センサによって検出されかつ画像処理によって解像された、興味のある道路標識を有する画像部分７が表示される。
【０００８】
図３には、図２において説明したようなシーンが示されているが、ここでは付加的に情報１３が計器板のフィールドに表示されている。図４には別の表示形態が示されており、ここでは距離データ１４が付加的に表示されている。図５には、時間的なデータ１５を有する表示形態が示されている。図６には、運転者を支援するためのセンサ構成の可能な形態が略示されている。画像センサ２は線路を介して評価電子回路１６に接続されている。評価電子回路１６は別のセンサ１９、例えば運転者の要望を評価電子回路に伝達することができるタッチ式スイッチ、および例えば車速、距離または時間測定を行う車両センサ１８に通じている別の線路を有している。評価電子回路１６は制御装置１７に接続されており、かつ評価電子回路１６は指示フィールド１１に接続されている。画像センサ２は車両の走行方向に位置決められておりかつ車両周囲のビデオ画像を撮影する。これら画像は線路を介して電子評価回路に伝送される。電子評価回路において、運転者支援のために必要である道路標識をその他の画像部分から分離することができるソフトウェアを使用すべきである。一般に、全部の道路標識は取り出されない。しかしこのことは運転者支援の選択された形式に依存している。運転者に例えば、走行速度を制限する道路標識の特別重要なクラスに関してだけ支援しようとするならば、ソフトウェアは、最高速度の制限を定める道路標識だけが認識されるように実現される。ソフトウェアは道路標識をその輪郭構造７に基づいてカラーまたは標識に存在する光学的な構造に基づいて認識する。道路標識のセグメント化のために、例えば「モノクロームのビット列から成る道路標識の検出」（"Detektion von Verkehrszeichen aus monochronen Bitfolgen" Diplomarbeit Holger Janssen, Institut fuer theoretishce Nachrichtentechnik, Universitaet Hannover 1997）のような適当なアルゴリズムが公知である。運転者支援のために必要である道路標識がセンサ画像においてセグメント化されていると、これは連続する画像においてそれぞれ再びセグメント化しかつセンサの視野から消えるまで、時間的に追跡することができる。繰り返されるセグメント化および時間的な追跡によって、重要な道路標識の認識の安定化が実現される。セグメント化の後適当な形式で分類を行うことができる。というのは、運転者支援のために重要である道路標識があるかどうかを決定すべきであるからである。その際、運転者支援のために重要である道路標識は単にその情報内容によって表示されるばかりでなく、この道路標識を含んでいる画像部分が指示フィールド１１を介して運転者に直接指示される。道路標識認識は複雑であるので完全に排除することはできないのだが、道路標識認識およびセグメント化が誤って行われると、運転者はその指示フィールドにおいて道路標識のない任意の誤ってセグメント化されたシーン部分を見る。運転者はシステムの誤った動作を直ちに検出しかつそれに従って処置することができる。システムの誤った安全性に騙されることはない。
【０００９】
運転者を支援するためのシステムは更に種々の改良において行うことができる。アルゴリズムによる方法を用いて、状況によっては、画像センサによって撮影された画質が改善される。これには、とりわけ、画像を明るくすること、ないし暗くすること、コントラストの増加およびコントラストの強調がある。この方法によって画像は運転者による観察のために改善されるだけで、その情報内容が歪みを受けないしまたは解釈されない。
【００１０】
システムの有利な形態によれば、その都度、所望の運転者支援にとって重要な多量の道路標識から最後にセグメント化された道路標識が運転者に指示フィールド１１において連続的に現れるようにすることが可能である。実質的に速度制限、追い越し禁止およびその解除が生じるアウトバーンにおいて、運転者は最後にセグメント化された道路標識の出現によってその都度最後の走行制限に関して情報が与えられるようにすることができる。
【００１１】
システムの別の有利な形態によれば、時間的に最後にセグメント化された道路標識画像の所定数を電子メモリに保持するようにすることができる。この場合、運転者に対してキーボード１９を介して入力する能力を設定するようにしている。すなわちこのキーボードによってどの標識を運転者が表出という形で得たいかということを運転者が指示することができるようにするものである。特別効果的には、時間的に最後にセグメント化された標識で始まる、記憶された道路標識画像の順次の連続表出である。その際運転者は例えば適当なタッチスイッチによる信号の送出または適当な入力センサ１９を介する音響的な入力によって、その１つ前にセグメント化された道路標識に切り換えることができる。このようにして運転者は運転者の希望に基づいて、時間的に最後に認識されかつセグメント化された道路標識を思い出すことができる。セグメント化された道路標識だけの表出の他に場合により標識を付加的に解釈しても効果的である。その際運転者に示されるシンボルは的確な文字１３によって情報を与えられることができる（図３参照：注意！最高速度７０ｋｍ／ｈ）。この場合、運転者は指示された文字と同時に表出される画像部分との比較によって直ちに、自動化された道路標識解釈が誤って行われているかどうかを確認することができる。ここでもシステムの機能はトランスペアレントであり、その結果責任は専ら運転者の側にある。
【００１２】
別の実施形態において、運転者に対して警報が出力される。それは別の車両センサの情報に基づいて得られる。すなわち、例えば速度信号を警報の出力と組み合わせることができる。運転者が道路標識により許容される最高速度より速く走行しているとき、この食い違いは評価ユニットによって検出されかつ音響的な警報信号が生成される。その際警報トーン、音響的な音声出力、または光学的な警報指示も活性化することができる。
【００１３】
別の実施形態において、画像センサおよび評価ユニットを介して、走行車線認識が実施される。この画像をベースとした走行車線の追跡を用いて、例えば追い越し目的のために車両の、対向車線への変更を認識することができる。その場合、前以て認識された追い越し禁止との関連において、この場合も警報信号を出力することができる。
【００１４】
指示フィールド１１に道路標識を表出するほかに、運転者が、距離データを使用できるようにすることもできる。距離データは、その時点の車両位置と道路標識が検出された位置との間の距離を表すものである。図４に示されている付加情報は指示フィールドに表示される。このようにして、運転者は、少なくとも、指示された道路標識がそもそも運転者にとってまだ重要であるかという限定された可能性を検査しなければならない。その際距離情報は、それぞれの車両に存在する距離測定器から直接取り出すことができるかまたは、車両速度情報と、道路標識の検出以降経過した時間との組み合わせによって取り出すことができる。センサ信号の評価は、制御ユニット１７を介して指示フィールド１１に可能な出力を行うようにする評価ユニット１６において行われる。
【００１５】
距離情報の表示対して択一的に、道路標識表示と同時に、運転者に時間情報を送出することができる。このために、道路標識検出とその時点の時間との時間差を制御ユニット１７を介して運転者は捕捉検出することができる。
【００１６】
道路標識検出に対する画像捕捉検出のために、非線形の変換特性曲線を有するＣＭＯＳセンサが有利である。道路標識は一般に、平らでありかつ入射光を申し分なく反射するラッカを塗られている、金属の表面または合成樹脂の表面を有している。従って、光の入射が十分でないかまたはヘッドライトの照射による夜間走行の場合、光の反射またはその他の効果が原因で極端な画像輝度ダイナミック特性が発生する可能性がある。非線形の画像センサを用いてこの輝度差を制御することができるので、評価電子回路は評価可能なビデオ画像を簡単に作製することができる。この関連において特別有利なのは対数化特性曲線を有する画像センサである。というのは、輝度領域全体にわたって一定のコントラスト解像が保証されているからである。
【図面の簡単な説明】
【図１】  画像センサを備えた車両の略図である。
【図２】  道路シーンが例示された略図である。
【図３】  第２の表示能力を備えた道路シーンが例示された略図である。
【図４】  表示能力が例示された道路シーの略図である。
【図５】  表示能力を備えた道路シーンが例示された略図である。
【図６】  車両におけるセンサエレクトロニクスの略図である。
【図１】
0004690543.tif 000002
【図２】
0004690543.tif 000003
【図３】
0004690543.tif 000004
【図４】
0004690543.tif 000005
【図５】
0004690543.tif 000006
【図６】
0004690543.tif 000007