(57)【要約】  制動灯認識を基礎とした警告条件を割り出すための方法と装置に関する。画像データは、車両のフロントカメラから受信される。前方を走行中の車両の制動灯が点灯しているか否かが割り出される。制動灯が点灯している場合、作動閾値は、下げられ、信頼性値は、上げられる。リスク推定値が、フロントカメラの画像データから割り出され、該リスク推定値が、トリガー閾値を超えている場合は、警告シグナルが作成される。
2018524730.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップを有することを特徴とする制動灯認識を基礎とした警告条件を割り出すための方法：
自車両のフロントカメラ（３１）の画像データを受信するステップ、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出すステップ、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを割り出すステップ、
該認識領域内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出すステップ、
前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることを確認した場合に、トリガー閾値を下げるステップ、
フロントカメラ（３１）の画像データからリスク推定値を割り出すステップ、但し、該リスク推定値が、前方を走行中の車両（１０，３６）までの車間、前方を走行中の車両（１０，３６）の相対速度、及び／或いは、前方を走行中の車両（１０，３６）の制動から割り出される、
該リスク推定値が、トリガー閾値を超えた時に、警告シグナルを作成するステップ。
【請求項２】
以下のステップを有することを特徴とする請求項１に記載の方法：
該リスク推定値が、トリガー閾値を超えた時に、能動的安全機能をトリガーするステップ、  但し、該能動的安全機能は、衝突警告、ブレーキのプレフィル、油圧式ブレーキ・サポート、及び、能動的緊急制動から選択される。
【請求項３】
以下のステップを有することを特徴とする請求項１或いは請求項２に記載の方法：  
フロントカメラ（３１）の画像領域内に第二認識領域（１５）を割り出すステップ、但し、該第二認識領域（１５）は、前方を走行中の車両（１０，３６）の上方の制動灯（１３）のポジションを有している、
第二認識領域（１５）内において、上方の制動灯（１３）のポジションを認識するステップ、
上方の制動灯（１３）のステータスを認識するステップ、
上方の制動灯（１３）が点灯していることが認識された時に、トリガー閾値を下げるステップ。  
【請求項４】
以下のステップを有することを特徴とする請求項１から３の何れか一項に記載の方法：
自車両の車速センサーの速度シグナルを受信するステップ、
フロントカメラ（３１）の画像データと速度シグナルからリスク推定値を割り出すステップ。
【請求項５】
以下のステップを有することを特徴とする請求項１から４の何れか一項に記載の方法：
警告制動灯機能が作動しているか否かを割り出すステップ、
警告制動灯機能が作動している場合：
リスク推定値が、第二トリガー閾値を超えた時に、自車両の制動灯を警告モードに切り替えるステップ、
但し、第二トリガー閾値は、第一トリガー閾値よりも高い。
【請求項６】
以下のステップを有することを特徴とする請求項５に記載の方法：
自車両の地理的領域を認識し、認識した地理的領域に依存して警告制動灯機能を作動させる、或いは、無効化するステップ。  
【請求項７】
以下のステップを有することを特徴とする制動灯認識を基礎とした警告条件を割り出すための方法：
自車両のフロントカメラ（３１）の画像データを受信するステップ、但し、該画像データは、画像領域を有している、
フロントカメラ（１３）の画像領域内に認識領域を割り出すステップ、但し、該認識領域は、前方を走行中の車両の左側の制動灯（１１，１３）と右側の制動灯（１２，３８）のポジションを有している、
左側の制動灯と右側の制動灯のそれぞれのポジションを、認識領域内において推定するステップ、
該認識領域内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出すステップ、
仮に、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合、
少なくとも一つのリスク推定値の信頼性値を高めるステップ、但し、該少なくとも一つのリスク推定値は、フロントカメラ（３１）の画像データから割り出される、
信頼性値が、予め設定されている信頼性閾値を超えた場合、警告シグナルをトリガーするステップ。
【請求項８】
以下のステップを有することを特徴とする先行請求項のうち何れか一項に記載の方法：
前方を走行中の車両の少なくとも一つの制動灯（１１，３７，１２，３８，１３）が点灯していることが確認された場合、  
該少なくとも一つの制動灯が、警告制動モードにおいて作動しているか否かを割り出すステップ、
自車両の警告制動灯モードの作動条件を確認するステップ、
自車両の警告制動灯モードの作動条件が満たされている場合、
自車両の制動灯を警告制動灯モードにおいて作動するステップ。  
【請求項９】
先行請求項のうちいずれか一項に記載の方法のステップを実行するためのコンピュータープログラム・プロダクト。
【請求項１０】
自動車の安全機能が、少なくとも一つの能動的安全機能を有し、該制御手段（３５）が以下を有することを特徴とする自動車の安全機能を作動させるための制御手段（３５）：  
自車両のフロントカメラ（３１）の画像データを受信するための入力接続、
警告シグナルを出力するための出力接続、但し、該制御手段（３５）は、以下を実施できるように構成されている：  
フロントカメラ（３１）の画像データを受信する、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出す、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のそれぞれのポジションを推定する、
該認識領域（１４）内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出す、
前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合に、トリガー閾値を下げる、
フロントカメラ（３１）の画像データからリスク推定値を割り出す、但し、該リスク推定値が、前方を走行中の車両（１０，３６）までの車間、前方を走行中の車両（１０，３６）の相対速度、及び／或いは、前方を走行中の車両（１０，３６）の制動のうち少なくとも一つから割り出される、
リスク推定値が、トリガー閾値を超えた場合に警告シグナルを作成し、該警告シグナルを、出力接続を介して出力する。
【請求項１１】
請求項１０に記載の制御手段（３５）と車両用のフロントカメラ（３１）を有するキット、但し、該フロントカメラ（３１）が、該制御手段（３５）と接続自在であることを特徴とするキット。
【請求項１２】
請求項１１に記載のキットを備えた車両であって、該フロントカメラ（３１）が、該車両に取り付けられ、該車両の前方の領域に向けられ、該制御手段（３５）が、該車両内に取り付けられ、該フロントカメラ（３１）と接続されていることを特徴とする車両。
【請求項１３】
自動車の安全機能が、少なくとも一つの能動的安全機能を有し、該制御手段（３５）が以下を有することを特徴とする自動車の安全機能を作動させるための制御手段（３５）：
フロントカメラ（３１）の画像データを受信するための入力接続、
警告シグナルを出力するための出力接続、但し、該制御手段は、以下を実施できるように構成されている：
自車両のフロントカメラ（３１）の画像データを、該入力接続を介して受信する、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出す、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のそれぞれのポジションを推定する、
該認識領域（１４）内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出す、
仮に、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合、
少なくとも一つのリスク推定値の信頼性値を高める、但し、該少なくとも一つのリスク推定値は、フロントカメラ（３１）の画像データから割り出される、
リスク推定値が、トリガー閾値を超えた場合に、警告シグナルをトリガーし、該警告シグナルを、出力接続を介して出力する。
【請求項１４】
請求項１３に記載の制御手段（３５）と車両用のフロントカメラ（３１）を有する、但し、該フロントカメラ（３１）が、該制御手段（３５）と接続自在であることを特徴とするキット。  
【請求項１５】
請求項１４に記載のキットを装備し、該フロントカメラ（３１）が、車両に取り付けられ、該車両の前方の領域に向けられ、
該制御手段（３５）が、該車両内に取り付けられ、該フロントカメラ（３１）と接続されていることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
制動中に、或いは、制動プロセスをトリガーする判断を下す際にドライバーをサポートする様々な能動的な安全システムは、現在、採用されてきている、或いは、研究中である。例えば、自動緊急ブレーキ（ＡＥＢ）をトリガーする、或いは、制動プロセスを変更すると言う決断は、動力車両が、自律的に判断できる。この決断は、該動力車両の周辺に関するセンサーデータをベースにしている。
【背景技術】
【０００２】
例えば、レーダーセンサーなどの高価格センサー類や、例えば、赤外線近距離ＬＩＤＡＲなどの低価格センサー類は、前方を走行中の車両の位置、間隔、相対速度を測定し、これらに基づいて、対応する制動を割り出す能力を有している。これらの推定値は、車載カメラを用いることにより改善できる、或いは、車載カメラによっても提供されることができる。
【０００３】
一台の車両の安全機能は、受動的安全機能と能動的安全機能に分類することができる。受動的安全機能には、同乗者を怪我から守るための手段や怪我のリスクを低減するための手段などが含まれる。受動的安全には、広義的に、他の交通参加者を守ることも含まれる。受動的安全機能には、シートベルトシステムやエアバッグ、乗員コンパートメント、変形ゾーンなども含まれる。  
【０００４】
能動的安全機能には、走行状況に能動的に介入する、特に、ＥＳＰ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔａｂｉｌｉｔｙ  Ｐｒｏｇｒａｍ）やブレーキアシストシステムなどのドライバー・アシスタント・システム、並びに、カメラやレーダー、ＬＩＤＡＲデバイスなどの周辺部を監視するためのデバイスを備えたドライバー・アシスタント・システムが含まれる。
【０００５】
本明細書は、カメラシステムを用いた、或いは、データフュージョンを実施するカメラシステムを用いた能動的安全機能に関する。ここでは、特に、能動的安全システムのトリガー決断やトリガー感度が、前方を走行中の車両が制動している、或いは、緊急ブレーキをかけていることを視覚的に認識することによって適合される。
【０００６】
本明細書に係る車載カメラの画像の画像処理は、意図された制動の推定値を、前方を走行中の車両のブレーキライトステータスの認識を用意することによって改善することができる。この情報は、能動的安全機能のトリガー感度を適応するための衝突リスクを推定するために用いられることができる。  
【０００７】
これにより、必要な制動を、カメラ画像において認識された画像オブジェクトの絶対的値や相対的値に基づく単なる推定と比較してより正確に推定することが可能になる。更には、前方を走行中の車両の制動をタイムリー且つ正確に用意でき、且つ、該推定値は、衝突リスクを推定するためにより適したものである。  
【０００８】
ある実施形態では、カメラ画像が評価され、前方を走行中の車両の制動灯が点灯されているか否か、或いは、点灯されたか否かが認識される。更に、前方を走行中の車両の制動灯が、或いは、制動灯と警告点滅、例えば、制動灯の早い点滅や、制動灯の点灯に加えて車両の両側のウインカーランプを周期的に点灯すること（警告点滅）などによって示される緊急制動も認識される。
【０００９】
本出願によれば、自車両の前を走行している車両の制動灯の状態が、リスク値や危険度を割り出すために採用される。該リスク値は、例えば、下り坂の走行を検出するため、またはカメラベースの妥当性推定との組み合わせなど、自車両の長手方向の減速度に依存させてもよい。該リスク値は、制動したタイミングにおける前方を走行中の車両までの間隔、或いは、相対速度の増加乃至減少などにも依存している。さらに、該リスク値は、車線オリエンテーションや車線推移、並びに、車線幅に関する予測にも依存し得る。能動的安全システムのトリガー感度は、これに応じて適応される。
【００１０】
ある実施形態によれば、例えば、警告を発する閾値、ブレーキのプレフィル、油圧式ブレーキ・サポート（ＨＢＡ）、或いは、自動緊急ブレーキ（ＡＥＢ）を作動させる閾値など、トリガー閾値は、早期のトリガー決断に至るために下げられる。ある実施形態によれば、閾値の低減は、「制動灯オフ」状態から「制動灯オン」状態への状態遷移によって開始される所定の時間だけ行われる。
【００１１】
更なる実施形態によれば、前方を走行中の車両の制動灯に依存してより高いリスクが認識された場合、後続の交通に可及的な衝突、或いは、衝突回避制動の実施を警告するために、自車両の制動灯は（オプションとして付加的に、警告点滅灯も）、直接的乃至間接的に作動される。該制動灯の作動は、警告、プレフィル、ＨＢＡなどに関する弱いトリガー決断に対して付加的にトリガーされる。
【００１２】
制動灯の制御のためのオプションは、予め設定されている条件に基づいて作動乃至停止されることができる。該予め設定されている条件は、予めコンフィグレーションされた設定、例えば、予めコンフィグレーションされた表として用意されることができる。このオプションは、特に好ましくは、後続の車両が、前方を走行中の車両の三つ目のないし上部の制動灯すらも認識できない可能性があるＳＵＶやミニバス、キャラバンなどの車両用の制動灯の制御のために作動させることができる。  
【００１３】
更に、予めコンフィグレーションされた設定は、該車両が販売される販売地域における交通ルールが、制動灯の制御を許しているか否かにも依存させることができる。ある実施形態では、制動灯の制御が予めコンフィグレーションされた設定によって無効にされている場合、代わりに、警告灯が、一回或いは複数回、作動される。
【００１４】
更なる実施形態によれば、オブジェクト認識の結果が、制動灯ステータスの認識によって確認された場合、警告やブレーキのプレフィル、ＨＢＡなど能動的安全メカニズムが作動される、及び／或いは、オブジェクト認識の信頼性値が高められる。
【００１５】
更なる実施形態によれば、前方を走行中の車両の緊急制動が認識された場合、緊急制動灯乃至警告灯が、自動的に作動する。該自動的な作動は、更に、制動の程度や自車両の減速の度合いに依存することができる。
【００１６】
あるシナリオにおいて、双方共が、緊急制動を、点滅速度を高める、及び／或いは、輝度を高めることによって示すことができる制動灯を装備している二台の高級乃至中級車両が、前後して走行している。前方を走行中の車両が、緊急制動を実施した。後の車両のドライバーが、タイムリー且つ穏やかに対応した場合、能動的安全関連手段を作動させる必要はない。しかしながら、後ろの車両は、後続の交通に対して自動的に緊急制動を制動灯や警告灯を用いて示す。
【００１７】
更なる実施形態によれば、センサーデータは、融合される、乃至、統合され、融合されたデータの自動的リスク推定に用いられる。更なる実施形態によれば、能動的及び受動的安全システムは、統一乃至統合され、画像認識やリスク推定は、本明細書では、能動的安全機能と、可能な場合は、受動的安全機能にも用いられる。例えば、エアバッグをトリガーする閾値や動作モードを、リスク推定に基づいて変更することができる。
【００１８】
本明細書は、コンピューターに実装された、例えば、自車両の前方を走行している自動車や車両の制動灯の認識に基づいて警告条件を割り出すための方法なども、開示している。警告条件が満たされた場合、自車両の能動的安全機能をトリガーするために用いることができる警告が作成される。
【００１９】
この方法では、自車両のフロントカメラの画像データは、独立した接続用ケーブル、乃至、適した自動車両データバス、例えば、ＭＯＳＴデータバスなどを介して受信される。特に、ＭＯＳＴ１５０は、最新のドライバー・アシスタント・システムに採用するのに適している。  
【００２０】
画像データは、ピクセルからなる画像領域を有している。該ピクセルは、グレースケール・ピクセル、或いは、例えば、輝度データや色データを有するピクセルと一致する。特に、制動灯は、赤色領域の輝度を用いることにより認識可能である。
【００２１】
認識領域は、フロントカメラの画像領域内において識別される。該認識領域は、前方を走行中の車両の左側の制動灯と右側の制動灯の位置を包含している。該認識領域は、画像認識とトラッキングによって特定される。該画像認識は、例えば、前方を走行中の車両の輪郭や、ナンバープレートやリヤウインド、テールランプ類など他の典型的な特徴をベースとすることができる。
【００２２】
左側の制動灯と右側の制動灯に相当するポジションは、認識領域内において特定される。制動灯ポジションの認識は、エッジ認識やエッジ・トラッキング、輝度認識、或いは、予め定められた色彩領域における輝度の認識などと言ったテクニックを包含している。
【００２３】
更に、左側の制動灯、右側の制動灯、或いは、双方の制動灯が点灯しているか否かも、認識領域内の輝度の分布を評価することによって割り出される。これには、例えば、制動灯の輝度が周期的に変化する警告モードを認識するための制動灯輝度の経時的トラッキングも包含される。他の更なる実施形態では、切り替わる輝度の時間的間隔が割り出される。例えば、該認識には、制動灯が、より速く点滅しているか否かの認識が包含されることができる。例えば、点滅によって、非常事態を示す、或いは、他の車両からの警告を「リレー伝達」することができる。
【００２４】
第一アスペクトによれば、トリガー閾値は、左側乃至右側の制動灯の少なくともいずれか一つが点灯したことが認識された時に下げられ、リスク推定値は、少なくともフロントカメラの画像データから割り出される。
【００２５】
レーダーやライダーなどの他のセンサーデータも、これらをセンサーデータ・フュージョンによって用いることができる場合は、リスク推定値を割り出すために用いることができる。  
【００２６】
画像データのみが用いられる場合、容易に実施できる低コストなソリューションが提供できる。特に、ハイクオリティな高解像度のモノ画像を作成できるハイクオリティな車両カメラさえあれば、十分にリスク推定値を割り出すことができる。
【００２７】
該少なくとも一つのリスク推定値は、フロントカメラの画像データから、オプション的には、その他の測定から割り出されることができる。特別な実施形態では、該リスク推定値は、前方を走行中の車両までの車間、前方を走行中の車両の相対的乃至絶対的速度、並びに、前方を走行中の車両の相対的乃至絶対的減速度のうちの少なくとも一つ乃至これらの値の組合せから割り出される。警告シグナルは、該リスク推定値が、トリガー閾値を超えた時に発せられる。
【００２８】
前方を走行中の車両の絶対的な速度と減速は、画像データから割り出される地面乃至その他の静的オブジェクトに対する相対速度を基準とし、例えば、スピードメータなど他のセンサーデータも採用して割り出すことのできるカメラ自己運動に基づいて割り出すことが可能である。  
【００２９】
第二アスペクトによれば、一つの乃至複数のリスク推定値に係る信頼性値が、前方を走行中の車両の制動灯が点灯していることが認識された時に高められる。ある実施形態では、信頼性値は、０と１００％の間の値を取り、ある測定乃至複数の測定の組合せが正しい統計的確率を表している。該測定とは、特に、前方を走行中の車両との車間、前方を走行中の車両の絶対的乃至相対的速度、前方を走行中の車両の絶対的乃至相対的減速、或いは、これらの組合せに関するものである。警告シグナルは、該リスク推定値が、トリガー閾値を超えた時に作成される。
【００３０】
他の実施形態では、該信頼性値は、ある信頼性区間によって測定とリンクされている。このコンテクストにおいて信頼性値の上昇は、信頼性区間の予め定められたファクター分の縮小を意味する。警告シグナルは、該信頼性値が、予め定められた信頼性閾値を超えた時に作成される。
【００３１】
更なる実施形態では、トリガー閾値は、自車両のタイプ、ブレーキの性能など自車両の性能、タイヤのグリップ、タイヤ空気圧、並びに、自車両の積載量にも依存する。
【００３２】
本方法の第一及び第二アスペクトは、例えば、トリガー閾値と信頼性閾値の双方を超えた場合に、警告シグナルを作成するなど、組み合わせることも可能である。更に、以下に記載する特徴を、第一アスペクト、及び／或いは、第二アスペクトと組み合わせることも可能である。
【００３３】
ある更なる実施例によれば、能動的安全ファンクションは、リスク推定値が、トリガー閾値を超えた、及び／或いは、信頼性値が、信頼性閾値を超えた場合に作動される。該能動的安全ファンクションは、衝突警告、ブレーキのプレフィル、油圧式ブレーキ・サポート及び能動的緊急制動から選択される、乃至、これらの組合せである。
【００３４】
更なる実施形態によれば、第二認識領域が、フロントカメラの画像領域内において割り出される。第二認識領域は、前方を走行中の車両の上方の制動灯のポジションを包含している。上方の制動灯のポジションは、第二認識区域内において認識され、上方の制動灯のステータスが、認識される。該上方の制動灯の作動が認識された場合、トリガー閾値が、下げられる、及び／或いは、信頼性値が高められる。
【００３５】
ある更なる実施例によれば、自車両の車速センサーの速度シグナルは、例えば、タイヤ速度センサーから受信され、リスク推定値は、フロントカメラの画像データと速度センサーの速度シグナルから割り出される。  
【００３６】
ある更なる実施例によれば、認識された制動灯の輝度が分析される。更に、警告制動灯機能が作動しているか否かも、例えば、コンピュータメモリを読み出すことによって認識される。警告制動灯機能が作動していることが認識され、第一トリガー閾値よりも高く設定されている第二トリガーを超えた場合、自車両の制動灯は、警告モードで作動される。  
【００３７】
ある更なる実施例によれば、例えばＧＰＳなどの衛星ポジション検出システム、保存されている地図、運動センサー、加速センサー、或いは、ワイヤレスネットワークによる位置割出方法などを用いて、自車両の地理的領域が認識され、警告制動灯機能は、該地理的領域に依存して作動される、乃至、無効化される。
【００３８】
更なる実施形態によれば、前方を走行中の車両の少なくとも一つの制動灯、特に上方の制動灯が、点灯した場合、点灯している制動灯の作動状態が、緊急制動モードであるか否かが割り出される。自車両の警告乃至緊急制動灯モードを作動させるための条件が、確認される。
【００３９】
緊急制動灯を作動させる条件が満たされている場合、自車両の制動灯は、警告乃至緊急制モードに変更される。警告モードは、予め定められた時間、或いは、条件が満たされている間、維持される。該作動前提条件の確認は、反復されても良い。前方を走行中の車両に既に緊急モードではない制動灯の点灯が認識された場合、自車両の制動灯モードも、通常のモードに戻される。
【００４０】
本明細書は、上記方法のステップを実施するためのコンピュータープログラム・プロダクトも開示している。
【００４１】
更に、本明細書は、自動車の安全機能を作動させるための制御装置も開示しているが、ここでは、該自動車の安全機能は、少なくとも一つの能動的安全機能を有している。
【００４２】
該制御手段は、自車両のフロントカメラの画像データを受信するための入力接続と、警告シグナルを出力するための出力接続を有している。
【００４３】
該制御手段は、例えば、適切な回路、例えば、マイクロコントローラ、ＡＳＩＣ、或いは、他の集積回路、並びに、一つの、或いは、複数のこれらに接続されたコンピューターによって読み取り可能なメモリーユニット、自車両の電源への接続手段を提供することにより、警告条件の割り出しのための方法を実施することができるように構成されている、但し、該コンピューターによって読み取り可能なメモリーは、コンピューターによって読み取り可能な指示を有している。
【００４４】
特に、該制御手段は、自車両のフロントカメラの画像データを、入力接続を介して受信できるように構成されているが、該画像データは、画像領域を包含している。該制御手段が、該画像領域内において認識領域を定めるが、該認識領域は、前方を走行中の車両の左側の制動灯と右側の制動灯のポジションを包含している。
【００４５】
更に、該制御手段は、該認識領域内の左側の制動灯と右側の制動灯のポジションを推定し、該認識領域内の対応する画像ピクセルの輝度分布を評価することにより、左側の制動灯と右側の制動灯の少なくとも何れか一つが点灯しているか否かを割り出す。
【００４６】
該制御装置は、前方を走行中の車両の左側の制動灯と右側の制動灯の少なくとも何れか一つが点灯していることを確認した場合、トリガー閾値を下げる、乃至、小さくする。該制御手段は、更に、フロントカメラの画像データから、使用可能な場合は、レーダーやライダーなど他のセンサーのデータからもリスク推定値を割り出す。  
【００４７】
特別な実施形態では、該リスク推定値は、前方を走行中の車両までの車間、前方を走行中の車両の相対速度、並びに、前方を走行中の車両の制動のうちの少なくとも一つ乃至これらの値の組合せから割り出される。
【００４８】
更に、本明細書は、制御手段とフロントカメラを備えた車両用のキットを開示しているが、該フロントカメラは、該制御手段と直接的、乃至、車両用のデータバスを介して接続可能である。
【００４９】
更に、本明細書は、該キットを備えた車両を開示しているが、該フロントカメラは、該車両に取り付けられており、該車両の前方の領域に向けられ、且つ、該制御手段は、該車両内に取り付けられ、該フロントカメラと直接的、乃至、間接的にフロントカメラと接続されている。
【００５０】
更に、本明細書は、制動灯認識に対する応答として信頼性値を高めることを包含する第二アスペクトに係る自動車の安全機能を作動させるための制御手段を開示しているが、該安全ファンクションは、少なくとも一つの能動的安全機能を包含している。
【００５１】
該第二アスペクトに係る制御手段は、自車両のフロントカメラの画像データを受信するための入力接続と、警告シグナルを出力するための出力接続を有している。
【００５２】
該制御手段は、例えば、適切な回路、例えば、マイクロコントローラ、ＡＳＩＣ、或いは、他の集積回路、並びに、一つの、或いは、複数のこれらに接続されたコンピューターによって読み取り可能なメモリーユニット、自車両の電源への接続手段を提供することにより、警告条件の割り出しのための方法を実施することができるように構成されている、但し、該コンピューターによって読み取り可能なメモリーは、コンピューターによって読み取り可能な指示を包含している。  
【００５３】
特に、該制御手段は、自車両のフロントカメラの画像データを、入力接続を介して受信できるように構成されているが、該画像データは、画像領域を包含している。該制御手段が、フロントカメラの画像領域内に一つの認識領域を定めるが、該認識領域は、前方を走行中の車両の左側の制動灯と右側の制動灯のポジションを包含している。
【００５４】
更に、該制御手段は、該認識領域内の左側の制動灯と右側の制動灯のポジションを推定し、該認識領域内の対応する画像ピクセルの輝度分布を評価することにより、左側の制動灯と右側の制動灯の少なくとも何れか一つが点灯しているか否かを割り出す。
【００５５】
該制御手段は、信頼性値が、予め設定されている信頼性閾値を超えた場合、フロントカメラの画像データから割り出された少なくとも一つのリスク推定値の信頼性値を高め、警告シグナルをトリガーし、出力接続を介して該警告シグナルを出力する。  
【００５６】
又、本明細書は、制御手段とフロントカメラを備えた車両用のキットを開示しているが、該フロントカメラは、該制御手段と直接的、乃至、車両用のデータバスを介して接続可能である。
【００５７】
更に、本明細書は、該キットを備えた車両を開示しているが、該フロントカメラは、該車両に取り付けられており、該車両の前方の領域に配向され、且つ、該制御手段は、該車両内に取り付けられ、該フロントカメラと直接的、乃至、間接的にフロントカメラと接続されている。
【００５８】
続いて、本明細書の対象を、以下の図を参照しながら説明する：
【図面の簡単な説明】
【００５９】
【図１】自車両の前方を走行する車の認識を示す図である。
【図２】図１の車の制動灯点灯の認識を示す図である。
【図３】制動灯点灯を認識したことへの対応として閾値を調整することを示す図である。
【図４】制動灯点灯を認識したことへの対応として信頼性値を調整することを示す図である。
【図５】自車両の能動的安全機能用の制御手段を示す図である。
【発明を実施するための形態】
【００６０】
以下の説明では、本明細書の実施例を説明するために、詳細を開示する。しかしながら当業者にとって、これらの実施形態は、これらの詳細を示さずとも実施可能なことは、自明であろう。
【００６１】
図１は、前方を走行している車１０の制動灯１１，１２，１３の認識を図示している。図１に示されている状況では、前方の車１０は、自車両に対して正確に並行方向を向いている。第一長方形認識領域１４は、両側の制動灯１１，１２が見つかる確率の高い領域を有している。第二長方形認識領域は、存在する場合、上方の制動灯が見つかるであろう領域を有している。  
【００６２】
本出願のコンテクストにおいて、本明細書に係る制動灯認識システムと、前方を走行している車の画像を提供する車載カメラを有する該車両は、「自車」乃至、「自車両」とも記載される。
【００６３】
本例によれば、第一長方形認識領域１４の寸法は、予め定められた大きさ、例えば、幅２ｍと高さ１．１０ｍに決められている。他の例では、第一長方形認識領域１４の幅或いは双方の値は、画像認識によって決められる。更なる例によれば、第一認識領域１４の初期の大きさが決められており、この初期の長方形認識領域は、画像認識プロシージャによって調整される。
【００６４】
第一長方形認識領域１４の向きは、画像認識プロシージャによって用意される。該画像認識プロシージャは、該シーンの一日の経過、曇り加減、天候、状況や周辺の建物、或いは、トンネルの照明に応じて変化する輝度にも依存している。同様に、第二長方形認識領域１５の大きさも、例えば、２ｍｘ５０ｃｍ等と言った予め定められた大きさ、画像認識が決める大きさ、或いは、双方によって用意されることができる。
【００６５】
図２は、前方を走行中の車両１０の制動灯１１，１２，１３が、作動しているステータスを図示したものである。該作動中ステータスは、特に、明度閾値、及び／或いは、色認識によって認識可能である。受信した光の絶対的明度は、前方を走行している車１０との車間や向き、制動灯１１，１２，１３の構造や機能、周辺条件などに依存する。例えば、霧やスモッグ、雨などが、制動灯１１，１２，１３の可視性に影響を与える。
【００６６】
更に、捉えた光の輝度は、カメラ温度、光を捉える車載カメラの機能状態、フロントガラスなど、その前にある様々なオブジェクトの状態などにも依存している。ある実施例によれば、画像処理ユニットは、上記のファクターを推定し、明度閾値、及び／或いは、色閾値を調整している。
【００６７】
更なる例によれば、画像処理ユニットは、カメラ画像領域の明度や色の相対的変化を割り出している。該画像処理ユニットは、認識領域１４，１５内の制動灯領域を同定し、同定された制動灯領域を加重する、或いは、絶対的乃至相対的明度や色の認識を同定した制動灯区域内に限定することができる。  
【００６８】
図３は、時間ｔに対する重要度Ｃｒの変化２０、第一閾値２１乃至上の閾値２１、第二閾値２２乃至下の閾値２２を示している。第一閾値２１は、本明細書に係る制動灯認識を用いない自動的リスク推定に用いられる。第二閾値２２は、本明細書に係る制動灯認識を応用した自動的リスク推定に用いられる。
【００６９】
制動灯認識を応用することにより、下の閾値２２を超えた時点、即ち、上の閾値を超える以前のΔｔにおいて適切なアクションを起こすことが可能になる。一例として、重要度Ｃｒは、前方を走行している車１０との車間、その相対的制動、並びに、自車両の速度から割り出すことができる。
【００７０】
図４は、本明細書に係る制動灯認識システムの結果に伴う信頼性値、乃至、信頼度「Ｃｏｎｆ」の増加を図示している。  
破線２３が、信頼性閾値２３を示している。安全メカニズムが作動するには、信頼性閾値２３を超えなければならない。図４の例では、小さな長方形の信頼性値２４は、画像認識は用いるが制動灯ステータス認識は採用していない方法に相当し、一方の大きな長方形の信頼性値２５は、画像認識と本出願に係る制動灯認識の両方を用いる方法に相当する。
【００７１】
ある例によれば、信頼性値は、制動灯点灯が認識された場合、予め定められた値分、例えば、５％高められる。
【００７２】
図５は、一例として、図５には示されていない自車両の制御システム３０が示されている。該制御システム３０は、自車両のフロントカメラ３１、タイヤ速度センサー３２と前ブレーキ３３、並びに、制御手段３５を有している。フロントカメラ３１、タイヤ速度センサー３２と前ブレーキ３３は、該制御手段３５と接続されている。
【００７３】
該制御手段３０は、前ブレーキ３３のブレーキシュー３４を開いている状態とプレフィル・ポジションの間を該ブレーキシュー３４が動けるように制御している。該ブレーキシュー３４の動きは、双方向矢印によって象徴化されている。前ブレーキ３３は、簡略化のため図５では示されていないブレーキディスクに作用する。
【００７４】
制動灯３７，３８を備えた前方を走行中の車両３６は、フロントカメラ３１のカメラ角３９内に配置されている。作動中、フロントカメラ３１は、前方を走行中の車両３６の画像を含む画像領域を供給する。
【図１】
2018524730.tif 000003
【図２】
2018524730.tif 000004
【図３】
2018524730.tif 000005
【図４】
2018524730.tif 000006
【図５】
2018524730.tif 000007
【手続補正書】
【提出日】平成29年7月26日(2017.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
以下のステップを有することを特徴とする制動灯認識を基礎とした警告条件を割り出すための方法：
自車両のフロントカメラ（３１）の画像データを受信するステップ、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出すステップ、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを割り出すステップ、
該認識領域内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出すステップ、
前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることを確認した場合に、トリガー閾値を下げるステップ、
フロントカメラ（３１）の画像データからリスク推定値を割り出すステップ、但し、該リスク推定値が、前方を走行中の車両（１０，３６）までの車間、前方を走行中の車両（１０，３６）の相対速度、及び／或いは、前方を走行中の車両（１０，３６）の制動から割り出される、
該リスク推定値が、トリガー閾値を超えた時に、警告シグナルを作成するステップ。
【請求項２】
以下のステップを有することを特徴とする請求項１に記載の方法：
該リスク推定値が、トリガー閾値を超えた時に、能動的安全機能をトリガーするステップ、但し、該能動的安全機能は、衝突警告、ブレーキのプレフィル、油圧式ブレーキ・サポート、及び、能動的緊急制動から選択される。
【請求項３】
以下のステップを有することを特徴とする請求項１或いは請求項２に記載の方法：
フロントカメラ（３１）の画像領域内に第二認識領域（１５）を割り出すステップ、但し、該第二認識領域（１５）は、前方を走行中の車両（１０，３６）の上方の制動灯（１３）のポジションを有している、
第二認識領域（１５）内において、上方の制動灯（１３）のポジションを認識するステップ、
上方の制動灯（１３）のステータスを認識するステップ、
上方の制動灯（１３）が点灯していることが認識された時に、トリガー閾値を下げるステップ。
【請求項４】
以下のステップを有することを特徴とする請求項１から３の何れか一項に記載の方法：
自車両の車速センサーの速度シグナルを受信するステップ、
フロントカメラ（３１）の画像データと速度シグナルからリスク推定値を割り出すステップ。
【請求項５】
以下のステップを有することを特徴とする請求項１から４の何れか一項に記載の方法：
警告制動灯機能、或いは、アダプティブ・制動灯が作動しているか否かを割り出すステップ、
警告制動灯機能が作動している場合：
リスク推定値が、第二トリガー閾値を超えた時に、自車両の制動灯を警告モードに切り替えるステップ、
但し、第二トリガー閾値は、第一トリガー閾値よりも高い。
【請求項６】
以下のステップを有することを特徴とする請求項５に記載の方法：
自車両の地理的領域を認識し、認識した地理的領域に依存して警告制動灯機能を作動させる、或いは、無効化するステップ。
【請求項７】
以下のステップを有することを特徴とする制動灯認識を基礎とした警告条件を割り出すための方法：
自車両のフロントカメラ（３１）の画像データを受信するステップ、但し、該画像データは、画像領域を有している、
フロントカメラ（１３）の画像領域内に認識領域を割り出すステップ、但し、該認識領域は、前方を走行中の車両の左側の制動灯（１１，１３）と右側の制動灯（１２，３８）のポジションを有している、
左側の制動灯と右側の制動灯のそれぞれのポジションを、認識領域内において推定するステップ、
該認識領域内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出すステップ、
仮に、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合、
少なくとも一つのリスク推定値の信頼性値を高めるステップ、但し、該少なくとも一つのリスク推定値は、フロントカメラ（３１）の画像データから制動灯状態を用いて割り出される、
信頼性値が、予め設定されている信頼性閾値を超えた場合、警告シグナルをトリガーするステップ。
【請求項８】
以下のステップを有することを特徴とする先行請求項のうち何れか一項に記載の方法：
前方を走行中の車両の少なくとも一つの制動灯（１１，３７，１２，３８，１３）が点灯していることが確認された場合、
該少なくとも一つの制動灯が、警告制動モードにおいて作動しているか否かを割り出すステップ、
自車両の警告制動灯モードの作動条件を確認するステップ、
自車両の警告制動灯モードの作動条件が満たされている場合、
自車両の制動灯を警告制動灯モードにおいて作動するステップ。
【請求項９】
先行請求項のうちいずれか一項に記載の方法のステップを実行するためのコンピュータープログラム・プロダクト。
【請求項１０】
自動車の安全機能が、少なくとも一つの能動的安全機能を有し、該制御手段（３５）が以下を有することを特徴とする自動車の安全機能を作動させるための制御手段（３５）：  
自車両のフロントカメラ（３１）の画像データを受信するための入力接続、
警告シグナルを出力するための出力接続、但し、該制御手段（３５）は、以下を実施できるように構成されている：
フロントカメラ（３１）の画像データを受信する、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出す、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のそれぞれのポジションを推定する、
該認識領域（１４）内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出す、
前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合に、トリガー閾値を下げる、
フロントカメラ（３１）の画像データからリスク推定値を割り出す、但し、該リスク推定値が、前方を走行中の車両（１０，３６）までの車間、前方を走行中の車両（１０，３６）の相対速度、及び／或いは、前方を走行中の車両（１０，３６）の制動のうち少なくとも一つから割り出される、
リスク推定値が、トリガー閾値を超えた場合に警告シグナルを作成し、該警告シグナルを、出力接続を介して出力する。
【請求項１１】
請求項１０に記載の制御手段（３５）と車両用のフロントカメラ（３１）を有するキット、但し、該フロントカメラ（３１）が、該制御手段（３５）と接続自在であることを特徴とするキット。
【請求項１２】
請求項１１に記載のキットを備えた車両であって、該フロントカメラ（３１）が、該車両に取り付けられ、該車両の前方の領域に向けられ、該制御手段（３５）が、該車両内に取り付けられ、該フロントカメラ（３１）と接続されていることを特徴とする車両。
【請求項１３】
自動車の安全機能が、少なくとも一つの能動的安全機能を有し、該制御手段（３５）が以下を有することを特徴とする自動車の安全機能を作動させるための制御手段（３５）：
フロントカメラ（３１）の画像データを受信するための入力接続、
警告シグナルを出力するための出力接続、但し、該制御手段は、以下を実施できるように構成されている：
自車両のフロントカメラ（３１）の画像データを、該入力接続を介して受信する、但し、該画像データは、画像領域を有している、
フロントカメラ（３１）の画像領域内に認識領域（１４）を割り出す、但し、該認識領域（１４）は、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のポジションを有している、
認識領域（１４）内において左側の制動灯（１１，３７）と右側の制動灯（１２，３８）のそれぞれのポジションを推定する、
該認識領域（１４）内の輝度分布を評価することにより、左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯しているか否かを割り出す、
仮に、前方を走行中の車両（１０，３６）の左側の制動灯（１１，３７）と右側の制動灯（１２，３８）の少なくとも何れか一つが点灯していることが確認された場合、
少なくとも一つのリスク推定値の信頼性値を高める、但し、該少なくとも一つのリスク推定値は、フロントカメラ（３１）の画像データから割り出される、
リスク推定値が、トリガー閾値を超えた場合に、警告シグナルをトリガーし、該警告シグナルを、出力接続を介して出力する。
【請求項１４】
請求項１３に記載の制御手段（３５）と車両用のフロントカメラ（３１）を有する、但し、該フロントカメラ（３１）が、該制御手段（３５）と接続自在であることを特徴とするキット。
【請求項１５】
請求項１４に記載のキットを装備し、該フロントカメラ（３１）が、車両に取り付けられ、該車両の前方の領域に向けられ、
該制御手段（３５）が、該車両内に取り付けられ、該フロントカメラ（３１）と接続されていることを特徴とする車両。
【国際調査報告】
2018524730.tif 000008
2018524730.tif 000009
2018524730.tif 000010
2018524730.tif 000011
2018524730.tif 000012
2018524730.tif 000013