(57)【要約】  本発明は、操作装置（１）または車両のための運転支援方法（Ｓ）であって、（Ｓ１）連続した時点における操作装置（１）の視野内のオブジェクト（５２）に対するオブジェクトボックス（５４）またはそのようなオブジェクトボックス（５４）を特徴づけるデータを取得し、（Ｓ２）連続して、または直接に連続して記録した画像に対する所与のオブジェクト（５２）のオブジェクトボックス（５４）から、それぞれのオブジェクト（５２）に対するオブジェクトボックス（５４）の目下のスケーリング変化またはスケーリング変化から導かれる大きさと、それぞれのオブジェクト（５２）に対するオブジェクトボックス（５４）の目下の横方向の位置変化とを決定し、（Ｓ３）それぞれのオブジェクト（５２）に対するオブジェクトボックス（５４）の目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックス（５５）を決定し、（Ｓ４）予想したオブジェクトボックス（５５）の位置および／または予想したオブジェクトボックス（５５）の横方向範囲と、検出した視野（５０）および／または記録した画像の横方向範囲との比を決定および評価し、（Ｓ５）評価の結果に依存して、（ｉ）予想したオブジェクトボックス（５５）の基礎となるオブジェクト（５２）が、起こり得る衝突に関して危険であるか否かを決定し、および／または（ｉｉ）操作装置（１）の運転状態を制御または調整する運転支援方法（Ｓ）に関する。
2021525423.tif 000002
【特許請求の範囲】
【請求項１】
操作装置（１）のための運転支援方法（Ｓ）において、
連続した時点における操作装置（１）の視野内のオブジェクト（５２）に対するオブジェクトボックス（５４）またはそのようなオブジェクトボックス（５４）を特徴づけるデータを取得するステップ（Ｓ１）、
連続して、または直接に連続して記録した画像に対する所与のオブジェクト（５２）の前記オブジェクトボックス（５４）から、それぞれの前記オブジェクト（５２）に対するオブジェクトボックス（５４）の目下のスケーリング変化またはスケーリング変化から導かれる大きさと、それぞれの前記オブジェクト（５２）に対する前記画像内のオブジェクトボックス（５４）の目下の横方向の位置変化とを決定するステップ（Ｓ２）、
それぞれの前記オブジェクト（５２）に対するオブジェクトボックス（５４）の、前記画像内の目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックス（５５）を決定するステップ（Ｓ３）、
前記予想されるオブジェクトボックス（５５）の位置および／または前記予想されるオブジェクトボックス（５５）の横方向範囲と検出した視野（５０）および／または前記記録された画像または当該画像のカットの横方向範囲との比を決定および評価するステップ（Ｓ４）、
前記評価の結果に依存して、（ｉ）前記予想されるオブジェクトボックス（５５）の基礎となるオブジェクト（５２）が、起こり得る衝突に関して危険であるか否かを決定し、および／または（ｉｉ）操作装置（１）の運転状態を制御または調整するステップ（Ｓ５）、
が含まれる、運転支援方法（Ｓ）。
【請求項２】
請求項１に記載の運転支援方法（Ｓ）において、
前記オブジェクトボックス（５４）および／または前記オブジェクトボックス（５４）を特徴づけるデータを取得する前記ステップ（Ｓ１）で、または前記ステップ（Ｓ１）のために、
時間的に連続した画像を記録しながら、基礎となる操作装置（１）の視野（５０）を２次元および／または単眼で光学的に検出し（Ｓ１ａ）、
連続して記録した画像において、少なくとも１つのオブジェクト（５２）および当該オブジェクト（５２）に割り当てられたオブジェクトボックス（５４）を決定する（Ｓ１ｂ）、運転支援方法（Ｓ）。
【請求項３】
請求項１または２に記載の運転支援方法（Ｓ）において、
予想期間まで複数の時間増分にわたって、それぞれのオブジェクトボックス（５４）のスケーリング、それぞれのオブジェクトボックス（５４）の座標、それぞれのオブジェクトボックス（５４）の平行移動、およびそれぞれのオブジェクトボックス（５４）の横幅についての値を反復的に決定および更新することによって、少なくとも、現在最後に検出された画像に対して将来に予想されるオブジェクトボックス（５５）を決定する、運転支援方法（Ｓ）。
【請求項４】
請求項３に記載の運転支援方法（Ｓ）において、
それぞれの時間増分について、特に指定された順序で、以下のステップ：
割当て規則：
スケーリング古い：＝スケーリング新しい
ボックス平行移動Ｘ古い：＝ボックス平行移動Ｘ新しい
ボックス幅古い：＝ボックス幅新しい
ボックス位置左古い：＝ボックス位置左新しい
ボックス位置右古い：＝ボックス位置右新しい
にしたがって、計算すべき値をリセットまたは事前設定するステップ（Ｉ１）と、
次の割当て規則：
スケーリング新しい：＝１／（２−スケーリング古い）
にしたがってスケーリングを更新するステップ（Ｉ２）と、
次の割当て規則：
ボックス平行移動Ｘ新しい：＝ボックス平行移動Ｘ古い×スケーリング古い
にしたがって、水平方向のオブジェクトボックス平行移動を更新するステップ（Ｉ３）と、
次の割当て規則：
ボックス幅新しい：＝ボックス位置右古い−ボックス位置左古い
にしたがって、水平方向のオブジェクトボックス幅を更新するステップ（Ｉ４）と、
次の割当て規則：
ボックス位置左新しい：＝ボックス位置左古い＋ボックス平行移動Ｘ新しい−
０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
ボックス位置右新しい：＝ボックス位置右古い＋ボックス平行移動Ｘ新しい＋
０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
にしたがって、水平方向のボックス位置を予測するステップ（Ｉ５）と、
を実施し、
スケーリング古いもしくはスケーリング新しいはオブジェクトボックス（５４）の古い、もしくは新しいスーリングを示し、ボックス平行移動Ｘ古いもしくはボックス平行移動Ｘ新しいはオブジェクトボックス（５４）の古い、もしくは新しい変位を示し、ボックス幅古いもしくボックス幅新しいはオブジェクトボックス（５４）の古い、もしくは新しい幅を示し、ボックス位置左古いもしくはボックス位置左新しいは、それぞれのオブジェクトボックス（５４）の第１のＸ座標としてオブジェクトボックス（５４）の左下角隅の古い、もしくは新しい位置を示し、ボックス位置右古いもしくはボックス位置右新しいは、それぞれのオブジェクトボックス（５４）の第２のＸ座標もしくはその値としてオブジェクトボックス（５４）の右下角隅の古いもしくは新しい位置を示す、運転支援方法（Ｓ）。
【請求項５】
請求項３または４に記載の運転支援方法（Ｓ）において、
新しいボックス位置を決定するために以下の計算規則：
ボックス位置左新しい：＝（ボックス位置左現在＋ボックス速度左現在＊Ｔ予測）／（１＋標準速度現在＊Ｔ予測）
ボックス位置右新しい：＝（ボックス位置現在＋ボックス速度右現在＊Ｔ予測／（１＋標準速度現在＊Ｔ予測）を実施し、
ボックス位置左新しいおよびボックス位置左現在もしくはボックス位置右新しいおよびボックス位置右現在は、左もしくは右のボックスエッジの新しい、もしくは現在の位置であり、ボックス速度左現在およびボックス速度右現在は、左もしくは右のボックスエッジの現在測定された角速度であり、標準速度現在は現在測定されたいわゆる「標準化された」ボックス速度であり、Ｔ予測は、予測時間段階に関連する予測時間であり、オブジェクトボックスの計算されたスケーリング変化から標準速度現在を導く、運転支援方法（Ｓ）。
【請求項６】
請求項１から５までのいずれか１項に記載の運転支援方法（Ｓ）において、
予想されるオブジェクトボックス（５５）の幅の割合が、基礎となる画像または画像の所定のカットの幅について所定の第１のしきい値を超える場合には、前記予想されるオブジェクトボックス（５５）の基礎となるオブジェクトが、起こり得る衝突に関して、特に１００％の危険性の値によって、危険であると決定する、運転支援方法（Ｓ）。
【請求項７】
請求項６に記載の運転支援方法（Ｓ）において、
オブジェクト（５２）について予想されるオブジェクトボックス（５４）の幅が、基礎となる画像または所定のカットの外側に位置決めされた割合だけ、オブジェクト（５２）について決定した危険性の値を低減する、運転支援方法（Ｓ）。
【請求項８】
請求項１から７までのいずれか１項に記載の運転支援方法（Ｓ）において、
予想されるオブジェクトボックス（５５）が、基礎となる画像または画像の所定のカットの完全に外側にある場合には、予想されるオブジェクトボックス（５５）の基礎となるオブジェクトが、起こり得る衝突に関して、特に、０％の危険性の値によって、危険ではないと決定する、運転支援方法（Ｓ）。
【請求項９】
請求項１から８までのいずれか１項に記載の運転支援方法（Ｓ）において、
前記オブジェクト（５２）として歩行者（５２′）を決定し、歩行者モデルに基づいてオブジェクト（５２）としての前記歩行者（５２′）の位置および動きを検査および評価し、歩行者（５２′）について決定した速度に基づいてオブジェクト（５２）としての前記歩行者（５２′）の加速能力を決定し、速度および加速能力に基づいてオブジェクト（５２）としての前記歩行者（５２′）の危険性を決定し、特に加速能力に基づいて、前記予想されるオブジェクトボックス（５５）を包囲するか、または少なくとも横方向または水平方向に含むオブジェクトボックス（５６）を生成し、危険性の評価時に基礎として使用する、運転支援方法（Ｓ）。
【請求項１０】
操作装置（１）、特に車両の運転支援システム（１００）のための制御ユニット（１０）において、
制御ユニット（１０）が、請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）を制御し、実行するように、および／または請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）にしたがって、基礎となる運転支援システム（１００）を作動するように設定されている、制御ユニット（１０）。
【請求項１１】
操作装置（１）、特に車両の運転支援システム（１００）において、
請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）を実施するように設定されており、特にこのために請求項１０に記載の制御ユニット（１０）を備える、運転支援システム（１００）。
【請求項１２】
操作装置（１）において、
請求項１１に記載の運転支援システム（１００）を有し、特に、車両、自動車、または乗用車として構成されている、操作装置（１）。
【請求項１３】
請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）の使用法において、
歩行者保護、サイクリスト保護、ＡＣＣ、および／または回避システムまたは方法のための、請求項１０に記載の制御ユニット（１０）、請求項１１に記載の運転支援システム（１００）、および／または請求項１２に記載の操作装置（１）の使用法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置または車両のための運転支援システム、操作装置の運転支援システムのための制御ユニット、運転支援システムそのもの、ならびに操作装置、特に車両に関する。
【背景技術】
【０００２】
操作装置の場合、特に車両分野において、オブジェクトとの起こり得る衝突に関してそれぞれの装置の周囲を検査し、対応する警告メッセージを発し、および／または装置の動作に介入する動作支援システムおよび方法がますます使用されている。公知のシステムおよび方法では、例えば３次元データの評価を行う比較的複雑なシステムおよびデータ構造が使用され、および／または、周囲の対応した評価の有効性は、例えば制動を決定するために装置の作動に介入するために十分ではない。
【発明の概要】
【０００３】
これに対して、請求項１の特徴を有する本発明による運転支援方法は、比較的簡単な手段によって操作装置を運転するために特に信頼性の高い衝突予想を行うことができるという利点を有する。これは、本発明によれば、請求項１の特徴によって、操作装置のための、特に車両のための運転支援方法であって、
（Ｓ１）連続した時点における操作装置の視野内のオブジェクトに対するオブジェクトボックスまたはそのようなオブジェクトボックスを特徴づけるデータが取得され、
（Ｓ２）連続して、または直接に連続して記録した画像に対する所与のオブジェクトのオブジェクトボックスから、それぞれのオブジェクトに対するオブジェクトボックスの目下のスケーリング変化またはスケーリング変化と、それぞれのオブジェクトに対するオブジェクトボックスの目下の横方向の位置変化とが決定され、
（Ｓ３）それぞれのオブジェクトに対するオブジェクトボックスの目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックスが決定され、
（Ｓ４）予想したオブジェクトボックスの位置および／または予想したオブジェクトボックスの横方向範囲と検出した視野および／または記録した画像の横方向範囲に対するの比が決定および評価され、
（Ｓ５）評価の結果に依存して、（ｉ）予想したオブジェクトボックスの基礎となるオブジェクトが、起こり得る衝突に対して危険であるか否かが決定され、および／または（ｉｉ）操作装置の運転状態が制御または調整されることによって達成される。
【０００４】
したがって、本発明によれば、操作装置の周囲の評価は、いわゆる「オブジェクトボックス」と、対応して予想されるオブジェクトボックスと、検出された視野に対するこれらオブジェクトボックスの大きさの変化とに基づいている。これらのデータは、実質的に純粋に２次元的に検出され、高精度で決定することができる。
【０００５】
従属請求項は、本発明の好ましいさらなる構成を示す。
【０００６】
原則として、オブジェクトボックスに関連するデータは、外部から、例えば、従来の運転者支援システムの光学検出ユニットによって供給することができる。
【０００７】
しかしながら、本発明による運転支援方法の好ましい実施形態では、オブジェクトボックスおよび／またはオブジェクトボックスを特徴づけるデータを取得するステップ（Ｓ１）で、またはステップ（Ｓ１）のために
（Ｓ１ａ）時間的に連続した画像を記録しながら、基礎となる操作装置の視野が２次元および／または単眼で光学的に検出され、
（Ｓ１ｂ）連続して記録した画像または画像のカットにおいて、少なくとも１つのオブジェクトおよびオブジェクトに割り当てられたオブジェクトボックスが決定される。
【０００８】
既に上述したように、本発明の重要な態様は、オブジェクトに対して検出されたオブジェクトボックスの将来の視野における予想である。このような予想は様々な方法で実施することができる。
【０００９】
本発明による運転支援方法の一実施形態では、将来に予想されるオブジェクトボックスは、少なくとも、現在最後に検出された画像または画像のカットについて決定される。
【００１０】
これは、特に、予想期間まで複数の時間増分にわたって、それぞれのオブジェクトボックスのスケーリングまたはそこから導かれた大きさ、それぞれのオブジェクトボックスの座標、それぞれのオブジェクトボックスの平行移動、および／またはそれぞれのオブジェクトボックスの横幅についての値を反復的に決定および更新することによって行う。
【００１１】
予想期間および／または時間増分はあらかじめ決定され、固定されていてもよい。しかしながら、予想期間および／または時間増分を、さらなる運転パラメータ、例えば、装置、特に車両自体の自己速度および／または位置、または装置、特に車両の周囲の１つ以上のオブジェクトのあらかじめ予想された速度および／または位置に依存させることも望ましい。このようにして、周囲のオブジェクトの数に基づいて、および／または装置および／またはオブジェクトの比較的高い自己速度に基づいて必要な場合には、時間的に近接して監視を行うことができることが有利である。これに対して、交通量が比較的少ない場合、または同様の状況では、監視労力を低減することができる。
【００１２】
これに関連して、本発明による運転支援方法の別の実施形態によれば、それぞれの時間増分に対して、特に指定された順序で、以下のステップを実施することができる：
（Ｉ１）割当て規則にしたがって、計算すべき値をリセットまたは事前設定する。
スケーリング古い：＝スケーリング新しい
ボックス平行移動Ｘ古い：＝ボックス平行移動Ｘ新しい
ボックス幅古い≒ボックス幅新しい
ボックス位置左古い：＝ボックス位置左新しい
ボックス位置右古い：＝ボックス位置右新しい
（Ｉ２）次の割当て規則にしたがってスケーリングを更新する。
スケーリング新しい：＝１／（２−スケーリング古い）
（Ｉ３）次の割当て規則にしたがって、水平方向または横方向のオブジェクトボックスの平行移動を更新する。
ボックス平行移動Ｘ新しい：＝ボックス平行移動Ｘ古い×スケーリング古い
（Ｉ４）次の割当て規則にしたがって、水平方向または横方向のオブジェクトボックス幅を更新する。
ボックス幅新しい：＝ボックス位置右古い−ボックス位置左古い
（Ｉ５）次の割当て規則にしたがって、水平方向または横方向のボックス位置を予測する。
ボックス位置左新しい：＝ボックス位置左古い＋ボックス平行移動Ｘ古い−０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
ボックス位置右新しい：＝ボックス位置右新しい＋ボックス平行移動Ｘ新しい＋０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
この場合、スケーリング古いもしくはスケーリング新しいはオブジェクトボックスの古い、もしくは新しいスケーリングを示し、ボックス平行移動Ｘ古いもしくはボックス平行移動Ｘ新しいはオブジェクトボックスの古い、もしくは新しい変位を示し、ボックス幅古いもしくボックス幅新しいはオブジェクトボックスの古い、もしくは新しい幅を示し、ボックス位置左古いもしくはボックス位置左新しいはそれぞれのオブジェクトボックスの第１のＸ座標としてのオブジェクトボックスの左下角隅の古い、もしくは新しい位置を示し、ボックス位置右古いもしくはボックス位置右新しいはそれぞれのオブジェクトボックスの第２のＸ座標もしくはその値としてオブジェクトボックスの右下角隅の古いもしくは新しい位置を示す。
【００１３】
代替的または付加的には、上記の方程式は、以下の計算規則によって置き換えるか、または補足することができる。
ボックス位置左新しい：＝（ボックス位置左現在＋ボックス速度左現在＊Ｔ予測）／（１＋標準速度現在＊Ｔ予測）
ボックス位置右新しい：＝（ボックス位置現在＋ボックス速度右現在＊Ｔ予測／（１＋標準速度現在＊Ｔ予測）
この場合、ボックス位置左新しいおよびボックス位置左現在もしくはボックス位置右新しいおよびボックス位置右現在は、左もしくは右のボックスエッジの新しい、もしくは現在の位置であり、ボックス速度左現在およびボックス速度右現在は、左もしくは右のボックスエッジの現在測定された角速度であり、標準速度現在は現在測定されたいわゆる「標準化または規格化された」ボックス速度であり、Ｔ予測は、予測時間段階に関連する予測時間である。標準速度現在は、特に、オブジェクトボックスの計算されたスケーリング変化から導かれる。
【００１４】
本発明による運転支援方法の特定の実施形態では、オブジェクトに対して予想されるオブジェクトボックスの幅の割合が、基礎となる画像または画像の所定のカットの幅について所定の第１のしきい値を超える場合には、予想されるオブジェクトボックスの基礎となるオブジェクトが、起こり得る衝突に関して、特に１００％の危険性の値によって、危険であると決定されるように設定されている。しきい値は、それぞれの車両モデルおよび／またはそれぞれの新しい車両モデルに新たに適用される必要がある。
【００１５】
これに関連して、オブジェクトについて予想されたオブジェクトボックスの幅が、基礎となる画像または画像の所定のカットの外側に位置決めされた割合だけ、オブジェクトについて決定された危険性の値が低減される場合、特に有利である。
【００１６】
代替的にまたは付加的に、予想したオブジェクトボックスが、基礎となる画像または画像の所定のカットの完全に外側にある場合には、予想したオブジェクトボックスの基礎となるオブジェクトは、起こり得る衝突に関して、特に、０％の危険性の値によって、危険ではないと決定されるように有利に設定されている。
【００１７】
将来のオブジェクトボックスを予想する場合にできるだけ現実的な場面を考慮するために、本発明による運転支援方法の別の有利な実施形態によれば、オブジェクトとして歩行者を決定し、歩行者モデルに基づいてオブジェクトとしての歩行者の位置および動きを検査および評価し、歩行者について決定された速度に基づいてオブジェクトとしての歩行者の加速能力を決定し、速度および加速能力に基づいてオブジェクトとしての歩行者の危険性を決定するように設定されている。
【００１８】
加速能力に基づいて、予想され、拡張されたオブジェクトボックスを包囲するか、または少なくとも横方向または水平方向に含む予想されたオブジェクトボックスが生成され、危険性の評価時に基礎として使用される場合、特に有利である。
【００１９】
本発明のさらなる態様によれば、操作装置、特に車両の運転支援システムのための制御ユニットも生成される。
【００２０】
本発明による制御ユニットは、本発明による運転支援方法を制御および実行するように、および／または本発明による運転支援方法にしたがって、基礎となる運転支援システムを作動するように設定されている。
【００２１】
さらに本発明は、操作装置のための、特に車両のための運転支援システムに関する。この運転支援システムは、本発明による運転支援方法を実行するように設定されている。このために、運転支援システムは、特に、本発明にしたがって構成された制御ユニットを有する。
【００２２】
さらに、本発明は、本発明による運転支援システムを有する操作装置も提供する。
【００２３】
操作装置は、特に、車両、自動車、または乗用車として構成されている。
【００２４】
本発明のさらなる態様によれば、歩行者保護、サイクリスト保護、ＡＣＣ、および／または回避システムまたは方法のための、本発明による運転支援方法、本発明による制御ユニット、本発明による運転支援システム、および／または本発明による操作装置の使用が提案される。
【００２５】
添付の図面を参照して本発明の実施形態を詳述する。
【図面の簡単な説明】
【００２６】
【図１】本発明による運転支援方法の一実施形態を使用することができる車両の形式の本発明による作業装置を示す概略的な平面図である。
【図２】本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。
【図３】本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。
【図４】本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。
【図５】本発明による運転支援方法もしくは予想したオブジェクトボックスの反復決定の一実施形態を示すフロー図である。
【図６】本発明による操作支援方法または予想したオブジェクトボックスの反復決定の一実施形態を示すフロー図である。
【発明を実施するための形態】
【００２７】
以下に図１〜図６を参照して、本発明の実施形態および技術的背景を詳細に説明する。同じ、および同等の、ならびに同じように、または同等に作用する要素および構成要素は同じ参照符号によって示される。示された要素および構成要素の詳細な説明はその都度繰り返さない。
【００２８】
示される特徴およびさらなる特性は、本発明の核心から逸脱することなしに任意の形式で互いに分離し、任意に互いに組み合わせることができる。
【００２９】
図１は、本発明による運転支援方法Ｓの一実施形態を使用することができる車両１′の形式の本発明による操作装置１の概略的な平面図を示している。
【００３０】
本発明による車両１′は、本質的に、車輪４を取り付けた車体２によって形成され、車輪はドライブトレイン１２によって駆動ユニット２０を介して駆動可能であり、ステアリングおよびブレーキユニット３０と、対応するブレーキおよび／またはステアリングワイヤ１３とを介して制動および／または操舵可能である。
【００３１】
さらに、本発明による運転支援システム１００の実施形態は、本発明の意味で操作装置１としての本発明による車両１′の構成要素である。運転支援システム１００は、車両１′の周囲から視野５０を単眼で結像するためのカメラユニット４０からなる。視野５０は、オブジェクト５２として歩行者５２′を有するシーン５３を含む。
【００３２】
制御ユニット１０は、制御および検出ライン１１を介して、一方ではカメラユニット４０に接続され、他方では制御のために駆動ユニット２０ならびにブレーキおよび／またはステアリングユニット３０に接続されている。
【００３３】
図１に示す実施形態では、カメラユニット４０によって視野５０から検出された場面５３の画像５１は制御および検出ライン１１を介して制御ユニット１０に送信され、そこで本発明による運転支援方法Ｓに関連して評価される。
【００３４】
このように、本発明によれば、それぞれの画像またはフレーム５１内のオブジェクト５２としての歩行者５２′に関連して、オブジェクトボックス５４、およびオブジェクトボックスから時間的に直接に連続する画像５１に対して、ボックスエッジの位置変化およびスケーリング変化、角速度のパラメータおよび／またはこれにより導かれたオブジェクトボックス４３の大きさが決定され、反復方法Ｉに基づいて、オブジェクト５２に対して予想されるボックス５５を表示するための予想の基礎をなす。
【００３５】
図２〜図４は、本発明による運転支援方法Ｓによって評価することができる視野５０内の様々な場面５３の概略的な側面図を示す。
【００３６】
図２に示す状況では、場面５３ではオブジェクト５２として歩行者５２′が、図１に示すカメラユニット４０を用いて画像またはフレーム５１に結像される視野５０に位置している。必要に応じて、画像またはフレーム５１は、対応するカットまたは部分５１′によって制限される。
【００３７】
まず、歩行者５２′に対してオブジェクトボックス５４が導かれる。時間的に先行する画像またはフレーム５１からのオブジェクトボックス５４と比較して、オブジェクトボックス５４のスケーリング変化およびシフトまたは平行移動の量、ボックスエッジの角度位置、角速度および／またはそこから導かれる大きさが決定される。これらの大きさから、上述の反復方法Ｉにおいて、ステップＩ１〜Ｉ５を用いて、多数の時間増分にわたって、経過した予測期間に対して見込まれる予想されるオブジェクトボックス５５に関して予想を行うことができる。このようにして、予想されるオブジェクトボックス５５に対する右下角隅および左下角隅および幅５５ｂを有する位置に関して所与のオブジェクトボックス５４を将来の予想期間にわたって推定する。
【００３８】
評価のために、予想期間に将来予想されるオブジェクトボックス５５の幅５５ｂが、画像５１のカット５１′の幅５１ｂと比較される。この比率が所定の第１のしきい値を超える場合、オブジェクト５２は１００％の危険性をもって危険であると見なされる。
【００３９】
この危険値は、本発明によれば操作装置１のユーザに、特に車両１′の運転者に警告を送信するために、または操作装置１の運転方法に直接に介入するために使用することができる。しかしながら、オブジェクト５２が歩行者５２′である場合、オブジェクト５２のさらなる態様、例えば予想される加速挙動などを現実的な行動を組み込むことも可能である。
【００４０】
このために、オブジェクト５２としての歩行者５２′の現在の速度および歩行者の大きさを導き、歩行者モデルの入力パラメータとして用いることができる。次に、歩行者モデルは、見込まれる加速度または見込まれる加速挙動についての対応する値を出力する。これらの値は、図３および図４に示す包括的または包絡的なオブジェクトボックス５６を構成するために使用することができ、その右および左部分５６ｒおよび５６ｌは、最初に予想されたオブジェクトボックス５５を超えており、オブジェクト５２としての歩行者５２′の正または負の加速挙動に関する不確実領域を示す。
【００４１】
図５および図６は、本発明の一般的な説明に関連して既に上述したように、本発明による運転支援方法Ｓもしくは予想されるオブジェクトボックス５５の反復決定Ｉの一実施形態のフロー図を示す。
【００４２】
これに関して、反復方法Ｉは、実質的に、本発明による運転支援方法Ｓの実施形態のステップＳ３を形成しており、ステップＩ６では、予想期間が時間増分の終了によって既に到達されたかどうか、および／または反復のための別の中断条件が存在するかどうかがチェックされることにも言及しておく。
【００４３】
例えば、画像５１またはカット５１′の幅と比較して予測されるオブジェクトボックス５５の幅が第２のしきい値を超えることに関連して、代替的またはさらなる中断条件を見ることができ、この場合、第２のしきい値は第１のしきい値よりも大きい。
【００４４】
本発明のこれらの、および他の特徴および特性を、以下の記述に基づいてさらに説明する。
【００４５】
本発明は、単眼ビデオシステムの測定データのみに基づいて、例えば操作装置、特に車両の運転支援システムの一部として、衝突警告システムのための危険値をどのように決定することができるかに関する手段を記載する。
【００４６】
このために頻繁に使用される衝突インジケータは、「衝突までの時間」（ＴＴＣ）および「ブレーキまでの時間」（ＴＢＢ）である。これらは、衝突がいつ起こるか、または衝突を防止するためにいつ制動プロセスを開始する必要があるかについての情報を提供する。パラメータＴＴＢおよびＴＴＣは、距離、相対速度、および相対加速度を決定する必要なしに、モノラルビデオカメラからのデータに基づいて、および主にオブジェクトボックスのスケーリング変化から確実に計算することができる。
【００４７】
別の衝突インジケータは、「コンスタントベアリング」（ＣＢ）値であり、これは、本来、海運に由来し、自己または自身の動きが同じままであり、オブジェクト５２のオブジェクト移動が同じままである場合に衝突コースにいることを示す。ＣＢは、単純にモノラルビデオデータに基づいて、すなわち２次元データベースで計算することもできる。
【００４８】
危険性計算のための最新技術は、３Ｄベースの世界座標系を使用する。
【００４９】
このような手順の基礎は、例えば、モノラルカメラまたは単眼カメラを用いて、制限された品質でのみ推定によって決定することができる距離、相対速度、および相対加速度に関しての３次元データまたは３Ｄデータを使用することである。
【００５０】
ＣＢ概念は、理解するのが困難であり、パラメータ化するのが困難であり、将来の予測および歩行者運動モデルの使用を可能にしない。
【００５１】
ＴＴＣ／ＴＴＢの概念だけでは、オブジェクトが衝突コース上にあるかどうかではなく、時間的側面だけが考慮されるので、制動の決定には十分ではない。例えば、概念ＴＴＣおよびＴＴＢは、オブジェクトの傍を走行するかどうかについて表現することができない。
【００５２】
危険性計算に対する本発明による新しい２次元または２Ｄベースのアプローチは、測定された２次元または２Ｄデータまたは信号に、特に、オブジェクトボックスのいわゆる「ボックス座標」、ならびに、スケーリング変更、ボックス平行移動、角度位置、および／または角速度のパラメータの決定に純粋に、または実質的に基づいており、これらは、画像またはフレーム内の、または画像またはフレームのそれぞれのカット内のそれぞれのオブジェクトボックスのスケール変化または大きさ変化もしくは移動または変位を記述し、ボックス座標とともに、高い信号品質で存在するか、または決定することができる。
【００５３】
本発明によるアプローチは、特にそれぞれのオブジェクトボックス５４の位置および大きさ／幅、または大きさ変化／幅変化に関して、将来の予見、予想、または予測を含み、これにより、本発明によれば歩行者移動モデルの使用を可能にする。
【００５４】
したがって、歩行者５２′の滞在領域を予測するために歩行者移動モデルを使用することができる。「立っている、歩いている、走っている、疾走している」など、様々な運動状態における歩行者５２の加速能力についてのモデルを使用して、歩行者５２が将来どこにいる可能性があるかを表現する。危険性の値は、予測または予想される自身の滞在領域と歩行者５２′の予測または予想される可能な滞在領域５６との重なりから計算される。
【００５５】
本発明によるアプローチは、純粋なＣＢ概念よりも理解およびパラメータ化することが容易であり、実験的評価は、本発明によるアプローチが、ＣＢ実装、およびモノカメラを用いて推定された３Ｄデータに基づく従来の３Ｄベースの方法によってよりも良好な結果をもたらすことを示す。
【００５６】
予想または予測は、記録されたそれぞれの画像またはフレームについても一般に実行することができ、実行される。この場合、記録されたそれぞれの画像またはフレームについて、目標期間、例えば２秒が設定される。したがって、将来の目標期間にわたって予測が行われる。目標期間は、複数の、例えば、等しい時間増分に分割される。しかしながら、目標期間および／または時間増分は、変数として構成することもでき、他の運転パラメータに依存して選択され、決定されるようにすることもできる。
【００５７】
記録されたそれぞれの画像５１またはフレームについて以下の処理が行われる：
視野５０内の所与のオブジェクト５２のそれぞれのオブジェクトボックス５４の横方向ボックス座標を検出する。
１つ以上の以前の画像またはフレームに対するオブジェクト５２のオブジェクトボックス５４のスケーリング変化を検出する。
以前の画像またはフレームまたはそれらの一部またはカットに対する横方向における視野５０内の所与のオブジェクト５２のオブジェクトボックス５４のボックス移動、ボックス変位またはボックス平行移動（単位ピクセル）、ボックスエッジの角度位置および／または角速度を検出する。
具体的な予測や予想については、予想期間としての目標期間までのｎ回の時間増分についての方法ＳおよびＩを用いて既に説明した手順に基づいて行う。
ｎ回のサイクルのそれぞれにおいて、すなわち、所定の目標時間に到達するまでのそれぞれの時間増分について、予測したボックス幅が、カメラ画像５１の画像幅、またはカメラ画像の所定の、または設定された部分もしくはカット５１′の幅と比較される。
画像中のボックス幅と画像幅またはカットの幅との比率は、危険性の程度を決定するための基礎として使用することができる。ボックス幅５５ｂが画像５１またはカット５１′の所定の幅５１ｂをとり、したがって、例えば３５％のしきい値を超えるとすぐに、１００％の危険性が仮定され、設定される。
予測または予想したボックス５５が、例えば、部分的または完全に画像５１またはカット５１′の外側にある場合には、状況は危険ではなく、危険性の値は０％に設定される。
歩行者５２′の位置および／または速度に応じて、歩行者モデルによって加速能力を決定することができる。歩行者５２′の加速能力を考慮に入れて、画像５１または画像５１のカット５１′内の歩行者５２′の可能な横方向の滞在領域を第２のより幅の広いオブジェクトボックス５６をオブジェクト５２としての歩行者５２′のために設定することができる。
オブジェクト５２としての歩行者５２′の速度を決定し、加速能力を画素または角度座標に変換するために、オブジェクト５２としての歩行者５２′の大きさについての仮定を行うことができる。例えば、１．７５ｍの通常の大きさを基礎として使用することができる。
あらかじめ計算した危険性の値は、画像５１またはフレームおよびこれらのそれぞれのカット５１′または部分の外側にある最後に予測または予想したボックス５５の割合だけさらに低減または最小化することができる。例えば、ボックス幅５５ｂの５０％が画像５１またはフレーム、または所与の部分またはカット５１′の外側に位置する場合、すなわち、オブジェクトボックス５５が、歩行者モデルを考慮に入れた可能な滞在領域を表す場合には、危険性が対応して低減される。予測がより遠い将来に存在するほど危険性がより強度に低減される。なぜならば、より大きい滞在領域が画像５１またはカット５１′の外側に位置する可能性があるからである。将来への時間予測が大きければ大きいほど、歩行者５２′の挙動についての不確実性が大きくなるので、この挙動は望ましいといえる。
オブジェクト５２としての歩行者の予測されるオブジェクトボックス５５が危険な大きさ、例えばフレーム幅または画像幅の３５％のしきい値に達した場合、予測はこの反復サイクルＩで中断される。なぜならば、場合によっては衝突がこの時点で既に起こっているからである。
【図１】
2021525423.tif 000003
【図２】
2021525423.tif 000004
【図３】
2021525423.tif 000005
【図４】
2021525423.tif 000006
【図５】
2021525423.tif 000007
【図６】
2021525423.tif 000008
【手続補正書】
【提出日】令和3年4月2日(2021.4.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
さらに、本発明による運転支援システム１００の実施形態は、本発明の意味で操作装置１としての本発明による車両１′の構成要素である。運転支援システム１００は、車両１′の周囲から視野５０を単眼で結像するためのカメラユニット４０からなる。視野５０は、オブジェクト５２として歩行者５２′を有する場面５３を含む。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
操作装置（１）のための運転支援方法（Ｓ）において、
連続した時点における操作装置（１）の視野内のオブジェクト（５２）に対するオブジェクトボックス（５４）またはそのようなオブジェクトボックス（５４）を特徴づけるデータを取得するステップ（Ｓ１）、
連続して、または直接に連続して記録した画像に対する所与のオブジェクト（５２）の前記オブジェクトボックス（５４）から、それぞれの前記オブジェクト（５２）に対するオブジェクトボックス（５４）の目下のスケーリング変化またはスケーリング変化から導かれる大きさと、それぞれの前記オブジェクト（５２）に対する前記画像内のオブジェクトボックス（５４）の目下の横方向の位置変化とを決定するステップ（Ｓ２）、
それぞれの前記オブジェクト（５２）に対するオブジェクトボックス（５４）の、前記画像内の目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックス（５５）を決定するステップ（Ｓ３）、
前記予想されるオブジェクトボックス（５５）の位置および／または前記予想されるオブジェクトボックス（５５）の横方向範囲と検出した視野（５０）および／または前記記録された画像または当該画像のカットの横方向範囲との比を決定および評価するステップ（Ｓ４）、
前記評価の結果に依存して、（ｉ）前記予想されるオブジェクトボックス（５５）の基礎となるオブジェクト（５２）が、起こり得る衝突に関して危険であるか否かを決定し、および／または（ｉｉ）操作装置（１）の運転状態を制御または調整するステップ（Ｓ５）、
が含まれる、運転支援方法（Ｓ）。
【請求項２】
請求項１に記載の運転支援方法（Ｓ）において、
前記オブジェクトボックス（５４）および／または前記オブジェクトボックス（５４）を特徴づけるデータを取得する前記ステップ（Ｓ１）で、または前記ステップ（Ｓ１）のために、
時間的に連続した画像を記録しながら、基礎となる操作装置（１）の視野（５０）を２次元および／または単眼で光学的に検出し（Ｓ１ａ）、
連続して記録した画像において、少なくとも１つのオブジェクト（５２）および当該オブジェクト（５２）に割り当てられたオブジェクトボックス（５４）を決定する（Ｓ１ｂ）、運転支援方法（Ｓ）。
【請求項３】
請求項１または２に記載の運転支援方法（Ｓ）において、
予想期間まで複数の時間増分にわたって、それぞれのオブジェクトボックス（５４）のスケーリング、それぞれのオブジェクトボックス（５４）の座標、それぞれのオブジェクトボックス（５４）の平行移動、およびそれぞれのオブジェクトボックス（５４）の横幅についての値を反復的に決定および更新することによって、少なくとも、現在最後に検出された画像に対して将来に予想されるオブジェクトボックス（５５）を決定する、運転支援方法（Ｓ）。
【請求項４】
請求項３に記載の運転支援方法（Ｓ）において、
それぞれの時間増分について、特に指定された順序で、以下のステップ：
割当て規則：
スケーリング古い：＝スケーリング新しい
ボックス平行移動Ｘ古い：＝ボックス平行移動Ｘ新しい
ボックス幅古い：＝ボックス幅新しい
ボックス位置左古い：＝ボックス位置左新しい
ボックス位置右古い：＝ボックス位置右新しい
にしたがって、計算すべき値をリセットまたは事前設定するステップ（Ｉ１）と、
次の割当て規則：
スケーリング新しい：＝１／（２−スケーリング古い）
にしたがってスケーリングを更新するステップ（Ｉ２）と、
次の割当て規則：
ボックス平行移動Ｘ新しい：＝ボックス平行移動Ｘ古い×スケーリング古い
にしたがって、水平方向のオブジェクトボックス平行移動を更新するステップ（Ｉ３）と、
次の割当て規則：
ボックス幅新しい：＝ボックス位置右古い−ボックス位置左古い
にしたがって、水平方向のオブジェクトボックス幅を更新するステップ（Ｉ４）と、
次の割当て規則：
ボックス位置左新しい：＝ボックス位置左古い＋ボックス平行移動Ｘ新しい−
０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
ボックス位置右新しい：＝ボックス位置右古い＋ボックス平行移動Ｘ新しい＋
０．５×ボックス幅新しい×（スケーリング新しい−１）／スケーリング新しい
にしたがって、水平方向のボックス位置を予測するステップ（Ｉ５）と、
を実施し、
スケーリング古いもしくはスケーリング新しいはオブジェクトボックス（５４）の古い、もしくは新しいスーリングを示し、ボックス平行移動Ｘ古いもしくはボックス平行移動Ｘ新しいはオブジェクトボックス（５４）の古い、もしくは新しい変位を示し、ボックス幅古いもしくボックス幅新しいはオブジェクトボックス（５４）の古い、もしくは新しい幅を示し、ボックス位置左古いもしくはボックス位置左新しいは、それぞれのオブジェクトボックス（５４）の第１のＸ座標としてオブジェクトボックス（５４）の左下角隅の古い、もしくは新しい位置を示し、ボックス位置右古いもしくはボックス位置右新しいは、それぞれのオブジェクトボックス（５４）の第２のＸ座標もしくはその値としてオブジェクトボックス（５４）の右下角隅の古いもしくは新しい位置を示す、運転支援方法（Ｓ）。
【請求項５】
請求項３または４に記載の運転支援方法（Ｓ）において、
新しいボックス位置を決定するために以下の計算規則：
ボックス位置左新しい：＝（ボックス位置左現在＋ボックス速度左現在＊Ｔ予測）／（１＋標準速度現在＊Ｔ予測）
ボックス位置右新しい：＝（ボックス位置現在＋ボックス速度右現在＊Ｔ予測）／（１＋標準速度現在＊Ｔ予測）を実施し、
ボックス位置左新しいおよびボックス位置左現在もしくはボックス位置右新しいおよびボックス位置右現在は、左もしくは右のボックスエッジの新しい、もしくは現在の位置であり、ボックス速度左現在およびボックス速度右現在は、左もしくは右のボックスエッジの現在測定された角速度であり、標準速度現在は現在測定されたいわゆる「標準化された」ボックス速度であり、Ｔ予測は、予測時間段階に関連する予測時間であり、オブジェクトボックスの計算されたスケーリング変化から標準速度現在を導く、運転支援方法（Ｓ）。
【請求項６】
請求項１から５までのいずれか１項に記載の運転支援方法（Ｓ）において、
予想されるオブジェクトボックス（５５）の幅の割合が、基礎となる画像または画像の所定のカットの幅について所定の第１のしきい値を超える場合には、前記予想されるオブジェクトボックス（５５）の基礎となるオブジェクトが、起こり得る衝突に関して、特に１００％の危険性の値によって、危険であると決定する、運転支援方法（Ｓ）。
【請求項７】
請求項６に記載の運転支援方法（Ｓ）において、
オブジェクト（５２）について予想されるオブジェクトボックス（５４）の幅が、基礎となる画像または所定のカットの外側に位置決めされた割合だけ、オブジェクト（５２）について決定した危険性の値を低減する、運転支援方法（Ｓ）。
【請求項８】
請求項１から７までのいずれか１項に記載の運転支援方法（Ｓ）において、
予想されるオブジェクトボックス（５５）が、基礎となる画像または画像の所定のカットの完全に外側にある場合には、予想されるオブジェクトボックス（５５）の基礎となるオブジェクトが、起こり得る衝突に関して、特に、０％の危険性の値によって、危険ではないと決定する、運転支援方法（Ｓ）。
【請求項９】
請求項１から８までのいずれか１項に記載の運転支援方法（Ｓ）において、
前記オブジェクト（５２）として歩行者（５２′）を決定し、歩行者モデルに基づいてオブジェクト（５２）としての前記歩行者（５２′）の位置および動きを検査および評価し、歩行者（５２′）について決定した速度に基づいてオブジェクト（５２）としての前記歩行者（５２′）の加速能力を決定し、速度および加速能力に基づいてオブジェクト（５２）としての前記歩行者（５２′）の危険性を決定し、特に加速能力に基づいて、前記予想されるオブジェクトボックス（５５）を包囲するか、または少なくとも横方向または水平方向に含むオブジェクトボックス（５６）を生成し、危険性の評価時に基礎として使用する、運転支援方法（Ｓ）。
【請求項１０】
操作装置（１）、特に車両の運転支援システム（１００）のための制御ユニット（１０）において、
制御ユニット（１０）が、請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）を制御し、実行するように、および／または請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）にしたがって、基礎となる運転支援システム（１００）を作動するように設定されている、制御ユニット（１０）。
【請求項１１】
操作装置（１）、特に車両の運転支援システム（１００）において、
請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）を実施するように設定されており、特にこのために請求項１０に記載の制御ユニット（１０）を備える、運転支援システム（１００）。
【請求項１２】
操作装置（１）において、
請求項１１に記載の運転支援システム（１００）を有し、特に、車両、自動車、または乗用車として構成されている、操作装置（１）。
【請求項１３】
請求項１から９までのいずれか１項に記載の運転支援方法（Ｓ）の使用法において、
歩行者保護、サイクリスト保護、ＡＣＣ、および／または回避システムまたは方法のための、請求項１０に記載の制御ユニット（１０）、請求項１１に記載の運転支援システム（１００）、および／または請求項１２に記載の操作装置（１）の使用法。
【国際調査報告】
2021525423.tif 000009
2021525423.tif 000010
2021525423.tif 000011
2021525423.tif 000012
2021525423.tif 000013