(57)【要約】  本発明は、画像（Ｂ１、Ｂ２）を評価するための、特に画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価するための方法（Ｓ）であって、（ｉ）所与の第１および第２の画像（Ｂ１、Ｂ２）の間の対応（１０、１２）を提供し（Ｓ１−１）、（ｉｉ）それぞれの対応（１０、１２）を特徴付けるための属性（２０、２２）として１つの品質尺度または複数の品質尺度を提供し（Ｓ１−２）、（ｉｉｉ）対応（１０、１２）を評価し（Ｓ２−１）、条件付きで選択し（Ｓ２−２）、（ｉｖ）評価結果（１００）として、選択した対応（１０、１２）を提供し（Ｓ２−３）、対応（１０、１２）の評価（Ｓ２−１）は属性（２０、２２）の組み合わせに基づき、対応（１０、１２）の選択（Ｓ２−２）は評価（Ｓ２−１）の結果に基づく、方法（Ｓ）に関する。
2020534618.tif 000002
【特許請求の範囲】
【請求項１】
画像（Ｂ１、Ｂ２）を評価するための、特に画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価する方法（Ｓ）であって、
所与の第１および第２の画像（Ｂ１、Ｂ２）の間の対応（１０、１２）を提供し（Ｓ１−１）、
それぞれの対応（１０、１２）を特徴付けるための属性（２０、２２）として、１つの品質尺度または複数の品質尺度を提供し（Ｓ１−２）、
対応（１０、１２）を評価し（Ｓ２−１）、条件付きで選択し（Ｓ２−２）、
評価結果（１００）として、選択した対応（１０、１２）を提供し（Ｓ２−３）、
対応（１０、１２）の評価（Ｓ２−１）は属性（２０、２２）の組み合わせに基づき、対応（１０、１２）の選択（Ｓ２−２）は評価（Ｓ２−１）の結果に基づく、方法（Ｓ）。
【請求項２】
請求項１に記載の方法（Ｓ）において、
それぞれの品質尺度は考察する前記対応（１０、１２）の前記属性（２０、２２）として、少なくとも１つの態様またはこれらの組合せを表し、該少なくとも１つの態様は、 
少なくともそれぞれに考察した対応（１０、１２）の領域における対応の分布の少なくとも局所的な位置依存性及び／又は立体角依存性の尺度、および特に、位置に依存した、及び／又は立体角に依存した対応の分布の均一性の尺度、
基礎となる対応（１０、１２）を優先的に考慮するための優先順位の尺度、
基礎となる前記画像（Ｂ１、Ｂ２）の領域にそれぞれの対応（１０、１２）が正確に割り当てられていることを示す尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体の自己運動、及び／又は非エピポーラ一致運動を考慮した物体の自己運動の尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体の移動可能性の尺度、
それぞれの対応（１０、１２）を決定した正確性の尺度、
それぞれの対応（１０、１２）を決定する場合に基礎となる解像度または解像度レベルの尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体が、好ましくはビデオベースの物体分類、機械学習のプロセス、及び／又はセマンティックセグメンテーションのプロセスに基づいたセマンティッククラスに属していることの尺度、
それぞれの対応を局所的な範囲で決定した一義性の尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体が、特にマスキングに関連して基礎となる画像（Ｂ１、Ｂ２）の許可される領域を考慮するクラスに属していることの尺度、
それぞれの対応（１０、１２）を局所的な範囲で決定した一義性の尺度、
特に経時的なフローベクトルの一貫性の尺度に関して、それぞれの対応（１０、１２）と時間的に先行する対応との一貫性の尺度であって、一貫性が確認された場合に、基礎となる時間的に安定した特性を、特に経過時間の形式で数値として示す一慣性の尺度、
である、方法（Ｓ）。
【請求項３】
請求項１または２に記載の方法（Ｓ）において、
組み合わせ形成及び／又は関数形成によって、特に、逆数値形成、符号反転、丸め、品質尺度の基礎をなすスカラー値またはベクトル値の関数値の形成によって、１つまたは複数の品質尺度から導いた前記属性（２０、２２）として組み合わせた品質尺度を使用する、方法（Ｓ）。
【請求項４】
請求項１から３までのいずれか１項に記載の方法（Ｓ）において、
それぞれの前記属性（２０、２２）及び／又は基礎となる品質尺度、特に該品質尺度の値を、特に属性（２０、２２）及び／又は品質尺度を表す読み出しテーブルの値に関連して、アドレスとして利用するために符号化して使用する、方法（Ｓ）。
【請求項５】
請求項１から４までのいずれか１項に記載の方法（Ｓ）において、
それぞれの前記対応（１０，１２）を１次元リストとして、またはベクトルとして表し、
対応（１０、１２）にそれぞれ割り当てられた前記属性（２０、２２）及び／又は該属性の符号化を１つ以上の付加的なリスト要素もしくはベクトル成分として、またはベクトル成分の一部として表し、リストもしくはベクトルに加える、方法（Ｓ）。
【請求項６】
請求項１から５までのいずれか１項に記載の方法（Ｓ）において、
より早い時点の前記対応（１０，１２）に対する前記属性（２０，２２）及び／又は品質尺度をより遅い時点の対応（１０，１２）に送り、及び／または外挿する、方法（Ｓ）。
【請求項７】
請求項１から６までのいずれか１項に記載の方法（Ｓ）において、
特に割り当てられた前記属性（２０、２２）と組み合わせて、前記対応（１０、１２）を画像（１０、２０）または行列（１０、２０）として表し、
画像（１０、２０）もしくは行列（１０、２０）を、重なり合う、及び／又は重なり合わないサブ領域（１５）によってカバーし、
それぞれのサブ領域（１５）について、サブ領域（１５）に存在する対応（１２）に関して、特に割り当てられた属性（２２）に関して、最良の対応（１２）を選択する、方法（Ｓ）。
【請求項８】
装置、特に車両のための操作支援方法、特に運転支援方法において、
画像（Ｂ１、Ｂ２）を検出し、請求項１から７までのいずれか１項に記載の方法によって評価し、
装置の操作を制御する場合に評価の結果を使用する、操作支援方法。
【請求項９】
画像（Ｂ１、Ｂ２）を評価するための、特に画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価するための装置であって、該装置が、
請求項１から７までのいずれか１項に記載の方法を実施するように構成され、
特に、ＡＳＩＣとして、自由にプログラム可能なデジタル式の信号処理装置として、またはそれらの組み合わせとして構成される、装置。
【請求項１０】
請求項１から８までのいずれか１項に記載の方法を使用して、操作時に制御されるように構成され、そのために特に請求項９に記載の装置を有する操作装置、特に車両。
【請求項１１】
請求項１から８までのいずれか１項に記載の方法（Ｓ）をコンピュータまたはデジタル式の信号処理装置で実施する場合に、方法（Ｓ）を実施するように構成されたコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムが記憶された機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像、特に画像の対応を評価するための方法および装置、操作支援方法、特に運転支援方法および操作装置、特に車両に関する。本発明はさらに、コンピュータプログラムおよび機械可読記憶媒体に関する。
【背景技術】
【０００２】
多くの技術分野では、装置およびプロセスを制御するために画像処理が使用され、例えば、自動車産業においては、いわゆる「運転者支援システム」において使用される。これに関連して、例えば、画像を検出し、制御プロセスの基礎として用いる。このためには画像を評価する必要がある。画像評価ではいわゆる「対応」を生成し、評価の基礎として使用する。このような対応は、第１の画像内の座標と第２の画像内の座標との間の割り当てを、ピクセル毎に、時間方向及び／又は空間方向において記述する。時間的観点では、連続的に記録された画像であってもよいし、空間的観点では、例えばステレオビジョンで同時に記録することもできる空間的に分離された画像であってもよい。
【発明の概要】
【０００３】
発明の開示
請求項１の特徴を有する画像を評価するための本発明による方法は、一対の画像に対する対応を比較的少ない労力により高い信頼性をもってチェックし、検証時に選択することができるという利点を有する。これは、本発明によれば、請求項１の特徴によって、画像を評価するための、特に画像の対応を評価するための方法により達成され、この方法は、以下のステップ、すなわち
（ｉ）所与の第１および第２の画像の間の対応を提供するステップ、
（ｉｉ）それぞれの対応を特徴付けるための属性として１つまたは複数の品質尺度を提供するステップ、
（ｉｉｉ）対応を評価し、条件付きで選択するステップ、および
（ｉｖ）評価結果として、選択した対応を提供するステップ
を含む。
【０００４】
この場合、本発明によれば、対応の評価は属性の組み合わせに基づき、対応の選択は評価の結果に基づく。本発明により提供するこの手段により、既に決定された対応が、対応を評価する場合に対応に対して互いに組み合わせた属性を使用することにより、対応を選択する場合に高度の選択性および正確性が達成される。この選択に基づいて、正確性を損なうことなしに、さらなる処理および利用するデータ量を低減することができる。
【０００５】
本発明の範囲では、対応の全体は、対応画像、対応セット、または対応行列として理解することもでき、これらの個々の構成要素は、要素またはピクセルとも呼ぶ。個々の対応は、１つ以上のスカラー成分、例えば、空間内の異なる運動方向ｕ、ｖのための値を有することができる。したがって、個々の対応はベクトル値であってもよい。さらに、対応は、「ＯＦ」とも呼ばれるオプティカルフローの概念に基づく、及び／又はステレオ視差を反映することができるが、このことは必要不可欠ではない。
【０００６】
同様に、品質尺度、属性、及び／又は選択された対応の全体は、対応する要素またはピクセルを有する対応する画像、データセット、及び／又は行列として理解することもできる。
【０００７】
本発明は、例えば（ただし、これに限らないが）、一般に車両に取り付けられた、または車両内に設けられたそれぞれの形式のカメラ、監視カメラ、及び／又は測定技術のカメラに関連して、特に自動車に関連して適用可能である。テレビカメラ、家庭用カメラ、ドローンカメラ、人間−機械相互作用カメラなどに関連した本発明の用途も含まれる。
【０００８】
従属請求項は、本発明の好ましい構成を示す。
【０００９】
それぞれに考察する対応に対する品質尺度または属性を実現するために、対応を評価することを可能にする種々の態様を個別に、または互いに任意の組み合わせで使用することができる。
【００１０】
したがって、本発明による方法の好ましい実施形態によれば、それぞれの品質尺度は考察する対応の属性として、少なくとも１つの態様またはこれらの組合せを表すことができる、その少なくとも１つの態様は、例えば、
少なくともそれぞれに考察した対応の領域における対応の分布の少なくとも局所的な位置依存性及び／又は立体角依存性の尺度、および特に、位置に依存した、及び／又は立体角に依存した対応の分布の均一性の尺度、
基礎となる対応を優先的に考慮するための優先順位の尺度、
基礎となる画像の領域にそれぞれの対応が正確に割り当てられていることを示す尺度、
基礎となる画像においてそれぞれの対応に関連する領域、特にそれぞれの対応に関連する物体の自己運動、及び／又は非エピポーラ一致運動を考慮した物体の自己運動の尺度、
基礎となる画像においてそれぞれの対応に関連する領域、特にそれぞれの対応に関連する物体の運動可能性の尺度、
それぞれの対応を決定した正確性の尺度、
それぞれの対応を決定する場合に基礎となる解像度または解像度レベルの尺度、
基礎となる画像においてそれぞれの対応に関連する領域、特にそれぞれの対応に関連する物体が、好ましくはビデオベースの物体分類、機械学習のプロセス、及び／又はセマンティックセグメンテーションのプロセスに基づいたセマンティッククラスに属していることの尺度、
基礎となる画像においてそれぞれの対応に関連する領域、特にそれぞれの対応に関連する物体が、特にマスキングに関連して基礎となる画像の許可される領域を考慮するクラスに属していることの尺度、
それぞれの対応を局所的な範囲で決定するか、または決定した一義性の尺度、
特に経時的なフローベクトルの一貫性の尺度に関して、それぞれの対応と時間的に先行する対応との一貫性の尺度であって、一貫性が確認された場合に、基礎となる時間的に安定した特性を、特に経過時間の形式で数値として示す一慣性の尺度、
である。
【００１１】
本発明による方法の別の有利な実施形態では、組み合わせ形成及び／又は関数形成によって、特に、逆数値形成、符号反転、丸め、品質尺度の基礎をなすスカラー値またはベクトル値の関数値の形成によって、１つまたは複数の品質尺度から導いた属性として組み合わせた品質尺度を使用することによって、特に大きい柔軟性が生じる。
【００１２】
本発明による方法の別の有利な実施形態にしたがって、それぞれの属性及び／又は基礎となる品質尺度、および特にこれら品質尺度の値が、特に属性及び／又は品質尺度を表す読み出しテーブル、特にルックアップテーブルの値に関連して、アドレスとして利用するために符号化して使用する場合には、本発明による方法の具体的なプロセスを特に簡単に構成することができる。
【００１３】
付加的または代替的に、別の実施形態にしたがって、それぞれの対応が１次元リストとして、またはベクトルとして表され、対応にそれぞれ割り当てられた属性及び／又はその符号化が１つ以上の付加的なリスト要素として、もしくはベクトル成分として、またはベクトル成分の一部として表され、リストもしくはベクトルに加えられている場合には、本発明による方法のさらなる簡略化およびコスト低減が達成される。
【００１４】
具体的な用途では、対応が導かれる時点で、参照する品質尺度及び／又は属性の全ての値が利用可能であるわけではない。
【００１５】
より早い時点の対応に対する属性及び／又は品質尺度がより遅い時点の対応に送られ、かつ／または外挿される場合には、このような状況に関連しても有利である。
【００１６】
別の有利な実施形態によれば、本発明による方法は、対応が、特に割り当てられた属性と組み合わせた対応の全体が、実際に画像、行列などとして表され、画像もしくは行列が、特に平面充填またはタイリングの形式で、重なり合う、及び／又は重なり合わないサブ領域によって、カバーされ、それぞれのサブ領域について、サブ領域に存在する対応に関して、特に割り当てられた属性に関して、存在する場合には最良の対応が選択されることにより、さらにコストを節約することができる。
【００１７】
本発明は、さらに、装置、特に車両のための操作支援方法、特に運転支援方法に関し、画像を検出し、本発明による方法にしたがって評価し、装置の操作を制御する場合に評価の結果を使用する。
【００１８】
本発明の別の態様によれば、画像を評価するための、特に画像の対応を評価するための装置も提供し、この装置は、本発明による操作支援方法、または運転者支援方法、もしくは画像、特に画像対の対応を評価するための本発明の方法を実行するように構成される。
【００１９】
本発明による装置は、特に、ＡＳＩＣとして、自由にプログラム可能なデジタル式の信号処理装置として、またはそれらの組み合わせとして構成することができる。
【００２０】
さらに、本発明により、本発明による方法がコンピュータまたはデジタル式の信号処理装置で実施される場合に、本発明による方法を実施するように構成されたコンピュータプログラムを提供する。
【００２１】
さらに、本発明は、本発明によるコンピュータプログラムが記憶された機械可読記憶媒体も提供する。
【００２２】
添付の図面を参照して本発明の実施形態を詳細に説明する。
【図面の簡単な説明】
【００２３】
【図１】本発明による方法の実施形態を示し、基礎となる画像と、対応、属性、および他の情報との間の関係を概略的に示すフロー図もしくはブロック線図である。
【図２】本発明による方法の実施形態を示し、基礎となる画像と、対応、属性、および他の情報との間の関係を概略的に示すフロー図もしくはブロック線図である。
【図３】対応分布の適宜な画像に基づいて、本発明による方法の実施形態の使用結果を示す概略図である。
【図４】対応分布の適宜な画像に基づいて、本発明による方法の実施形態の使用結果を示す概略図である。
【図５】対応分布の適宜な画像に基づいて、本発明による方法の実施形態の使用結果を示す概略図である。
【図６】加えられた属性を備える対応としてのフローベクトルの表現の、構造として可能なものを示す概略図である。
【図７】対応の画像をカバーするための平面充填またはタイリングの使用を示す概略的である。
【図８】対応の画像をカバーするための平面充填またはタイリングの使用を示す概略的である。
【図９】Ａ〜Ｃは、マスクの使用および関連する時間送りを説明する概略図である。
【発明を実施するための形態】
【００２４】
以下に、図１〜図９Ｃを参照して、本発明の例示的な実施形態および技術的背景を詳細に説明する。同一または同等の、または同一および同等に作用する要素および構成要素は、同じ参照符号によって示す。示した要素および構成要素は、それぞれの場合に繰り返し詳細には説明しない。
【００２５】
示した特徴およびさらなる特性は、本発明の本質から逸脱することなく、任意の形態で互いに分離し、任意に互いに組み合わせることができる。
【００２６】
図１および図２は、本発明による方法Ｓの実施形態をフロー図の形で、またはブロック線図の形式で概略的に示し、基礎となる画像Ｂ１、Ｂ２と、対応１２、属性２２、および他の情報３２との間の関係を示し、対応１２、属性２２、および他の情報３２は、基礎画像Ｂ１、Ｂ２に対応し、そして適宜なピクセルまたは要素を有する対応する適宜な画像または行列１０、２０、および３０として与えている。
【００２７】
画像Ｂ１、Ｂ２、１０、２０、３０は、互いに異なるサイズ及び／又はフォーマット、または１つのサイズを有することができる。属性画像は、特に、メモリスペース及び／又は帯域幅を節約するために、より小さくすることもできる。属性画像は、特に、水平方向および垂直方向に入力画像の半分の大きさとしてもよく、必要に応じて拡大してもよい。
【００２８】
画像Ｂ１、Ｂ２および特に画像Ｂ１、Ｂ２の対応１２を評価するための本発明による方法Ｓの実施形態は、第１ステップＳ１を含み、第１サブステップＳ１−１では、画像Ｂ１、Ｂ２に対する対応１２を、例えば、セット、行列またはメモリ領域として理解することもきる対応１２の対応する適宜な画像１０の形式で供給する。これに関連して、個々の対応１２は、要素またはピクセルとしても理解される。
【００２９】
第２のサブステップＳ１−２では、対応１２の分析に基づいて、例えば品質尺度の形の対応する属性２２を提供する。属性２２の全体は、画像２０、セット、行列、またはメモリ領域として理解することができ、個々の属性２２は、この場合にも要素またはピクセルとして含まれている。
【００３０】
必要に応じて、付加的な情報３２を、属性に対して補足的に、例えば属性に含めて生成するか、または画像３０、セット、行列またはメモリ領域の形式で別個のエンティティとして生成する。しかしながら、これは必要不可欠ではないが、しばしば有利である。
【００３１】
方法Ｓの第１方法ステップＳ１の個々のサブステップＳ１−１およびＳ１−２は、並行して、例えば同時に、または順次に処理することができる。
【００３２】
本発明による方法Ｓの第２のステップＳ２では、対応１２を評価するステップＳ２−１、対応１２を条件付きで選択するステップＳ２−２、評価の結果として選択した対応１２を提供するステップＳ２−３を行う。
【００３３】
図１は、選択した対応１２を再び画像１００の形式で提供することを示し、画像１００は、セット、行列、またはメモリ領域として理解することもできる。しかし、この手順は必要不可欠ではない。
【００３４】
選択された対応が、入ってくる対応の量のほんのわずかな部分のみを表す場合には、もはや画像または行列として選択を表示せず、より圧縮して、例えばリストとして表示することが非常に有利な場合もある。
【００３５】
これに続いて、選択した対応１２に基づいて相対的な向き及び／又は自己運動を決定するステップＳ３を行う。この選択により、データ量を低減し、信頼性および正確性を向上させることができる。
【００３６】
決定した相対的な向き及び／又は自己運動に基づいて、様々な他のプロセス、例えば、自己運動物体のクラスなどを決定するプロセスＳ４、そして代替的にまたは付加的に、特定の適用Ｓ４、Ｓ５が続く。
【００３７】
図２は、特に、方法ステップＳ４にしたがって自己運動物体の分類に関して自己運動及び／又は相対的な向きに対するデータストリーム３５および３６、すなわち対応１２およびデータのフローの影響に関して、ならびに方法Ｓの第２方法ステップＳ２に対する、特に条件付きの選択のプロセス２−２に対するフィードバック３４による影響に関して、付加的な情報３０の供給の意味で、データフローに関する詳細な情報を示す図をブロック図の形式で示す。
【００３８】
図３〜図５は、対応分布の適宜な画像１０、１００を用いて、特に図３には対応１２の元の形式で、図４には対応１２のマスクした形式で、図５には対応１２の選択後の、本発明による方法Ｓの実施形態の適用結果を概略的に示す。これについては、以下の部分でより詳細に説明する。
【００３９】
図６は、フローベクトルの表現の可能な構造を、例えば３２ビットの長さを有するワードで、その固有のコード部分として属性２２が加えられた対応１２として概略的に示し、そのコード部分は、この関連では「Ｑコード」とも呼び、６つの品質特徴ＱＭ０〜ＱＭ０５のための部分を含む。これに関連して、この元の対応１２には、属性２２を加えることによって、修正した対応１２′に変更して示している。
【００４０】
図７および図８は、対応１２の画像１０をカバーするための表面充填またはタイリングの使用を概略的に示す。
【００４１】
図７は、対応行列１０の形式で提供する全ての対応１２の全体を示し、基礎となる適宜な画像Ｂ１およびＢ２に対応するパターンおよび構造を備える画像として理解することもできる。しかしながら、このことは必要不可欠ではなく、行列１０および画像Ｂ１、Ｂ２は、互いに比較して異なるサイズを有することができる。したがって、画像または行列１０には、適宜な要素またはピクセル１１が形成され、これらの要素またはピクセル１１は、１つ以上の対応１２を含んでもよいが、しかしながら、含んでいなくてもよい。すなわち、特定のピクセル１１は、対応１２を含んでいない場合には、空であってもよい。
【００４２】
元の対応１２を有する対応行列１０をカバーするために、部分領域または部分範囲１５を有する表面充填またはタイリングを生成する。個々の部分領域または部分範囲１５は重なり合わず、全体として対応画像１０の全体をカバーしている。
【００４３】
特定の部分領域１６は、対応１２を有していない。特定の部分領域１７は、図７に示す図では、縁部に位置しており、部分領域１５の互いに対するずれを確保するために、異なるように形成しており、異なる寸法を有している。
【００４４】
それぞれの部分領域１５が空でない場合には、それぞれの部分領域１５内の全ての対応１２を比較することによって、好ましい対応１３を決定し、選択する。これについては、以下の部分でより詳細に説明する。
【００４５】
図８は、対応行列１０のカバレージの単一のタイル１５を見ており、矢印１９の流れは、個々のピクセル１１および個々の対応１２に関するタイル１５の処理経路を示す。処理経路は、確実に、タイルまたは部分領域１５の全てのピクセル１１に到達するようにする。タイルまたは部分領域１５のこの処理経路は、異なるように、例えば好ましくは、垂直ではなく水平に、螺旋状にまたはランダムな順序で選択することもできる。
【００４６】
図９Ａ〜９Ｃは、ワーピングの意味でマスクの使用および関連する時間送りを概略的に説明する。これらの態様は、以下のさらなる部分で詳細に説明する。
【００４７】
本発明のこれらおよび他の特徴および特性を、以下の記述に基づいてさらに説明する。
【００４８】
本発明は、とりわけ、いわゆる「優先サンプリング」、および代替的にまたは付加的に、画像対Ｂ１、Ｂ２または一般的に複数の画像Ｂ１、Ｂ２に対する対応１２の量または範囲からの好ましい候補の評価および選択の態様に関する。
【００４９】
本発明の別の観点によれば、本発明は、画像対Ｂ１、Ｂ２に対する、または一般に複数の画像Ｂ１、Ｂ２に対する対応１２の評価および選択、及び／又は相対的な向きのカメラベースの推定を改善する態様にも関する。
【００５０】
さらに、さらなる付加的、代替的な視点によれば、本発明は、ビデオベースの自己運動の推定を改善するための方法および装置の態様に関する。
【００５１】
マシンビジョン、コンピュータビジョンの分野において、特にオプティカルフロー（ＯＦ）の概念に関連して、およびステレオ視差において、この対応形成という問題に直面する。
【００５２】
オプティカルフローに関連して、第１画像Ｂ１の座標と第２画像Ｂ２の座標との間の割り当てを決定することによって、時間方向に対応を形成する。このような対応は、３Ｄシーン内の点の２Ｄ画像への投影が古い座標から新しい座標にどのように移動したかを示す。
【００５３】
画像Ｂ１、Ｂ２内のこの移動は、シーン点の移動によって引き起こされるか、カメラの移動によって引き起こされるか、または同時にその両方によって引き起こされる場合がある。
【００５４】
ステレオビジョンでは、２つの画像Ｂ１、Ｂ２は、異なる位置に配置された２つのカメラによってほぼ同時に撮られる。カメラの相対的な配置は、通常、固定されていて既知である。対応形成は、三角測量によって３Ｄシーン内のその点までの距離を決定することを可能にする。
【００５５】
例えば、http://www.cvlibs.net/datasets/kittiの「ＫＩＴＴＩビジョン・ベンチマーク・スイート」は、特に運転者支援システムに関して、従来技術における最良の方法の概要を与える。
【００５６】
相対的な向きをカメラベースで決定する場合には、静的であると仮定されることが多いシーンに関するカメラ位置の相対的な向きを計算するために、２つの画像Ｂ１、Ｂ２の間で複数の対応、特に点の対応を使用する。
【００５７】
画像Ｂ１、Ｂ２は、互いに機械的に堅固に結合することができる２つの異なるカメラに由来するものであってもよい。
【００５８】
２つの画像Ｂ１、Ｂ２が同じカメラに由来するものである場合、自己運動の推定について述べる。この場合、カメラが実行した、特にシーンに対する相対的な移動を決定する。この移動は、一般に、３Ｄ回転と３Ｄ並進との組み合わせとして記述することができる。
【００５９】
本発明の範囲では、自己運動の推定または決定Ｓ３の態様、及び／又は、マルチカメラの場合も含む相対的な向きの推定または決定Ｓ３の態様は、等しく扱い、特に、個別に言及した場合にはそれぞれ純粋に例示として扱う。自己運動の推定に関連して論じ全ての技術的な態様は、相対的な向きを推定する技術的態様、特にマルチカメラの場合に関しても同様に有利に適用可能である。
【００６０】
本発明は、特に、得られた全ての対応の全体からのできるだけ適切で、特に最適な対応のサブセットの選択Ｓ２−２のテーマを扱う。
【００６１】
このような選出または選択は、以下の状況のうちの１つ以上が生じている場合には、例えば有意義であるか、または必要な場合がある：
−後続の方法ステップまたはアルゴリズム、例えば、画像評価及び／又は画像処理が、提供された対応の全てを、特にリアルタイムで処理するために充分な能力を有していない。
−提供される全ての対応の全体において、さらなる処理の前にフィルタリングすべき不適切な対応が存在する。
この場合の例は以下の通りである：
−誤った対応、例えば、誤った割り当て、および
−自己運動物体に属する、すなわち、相対的な向きの決定を関連づけることが望ましいシーンの部分に属していない、シーンの点の間の対応。自己運動物体の例は、歩行者、走行する自動車、移動する雲、反射性表面における反射である。
−対応が、異なる正確度で決定された。この場合、より正確度が高い対応を優先させるであろう。
−対応が、画像またはスペースにおいて不均一に分配されている。この場合、選択は均一性を改善することができる。相対的な向きを決定するためには、対応が異なる空間方向に由来する場合には有利だからである。
【００６２】
本発明によれば、例えば品質基準に関して選択に要件を課し、これらの要件を満たすか、または可能な限りそれを満たす対応を選択する可能性が生み出される。
【００６３】
本発明に関連して、異なるクラスの品質基準を使用することができる：
（１）例えば、局所的な環境においてどの程度一義的に対応１２を決定することができたか、について述べることを可能にする尺度を決定することができる。例えば、エッジに沿って、または周期的パターンに基づいて、対応が多義的であるかもしれないことを決定することができる。一義性の尺度は、数値として符号化することができる。
（２）代替的または付加的に、対応は、この対応に時間的に先行する対応と比較し、経時的なフローベクトルの一貫性についてチェックすることができる。一貫性が確認された場合には、挙動は時間的に安定である。この一貫性が繰り返し満たされる場合には、信頼度を高めることができ、信頼度は、例えば経過時間の形式で数値として示すことができる。
【００６４】
本発明による方法は、オプティカルフローとの対応から自己運動を推定するための最良の候補を選択するために、運転支援システムの現存の世代または次の世代において、例えば、ＡＳＩＣにおける実装して使用することができる。
【００６５】
上述の２つの品質基準（１）および（２）に加えて、他の品質基準、例えば、以下に説明する品質基準を使用することができる。全ての品質基準は、既に導いた対応の選出または選択Ｓ２−２を実行するために、個別に、または互いに任意の組み合わせで使用することができる。
【００６６】
以下に具体的な実施形態を用いてこのことを説明する。この実施形態は、製品において可能な実装に対応する。
【００６７】
まず、オプティカルフローフィールドを決定する。対応１２として理解されるそれぞれのフローベクトルに、６つの異なる品質尺度を割り当て、フローベクトルのデータ構造に加えることができる。図３に関連して示すように、品質尺度からそれぞれ１つの優先順位を計算することができる。さらに、図４に関連して示すように、付加的な情報３０、３２の範囲で、さらなる特徴、例えば、より早い時点に割り当てて、排除すべきピクセルを識別するマスクを考慮に入れることができる。図５に関連して示すように、対応１２の好ましい選択を、情報の全体から導き、生成することができる。
【００６８】
本発明のいくつかの主要な態様および利点を以下により詳細に説明する。
以下の基準の任意の組み合わせを考慮して、提供された対応１２の全体から、対応１２の好ましいサブセットを選択することができる：
−均一性：走査点は、対応１２の画像１０もしくはフィールド１０にわたってできるだけ均一に分配されていることが望ましい。
画像１０の均一性の代わりに、例えば立体角につき一定数の対応について、空間における均一性を求めることもできる。
より一般的には、均一性の代わりに、位置に依存した、及び／又は立体角に依存した対応の特定の密度特性を求めることができる。
−優先順位：最良の対応１２は、優先順位にしたがって選択することが好ましい。
オプションの情報３０、３２は、優先順位の態様に加えて考慮に入れるか、または優先順位の決定に含めることができる。
−品質尺度：異なる品質尺度を、既存の対応１２のために作成し、利用することができ、これらは、好ましくは、符号化した形式で提供され、例えばそれぞれの対応に加えられるか、またはそれに割り当てられる。
−品質尺度の組み合わせ：複数の既存の品質尺度を互いに組み合わせ、新しい品質尺度または新しい優先順位を決定し、それぞれの対応に割り当てることができる。
【００６９】
−品質尺度の統合：特に符号化した複数の品質尺度を統合して、ルックアップテーブル（ＬＵＴ）または読み出しテーブルのアドレスとして使用することができ、このテーブルは、品質及び／又は優先順位のスケールにそのアドレスをマッピングする。
【００７０】
ＬＵＴの使用は、品質尺度及び／又は他の属性の組み合わせが有限であり、数があまり多く存在しない場合には有意義であり、数として表すこともできるそのようなそれぞれの組み合わせに、優先順位を割り当てることができる。この割り当ては、明示的に、および原則として１回のみＬＵＴとして保存し、繰り返し呼び出すことができる。この手順は、優先順位を常に新たに決定するよりも計算コストに関して有利な場合がある。
−訓練データ：訓練データを用いてこのようなＬＵＴを作成することが可能である。
−さらなる情報：他のシステム構成要素、方法、及び／又はアルゴリズムから、例えばビデオベースの物体分類から、または機械学習に基づくセマンティックセグメンテーションから得ることもできるさらなる情報を取り入れることも可能である。
【００７１】
以下の点が考えられる。
−物体または物体クラスの移動の可能性に関する情報（例：歩行者の対応１２は、歩行者が現在動いているかどうかにかかわらず、注意事項として基本的に除外することができる。）、
−自己運動物体の有無に関する情報（背景：相対的な向きの決定が、静的であると仮定されるシーンに関係している場合には、所属の全ての対応１２は、挙動がエピポーラ一致態様であり、すなわち、同じエピポールに関係している。）、
−バイナリマスクの形式、または品質尺度もしくは優先順位の画像の形式の情報、及び／又は
−より古い時点に割り当てられており、オプティカルフロー（対応１２）を使用して所望の時点に送ることができる情報、
−より古い時点に割り当てられており、既知の自己運動を使用して所望の時点に送ることができる情報。
【００７２】
本発明によれば、これらの態様は、提供されている対応１２の全体１０から対応１２の好ましいサブセットを選択する方法において使用し、このようにして、カメラの周囲に関するカメラの自己運動の推定を行うために使用することができる。
【００７３】
品質対策と優先順位へのマッピング
対応１２の好ましいサブセットを決定できるようにするために、例えば、優先順位を決定することができる基準もしくは尺度を提供している必要がある。
【００７４】
単一の品質尺度しか提供していない場合には、品質尺度またはその表現、例えば、逆数、符号反転、丸め、関数などを優先順位として直接に使用することができるので、定義は自明である。
【００７５】
例えば、例えば個数ｎなどの複数個の品質尺度を提供している場合には、これらの品質尺度を適切に組み合わせ、例えば、ｎ次元空間を優先順位の１次元スケールにマッピングすることが有意義である。
【００７６】
既に上述したように、品質尺度（１）および（２）は、例えば品質尺度毎にそれぞれ２ビットで、付加的な情報としてそれぞれのフローベクトルに個別に加えることができる。
【００７７】
さらなる品質尺度は、例えば、解像度ピラミッドのどのピラミッドレベルでそれぞれの対応が決定されたかについての情報を含むことができる。
【００７８】
本発明の一実施形態では、例えば、それぞれ１ビットまたは２ビットに対して、４つのさらなる品質尺度を加えることができる。したがって、この例示的な実施形態では、例えばＱＭ０からＱＭ５によって示す全部で６つの品質尺度が存在し、１０ビットで表される。これらの品質尺度では、互いにできるだけ統計的に独立した異なる品質面を符号化し、そこで表現できる全ての情報内容をできるだけ大きくすることが有利である。
【００７９】
図６は、フローベクトルまたは対応１２、およびフローベクトルまたは対応１２の品質尺度の符号化のためのバイナリレイアウトを示す。全部で３２ビットが、実際のフローベクトルまたは実際の対応１２自体についての２２ビットに、品質尺度ＱＭ０〜ＱＭ５についての１０ビットに分割される。
【００８０】
全ての品質尺度を連続するビットで保存することが有利である。これは、サブグループ、または、ここでは「Ｑコード」と呼ぶ品質尺度の全体への直接のアクセスを容易にする。
【００８１】
品質尺度は、互いに組み合わせ、例えば重み付けし、加算し、乗算し、論理的に関連づけ、これにより、組み合わせた品質尺度を生成することができる。組み合わせのための規則は用途に依存する場合がある。例えば、第１の用途では、全ての品質尺度を考慮に入れることができ、第２の用途では、品質尺度の一部のみを考慮に入れることができ、第３の用途では、他の重みを使用することができる。
【００８２】
しかしながら、適切な計算リンクの構築は、特に、リンクによって生成される優先順位が、元の品質尺度の全体と同様の値範囲を使用することが望ましい場合、すなわち、この場合には１０ビットを有し、したがって値範囲０〜１０２３を有する場合には、困難なことがある。
【００８３】
したがって、代替案は、ルックアップテーブル（ＬＵＴ）を用いたマッピングである。ここではＱコードと呼ぶ、１ワードへの品質尺度の要約は、ＬＵＴ内のアドレスとして理解することができる。そして、これらのＬＵＴアドレスには、読み出し可能な優先値を格納している。
【００８４】
適宜なＡＳＩＣ内にこのようないくつかのＬＵＴを設けてもよい。優先順位サンプリングのためのＬＵＴは、１０ビットを１０ビットにマッピングする。さらなるＬＵＴは、１０ビットをより少ないビットにマッピングする。
【００８５】
ＡＳＩＣを使用する代わりに、代替的にまたは付加的に組み合わせて、例えばＣＰＵまたは一般的なデジタル信号処理装置において、自由にプログラム可能な構造も可能である。
【００８６】
特に有利な実施形態では、
−設定されているＬＵＴの優先順位値が全て異なり、可逆的に一義的なマッピング、すなわち情報損失のないマッピングという利点が得られる。
−全体としてアドレスと同じ値範囲をカバーしており、バイナリワード長ができるだけ短いままであるという利点が得られる。
【００８７】
例示的な実施形態では、提供するマッピングでは、１０ビットアドレスを、ＬＵＴを使用して１０ビット優先順位にマッピングする。
【００８８】
この手順は、例えば大量のデータに基づく自動訓練方法を使用して、最適なＬＵＴを見つけるために、より複雑な方法をオフラインで実施する可能性を開く。
【００８９】
図３には、フローフィールドまたは対応の全体に対するＱコードと呼ぶ品質尺度の要約へのＬＵＴの適用結果を図３に示す。それぞれのピクセル１１がより暗く、より強度に明暗をつけられているかもしくは対照をなしている程、それだけこの箇所で終わるフローベクトルもしくはこのピクセルに割り当てた対応１２の優先順位は、高くなる。フローベクトルが存在しない場合または対応１２が存在しない場合には、図中の白いピクセルに対応して優先順位は０である。
【００９０】
図３の中央の画像範囲が左右の側方範囲よりも暗いことは、中央範囲をより高い局所的解像度で処理したことに基づいており、このことは品質尺度にも反映し、優先順位を決定する場合に考慮している。
【００９１】
高い優先順位を有する対応の均一走査
多くの用途では、画像にできるだけ均一に分散された対応１２のサブセットを選択することが有利である。このことは、特に、相対的な向きの推定に当てはまる。
【００９２】
これを行うために、最初に、適切にスケーリングした均一なラスター、例えば長方形ラスターまたは六角形ラスターを画像上に配置し、ラスター点で走査を実行すること、または代わりに、良好な均一分布を確保する準ランダム生成器を用いて走査点を生成することは自明であろう。
【００９３】
しかしながら、このような手順は、確実に優先順位の高い対応を優先する、ということにはならないだろう。
【００９４】
同時に両者を確保する、すなわち、走査した対応のできるだけ良好な均一な分布およびできるだけ高い優先順位を確保する方法が求められている。
【００９５】
したがって、本発明による方法では、画像１０は、重なり合わない部分領域１５に分割し、すなわち、タイリングまたは表面充填を形成し、それぞれのタイル１５から第１の最良の対応１２を選択する。図７は、これについて、石積構造のように、列毎に継ぎ目をずらした長方形のタイル１５を有する好ましい例示的な実施形態を示す。この場合、タイル１５は、幅８ピクセル、高さ４ピクセルであり、タイル列毎にタイル幅の半分だけずらしている。
【００９６】
例えば画像のエッジには、より小さいタイル１７もある。タイル形状およびタイルサイズは可変であってもよく、例えば、外側の画像領域よりも多くの走査値を画像中央で取得することが望ましい場合には、画像の中央ではタイルサイズは小さくしてもよい。
【００９７】
タイル形状は、例えば、多角形であってもよい。重なり合わないタイリングは、対応を、確実に２回以上選択できないようにするので好ましい。しかしながら、サイズが可変の長方形を重ね合せたタイリングは、他の利点を有するので排除しない。例えば、割り当てを決定すること、すなわちどのタイルに対応が位置するのかを決定することは、長方形の形状では特に容易である。
【００９８】
それぞれのピクセル１１には、それぞれ優先順位を設けた１つ以上の対応１２を格納することができる。
【００９９】
タイル１５のピクセル１１は、図８に矢印１９の流れで示すように、例えば列毎に上から下へ、次に左から右へ所定の順序で処理することが好ましい。このタイル内で、最も高い優先順位を有する対応１３を決定する。このタイル１５において複数の対応１３が最も高い優先順位を有する場合には、所定の規則にしたがって、最も高い優先順位を有する最初または最後の対応を選択する。
【０１００】
これにより、所望の特性、すなわち、走査した対応１２の良好な均一の分布および高い優先順位が確保される。これと同時に、このための計算コストは極めて少なくなる。
【０１０１】
さらなる特徴の検討
対応１２に加えた品質尺度に対して、付加的にさらなる特徴を考慮することもできる。
【０１０２】
これらの特徴は、例えば１つ以上のマスクとして供給することができ、マスクは、対応１２のフィールド１０と同じ大きさを有するようにすることができる。図４には、このようなマスクを示す。マスクの内容はバイナリであってもよいし、より大きい値範囲を有していてもよい。
【０１０３】
この場合にも、マスクの内容は、上述の優先順位と組み合わせることができ、例えば重み付け加算、乗算、論理的リンクなどを行うことができ、あるいは、必要に応じて、適宜により大きい値範囲を有するＬＵＴを使用して、最初から優先順位の算出に含めることができる。
【０１０４】
２つのステップで処理すること、例えば、まず、上述の均一な走査を実行し、次に、走査時に選択した候補が受け入れられるか拒絶するかを決定するために１つ以上の２値マスクを考慮する、ということが特に有利な場合がある。この手順は、走査した対応１２のより小さいサブセットに対してのみマスクからの情報を考慮すればよいので、労力を低減する。よりコストが低いという利点は、以下に詳細に説明する計算コストの高いワーピングがこのより小さいサブセットに制限されるので、本例示的実施形態においては特に明らかである。
【０１０５】
図示のこの例示的実施形態では、自己運動の推定を対応に基づいて行う場合には、マスクは、潜在的に自己運動した除外すべき画像領域を示す。なぜならば、この場合に推定する自己運動は、カメラと静止している世界との間の相対運動を示すものであり、独立して運動する他の物体による影響を受けないからである。
【０１０６】
したがって、このような独立して移動する物体をあらかじめ認識しておき、例えばマスク内にマークすることが有利である。
【０１０７】
この検出は、接続３４〜３６を有する図２に示すような非エピポーラ一致運動を検出することによって行うことができる。推定した相対的な向きを使用し、この向きから、エピポールもしくはエピポーラ方向を決定することができる。したがって、それぞれの対応について、エピポーラ一致しているかどうかを判定することができる。そうでない場合には、例えば、マスクを使用して適切にマークすることができる。このようにして形成したマスクは、好ましくは、次の時間ステップでまたは直ちに使用することができる。
【０１０８】
図３に示す優先順位と図４に示すマスクとを組み合わせるために、本例示的実施形態では以下の解決策を使用している。すなわち、選択した対応は、基礎をなすピクセルが潜在的に独立して移動するものとしてマークしている場合には破棄し、そうでない場合には保持する。組み合わせとして他のものも可能である。
【０１０９】
このようなマスクの形式で考慮することができる情報のさらなる例を以下に列挙する。
−例えば、それぞれのピクセルについて、どの物体クラスであるかを示すセマンティックセグメンテーションを使用することが可能であり、必要に応じて確率を示す。この情報は、例えば、この情報から「不動性」の尺度を導くために、有意義に利用することができる。
不動性が大きいほど、シーン点は、自己運動を推定するために適している。
例えば、縁石、ガードレール、交通標識、樹木、壁、建物の物体クラスでは、不動性が特に高い。
不動性は、例えば二輪車運転者、歩行者、ガラス表面（考えられる反射のため）、および雪片の物体クラスでは、特に低くなる。
−さらに、選択から除外することが望ましい画像の部分のマスキングを使用することができる。例えば、前方に向けた運転支援カメラの場合、車両自体のボンネットの領域がカメラによって検出される場合には、この領域を除外することが有意義である。というのも、ボンネットはカメラにしっかり結び付いており、移動がゼロであること、すなわち最大の不動性が予想されるか、または例えばシーン点の反射、例えば自己運動の推定を邪魔する恐れのある移動を示すので、自己運動の推定にボンネットの領域からの対応を含めることは極めて不利である。
−付加的または代替的に、光路の制限により生じる画像部分のマスキングを使用することも可能である。例えば、広角光学系の場合、例えば、画像円が、例えば、画像誤差、強い収差などによって小さすぎることにより、光学系によってカバーされていないか、または十分にカバーされていない領域、または反射および散乱光による干渉が予想され、したがって、マスクすることが望ましい領域が画像コーナーに存在する場合がある。
【０１１０】
オプティカルフローによる他の特徴の時間的ワーピング
実際には、特にリアルタイムシステムでは、上述したマスクのように必要な情報は、現時点ではまだ提供されておらず、より早い時点のためのより古い形式でしか提供されていないという問題に直面する場合もある。
【０１１１】
待ち時間したがって応答時間が長すぎるか、または因果関係の理由がこれに矛盾するので待つことが不可能な場合がある。図示の例示的な実施形態では、独立して移動する物体の決定は、自己運動の推定の結果に依存する。すなわち、フィードバックが生じる。このことは、矢印３４を用いて図２にも示している。
【０１１２】
このような場合には、古いマスクから情報を所望の時点へ送ることが有利であり、このプロセスは「ワーピング」とも呼ぶ。これは、対応が既に存在し、フローベクトルが、シーン点が画像内でどのように移動したかを示すので、特に有利である。これに応じて、それらシーン点に関連づけられた属性がどのように移動したかを示すことができる。
【０１１３】
以下では、３つの時点ｔＭ＜ｔＰ＜ｔＣを想定する。
−ｔＭは、情報が、例えばマスクの形式で提供されている時点（Ｍ：マスク）であり、
−ｔＰは、対応１２を決定するためのより早い時点（Ｐ：Previous（以前））であり、
−ｔＣは、対応１２を決定するための現在の時点（Ｃ：Current（現在））である。
【０１１４】
時間ｔＰとｔＣとの間の対応１２は、例えば逆方向フローとして、すなわちｔＣにおけるより若い座標に既に提供されており、走査されている。
【０１１５】
ｔＰがｔＭと同一であり、したがって、マスクが時間ｔｐのために提供されている場合には、ワーピングは特に単純である。すなわち、時点ｔＣで走査されたそれぞれの座標（ｘ，ｙ）について、フローベクトル（ｕ，ｖ）が対応１２として提供されており、これにより構造（ｘ-ｕ，ｙ-ｖ）を用いて対応１２を決定することができる。この画像位置でマスクを適宜に読み出すことができる。
【０１１６】
（ｘ，ｙ）は、通常、整数のピクセル座標であるが、対応ベクトル（ｘ-ｕ，ｙ-ｖ）との対応１２では、一般に、このことはあてはまらず（移動のサブピクセル部分）、この場合には、適切に丸めるか、または補間する必要がある。補間は、例えば狭い近隣におけるマスクの値に基づいた多数決であると理解することもできる。図９は、実際に特に重要であるｔＭ＜ｔＰ＜ｔＣの場合を示している。矢印９１は、それぞれ、ｔＣにおける整数のピクセル座標で終わり、ｔＰにおける整数でないピクセル座標で始まる逆方向フローベクトルを示す。このマスクは、より早い時点ｔＭ＜ｔＰに属するので、この付加的な時間間隔は、適切に補償されることが望ましい。このことは、少なくともおおよそ、対応１２としてそれぞれのフローベクトルを係数
［数１］
ｓ＝（ｔＣ−ｔＭ）／（ｔＣ−ｔＰ）                  （１）
だけ逆方向に延長することによって行うことができる。このマスクへのアクセスは、これに応じて位置（ｘ−ｓ・ｕ，ｙ−ｓ・ｖ）で行うことが望ましく、この場合にも適切な丸めまたは補間が必要となる場合もある。延長は、それぞれ図９に矢印９２によって示している。
【０１１７】
このアプローチは、移動方向および移動速度が少なくとも短時間にわたってほぼ一定であるという仮定（慣性の仮定）に基づいており、このことは、通常、実際に十分に良好に実現される。
【０１１８】
ここで説明する本例示的実施形態は、時間ｔＰとｔＣとの間の（走査された）逆方向フローに関する。
【０１１９】
利用可能であれば、他の実施形態、例えば、時間ｔＭとｔＰとの間の逆方向フローを付加的に使用することも可能である。このアプローチは、より正確であり、慣性の仮定は必要ではないが、マスクに含まれる情報を２つのステップで送る必要があるので、労力はより大きくなる。すなわち、最初に、ｔＰとｔＣとの間のより新しいフローベクトルを用いて画像ｔＰにおける位置を決定する。そこでｔＰとｔＭとの間の古いフローベクトルを、必要に応じて適切な丸めまたは補間の後に読み出す。このようにして、マスク内の位置を決定し、最終的に読み出し、この場合にも再び適切な丸めまたは補間が必要となることがある。
【０１２０】
順方向フローによる変形例ならびに順方向フローおよび逆方向フローの両方を使用することができる変形例も同様に可能である。
【０１２１】
最終結果および用途
図５に、本例示的実施形態の最終結果を見ることができる。この図には、走査位置を示している。これらの走査位置は、画像１０に均一に分布している。タイル列のずれおよびタイル１５のアスペクト比は、ほぼ六角形の走査パターンをもたらす。それにもかかわらず、優先順位は、それぞれのタイルにおいて常に最大である。独立して移動する物体は、ワーピングによって伝播されるマスクにしたがって除外され、このことは打ち抜かれた歩行者を見れば分かる。すなわち、このように選択された対応１２は、自己運動を推定するために特に適している。オプションとして、自己運動を推定するためのアルゴリズムに対し、優先順位値を渡すことができる。このアルゴリズムは、優先順位を考慮に入れることができ、例えば、重みに変換し、この重みによってそれぞれの対応を推定に取り込むことができる。
【０１２２】
図２は、可能なプロセスのブロック図を示す。第１および第２の画像Ｂ１もしくはＢ２は、異なるカメラに由来してもよいし、または同じカメラに由来してもよい。破線はオプションの部分を表す。接続３４〜３６は、自己運動物体に関する情報の上記獲得および考慮を表しており、これらの情報は相対的な向きを推定する場合にこれらの物体の対応をできるだけ排除する。
【０１２３】
図３は、それぞれのフローベクトルもしくはそれぞれの対応１２に優先順位が割り当てられていることを示す。優先順位は、異なる点密度によって表され、点密度が高いほど、優先順位は高い。
【０１２４】
図３では、対応を決定することができないピクセルまたは領域も存在する。これらのピクセルまたは領域は白色で示しており、これは優先順位０または無効に相当する。
【０１２５】
図４は、優先順位に加えて、他の特徴を考慮に入れることができることを明らかにしており、例えば時間ｔＭのマスクであって、これは、この図では中央に白色で示すように、自己運動物体に基づいて非静的領域を潜在的にマークする。
【０１２６】
図５は、潜在的非静的領域を考慮して本発明による優先順位サンプリングの結果を示す。選択した走査位置は黒色で示しており、これら走査位置には、好ましい対応が位置している。
【０１２７】
図６は、フローベクトルのビットレイアウトおよび品質特徴の一例を示す。この場合、全部で３２ビットのうち、フローベクトルもしくは対応１２自体のために２２ビットを設けており、この場合には、１ビットまたは２ビット（ＱＭ０〜ＱＭ５）の個々の品質特徴を含む付加的情報のために１０ビットを設けており、これらは一緒に、例えば、ルックアップテーブルのためのアドレスとみなすこともできる（Ｑコード）。
【０１２８】
図７は、ピクセル１１および必要に応じて対応１２を有する画像１０のタイル１５内への分解の一例を示している。この場合、タイル１５は、幅８ピクセル、高さ４ピクセルである。この場合、タイル列は、石積構造の場合と同様に、水平方向に互いにずらしている。タイル１５内にフローベクトルがある場合、例えば好ましいフローベクトル、または好ましい対応１３をタイル１５毎に選択し、この場合には円でマークしている。フローベクトル１１がないタイル１５も存在し、これらはハッチングし、付加的に１６によって示すタイル１５である。
【０１２９】
図８は、タイル１５において、それぞれ１つ以上の対応が割り当てられていてもよいピクセル１１を、例えば左上から始まって、好ましくは列毎に、次いで左から右へ、所定の順序で処理することを示す。
【０１３０】
図９は、通常、マスク、この場合にはＭＯＭ（移動物体マスク）を、オプティカルフローが決定される２つの画像（時点ｔＰおよびｔＣ）よりも早い時点ｔＭ＜ｔＰ＜ｔＣに割り当てられていることを示す。しかしながら、ｔＭとｔＰとの間のこの時間ずれは、例えば係数ｓ＝（ｔＣ−ｔＭ）／（ｔＣ−ｔＰ）によるフローベクトル９１の逆方向延長９２および適切な箇所におけるマスクの読み出しによって補償することができる。
【０１３１】
フローベクトル１２のバイナリフォーマットおよび品質特徴２２は、図６に示すように構成することができる。このフォーマットは、オープンに見ることができ、基礎をなすＡＳＩＣとメモリとの間で対応のフィールドの伝送を常に行うことができる。１０ビットのＱコードを用いて品質特徴を優先順位にマッピングするために、ユーザは、ＬＵＴまたは読み出しテーブルをプログラミングすることができ、これらは、例えば駆動装置を介してレジスタに格納される。バイナリマスクをメモリ内に保持し、正確な瞬間に読み込むことができ、必要に応じて見るようにすることができる。優先順位サンプリングの結果は、リストとして保存し、同様に、見ることができてもよい。
【０１３２】
例えば運転支援システムのための適切なＡＳＩＣを開発することができる。代替的または付加的に、本発明にしたがって説明する機能またはこれらの一部を、例えばＣＰＵまたは一般的なデジタル信号プロセッサに関連して、自由にプログラム可能に実現することができる。
【図１】
2020534618.tif 000003
【図２】
2020534618.tif 000004
【図３】
2020534618.tif 000005
【図４】
2020534618.tif 000006
【図５】
2020534618.tif 000007
【図６】
2020534618.tif 000008
【図７】
2020534618.tif 000009
【図８】
2020534618.tif 000010
【図９】
2020534618.tif 000011
【手続補正書】
【提出日】令和2年5月19日(2020.5.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価する方法（Ｓ）であって、
所与の第１および第２の画像（Ｂ１、Ｂ２）の間の対応（１０、１２）を提供し（Ｓ１−１）、
それぞれの対応（１０、１２）を特徴付けるための属性（２０、２２）として、複数の品質尺度を提供し（Ｓ１−２）、
それぞれの品質尺度は考察する対応（１０、１２）の属性（２０、２２）として、
それぞれの対応（１０、１２）を局所的な範囲で決定した一義性の尺度、または
特に経時的なフローベクトルの一貫性の尺度に関して、それぞれの対応（１０、１２）と時間的に先行する対応との一貫性の尺度であって、一貫性が確認された場合に、基礎となる時間的に安定した特性を、特に経過時間の形式で数値として示す一慣性の尺度
を表し、
対応（１０、１２）を評価し（Ｓ２−１）、条件付きで選択し（Ｓ２−２）、対応（１０、１２）の評価（Ｓ２−１）は属性（２０、２２）の組み合わせに基づき、対応（１０、１２）の選択（Ｓ２−２）は評価（Ｓ２−１）の結果に基き、
評価結果（１００）として、選択した対応（１０、１２）を提供する（Ｓ２−３）、
画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価する方法（Ｓ）。
【請求項２】
請求項１に記載の方法（Ｓ）において、
それぞれの品質尺度は考察する前記対応（１０、１２）の前記属性（２０、２２）として、少なくとも１つの態様またはこれらの組合せを表し、該少なくとも１つの態様は、 
少なくともそれぞれに考察した対応（１０、１２）の領域における対応の分布の少なくとも局所的な位置依存性及び／又は立体角依存性の尺度、および特に、位置に依存した、及び／又は立体角に依存した対応の分布の均一性の尺度、
基礎となる対応（１０、１２）を優先的に考慮するための優先順位の尺度、
基礎となる前記画像（Ｂ１、Ｂ２）の領域にそれぞれの対応（１０、１２）が正確に割り当てられていることを示す尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体の自己運動、及び／又は非エピポーラ一致運動を考慮した物体の自己運動の尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体の移動可能性の尺度、
それぞれの対応（１０、１２）を決定した正確性の尺度、
それぞれの対応（１０、１２）を決定する場合に基礎となる解像度または解像度レベルの尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体が、好ましくはビデオベースの物体分類、機械学習のプロセス、及び／又はセマンティックセグメンテーションのプロセスに基づいたセマンティッククラスに属していることの尺度、
それぞれの対応を局所的な範囲で決定した一義性の尺度、
基礎となる画像（Ｂ１、Ｂ２）においてそれぞれの対応（１０、１２）に関連する領域、特にそれぞれの対応に関連する物体が、特にマスキングに関連して基礎となる画像（Ｂ１、Ｂ２）の許可される領域を考慮するクラスに属していることの尺度
である、方法（Ｓ）。
【請求項３】
請求項１または２に記載の方法（Ｓ）において、
組み合わせ形成及び／又は関数形成によって、特に、逆数値形成、符号反転、丸め、品質尺度の基礎をなすスカラー値またはベクトル値の関数値の形成によって、１つまたは複数の品質尺度から導いた前記属性（２０、２２）として組み合わせた品質尺度を使用する、方法（Ｓ）。
【請求項４】
請求項１から３までのいずれか１項に記載の方法（Ｓ）において、
それぞれの前記属性（２０、２２）及び／又は基礎となる品質尺度、特に該品質尺度の値を、特に属性（２０、２２）及び／又は品質尺度を表す読み出しテーブルの値に関連して、アドレスとして利用するために符号化して使用する、方法（Ｓ）。
【請求項５】
請求項１から４までのいずれか１項に記載の方法（Ｓ）において、
それぞれの前記対応（１０，１２）を１次元リストとして、またはベクトルとして表し、
対応（１０、１２）にそれぞれ割り当てられた前記属性（２０、２２）及び／又は該属性の符号化を１つ以上の付加的なリスト要素もしくはベクトル成分として、またはベクトル成分の一部として表し、リストもしくはベクトルに加える、方法（Ｓ）。
【請求項６】
請求項１から５までのいずれか１項に記載の方法（Ｓ）において、
より早い時点の前記対応（１０，１２）に対する前記属性（２０，２２）及び／又は品質尺度をより遅い時点の対応（１０，１２）に送り、及び／又は外挿する、方法（Ｓ）。
【請求項７】
請求項１から６までのいずれか１項に記載の方法（Ｓ）において、
特に割り当てられた前記属性（２０、２２）と組み合わせて、前記対応（１０、１２）を画像（１０、２０）または行列（１０、２０）として表し、
画像（１０、２０）もしくは行列（１０、２０）を、重なり合う、及び／又は重なり合わないサブ領域（１５）によってカバーし、
それぞれのサブ領域（１５）について、サブ領域（１５）に存在する対応（１２）に関して、特に割り当てられた属性（２２）に関して、最良の対応（１２）を選択する方法（Ｓ）。
【請求項８】
装置、特に車両のための操作支援方法、特に運転支援方法において、
画像（Ｂ１、Ｂ２）を検出し、請求項１から７までのいずれか１項に記載の方法によって評価し、
装置の操作を制御する場合に評価の結果を使用する、操作支援方法。
【請求項９】
画像（Ｂ１、Ｂ２）を評価するための、特に画像（Ｂ１、Ｂ２）の対応（１０、１２）を評価するための装置であって、
該装置が、
請求項１から７までのいずれか１項に記載の方法を実施するように構成され、
特に、ＡＳＩＣとして、自由にプログラム可能なデジタル式の信号処理装置として、またはそれらの組み合わせとして構成される、装置。
【請求項１０】
請求項１から８までのいずれか１項に記載の方法を使用して、操作時に制御されるように構成され、そのために特に請求項９に記載の装置を有する操作装置、特に車両。
【請求項１１】
請求項１から８までのいずれか１項に記載の方法（Ｓ）をコンピュータまたはデジタル式の信号処理装置で実施する場合に、方法（Ｓ）を実施するように構成されたコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムが記憶された機械可読記憶媒体。
【国際調査報告】
2020534618.tif 000012
2020534618.tif 000013
2020534618.tif 000014
2020534618.tif 000015