(57)【要約】【課題】特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための方法を提供すること。【解決手段】第１画像が第１時刻に光学センサによって取得され第２画像がより遅い第２時刻に取得され、第１変換画像が光学センサの像平面から道路面への第１取得画像の変換によって生成され、さらなる変換画像が第１時刻と第２時刻の期間中の運搬装置の動きを考慮しながら第１変換画像から生成され、さらなる変換画像は道路面から像平面に変換して戻され、画像安定化が像平面に変換して戻された画像と第２取得画像とに基づいて行なわれる方法。【選択図】図４
2009087336.tif 000002
【特許請求の範囲】
【請求項１】
特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための方法であって、
第１画像（１０）が第１時刻（Ｔ−１）に前記光学センサによって取得され、第２画像（１２）がより遅い第２時刻（Ｔ）に取得され、
第１変換画像（１４）が、前記光学センサの像平面から前記道路面への前記第１取得画像（１０）の変換によって生成され、
さらなる変換画像（１６）が、前記第１時刻（Ｔ−１）と前記第２時刻（Ｔ）の期間中の前記運搬装置の動きを考慮しながら前記第１変換画像（１４）から生成され、
前記さらなる変換画像（１６）は前記道路面から前記像平面に変換して戻され、
画像安定化が、前記像平面に変換して戻された画像（１８）と前記第２取得画像（１２）とに基づいて行なわれる方法。
【請求項２】
前記第１変換画像（１４）は、前記さらなる変換画像（１６）を生成するために、前記運搬装置の動き、特に前記運搬装置速度および／または前記運搬装置ヨー速度を考慮しながら前記より遅い時刻（Ｔ）に変換されることを特徴とする請求項１に記載の方法。
【請求項３】
前記運搬装置の動き、特に前記運搬装置速度および／または前記運搬装置ヨー速度は、前記第１変換画像（１４）の相当する平行移動および／または回転によって前記さらなる変換画像（１６）の生成の中で考慮されることを特徴とする請求項１または請求項２に記載の方法。
【請求項４】
特に、ありうる道路の凹凸、運搬装置の傾き、運搬装置の振動等によって引き起こされる問題が前記画像安定化を使用して補償されることを特徴とする請求項１から請求項３のいずれか１項に記載の方法。
【請求項５】
前記画像安定化において、それぞれのエッジ画像が、前記変換して戻された画像（１８）および前記第２取得画像（１２）から生成されることを特徴とする請求項１から請求項４のいずれか１項に記載の方法。
【請求項６】
動きベクトルが、前記変換して戻された画像（１８）および前記第２取得画像（１２）について得られた前記エッジ画像から計算され、この動きベクトルは前記問題の補償に使用されることを特徴とする請求項５に記載の方法。
【請求項７】
前記動きベクトルがカルマンフィルタリングによって補正され、それに応じて補正された動きベクトルが前記問題の補償に使用されることを特徴とする請求項６に記載の方法。
【請求項８】
前記光学センサとしてカメラ、特にビデオカメラが使用されることを特徴とする請求項１から請求項７のいずれか１項に記載の方法。
【請求項９】
前記光学センサとして単眼カメラが使用されることを特徴とする請求項８に記載の方法。
【請求項１０】
コンピュータまたは対応する演算装置上で実行されたとき、請求項１から請求項９のいずれか１項に記載の方法を実行するためのプログラムコード手段を有するコンピュータプログラム。
【請求項１１】
コンピュータプログラムがコンピュータまたは対応する演算装置上で実行される場合に、コンピュータ可読のデータ媒体に格納された請求項１から請求項９のいずれか１項に記載の方法を実行するためのプログラムコード手段を有するコンピュータプログラム製品。
【請求項１２】
請求項１から請求項９のいずれか１項に記載の方法を実行するために設計されたデータ処理デバイスを有する、特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における特に道路上の障害物、特に歩行者を検出するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための方法に関する。
【背景技術】
【０００２】
特に、このような方法によって道路交通における歩行者との衝突リスクが軽減されなければならない。
【０００３】
車両内でカメラを使用し、それに対応して周囲環境を監視することがすでに知られている。しかし、これに関連して、処理されるべき画像データの量および生成された画像の自動的評価に問題のあることが分かっている。一般に、このようにして取得された画像は、車両自体の動き、ありうる道路の凹凸、車両の傾きおよび車両の振動等によって特に引き起こされるノイズを受ける。例えば人間を衝突から守るための車両安全システムで要求されるなどの、画像材料の評価を自動的かつ特に迅速に行なわれなければならないときには、これに対応した複雑および／または高価な画像処理が特に問題になってくる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の根底にある目的は、特に歩行者などの道路内の障害物の検出に関するコンピュータ処理作業を低減し、および／またはそうした検出の頑健性を高める可能性を提供することである。
【課題を解決するための手段】
【０００５】
本発明によれば、この目的は、特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための方法であって、第１画像が第１時刻に光学センサによって取得され第２画像がより遅い第２時刻に取得され、第１変換画像が光学センサの像平面から道路面への第１取得画像の変換によって生成され、さらなる変換画像が第１時刻と第２時刻の期間中の運搬装置の動きを考慮しながら第１変換画像から生成され、さらなる変換画像は道路面から像平面に変換して戻され、画像安定化が像平面に変換して戻された画像と第２取得画像とに基づいて行なわれる方法によって達せられる。
【０００６】
画像安定化アルゴリズムが２つの互いに逐次的に取得された原画像に対して適用されるこれまでの通常の手法によるものとは異なり、画像安定化は、道路面から像平面へ変換して戻された画像とより遅い時刻に取得された画像とに基づく本発明に従って行なわれ、ここで、運搬装置の動きすなわち車両の動きは変換して戻された画像の生成の際にすでに考慮に入れられている。ありうる道路の凹凸、運搬装置の傾き、運搬装置の振動等によって引き起こされるノイズ的動きだけは、なおも、画像安定化アルゴリズムを使用して補償されなければならない。
【０００７】
好適には、第１変換画像は、運搬装置の動き、特に運搬装置速度および／または運搬装置ヨー速度を考慮しながらさらなる変換画像を生成するためにより遅い第２時刻に変換される。
【０００８】
また、運搬装置の動き、特に運搬装置速度および／または運搬装置ヨー速度は、第１変換画像の相当する平行移動および／または回転によってさらなる変換画像の生成の中で考慮されられることも特に有利な点である。
【０００９】
すでに述べたように、ありうる道路の凹凸、運搬装置の傾き、運搬装置の振動等によって引き起こされる問題が画像安定化を使用して特に補償できる。
【００１０】
画像安定化においては、それぞれのエッジ画像が、変換して戻された画像および第２取得画像から好都合に生成される。
【００１１】
これに関連して、動きベクトルが、変換して戻された画像および第２取得画像に対して得られたエッジ画像から計算でき、この動きベクトルは先の問題の補償に使用できる。これに関連して、動きベクトルはカルマンフィルタリングによって例えば補正でき、対応して補正された動きベクトルは問題の補償に使用できる。
【００１２】
好適には、光学センサとしてカメラ、特にビデオカメラが使用される。
【００１３】
好適には、光学センサとして単眼カメラ（ｍｏｎｏ−ｃａｍｅｒａ）が使用される。
【００１４】
さらに、本発明の主題は、プログラムがコンピュータまたは対応する演算装置上で実行される場合に、上述の方法を実行するためのプログラミングコード手段を有するコンピュータプログラムである。
【００１５】
また、コンピュータプログラムがコンピュータまたは対応する演算装置上で実行される場合に、コンピュータ可読のデータ媒体に格納された前述の方法を実行するためプログラミングコード手段を有するコンピュータプログラム製品も、本発明の主題である。
【００１６】
これに関連して、コンピュータは本方法を実行することができる任意所望のデータ処理デバイスであると理解される。これに関連して、こうしたデータ処理デバイスは、本方法を全部または部分的に実行できるデジタル信号プロセッサおよび／またはマイクロプロセッサを特に含むことができる。
【００１７】
最後に、前述の方法を実行するために設計されたデータ処理システムを有する、特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための装置も、また本発明の主題である。
【００１８】
以降において、実施形態と以下に示す図面を参照しながら本発明をより詳細に説明する。
【発明を実施するための最良の形態】
【００１９】
図１〜図６は、特に車両などの移動可能な運搬装置に取り付けられた光学センサの視界内で、周囲環境における道路内の障害物、特に歩行者を検出するための方法の例示の実施形態を示す。
【００２０】
これに関連して、第１画像１０が光学センサによって第１時刻Ｔ−１に取得され、第２画像１２が時刻Ｔに取得される。したがって、これらの取得された画像は原画像である。第１変換画像１４は、第１取得画像１０を光学センサの像平面から道路面に変換することによって生成される。さらなる変換画像１６は、第１時刻Ｔ−１と第２時刻Ｔとの期間中の運搬装置の動きを考慮しながら第１変換画像１４から生成される。このさらなる画像１６は道路面から像平面に変換して戻される。次いで、画像安定化が、像平面に変換して戻された画像１８および第２の取得された画像１２に基づいて行なわれる。
【００２１】
すでに述べたように、移動可能な運搬装置は特に車両とすることができる。したがって、本方法は歩行者の検出に特に役立つことができる。光学センサとしては、例えば、好適には単眼カメラを備えたカメラ、特にビデオカメラが使用できる。
【００２２】
図１は、光学センサの像平面から道路面への第１取得画像１０の変換を示し、これにより第１変換画像１４が生成される。
【００２３】
一般に、光学センサまたはカメラの２次元像平面内の画素は３次元の周囲からの光信号を受光するが、それぞれの画素に対応する正確な３次元位置は付加的な条件がなければ決定できないといえる。車両に装着された光学センサに関して、画素の位置に受光された光信号は道路または障害物に対応し、その垂直座標（高さ）が道路の垂直座標と異なるならばそれぞれの物体は障害物であると認識されるべきである。
【００２４】
本発明の障害物検出のために使用されるアルゴリズムでは、道路面は理想的に完全に平坦かつ水平であると仮定される。この仮定に基づいて、像平面は道路面の平面図に変換され、それによって或る種の地図が準備される。
【００２５】
図２は車両面での例示の背景差分（ｂａｃｋｇｒｏｕｎｄ  ｓｕｂｔｒａｃｔｉｏｎ）を示す。例えば２つの逐次的な地図状に変換された画像に対して、運搬装置の動きすなわち車両の動きを使用してこれらの２つの画像の重なり合う領域を計算し、重なり合った領域に対して背景差分を実施することができ、これによって差分画像が得られる。
【００２６】
差分の結果を閾値と比較することによって２値形式の状態にできる。２値形式の状態にされた結果は道路面内で検出された障害物に対応する。この障害物検出の結果は道路面から像平面に変換して戻されて、対応する障害物が図３に示すように像平面の中に定位される。この図３では、道路面での背景差分によって得られた結果を、道路面から像平面に後方変換（ｒｅａｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）したものが示される。
【００２７】
図２で認識できる差分画像は、特に、さらなる変換画像１６になることができる。この点に関して、運搬装置の動き、特に運搬装置速度および運搬装置ヨー速度を考慮に入れながらこのさらなる変換画像１６を生成するために、第１変換画像１４がより遅い第２時刻Ｔに変換されるという本方法の実施形態を考えることができる。したがって、さらなる変換画像１６は、例えば、第１変換画像１４と第２時刻Ｔへの変換により得られる変換画像２０との対応する差分画像によって生成することができる。
【００２８】
運搬装置の動き、特に、運搬装置速度および／または運搬装置ヨー速度は、第１変換画像１４の相当する平行移動および／または回転によって考慮に入れることができる。
【００２９】
図１〜図３を参照して説明した初期の検出は道路面が理想的に完全に平坦かつ水平であるという仮定に基づいており、しかし、実際には道路面は凹凸を含んでいるので、検出結果はノイズを受ける。道路面の凹凸は、本明細書で運搬装置を構成する車両を傾かせる動きの原因にもなり、同様にこの傾きもノイズを受ける検出に影響を及ぼす。
【００３０】
ここで、車両が傾く動きに起因したノイズを受ける検出の問題を補償するために、対応する画増安定化を２次元の像平面上で行なうことができる。この点に関連して、一般に、例えば、先行画像は、後続画像との比較によりそれに応じて安定化できる。
【００３１】
本発明によるこうした画像安定化は、像平面に変換して戻された画像１８と第２取得画像１２とに基づいて行なわれる。
【００３２】
図４は、道路面への変換、道路面で行なわれる変換、および像平面へ戻す変換を含む簡略化した流れ図である。第１時刻Ｔ−１に取得された画像１０は、次に、道路面に投影され、得られた第１変換画像１４は、車両の動き、特に車両速度および／または車両ヨー速度を考慮しながらより遅い第２時刻Ｔに変換され、場合によっては差分の後で得られるさらなる変換画像１６が変換して像平面に戻される。したがって、時刻Ｔ−１から時刻Ｔへ変換された画像は今ではこの像平面の中に存在する。
【００３３】
図５は、画像安定化を含む障害物検出の簡略化した流れ図である。
【００３４】
時刻Ｔ−１に取得された第１画像１０は、次いで、道路面に投影される。道路面内では、時刻Ｔ−１について得られた第１変換画像は、既知の車両の動き（速度およびヨー速度）を考慮しながらより遅い第２の時刻Ｔに変換される。最後に、得られたさらなる変換画像１６は道路面から光学センサの像平面に変換して戻される。時刻Ｔ−１の写真画像の時刻Ｔにおける対応画像が結果として得られる（同様に図８を再び参照されたい）。最後に、画像安定化が、像平面に変換して戻された画像１８およびより遅い第２時刻Ｔに取得された第２画像１２に基づいて行なわれる。既知の車両の動きは最初にこのようにして補償され、一方、その後に行なわれる画像安定化は、車両の傾斜、ありうる道路の凹凸等により引き起こされる動きノイズの補償のために行なわれるだけである。
【００３５】
図６は、例示の画像安定化プロセスを概略図に示したものである。
【００３６】
画像の比較的明瞭な部分におけるエッジ情報ならびに基本的な中心周波数含有量（ｅｓｓｅｎｔｉａｌ  ｃｅｎｔｅｒ  ｆｒｅｑｕｅｎｃｙ  ｃｏｎｔｅｎｔ）を得るために、関連したフィルタリングによって２つの逐次的な画像を二値画像に変換できる。
【００３７】
次のステップで、２つの逐次的な二値画像またはエッジ画像の重なり合わない点が測定されているので動きベクトルが計算される。動きベクトルはカルマンフィルタリングによって補正でき、この結果、補正された動きベクトルを使用しながら画像を補償することができる。
【００３８】
こうした一連の工程は、例えばカムコーダ（ｃａｍｃｏｒｄｅｒ）である光学センサが固定位置で振動するときに特に効果を現す。本発明の場合には、光学センサすなわちカメラを移動する車両に取り付けられる。この点に関して、２つの逐次的な画像の差異は、光学センサの振動だけでなく車両の動きによって生じる深度変化によっても引き起こされる。しかしながら今では、この車両の動きは、第１変換画像１４が第１取得画像１０を光学センサの像平面から道路面に変換することによって生成され、さらなる変換画像１６は第１時刻Ｔ−１と第２時刻Ｔの期間内の車両の動きを考慮に入れながら第１変換画像１４から生成され、このさらなる変換画像１６は道路面から像平面に変換されて戻されたものであるという点で、すでに補償されている。すでに述べたように、本発明によれば、次に、変換して像平面に戻された画像１８と第２取得画像１２とに基づいて画像安定化が行なわれる。
【図面の簡単な説明】
【００３９】
【図１】取得された画像の像平面から道路面への変換を示す図である。
【図２】車両面での背景差分を示す図である。
【図３】道路面での背景差分によって得られた結果を道路面から像平面に戻す変換を示す図である。
【図４】道路面への変換、道路面で行なわれる変換、および像平面へ戻す変換を含む、簡略化した流れ図である。
【図５】画像安定化を含む障害物検出の簡略化した流れ図である。
【図６】例示の画像安定化プロセスの概略図である。
【符号の説明】
【００４０】
１０  第１取得画像
１２  第２取得画像
１４  第１変換画像
１６  さらなる変換画像
１８  像平面に変換して戻された画像
２０  第１変換画像を第２時刻へ変換した画像
Ｔ−１  第１時刻
Ｔ      第２時刻
【図１】
2009087336.tif 000003
【図２】
2009087336.tif 000004
【図３】
2009087336.tif 000005
【図４】
2009087336.tif 000006
【図５】
2009087336.tif 000007
【図６】
2009087336.tif 000008
【外国語明細書】
2009087336000001.pdf