(57)【特許請求の範囲】
【請求項１】
物体検出方法であって、
第１の時点に、カメラ（１０）で撮像される第１のフレームの第１の画像データを取得し（Ｓ１）、
第１の画像データの視点を所定の視点に変換して、変換した第１の画像データを取得し（Ｓ２）、
変換した第１の画像データから第１の特徴を抽出し（Ｓ３）、
第１の時点とは異なる第２の時点に、カメラ（１０）で撮像される第２のフレームの第２の画像データを取得し（Ｓ４）、
第２の画像データの視点を所定の視点に変換して、変換した第２の画像データを取得し（Ｓ５）、
変換した第２の画像データから第２の特徴を抽出し（Ｓ６）、
抽出した第１の特徴と抽出した第２の特徴とをマッチングさせる（Ｓ７）ことを有し、
変換した第１の画像データから第１の特徴を抽出すること（Ｓ３）は、第１の画像データにおける線を特定することを有し、
変換した第２の画像データから第２の特徴を抽出すること（Ｓ６）は、第２の画像データにおける線を特定することを有し、
前記方法は、更に、
マッチングさせた第１の特徴と第２の特徴との間の、所定の基準に対する角度の変化を計算し（Ｓ８）、計算すること（Ｓ８）は、抽出した第１の特徴及び抽出した第２の特徴の角度を計算して、対応する特徴の角度を比較して角度の変化を計算することを有し、
マッチングさせた第１の特徴と第２の特徴との間の計算した角度の変化に基づき、物体（Ｏ）を検出する（Ｓ９）ことを有し、
検出すること（Ｓ９）は、特定された線上の変換した第１の画像データ及び変換した第２の画像データにおける共通の点（Ｐ）を示す第１の特徴及び第２の特徴を特定することを有し、計算した角度が時間について一貫性を持って変化している場合、物体（Ｏ）の始点としての最下点を特定することを有する物体検出方法。
【請求項２】
線を前記特定することは、ハフ変換に基づくことを特徴とする請求項１に記載の方法。
【請求項３】
物体（Ｏ）を前記検出することは、前記カメラ（１０）と前記検出した物体（Ｏ）との間の距離を判定することを有し、前記距離は、前記カメラ及び前記物体（Ｏ）の始点で判定されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
更に、前記カメラ（１０）の直線的及び／又は角度のある動作を判定することを有し、物体（Ｏ）を前記検出することは、更に、前記カメラ（１０）の前記判定した直線的及び／又は角度のある動作に基づき補償された画像データに基づくことを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】
物体検出装置（１）であって、
第１の時点に撮像される第１のフレームの第１の画像データと、第１の時点とは異なる第２の時点に撮像される第２のフレームの第２の画像データとを提供するカメラ（１０）と、
第１の画像データ及び第２の画像データの視点を所定の視点に変換する画像データ変換部（２１）と、
変換した第１の画像データから第１の特徴を抽出し、変換した第２の画像データから第２の特徴を抽出する特徴抽出部（２２）と、
抽出した第１の特徴と抽出した第２の特徴とをマッチングさせる特徴マッチング部（２３）とを備え、
特徴抽出部（２２）は、第１の画像データ及び第２の画像データにおける線を特定し、
物体検出装置（１）は、更に、
抽出した第１の特徴及び抽出した第２の特徴の、所定の基準に対する角度を計算し、マッチングさせた第１の特徴と第２の特徴との間の角度の変化を計算する角度計算部（２４）と、
マッチングさせた第１の特徴と第２の特徴との間の計算した角度の変化に基づき、物体（Ｏ）を検出する物体検出部（２５）とを備え、
物体検出部は、変換した第１の画像データ及び変換した第２の画像データにおける共通の点（Ｐ）を示す第１の特徴及び第２の特徴を特定し、計算した角度が時間について一貫性を持って変化している場合に、物体（Ｏ）の始点としての最下点を特定する物体検出装置（１）。
【請求項６】
前記カメラ（１０）は、単眼カメラであることを特徴とする請求項５に記載の物体検出装置（１）。
【請求項７】
前記カメラ（１０）は、魚眼レンズを備えることを特徴とする請求項５又は６に記載の物体検出装置（１）。
【請求項８】
更に、前記カメラ（１０）の位置及び／又は方角を検出する位置検出部（１１）を備え、
前記角度計算部（２４）は、更に、前記第１の時点と前記第２の時点との間の、前記カメラ（１０）の位置及び／又は方角の変化を計算し、
前記物体検出部（２５）は、前記第１の時点と前記第２の時点との間の、前記カメラ（１０）の位置及び／又は方角の前記計算した変化に基づき補償された画像データに基づき、前記物体（Ｏ）を検出することを特徴とする請求項５から７のいずれか１項に記載の物体検出装置（１）。
【請求項９】
請求項５から８のいずれか１項に記載の物体検出装置（１）を備える先進運転支援システム。
【請求項１０】
請求項１から４のいずれか一項に記載の全てのことを行うコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出方法及び物体検出装置に関する。具体的には、本発明は、単眼カメラで撮像された画像データにおける物体を検出するための物体検出方法及び物体検出装置に関する。
【背景技術】
【０００２】
特許文献１は、車両の周囲を監視する装置及び方法を開示している。カメラで撮像した画像の視点が、変換される。２枚の変換した画像間の違いに基づいて、三次元物体を検出することができる。
特許文献２は、三次元物体の検出を開示している。２枚の画像が、異なる時間に撮像され、これらの画像を比較することにより、物体を特定する。
特許文献３は、障害物検出装置に関する。撮像した画像のフレームを、少なくとも２つの虚数平面上に変換することにより、上から下方向に見た変換画像を生成する。これらの虚数平面は、路面と同じ高さに設定された第１の虚数平面と、路面とは異なる高さに設定された第２の虚数平面とからなる。
例えば、先進運転支援システム（ＡＤＡＳ）において、車両の周囲環境における障害物の検出は、重要になってきている。現在、画像中の障害物を検出するアプローチは、いくつかある。例えば、ステレオカメラや、超音波又はそれと同等な検出手段によって、三次元の周囲環境を確実に推定することができる。しかしながら、このアプローチでは、複雑で高価なハードウェアが必要である。これの代わりに、障害物を検出するのに、単眼アプローチを用いることができる。例えば、静的アプローチでは、物体の特徴について推定を行うことにより、単一の画像内で物体を検出することができる。しかしながら、このような推定は、失敗することが多い。また、画像の三次元の特徴を推定するのに、ストラクチャフロムモーション（ＳＦＭ）を用いることができる。これらのアプローチでは、シーンにおける物体が静止していることを前提としている。静止シーンでなかった場合、物体を予測することができない。したがって、これらの推定アプローチは、あまり確実性がなく、計算コストがかかる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】欧州特許出願公開第１９６４７１９号明細書
【特許文献２】欧州特許出願公開第１８３０３２１号明細書
【特許文献３】欧州特許出願公開第２２３３３５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、画像における物体を検出する改良されたアプローチが必要である。特に、単眼カメラで撮像された画像における物体を確実に検出する必要がある。
【課題を解決するための手段】
【０００５】
本発明の一側面によると、物体検出方法であって、第１の時点に、カメラで撮像される第１のフレームの第１の画像データを取得し、前記第１の画像データの視点を所定の視点に変換して、変換した第１の画像データを取得し、前記変換した第１の画像データから第１の特徴を抽出し、前記第１の時点とは異なる第２の時点に、カメラで撮像される第２のフレームの第２の画像データを取得し、前記第２の画像データの視点を前記所定の視点に変換して、変換した第２の画像データを取得し、前記変換した第２の画像データから第２の特徴を抽出し、前記抽出した第１の特徴と前記抽出した第２の特徴とをマッチングさせ、マッチングさせた第１の特徴と第２の特徴との間の角度の変化を計算し、前記マッチングさせた第１の特徴と第２の特徴との間の前記計算した角度の変化に基づき、物体を検出することを有する物体検出方法が提供される。
本発明の他の側面によると、物体検出装置であって、第１の時点に撮像される第１のフレームの第１の画像データと、前記第１の時点とは異なる第２の時点に撮像される第２のフレームの第２の画像データとを提供するカメラと、前記第１の画像データ及び前記第２の画像データの視点を所定の視点に変換する画像データ変換部と、前記変換した第１の画像データから第１の特徴を抽出し、前記変換した第２の画像データから第２の特徴を抽出する特徴抽出部と、前記抽出した第１の特徴と前記抽出した第２の特徴とをマッチングさせる特徴マッチング部と、マッチングさせた第１の特徴と第２の特徴との間の角度の変化を計算する角度計算部と、前記マッチングさせた第１の特徴と第２の特徴との間の前記計算した角度の変化に基づき、物体を検出する物体検出部とを備える物体検出装置が提供される。
【０００６】
本発明において、ほぼ水平の図を上から見た図に変換すると、物体の詳細部分でも拡大される。具体的には、元の画像における物体のほぼ垂直な境界は、上から見た図の画像において線分に変換され、その線分は、変換された画像の底部中心の画素に続く。したがって、物体の垂直の要素は、ほぼ物体の底部中心に続く線分となり、その線分の角度は、カメラが物体に近づくにつれ、変化していく。したがって、上から見た図の画像における特徴の角度の変化を観察することにより、物体の垂直の要素を特定することができる。
【０００７】
上から見た図の画像において、物体データを拡大することにより形成される線分等の特徴は、カメラが動くにつれて、その方向や角度が変わる。しかしながら、影等の、地面の特徴部分は、その方向や角度は変わらない。この性質を利用して、単眼カメラでの物体の検出ができる。
【０００８】
本発明は、静止画像と動画像の両方に適用できる。本発明の根底にある考えによると、画像データにおける線分等の特徴を検出し、あるフレームにおけるどの特徴が、異なる時点で撮像した他のフレームにおけるどの特徴と対応するかを検出し、それらの特徴間の角度の変化を推定する。ある特徴の角度が、連続した画像の間、一貫性を持って変化している場合、物体の境界が検出されたことになり、そのような特徴の下方の点が、その物体の始点と見なされる。
【０００９】
物体検出方法の一実施形態によると、前記変換した第１の画像データから第１の詳細を前記抽出すること及び前記変換した第２の画像データから第２の詳細を前記抽出することは、それぞれ、前記第１の画像データ及び前記第２の画像データにおける線を特定することを有する。画像データにおける線を特定することは、単一のアルゴリズムによって容易に行うことができる。物体のほぼ直線の境界が、変換した画像データにおける線に対応するため、画像データにおける線を抽出することによって、物体の境界を容易に特定できる。
【００１０】
物体検出方法の一実施形態によると、線を前記特定することは、ハフ変換に基づく。このようなハフ変換は、非常に信頼性が高く、画像データにおける線を特定するのに安定した方法である。
【００１１】
物体検出方法の一実施形態によると、物体を前記検出することは、前記カメラと前記検出した物体との間の距離を判定することを有する。例えば、そのようなカメラと検出した物体との間の距離は、画像データにおける特徴の端点に基づいて判定することができる。そのような特徴の端点、具体的には、画像データにおける特徴の最下点は、物体の底部と見なされ、カメラと物体との間の距離を容易に判定することができる。
【００１２】
物体検出方法の一実施形態によると、前記方法は、更に、前記カメラの自己運動を判定することを有する。物体を前記検出することは、更に、前記カメラの前記判定した自己運動に基づく。このようにして、カメラの運動に基づく画像データの変化を補償することができ、検出した物体の信頼性及び品質を向上できる。
【００１３】
物体検出装置の一実施の形態によると、前記カメラは、単眼カメラである。単眼カメラは、広く入手可能である。更に、単眼カメラは、ステレオカメラ等の複雑な三次元検出手段と比べて安価である。したがって、物体検出装置のコストを低減できる。
【００１４】
物体検出装置の一実施の形態によると、前記カメラは、魚眼レンズを備える。魚眼レンズを備えるカメラで撮像された画像データは、本発明に係る物体検出に非常に好適である。
【００１５】
物体検出装置の一実施の形態によると、前記装置は、更に、前記カメラの位置及び／又は方角を検出する位置検出部を備える。具体的には、位置検出部は、カメラがフレームを撮像する時点でのカメラの位置及び方角を検出する。例えば、位置検出部は、カメラの自己運動を検出してもよい。更に、前記角度計算部は、前記第１の時点と前記第２の時点との間の、前記カメラの位置及び／又は方角の変化を計算する。加えて、前記物体検出部は、前記第１の時点と前記第２の時点との間の、前記カメラの位置及び／又は方角の前記計算した変化に基づき、前記物体を検出する。このようにして、カメラの直線的及び／又は角度のある動作等の自己運動を補償できる。
【００１６】
本発明の更に他の側面によると、本発明に係る物体検出装置を備える先進運転支援システムが提供される。
【００１７】
本発明の更に他の側面によると、前記物体検出方法の全てのことを行うコンピュータプログラム製品が提供される。
【００１８】
更なる実施の形態及び利点は、添付の図面に基づいた以下の説明により明らかとなる。
【図面の簡単な説明】
【００１９】
【図１】一実施の形態に係るカメラにより撮像された画像の概略図である。
【図２】一実施の形態に係る変換した画像データを示す図である。
【図３】本発明の他の実施の形態に係る方法のフローチャートである。
【図４】一実施の形態に係る物体検出装置を示す図である。
【図５】一実施の形態に係る物体検出を概略的に示す図である。
【発明を実施するための形態】
【００２０】
図１は、カメラ等の画像撮像装置により撮像された画像Ｉを示している。本発明を理解しやすくするため、画像Ｉには、単一の物体Ｏのみ含まれている。しかしながら、本発明は、複数の物体を含む画像データにも適用できる。画像Ｉ中の物体Ｏは、端部Ｂを含んでいる。この端部Ｂは、物体Ｏの縦方向の端部に対応していると考えられる。
【００２１】
図２は、図１に示す画像Ｉの視点を変換した後の画像Ｉ１の画像データを示している。図１の画像Ｉは、カメラと物体Ｏとの間の距離を第１の距離としたカメラで撮像されているとする。画像Ｉは、例えば、第１の時点ｔ１に、撮像されているとする。図示の通り、図１における物体Ｏの端部Ｂは、線分Ｂ１に変換されている。この線分Ｂ１から、点線Ｌ１が続いている。物体Ｏの端部Ｂが、物体Ｏの縦方向の端部に対応している場合、点線Ｌ１は、点Ｐにおいて、画像Ｉ１の下方縁部と交差する。この点Ｐは、変換した画像データの底部中心における画素にほぼ対応する。
【００２２】
図２に示す画像Ｉ２の画像データは、カメラと物体Ｏとの間の距離が短くなった状態で撮像された画像に対応している。このような画像は、例えば、別の時点ｔ２に、撮像されているとする。画像Ｉ２の画像データに示すように、物体Ｏの端部Ｂに対応する線分Ｂ２の方角が変わっている。線分Ｂ２から、点線Ｌ２が続いている。図示の通り、点線Ｌ２は、ほぼ、画像Ｉ１と同じ底部中心点Ｐで、画像Ｉ２の下方縁部と交差している。しかしながら、画像の下方縁部と点線との角度は、α１からα２へと変わっている。
【００２３】
カメラと物体Ｏとの間の距離を更に短くした別の画像を撮像すると、画像Ｉ２が、図２に示す画像Ｉ３の画像データに変換される。この画像Ｉ３に示すように、物体Ｏの端部Ｂは、線分Ｂ３に変換される。線分Ｂ３から、点線Ｌ３が続いており、この点線Ｌ３は、ほぼ、同じ点Ｐにおいて、画像Ｉ３の下方縁部と交差している。画像Ｉ３の下方縁部と点線Ｌ３との間の角度は、更に、α３に変わっている。
【００２４】
したがって、変換された複数の画像データにおける特徴を分析することにより、変換された画像Ｉ１乃至Ｉ３における、共通の点Ｐを指し示すこれらの特徴が同じものであると考えることができる。図２に示す線分Ｂ１乃至Ｂ２等の特徴の最も低い点を、物体の最下点と見なすことができる。この最下点が地面に位置していると推定することにより、このような最下点とカメラとの間の距離を算出することができる。すなわち、物体Ｏとカメラとの距離を算出することができる。この距離は、カメラの画像が持つ特性を利用することにより、算出することができる。例えば、撮像した画像データの各画素は、所定のサイズを持った特定の領域に対応する、と推定できる。このような領域のサイズに基づいて、物体Ｏとカメラとの間の距離を容易に算出することができる。
【００２５】
図３は、物体検出方法の一実施の形態に係るフローチャートである。まず、ステップＳ１において、第１のフレームの第１の画像データを取得する。第１のフレームの画像データは、第１の時点に、カメラで撮像される。具体的には、画像データは、第１の位置にあるカメラで撮像される。
【００２６】
ステップＳ２において、取得した第１の画像データが処理されて、第１の画像データの視点が、所定の視点に変換される。例えば、画像データの視点が変換されることにより、上から見た図が得られる。画像データの視点を変換することにより、上から見た図、すなわち、高い位置から見た図、が得られる。このようにして得られた上から見た図では、物体の詳細部分でも拡大できる。
【００２７】
次に、ステップＳ３において、変換した第１の画像データから、第１の特徴を抽出する。第１の特徴は、例えば、線分であってもよい。このような線分は、例えば、物体の端部に対応している。しかしながら、他の特徴を抽出してもよい。例えば、特定の形状をした要素を抽出してもよい。この場合、変換画像データからの特徴抽出は、例えば、要素のある形状を分析することにより行ってもよい。その他の画像データの特徴抽出方法を用いてもよい。
【００２８】
ステップＳ４において、第２のフレームの第２の画像データを取得する。第２のフレームの画像データは、第２の時点に、カメラで撮像される。第２の時点は、第１のフレーム取得の際の第１の時点とは異なる。具体的には、第２のフレーム撮像の際のカメラの位置及び／又はカメラの方角は、第１のフレーム撮像の際のカメラの位置及び／又は方角とは異なる。
【００２９】
次に、ステップＳ５において、第２の画像データの視点を、前述の所定の視点に変換する。第二の画像データ変換の際の所定の視点は、第１の画像データ変換の際の視点と同じである。
【００３０】
ステップＳ６において、変換した第２の画像データから、第２の特徴を抽出する。変換した第２の画像データからの第２の特徴の抽出は、変換した第１の画像データからの第１の特徴の抽出と同様に行う。
【００３１】
次に、ステップＳ７において、抽出した第１の特徴と抽出した第２の特徴とをマッチングさせる。本ステップでは、第１のフレームと第２のフレームとで同じ要素に対応している線分等の特徴を特定する。変換した第２の画像データにおける特徴に対応する、変換した第１の画像データにおける特徴を検出するために、各特徴の性質が比較される。例えば、線分の長さが分析される。また、移行の型を分析してもよい。例えば、対応する特徴を特定するために、端部の暗から明への移行や、明から暗への移行を分析してもよい。更に、変換した第１の画像データと変換した第２の画像データにおける対応した特徴を特定するために、傾きやその他の性質を分析してもよい。
【００３２】
ステップＳ８において、マッチングした第１の特徴と第２の特徴との角度の変化を計算する。ある特徴の角度が、時間毎に一貫性を持って変化している場合、そのような特徴は、物体の境界であると解釈できる。この場合、この特徴の下方の点が、その物体の始点であると見なすことができる。このようにして、ステップＳ９において、マッチングした第１の特徴と第２の特徴との角度の変化の算出値に基づき、物体を検出することができる。
【００３３】
本物体検出方法の信頼性及び精度を高めるために、第１及び第２のフレームの画像データと同様の方法で、更なるフレームの画像データを取得し、処理してもよい。これにより、より長い時間に亘る特徴の角度の変化を観察することができる。所定の枚数の連続したフレームの間、特徴の角度が一貫性を持って変化している場合、そのような特徴は、物体の境界であると解釈できる。逆に、所定の枚数の連続したフレームの間、特徴の角度の変化が同じでない場合、その特徴は無視し、物体の境界とは解釈しない。
【００３４】
図４は、物体検出装置１の一実施形態のブロック図である。物体検出装置１は、例えば、カメラ１０とプロセッサ２０とを含む。カメラ１０は、単眼カメラであってもよい。そのカメラは、モノクロ又はカラーの画像を撮像できる。これに加えて、又は、これに代わって、カメラが、赤外線又は紫外線画像を撮像できてもよい。カメラ１０は、魚眼レンズを含んでいてもよい。この場合、単一のカメラで広い視界を撮像することができる。視界を広げるために、複数のカメラ１０を並列させて使用し、追加処理により、これら全てのカメラ１０の画像データを単一のフレームにまとめてもよい。このためには、これら全てのカメラの画像データの撮像を同時に行う。
【００３５】
カメラ１０は、更に、位置検出部１１を含んでいてもよい。この位置検出部１１は、カメラ１０の位置及び／又は方角を検出する。例えば、位置検出部１１は、ＧＰＳ受信器、電子コンパス、又は、ジャイロスコープを含んでいてもよい。カメラ１０の位置及び／又は方角を検出するその他の手段を用いてもよい。又は、車両の先進運転支援システム等の外部装置により、カメラ又は関連装置の自己運動情報を取得するようにしてもよい。
【００３６】
カメラ１０により撮像された画像データと、ある場合は、位置／方角データとが、プロセッサ２０に提供される。プロセッサ２０は、画像データ変換部２１と、特徴抽出部２２と、特徴マッチング部２３と、角度計算部２４と、物体検出部２５とを含む。画像データ変換部２１と、特徴抽出部２２と、特徴マッチング部２３と、角度計算部２４と、物体検出部２５とは、プロセッサ２０のマイクロプロセッサにより実行されるソフトウェアコンポーネントにより実現できる。又は、画像データ変換部２１と、特徴抽出部２２と、特徴マッチング部２３と、角度計算部２４と、物体検出部２５とは、プロセッサ２０における別々の処理コンポーネントとして実現してもよい。更に、プロセッサ２０は、中間結果を保存するための少なくとも１個のメモリを備えていてもよい。例えば、以前に撮像した画像データ、変換した画像データ、及び／又は、抽出した特徴又は抽出した特徴の計算された角度を、プロセッサ２０のメモリに保存してもよい。
【００３７】
カメラ１０が画像を撮像すると、対応する画像データがプロセッサ２０に提供される。その画像データは、画像データ変換部２１で受信されてもよい。画像データ変換部２１は、その画像データの視点を所定の視点に変換する処理を行う。具体的には、取得した画像データの視点を変えて、撮像したシーンの上から見た図を取得するようにしてもよい。次に、特徴抽出部２２は、変換した画像データを処理して、その変換した画像データから少なくとも１個の特徴を抽出する。例えば、特徴抽出部２２は、変換した画像データを分析して、線分を特定してもよい。これに加えて、又は、これに代わって、他の特徴を特定してもよい。変換した画像データの、抽出した特徴は、特徴マッチング部２３に提供される。特徴マッチング部２３は、連続したフレームの画像データにおいて類似した特徴を特定するために、変換した画像データから抽出した特徴を比較する。例えば、連続した画像データにおいて対応する特徴を特定するために、特徴の長さや、特徴の形状や、暗から明への移行や、明から暗への移行や、その他の性質を分析してもよい。
【００３８】
連続した画像データにおいて対応する特徴が特定されると、それらの特徴は、角度計算部２４に提供される。角度計算部２４は、特徴の角度を計算する。例えば、画像の底部の線等の所定の線に対する角度を計算する。
【００３９】
物体検出部２５は、計算した特徴の角度を分析し、連続した画像データにおいて対応する特徴の角度を比較して、角度の変化を計算する。ある特徴の角度の変化に基づき、物体検出部２５は、その特徴が、撮像した画像データにおいて、物体、特に、物体の境界に対応しているか否かを判断する。ある特徴の角度が、一貫性を持って変化している場合、その特徴は、物体の境界であると見なすことができる。この場合、その特徴の下方の点が、その物体の始点であると見なすことができる。具体的には、その特徴の底部にあるこの始点は、地面上のその物体の最下点と見なすことができる。物体の下方の点が地面上にあるというこの推定に基づき、物体とカメラ１０との間の距離を計算することができる。例えば、画像データ（特に、変換した画像データ）における特徴の下方の点と、画像データ（特に、変換した画像データ）におけるある特定の点との間の画素数を計算できる。画像データにおける各画素がある特定の距離に対応しているという推定に基づき、カメラと物体との間の距離を計算できる。ただし、カメラ１０と物体との間の距離を決定するのに、他の方法を用いてもよい。
【００４０】
物体検出方法及び装置について、２枚のみの連続したフレームに関して説明したが、２枚より多くの連続したフレームを、異なる位置や異なる時点に、撮像し、連続したフレームに対応する複数の変換した画像データにおける特徴の角度の変化を分析するようにしてもよい。これにより、検出した物体の信頼性及び精度が更に向上する。物体検出装置１が、位置検出部１１を備える場合、画像データを分析する際に、カメラ１０の位置及び／又は方角が、更なる考慮要素となる。具体的には、抽出した特徴の角度の変化を分析する際に、カメラ１０の角度の変化を特定し、考慮するようにしてもよい。これにより、物体検出の精度が更に向上する。
【００４１】
図５は、一実施の形態に係る他の物体検出を概略的に示す図である。この場合、ｔ１、ｔ２、及び、ｔ３において、３枚の連続したフレームが、カメラ１０に撮像される。更に、例えば、位置検出部１１によって、カメラ１０の位置及び／又は方角が判定される。このようにして、カメラ１０の自己運動が判定される。このカメラ１０の自己運動に基づき、撮像したフレームの画像データが補償される。図５に示すように、カメラ１０の自己運動の補償後、物体に向かう全ての線分が、物体の位置の点と交差するようになるはずである。物体に向かう線の全ての情報を集約し、その物体の位置を判定するために、ハフ変換を行ってもよい。このようにして、物体の位置を見出すことができる。
【００４２】
カメラ１０の周囲環境で特定される１個以上の物体の情報を、例えば、車両の先進運転支援システムに提供することができる。このようにして、この物体の情報を用いて、車両を制御したり、車両の運転手に更なる情報を提供したりできる。なお、本発明は、先進運転支援システム用の物体検出や、車両における使用に限定されない。単眼カメラによる物体検出の他の用途に適用できる。
【００４３】
要約すると、本発明は、改良された物体検出方法及び装置に関する。複数の連続したフレームが、単眼カメラにより撮像され、撮像したフレームの画像データが、所定の視点での画像データに変換される。例えば、画像が変換されて、上から見た図が得られる。変換した画像データから、線等の特定の特徴が抽出され、連続したフレームにおける対応する特徴がマッチングされる。対応する特徴間の角度の変化が計算され、その特徴の角度の変化に基づき、物体の境界が特定される。このようにして、単一の単眼カメラの画像データに基づき、物体を、効率よく、確実に、特定することができる。物体の影等の障害物を除外してもよい。これにより、特定した物体の信頼性が高まる。
【図１】
0006617150.tif 000002
【図２】
0006617150.tif 000003
【図３】
0006617150.tif 000004
【図４】
0006617150.tif 000005
【図５】
0006617150.tif 000006