(57)【要約】【課題】  車両周辺に存在する立体物を検出すること。【解決手段】  視点変換部１０３ａは、右後方カメラ１０１および左後方カメラ１０２によって撮像された画像のそれぞれを視点変換して路面を投影面とする俯瞰画像を作成する。そして、立体物検出部１０３ｂは、作成した複数の俯瞰画像からエッジを抽出して重畳し、重畳した画像内に存在するエッジの端点を検出して、その存在位置が近接するエッジ端点をグルーピングする。グルーピングした各グループ内に存在するそれぞれのエッジ端点から複数のエッジが異なる方向に延在する場合には、そのグループ内に存在するエッジは立体物から検出されたエッジであると判定する。【選択図】      図１
2006339960.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段によって異なる角度から撮像される車両周囲の画像のそれぞれを視点変換して路面を投影面とする複数の俯瞰画像を作成する視点変換手段と、
前記視点変換手段で作成した複数の俯瞰画像からエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段でエッジを抽出した複数の俯瞰画像を重畳する画像重畳手段と、
前記画像重畳手段で重畳した画像内に存在するエッジの端点を検出して、その存在位置が近接するエッジ端点をグルーピングするグルーピング手段と、
前記グルーピング手段でグルーピングした各グループ内に存在するエッジ端点から延在するエッジ間の角度が所定以上であるエッジは、立体物から検出されたエッジであると判定する立体物検出手段とを備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記立体物検出手段は、前記グルーピング手段でグルーピングした任意のグループ内に存在する１つのエッジ端点から異なる方向に複数のエッジが延在している場合には、そのエッジ端点から延在するエッジは同一の立体物から抽出されたエッジの候補であると判定することを特徴とする物体検出装置。
【請求項３】
請求項２に記載の物体検出装置において、
前記立体物検出手段は、グループ内に存在する１つのエッジ端点から異なる方向に複数のエッジが延在している場合に、フレーム間における前記１つのエッジ端点から異なる方向に延在する複数のエッジ間の角度の変化を検出する角度変化検出手段を含み、
前記角度変化検出手段によってフレーム間でエッジ間の角度の変化が検出された場合に、１つのエッジ端点から異なる方向に延在する複数のエッジは同一の立体物から抽出されたエッジであると判定することを特徴とする物体検出装置。
【請求項４】
複数の撮像手段によって異なる角度から撮像される車両周囲の画像のそれぞれを視点変換して路面を投影面とする複数の俯瞰画像を作成し、
作成した複数の俯瞰画像からエッジを抽出し、
エッジを抽出した複数の俯瞰画像を重畳し、
重畳した画像内に存在するエッジの端点を検出して、その存在位置が近接するエッジ端点をグルーピングし、
グルーピングした各グループ内に存在するエッジ端点から延在するエッジ間の角度が所定以上であるエッジは立体物から検出されたエッジであると判定することを特徴とする物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺に存在する立体物を検出することができる物体検出装置、および物体検出方法に関する。
【背景技術】
【０００２】
次のような物体検出装置が特許文献１によって知られている。この物体検出装置によれば、異なる方向から２枚の画像を撮像し、撮像した一方の画像の輝度値と他方の画像の輝度値とを比較し、それぞれの輝度値の異なる位置に立体物が存在すると判定する。
【０００３】
【特許文献１】特表平１０−５０５１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置においては、２枚の画像の輝度値を比較して立体物を検出したため、それぞれの画像で光が当たる箇所が異なる場合に、誤検出が発生する可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、複数の撮像手段によって異なる角度から撮像される車両周囲の画像のそれぞれを視点変換して路面を投影面とする複数の俯瞰画像を作成し、作成した複数の俯瞰画像からエッジを抽出し、エッジを抽出した複数の俯瞰画像を重畳し、重畳した画像内に存在するエッジの端点を検出して、その存在位置が近接するエッジ端点をグルーピングし、グルーピングした各グループ内に存在するエッジ端点から延在するエッジ間の角度が所定以上であるエッジは立体物から検出されたエッジであると判定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、重畳画像内における各グループに含まれるエッジ端点から延在するエッジ間の角度に基づいて立体物を検出することができるため、精度高く立体物を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における物体検出装置の一実施の形態の構成を示すブロック図である。物体検出装置１００は車両に搭載され、車両の右後方に設置され、画像を撮像する右後方カメラ１０１と、車両の左後方に設置され、画像を撮像する左後方カメラ１０２と、ＣＰＵ、メモリ、およびその他周辺回路を含み、後述する種々の処理を実行する制御装置１０３とを備えている。
【０００８】
右後方カメラ１０１および左後方カメラ１０２は、例えば図２に示すように、それぞれ車両の左右から車両後方を撮像するように設置され、一定時間間隔で連続的に自車両後方の画像を撮像する。すなわち、車両後方の画像を異なる角度から連続的に撮像する。なお、本実施の形態では、右後方カメラ１０１および左後方カメラ１０２によって車両後方を異なる角度から撮像する場合について説明するが、これに限定されず、車両前方を異なる角度から撮像してもよく、車両側方を異なる角度から撮像するようにしてもよい。
【０００９】
制御装置１０３は、視点変換部１０３ａと、立体物検出部１０３ｂとを有している。視点変換部１０３ａは、右後方カメラ１０１および左後方カメラ１０２によって撮像されたそれぞれの画像を視点変換して俯瞰画像（鳥瞰図）を生成する。すなわち、右後方カメラ１０１および左後方カメラ１０２によって撮像されたそれぞれの画像を、路面を投影面として視点変化することによって、あたかも上空から見下ろしたように表示した俯瞰画像に変換する。なお、各画像を俯瞰画像に視点変換する方法については、公知の手法であるため説明を省略する。
【００１０】
本実施の形態では、例えば、図３に示すような車両後方の画像を右後方カメラ１０１および左後方カメラ１０２によって撮像する場合について説明する。この図３に示す例では、自車両の後方に例えばポールなどの立体物３ａと、車両の駐車位置を示す路面上の白線３ｂが存在している。
【００１１】
このような図３に示す車両後方の画像が右後方カメラ１０１および左後方カメラ１０２で撮像されて入力されると、視点変換部１０３ａは、それぞれの画像を視点変換して図４に示すような俯瞰画像を作成する。なお、図４（ａ）は、右後方カメラ１０１によって撮像された画像の視点変換後の俯瞰画像を示す図であり、図４（ｂ）は、左後方カメラ１０２によって撮像された画像の視点変換後の俯瞰画像を示す図である。
【００１２】
立体物検出部１０３ｂは、このように視点変換部１０３ａで視点変換された２枚の俯瞰画像を画像処理して、俯瞰画像内に存在する立体の構造物や人物などの立体物を検出することによって、車両後方に存在する立体物を検出する。まず、視点変換部１０３ａで視点変換された各俯瞰画像に対して、エッジ抽出用フィルタを適用し、各俯瞰画像内からエッジを抽出する。その後、エッジが抽出された各画素において、隣接する画素とのエッジの連続性を検出して、直線を構成するエッジのみを抽出する。これによって俯瞰画像内から直線を構成しない、例えば点などのノイズを除去することができる。
【００１３】
さらに、エッジ抽出を行った俯瞰画像内から画像内で横方向に延在するエッジ（横エッジ）を削除する。これによって、図５（ａ）および（ｂ）に示すように、縦エッジのみを含む俯瞰画像を得ることができる。
【００１４】
次に、上述した処理で作成した右後方カメラ１０１および左後方カメラ１０２によって撮像された画像に基づいて作成されたそれぞれの縦エッジのみを含む２枚の俯瞰画像を重畳する。すなわち、車両における右後方カメラ１０１および左後方カメラ１０２の設置位置、設置角度、および各カメラ固有のカメラパラメータを加味して、各俯瞰画像上における実空間上の同一位置が一致するようにそれぞれの俯瞰画像を重畳する。
【００１５】
図６（ａ）は、図５（ａ）および（ｂ）に示した２枚の縦エッジのみを含む俯瞰画像を重畳した場合の具体例を示す図である。このように、それぞれの撮像画像内に含まれる立体物３ａと白線３ｂとの実空間上における存在位置が一致するように重畳した俯瞰画像を得ることができる。
【００１６】
この図６（ａ）に示した重畳後の画像（重畳画像）において、エッジの端点を検出し、近接して存在する複数のエッジ端点をグルーピングする。例えば、図６（ａ）においては、符号６ａおよび６ｂに示す２つのエッジ端点のグループが存在する。そして、それぞれのグループ内に存在する各エッジ端点から延在するエッジ同士が所定以上の角度を有しているグループのみを抽出する。
【００１７】
例えば、図６（ａ）に示す例では、グループ６ｂ内に存在する２つのエッジ端点から延在するエッジは、重畳画像上において略平行に延在しているため、グループ６ｂは抽出の対象外となる。これによって、視点変換時の投影面とした路面上の白線３ｂから検出されるエッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いに関わらず、重畳画像上において略平行に延在することを加味して、重畳画像内に存在する路面上のペイントから抽出されたエッジを精度高く排除することができる。
【００１８】
これに対して、グループ６ａ内に存在する２つのエッジ端点から延在するエッジは、重畳画像上において所定以上の角度を有して延在しているため、抽出の対象とする。これによって、立体物から検出された各エッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いから、俯瞰画像を重畳した重畳画像上においては異なる方向に延在することを加味して、重畳画像内に存在する立体物から抽出された可能性が高いエッジを精度高く抽出することができる。
【００１９】
さらに、立体物から抽出されたエッジを含むグループ６ａ内に存在する任意の１つのエッジ端点から、異なる方向に複数のエッジが延在している場合には、このエッジ端点から延在する複数のエッジは、同一の立体物から抽出された可能性が高いと判定する。すなわち、同一のエッジ端点から延在するエッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いから、異なる２方向に延在しているが、それぞれの重畳画像上での端点は一致していることから、同一物から検出されたエッジである可能性が高いと判定することができる。
【００２０】
そして、抽出したグループ６ａ内において、同一端点から異なる方向に延在しているエッジのなす角、すなわち図６（ｂ）におけるなす角θ１およびθ２のフレーム間での角度の変化を検出する。その結果、フレーム間でそれぞれのエッジのなす角θ１および／またはθ２が変化した場合には、自車両の走行に伴って、俯瞰画像上において後方カメラ１０１、および左後方カメラ１０２から各エッジが構成する物体の見える角度がそれぞれ変化することから、そのなす角が変化したエッジによって構成される物体は同一の立体物であると判定することができる。
【００２１】
一方、フレーム間でそれぞれのエッジのなす角θ１および／またはθ２が変化しない場合には、俯瞰画像上において、後方カメラ１０１、および左後方カメラ１０２から各エッジが構成する物体の見える角度が変化していないことから、これらのエッジによって構成される物体は路面上のペイントなど、路面上から検出されたエッジであると判定することができる。
【００２２】
例えば、図６（ｂ）に示す例においては、フレーム間でθ１およびθ２の大きさの変化が検出されて、それぞれのエッジの端点から延在する各エッジは路上に存在する立体物から検出されたエッジであると判定することができる。これによって、右後方カメラ１０１、および左後方カメラ１０２の撮像範囲内に立体物が存在する場合には、それぞれのカメラからの立体物の見え方が異なることを加味して、精度高く重畳画像内に存在する立体物、すなわち、右後方カメラ１０１、および左後方カメラ１０２の撮像範囲内の路上に存在する立体物を検出することができる。
【００２３】
図７は、本実施の形態における物体検出装置１００の処理を示すフローチャートである。図７に示す処理は、車両のイグニションスイッチがオンされることによって、物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０３により実行される。
【００２４】
ステップＳ１０において、右後方カメラ１０１、および左後方カメラ１０２のそれぞれから撮像される画像の読み込みを開始して、ステップＳ２０へ進む。ステップＳ２０では、視点変換部１０３ａは、上述したように、右後方カメラ１０１および左後方カメラ１０２によって撮像されたそれぞれの画像を視点変換して俯瞰画像を作成する。その後、ステップＳ３０へ進み、立体物検出部１０３ｂは、視点変換された各俯瞰画像に対して、エッジ抽出用フィルタを適用し、各俯瞰画像内からエッジを抽出してステップＳ４０へ進む。
【００２５】
ステップＳ４０では、エッジが抽出された各画素において、隣接する画素とのエッジの連続性を検出して、直線を構成するエッジのみを抽出する。その後、ステップＳ５０へ進み、俯瞰画像内から画像内で横方向に延在するエッジ（横エッジ）を削除して、ステップＳ６０へ進む。ステップＳ６０では、上述したように、右後方カメラ１０１、および左後方カメラ１０２のそれぞれによって撮像された画像に基づいて作成された縦エッジのみを含む俯瞰画像を重畳して重畳画像を作成する。その後、ステップＳ７０へ進む。
【００２６】
ステップＳ７０では、上述したように、重畳画像においてエッジの端点を検出し、近接して存在する複数のエッジ端点をグルーピングする。その後、ステップＳ８０へ進み、各グループ内に存在するエッジ端点から延在するエッジが所定以上の角度を有しているか否かを判断する。各エッジが所定以上の角度を有していない、すなわち略平行であると判断した場合には、後述するステップＳ１２０へ進む。これに対して、各エッジが所定以上の角度を有していると判断した場合には、ステップＳ９０へ進む。
【００２７】
ステップＳ９０では、各グループ内に存在する任意のエッジ端点について、当該エッジ端点から右後方カメラ１０１で撮像された画像から抽出されたエッジ、および左後方カメラ１０２で撮像された画像から抽出されたエッジのそれぞれが異なる方向に延在しているか否かを判断する。任意のエッジ端点からそれぞれのエッジが異なる方向へ延在していないと判断した場合には、後述するステップＳ１２０へ進む。これに対して、任意のエッジ端点からそれぞれのエッジが異なる方向へ延在していると判断した場合には、ステップＳ１００へ進む。
【００２８】
ステップＳ１００では、任意のエッジ端点からそれぞれのエッジが異なる方向へ延在しているエッジのなす角が連続して撮像されるフレーム間で変化するか否かを判断する。エッジのなす角がフレーム間で変化しないと判断した場合には、ステップＳ１２０へ進み、そのエッジは路面上のペイントであると判定する。これに対して、エッジのなす角がフレーム間で変化すると判断した場合には、ステップＳ１１０へ進み、そのエッジによって構成される物体は立体物であると判定する。
【００２９】
その後、ステップＳ１３０へ進み、自車両のイグニションスイッチがオフされたか否かを判断する。自車両のイグニションスイッチがオフされないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。
【００３０】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）右後方カメラ１０１、および左後方カメラ１０２のそれぞれで撮像した画像を視点変換して俯瞰画像を作成し、俯瞰画像から縦エッジのみを抽出して、各俯瞰画像上における実空間上の同一位置が一致するようにそれぞれの俯瞰画像を重畳した。そして、俯瞰画像内で近接して存在するエッジ端点をグルーピングして、各グループ内に存在するエッジ端点から延在するエッジが所定の角度を有している場合には、そのエッジは立体物から抽出された可能性が高いと判定するようにした。これによって、立体物から検出された各エッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いから、俯瞰画像を重畳した重畳画像上においては異なる方向に延在することを加味して、重畳画像内に存在する立体物から抽出された可能性が高いエッジを精度高く抽出することができる。
【００３１】
例えば、従来の立体物検出方法のように、異なる方向から２枚の画像を撮像し、撮像した一方の画像の輝度値と他方の画像の輝度値とを比較し、それぞれの輝度値の異なる位置に立体物が存在すると判定する場合には、それぞれの画像で光が当たる箇所が異なる場合に誤検出が発生する可能性があった。これに対して上述した実施の形態によれば、画像の輝度に基づいて立体物を判定する代わりに、重畳画像内で抽出したエッジの角度に基づいて立体物を検出するため、画像内における光の当たり方によらず、精度高く立体物を検出することが可能となる。
【００３２】
（２）また、俯瞰画像内で近接して存在するエッジ端点をグルーピングした結果、各グループ内に存在するエッジ端点から延在するエッジが略平行である場合には、そのエッジは路面上のペイントから抽出されたエッジであると判定するようにした。これによって、視点変換時の投影面とした路面上から検出されるエッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いに関わらず、重畳画像上において略平行に延在することを加味して、重畳画像内に存在する路面上のペイント、例えば白線から抽出されたエッジを精度高く排除することができる。
【００３３】
（３）俯瞰画像内で近接して存在するエッジ端点をグルーピングした結果、各グループ内に存在するエッジ端点からエッジが異なる方向に複数延在している場合には、それらのエッジは同一物から抽出されたエッジであると判定するようにした。これによって、同一のエッジ端点から延在するエッジは、右後方カメラ１０１と左後方カメラ１０２との撮像角度の違いから、異なる２方向に延在しているが、それぞれの重畳画像上での端点は一致していることを加味して、精度高く同一立体物から検出されたエッジを検出することができる。
【００３４】
（４）同一端点から異なる方向に延在しているエッジのなす角を算出し、フレーム間でそのなす角が変化した場合には、そのなす角が変化したエッジによって構成される物体は立体物であると判定するようにした。これによって、右後方カメラ１０１、および左後方カメラ１０２の撮像範囲内に立体物が存在する場合には、それぞれのカメラからの立体物の見え方が異なることを加味して、精度高く重畳画像内に存在する立体物を検出することができる。
【００３５】
（５）重畳画像内で立体物として検出されなかったエッジは、路面のペイントから検出されたエッジであると判定するようにした。これによって、右後方カメラ１０１および左後方カメラ１０２によって撮像されたそれぞれの画像を、路面を投影面として視点変化して得た俯瞰画像に基づいて作成した重畳画像では、路面上のペイントは平面として扱うことができることを加味して、立体物以外のものを路面のペイントと判定することで、重畳画像内に存在する立体物と路面のペイントとを精度高く分離することが可能となる。
【００３６】
―変形例―
なお、上述した実施の形態の物体検出装置は、以下のように変形することもできる。
（１）上述した実施の形態では、右後方カメラ１０１および左後方カメラ１０２とを撮像手段として備え、これらのカメラで撮像した画像に基づいて、自車両後方に存在する立体物を検出する処理について説明した。しかしこれに限定されず、例えば右前方カメラと左前方カメラとを設けて、車両前方に存在する立体物を検出するようにしてもよく、車両の周囲全体を撮像するための複数のカメラを設置して、車両周囲に存在する立体物を検出するようにしてもよい。
【００３７】
（２）上述した実施の形態では、次の（Ａ）〜（Ｃ）の条件を全て満たした場合に、抽出したエッジが構成する物体は立体物であると判定する例について説明した。
（Ａ）各グループ内に存在するエッジ端点から延在するエッジが所定以上の角度を有している。
（Ｂ）各グループ内に存在する任意のエッジ端点から延在するエッジのそれぞれが異なる方向に延在している。
（Ｃ）任意のエッジ端点からそれぞれのエッジが異なる方向へ延在しているエッジのなす角が連続して撮像されるフレーム間で変化する。
しかしながら、（Ａ）〜（Ｃ）のいずれか１つ、または２つを満たした場合に、抽出したエッジが構成する物体は立体物であると判定するようにしてもよい。
【００３８】
（３）上述した実施の形態では、物体検出装置を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載するようにしてもよい。
【００３９】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００４０】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。立体物検出部１０３ｂは、画像重畳手段、グルーピング手段、および角度変化検出手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００４１】
【図１】本実施の形態における物体検出装置の一実施の形態の構成を示すブロック図である。
【図２】右後方カメラ１０１および左後方カメラ１０２の車両への設置例を示す図である。
【図３】車両後方に存在する物体の具体例を示す図である。
【図４】右後方カメラ１０１および左後方カメラ１０２のそれぞれで撮像した画像を視点変化して作成した俯瞰画像の具体例を示す図である。
【図５】縦エッジのみを抽出した俯瞰画像の具体例を示す図である。
【図６】重畳画像の具体例を示す図である。
【図７】本実施の形態における物体検出装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４２】
１００  物体検出装置
１０１  右後方カメラ
１０２  左後方カメラ
１０３  制御装置
１０３ａ  視点変換部
１０３ｂ  立体物検出部
【図１】
2006339960.tif 000003
【図２】
2006339960.tif 000004
【図３】
2006339960.tif 000005
【図４】
2006339960.tif 000006
【図５】
2006339960.tif 000007
【図６】
2006339960.tif 000008
【図７】
2006339960.tif 000009