(57)【特許請求の範囲】
【請求項１】
ステレオ画像に含まれる路面上の物体を検出する物体検出装置であって、
前記ステレオ画像に基づいて視差マップを生成する視差マップ生成部と、
前記視差マップに基づいて路面領域を推定する路面推定部と、
前記視差マップから、前記路面領域より上方に存在する視差データ群を、物体候補の存在する領域である物体候補領域として抽出する物体候補位置抽出部と、
前記物体候補領域を含み、且つ、前記物体候補領域の幅に対して所定の倍率だけ広い幅を有する物体判定領域を、前記視差マップから、抽出する物体判定領域抽出部と、
前記物体判定領域の形状特徴を抽出する形状特徴抽出部と、
前記形状特徴に基づいて、物体候補が物体か路面かを判定する物体判定部と、
を備え、
前記所定の倍率は、物体候補領域の領域サイズ及び視差値と、物体判定領域の領域サイズとを関連付けたテーブルに基づいて決定される、
物体検出装置。
【請求項２】
前記物体判定領域の下端と、前記物体候補領域の下端とが一致する請求項１記載の物体検出装置。
【請求項３】
前記形状特徴抽出部は、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値に基づいて形状特徴ベクトルを生成する請求項１記載の物体検出装置。
【請求項４】
前記形状特徴抽出部は、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値の相関値に基づいて形状特徴ベクトルを生成する請求項１記載の物体検出装置。
【請求項５】
前記物体判定部は、統計的な学習に基づく学習結果を用いて判定する請求項１記載の物体検出装置。
【請求項６】
前記物体判定部は、前記物体判定領域に、視差データが欠落している領域が含まれる場合、視差値をゼロとして判定する請求項１記載の物体検出装置。
【請求項７】
前記物体判定部は、上下方向のずれを学習した結果を用いて判定する請求項５記載の物体検出装置。
【請求項８】
ステレオ画像に含まれる路面上の物体を検出する物体検出方法であって、
視差マップ生成部は、前記ステレオ画像に基づいて視差マップを生成し、
路面推定部は、前記視差マップに基づいて路面領域を推定し、
物体候補位置抽出部は、前記視差マップから、前記路面領域より上方に存在する視差データ群を、物体候補の存在する領域である物体候補領域として抽出し、
物体判定領域抽出部は、前記物体候補領域を含み、且つ、前記物体候補領域の幅に対して所定の倍率だけ広い幅を有する物体判定領域を、前記視差マップから、抽出し、
形状特徴抽出部は、前記物体判定領域の形状特徴を抽出し、
物体判定部は、前記形状特徴に基づいて、物体候補が物体か路面かを判定し、
前記所定の倍率は、物体候補領域の領域サイズ及び視差値と、物体判定領域の領域サイズとを関連付けたテーブルに基づいて決定される、
物体検出方法。
【請求項９】
請求項８記載の物体検出方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１０】
ステレオ画像に含まれる路面上の物体を検出する物体検出装置であって、
前記ステレオ画像に基づいて視差マップを生成する視差マップ生成部と、
前記視差マップに基づいて路面領域を推定する路面推定部と、
前記視差マップから、前記路面領域より上方に存在する視差データ群を、物体候補の存在する領域である物体候補領域として抽出する物体候補位置抽出部と、
前記物体候補領域を含み、且つ、前記物体候補領域の幅に対して所定の倍率だけ広い幅を有する物体判定領域を、前記視差マップから、抽出する物体判定領域抽出部と、
前記物体判定領域の形状特徴を抽出する形状特徴抽出部と、
前記形状特徴に基づいて、物体候補が物体か路面かを判定する物体判定部と、
を備え、
前記物体判定領域抽出部は、前記物体候補領域の視差値及び領域サイズに基づいて、前記物体候補領域の実空間における大きさを算出し、算出された前記物体候補領域の実空間における大きさと、予め保持された、道路環境に存在しうる物体の実空間における大きさ情報とに基づいて、前記物体候補が道路環境に存在しうる物体か否か判断し、前記物体候補が道路環境に存在しうる物体であると判断された場合は、前記所定の倍率を第１の倍率とする物体判定領域を抽出し、前記物体候補が道路環境に存在しうる物体でないと判断された場合は、前記所定の倍率を第２の倍率とする物体判定領域を抽出する、
物体検出装置。
【請求項１１】
前記第１の倍率は、前記第２の倍率よりも小さい請求項１０記載の物体検出装置。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像に撮像された物体を検出する物体検出装置、物体検出方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、ステレオ画像（基準画像及び参照画像）に対するステレオマッチングによって、基準画像と参照画像とのずれ（視差）を算出し、算出された視差に基づいて、物体を検出する物体検出装置が知られている。この物体検出装置は、例えば、車載カメラを用いて車両前方を撮像したステレオ画像に撮像された、物体（例えば、車両や歩行者など立体的な物。路面を含まない。）、路面などを検出する装置への適用が検討されている。【０００３】
従来の物体検出装置が採用する方式として、ステレオ画像に撮像された物体の高さ方向の傾きを算出し、算出された傾きを用いることによって、物体か路面かを判定する方式が提案されている（例えば、特許文献１参照）。【０００４】
図１は、特許文献１に記載の物体検出装置の構成を示すブロック図である。【０００５】
図１に示すように、物体検出装置１０は、ステレオ画像取得部１１、視差マップ生成部１２、路面推定部１３、物体候補位置抽出部１４、及び傾き算出判定部１５を備える。【０００６】
ステレオ画像取得部１１は、左右に並んだ２つのレンズを搭載したステレオカメラによって同時に撮像された一対のステレオ画像を取得する。【０００７】
視差マップ生成部１２は、ステレオ画像取得部１１において取得されたステレオ画像に基づいて視差マップを生成する。視差マップとは、ステレオマッチングによって、基準画像と参照画像間のずれ（視差）を各画素について算出したものである。【０００８】
路面推定部１３は、視差マップ生成部１２において生成された視差マップに基づいて、路面を推定する。【０００９】
物体候補位置抽出部１４は、視差マップ生成部１２において生成された視差マップに基づいて、路面推定部１３において推定された路面よりも実空間において上の空間を撮像した領域をステレオ画像から抽出する。そして、物体候補位置抽出部１４は、抽出した領域の中で視差の値が近いもの同士をグループ化することにより、ステレオ画像において物体である可能性があるもの（以下「物体候補」という）が撮像されている領域を抽出する。【００１０】
傾き算出判定部１５は、視差マップ生成部１２において生成された視差マップに基づいて、物体候補位置抽出部１４において抽出された物体候補が撮像されている領域の画像鉛直方向の視差の傾き（すなわち、物体候補の高さ方向の傾き）を算出し、物体候補が物体か路面かを判定する。具体的には、傾き算出判定部１５は、視差の傾きが所定の閾値より大きければ、物体候補は物体であると判定し、視差の傾きが所定の閾値より小さければ、物体候補は路面であると判定する。【００１１】
また、特許文献２記載の対象物判定装置は、ステレオ画像における物体候補が撮像されている領域の視差に基づいて、奥行き方向の視差の値の偏差と、鉛直方向の視差の値の偏差とを算出し、算出された偏差に基づいて物体候補が物体か路面かを判定する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−３３７５０号公報
【特許文献２】特開２００６−２３４６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の物体検出装置では、遠方の路面に描かれた路面標示（最高速度を示す数字など）を物体であると誤判定する可能性がある。なぜならば、ステレオ画像において、遠方に存在する物体を撮像した領域の視差算出は精度が悪く、遠方に存在する物体の高さ方向の傾きを精度よく算出することが困難なためである。【００１４】
本発明の目的は、ステレオ画像に撮像された物体が、物体か路面かを精度よく判定できる物体検出装置、物体検出方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１５】
本発明の物体検出装置は、ステレオ画像に含まれる路面上の物体を検出する物体検出装置であって、前記ステレオ画像に基づいて視差マップを生成する視差マップ生成部と、前記視差マップに基づいて路面領域を推定する路面推定部と、前記視差マップから、前記路面領域より上方に存在する視差データ群を、物体候補の存在する領域である物体候補領域として抽出する物体候補位置抽出部と、前記視差マップから、前記物体候補領域と、前記物体候補領域の周辺領域とを含む物体判定領域を抽出する物体判定領域抽出部と、前記物体判定領域の形状特徴を抽出する形状特徴抽出部と、前記形状特徴に基づいて、物体候補が物体か路面かを判定する物体判定部と、を備える構成を採る。【００１６】
本発明の物体検出方法は、ステレオ画像に含まれる路面上の物体を検出する物体検出方法であって、視差マップ生成部は、前記ステレオ画像に基づいて視差マップを生成し、路面推定部は、前記視差マップに基づいて路面領域を推定し、物体候補位置抽出部は、前記視差マップから、前記路面領域より上方に存在する視差データ群を、物体候補の存在する領域である物体候補領域として抽出し、物体判定領域抽出部は、前記視差マップから、前記物体候補領域と、前記物体候補領域の周辺領域とを含む物体判定領域を抽出し、形状特徴抽出部は、前記物体判定領域の形状特徴を抽出し、物体判定部は、前記形状特徴に基づいて、物体候補が物体か路面かを判定する。
【発明の効果】
【００１７】
本発明によれば、ステレオ画像に撮像された物体が、物体か路面かを精度よく判定物体することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】特許文献１に係る物体検出装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る物体検出装置の構成を示すブロック図
【図３】実施の形態１に係る物体検出装置の車両に搭載したステレオカメラにより自車両前方の車両を撮像したステレオ画像のイメージ図
【図４】実施の形態１に係る物体検出装置の視差マップ生成部における視差マップ生成方法の説明に供するイメージ図
【図５】実施の形態１に係る物体検出装置の視差マップ生成部における視差マップ生成方法の説明に供する図
【図６】実施の形態１に係る物体検出装置の路面推定部によって推定された路面領域の説明に供する概念図
【図７】実施の形態１に係る物体検出装置の物体候補位置抽出部における路面領域以下の視差データの削除方法の説明に供する図
【図８】実施の形態１に係る物体検出装置の物体候補位置抽出部における物体候補領域の抽出方法の説明に供する図
【図９】実施の形態１に係る物体検出装置の、物体判定領域抽出部、形状特徴抽出部、及び物体判定部の処理概念を示す図
【図１０】実施の形態１に係る物体検出装置の物体判定領域抽出部における物体判定領域の抽出方法の説明に供する図
【図１１】実施の形態１に係る物体検出装置の物体判定領域抽出部における物体判定領域の抽出方法の説明に供する図
【図１２】実施の形態１に係る物体検出装置の形状特徴抽出部における形状特徴の抽出方法の説明に供する図
【図１３】実施の形態１に係る物体検出装置の物体判定パラメータ記憶メモリに記憶された、物体判定パラメータの学習方法の説明に供する図
【図１４】実施の形態１に係る一部の領域において視差データが欠落している物体判定領域を示す図物体
【図１５】実施の形態１に係る物体検出装置の物体判定パラメータ記憶メモリに記憶された物体判定パラメータの学習を、上下方向のずれに対応させた場合について説明する図物体
【図１６】本発明の実施の形態２に係る物体検出装置の形状特徴抽出部における相関特徴の抽出方法の説明に供する図
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
図２は、本発明の実施の形態１に係る物体検出装置の構成を示すブロック図である。本実施の形態は、車両に搭載したステレオカメラを用いて自車両前方の車両又は歩行者などの、道路環境に存在する物体（例えば、車両や歩行者などの立体的な物。路面を除く）を検出する物体検出装置に適用した例である。
【００２１】
図２に示すように、物体検出装置１００は、ステレオ画像取得部１１０と、視差マップ生成部１２０と、路面推定部１３０と、物体候補位置抽出部１４０と、物体判定領域抽出部（立体物判定領域抽出部）１５０と、形状特徴抽出部１６０と、物体判定部（立体物判定部）１７０と、物体判定パラメータ記憶メモリ（立体物判定パラメータ記憶メモリ）１８０と、を備える。
【００２２】
ステレオ画像取得部１１０は、図示しない撮像部（ステレオカメラなど）からステレオ画像を取得する。撮像部は、第１の撮像系及び第２の撮像系を有し、第１の撮像系を用いて対象物を撮像した基準画像と、第２の撮像系を用いてその対象物を撮像した参照画像からなるステレオ画像を撮像し、ステレオ画像取得部１１０へ出力する。
【００２３】
視差マップ生成部１２０は、ステレオ画像取得部１１０により取得されたステレオ画像に基づいて視差マップを生成する。
【００２４】
路面推定部１３０は、視差マップ生成部１２０により生成された視差マップに基づいて、ステレオ画像における路面を推定する。
【００２５】
物体候補位置抽出部１４０は、視差マップ生成部１２０により生成された視差マップと、路面推定部１３０により推定された路面とに基づいて、視差マップにおいて路面より上に存在する物体候補の存在する領域（以下、「物体候補領域」という）を、ステレオ画像から抽出する。
【００２６】
物体判定領域抽出部１５０は、視差マップ生成部１２０により生成された視差マップに基づいて、物体候補領域と、物体候補領域の周辺領域とを含む領域を、物体判定領域として抽出する。
【００２７】
形状特徴抽出部１６０は、物体判定領域の画像特徴を、物体候補の形状特徴として抽出する。
【００２８】
物体判定パラメータ記憶メモリ１８０は、物体と路面（例えば、路面標示）の形状特徴を多数学習した結果である物体判定パラメータを記憶する。
【００２９】
物体判定部１７０は、抽出された物体候補の形状特徴と、予め物体判定パラメータ記憶メモリ１８０に記憶されている物体判定パラメータとに基づいて、物体候補が物体か路面かの判定を行い、判定結果を出力する。
【００３０】
以下、物体検出装置１００の動作を各部の処理ごとに説明する。
【００３１】
[ステレオ画像取得部１１０]
ステレオ画像取得部１１０は、左右に並んだ２系統のカメラ（撮像系）を搭載したステレオカメラによって撮像されたステレオ画像を取得する。ステレオ画像は、一方のカメラで撮像された基準画像と、他方のカメラで撮像された参照画像から成る。ステレオカメラによる撮像には、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサが用いられる。
【００３２】
図３は、車両に搭載したステレオカメラなどを用いて、自車両前方の車両を撮像したステレオ画像のイメージ図を示す。図３（ａ）は基準画像を、図３（ｂ）は参照画像を示す。
【００３３】
なお、左右のステレオ画像のうち何れを基準画像とするかは任意である。以下、説明の便宜のため、対象物に向かって、右カメラで撮像された画像を基準画像、左カメラで撮像された画像を参照画像として説明する。
【００３４】
ステレオ画像取得部１１０によって取得されたステレオ画像に対し、レンズの歪み補正及び光軸の平行化補正が施される。レンズの歪み補正の方法は、レンズの設計値を用いた補正変換テーブルに基づく方法、半径方向の歪曲収差のモデルを用いたパラメータ推定に基づく方法などで実現できる。
【００３５】
また、光軸の平行化補正は、例えば、格子パターンが描かれた１枚の板を同時に撮像した基準画像と参照画像において、同じ格子点が撮像された座標同士を対応付けることによって、右カメラと左カメラの相対的な位置関係を算出し、算出された位置関係に基づいて光軸の平行化補正を行う方法など、様々な方法がある。
【００３６】
なお、ステレオカメラは、左右に並んだ２つのレンズを搭載したカメラであるとして説明したが、この限りではなく、上下に並べるなど任意の位置関係において実現可能であり、少なくとも２つの撮像系を含んでいればよい。
【００３７】
[視差マップ生成部１２０]
視差マップ生成部１２０は、ステレオ画像取得部１１０からステレオ画像を取得する。そして、視差マップ生成部１２０は、ステレオマッチングによってステレオ画像の各画素について基準画像と参照画像との間のずれ（視差）を推定し、視差マップを生成する。視差マップは、Ｘ軸とＹ軸のほかに距離軸を含むため、３次元情報を含む。
【００３８】
図４は、視差マップ生成を説明するためのイメージ図であり、カメラ前方に存在する車両を撮像したステレオ画像を示す。図４（ａ）は基準画像、図４（ｂ）は参照画像を示す。
【００３９】
基準画像における車両の位置と、参照画像における車両の位置とのずれが視差である。視差は、ステレオカメラと撮像対象（図４における物体（車両））との距離に依存し、距離が遠い場合に視差は小さくなる。基準画像における撮像対象の左端の座標をｘｂ、参照画像における撮像対象の左端の座標をｘｒとすると、座標の差である（ｘｒ−ｘｂ）が撮像対象の左端についての視差ｄである。
【００４０】
図５は、視差マップ生成部１２０における視差マップ生成方法を説明するための図である。図５（ａ）は、基準画像において視差を算出する対象となる画素（以下、「視差算出点」という）の基準画像内の走査方法を示している。図５（ａ）は、視差算出点を、基準画像において走査すべき領域の左上端の画素から一画素ずつ右横にずらし、走査すべき領域の右端まで到達したら、一行下の左端画素に移動し、以降同様に一画素ずつ右横にずらして行くことを示している。図５（ｂ）は、参照画像において視差算出点に対応する画素（以下、「対応点」という）を探索する探索領域を示している。また、図５（ｃ）は、基準画像における視差算出点の輝度と、参照画像における探索領域内の各画素の輝度との相違度を示している。図５（ｃ）において、輝度の相違度が最小になる画素が対応点である。視差算出点は、以下、基準画像における１画素として説明するが、複数画素であってもよい。
【００４１】
視差マップ生成部１２０は、基準画像全体に対して視差算出点を走査することにより、基準画像全体の画素に対して視差を推定し、基準画像の各画素の視差を２次元配列として示す視差マップ（図５（ｄ））を生成する。なお、視差算出点の画像走査を画像全体で行うとして説明したが、実空間における路面と、路面より上の空間を撮像した領域のみを走査するなど、必要な領域に対してのみ画像操作を行ってもよい。図５（ｄ）は、視差マップを色の濃さで表現したものであり、色が濃いほど視差が小さい（すなわち、撮像対象までの距離が遠い）ことを示している。
【００４２】
参照画像における対応点の探索領域は、少なくとも視差算出点の座標及びエピポーラ線に応じて設定する。エピポーラ線は、一方のカメラの光軸をもう一方のカメラで撮像した画像へ投影した線であり、２つのカメラの幾何学的関係に基づいて定まる。
【００４３】
また、図５（ｃ）において、横軸は、探索領域内の各画素と探索領域の左端の画素との距離である視差探索値を示し、縦軸は、視差算出点の輝度と探索領域内の各画素の輝度との相違度を示す。視差算出点の輝度と、探索領域内の各画素の輝度との相違度は、視差算出点を中心とした８画素×８画素の領域の輝度と、探索領域内の各画素を中心とした８画素×８画素の領域との輝度との差分絶対和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）により算出される。相違度が最小となったときの、探索領域内の画素が対応点であり、基準画像における視差算出点の位置と、参照画像における対応点の位置とのずれが視差である。
【００４４】
なお、相違度を算出する領域を８画素×８画素として説明したが、この限りではなく、任意の矩形の大きさにおいて実現可能である。また、相違度に輝度を用いるとして説明したが、これに限定するものではない。
【００４５】
さらに、相違度は、差分二乗和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）など、相違度を算出する対象となる二つの値が完全一致した場合に値が最小となる、あらゆる方式によって算出が可能である。また、相違度は、正規化相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）など、完全一致した場合に値が最大となる類似度の指標を正負逆にして利用することも可能である。
【００４６】
[路面推定部１３０]
路面推定部１３０は、視差マップ生成部１２０において生成された視差マップに基づいて、路面（路面領域）を推定する。路面領域は、基準画像又は参照画像に基づいて表現されてもよいが、視差マップ上で表現されてもよい。
【００４７】
図６は、路面推定部１３０によって推定された路面領域を説明するための概念図であり、視差マップ生成部１２０によって生成された視差マップを、３次元データで表現された視差マップを示す。３次元データで表現された視差マップは、３次元ボクセル（ｖｏｘｅｌ）データとして説明する。
【００４８】
３次元データで表現された視差マップ（３次元ボクセルデータ）は、Ｘ軸及びＹ軸をもつ画像の各座標（画素）に対して、視差の軸を追加した座標空間のデータであり、画像の各座標に対して一つの視差データが存在する。３次元ボクセルデータは、道路面が撮像された路面領域６０１（斜線部分）と、物体が撮像された領域６０２（縦線部分）とを含む。路面推定部１３０は、３次元ボクセルデータに基づいて、斜線部分である路面領域６０１（図６における斜線部）を一つの平面として推定する。
【００４９】
なお、図６において、説明の便宜のために、物体が撮像された領域６０２を示したが、後述するように、カメラから遠方に存在する物体の視差は精度が低いため、路面推定部１３０の処理において、物体が撮像された領域６０２が特定されるわけではない。
【００５０】
路面領域６０１は、一般的な画像処理を用いることで推定できる。例えば、自車両に対して前方の車両とステレオカメラとの距離が遠い場合、基準画像において、路面領域が占める領域が最も広くなる。よって路面推定部１３０は、３次元ボクセルデータにおいてデータ点数の密度分布が最も密である平面を、最尤推定法により路面領域６０１であるとして推定できる。路面領域６０１は、平面を定義する式で表される。
【００５１】
なお、路面推定部１３０は、３次元ボクセルデータに基づいて路面領域を推定するとして説明したが、３次元ボクセルデータをＹ軸と視差の軸の平面へ投影して投票することにより路面である斜線部分の傾きをカメラ設置角として推定することでも実現可能である。
【００５２】
なお、路面推定部１３０は、データ点数の密度分布が最も密である平面を、最尤推定法により路面を一つの平面として推定するとして説明したが、路面が複数の平面や曲面の組合せから構成されているものとして推定してもよい。
【００５３】
[物体候補位置抽出部１４０]
物体候補位置抽出部１４０は、視差マップ生成部１２０によって生成された視差マップと、路面推定部１３０によって推定された路面領域とに基づいて、物体候補が撮像されている領域（以下、「物体候補領域」という）を抽出する。すなわち、物体候補領域とは、視差マップにおいて、物体候補が存在する領域である。
【００５４】
図７は、推定された路面領域６０１より下方に存在する視差データが削除された３次元ボクセルデータのイメージ図を示す。図７を用いて、物体候補位置抽出部１４０における路面領域以下の視差データの削除方法を説明する。
【００５５】
路面領域６０１より下方に存在する視差データとは、３次元ボクセルデータの座標軸において、路面領域６０１を表す平面のＹ軸の値よりもＹ軸の値が大きい値となる座標の視差データである。すなわち、路面領域６０１より下方に存在する視差データとは、Ｘ軸の値がｘｉ、視差ｄ軸の値がｄｉの位置に注目した場合、座標（ｘｉ、ｄｉ）における路面領域６０１のＹ軸の値であるＹｒと、座標（ｘｉ、ｄｉ）における視差データのＹ軸の値であるＹｄが、Ｙｒ＋σ＜Ｙｄの関係を満たす視差データである。ここで、σは実空間での路面の凸凹などを考慮した値である。
【００５６】
このように、物体候補位置抽出部１４０が３次元ボクセルデータから路面領域６０１より下方に存在する視差データを削除することにより、路面領域６０１より上方に存在する視差データを抽出できる。路面領域６０１より上方に存在する視差データとは、３次元の視差マップにおいて、路面領域６０１より高い位置に存在する視差データである。すなわち、路面領域６０１より上方に存在する視差データの実空間における位置は、実空間において、路面より上方に存在する。
【００５７】
これにより、物体候補領域６０２を含む視差データが抽出される。なお、路面領域６０１より下方に存在する視差データを削除することはせずに、路面領域６０１より上方に存在する視差データを抽出してもよい。この場合、路面領域６０１は視差マップにおいて特定されればよい。
【００５８】
しかし、三角測量の原理により、遠方に存在する物体の視差の推定は精度が低い。そのため、遠方の路面領域の視差データを特定することは困難である。例えば、図７に示す視差データ群７０１−ａ及び７０１−ｂは、視差が小さいために、路面領域６０１として特定されない視差データ群である。
【００５９】
図８は、物体候補位置抽出部１４０における物体候補領域６０２の抽出方法を説明するための図である。物体候補位置抽出部１４０は、図７に示すように路面領域６０１より上方に存在する視差データ群を、隣接ないし近傍にある視差データ同士でグルーピングすることにより、視差データを複数のグループに分類し、各グループを物体候補領域８０１ａ及び８０１ｂとする。物体候補位置抽出部１４０は、物体候補領域の基準画像上の位置を示す座標情報（以下「物体候補位置」という）を物体判定領域抽出部１５０に出力する。
【００６０】
[物体判定領域抽出部１５０]
物体判定領域抽出部１５０は、視差マップ生成部１２０から視差マップを取得し、物体候補位置抽出部１４０から取得された物体候補領域の基準画像における座標情報（位置情報）である物体候補位置に基づいて、物体候補領域とその周辺領域を含む物体判定領域を視差マップから抽出する。
【００６１】
図９は、物体判定領域抽出部１５０、形状特徴抽出部１６０、及び物体判定部１７０の処理概念を示す図である。
【００６２】
図９（ａ）は、視差値を色の濃さで表現した視差マップを示す。図９（ａ）において、色が濃い画素ほど視差が小さく、撮像対象までの距離が遠い。図９（ｂ）は、物体か路面かを判定するべき物体候補領域を示す。物体判定領域抽出部１５０は、各物体候補領域９０１とそれぞれの周辺領域を含む物体判定領域を抽出する。そして、形状特徴抽出部１６０は、物体判定領域抽出部１５０において抽出された物体判定領域の視差データに基づいて物体候補の形状特徴を抽出する。また、物体判定部１７０は、形状特徴抽出部１６０において抽出された形状特徴と、物体判定パラメータ記憶メモリ１８０において記憶された物体判定パラメータに基づいて、物体候補が物体か路面かを判定する。
【００６３】
図１０は、物体判定領域抽出部１５０における物体判定領域の抽出方法を説明するための図を示す。物体判定領域抽出部１５０は、物体候補とその周辺領域を含む物体判定領域１００１（破線で囲まれた領域）を抽出する。物体判定領域１００１は、視差マップのうち、物体候補が物体か路面かを判定する対象領域である。
【００６４】
バラつきが大きな２つの分布（物体／路面）を統計的な学習に基づいて判定するためには、物体判定領域の画素数を多くする必要がある。物体判定領域の画素数を多くすることによって、物体判定領域について、高精度な画像特徴を抽出することが可能となる。しかし、ステレオカメラから遠方に存在する物体を撮像した場合、ステレオ画像上で物体が占める領域の画素数は少ないため、物体判定領域について、高精度な画像特徴を抽出することは困難である。
【００６５】
そこで、本実施の形態に係る発明は、物体候補と周辺領域を含むより大きな範囲の視差データを利用することにより、物体と物体の背景を含めた画像特徴を使用し、判別精度を高めることができる。すなわち、物体候補領域の画像特徴だけで判別する場合に比べて、物体候補領域と背景領域の両方を使って判別する場合は、画素数の増加によって判別精度が向上するだけでなく、物体候補領域と背景領域との輝度値の全体的な違いなどを使って判定できるため、判定精度が向上する。
【００６６】
物体候補を判定する場合には、物体候補の判定対象（本実施の形態おいては、車両もしくは路面）が物体判定領域に含まれ、かつ、路側にあるガードレールや植木など、判定対象以外の物体を含まない必要がある。一般的な車両の幅がおよそ２．０ｍであり、一般的な道路幅員が約３ｍであることから、車両が走行路中心を走っていない場合も考慮して、実空間における２．５ｍの幅の領域が物体判定領域として設定される。すなわち、物体候補領域の幅に対して１．２５倍広げた領域を物体判定領域とすることで、多くの一般道のシーンにおいて最適に判定を行うことができる。なお、物体判定領域を２．５ｍとして設定し、物体候補領域の幅に対して１．２５倍広げた領域を物体判定領域とすることは、設計事項であり、これに限定されるものではない。
【００６７】
このように、物体判定領域抽出部１０５は、物体候補領域の領域サイズに基づいて、物体判定領域を定めてもよい。
【００６８】
また、物体判定領域抽出部１０５は、物体候補領域の視差値（距離値）と、物体候補領域の領域サイズとに基づいて、物体判定領域を定めてもよい。このようにすることで、ステレオカメラから遠方に存在する物体に対しても、高精度な画像特徴を抽出することが可能となるという効果を奏する。
【００６９】
さらに、物体判定領域抽出部１０５は、物体候補の実空間における大きさに基づいて、物体判定領域１００１の領域サイズを定めてもよい。具体的には、物体判定領域抽出部１０５は、物体候補領域６０２の領域サイズと、視差値（距離値）とに基づいて、物体候補の実空間における大きさを算出する。物体判定領域抽出部１０５は、道路環境に存在しうる物体（車両、人など）の実空間における大きさ情報を予め保持しており、算出された物体候補の実空間における大きさと、記憶された物体の大きさ情報とを比較して、物体候補が道路環境に存在しうる物体か否かの判断を行う。そして、物体候補が道路環境に存在しうる物体であると判断された場合、物体候補領域６０２に対して第１の倍率（たとえば、１．２５倍）の周辺領域を抽出する。また、物体候補が道路環境に存在しうる物体ではないと判断された場合、物体候補領域６０２に対して第２の倍率（たとえば、１．５倍）の周辺領域を抽出する。第２の倍率は、第１の倍率より大きく設定される。これは、道路環境に存在すると想定されるものではない場合（たとえば大きな落し物）、道路環境において自律的に移動するものではなく、衝突を防止するためには、より高精度に物体検出を行う必要があるからである。
【００７０】
なお、上記の説明では、物体判定領域抽出部１０５は、物体候補領域の領域サイズと視差値とに基づいて、物体候補の実空間における大きさを算出したが、予め、物体検出装置１００が、物体候補領域の領域サイズと、距離値と、物体判定領域の領域サイズとを関連付けたテーブル（不図示）を予め保持してもよい。かかる場合、物体判定領域抽出部１０５は、当該テーブルを参照して、物体候補領域の領域サイズから物体判定領域の領域サイズ定める。
【００７１】
具体的には、物体候補領域の領域サイズと、視差値とに基づいて、物体候補の実空間における大きさが定まる。たとえば、物体候補の実空間における大きさが、幅が１．９ｍ、高さが１．６ｍに含まれる場合、物体候補は乗用車であるとして、実空間における周辺領域の大きさは、たとえば、幅が２．０ｍ、高さが２．０ｍと定められ、この実空間における周辺領域の大きさと、物体候補領域の視差値とに基づいて、視差マップにおける周辺領域の領域サイズは一意に定まる。このようにして定まる、物体候補領域の領域サイズと、視差値と、それに対応する物体判定領域の領域サイズとが、当該テーブルに保持される。なお、ここで、乗用車の場合について説明したが、道路環境に存在すると想定されるあらゆる物体について、当該テーブルに定められている。
【００７２】
なお、物体判定領域は、物体候補領域の周辺領域を含むように広げて抽出されるものとして説明したが、下端方向は広げないようにしてもよい。図１１は、物体候補領域の下端方向には周辺領域を設けない場合における、物体判定領域の抽出方法の説明図を示す。図１１（ａ）は、視差マップから物体判定領域を抽出する方法を示し、図１１（ｂ）は、物体候補位置を示す。
【００７３】
物体判定領域抽出部１５０は、視差マップにおける物体候補位置に応じて、物体判定領域の大きさを設定する。物体判定領域抽出部１５０は、物体判定領域の下端位置を物体候補領域の下端位置と等しくする。物体候補領域の下端位置は、路面推定部１３０によって推定された路面領域上の物体候補の位置に基づいて設定される。なぜならば、基準画像における視差算出点と参照画像における対応点とのずれという、局所的なデータを用いて推定された物体候補位置よりも、視差マップに基づいて推定された路面領域の座標情報の方が、推定に用いたデータ数が多いため、高精度であるからである。
【００７４】
このように、物体判定領域の下端位置を、路面領域の位置情報を用いて設定することにより、物体候補と路面の判定に必要のない物体候補下端以下のデータが減少する。これにより、高精度に物体か路面かを判定することが可能となる。物体候補の下端以下のデータは、物体でも路面でも同じ形状となるという点で、精度の劣化を招くことになる。
【００７５】
但し、ここでは、路面領域の座標情報を用いて物体判定領域の下端位置を設定したが、物体候補の座標情報を用いて物体判定領域の下端位置を設定することを除外するものではない。
【００７６】
以上の説明では、物体候補領域の視差値（距離値）と、領域サイズと、予め保持されたテーブルとに基づいて、物体判定領域の領域サイズを定めたが、単に、物体候補領域の領域サイズによって定めてもよい。かかる場合、検出対象となる物体とステレオカメラとの距離によって、物体判定領域の大きさを動的に変更してもよい。
【００７７】
具体的には、物体候補が車両である場合には、車両の一般的なサイズである幅２．０ｍ×高さ２．０ｍに相当する領域の視差マップ中における大きさを、ステレオカメラと物体候補との距離に基づいて算出し、物体判定領域の大きさとする。例えば、ステレオカメラからの距離が８０ｍの位置に存在する車両に対しては、幅２０画素×高さ２０画素の物体判定領域を抽出し、４０ｍの位置に存在する車両に対しては、幅４０ピクセル×高さ４０ピクセルの物体判定領域を抽出する。
【００７８】
[形状特徴抽出部１６０]
形状特徴抽出部１６０は、物体判定領域抽出部１５０によって抽出された物体判定領域から、形状特徴ベクトルを抽出する。形状特徴ベクトルとは、物体判定領域に存在する物体候補の平面性や凸性等三次元の形状の特徴を表すベクトル量である。
【００７９】
図１２（ａ）は、形状特徴抽出部１６０における形状特徴の抽出方法を示す図である。形状特徴抽出部１６０は、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値を形状特徴ベクトルとする。ここで、視差データ代表値とは、各グリッドに含まれる視差データの平均、中間値などである。
【００８０】
図１２（ｂ）は、形状特徴ベクトルを示す図である。物体判定領域抽出部１５０は、物体判定領域を画像垂直方向にＮ個、画像水平方向にＭ個のグリッドに分割し、各グリッド領域における視差データ代表値を要素とするＮ×Ｍの２次元データを算出する。そして、物体判定領域抽出部１５０は、算出した２次元データを１次元に並べ替え、形状特徴ベクトルとする。
【００８１】
[物体判定部１７０]
物体判定部１７０は、抽出された形状特徴ベクトルを形状特徴抽出部１６０から取得し、物体予め学習された物体判定パラメータを物体判定パラメータ記憶メモリ１８０から取得する。
【００８２】
ここで、物体判定パラメータは、形状特徴抽出部１６０が抽出した形状特徴ベクトルを物体か道路面かの二値へ変換するためのベクトル量と閾値とを含むデータである。
【００８３】
図１３は、物体判定パラメータ記憶メモリ１８０物体に記憶された、物体判定パラメータの学習物体方法を示す図である。
【００８４】
図１３（ａ）は、物体判定パラメータ記憶メモリ１８０に記憶された物体判定パレメータの学習を示す図である。物体の視差データから抽出した形状特徴ベクトルを学習用に数百〜数千集めたものと、道路面上にあり誤検出しやすい路面標示の視差データから抽出した形状特徴ベクトルを学習用に数百〜数千集めたものに対して、統計的な学習方式を用いることによって、物体候補の領域に存在するものが物体であるのか路面であるのかを判定するための物体判定パラメータが算出される。そして、算出された物体判定パラメータは、あらかじめ物体判定パラメータ記憶メモリ１８０に記憶される。
【００８５】
なお、物体判定パラメータの学習における、物体の視差データから形状特徴ベクトルを抽出する方法は、形状特徴抽出部１６０が採用する方法と同じである。また、物体判定パラメータの学習における、物体の視差データの領域を抽出する方法も、物体判定領域抽出部１５０が採用する方法と同じである。
【００８６】
物体判定部１７０は、形状特徴抽出部１６０から取得した形状特徴ベクトルと、物体判定パラメータ記憶メモリ１８０から取得した、物体判定パラメータに基づいて、物体候補が物体か路面かを判定する。学習・判定方式としては、判別分析やＳＶＭ（Support Vector Machine）など一般的な方式が適用可能であり、本発明を限定するものではない。
【００８７】
ステレオ画像に基づいて視差を推定した場合、画像において高周波成分が少ない領域、すなわちエッジや輝度変化が少ない領域は、視差を推定することが困難であり、物体判定領域内に視差データの欠落した領域が発生する。車両を撮像した画像は特に高周波成分が少ない領域が多いため、視差データの欠落した領域が発生する場合がある。例えば、視差データが推定できたかどうかのパターン（以下、「視差パターン」という）は、車両背面においては「Ｈ型」が代表的である。つまり、車両背面の左右エッジとナンバープレート、テールランプの領域は視差データが存在するが、車両中央上部、車両中央下部は高周波成分が少ない領域のため視差データが欠落する。
【００８８】
物体候補の代表視差（例えば、物体候補領域における視差の平均値）とかけ離れた視差データが閾値以上存在している場合に、物体候補が検出できなかったと判定する方式を採用した場合、車両のように視差データが欠落しやすい物体は未検出となる可能性がある。
【００８９】
本発明においては、視差パターンも利用して、物体候補が物体か路面かを判定する。図１４は、一部の領域において視差データが欠落している物体判定領域を示す図である。このような場合、物体視差データが欠落した領域の視差値は０として扱われる。物体と路面標示の視差データを用いた、物体判定パラメータの学習時も同様であり、物体もしくは路面標示の学習用の視差データの一部の領域において視差データが欠落している場合も、視差データが欠落した領域の視差値は０として扱われる。
【００９０】
また、路面の画像も高周波成分が少ないため、視差パターンを利用することで高精度な判定が可能となる。視差の傾きや視差の標準偏差に基づいて物体か路面かを判定する方式を採用した場合、視差データが欠落した領域の判定はできないが、本発明では視差パターンも含めて学習した物体判定パラメータを用いるため、高精度な判定が可能となる。
【００９１】
なお、ステレオカメラを車両に搭載した場合には、車両のピッチ変動によりステレオ画像における物体候補位置に、上下方向のズレが多く発生する。図１５は、物体判定パラメータ記憶メモリ１８０に記憶された物体判定パラメータの学習を、上下方向のずれに対応させた場合について説明する図である。上下方向のズレに頑健な判定を行うために、物体判定パラメータを学習する際に用いる視差データに、下端の位置を上下に１０ピクセルの範囲でずらした視差データを追加して学習する。これにより、より上下方向のズレに頑健な判定を行うことができる。
【００９２】
以上詳細に説明したように、本実施の形態の物体検出装置１００は、取得したステレオ画像に基づいて、視差マップを生成する視差マップ生成部１２０と、生成した視差マップに基づいて、路面を推定する路面推定部１３０とを備える。また、物体検出装置１００は、生成した視差マップと路面に基づいて、実空間において路面より上側に存在する物体候補の位置を抽出する物体候補位置抽出部１４０と、生成した視差マップから物体候補周辺の領域も含めた立体判定領域を抽出する物体判定領域抽出部１５０とを備える。さらに、物体検出装置１００は、物体判定領域に基づいて、物体候補の形状特徴を抽出する形状特徴抽出部１６０と、抽出された形状特徴、及び予め物体判定パラメータ記憶メモリ１８０に記憶されている物体判定パラメータに基づいて、物体候補が物体か路面かを判定する物体判定部１７０とを備える。
【００９３】
そして、物体検出方法は、撮像系を用いて撮像したステレオ画像を取得し、ステレオ画像に基づいて視差マップを生成し、視差マップに基づいて路面を推定する。そして、視差マップと路面に基づいて、実空間において路面より上に存在する物体候補の位置を抽出し、視差マップから、物体候補周辺の領域も含めた物体判定領域を抽出する。そして、抽出した物体判定領域から物体候補の形状特徴を抽出し、形状特徴と物体判定パラメータに基づいて、物体候補が物体か路面かを判定する。
【００９４】
また、物体候補領域の周辺領域も含めて物体判定領域もしくは学習に用いる視差データを抽出することで、物体と物体の背景を含めた画像特徴を使用することになり、判別精度を高めることができる。すなわち、物体候補領域の画像特徴だけで判別する場合に比べて、物体候補領域と背景領域の両方を使って判別する場合は、画素数の増加によって判別精度が向上するだけでなく、物体候補領域と背景領域との輝度値の全体的な違いなどを使って判定できるため、判定精度が向上する。
【００９５】
これにより、物体か路面（路面標示）かの判定が困難な遠方の物体も精度よく検出することができる。特に、基線長の短いステレオカメラを用いた場合や遠方の物体を検出する場合に物体有効である。
【００９６】
また、本実施の形態では、物体判定領域抽出部１５０、形状特徴抽出部１６０、及び物体判定部１７０が、以下の構成を採ることで特有の効果を有する。
【００９７】
物体判定領域抽出部１５０が、物体候補までの距離に応じて抽出する物体判定領域の大きさを変更することで、物体候補までの距離ごとに物体判定パラメータを保持する必要がなくなり、メモリ量を削減することができる。
【００９８】
また、物体判定領域抽出部１５０が、物体候補領域の下端を物体判定領域の下端とすることで、実空間において物体候補の下端より下に存在する物体の視差データを使用しないため、物体と路面について高精度に表現された形状特徴を用いることが可能となり、物体か路面（路面標示）かの判定精度を高めることができる。
【００９９】
また、形状特徴抽出部１６０が、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値を形状特徴ベクトルとすることで、物体判定領域において視差データが部分的に欠けるような場合においても、より頑健に物体か路面（路面標示）かを正しく判定することができる。
【０１００】
物体判定部１７０が、統計的な学習に基づく形状特徴の学習結果を用いて判定することで、精度よく物体か路面（路面標示）かを判定することができる。
【０１０１】
物体判定部１７０が、視差データがない場合に視差値をゼロとした形状特徴を学習した結果を用いることで、高周波成分の少ない車両や路面などにおいて視差データが欠落した場合でも、精度よく物体が道路面（路面標示）かを判定することができる。
【０１０２】
物体判定部１７０が、物体判定パラメータを学習する際に、上下方向にずれた領域の視差データを多く用いることによって、ピッチ変動の大きな車載環境においても、精度よく物体か道路面（路面標示）かを判定することができる。
【０１０３】
（実施の形態２）
図１６は、本発明の実施の形態２に係る物体検出装置の形状特徴抽出部における相関特徴に基づく抽出方法を示す図である。
【０１０４】
本実施の形態の形状特徴抽出部は、図２の物体検出装置１００の形状特徴抽出部１６０に代えて用いられる。本発明の実施の形態２に係る物体検出装置の基本的な構成及び動作は、実施の形態１と同様である。
【０１０５】
図１６（ａ）は、相関特徴の抽出方法を示す図であり、図１６（ｂ）は、相関特徴に基づく形状特徴ベクトルを示す図である。図１６に示すように、本実施の形態の形状特徴抽出部は、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値の相関値に基づいて形状特徴ベクトルを生成する。
【０１０６】
物体まず、形状特徴抽出部は、物体判定領域を画像垂直方向にＮ個、画像水平方向にＭ個のグリッドに分割し、各グリッド領域における視差データ代表値を各要素としたＮ×Ｍの２次元配列データを算出する。そして、形状特徴抽出部１６０は、相関特徴を抽出し、形状特徴ベクトルを生成する。相関特徴は、各グリッドの視差データ代表値を所定の閾値に基づいて２値化したＮ×Ｍの２次元配列データ中に、例えばＬ個の３×３の相関特徴抽出用ビットパターン１６０１が存在する数などに基づいて求められる。
【０１０７】
また、物体判定パラメータ記憶メモリに記憶された物体判定パラメータも、物体の学習用視差データから抽出した相関特徴に基づいて算出されている。
【０１０８】
このように、本実施の形態によれば、物体検出装置の形状特徴抽出部が、物体判定領域をグリッド状に分割し、各グリッドの視差データ代表値の相関値に基づく形状特徴を形状特徴ベクトルとすることで、視差データの相関性を表す形状特徴を抽出できる。このため、物体判定領域のズレに対してより頑健な形状特徴を抽出することが可能となり、物体か路面（路面標示）かをより高精度に判定することができる。
【０１０９】
なお、形状特徴ベクトルの各要素を各グリッド領域における視差データの平均としたが、本発明を制限するものではなく、視差データの中間値などでも実現可能である。
【０１１０】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１１１】
例えば、上記各実施の形態において、他の情報提示手段、例えば音や音声情報、振動などと組み合わせた提示を行うことも可能である。
【０１１２】
さらに、上記物体検出装置を構成する各構成部、例えばステレオ画像取得部の種類、視差マップ生成部の推定方法などは前述した実施の形態に限られない。
【０１１３】
以上説明した物体検出方法は、この物体検出方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【産業上の利用可能性】
【０１１４】
本発明に係る物体検出装置及び物体検出方法は、物体か路面（路面標示）かを判定困難な遠方に存在する物体を、ステレオ画像を用いて検出することのできる機能を有し、先行車両追従支援等として有用である。
【符号の説明】
【０１１５】
１０  物体検出装置
１１  ステレオ画像取得部
１２  視差マップ推定部
１３  路面推定部
１４  物体候補位置抽出部
１５  傾き算出判定部
１００  物体検出装置
１１０  ステレオ画像取得部
１２０  視差マップ生成部
１３０  路面推定部
１４０  物体候補位置抽出部
１５０  物体判定領域抽出部
１６０  形状特徴抽出部
１７０  物体判定部
１８０  物体判定パラメータ記憶メモリ
６０１  路面領域
６０２  物体候補領域
７０１  物体候補領域
８０１  物体候補領域
９０１  物体候補領域
１００１  物体判定領域
１６０１  相関特徴抽出用ビットパターン
【図１】
0005870273.tif 000002
【図２】
0005870273.tif 000003
【図３】
0005870273.tif 000004
【図４】
0005870273.tif 000005
【図５】
0005870273.tif 000006
【図６】
0005870273.tif 000007
【図７】
0005870273.tif 000008
【図８】
0005870273.tif 000009
【図９】
0005870273.tif 000010
【図１０】
0005870273.tif 000011
【図１１】
0005870273.tif 000012
【図１２】
0005870273.tif 000013
【図１３】
0005870273.tif 000014
【図１４】
0005870273.tif 000015
【図１５】
0005870273.tif 000016
【図１６】
0005870273.tif 000017