(57)【要約】【課題】単眼カメラを用い、画像処理によって立体物領域（障害物領域）を推定する。【解決手段】車両に設置されたカメラから時刻ｔ１及びｔ２のカメラ画像を取得し、それらを時刻ｔ１及びｔ２の鳥瞰図画像に変換する。時刻ｔ１のカメラ画像から複数の特徴点を抽出すると共に第１及び第２のカメラ画像間における各特徴点の移動ベクトルを検出し、各特徴点と各移動ベクトルを鳥瞰図座標面上へマッピングする。鳥瞰図画像上の２以上の特徴点に着目し、その着目特徴点の位置及び移動ベクトルを地面特徴点が満たすべき拘束式に当てはめることで着目特徴点が地面特徴点であるか否かを判別する。そして、地面特徴点であると判別された２以上の特徴点についての位置情報及び移動ベクトル情報から車両の移動情報を求め、その移動情報を用いて時刻ｔ１とｔ２の鳥瞰図画像の差分をとることで立体物領域を推定する。【選択図】図５
2009129001.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから得られるカメラ座標面上のカメラ画像に基づいて前記カメラ画像に基づく画像中の立体物領域を推定する運転支援システムにおいて、
前記移動体の移動中の互いに異なる第１及び第２の時刻にて前記カメラが撮影した第１及び第２のカメラ画像を取得する画像取得手段と、
前記第１のカメラ画像からｎ個の特徴点（ｎは２以上の整数）を抽出するとともに、前記第１と第２のカメラ画像間における前記カメラ座標面上の各特徴点の移動ベクトルを検出する移動ベクトル検出手段と、
各カメラ画像並びに前記カメラ座標面上における各特徴点及び各移動ベクトルを地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに前記第１の鳥瞰図画像上の各特徴点の位置及び前記第１と第２の鳥瞰図画像間における前記鳥瞰図座標面上の各特徴点の移動ベクトルを検出する鳥瞰変換手段と、
地面上に位置する地面特徴点が満たすべき拘束条件を用いて前記第１の鳥瞰図画像上の着目した特徴点が前記地面特徴点であるか否かを判別する判別手段と、
前記地面特徴点であると判別された２以上の特徴点についての、前記第１の鳥瞰図画像上の位置及び前記鳥瞰図座標面上の移動ベクトルに基づいて前記第１と第２の時刻間における前記移動体の移動情報を推定する移動情報推定手段と、
前記第１及び第２の鳥瞰図画像と前記移動情報に基づいて前記立体物領域を推定する立体物領域推定手段と、を備えた
ことを特徴とする運転支援システム。
【請求項２】
前記拘束条件は、前記第１と第２の時刻間における前記移動体の回転角及び平行移動量と、前記地面特徴点の前記第１の鳥瞰図画像上での位置及び前記鳥瞰図座標面上での移動ベクトルと、が満たすべき関係を規定する
ことを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記判別手段は、前記第１の鳥瞰図画像上の前記ｎ個の特徴点の中から２以上の特徴点を着目特徴点として抽出し、それらの着目特徴点が前記拘束条件を充足するか否かを判別することによって前記着目特徴点が前記地面特徴点であるか否かを判別する
ことを特徴とする請求項２に記載の運転支援システム。
【請求項４】
前記判別手段は、
前記第１の鳥瞰図画像上の前記ｎ個の特徴点の中から２以上の特徴点を着目特徴点として抽出し、
前記２以上の着目特徴点を前記地面特徴点であると仮定して前記関係に当てはめることで、前記回転角の推定値及び前記平行移動量の推定値を２つずつ以上求め、
前記回転角の推定値のばらつき及び前記平行移動量の推定値のばらつきに基づいて、前記着目特徴点が前記地面特徴点であるか否かを判別する
ことを特徴とする請求項２に記載の運転支援システム。
【請求項５】
前記移動情報は、前記移動体の回転角及び平行移動量を表す情報を含む
ことを特徴とする請求項２〜請求項４の何れかに記載の運転支援システム。
【請求項６】
前記立体物領域推定手段は、
前記移動情報に基づいて、第１と第２の時刻間の前記移動体の移動に由来する前記第１と第２の鳥瞰図画像間の位置ずれを補正し、
補正後の前記第１と第２の鳥瞰図画像の対比結果に基づいて前記立体物領域を推定する
ことを特徴とする請求項１〜請求項５の何れかに記載の運転支援システム。
【請求項７】
推定される前記立体物領域は、前記第１のカメラ画像、前記第２のカメラ画像、前記第１の鳥瞰図画像、又は、前記第２の鳥瞰図画像内における、立体物の描画領域に対応する
ことを特徴とする請求項１〜請求項６の何れかに記載の運転支援システム。
【請求項８】
請求項１〜請求項７の何れかに記載の運転支援システムが設置された
ことを特徴とする、移動体としての車両。
【請求項９】
移動体に取り付けられて前記移動体の周辺を撮影するカメラから得られるカメラ座標面上のカメラ画像に基づいて前記カメラ画像に基づく画像中の立体物領域を推定する立体物領域推定方法において、
前記移動体の移動中の互いに異なる第１及び第２の時刻にて前記カメラが撮影した第１及び第２のカメラ画像を取得する画像取得ステップと、
前記第１のカメラ画像からｎ個の特徴点（ｎは２以上の整数）を抽出するとともに、前記第１と第２のカメラ画像間における前記カメラ座標面上の各特徴点の移動ベクトルを検出する移動ベクトル検出ステップと、
各カメラ画像並びに前記カメラ座標面上における各特徴点及び各移動ベクトルを地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに前記第１の鳥瞰図画像上の各特徴点の位置及び前記第１と第２の鳥瞰図画像間における前記鳥瞰図座標面上の各特徴点の移動ベクトルを検出する鳥瞰変換ステップと、
地面上に位置する地面特徴点が満たすべき拘束条件を用いて前記第１の鳥瞰図画像上の着目した特徴点が前記地面特徴点であるか否かを判別する判別ステップと、
前記地面特徴点であると判別された２以上の特徴点についての、前記第１の鳥瞰図画像上の位置及び前記鳥瞰図座標面上の移動ベクトルに基づいて前記第１と第２の時刻間における前記移動体の移動情報を推定する移動情報推定ステップと、
前記第１及び第２の鳥瞰図画像と前記移動情報に基づいて前記立体物領域を推定する立体物領域推定ステップと、を備えた
ことを特徴とする立体物領域推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援システムに関する。特に、移動体に取り付けられたカメラの撮影結果から立体物が描画されている立体物領域を推定する技術に関する。また本発明は、その運転支援システムを利用した車両に関する。
【背景技術】
【０００２】
路面上に位置する立体物は車両にとって障害物となるが、その立体物を運転者が見落として接触事故が発生することがある。このような接触事故は、特に、運転者の死角領域において良く発生する。このため、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。また、カメラから得たカメラ画像を鳥瞰図画像に変換して表示する技術も開発されている。鳥瞰図画像は車両を上空から眺めたような画像であるため、鳥瞰図画像の表示によって運転者は立体物との距離感をつかみやすくなる。
【０００３】
また、画像処理技術とセンサを用いて、車両周辺の立体物を検出する手法も開発されている。車両周辺の立体物を検出できれば、その検出結果に応じて、表示装置上で立体物の存在を提示したり警報の出力を行ったりすることができるため有益である。
【０００４】
車両周辺の立体物を検出する手法として、ステレオカメラを用いる手法が提案されている。しかしながら、ステレオカメラは、２つのカメラにて形成されるため、それ自体の使用がコストアップを招く。また、２つのカメラの取り付け位置や取り付け角度を極めて高精度に調整してやる必要があり、導入が煩雑である。
【０００５】
これに鑑み、単眼カメラを用いて車両周辺の立体物を検出する手法が、例えば下記特許文献１に開示されている。この手法では、路面上の５点以上の特徴点情報を用いて最小二乗法によってカメラ運動パラメータを求め、求めたカメラ運動パラメータに基づいて隣接フレーム間の鳥瞰図画像を重ね合わせることにより、画像上で路面から浮き上がっている立体物を検出する。
【０００６】
【特許文献１】特開２００３−４４９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１の手法に従って立体物を検出するためには、路面上の特徴点の認識が必須である。カメラから得た画像より抽出された多数の特徴点の中には路面上の特徴点が含まれているのではあるが、画像より抽出された各特徴点が路面上の特徴点であるのか立体物上の特徴点であるのかを判別する方法が提案されていないのが実情である。このため、この特許文献１の手法では、画像中の立体物領域を良好に推定することができない。また、カメラ運動パラメータを路面上の５点以上の特徴点情報を用いて最小二乗法により求める演算は煩雑であり、システム構成の簡素化を阻害する。
【０００８】
そこで本発明は、カメラから得た画像に基づいて良好に立体物領域を推定することができる運転支援システム及び立体物領域推定方法を提供することを目的とする。また、本発明は、それを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから得られるカメラ座標面上のカメラ画像に基づいて前記カメラ画像に基づく画像中の立体物領域を推定する運転支援システムにおいて、前記移動体の移動中の互いに異なる第１及び第２の時刻にて前記カメラが撮影した第１及び第２のカメラ画像を取得する画像取得手段と、前記第１のカメラ画像からｎ個の特徴点（ｎは２以上の整数）を抽出するとともに、前記第１と第２のカメラ画像間における前記カメラ座標面上の各特徴点の移動ベクトルを検出する移動ベクトル検出手段と、各カメラ画像並びに前記カメラ座標面上における各特徴点及び各移動ベクトルを地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに前記第１の鳥瞰図画像上の各特徴点の位置及び前記第１と第２の鳥瞰図画像間における前記鳥瞰図座標面上の各特徴点の移動ベクトルを検出する鳥瞰変換手段と、地面上に位置する地面特徴点が満たすべき拘束条件を用いて前記第１の鳥瞰図画像上の着目した特徴点が前記地面特徴点であるか否かを判別する判別手段と、前記地面特徴点であると判別された２以上の特徴点についての、前記第１の鳥瞰図画像上の位置及び前記鳥瞰図座標面上の移動ベクトルに基づいて前記第１と第２の時刻間における前記移動体の移動情報を推定する移動情報推定手段と、前記第１及び第２の鳥瞰図画像と前記移動情報に基づいて前記立体物領域を推定する立体物領域推定手段と、を備えたことを特徴とする。
【００１０】
これにより、地面特徴点を検出することが可能となるため、立体物領域の良好なる推定が期待される。
【００１１】
具体的には例えば、前記拘束条件は、前記第１と第２の時刻間における前記移動体の回転角及び平行移動量と、前記地面特徴点の前記第１の鳥瞰図画像上での位置及び前記鳥瞰図座標面上での移動ベクトルと、が満たすべき関係を規定する。
【００１２】
また例えば、前記判別手段は、前記第１の鳥瞰図画像上の前記ｎ個の特徴点の中から２以上の特徴点を着目特徴点として抽出し、それらの着目特徴点が前記拘束条件を充足するか否かを判別することによって前記着目特徴点が前記地面特徴点であるか否かを判別する。
【００１３】
より具体的には例えば、前記判別手段は、前記第１の鳥瞰図画像上の前記ｎ個の特徴点の中から２以上の特徴点を着目特徴点として抽出し、前記２以上の着目特徴点を前記地面特徴点であると仮定して前記関係に当てはめることで、前記回転角の推定値及び前記平行移動量の推定値を２つずつ以上求め、前記回転角の推定値のばらつき及び前記平行移動量の推定値のばらつきに基づいて、前記着目特徴点が前記地面特徴点であるか否かを判別する。
【００１４】
また例えば、前記移動情報は、前記移動体の回転角及び平行移動量を表す情報を含む。
【００１５】
また具体的には例えば、前記立体物領域推定手段は、前記移動情報に基づいて、第１と第２の時刻間の前記移動体の移動に由来する前記第１と第２の鳥瞰図画像間の位置ずれを補正し、補正後の前記第１と第２の鳥瞰図画像の対比結果に基づいて前記立体物領域を推定する。
【００１６】
また具体的には例えば、推定される前記立体物領域は、前記第１のカメラ画像、前記第２のカメラ画像、前記第１の鳥瞰図画像、又は、前記第２の鳥瞰図画像内における、立体物の描画領域に対応する。
【００１７】
本発明に係る車両には、上記の何れかに記載の運転支援システムが設置されている。
【００１８】
本発明に係る立体物領域推定方法は、移動体に取り付けられて前記移動体の周辺を撮影するカメラから得られるカメラ座標面上のカメラ画像に基づいて前記カメラ画像に基づく画像中の立体物領域を推定する立体物領域推定方法において、前記移動体の移動中の互いに異なる第１及び第２の時刻にて前記カメラが撮影した第１及び第２のカメラ画像を取得する画像取得ステップと、前記第１のカメラ画像からｎ個の特徴点（ｎは２以上の整数）を抽出するとともに、前記第１と第２のカメラ画像間における前記カメラ座標面上の各特徴点の移動ベクトルを検出する移動ベクトル検出ステップと、各カメラ画像並びに前記カメラ座標面上における各特徴点及び各移動ベクトルを地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換するとともに前記第１の鳥瞰図画像上の各特徴点の位置及び前記第１と第２の鳥瞰図画像間における前記鳥瞰図座標面上の各特徴点の移動ベクトルを検出する鳥瞰変換ステップと、  地面上に位置する地面特徴点が満たすべき拘束条件を用いて前記第１の鳥瞰図画像上の着目した特徴点が前記地面特徴点であるか否かを判別する判別ステップと、前記地面特徴点であると判別された２以上の特徴点についての、前記第１の鳥瞰図画像上の位置及び前記鳥瞰図座標面上の移動ベクトルに基づいて前記第１と第２の時刻間における前記移動体の移動情報を推定する移動情報推定ステップと、前記第１及び第２の鳥瞰図画像と前記移動情報に基づいて前記立体物領域を推定する立体物領域推定ステップと、を備えたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、カメラから得た画像に基づいて良好に立体物領域を推定することができる。
【００２０】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２２】
図１に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。図１の運転支援システムは、単眼カメラとしてのカメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
【００２３】
カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。
【００２４】
図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えば自動車である。水平面とカメラ１の光軸とのなす角には、図２にθAで表される角度とθBで表される角度とがある。角度θBは、一般的には、見下ろし角または俯角と呼ばれている。今、角度θAを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θA＜１８０°且つθA＋θB＝１８０°、が成立する。
【００２５】
カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。
【００２６】
カメラ１として、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
【００２７】
画像処理装置２は、座標変換を用い、カメラ画像を仮想カメラの視点から見た画像に変換することによって鳥瞰図画像を生成する。カメラ画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。
【００２８】
カメラ１の光軸方向に直交する面をカメラ座標面とする。図３に、カメラ座標面を面Ｐbuで表す。カメラ座標面は、固体撮像素子の撮像面に平行なカメラ画像の投影面であり、カメラ画像はカメラ座標面上に二次元配列された各画素によって形成される。また、カメラ１の光学中心をＯで表すと共に、光学中心Ｏを通り且つカメラ１の光軸方向に平行な軸をＺ軸とする。Ｚ軸とカメラ座標面との交点をカメラ画像の原点とし、原点で直交する、カメラ座標面上の座標軸をＸbu軸及びＹbu軸とする。Ｘbu軸及びＹbu軸は、夫々、カメラ画像の水平方向及び垂直方向と平行である。そして、カメラ画像上の或る画素の位置を座標値（ｘbu，ｙbu）で表す。ｘbu及びｙbuは、夫々、その画素の、カメラ画像上の水平位置及び垂直位置を表している。
【００２９】
また、地面に平行な面を鳥瞰図座標面をとする。図４に、カメラ座標面を表す面Ｐbuと共に鳥瞰図座標面を表す面Ｐauを示す。鳥瞰図画像は、鳥瞰図座標面上に二次元配列された各画素によって形成される。鳥瞰図座標面上の直交座標軸をＸau軸及びＹau軸とする。Ｘau軸及びＹau軸は、夫々、鳥瞰図画像の水平方向及び垂直方向と平行である。そして、鳥瞰図画像上の或る画素の位置を座標値（ｘbu，ｙbu）で表す。ｘbu及びｙbuは、夫々、その画素の、鳥瞰図画像上の水平位置及び垂直位置を表している。
【００３０】
鳥瞰図画像は、カメラ座標面上に定義されるカメラ画像を鳥瞰図座標面上に投影した画像に相当し、この投影を行うための鳥瞰変換を公知の座標変換によって実現できる。例えば、透視投影変換を用いる場合、カメラ画像上の各画素の座標値（ｘbu，ｙbu）を下記式（Ａ−１）に従って鳥瞰図画像上の座標値（ｘau，ｙau）に変換することにより鳥瞰図画像を生成することができる。ここで、ｆ、ｈ及びＨは、カメラ１の焦点距離、カメラ１が配置されている高さ及び上記の仮想カメラが配置されている高さである。尚、画像処理装置２は、ｆ、ｈ、Ｈ及びθA（図２参照）の各値を予め認識しているものとする。
【００３１】
【数１】
2009129001.tif 000003
【００３２】
実際には、式（Ａ−１）に従ってカメラ画像上の各画素の座標値（ｘbu，ｙbu）と鳥瞰図画像上の各画素の座標値（ｘau，ｙau）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリに予め格納することでルックアップテーブル（以下、「鳥瞰変換用ＬＵＴ」という）を形成する。そして、この鳥瞰変換用ＬＵＴを用いてカメラ画像を鳥瞰図画像に変換するようにする。勿論、カメラ画像が得られる度に式（Ａ−１）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。
【００３３】
以下に、図１の運転支援システムの動作内容又は構成を詳細に説明する実施例として、第１〜第３実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。
【００３４】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図１の画像処理装置２は、カメラ１から所定の周期にてカメラ画像を取り込み、順次得られるカメラ画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。
【００３５】
画像処理装置２は、画像内における立体物領域を推定する機能を備える。立体物領域とは、立体物が描画されている領域を意味する。立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。立体物は、車両１００の走行にとっての障害物となる。
【００３６】
鳥瞰変換では、鳥瞰図画像が地表面において連続性を有するように座標変換が行われる。従って、同一の立体物を互いに異なる２つの視点で撮影して２つの鳥瞰図画像を得た場合、原理上、両鳥瞰図画像間において、路面の画像は一致するが立体物の画像は一致しない（例えば、特開２００６−２６８０７６号公報参照）。本実施例では、この特性を利用して、立体物領域を推定する。
【００３７】
図５を参照して、立体物領域の推定手法を説明する。図５は、この推定の手順を表すフローチャートである。図５に示すステップＳ１１〜Ｓ１８の各処理は、図１の画像処理装置２にて実行される。
【００３８】
立体物領域を推定するためには、異なる時刻で撮影された複数のカメラ画像が必要である。そこで、ステップＳ１１において、画像処理装置２は、異なる時刻で撮影された複数のカメラ画像を取り込む。取り込んだ複数のカメラ画像が、時刻ｔ１の撮影によって得られたカメラ画像（以下、時刻ｔ１のカメラ画像とも呼ぶ）と、時刻ｔ２の撮影によって得られたカメラ画像（以下、時刻ｔ２のカメラ画像とも呼ぶ）と、を含むものとする。また、以下、時刻ｔ１及びｔ２のカメラ画像を、それぞれカメラ画像Ｉ１及びＩ２にて表す。時刻ｔ１の後に時刻ｔ２が訪れるものとする。厳密には例えば、時刻ｔ１はカメラ画像Ｉ１の露光期間の中間時刻を表し、時刻ｔ２はカメラ画像Ｉ２の露光期間の中間時刻を表す。また、時刻ｔ１−ｔ２間において、車両１００が移動しているものとする。従って、時刻ｔ１におけるカメラ１の視点と時刻ｔ２におけるカメラ１の視点は異なる。
【００３９】
カメラ画像Ｉ１及びＩ２を取得した後、ステップＳ１２において、カメラ画像Ｉ１から複数の特徴点（例えば、１０００個）が抽出される。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂、立体物の端部や汚れなどを想定している。
【００４０】
ステップＳ１２に続くステップＳ１３において、カメラ画像Ｉ１とカメラ画像Ｉ２を対比することにより、ステップＳ１２にて抽出された各特徴点の移動ベクトルを求める。ここで求められる移動ベクトルは、カメラ画像Ｉ１とカメラ画像Ｉ２との間における（換言すれば、時刻ｔ１−ｔ２間における）、カメラ座標面上の移動ベクトルである。２つの画像間における或る特徴点の移動ベクトルは、その２つの画像間における該特徴点の移動の向き及び大きさを表す。ここでは、大きな移動量に対応することができる公知の階層化Lucas&Kanadeアルゴリズムを用いて移動ベクトルを求める。勿論、ブロックマッチング法や勾配法を用いて移動ベクトルを求めることも可能である。尚、移動ベクトルは、一般的にオプティカルフロー又は動きベクトルとも呼ばれる。
【００４１】
ステップＳ１３に続くステップＳ１４では、ステップＳ１１にて取り込んだ各カメラ画像を、上記式（Ａ−１）に基づく鳥瞰変換用ＬＵＴに従って鳥瞰図画像に変換する。カメラ画像Ｉ１及びＩ２に基づく鳥瞰図画像をそれぞれ時刻ｔ１及び時刻ｔ２の鳥瞰図画像と呼ぶと共に、時刻ｔ１及び時刻ｔ２の鳥瞰図画像をそれぞれ鳥瞰図画像ＴＩ１及びＴＩ２にて表す。鳥瞰図画像ＴＩ１及びＴＩ２は、夫々、カメラ画像Ｉ１及びＩ２を鳥瞰図座標面上に投影した画像に相当する。
【００４２】
ステップＳ１４に続くステップＳ１５では、ステップＳ１２にてカメラ画像Ｉ１から抽出された各特徴点と、ステップＳ１３にて算出された各移動ベクトルと、を鳥瞰図座標面上にマッピングする（換言すれば、鳥瞰図座標面上に投影する）。このマッピングも、上記式（Ａ−１）に基づく鳥瞰変換用ＬＵＴ（または式（Ａ−１）そのもの）に従って行われる。このマッピングにより、カメラ画像Ｉ１上の各特徴点が鳥瞰図画像ＴＩ１上にマッピングされて鳥瞰図画像ＴＩ１上における各特徴点の位置（即ち、各特徴点の座標値（ｘbu，ｙbu））が求まると共に、カメラ座標面上の各移動ベクトルが鳥瞰図座標面上にマッピングされて鳥瞰図座標面上の各特徴点の移動ベクトルが求まる。ここで求められる移動ベクトルは、言うまでもなく、鳥瞰図画像ＴＩ１と鳥瞰図画像ＴＩ２との間における（換言すれば、時刻ｔ１−ｔ２間における）移動ベクトルである。
【００４３】
図６（ａ）の画像２１０及び図６（ｂ）の画像２２０は、夫々、カメラ画像Ｉ１及びカメラ画像Ｉ２の例を示しており、画像２１０中の点２１１〜２１４は、ステップＳ１２にて画像２１０から抽出された第１〜第４の特徴点を示している。特徴点２１１〜２１４は、路面に描かれた正方形の白線の４つ角に相当する。また、画像２２０中の点２２１〜２２４は、特徴点２１１〜２１４に対応する、画像２２０中の特徴点を示している。画像２１０及び画像２２０を取得する際、車両１００は真っ直ぐ後方に移動しているものとする。図７に、カメラ画像Ｉ１及びＩ２としての画像２１０及び２２０の対比から求められた、カメラ座標面上における第１〜第４の特徴点の移動ベクトル２３１〜２３４を示している。尚、図７には、画像２１０中の白線が破線によって且つ画像２２０中の白線が実線によって重畳図示されている（後述の図９も同様）。
【００４４】
図８（ａ）及び（ｂ）の画像２１０ａ及び画像２２０ａは、夫々、図６（ａ）及び（ｂ）の画像２１０及び２２０に基づく鳥瞰図画像であり、図９の移動ベクトル２５１〜２５４は、図７の移動ベクトル２３１〜２３４を鳥瞰図座標面上にマッピングした（換言すれば投影した）ものである。
【００４５】
図７からも分かるように、車両１００が真っ直ぐ後方に移動しているにも拘らず、地面上の各特徴点の移動ベクトルの大きさ及び向きは、カメラ座標面上においては揃わない。これに対して、それらは鳥瞰図座標面上においては揃っていることが分かる（図９参照）。
【００４６】
図１０（ａ）及び（ｂ）並びに図１１（ａ）及び（ｂ）に、実際のカメラ画像に基づく画像を例示する。図１０（ａ）の画像３０１は、車両１００が真っ直ぐ後方に移動している時に得られるカメラ画像にカメラ座標面上の移動ベクトル群を重畳して示したものであり、図１０（ｂ）の画像３０２は、その移動ベクトル群の鳥瞰図座標面上への投影結果を鳥瞰図画像に重畳して示したものである。尚、画像３０１の下方には、車両１００のトランク部分が描写されている。図１０（ａ）及び（ｂ）からも、図７及び図９で示したような、移動ベクトルの均一性の相違が見て取れる。また、図１１（ａ）の画像３１１は、車両１００が曲がりながら後方に進行している時に得られるカメラ画像にカメラ座標面上の移動ベクトル群を重畳して示したものであり、図１１（ｂ）の画像３１２は、その移動ベクトル群の鳥瞰図座標面上への投影結果を鳥瞰図画像に重畳して示したものである。
【００４７】
上述したように、或る着目した２つの特徴点が地面上に位置する特徴点であるならば、その２つの特徴点の、鳥瞰図座標面上における移動ベクトルは均一となる。但し、それらの特徴点が立体物上に位置すれば、原理上、その均一性は崩れる。ステップＳ１５に続くステップＳ１６では、この特性を利用して地面上に位置する特徴点を抽出する。以下、地面上に位置する特徴点を地面特徴点と呼び、立体物上に位置する特徴点を立体物特徴点と呼ぶ。実空間上において、地面特徴点が位置する高さはゼロ（又は実質的にゼロ）であり、地面特徴点に分類されない特徴点は全て立体物特徴点である。
【００４８】
ステップＳ１６の処理の原理を説明する。尚、本明細書の以下の説明文において、移動ベクトルとは、特に断りなき限り、時刻ｔ１−ｔ２間の鳥瞰図座標面上における移動ベクトルを意味するものとする。
【００４９】
今、１つの地面特徴点に着目し、その地面特徴点の、鳥瞰図画像ＴＩ１及びＴＩ２上の座標値（ｘau，ｙau）を夫々（ｘ1，ｙ1）及び（ｘ2，ｙ2）で表す。また、その着目した地面特徴点の移動ベクトルを（ｆx，ｆy）で表す。ｆx及びｆyは、夫々、その移動ベクトルの水平成分（即ち、Ｘau軸成分）及び垂直成分（即ち、Ｙau軸成分）である（図４参照）。そうすると、下記式（Ｂ−１）が成立する。
【００５０】
【数２】
2009129001.tif 000004
【００５１】
また、図１２に示す如く、時刻ｔ１−ｔ２間において車両１００が曲がりながら移動していることを想定し、その移動における車両１００の回転角をθで表す。回転角θは、時刻ｔ１におけるカメラ１の光軸と時刻ｔ２におけるそれとの成す角度に等しい。車両１００の移動は、平行移動成分と回転角θで表される回転成分とで形成される。図１２は、車両１００を上方から見た平面図であり、破線１００ａで描かれた車両は時刻ｔ１における車両１００を、実線１００ｂで描かれた車両は時刻ｔ２における車両１００を表している。カメラ１は、車両１００の特定部位に固定されているため、車両１００の移動に伴ってカメラ１も同じだけ移動する。
【００５２】
一方、カメラ１の光学中心を原点とする３次元直交座標系を考える。図１３には、時刻ｔ１における３次元直交座標系と時刻ｔ２における３次元直交座標系との空間配置関係が示されている。時刻ｔ１における３次元直交座標系は、互いに直交する軸３５１、３５２及び３５３を座標軸とし、軸３５１、３５２及び３５３が交差する原点３５０を時刻ｔ１におけるカメラ１の光学中心とする。時刻ｔ２における３次元直交座標系は、互いに直交する軸３６１、３６２及び３６３を座標軸とし、軸３６１、３６２及び３６３が交差する原点３６０を時刻ｔ２におけるカメラ１の光学中心とする。軸３５１、３５２、３６１及び３６２は路面に平行であり、軸３５３及び３６３は路面に直交する。時刻ｔ１−ｔ２間の車両１００の移動によって、３次元直交座標系の３つの座標軸は、軸３５１、３５２及び３５３から軸３６１、３６２及び３６３へと変化する。
【００５３】
図１３の点３７１は、ワールド座標系上で固定された着目した地面特徴点を表している。実空間上における地面特徴点の、鳥瞰図座標面上への投影点が、鳥瞰図画像上の地面特徴点となる。破線矢印３７０は、時刻ｔ１−ｔ２間における車両１００及びカメラ１の平行移動量を表している。この平行移動量は二次元のベクトル量であり、それを平行移動ベクトルと呼ぶこともできる。時刻ｔ１の３次元直交座標系をこの平行移動量分だけ平行移動させ且つ路面に直交する軸を回転軸として回転角θだけ回転させたものが、時刻ｔ２の３次元直交座標系である。時刻ｔ１−ｔ２間の車両１００の移動に伴う鳥瞰図座標面上における地面特徴点の平行移動量を（Ｔx，Ｔy）で表す。Ｔx及びＴyは、夫々、鳥瞰図座標面上における地面特徴点の平行移動量の水平成分（即ち、Ｘau軸成分）及び垂直成分（即ち、Ｙau軸成分）である。
【００５４】
上記のような回転角θ及び平行移動量（Ｔx，Ｔy）を用いると下記式（Ｂ−２）の関係式が得られる。
【００５５】
【数３】
2009129001.tif 000005
【００５６】
通常、カメラ画像Ｉ１及びＩ２は時間的に隣接する２つのフレームで連続的に取得される。従って、車両１００が低速で移動する場合或いはフレームレートが十分に高い場合は、ｃｏｓθ≒１且つｓｉｎθ≒θ、と近似することができる。この近似を式（Ｂ−２）に適用すると式（Ｂ−３）が得られる。
【００５７】
【数４】
2009129001.tif 000006
【００５８】
更に、上記式（Ｂ−１）を式（Ｂ−３）に代入して変形すると式（Ｂ−４）が得られる。
【００５９】
【数５】
2009129001.tif 000007
【００６０】
ここで、ｆx、ｆy、ｙ1及び（−ｘ1）の各値は、図５のステップＳ１５の処理結果から得ることができる。一方で、θ、Ｔx及びＴyの各値は未知である。仮に、地面特徴点の位置及び移動ベクトルに関する情報が２組あれば、この３つの未知数を求めることができる。一方の地面特徴点にとってのθ、Ｔx及びＴyと、他方の地面特徴点にとってのそれらは同じとなるはずだからである。
【００６１】
そこで、鳥瞰図画像ＴＩ１上の異なる第１及び第２の地面特徴点に着目する。鳥瞰図画像ＴＩ１上における、第１及び第２の地面特徴点の座標値（ｘau，ｙau）が夫々（ｘ11，ｙ11）及び（ｘ12，ｙ12）であるとする。加えて、その第１及び第２の地面特徴点の移動ベクトルが夫々（ｆx1，ｆy1）及び（ｆx2，ｆy2）で表されるとする。そうすると、上記式（Ｂ−４）から下記式（Ｂ−５ａ）及び（Ｂ−５ｂ）が得られる。また、式（Ｂ−５ａ）と式（Ｂ−５ｂ）の差から式（Ｂ−６）が得られ、更に、式（Ｂ−６）から式（Ｂ−７ａ）及び（Ｂ−７ｂ）が得られる。
【００６２】
【数６】
2009129001.tif 000008
【数７】
2009129001.tif 000009
【数８】
2009129001.tif 000010
【００６３】
式（Ｂ−７ａ）及び（Ｂ−７ｂ）によって回転角θの値が２つ算出され、その２つの回転角θの値を夫々式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入すれば平行移動量（Ｔx，Ｔy）の値も２つ算出される。（ｘ11，ｙ11）及び（ｘ12，ｙ12）並びに（ｆx1，ｆy1）及び（ｆx2，ｆy2）の各値が真に地面特徴点に関する値であるならば、算出された２つの回転角θの値は完全に一致或いは実質的に一致し、且つ、算出された２つの平行移動量（Ｔx，Ｔy）の値は完全に一致或いは実質的に一致する。従って、鳥瞰図画像ＴＩ１上の任意の２つの特徴点に対してこの一致性を検証すれば、その２つの特徴点が地面特徴点であるか否かを判別可能である。
【００６４】
具体的には、以下のようにして図５のステップＳ１６の処理を行う。図１４は、ステップＳ１６の詳細フローチャートを示している。ステップＳ１６の処理は、図１４のステップＳ３１〜Ｓ３７の各処理から形成される。
【００６５】
まず、ステップＳ３１では、図５のステップＳ１５のマッピングによって鳥瞰図画像ＴＩ１上に形成された複数の特徴点の中から２つの特徴点を選択する。ここで、選択した２つの特徴点を着目特徴点と呼ぶ。例えば、鳥瞰図画像ＴＩ１上で、或る基準距離以上離れた２つの特徴点を選択する。
【００６６】
また、図１５に示す如く、２つの着目特徴点の、鳥瞰図画像ＴＩ１上における座標値（ｘau，ｙau）を（ｘL1，ｙL1）及び（ｘL2，ｙL2）で表すと共に、２つの着目特徴点の移動ベクトルをＶＥＣ１及びＶＥＣ２で表す。更に、移動ベクトルＶＥＣ１の水平成分及び垂直成分をｆLx1及びｆLy1とし、移動ベクトルＶＥＣ２の水平成分及び垂直成分をｆLx2及びｆLy2とする。
【００６７】
続くステップＳ３２において、２つの着目特徴点の移動ベクトルＶＥＣ１及びＶＥＣ２が類似しているかを判断する。類似性は、ベクトルの大きさと向きの双方に対して評価される。ベクトルＶＥＣ１及びＶＥＣ２の大きさを、夫々、｜ＶＥＣ１｜及び｜ＶＥＣ２｜で表す。また、図１５に示す如く、移動ベクトルＶＥＣ１と水平ラインとの成す角度をφ1で表し、且つ、移動ベクトルＶＥＣ２と水平ラインとの成す角度をφ2で表す。但し、角度φ1及びφ2は、水平ラインから反時計回り方向に移動ベクトルを見た時の角度であるとする。そして例えば、（｜ＶＥＣ１｜―｜ＶＥＣ２｜）の絶対値が所定の正の閾値ＶＥＣTH以下であって且つ｜φ1−φ2｜が所定の正の閾値φTH以下である場合に、移動ベクトルＶＥＣ１及びＶＥＣ２が類似していると判断してステップＳ３３に移行し、そうでない場合は類似していないと判断してステップＳ３１に戻って、特徴点を選択し直す。両ベクトルが類似していなければ、２つの着目特徴点の内の少なくとも一方は地面特徴点でないと推測されるからである。
【００６８】
ステップＳ３３では、着目特徴点の特徴点情報を式（Ｂ−７ａ）及び（Ｂ−７ｂ）に代入する。ここで、着目特徴点の特徴点情報とは、着目特徴点の座標値（例えば、（ｘL1，ｙL1））と移動ベクトルを表す情報である。即ち、ステップＳ３３において、ｘL1、ｙL1、ｘL2、ｙL2、ｆLx1、ｆLy1、ｆLx2及びｆLy2を、式（Ｂ−７ａ）及び（Ｂ−７ｂ）のｘ11、ｙ11、ｘ12、ｙ12、ｆx1、ｆy1、ｆx2及びｆy2に代入する。そして、この代入の結果、式（Ｂ−７ａ）及び（Ｂ−７ｂ）から得られるθを、夫々θ1及びθ2とする。このθ1及びθ2は、２つの着目特徴点が地面特徴点であると仮定した上で得られる、回転角θの推定値と呼べる。
【００６９】
ステップＳ３３に続くステップＳ３４では、θ1とθ2の差の絶対値Δθ（＝｜θ1−θ2｜）が所定の正の基準角度θTHよりも大きいか否かを判断し、Δθ＞θTHが成立する場合は、２つの着目特徴点の内の少なくとも一方は地面特徴点でないと推測してステップＳ３１に戻り、特徴点を選択し直す。一方、Δθ＞θTHが成立しない場合は、ステップＳ３５に進んで、θ1及びθ2をθとして夫々式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入することにより平行移動量（Ｔx，Ｔy）を求める。この際、着目特徴点の特徴点情報を式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入するようにする。即ち、ｘL1、ｙL1、ｘL2、ｙL2、ｆLx1、ｆLy1、ｆLx2及びｆLy2を、式（Ｂ−５ａ）及び（Ｂ−５ｂ）のｘ11、ｙ11、ｘ12、ｙ12、ｆx1、ｆy1、ｆx2及びｆy2に代入する。式（Ｂ−５ａ）から求められた（Ｔx，Ｔy）を（Ｔx1，Ｔy1）とし且つ、式（Ｂ−５ｂ）から求められた（Ｔx，Ｔy）を（Ｔx2，Ｔy2）とする。（Ｔx1，Ｔy1）及び（Ｔx2，Ｔy2）は、２つの着目特徴点が地面特徴点であると仮定した上で得られる、平行移動量（Ｔx，Ｔy）の推定値と呼べる。
【００７０】
その後、ステップＳ３６において、ΔＬ＝（Ｔx1−Ｔx2）2＋（Ｔy1−Ｔy2）2を算出し、ΔＬが所定の正の閾値ＬTHより大きいか否かを判断する。そして、ΔＬ＞ＬTHが成立する場合は、２つの着目特徴点の内の少なくとも一方は地面特徴点でないと推測してステップＳ３１に戻り、特徴点を選択し直す。一方、ΔＬ＞ＬTHが成立しない場合はステップＳ３７に進み、その時点で選択されている２つの着目特徴点が地面特徴点であると判断する。
【００７１】
ステップＳ３７を介して２つの地面特徴点が検出されると、図５のステップＳ１６からステップＳ１７に移行し、地面特徴点情報に基づいて、回転角θ及び平行移動量（Ｔx，Ｔy）を表す車両移動情報を生成する。地面特徴点情報とは、地面特徴点であると判断された特徴点の座標値と移動ベクトルを表す情報である。勿論、この座標値は、鳥瞰図画像ＴＩ１上の座標値である。上述の如く、ステップＳ３１にて２つの着目特徴点を設定する場合は、２点分の地面特徴点情報に基づいて車両移動情報を生成する。実際には、２点分の地面特徴点情報に基づいて既に図１４のステップＳ３３で得られた、回転角θの２つの推定値θ1及びθ2を平均化し、且つ、２点分の地面特徴点情報に基づいて既に図１４のステップＳ３５で得られた、平行移動量（Ｔx，Ｔy）の２組の推定値（Ｔx1，Ｔy1）及び（Ｔx2，Ｔy2）を平均化することで、車両移動情報を生成する。即ち、θ＝（θ1＋θ2）／２、Ｔx＝（Ｔx1＋Ｔx2）／２且つＴy＝（Ｔy1＋Ｔy2）／２、に従って車両移動情報を生成する。
【００７２】
上述の方法では２つの特徴点を着目特徴点として選択するようにしているが、３以上の特徴点を着目特徴点として選択するようにしてもよい。例えば、図１４のステップＳ３１において４つの特徴点を着目特徴点として選択する場合は、以下のように処理する。まず、４つの着目特徴点の移動ベクトルの類似性を評価し、それらが互いに類似していないと判断された場合は、ステップＳ３３の処理を行うことなく、特徴点を選択し直す。それらが互いに類似していると判断された場合は、４つの着目特徴点を、各々が２つの着目特徴点から成る第１の組と第２の組に分ける。そして、第１の組についての着目特徴点の特徴点情報を式（Ｂ−７ａ）及び（Ｂ−７ｂ）に代入し、この代入の結果、式（Ｂ−７ａ）及び（Ｂ−７ｂ）から得られるθを、夫々θ1及びθ2とする。一方、第２の組についての着目特徴点の特徴点情報を式（Ｂ−７ａ）及び（Ｂ−７ｂ）に代入し、この代入の結果、式（Ｂ−７ａ）及び（Ｂ−７ｂ）から得られるθを、夫々θ3及びθ4とする。そして、下記式（Ｃ−１）に従ってΔθ1-4を算出する。即ち、（ｉ，ｊ）＝（１，２）、（１，３）、（１，４）、（２，３）、（２，４）及び（３，４）に対する｜θi〜θj｜の総和をΔθ1-4とする。
【００７３】
【数９】
2009129001.tif 000011
【００７４】
そして、Δθ1-4が所定の正の閾値よりも大きい場合はステップＳ３１に戻って特徴点を選択し直す。一方、そうでない場合は、第１及び第２の組の夫々に着目して平行移動量（Ｔx，Ｔy）を求める。まず、第１の組に着目し、第１の組についての着目特徴点の特徴点情報を式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入しつつθ1及びθ2をθとして夫々式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入することにより平行移動量（Ｔx，Ｔy）を求める。この結果、式（Ｂ−５ａ）から求められた（Ｔx，Ｔy）を（Ｔx1，Ｔy1）とし且つ式（Ｂ−５ｂ）から求められた（Ｔx，Ｔy）を（Ｔx2，Ｔy2）とする。次に、第２の組に着目し、第２の組についての着目特徴点の特徴点情報を式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入しつつθ3及びθ4をθとして夫々式（Ｂ−５ａ）及び（Ｂ−５ｂ）に代入することにより平行移動量（Ｔx，Ｔy）を求める。この結果、式（Ｂ−５ａ）から求められた（Ｔx，Ｔy）を（Ｔx3，Ｔy4）とし且つ式（Ｂ−５ｂ）から求められた（Ｔx，Ｔy）を（Ｔx4，Ｔy4）とする。この後、下記式（Ｃ−２）に従ってΔＬ1-4を算出する。即ち、（ｉ，ｊ）＝（１，２）、（１，３）、（１，４）、（２，３）、（２，４）及び（３，４）に対する｛（Ｔxi−Ｔxj）2＋（Ｔyi−Ｔyj）2｝の総和をΔＬ1-4とする。
【００７５】
【数１０】
2009129001.tif 000012
【００７６】
そして、ΔＬ1-4が所定の正の閾値よりも大きい場合はステップＳ３１に戻って特徴点を選択し直す。一方、そうでない場合はステップＳ３７に移行して４つの着目特徴点が地面特徴点であると判断し、その４つの地面特徴点の地面特徴点情報に基づくθi、Ｔxi及びＴyi（ここで、ｉ＝１，２，３，４）を用い、θ＝（θ1＋θ2＋θ3＋θ4）／４、Ｔx＝（Ｔx1＋Ｔx2＋Ｔx3＋Ｔx4）／４且つＴy＝（Ｔy1＋Ｔy2＋Ｔy3＋Ｔy4）／４、に従って車両移動情報を生成する。
【００７７】
上述の地面特徴点の抽出方法について考察を加える。上記の式（Ｂ−５ａ）、（Ｂ−５ｂ）、（Ｂ−７ａ）及び（Ｂ−７ｂ）は、回転角θ及び平行移動量（Ｔx，Ｔy）と、地面特徴点の座標値（ｘ11，ｙ11）及び（ｘ12，ｙ12）並びに移動ベクトル（ｆx1，ｆy1）及び（ｆx2，ｆy2）と、が満たすべき関係を規定する拘束式である。換言すれば、それらは、地面特徴点が満たすべき拘束条件を表している。上述の手法では、鳥瞰図画像ＴＩ１上の特徴点群の中から２以上の特徴点を着目特徴点として抽出して、その２以上の着目特徴点（以下、総称して、着目特徴点群ともいう）が上記の拘束条件を充足しているか否かを判断する。そして、充足している場合にのみ、各着目特徴点が地面特徴点であると判別する。
【００７８】
実際には、各着目特徴点が地面特徴点であると仮定した上で各着目特徴点についての特徴点情報を各拘束式に当てはめることで、回転角の推定値（θ1やθ2）を２以上求めると共に平行移動量の推定値（（Ｔx1，Ｔy1）や（Ｔx2，Ｔy2））を２以上求める。そして、回転角についての推定値のばらつきを表す指標（上記のΔθやΔθ1-4）及び平行移動量についての推定値のばらつきを表す指標（上記のΔＬやΔＬ1-4）を算出して、それらのばらつきの程度によって拘束条件の充足／不充足を判別する。回転角についての推定値のばらつきと平行移動量についての推定値のばらつきの双方が比較的小さい場合にのみ、拘束条件が充足していると判断され、図１４のステップＳ３７に至る。
【００７９】
尚、上述の手法では、車両１００が回転しながら（即ち曲がりながら）移動していることを想定して地面特徴点の抽出及び車両移動情報の生成を行っている。車両１００が直進している場合は、得られる回転角θは結果的にゼロとなる。直進状態は、回転角θがゼロの回転状態と捉えることができる。
【００８０】
図５を再度参照する。ステップＳ１７にて車両移動情報が生成されると、ステップＳ１８に移行する。時刻ｔ１−ｔ２間の車両１００の移動によって、鳥瞰図座標面上の地面特徴点は移動する。その地面特徴点の移動における回転角及び平行移動量は、車両移動情報が表す回転角θ及び平行移動量（Ｔx，Ｔy）そのものであると共に、時刻ｔ１−ｔ２間の車両１００の移動に由来する鳥瞰図画像ＴＩ１と鳥瞰図画像ＴＩ２との間の位置ずれ（地面における位置ずれ）を表している。従って、ステップＳ１８では、車両移動情報に基づいて該位置ずれを補正した後、両画像の差分画像ＤＩを生成する。そして、異なる視点で撮影した２つの鳥瞰図画像間において路面の画像は一致するが立体物の画像は一致しないという原理に基づいて、差分画像ＤＩから立体物領域を抽出する。
【００８１】
具体的には、回転角θ及び平行移動量（Ｔx，Ｔy）を用いた幾何学的変換を鳥瞰図画像ＴＩ１に対して施すことで参照画像ＴＳ１を生成する。この幾何学的変換は、上記式（Ｂ−３）に対応する下記式（Ｄ−１）に従って行われる。鳥瞰図画像ＴＩ１上で座標値（ｘau，ｙau）に位置する画素は、この幾何学的変換によって座標値（ｘau’，ｙau’）に位置する画素に変換され、変換後の各画素から参照画像ＴＳ１が形成される。参照画像ＴＳ１は、鳥瞰図座標面上で鳥瞰図画像ＴＩ１を回転角θにて回転し且つ平行移動量（Ｔx，Ｔy）にて平行移動した画像に相当する（実際には、θ≒０の近似を用いる）。
【００８２】
【数１１】
2009129001.tif 000013
【００８３】
図１６（ａ）、（ｂ）、（ｃ）及び（ｄ）の画像４０１、４０２、４０３及び４０４は、夫々、鳥瞰図画像ＴＩ１、参照画像ＴＳ１、鳥瞰図画像ＴＩ２及び差分画像ＤＩの例を示している。画像４０１〜４０３の中央付近に、路面上で直立している人物が現れている。尚、図１６（ｂ）及び（ｄ）には、画像４０１の外周枠に対応する破線枠が示されている（後述の図１７も同様）。
【００８４】
例えば、一般的なフレーム間差分を用いて差分画像ＤＩを生成することができる。即ち、参照画像ＴＳ１と鳥瞰図画像ＴＩ２との間で同一座標値における画素の画素値の差分値を画素ごとに算出し、その差分値を各画素の画素値として有する画像を差分画像ＤＩとする。図１６（ｄ）では、差分値の小さい画素を黒く、差分値の大きい画素を白く表している。
【００８５】
ステップＳ１８では、更に、差分画像ＤＩの各画素値を二値化することで二値化差分画像を生成する。即ち、差分画像ＤＩの各画素の画素値（即ち、上記の差分値）を所定の閾値と比較し、その閾値よりも大きな画素値を有する画素（以下、相違画素という）の画素値を１とする一方、そうでない画素値を有する画素（以下、非相違画素という）の画素値を０とする。図１７の画像４２０は、二値化差分画像の例を示している。図１７では、相違画素を白く、非相違画素を黒く表している。この後、二値化差分画像内を、相違画素が多く集まる領域と非相違画素が多く集まる領域とで分類し、前者の領域を囲む領域（例えば、矩形領域）を立体物領域として抽出する。尚、この際、微小数の相違画素群から形成される領域は局所ノイズに由来するなどと判断して、立体物領域から除外するとよい。二値化差分画像４２０から抽出された立体物領域を図１８に示す。符号４３１が付された破線枠内の領域が抽出された立体物領域である。
【００８６】
ここで抽出された立体物領域の位置及び大きさは、鳥瞰図画像ＴＩ２上における立体物領域の位置及び大きさとして取り扱われる。立体物領域以外の領域は、高さのない路面等が描画された地面領域であると推定する。そして例えば、図１９に示す如く、推定された立体物領域を他の領域と区別して視認可能とするための指標を鳥瞰図画像ＴＩ２に重畳した表示用画像を生成し、それを表示装置３に表示する。図１９において、画像４４０は鳥瞰図画像ＴＩ２であり、重畳表示された破線四角枠４４１内が立体物領域に相当する。
【００８７】
尚、鳥瞰図画像ＴＩ２上における立体物領域の位置及び大きさに基づいて、鳥瞰図画像ＴＩ１、カメラ画像Ｉ１又はカメラ画像Ｉ２上における立体物領域の位置及び大きさを推定するようにしてもよい。鳥瞰図画像ＴＩ１から参照画像ＴＳ１を得るための幾何学的変換の逆変換を、鳥瞰図画像ＴＩ２上における立体物領域に施せば、鳥瞰図画像ＴＩ１上における立体物領域の位置及び大きさも求まる。また、カメラ画像Ｉ１及びＩ２から鳥瞰図画像ＴＩ１及びＴＩ２を得るための幾何学的変換（上記の鳥瞰変換）の逆変換を、鳥瞰図画像ＴＩ１及びＴＩ２上における立体物領域に施せば、カメラ画像Ｉ１及びＩ２上における立体物領域の位置及び大きさも求まる。
【００８８】
本実施例によれば、簡素な演算処理によって地面特徴点を正確に抽出することできるため、車両移動情報及び立体物領域を軽い演算負荷で正確に推定することができる。正確な立体物領域の把握によって、運転操作が良好に支援される。
【００８９】
＜＜第２実施例＞＞
次に、第２実施例について説明する。第１実施例では、参照画像ＴＳ１と鳥瞰図画像ＴＩ２との間で画素ごとに画素値の差分をとることで差分画像ＤＩを生成しているが、この方法では、局所ノイズの影響を受けやすい。第２実施例では、局所ノイズの影響を受けにくい差分画像の生成方法及び立体物領域の推定方法を説明する。第２実施例は、第１実施例の一部を変形した実施例に相当し、第１実施例で記載した事項は、矛盾なき限り、第２実施例にも適用される。図５のステップＳ１１〜Ｓ１７の各処理とステップＳ１８の一部処理を介して鳥瞰図画像ＴＩ１及びＴＩ２並びに参照画像ＴＳ１が得られるまでの動作は、第１実施例と同じであるため、それ以後の処理内容について説明する。
【００９０】
第２実施例では、鳥瞰図画像ＴＩ２及び参照画像ＴＳ１の夫々を被演算画像として取り扱う。そして、図２０に示す如く、被演算画像の全体領域を水平方向及び垂直方向に複数に分割することにより被演算画像内に複数の小ブロックを設定する。今、水平方向及ぶ垂直方向の分割数を夫々Ｍ及びＮとする（Ｍ及びＮは２以上の整数）。各小ブロックは、（ｋ×ｋ）の画素から形成される（ｋは２以上の整数であって、例えばｋ＝８）。また、被演算画像内の小ブロックの水平位置及び垂直位置を表す記号としてｍ及びｎを導入する（ｍは１≦ｍ≦Ｍを満たす整数値、且つ、ｎは１≦ｎ≦Ｎを満たす整数値）。ｍが大きくなるほど、その水平位置は右方向に向かい、ｎが大きくなるほど、その垂直位置は下方向に向かうものとする。水平位置ｍと垂直位置ｎを併せてブロック位置（ｍ，ｎ）と表記することにする。
【００９１】
そして、鳥瞰図画像ＴＩ２内のブロック位置（ｍ，ｎ）の小ブロックと参照画像ＴＳ１内のブロック位置（ｍ，ｎ）の小ブロックとを互いに対応させる。尚、鳥瞰図画像ＴＩ１から参照画像ＴＳ１を生成する際の回転及び平行移動に由来して、同一の鳥瞰図座標面上に両画像を重ね合わせた場合、端部においてそれらが重なり合わない領域が生じるが（図１６（ｂ）及び（ｃ）参照）、今、そのような領域の存在を無視する。厳密には、例えば、両画像が重なり合う部分に含まれる矩形領域内画像を被演算画像として取り扱えばよい。
【００９２】
以上のように小ブロックを設定後、以下のように差分画像を生成する。差分画像の生成方法の例として、第１〜第３の生成方法を個別に説明する。
【００９３】
［第１の生成方法］
第１の生成方法を説明する。第１の生成方法では、各小ブロックの色空間ヒストグラムを求める。そして、鳥瞰図画像ＴＩ２と参照画像ＴＳ１との間で、色空間ヒストグラムを比較することによって相違度ε1を算出する。例えば、ＲＧＢ色空間をＱ個に分割することによりＲＧＢ色空間内に第１〜第Ｑの区分を設け、各画素の色情報に基づいて各画素をＲＧＢ色空間上に写像することにより各画素が属する区分を決定する（Ｑは２以上の整数）。尚、色空間ヒストグラムを求めるための色空間は、ＲＧＢ色空間以外（例えば、ＨＳＶ色空間）であってもよい。相違度ε1の算出はブロック位置ごとに行われるが、着目した１つのブロック位置についての相違度ε1の算出法を説明する。
【００９４】
図２１（ａ）は、鳥瞰図画像ＴＩ２内の着目ブロック位置における小ブロックの色空間ヒストグラムｈAを表し、図２１（ｂ）は、参照画像ＴＳ１内の着目ブロック位置における小ブロックの色空間ヒストグラムｈBを表している。前者の小ブロックを形成する画素の内、色情報が第ｑの区分に属する画素の個数をｈA（ｑ）で表し、後者の小ブロックを形成する画素の内、色情報が第ｑの区分に属する画素の個数をｈB（ｑ）で表す（１≦ｑ≦Ｑ）。そうすると、相違度ε1は下記式（Ｅ−１）に従って算出される。
【００９５】
【数１２】
2009129001.tif 000014
【００９６】
このような相違度ε1を各ブロック位置に対して求め、相違度ε1が所定の正の閾値よりも大きなブロック位置を特定し、鳥瞰図画像ＴＩ２内の特定されたブロック位置における各小ブロックを要素ブロックとして設定する。鳥瞰図画像ＴＩ２内の、要素ブロック以外の小ブロックを非要素ブロックと呼ぶ。そして、要素ブロック内の各画素の画素値を１とし、非要素ブロック内の画素の画素値を０とすることにより、二値化画像としての差分画像を得る。得られた差分画像の例を図２４（ａ）に示す。図２４（ａ）の差分画像では、要素ブロックを白く、非要素ブロックを黒く示している。
【００９７】
［第２の生成方法］
第２の生成方法を説明する。第２の生成方法では、各小ブロックのエッジ強度ヒストグラムを求める。そして、鳥瞰図画像ＴＩ２と参照画像ＴＳ１との間で、エッジ強度ヒストグラムを比較することによって相違度ε2を算出する。
【００９８】
具体的には、ラプラシアンフィルタ等の任意のエッジ抽出フィルタを用いて鳥瞰図画像ＴＩ２及び参照画像ＴＳ１の各画素に対してエッジ抽出処理を施すことにより、鳥瞰図画像ＴＩ２に基づく第１のエッジ抽出画像と参照画像ＴＳ１に基づく第２のエッジ抽出画像を生成する。周知の如く、エッジ抽出画像を形成する各画素の画素値はエッジ強度を表している。属すべきエッジ強度が互いに異なる第１〜第Ｑの区分を設け、エッジ抽出画像内の各画素の画素値（即ち、エッジ強度）に応じて各画素を第１〜第Ｑの区分の何れかに分類する（Ｑは２以上の整数）。
【００９９】
相違度ε2の算出はブロック位置ごとに行われるが、今、１つのブロック位置に着目する。図２２（ａ）は、第１のエッジ抽出画像内の着目ブロック位置における小ブロックのエッジ強度ヒストグラムｅAを表し、図２２（ｂ）は、第２のエッジ抽出画像内の着目ブロック位置における小ブロックのエッジ強度ヒストグラムｅBを表している。前者の小ブロックを形成する画素の内、エッジ強度が第ｑの区分に属する画素の個数をｅA（ｑ）で表し、後者の小ブロックを形成する画素の内、エッジ強度が第ｑの区分に属する画素の個数をｅB（ｑ）で表す（１≦ｑ≦Ｑ）。そうすると、相違度ε2は下記式（Ｅ−２）に従って算出される。
【０１００】
【数１３】
2009129001.tif 000015
【０１０１】
このような相違度ε2を各ブロック位置に対して求め、相違度ε2が所定の正の閾値よりも大きなブロック位置を特定し、鳥瞰図画像ＴＩ２内の特定されたブロック位置における各小ブロックを要素ブロックとして設定する。鳥瞰図画像ＴＩ２内の、要素ブロック以外の小ブロックを非要素ブロックと呼ぶ。そして、要素ブロック内の各画素の画素値を１とし、非要素ブロック内の画素の画素値を０とすることにより、二値化画像としての差分画像を得る。
【０１０２】
［第３の生成方法］
第３の生成方法を説明する。第３の生成方法では、各小ブロックのエッジ方向ヒストグラムを求める。そして、鳥瞰図画像ＴＩ２と参照画像ＴＳ１との間で、エッジ方向ヒストグラムを比較することによって相違度ε3を算出する。
【０１０３】
具体的には、ラプラシアンフィルタ等の任意のエッジ抽出フィルタを用いて鳥瞰図画像ＴＩ２及び参照画像ＴＳ１の各画素に対してエッジ抽出処理を施すことにより、鳥瞰図画像ＴＩ２及び参照画像ＴＳ１から多数のエッジを抽出し、抽出された各エッジのエッジ方向を検出する。エッジとは、画像中で明るさが急に変化する部分を意味し、エッジ方向とは、その明るさが急に変化する方向を指す。属すべきエッジ方向が互いに異なる第１〜第Ｑの区分を設け、エッジ方向が何れの方向を向いているかに応じて抽出された各エッジを第１〜第Ｑの区分の何れかに分類する（Ｑは２以上の整数）。
【０１０４】
相違度ε3の算出はブロック位置ごとに行われるが、今、１つのブロック位置に着目する。図２３（ａ）は、鳥瞰図画像ＴＩ２内の着目ブロック位置における小ブロックのエッジ方向ヒストグラムｄAを表し、図２３（ｂ）は、参照画像ＴＳ１内の着目ブロック位置における小ブロックのエッジ方向ヒストグラムｄBを表している。前者の小ブロックから抽出された複数のエッジの内、エッジ方向が第ｑの区分に属するエッジの個数をｄA（ｑ）で表し、後者の小ブロックから抽出された複数のエッジの内、エッジ方向が第ｑの区分に属するエッジの個数をｄB（ｑ）で表す（１≦ｑ≦Ｑ）。そうすると、相違度ε3は下記式（Ｅ−３）に従って算出される。
【０１０５】
【数１４】
2009129001.tif 000016
【０１０６】
このような相違度ε3を各ブロック位置に対して求め、相違度ε3が所定の正の閾値よりも大きなブロック位置を特定し、鳥瞰図画像ＴＩ２内の特定されたブロック位置における各小ブロックを要素ブロックとして設定する。鳥瞰図画像ＴＩ２内の、要素ブロック以外の小ブロックを非要素ブロックと呼ぶ。そして、要素ブロック内の各画素の画素値を１とし、非要素ブロック内の画素の画素値を０とすることにより、二値化画像としての差分画像を得る。
【０１０７】
［立体物領域の推定］
図２４（ｂ）に、上述の第１〜第３の生成方法の何れかを用いて設定された各要素ブロックを、鳥瞰図画像ＴＩ２の画像例である、図１６（ｃ）の画像４０３に重畳して示す。図２４（ｂ）において、破線枠内のブロックが要素ブロックである。単純には、設定された全要素ブロックの合成領域、又は、その合成領域を囲む領域（例えば矩形領域）を、鳥瞰図画像ＴＩ２上の立体物領域として推定することも可能である。
【０１０８】
但し、望ましくは、各要素ブロックを立体物領域の構成要素の候補と捉え、近傍位置にある要素ブロックの集まりを結合して結合領域を形成する領域結合処理及び他の要素ブロックと空間的に近接しない要素ブロックやサイズの小さな結合領域を消去する消去処理を行うことによって、最終的に立体物領域を特定するとよい。例えば、或る要素ブロックと他の要素ブロック（又は結合領域）とが空間的に互いに隣接するかを判断し、隣接する場合は両者を結合して新たに結合領域を形成する。この処理を、新たな結合が行われなくなるまで繰り返し実行してゆく。そして、得られた各結合領域のサイズを評価し、一定サイズ以下の結合領域及び他の要素ブロックと結合されなかった要素ブロックを消去して、最終的に残った結合領域又はその結合領域を囲む領域（例えば矩形領域）を鳥瞰図画像ＴＩ２上の立体物領域として推定する。結果、図１８の破線枠４３１で表されるような立体物領域が推定される。鳥瞰図画像ＴＩ２上の立体物領域が推定された後の動作は、第１実施例で述べた通りである。
【０１０９】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、上述の各実施例に対応する運転支援システムの機能ブロック図を例示する。図２５は、第３実施例に係る運転支援システムの機能ブロック図である。第３実施例に係る運転支援システムは、符号１１〜１７にて参照される各部位を含み、符号１１〜１７にて参照される部位は図１の画像処理装置２内に設けられる。
【０１１０】
画像取得部１１は、カメラ１の出力信号に基づいて順次各カメラ画像を取得する。各カメラ画像の画像データは、画像取得部１１から動き検出部（移動ベクトル検出手段）１２及び鳥瞰変換部１３に与えられる。動き検出部１２は、図５のステップＳ１２及びＳ１３の各処理を実行する。即ち、特徴点の抽出及び特徴点の移動ベクトルの算出を行う。鳥瞰変換部１３は、図５のステップＳ１４及びＳ１５の各処理を実行して、各カメラ画像を鳥瞰図画像に変換すると共にカメラ座標面上の特徴点及び移動ベクトルを鳥瞰図座標面上にマッピングする。地面特徴点抽出部（判別手段）１４は、図５のステップＳ１６の処理を行って地面特徴点を抽出し、車両移動情報生成部（移動情報推定手段）１５は、図５のステップＳ１７の処理を行って該地面特徴点についての地面特徴点情報から車両移動情報を生成する。立体物領域推定部１６は、図５のステップＳ１８の処理を行う。即ち、時刻ｔ１及びｔ２の鳥瞰図画像と車両移動情報に基づいて上述の立体物領域を推定する。表示用画像生成部１７は、立体物領域の推定結果に従って立体物領域が視認可能となるように鳥瞰図画像を加工することにより表示用画像を生成する。尚、立体物領域が視認可能となるようにカメラ画像を加工した画像を表示用画像として生成するようにしても構わない。
【０１１１】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１２】
［注釈１］
透視投影変換によってカメラ画像から鳥瞰図画像を得る手法を説明したが、平面射影変換によってカメラ画像から鳥瞰図画像を得るようにしても構わない。この場合、カメラ画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（平面射影行列）を、事前実施されるカメラキャリブレーションにて求める。ホモグラフィ行列の求め方は公知である。そして、図５に示す動作を行う場合、ホモグラフィ行列に基づいてカメラ画像を鳥瞰図画像に変換すればよい。この場合、図５のステップＳ１５における特徴点及び移動ベクトルの鳥瞰図座標面へのマッピングも、ホモグラフィ行列に基づいて行うことができる。
【０１１３】
［注釈２］
また、車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよく、そのように設置しても、立体物領域の推定処理を含む上述と同様の処理を行うことが可能である。
【０１１４】
［注釈３］
上述の実施形態では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に設置された複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（例えば、図１９の画像４４０）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像である。
【０１１５】
［注釈４］
上述の実施形態では、車両の例として自動車を例示しているが、自動車に分類されない車両に対しても本発明は適用可能であり、更に車両に分類されない移動体に対しても本発明は適用可能である。車両に分類されない移動体は、例えば、車輪を備えておらず、車輪以外の機構を用いて移動する。例えば、遠隔操作によって工場内を移動する、移動体としてのロボット（不図示）に対して、本発明を適用することも可能である。
【０１１６】
［注釈５］
図１の画像処理装置２及び図２５の各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２及び図２５の各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施形態に係る運転支援システムの構成ブロック図である。
【図２】図１の運転支援システムが適用される車両の外観側面図である。
【図３】カメラの光学中心とカメラ画像が定義されるカメラ座標面との関係を示す図である。
【図４】カメラ座標面と鳥瞰図座標面との関係を示す図である。
【図５】図１の運転支援システムによる、立体物領域の推定動作の手順を表すフローチャートである。
【図６】時刻ｔ１及びｔ２のカメラ画像の例を表す図である。
【図７】図６（ａ）及び（ｂ）に対応する図であって、カメラ座標面上における、時刻ｔ１−ｔ２間の特徴点の移動ベクトルを表す図である。
【図８】時刻ｔ１及びｔ２の鳥瞰図画像の例を表す図である。
【図９】図８（ａ）及び（ｂ）に対応する図であって、鳥瞰図座標面上における、時刻ｔ１−ｔ２間の特徴点の移動ベクトルを表す図である。
【図１０】車両が真っ直ぐ後方に移動している時に得られるカメラ画像にカメラ座標面上の移動ベクトル群を重畳して示した図（ａ）と、その移動ベクトル群の鳥瞰図座標面上への投影結果を鳥瞰図画像に重畳して示した図（ｂ）である。
【図１１】車両が曲がりながら後方に進行している時に得られるカメラ画像にカメラ座標面上の移動ベクトル群を重畳して示した図（ａ）と、その移動ベクトル群の鳥瞰図座標面上への投影結果を鳥瞰図画像に重畳して示した図（ｂ）である。
【図１２】時刻ｔ１−ｔ２間における車両の移動の様子を表す平面図である。
【図１３】時刻ｔ１における鳥瞰図座標系と時刻ｔ２における鳥瞰図座標系の空間配置関係を示す図である。
【図１４】図１５のステップＳ１６に対応する、地面特徴点の抽出処理の詳細フローチャートである。
【図１５】図１４の地面特徴点の抽出処理において着目された２つの特徴点の関係を示す図である。
【図１６】時刻ｔ１の鳥瞰図画像（ａ）と、時刻ｔ１及びｔ２の鳥瞰図画像間の位置ずれを打ち消すように時刻ｔ１の鳥瞰図画像を幾何学的変換して得られる参照画像（ｂ）と、時刻ｔ２の鳥瞰図画像（ｃ）と、時刻ｔ２の鳥瞰図画像と参照画像との差分画像（ｄ）を表す図である。
【図１７】図１６（ｄ）の差分画像の二値化画像を示す図である。
【図１８】図１７の二値化画像から抽出された立体物領域を示す図である。
【図１９】図１の表示装置に表示される画像例を示す図である。
【図２０】本発明の第２実施例に係り、画像の全体領域が複数の小ブロックに分割される様子を示す図である。
【図２１】本発明の第２実施例に係り、各小ブロックの色空間ヒストグラムを示す図である。
【図２２】本発明の第２実施例に係り、各小ブロックのエッジ強度ヒストグラムを示す図である。
【図２３】本発明の第２実施例に係り、各小ブロックのエッジ方向ヒストグラムを示す図である。
【図２４】本発明の第２実施例に係る差分画像を示す図（ａ）と、立体物領域の構成要素の候補としての要素ブロックを図１６（ｃ）の画像に重畳して示した図（ｂ）である。
【図２５】本発明の第３実施例に係る運転支援システムの機能ブロック図である。
【符号の説明】
【０１１８】
１  カメラ
２  画像処理装置
３  表示装置
１１  画像取得部
１２  動き検出部
１３  鳥瞰変換部
１４  地面特徴点抽出部
１５  車両移動情報生成部
１６  立体物領域推定部
１７  表示用画像生成部
１００  車両
【図１】
2009129001.tif 000017
【図２】
2009129001.tif 000018
【図３】
2009129001.tif 000019
【図４】
2009129001.tif 000020
【図５】
2009129001.tif 000021
【図６】
2009129001.tif 000022
【図７】
2009129001.tif 000023
【図８】
2009129001.tif 000024
【図９】
2009129001.tif 000025
【図１２】
2009129001.tif 000026
【図１３】
2009129001.tif 000027
【図１４】
2009129001.tif 000028
【図１５】
2009129001.tif 000029
【図２０】
2009129001.tif 000030
【図２１】
2009129001.tif 000031
【図２２】
2009129001.tif 000032
【図２３】
2009129001.tif 000033
【図２５】
2009129001.tif 000034
【図１０】
2009129001.tif 000035
【図１１】
2009129001.tif 000036
【図１６】
2009129001.tif 000037
【図１７】
2009129001.tif 000038
【図１８】
2009129001.tif 000039
【図１９】
2009129001.tif 000040
【図２４】
2009129001.tif 000041