(57)【要約】【課題】撮影画像から射影変換によって生成される上方視点の画像における物体、特に地面に接地していない物体の位置を簡単に算定することができる技術を提供する。【解決手段】物体下端位置検出装置は、第１位置に基づく上方視点第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定する第1直線群算定部３ａと、第２位置に基づく上方視点見た第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する第２直線群算定部３ｂと、第１位置と第２位置との距離に対応して相対変位させた第１直線群と第２直線群との直線の交点を算定する交点算定部４と、交点の分布位置に基づいて物体下端位置を算定する物体下端算定部５とを有する。【選択図】図１７
2010193198.tif 000002
【特許請求の範囲】
【請求項１】
特定領域を被写体として第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
前記第１位置とは異なる第２位置において撮影された撮影画像を第２画像として受け取る第２画像受取部と、
前記第１画像を上方視点から見た第１変換画像に射影変換する第１射影変換部と、
前記第２画像を上方視点から見た第２変換画像に射影変換する第２射影変換部と、
前記第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定する第1直線群算定部と、
前記第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する第２直線群算定部と、
前記第１位置と前記第２位置との距離に対応するように相対変位させた前記第１直線群と前記第２直線群とを重ね合わせた際に生じる直線群の交点を算定する交点算定部と、
前記交点の分布位置に基づいて前記物体の下端位置を算定する物体下端算定部と、
を有する物体下端位置検出装置。
【請求項２】
前記第１直線群算定部及び前記第２直線群算定部は、前記第１変換画像及び前記第２変換画像に対して輪郭強調する水平方向微分フィルタを適用した後にしきい値処理することによって生成された画像から前記特徴点を求める請求項１に記載の物体下端位置検出装置。
【請求項３】
前記第１画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づき前記車両が前記第１位置に達したと判定されたときに撮影された撮影画像を前記第１画像として受け取り、前記第２画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づき前記車両が前記第２位置に達したと判定されたときに撮影された撮影画像を前記第２画像として受け取り、前記交点算定部は前記第１画像と前記第２画像とにおける光学中心点の移動距離を移動検出部の検出結果から得る請求項１または２に記載の物体下端位置検出装置。
【請求項４】
特定領域を被写体として第１位置において撮影された撮影画像を第１画像として受け取るとともに、前記第１位置とは異なる第２位置において撮影された撮影画像を第２画像として受け取る機能と、
前記第１画像を上方視点から見た第１変換画像に射影変換するするとともに、前記第２画像を上方視点から見た第２変換画像に射影変換する機能と、
前記第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定するとともに、前記第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する機能と、
前記第１位置と前記第２位置との距離に対応するように相対変位させた前記第１変換画像と前記第２変換画像とを重ね合わせた際に生じる前記第１直線群と前記第２直線群とにおける対応する直線の交点を算定する機能と、
前記交点の分布位置に基づいて前記物体の下端位置を算定する機能と、
をコンピュータに実現させる物体下端位置検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定領域を被写体として撮影された撮影画像から射影変換によって生成される上方視点の鳥瞰画像における物体、特に地面に接地していない物体の位置を算定する技術に関する。
【背景技術】
【０００２】
カメラによる撮影画像に画像処理を施すことにより、当該撮影画像を当該カメラの視点とは別の視点から見た画像に変換する視点変換処理が知られている。この視点変換処理は、車両に搭載されたカメラにより撮影された画像を、視点を上方にもってくることで撮影画像を当該車両の周辺を上から見下ろすような俯瞰画像に変換して、車内のディスプレイに表示するといった用途に用いられている。視点変換処理では、一般的に画像中の全ての物体が例えその物体が立体物であったとしても、同一平面上に存在するものとして、画像処理が施される。例えば、車両における用途においては、全ての物体が、道路標示や駐車枠線などと同様に、路面上に存在する模様として変換処理が施されることになる。実際に路面上に存在する道路標示などは線形変換により違和感無く、真上からみたような画像へと変換される。しかし、他の車両や障害物などの高さのある物体（つまり立体物）は、画像が大きく歪んでしまい、車両と物体との距離、特に地面の接していない物体に対する距離が把握しづらい。
【０００３】
このような問題に鑑みて、例えば特開２００６−３３３００９号公報（特許文献１）には、カメラによって互いに異なる複数の視点位置で撮像された実画像に基づいてカメラから実画像内の物体までの距離を演算し、この実画像内の物体の表示画面上における上下方向の位置と、演算によって求めたカメラから物体までの距離と、実画像の表示画面上における上下方向の位置と実カメラからの距離との関係を示す地面データとに基づいて、物体が高さを有する物体であるか否かを判定し、高さを有する物体であれば当該物体を実画像内で地面に対して垂直な方向に圧縮して俯瞰画像を作成する技術が開示されている。さらに、この特許文献１には、地面に接地していない物体を俯瞰画像上においてより正確な位置に表示できるようにするために、カメラにより撮像される実画像データ内で垂直な方向を示す垂直データを予め作成してメモリ等に記憶させておき、画像変換処理部が、計算用メモリにコピーした画素からなる画像データを任意の率で圧縮する際に、垂直データを用いて地面に接地していない物体を地面に垂直な方向に移動させ、地面に接地した位置で圧縮する技術も開示されている。なお、予め求めておいて記憶させておく必要がある前記垂直データは、カメラを構成するカメラのカメラレンズの光学特性並びに車両に対する取り付け位置及び取り付け角度に基づいて一意に決定される地面上垂直を示すものである。従って、カメラのカメラレンズの光学特性や取り付け姿勢のうちの１つのパラメータが変化しても別な垂直データを作成して記憶しなおす必要がある。
【０００４】
【特許文献１】特開２００６−３３３００９号公報（段落番号０００７〜０００８、００１１〜００３２、図５〜１７等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１による技術では、撮影画像から射影変換によって生成される上方視点の俯瞰図における物体の位置を算定するために、カメラから物体までの距離を求める演算処理や予め求めておいた地面データを用いて物体が高さを有する物体であるか否かを判定する判定処理が必須となる。また、地面に接地していない物体の地面との接地位置を算定するには、さらに予め求めておく必要のある垂直データを用いて地面に接地していない物体を地面に垂直な方向に移動させる処理が要求される。
【０００６】
本発明は、上記実情に鑑みて創案されたもので、撮影画像から射影変換によって生成される上方視点の画像における物体、特に地面に接地していない物体の位置を簡単に算定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る物体下端位置検出装置の特徴構成は、特定領域を被写体として第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、前記第１位置とは異なる第２位置において撮影された撮影画像を第２画像として受け取る第２画像受取部と、前記第１画像を上方視点から見た第１変換画像に射影変換する第１射影変換部と、前記第２画像を上方視点から見た第２変換画像に射影変換する第２射影変換部と、前記第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定する第1直線群算定部と、前記第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する第２直線群算定部と、前記第１位置と前記第２位置との距離に対応するように相対変位させた前記第１直線群と前記第２直線群とを重ね合わせた際に生じる直線群の交点を算定する交点算定部と、前記交点の分布位置に基づいて前記物体の下端を算定する物体下端算定部とを有する点にある。
【０００８】
この特徴構成によれば、まず、濃度変換や微分処理といった何らかの物体検出画像処理アルゴリズムを用いて各変換画像における物体の物体形状を特徴づける特徴点が検出されると、それぞれの変換画像においてその特徴点と光学中心点とを結ぶ直線からなる第１直線群と第２直線群とが算定される。さらに、前記第１位置と前記第２位置との距離（場合によっては変位量）に合わせて相対変位された第１直線群と第２直線群との直線群の交点が算定され、これらの交点の分布位置に基づいて物体の下端が算定される。この交点が物体の特徴点の水平面（路面）への投影点となる。ノイズを考慮するならば、交点が集中しているところを物体の水平面（路面）への投影位置と判定すればよい。物体が地面に接地している場合には、この交点の集まりの位置がその物体の地面との接触位置（物体の下端位置）を示すことになる。また、自動車のバンパーのように、その物体が路面に接地していない場合には、その物体を垂直に路面に延ばした際の接触位置（この場合にはこの位置を物体の下端位置とみなす）が判定できる。このような物体下端位置の検出原理は、後で詳しく説明されるが、その基本的な着眼点は、光学中心点と物体上のある点を通る直線において、移動前後で得られる直線の交点が、その点が路面上へ投影された点を表すことになるということである。例えば、ある光学中心点で得られた撮影画像の射影変換鳥瞰画像における空間中の所定点と光学中心点とを通る第１直線と、光学中心点が移動することにより得られた新たな射影変換鳥瞰画像における空間中の所定点と移動後の光学中心点とを通る第２直線は所定点の直下の位置で交差する。したがって、物体に属する多くの特徴点によって規定される第１直線と第２直線との交点が集中するところがその物体の下端位置を表すことになる。この原理が本発明では利用されている。つまり、本発明では２つの画像のそれぞれにおける物体の特徴点と光学中心点とを結ぶ線の交点を求めるという簡単な画像処理技術だけで、撮影画像から射影変換によって生成される上方視点の鳥瞰画像における物体、特に地面に接地していない物体の位置を簡単に算定することができる。
【０００９】
また、本発明に係る物体下端位置検出装置は、前記第１直線群算定部及び前記第２直線群算定部は、前記第１変換画像及び前記第２変換画像に対して輪郭強調する水平方向微分フィルタを適用した後にしきい値処理することによって生成された画像から前記特徴点を求めるように構成すると好適である。物体下端検出に利用される直線は光学中心点と物体の下方稜線を示す画像特徴点とを結ぶ直線である。したがって、水平方向微分フィルタによって垂直方向のエッジ成分を強調し、適当なしきい値を用いて、例えば２値化処理することで、多くのノイズ画像領域が除外されるので下方稜線を示す画像特徴点が得られやすくなる。また、光学中心点と画像特徴点とを結ぶ直線は、光学中心点から上方扇形に放射する直線となるので、このような拘束条件を用いて、直線を選別することで直線群の算定処理負荷が低減される。
【００１０】
また、本発明に係る物体下端位置検出装置は、前記第１画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づき前記車両が前記第１位置に達したと判定されたときに撮影された撮影画像を前記第１画像として受け取り、前記第２画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づき前記車両が前記第２位置に達したと判定されたときに撮影された撮影画像を前記第２画像として受け取り、前記交点算定部は前記第１画像と前記第２画像とにおける光学中心点の移動距離を移動検出部の検出結果から得ると好適である。この構成によれば、光学中心点が適正距離だけ移動した際のその移動前後における撮像画像が得られるので、その後の物体下端位置検出処理が容易となる。
【００１１】
上記目的を達成するための本発明に係る物体下端位置検出プログラムは、  特定領域を被写体として第１位置において撮影された撮影画像を第１画像として受け取るとともに、前記第１位置とは異なる第２位置において撮影された撮影画像を第２画像として受け取る機能と、前記第１画像を上方視点から見た第１変換画像に射影変換するするとともに、前記第２画像を上方視点から見た第２変換画像に射影変換する機能と、前記第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定するとともに、前記第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する機能と、前記第１位置と前記第２位置との距離に対応するように相対変位させた前記第１変換画像と前記第２変換画像とを重ね合わせた際に生じる前記第１直線群と前記第２直線群とにおける対応する直線の交点を算定する機能と、前記交点の分布位置に基づいて前記物体の下端位置を算定する機能とをコンピュータに実現させるものである。この物体下端位置検出プログラムも上述した物体下端位置検出装置において説明された作用・効果を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明による物体下端位置検出技術の原理を説明する説明図
【図２】射影変換を説明する説明図
【図３】物体下端位置検出技術の原理を説明する説明図
【図４】物体下端位置検出技術の原理を説明する説明図
【図５】物体下端位置検出技術の原理を説明する説明図
【図６】物体下端位置検出技術の原理を説明する説明図
【図７】物体下端位置検出アルゴリズムを示すフローチャート
【図８】車両の運転席前方の説明図
【図９】車両の基本構成を示すブロック図
【図１０】視点変換の一例を示す説明図
【図１１】略水平方向からの視点を有するカメラによって撮影された画像の一例
【図１２】略垂直方向からの視点の画像へと変換された画像の一例
【図１３】略水平方向に撮影された撮影画像の一例
【図１４】図１３の撮影画像を視点変換して得られたＧＰＴ画像の一例
【図１５】立体物抽出原理を示す説明図
【図１６】図６に示すような撮影画像から得られたＧＰＴ画像から立体物の存在する領域を抽出する例を示す説明図
【図１７】鳥瞰画像生成装置の構成例を模式的に示すブロック図
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。本発明の物体下端位置検出技術は、車載カメラによる撮影画像を視点変換（射影変換）して得られた鳥瞰画像を用いて運転支援を行う運転支援装置などに組み込まれる。
【００１４】
まずは、この物体下端位置検出技術の基本原理を図１から図６を用いて説明する。
路上に置かれた車止めのように路面に接している物体に比べ、自動車のバンパー部のようにオーバーハングしているような物体は、路面との間に実体物がないため、路面における物体（オーバーハング物体）直下の位置（本発明ではこの位置も路面物体接触位置とともに物体下端位置と称する）はその鳥瞰画像に明示することはできない。物体下端位置検出技術はそのような鳥瞰画像における物体下端位置を検出して、必要に応じてその位置を明示することができるようにすることである。
【００１５】
図１は、空間中の物体の１つの特徴点としての点Ａと、その点Ａが路面上へ投影された点である路面での接地点Ｃ（オーバーハング部分の直下位置ということなる）と、光学中心点Ｏからの点Ａの路面への投影点Ａ1との関係を側面図の形で示している。図２は、点Ａと接地点Ｃとが撮影画像及び鳥瞰画像（水平面への射影変換画像）におけるどのように表示されるかを示している。図３は、点Ａに対してカメラの光学中心点（視点）ＯがΔＬだけ移動した際の移動前後の光学中心点Ｏと点Ａとを結ぶ直線を鳥瞰図の形で示している。ここでＯ1とＯ2は移動前後の光学中心点Ｏを示し、Ａ1とＡ2は移動前後の点Ａの路面への投影点を示している。図３から、光学中心点Ｏとそれらの空間中の点Ａを通る直線は、鳥瞰図座標系（Ｘ−Ｚ面）上では異なった位置に存在し、移動前後での座標での直線は点Ａの直下の位置で交差することが理解できる。視点-物体（特徴点Ａ）下端間距離はｄで示されている。当然物体は多数の特徴点Ａによってその形状は規定されるので、図４に、多数（ここでは２つ）の特徴点が存在する場合での図３に対応する図を示しておく。図４から明らかなように、物体を規定する特徴点群に対して光学中心点が移動すると、光学中心点と空間中に存在する特徴点群を通る直線は、鳥瞰図座標系上では異なった位置に存在し、移動前後での座標での直線は空間中の物体の直下の位置で交差する。また、同一物体上の特徴点群であれば、物体の直下の点群は物体の形状に応じて、その下端位置に相当する位置に直線の交点が集中することになるが、図５にそのような図例が示されている。もちろん、実際の画像から算定される直線の交点は多数生じるが、下端位置を表さない交点もノイズとして含まれることになるので、多数の交点から信頼性の高い交点を選択する必要がある。この問題を解決するためには、ノイズである交点を含むとしても、総体的には、物体特徴点の下端位置に相当する位置で直線群の交点が密集するということを利用すると簡単で効果的である。例えば、図６のような交点群の分布が得られた場合、この分布から確からしい交点集中位置を推定し、その交点集中位置を物体の下端位置とみなすとよい。
【００１６】
上述した本発明による物体下端位置検出技術の基本原理のアルゴリズムをフローチャート化したものが図７に示されている。その処理の流れは以下の通りである。
ステップ＃０１
第１位置において第１画像（撮影画像）を撮影し、第２位置において第２画像（撮影画像を取得する。その際、異なる光学中心点を有する２台のカメラを用いて同時に撮影して第１画像と第２画像を取得してもよいし、１台のカメラで視点の移動前後でそれぞれ撮影して、第１画像と第２画像を取得してもよい。
ステップ＃０２
第１画像から射影変換された第1変換画像（鳥瞰画像）と、第２画像から射影変換された第２変換画像（鳥瞰画像）とを生成する。
ステップ＃０３
生成された第１・第２変換画像に対して画像中物体の垂直方向の形状特徴点を明示させるために垂直方向のエッジを取り出した２値化画像を生成する。これは、通常光学中心点が画像の下側に位置するので、光学中心点と物体特徴点とを結ぶ有効な直線を得るためには、物体の垂直方向の形状が重要となるからである。垂直方向のエッジを取り出すために水平方向微分フィルタ、例えば垂直Sobelフィルタを適用するのが好ましい。また、２値化処理で使用されるしきい値は、取得される画像の濃度特性があらかじめ調整されている場合では固定値でよいが、そうでない場合では画像のヒストグラムに基づいて演算設定することが好ましい。この処理によって、光学中心点方向に向かう画素群以外の画素群を除去して、光学中心点方向に向かう画素群に含まれる画素（特徴点）を通る直線だけをできるだけ演算対象とすることで演算処理負担を軽減することができる。
ステップ＃０４
得られたそれぞれの２値化画像において、垂直方向の物体形状特徴を示している画素群に含まれている特徴点と光学中心点とを結ぶ直線群（第１直線群と第２直線群）を算定する。その際、一方の点を原点とし、他方の点をランダムに選択した直線を仮想し、この仮想直線に特徴点を当てはめて満足する結果が得られる所定数の直線を求める手法が好ましい。例えば、このために、RANSAC（RANdom SAmple Consensus）を用いて特徴点の軌跡に部分空間を当てはめ、しきい値処理によって残差の大きい画素を除去するような方策を施してもよい。
ステップ＃０５
第1変換画像から得られた第１直線群と第２変換画像から得られた第２直線群からとの間で、図３や図４で示すように、の交点を算定する。直線群間の直線群からの処理対象とすべきの選別は、方位角度が類似している（最も角度差が小さいものから所定順位まで）ことを条件として行うことができるが、選別が困難な場合、総当たりとする。
ステップ＃０６
算定された交点群から物体の下端位置を算定する。例えば、図６に示すような交点の分布が得られたとして、物体の特徴点が数１０から数１００個程度検出される場合は、交点の分布は真の位置付近に集中しガウス分布することが期待されるが、物体に模様が少ない場合などでは多くの特徴点が得られず、交点数も少ないことが予想される。いずれにしても確からしい交点集中位置を推定するために最小メジアン法（LMedS）を採用して、推定ランダムに幾つかのサンプルを抽出し、最小二乗法に当てはめることを繰り返し、全交点における二乗誤差の中央値が最も小さいときの推定を正しい推定とみなすとよい。
【００１７】
図８及び図９は、上述した原理で動作する物体下端検出技術を採用した鳥瞰画像生成装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリング２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。車体前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。
【００１８】
運転席の近傍のコンソールの上部位置には、モニタ２０が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０には、感圧式や静電式によるタッチパネルも形成されており、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されている。タッチパネルは、例えば、駐車支援開始の指示入力のために用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマディスプレイ型や有機ＥＬディスプレイ型でもよく、スピーカは、ドアの内側など他の場所に備えられてもよい。
【００１９】
ステアリング２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。
【００２０】
また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には鳥瞰画像生成装置の中核となるＥＣＵ（electronic control unit）１０が配置されており、本発明による物体下端検出プログラムもＥＣＵ１０を構成するコンピュータに組み込まれている。
【００２１】
車両３０の後部には、車両３０の後方の情景を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、ＥＣＵ１０に入力される。
【００２２】
鳥瞰画像生成装置は、図１０に示すように、略水平方向の視点を有するカメラ１２によって撮影された画像を、略垂直方向から見下ろす視点を有する仮想的なカメラ１２Ａによって撮影された画像へと変換する。図１１は、カメラ１２によって撮影された画像の一例である。図５は、略垂直方向から見下ろす視点を有する仮想的なカメラ１２Ａによって撮影された画像へと変換された画像の一例である。この変換画像は、いわゆる鳥瞰画像である。図１２において、左下、右下には、画像データが存在しないことによる空白域が生じる。
【００２３】
まず、鳥瞰画像を生成する際に立体物を特定する方法は種々のものが知られているが、ここでは、視差が生じている２枚の画像の差分を利用する方法が採用されている。この方法では、まず、視差が生じている２枚の画像の一方から、上方視点への射影変換画像である鳥瞰画像の一種としてのＧＰＴ（ground plane transformation）画像を生成し、他方の画像の視点からのＧＰＴ画像を予測して、生成したＧＰＴ画像を位置補正する。次に、他方の画像からＧＰＴ画像を生成して、一方の画像から生成され、位置補正されたＧＰＴ画像との差分を取ると、立体物が抽出される。視差を生じる２枚の画像は、複数の異なるカメラにより撮影された画像でもよいし、同一のカメラを移動させて撮影された画像であってもよいが、この実施形態では、同一のカメラの移動前後の画像が利用される。
【００２４】
図１３は、カメラ１２から略水平方向に撮影された撮影画像の一例である。図１４は、図１３の撮影画像を射影変換（視点変換）して得られたＧＰＴ画像の一例である。図１３に示すように、車両３０の周辺には、ほぼ直方体の立体物４０が存在する。この立体物４０が路面に接地している物体であるか、あるいは自動車のバンパーのように路面に接地した支持体（車体）からオーバーハングしていて路面に接地していない物体であるかは区別できない。従って、オーバーハング物体の場合、ＧＰＴ画像から物体の下端位置（路面と交わる位置）を把握することができない。このため、この鳥瞰画像生成装置では、上述した物体下端位置検出技術に基づいてその下端位置が求められ、ＧＰＴ画像に示される。
【００２５】
図１５は、立体物抽出原理を示す説明図である。図１５では、ＧＰＴ画像上における立体物を便宜上、台形で示している。図１５において台形ａは、視差が生じている２枚の撮影画像の内の一方の撮影画像のＧＰＴ画像における立体物４０である。台形ａは、カメラ１２が移動する前における上方視点から見た立体物４０を示している。
【００２６】
台形ｂは、視差が生じている２枚の撮影画像の内の第１位置における撮影画像（第１画像）を射影変換した第１変換画像における立体物４０である。つまり、台形ｂは、カメラ２０がΔＬだけ移動した第２位置における撮影画像（第２画像）を射影変換した第２変換画像における立体物４０を示している。そして、斜線網掛け部分の台形ａ’は、カメラ２０が第１位置からΔＬだけ移動した場合を第１変換画に基づいて予測して得られた立体物４０を示している。台形ｂと台形ａ’との差分を取ると、差分として残った画素は、視差を生じさせる立体物４０が存在する位置に対応している。これにより、立体物４０の存在する領域が抽出される。
【００２７】
図１６は、図１３に示すような撮影画像から得られたＧＰＴ画像から立体物４０の存在する領域を抽出する例を示す説明図である。図１５に基づいて説明したように、カメラ１２が移動する前のＧＰＴ画像に対してΔＬの位置補正を施したＧＰＴ画像と、カメラ１２がΔＬだけ移動した後のＧＰＴ画像との差分を取って、差分画像Ｓが得られる。差分画像Ｓにおいて、エッジを抽出すると、図１６に示すように、ｅ１〜ｅ４の４辺からなる台形状の領域が、立体物領域Ｒとして抽出される。
【００２８】
ここで、辺ｅ３と辺ｅ４は、台形の上底及び下底に相当する。辺ｅ１と辺ｅ２とは、台形の上底及び下底以外の２辺、即ち、脚に相当する辺である。辺ｅ１と辺ｅ２とは、光学中心点Ｃにおいて交差する。即ち、立体物領域Ｒは、平行しない２辺ｅ１及びｅ２が略垂直方向の視点から見下ろした場合における光学中心Ｃにおいて交差する台形状に抽出される。上記例においては、立体物４０が直方体であったので、立体物領域Ｒと、立体物４０とは略一致するものであった。しかし、立体物４０が直方体ではなく、任意の形状であっても、台形状の立体物領域Ｒが抽出される。この立体物領域Ｒを規定する４つの辺ｅ１、ｅ２、ｅ３、ｅ４のうち、物体の下端位置を示す辺ｅ２は、物体がオーバーハング物体であれば、本発明による上述した物体下端検出技術に基づいて修正されることになる。つまり、物体下端検出技術に基づいて求められた物体下端位置と辺ｅ２の位置とが相異する場合、物体下端検出技術に基づく物体下端位置が優先される。
【００２９】
図１７は、本発明に係る物体下端位置検出装置を組み込んだ鳥瞰画像生成装置（ＥＣＵ１０）の構成例を模式的に示すブロック図である。図１７に示すように、鳥瞰画像生成装置は、第１画像受取部１ａと、第２画像受取部１ｂと、第１射影変換部２ａと、第２射影変換部２ｂと、第１直線群検出部３ａと、第２直線群検出部３ｂと、交点算定部４と、物体下端算定部５と、立体物領域抽出部６と、射影歪補正部７と、自車位置演算８と、重畳部９と、画像制御部１１との各機能部を有して構成されている。ＥＣＵ１０は、例えば、マイクロコンピュータなどによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。
【００３０】
第１画像受取部１ａは、車両３０の周辺を撮影するカメラ（車載カメラ）１２により第１位置において撮影された撮影画像を第１画像として受け取る機能部である。第２画像受取部１ｂは、第１画像を撮影した位置から車両３０が所定の移動量（ΔＬ）を経た第２位置においてカメラ１２により撮影された撮影画像を第２画像として受け取る機能部である。画像制御部１１は、第１画像受取部１ａ及び第２画像受取部１ｂが、撮影画像を受け取るタイミングなどを制御する機能部である。
【００３１】
第１射影変換部２ａは、第１画像を略垂直方向からの上方視点からの第１変換画像に射影変換する機能部であり、第１射影変換部２ｂは、第２画像を略垂直方向からの上方視点からの第２変換画像に射影変換する機能部である。
【００３２】
第1直線群算定部３ａは、第１変換画像における物体の物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第１直線群を算定する機能部であり、第２直線群算定部３ｂは、第２変換画像における物体形状を特徴づける各特徴点と光学中心点とを結ぶ直線からなる第２直線群を算定する機能部である。
【００３３】
交点算定部４は、前記第１位置と前記第２位置との変位量に対応するように相対変位させた前記第１直線群と前記第２直線群とを重ね合わせた際に生じる直線群の交点を算定する機能部である。この交点算定部４は、立体物に含まれる複数の垂直エッジとしての直線を利用するものであり、移動前後で得られる２つの平面上での方位直線群同士の対応を取ることなくそれらの直線群間の交点を計算するように構成されている。しかしながら、この交点算定部４を、移動前後で得られる２つの平面上での方位直線群において、各方位直線が通過する画像上の画像情報に基づいて直線同士の所定条件での対応をとって、対応する直線間の交点を計算するように構成してもよい。あるいは、それらの両方のアルゴリズムを備えて、選択的に利用できるようにしてもよい。また、物体下端算定部５は、交点算定部４で求められた交点群の分布状態を解析することにより、交点が集中している位置を物体位置、つまり物体の下端位置として特定する。
【００３４】
立体物領域抽出部６は、上述したように、ΔＬの位置補正を施した第1変換画像と第２変換画像Ｂとの差分を取り、この差分に基づいて、立体物４０が存在する立体物領域Ｒを、平行しない２辺（ｅ１及びｅ２）が光学中心Ｃにおいて交差する台形状に抽出する機能部である。
【００３５】
射影歪補正部７は、第２変換画像Ｂにおける立体物領域Ｒの画像を略垂直方向の視点から見下ろした場合における光学中心Ｃの方向へ縮小して射影歪補正画像に補正する機能部である。重畳部９は、第２変換画像上における立体物領域Ｒの中で縮小後の立体物４０の画像が存在する領域以外の領域にマスク処理を施したり、立体物４０の存在を報知する報知表示を重畳させたりする機能部である。
【００３６】
自車位置演算部８は、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、回転センサ１８等の各種センサによる検出結果を受けて、車両３０の移動量や位置を演算する機能部である。上記各種センサ１４〜１８や、自車位置演算部８は、本発明の移動検出部１３に相当する。尚、自車位置演算部８は、ＥＣＵ１０とは別のＥＣＵや制御装置等に含まれ、演算結果のみがＥＣＵ１０に入力される構成であってもよい。
【００３７】
重畳部９は、モニタ表示画像上における立体物領域Ｒの中で縮小後の立体物４０の画像が存在する領域以外の領域にマスク処理を施したり、立体物４０の存在を報知する報知表示を重畳させたりする機能部である。
【００３８】
上述した説明から理解できるように、オーバーハング物体のような路面と直接接触していない物体の路面との接触位置検出する物体下端位置検出装置が有する各機能部は、この実施形態では、第１画像受取部１ａと、第２画像受取部１ｂと、第１射影変換部２ａと、第２射影変換部２ｂと、第１直線群検出部３ａと、第２直線群検出部３ｂと、交点算定部４と、物体下端算定部５である。
【００３９】
図７で示された物体下端位置検出アルゴリズムにおける各ステップの処理と物体下端位置検出装置の各機能部との関係は以下の通りである。
第１画像と第２画像を取得するステップ＃０１の処理は、第１画像受取部１ａと第２画像受取部１ｂとによって実行される。鳥瞰画像である第1変換画像と第２画像とを生成するステップ＃０２の処理は、第１射影変換部２ａと第２射影変換部２ｂとによって実行される。エッジ強調や２値化画像生成による物体特徴点（特徴エリア）の検出するステップ＃０３の処理は、第１直線群検出部３ａと第２直線群検出部３ｂとにおける前処理として実行される。物体特徴点と光学中心点とを結ぶ第１直線群と第２直線群とを算定するステップ＃０４の処理は、第１直線群検出部３ａと第２直線群検出部３ｂとによって実行される。第１直線群と第２直線群からとの間で対応する線の交点を算定するステップ＃０５の処理は、交点算定部４によって実行される。算定された交点群から物体の下端位置を示す交点を推定して物体の下端位置を算定するステップ＃０６の処理は、物体下端算定部５によって実行される。物体下端位置検出アルゴリズムに必要とする機能は、ここではわかりやすい説明のために各機能部に区分けしているだけであり、その機能実行部の割り当ては任意に行うことができる。
【００４０】
以上、説明したように、車両周辺のような特定領域を被写体として、例えば車載カメラで撮影された画像をそのまま表示するのではなく、利用者が立体物と車両との距離感を把握し易いように、射影変換して鳥瞰画像を生成して表示する場合、本発明による物体下端位置検出技術を用いることで、オーバーハング物体のような路面と直接接触していない物体であっても、その路面との接触位置である物体下端位置を検出して、利用者に物体との正しい距離感を持たせるような表示を行うことが可能となる。
【００４１】
〔実施のその他の形態〕
（１）図７を用いて説明した物体下端位置検出技術の基本原理のアルゴリズムにおける、ステップ＃０４の直線群（第１直線群と第２直線群）算定処理、及びステップ＃０５の交点算定処理は以下に述べるような処理で行うことができる。
1. 第1画像と第２画像からＧＰＴ画像である第1変換画像と第２変換画像を生成する。
2. 上記両画像に対して垂直Sobelフィルタ処理を適用して水平成分を抑圧した後にしきい値処理した画素群を得る（ノイズレベル以上の強度に対してピーク検出してもよい）。この処理は、イテレーション回数削減（応答性確保）のために、すなわち、光学中心方向に向かう画素群以外のアウトライアを除去することが目的である。
3. 上記で得た画素群は通常は複数存在するが、それぞれの画素群に対して光学中心位置を通る拘束条件を適用して直線当てはめをおこない、方位直線を得る。直線当てはめには、前処理としてのグループ化やノイズ除去が不要なＲＡＮＳＡＣを使用する。２点のサンプルによる直線当てはめが基本であるが。ここでは１点は原点、他方を画素群からランダムに選択する。複数の画素群が存在するとして、コンセンサスが上位からｎ本の直線を得る。
4. 第２変換画像（ＧＰＴ画像）からの第２直線群(n 本) と第１変換画像（ＧＰＴ画像）からの第１直線群 (m本) を得る。
5. 第１変換画像からの第１直線群の直線方程式を、第２変換画像からの第２直線群が定義されている座標系に変換して、第２直線群と変換された第１直線群との間で交点を計算する。
方位角度が類似している（最も角度差が小さい。保険：および、その次に小さい。）直線間のみの交点を計算することが考えられるが、物体上の別の位置で検出された直線の勾配の方が類似している場合があるため、交点計算は総当たり戦とする方法が考えられる。
なお、この総当たりする方法は非効率であるので、複数の方位直線群が得られたとき
に、以下の方法により効率化をかはる。
(a) 第１変換画像と第２変換画像との差分画像から立体物の候補領域を抽出する。
(b) 候補領域内に存在する方位直線群を検出する。第２直線群 (n 本)と第１直線群 (n 本) が得られている。
(c) 両直線群は立体物に固有の垂直エッジの配列順に並んでいるため、その直線の数と配列順は移動前後の画像間でほぼ同じであるとみなせる。
(d) 各直線に対して方位順にラベリング（番号付け）を行う。第２変換画像からの直線から番号順に１本選ぶ。その番号に対応した第２変換画像からの直線とその前後の所定番号数の直線を選ぶことにより、第２直線群からの直線に対する第１直線群一部の直線との交点を計算する。
(e) この方法により完全な総当たり戦に比べ大幅な計算量低減がおこなえる。オーバーハングしている立体物の空間中の点に対する直下の路面上の位置に直線群の交点が検出される。
【００４２】
（２）図７を用いて説明した物体下端位置検出技術の基本原理のアルゴリズムにおける、ステップ＃０６の下端位置算定処理で有効なロバスト推定手法のひとつである最小メジアン法（LMedS）の種々の好適な適用方法を以下に述べる。
(a)基本的な方法
1. 全データの中から１個をランダムに選び（数が少なければ全数探索でもかまわない）、これを仮の平均値とする。
2. 仮の平均値に対する他のサンプルとの残差の自乗を計算し、昇順に並べる。
3. 残差の自乗値がm番目（＝サンプル数の1=2：Median）に大きい値を調べ、これをMedian評価値として控えておく。
4. 上記1,2 を繰り返し、Median 評価値が最小となったときの仮の平均値が、その集団を代表する粗いモデルであるとする。
5. 仮の平均値からの残差自乗が最小Median 評価値以内のサンプル点群の平均値をもって最終的な精密モデルとする。
(ｂ)簡易方法
1. 全サンプルの平均値を求める
2. 平均値との残差自乗を計算し昇順に並べる
3. 残差の自乗値がm番目（＝サンプル数の1=2：Median）に大きい値を調べる
4. 残差自乗がメジアン値より大きくなるサンプルを取り除く
5. 残ったサンプルでの平均値を最終的な精密モデルとする。
(c)(a)から改良された方法
(a)で示した基本方法で処理した場合、サンプル点群が急峻な分布していない限りにおいては、最小Median 評価値を呈する位置が複数生じてしまい、分布の中央値を指し示すことができないという現象が生じうる。そこで、緩やかな分布や台形のようなピークを有しない分布であっても分布の中央値を検出できるように、残差の自乗をそのまま用いるのではなく、その累積値を用いることにより対応する。
1. 全データの中から１個をランダムに選び（数が少なければ全数探索でもかまわない）、これを仮の平均値とする。
2. 仮の平均値に対する他のサンプルとの残差の自乗を計算し、昇順に並べる。
3. 残差の自乗値のm番目（=サンプル数の1/2：Median）に大きい値までの累積値（残差自乗の累積値）を計算し、これをMedian 評価値として控えておく。
4. 上記1,2 を繰り返し、Median 評価値が最小となったときの仮の平均値が、その集団を代表する粗いモデルであるとする。
5. 仮の平均値からの残差自乗が最小Median 評価値以内のサンプル点群の平均値をもって最終的な精密モデルとする。また、サンプルが台地のような分布をする場合、上記の累積法のみでは中央値の検出ができない場合が残る。そのような場合は、累積値による最小Median 評価値が複数生じた場合は、生じた位置に対する平均値をもって中央値として出力する。
【符号の説明】
【００４３】
１ａ：第１画像受取部
１ｂ：第２画像受取部
２ａ：第１射影変換部
２ｂ：第２射影変換部
３ａ：第１直線群算定部
３ｂ：第２直線群算定部
４：交点群算定部
５：物体下端算定部
６：立体物領域抽出部
７：射影歪補正部
９：重畳部
１０：ＥＣＵ（物体下端位置検出装置を組み込んだ鳥瞰画像生成装置）
１２：カメラ（車載カメラ）
１３：移動検出部
３０：車両
４０：立体物
【図１】
2010193198.tif 000003
【図２】
2010193198.tif 000004
【図３】
2010193198.tif 000005
【図４】
2010193198.tif 000006
【図５】
2010193198.tif 000007
【図６】
2010193198.tif 000008
【図７】
2010193198.tif 000009
【図８】
2010193198.tif 000010
【図９】
2010193198.tif 000011
【図１０】
2010193198.tif 000012
【図１１】
2010193198.tif 000013
【図１２】
2010193198.tif 000014
【図１３】
2010193198.tif 000015
【図１４】
2010193198.tif 000016
【図１５】
2010193198.tif 000017
【図１６】
2010193198.tif 000018
【図１７】
2010193198.tif 000019