(57)【要約】【課題】  前方の障害物だけではなく、路面の段差も検出することができる路面段差検出装置を提供する。【解決手段】  本発明の路面段差検出方法は、路面をステレオ撮影した少なくとも第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出することを特徴とする。【選択図】  図４
2014089548.tif 000002
【特許請求の範囲】
【請求項１】
路面をステレオ撮影した少なくとも第１の画像と第２の画像とをＸＹ平面座標に投影し、
該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、
前記検出領域の画像が路面位置にある場合の視差ｖ１を算出し、
前記第２の画像に前記視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、
前記検出領域の画像と前記比較領域の画像とを比較して、前記検出領域の前記路面からの高さを検出することを特徴とする路面段差検出方法。
【請求項２】
複数の前記検出領域の高さから、近傍する前記検出領域の間で前記高さの高低差を求めて、
前記高低差が閾値以上であれば前記検出領域間に段差があると判定することを特徴とする請求項１に記載の路面段差検出方法。
【請求項３】
複数の前記検出領域の高さから、近傍する前記検出領域の間で前記高さの高低差を求めて、
複数の前記検出領域間で前記高低差が連続して変化する場合に前記検出領域間に傾斜があると判定することを特徴とする請求項１に記載の路面段差検出方法。
【請求項４】
路面をステレオ撮影する少なくとも第１のカメラと第２のカメラと、
前記第１のカメラで撮影された第１の画像と前記第２のカメラで撮影された第２の画像をＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、前記検出領域の画像が路面位置にある場合の視差ｖ１を算出し、前記第２の画像に前記視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、前記検出領域の画像と前記比較領域の画像とを比較して、前記検出領域の前記路面からの高さを検出する高さ算出部と
を備えることを特徴とする路面段差検出装置。
【請求項５】
請求項４に記載の路面段差検出装置を備えたことを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面をステレオカメラで撮像した複数の画像データから路面の段差を検出する路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両に関する。
【背景技術】
【０００２】
最近では、自動車に搭載したカメラ等により車外の対象風景を撮像し、この撮像した画像を画像処理して自動車から対象物までの距離を求め、前方の車両やガードレールなどとの衝突の危険を予測して、車両にブレーキをかけるなどの制御を行う方法が実用化されている。
【０００３】
このような画像による距離計測技術は、単眼視像からカメラ位置との関係を用いて対象物までの距離を推定する技術と、複数のカメラにより撮像したステレオ画像から、三角測量の原理で対象物までの距離を求める技術とに大別される。このうち、ステレオ画像から三角測量の原理で距離を求める技術は、左右の画像における同一物体の位置の相対的なずれから距離を求めるので、正確な距離を求めることができる。
【０００４】
例えば、特許文献１は、複数のカメラにより入力された画像を蓄積する画像蓄積部と、道路面上に存在する複数の白線を抽出する特徴抽出部と、抽出された白線から道路面上の任意の点の各画像への投影位置の間に成り立つ関係式を求めるパラメータ計算部と、関係式を用いて道路面からの高さを有する物体を検出する検出部から構成される障害物検出装置を開示している。
【０００５】
特許文献１の障害物検出装置によれば、道路面の傾斜の変化がある状況でも、２本の白線の動きから道路面を認識して、道路面上に存在する障害物を高速・高精度で検出することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−７６１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の障害物検出装置は、車線のような白線を抽出して道路面を認識するため、例えば、シニアカーや電動車椅子等のように、車線の無い路面を走行する車両に適用した場合は、路面を正しく認識できないので、障害物を検出することが困難となる問題があった。
【０００８】
本発明は、このような課題に鑑みてなされたものであり、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる路面段差検出方法を提供する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の路面段差検出方法は、路面をステレオ撮影した少なくとも第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出することを特徴とする。
【００１０】
また、複数の検出領域の高さから、近傍する検出領域の間で高さの高低差を求めて、高低差が閾値以上であれば検出領域間に段差があると判定することを特徴とする。
【００１１】
また、複数の検出領域の高さから、近傍する検出領域の間で高さの高低差を求めて、複数の検出領域間で高低差が連続して変化する場合に検出領域間に傾斜があると判定することを特徴とする。
【００１２】
また、本発明の路面段差検出装置は、路面をステレオ撮影する少なくとも第１のカメラと第２のカメラと、第１のカメラで撮影された第１の画像と前記第２のカメラで撮影された第２の画像をＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する高さ算出部とを備えることを特徴とする。
【００１３】
また、本発明の車両は、上記の路面段差検出装置を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によると、ステレオカメラで撮像した画像を用いて、画像中の路面の各領域から段差を容易に検出することができる。
【図面の簡単な説明】
【００１５】
【図１】路面段差検出装置の構成図である。
【図２】ステレオカメラの配置図である。
【図３】スレテオカメラで撮像した画像である。
【図４】演算部における高さ検出処理のフローチャートである。
【図５】距離算出方法を示す説明図である。
【図６】視差算出方法を示す説明図である。
【図７】視差算出方法を示す説明図である。
【図８】路面高さ算出方法示す説明図である。
【図９】路面高さ算出結果の一例である。
【図１０】路面段差検出装置を備えた車両であるシニアカーである。
【発明を実施するための形態】
【００１６】
本発明の実施の一形態について、図面を用いて説明する。
【００１７】
図１は、本発明の路面段差検出装置１の構成を表す。本発明の路面段差検出装置１は、ステレオ画像を撮像する２つのカメラ１１、１２と、ステレオ画像を演算するための演算部２０とを備える。また、演算部２０は、ステレオ画像から段差を検出したい領域の高さを算出する高さ検出部３０と、検出領域毎の高さから検出領域間の段差の有無を判断する段差検出部４０とから構成されている。さらに、必要に応じて段差の有無を操作者へ通知するため、音声スピーカや表示装置などの出力装置５０を備える。
【００１８】
図２（ａ）は、ステレオカメラの配置を示す上面図であり、図２（ｂ）は、ステレオカメラの取り付け位置を示す側面図である。２つのカメラ１１、１２は同一仕様であり、図２（ａ）に示すように所定の水平画角を有し、例えば、シニアカーや電動車椅子の車両の前方部において、左右に所定の間隔ｇを隔てて設置される。また、図２（ｂ）に示すように、カメラ１１、１２は、路面から所定の高さｈｃに設置され、所定の垂直画角と俯角を有し、レンズの光軸が路面側を撮像するように下向きとなっている。
【００１９】
カメラ１１、１２の水平画角と垂直画角は、大きすぎると撮像される路面の段差が小さくなって段差の検出精度が低下し、逆に小さすぎると段差の検出範囲が狭くなるため、使用条件に合わせて適切に設定する必要がある。また、俯角は、路面の写る割合が多くなるように設定することが好ましい。カメラ１１、１２の取り付け高さｈｃは、小さな段差から大きな段差まで検出可能な範囲を広げるため、なるべく高い位置に設置することが好ましい。
【００２０】
カメラ１１、１２の仕様と配置は、例えば、３５ｍｍ判用レンズに相当する水平画角と垂直画角を有し、取り付け間隔ｇが１５〜２５ｃｍ、取り付け高さｈｃが６０〜８０ｃｍであり、１０〜２５°の俯角で設置されている。本実施形態の以降の説明において、水平画角と垂直画角の半分の角度をそれぞれθ１、θ２とし、俯角をθ３とする。また、図２に示すように、カメラ１１、１２を左右に設置した実施形態について説明するが、上下や斜め方向に設置することも可能であり、上下や斜めに設置する場合であっても基本的な検出方法は同じである。
【００２１】
図３は、ステレオカメラの２枚の画像であり、歩道を含む路面が撮像されている。図３（ａ）は左側のカメラ１１撮像した第１の画像であり、図３（ｂ）は右側のカメラ１２で撮像した第２の画像である。また、図３（ｃ）は、第１の画像と第２の画像を重ねて、歩道と路面の境界線だけを抽出したものである。図３（ｃ）に示すように、左の画像と右の画像において境界線がずれた位置に撮像されている。
【００２２】
この左右方向の視差が視差であり、平坦な路面では、視差は手前から奥行き側に一定の割合で減少する。本発明は、このような平坦な路面における視差ｖ１と、段差の検出領域を撮像した実際の視差ｖ２とを比較することにより、検出領域の路面からの高さを検出するものである。
【００２３】
図４は、演算部２０における高さ検出処理のフローチャートである。演算部２０は、第１の画像の任意の座標（Ｘ、Ｙ）を中心とする検出領域に対して、そのＹ座標とカメラの位置情報等から、検出領域が路面にあると仮定したときの視差ｖ１を求めて、第２の画像で視差ｖ１ずらした座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を定め、検出領域と比較領域の視差ｖ２から検出領域の路面からの高さを求める。
【００２４】
図４に示すステップ１からステップ３の処理により、第１の画像の任意の座標（Ｘ、Ｙ）を中心とする検出領域に対して、そのＹ座標値とカメラの位置情報から、検出領域が路面にあると仮定したときの第２の画像との視差ｖ１を求める。
【００２５】
視差ｖ１を求めるには、まず、カメラから画像の焦点面までの距離ｄ１を算出する必要がある。図５は、距離の算出方法を示す説明図である。図５（ａ）は、第１の画像を、座標の中心（０、０）を原点Ｐとする縦が±ｗピクセル、横が±ｈピクセルである座標空間１３に変換し、段差の検出領域の座標点（Ｘ、Ｙ）を座標空間１３に示したものである。また、図５（ｂ）は、カメラ１１、１２の焦点面Ａ１とカメラの位置情報を示した側面図である。
【００２６】
ステップ１では、座標空間１３において、段差を検出する任意の検出領域の座標点（Ｘ、Ｙ）を選択する。座標空間１３は、図５（ｂ）に示すカメラ１１の光軸に垂直な面である焦点面に相当する。カメラ１１、１２のレンズの歪みがない場合、焦点面上にあるものは全て同じ視差になるため、座標空間１３にある座標点（Ｘ、Ｙ）と原点Ｐも同じ視差となる。
【００２７】
ステップ２では、座標点（Ｘ、Ｙ）が路面にあると仮定したときのカメラから焦点面Ａ１の原点Ｐまでの距離ｄ１を求める。ここで座標点（Ｘ、Ｙ）を基点として距離ｄ１を算出すると複雑になるので、焦点面にある座標点が全て同じ視差となることを利用して、座標点（Ｘ、Ｙ）と同じ焦点面Ａ１にある座標点Ｑ（０、Ｙ）を基点にして、焦点面Ａ１の原点Ｐまでの距離ｄ１を算出する。
【００２８】
図６は、視差の算出方法を示す説明図である。図６（ａ）は、カメラ１１の側面図であり、カメラ１１から座標点Ｑを見たときの下向きの角度θｙを示す。カメラ１１の垂直画角の半分をθ２とすると、図５（ａ）の座標点Ｑの高さがＹであるから、θｙは下記の式１で求めることができる。
【００２９】
θｙ＝ａｒｃｔａｎ（ｔａｎθ２×Ｙ／ｈ)  （式１）
また、図５(ｂ)のように、カメラの取り付け高さをｈｃとして、カメラが俯角θ３で下向きに取付けられている場合、カメラ１１から座標点Ｑまでの距離ｄ１´は、
ｄ１´＝ｈｃ／ｓｉｎ（θ３＋θｙ）        （式２）
より求めることができる。
【００３０】
したがって、カメラ１１から焦点面Ａ１の原点Ｐまでの距離ｄ１は、
ｄ１＝ｄ１´×ｃｏｓ（θｙ）              （式３）
より求めることができる。
【００３１】
次に、ステップ３では、焦点面Ａ１に路面があるとしたきの第１の画像と第２の画像との視差ｖ１を求める。歪みのないレンズの場合、焦点面Ａ１上にある点は全て同じ視差になると考えられるので、上記（式３）で求めた距離d１を使って視差ｖ１を求めればよい。なお、距離d１は、レンズの歪みなどによって、他の値を用いたり、補正が必要となる場合もある。
【００３２】
図６（ｂ）は、左右のカメラ１１、１２の上面図である。図６（ｂ）のように、左のカメラ１１の焦点面Ａ１に位置する原点Ｐは、右のカメラ１２では中央から角度θｘの方向に見える。このθｘは、左右のカメラ間隔をｇとすると、以下の式で求められる。
【００３３】
θｘ＝ａｒｃｔａｎ（ｇ／ｄ１）              （式４）
このとき、原点Pは、左側の第１の画像では図７（ａ）のように原点（０、０）の座標に見え、右側の第２の画像では図６（ｂ）のように、視差のピクセル数をｖ１としたとき、（−ｖ１、０）の地点に見える。ｖ１は、図６（ａ）のように、カメラの水平画角の半分をθ１としたとき、以下の式で求められる。
【００３４】
ｖ１＝ｗ×ｔａｎθｘ／ｔａｎθ１        （式５）
視差のピクセル数ｖ１は点Pと点（Ｘ、Ｙ）で同一であるので、右画像では（Ｘｒ、Ｙ）の位置に見えることになる。ここで、
Ｘｒ＝Ｘ−ｖ１                          （式６）
である。
【００３５】
次に、ステップ４では、左側の第１の画像の検出領域（Ｘ、Ｙ）の座標に写っている物体が路面と同じ高さにあるかどうかを判断する。このとき、左側の第１の画像の（Ｘ、Ｙ）の座標に写っている物体と同一の物体が、右側の第２の画像の比較領域（Ｘｒ、Ｙ）の位置に写っているかを確認すればよい。
【００３６】
同一物体かどうかの確認方法は様々な方法があるが、例えば、左右画像の対象点の周辺数ピクセル分の輝度を取り出して比較すればよい。両者がカメラのノイズなどの誤差要因の範囲内で一致すれば、その地点は路面と同じ高さであると判断することができる。もし、両者が一致せず、左右どちらかにずれていると判断される場合には、その視差に応じて、路面より高い位置か、低い位置にあると判断することができる。
【００３７】
例えば、左側の第１の画像の（Ｘ、Ｙ）の位置にある物体が、右側の第２の画像で（Ｘｒ−ｖ２、Ｙ）の座標にあると判断された場合、物体までの実際の距離をｄ２とすると、（式４）及び（式５）より、
ｖ１＝（ｗ×ｇ）／（ｄ１×ｔａｎθ１）
ｖ１＋ｖ２＝（ｗ×ｇ）／（ｄ２×ｔａｎθ１）
ｖ１を消すと、
ｄ２＝（ｄ×ｗ×ｇ）／（ｗ×ｇ＋ｖ２×ｔａｎθ１)  （式７）
図８に示すように、路面にある物体の高さｈｓは、
ｈｓ＝ｈｃ×（ｄ１−ｄ２)／ｄ１                    （式８）
となり、これにより路面の段差の高さｈｓがわかる。すなわち、物体の視差ｖ２が正（路面の視差ｖ１よりも大きい）の場合は、図８（ａ）のように物体までの距離ｄ２が路面までの距離ｄ１より小さくなり、ｈｓが正の値となって路面より高いと判断できる。逆にｖ２が負（路面の視差ｖ１よりも小さい）の場合は、図８（ｂ）のように物体までの距離ｄ２が路面までの距離ｄ１より大きくなり、ｈｓは負の値となって、路面より低いと判断できる。このようにして、第１の画像中の座標点（Ｘ、Ｙ）の路面からの高低差がわかる。
【００３８】
ステップ６では、上記手順を適切な間隔をもって他の座標点でも繰り返し、画像中の必要な範囲で路面からの高さの検出を完了したら終了する。
【００３９】
図４に示したフローチャートの詳細は以上であり、これらの処理は図１に示した演算部２０で処理される。具体的にはＰＣやマイコン上でソフトウェアとして実現してもよいし、ＦＰＧＡやＡＳＩＣを用いてハードウェアとして実現してもよい。部分的にハードウェアで残りをソフトウェアで処理する構成も可能である。
【００４０】
図９は、図３のステレオ画像に対して、上記の方法を適用した結果の一例である。検出領域毎の高さに応じて諧調表示されており、路面と同じ高さの領域がグレーで、路面より低い領域が黒く表示されている。
【００４１】
次に、演算部２０の段差検出部４０を説明する。図９のような高さ検出部３０の検出結果において、上下・左右に隣り合う検出領域間で路面からの高さを比較し、例えば、閾値を５ｃｍとして、それ以上の高低差があれば段差であると判断する。段差と判断する高低差の閾値は、例えば、シニアカーや車椅子が落ちても安全性を確保できるように設定されている。一例として、図９の検出結果では、段差と判断した境界を破線部で示している。
【００４２】
また、隣り合う検出領域の高低差が小さく路面であると想定される場合、検出領域間の距離と高低差とから、路面の傾斜角度を求めることも可能である。これにより、路面が上り坂や下り坂、または左右へ傾斜している場合には、安全性を確保できる傾斜か判断することができる。
【００４３】
図１０は、本発明の路面段差検出装置１を備えた車両の一例として、シニアカー６０の適用例を示す。路面段差検出装置１は、シニアカー６０のハンドル６１の前方に路面から高さｈｃで備え付けられている。路面段差検出装置１は、シニアカー６０の運転者に段差検出結果を報知するため、スピーカ３１や表示装置３２などの出力装置３０を備えている。路面段差検出装置１により段差が検出された場合、スピーカ５３からブザー音や音声案内を出力したり、表示装置５４に文字や図形を表示するなどして、路面に段差の存在を知らせることにより、シニアカー６０の落輪や転倒などの危険を回避することができる。
【００４４】
また、本発明の段差検出装置１は、シニアカー６０の前方だけでなく、後方に備え付けてもよい。これにより、視界の悪い後退時にも落輪などの危険回避を図ることができる。また、本発明の段差検出装置１の用途は、シニアカー６０に限定されるものではなく、路面の段差を検出することが必要される車両、例えば、車椅子からフォークリフトに至る様々な車両で好適に用いることが可能である。
【００４５】
例えば、車椅子では、本発明の段差検出装置１を前後や左右に備えることにより、その場で方向転換するような場合であっても、車椅子周辺の段差で落輪したり転倒したりする危険を防止することができる。また、フォークリフトでは、荷物運搬中に前方の視界が塞がれることがあっても、路面に置かれた背の低い荷物を段差として検出し、衝突を回避することが可能である。
【符号の説明】
【００４６】
１１、１２  カメラ
２０  演算部
３０  高さ検出部
４０  段差検出
５０  出力装置
【図１】
2014089548.tif 000003
【図２】
2014089548.tif 000004
【図３】
2014089548.tif 000005
【図４】
2014089548.tif 000006
【図５】
2014089548.tif 000007
【図６】
2014089548.tif 000008
【図７】
2014089548.tif 000009
【図８】
2014089548.tif 000010
【図９】
2014089548.tif 000011
【図１０】
2014089548.tif 000012