(57)【要約】【課題】地面の起伏形状を認識する。【解決手段】画像処理部７は、一対のステレオ画像に基づき、ステレオマッチングにより視差を算出する。そして、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データが出力される。分割部１１は、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。算出部１２は、分割された区分のそれぞれにおいて、距離データに基づき１区分に関する高さ群を算出するとともに、算出された高さ群について高さに関する頻度分布を算出する。高さ特定部１３は、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。【選択図】　図１
2004028728.tif 000002
【特許請求の範囲】
【請求項１】
地面の起伏形状を認識する地形認識装置において、
前記地面を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対のステレオ画像に基づき、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する画像処理部と、
少なくとも前記画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において前記距離データを複数の区分に分割する分割部と、
前記分割された区分のそれぞれにおいて、前記距離データに基づき１区分に関する高さ群を算出するとともに、前記算出された高さ群について高さに関する頻度分布を算出する算出部と、
前記算出された頻度分布に基づき、当該頻度分布が算出された区分に関する地面の高さを特定する高さ特定部と
を有することを特徴とする地形認識装置。
【請求項２】
前記分割部は、前記二次元的な平面において、前記距離データを行列状に分割することを特徴とする請求項１に記載された地形認識装置。
【請求項３】
前記分割部は、前記二次元的な平面において、縦方向に延在する短冊状に切断して前記距離データを複数に分割するとともに、当該分割された短冊状の距離データのそれぞれにおいて、当該短冊状内に含まれる視差群に基づき実空間上での距離を算出し、当該算出された距離を所定の距離間隔で分割することにより、前記距離データを複数の区分に分割することを特徴とする請求項１に記載された地形認識装置。
【請求項４】
前記算出部は、時系列的に出力される複数の前記距離画像データにおいて、対応する区分同士の前記頻度分布をそれぞれ算出し、当該算出された複数の頻度分布を合算した頻度分布を算出することを特徴とする請求項１から３のいずれかに記載された地形認識装置。
【請求項５】
前記高さ特定部は、前記算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを前記地面の高さとして特定することを特徴とする請求項１から４のいずれかに記載された地形認識装置。
【請求項６】
前記高さ特定部は、前記算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、前記頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する前記地面の高さに基づいて補間することを特徴とする請求項１から５に記載された地形認識装置。
【請求項７】
前記高さ特定部は、周囲の区分に関する地面の高さとは異なる地面の高さを有する区分を特定するとともに、当該特定された区分に関する地面の高さを、前記周囲の区分に関する地面の高さに基づいて補正することを特徴とする請求項１から６のいずれかに記載された地形認識装置。
【請求項８】
一対の画像データに基づき、ステレオマッチングにより視差を算出し、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データを用いて地面の起伏形状を認識する地形認識方法において、
少なくとも前記画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において前記距離データを複数の区分に分割する第１のステップと、
前記分割された区分のそれぞれにおいて、前記距離データに基づき１区分に関する高さ群を算出する第２のステップと、
前記算出された高さ群について高さに関する頻度分布を算出する第３のステップと、
前記算出された頻度分布に基づき、当該頻度分布が算出された区分に関する地面の高さを特定する第４のステップと
を有することを特徴とする地形認識方法。
【請求項９】
前記第１のステップは、前記二次元的な平面において、前記距離データを行列状に分割することを特徴とする請求項８に記載された地形認識方法。
【請求項１０】
前記第１のステップは、前記二次元的な平面において、縦方向に延在する短冊状に切断して前記距離データを複数に分割するとともに、当該分割された短冊状の距離データのそれぞれにおいて、当該短冊状内に含まれる視差群に基づき実空間上での距離を算出し、当該算出された距離を所定の距離間隔で分割することを特徴とする請求項８に記載された地形認識方法。
【請求項１１】
前記第４のステップは、前記算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを前記地面の高さとして特定することを特徴とする請求項８から１０のいずれかに記載された地形認識方法。
【請求項１２】
前記第４のステップは、前記算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、前記頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する前記地面の高さに基づいて補間するステップを有することを特徴とする請求項８から１１に記載された地形認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、地面の起伏形状を認識する地形認識装置および地形認識方法に関する。
【０００２】
【従来の技術】
近年、ステレオカメラを用いて、所定の監視領域内の状況を監視するステレオ式監視装置が注目・実用化されている。この類のステレオ式監視装置は、ステレオカメラによって監視領域を含む景色を撮像し、これにより得られた情報に基づいて、監視領域内の状況を認識する。ステレオ式監視装置において、先行車、人、あるいは、障害物などといった監視領域内に写し出される立体物は監視すべき対象物の一つであり、これらを精度よく認識することは重要である。立体物の認識では、立体物は地面より高い位置に存在するという前提のもと、まず、地面の位置（高さ）を特定する必要がある。例えば、特開平５−２６５５４７号公報には、一対の画像をステレオ画像処理し、それに基づき、道路上の白線を検出し、検出された白線の三次元位置から道路を一つの平面として検出する方法が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、地面を一つの面として検出しているため、地面の起伏形状までは認識することができないという問題がある。このため、起伏のある地面では、地面の起伏と立体物との識別を正確に行うことが難しい。立体物の認識が十分に行われないと、監視精度における信頼性の低下を招く可能性がある。
【０００４】
本発明は、このような事情に鑑みてなされたものであり、その目的は、地面の起伏形状を認識することである。
【０００５】
また、本発明の別の目的は、地面の起伏形状を考慮したうえで対象物の認識を行うことにより、監視装置の信頼性向上を図ることである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、地面の起伏形状を認識する地形認識装置において、ステレオカメラと、画像処理部と、分割部と、算出部と、高さ特定部とを有する地面認識装置を提供する。ステレオカメラは、地面を含む景色を撮像し、一対の画像データを出力する。画像処理部は、一対のステレオ画像に基づき、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。分割部は、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。算出部は、分割された区分のそれぞれにおいて、距離データに基づき１区分に関する高さ群を算出するとともに、算出された高さ群について高さに関する頻度分布を算出する。高さ特定部は、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。
【０００７】
ここで、第１の発明において、分割部は、二次元的な平面において、距離データを行列状に分割することが好ましい。
【０００８】
あるいは、分割部は、二次元的な平面において、縦方向に延在する短冊状に切断して距離データを複数に分割する。そして、この分割された短冊状の距離データのそれぞれにおいて、短冊状内に含まれる視差群に基づき実空間上での距離が算出される。さらに、算出された距離が所定の距離間隔で分割されることにより、距離データを複数の区分に分割することが好ましい。
【０００９】
また、第１の発明において、算出部は、時系列的に出力される複数の距離画像データにおいて、対応する区分同士の頻度分布をそれぞれ算出する。そして、この算出された複数の頻度分布を合算した頻度分布が算出されることが好ましい。
【００１０】
また、第１の発明において、高さ特定部は、算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを地面の高さとして特定することが好ましい。
【００１１】
また、第１の発明において、算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合がある。この場合には、高さ特定部は、頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する地面の高さに基づいて補間することが好ましい。
【００１２】
さらに、第１の発明において、高さ特定部は、周囲の区分に関する地面の高さと異なる地面の高さを有する区分を特定する。そして、この特定された区分に関する地面の高さが、周囲の区分に関する地面の高さに基づいて補正されることが好ましい。
【００１３】
また、第２の発明は、地面の起伏形状を認識する地形認識方法を提供する。かかる地形認識方法では、一対の画像データに基づき、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データが用いられる。この地形認識方法において、第１のステップは、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。第２のステップは、分割された区分のそれぞれにおいて、距離データに基づき１区分に関する高さ群を算出する。また、第３のステップは、算出された高さ群について高さに関する頻度分布を算出する。さらに、第４のステップは、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。
【００１４】
ここで、第２の発明において、第１のステップは、二次元的な平面において、距離データを行列状に分割することが好ましい。
【００１５】
あるいは、第１のステップは、二次元的な平面において、縦方向に延在する短冊状に切断して距離データを複数に分割する。そして、分割された短冊状の距離データのそれぞれにおいて、この短冊状内に含まれる視差群に基づき実空間上での距離を算出し、算出された距離を所定の距離間隔で分割することが好ましい。
【００１６】
また、第２の発明において、第４のステップは、算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを地面の高さとして特定することが好ましい。
【００１７】
また、第２の発明において、第４のステップは、算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する地面の高さに基づいて補間するステップを有することが好ましい。
【００１８】
【発明の実施の形態】
図１は、本実施形態にかかる地形認識装置のブロック構成図である。この地形認識装置１は、監視領域内に写し出された地面の起伏形状を認識するとともに、この認識された地面上に存在する通行車や通行人などの立体物を認識する。一例として、この地形認識装置１は、鉄道線路の踏切近傍に設けられ、認識された通行車または通行人などの立体物が、監視領域内に写し出された踏切エリアに進入することを監視する。ステレオカメラは、支柱等に固定されており、斜め上方よりこの地面を含む景色を撮像する。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００１９】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２０】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２１】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００２２】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２３】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２４】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２５】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。
【００２６】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、分割部１１、算出部１２、高さ特定部１３および監視部１４を有する。分割部１１は、距離データメモリ９から距離データＤを読み出し、画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において、この距離データＤを複数の区分Ｓｎｍに分割する。そして、この複数の区分Ｓｎｍに分割された距離データＤのそれぞれは、算出部１２に出力される。算出部１２は、分割された区分Ｓｎｍのそれぞれにおいて、距離データＤに基づき１区分に関する高さ群を算出する。そして、この算出された高さ群について、高さに関する頻度分布Ｍが算出され、この頻度分布Ｍが高さ特定部１３に出力される。高さ特定部１３は、頻度分布Ｍに基づき、この頻度分布Ｍが算出された区分Ｓｎｍに関する地面の高さ（以下、単に「地面高さ」と称する）ｈｎｍを特定する。そして、それぞれの区分Ｓｎｍに関する地面高さｈｎｍが特定され、監視部１４に出力される。
【００２７】
監視部１４は、距離データメモリ９から距離データＤまたは画像データメモリ８から画像データを読み込むとともに、高さ特定部１３の出力データである地面高さｈｎｍに基づき、この地面上に存在する立体物を認識する。そして、監視部１４は、この認識された立体物に基づき、必要に応じて、監視領域内の踏切エリアに進入した通行車または通行人に対して注意を促すといった如くの監視を行う。
【００２８】
図３および図４は、地面の起伏形状の認識手順を示したフローチャートである。まず、ステップ１において、分割部１１は、１フレーム相当の距離データＤを読み込む。そして、画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において読み込まれた距離データＤが複数の区分Ｓｎｍに分割される。本実施形態では、距離データＤは、二次元的な平面において、ｉ座標（横）方向と直交する方向に切断されてＮ個に分割され、また、ｊ座標（縦）方向と直交する方向に切断されてＭ個に分割される。これにより、距離データＤは、Ｍ×Ｎの行列状の区分Ｓｎｍに分割される。
【００２９】
図５は、行列状に分割された距離データＤの一例を示す説明図である。同図に示す例では、距離データＤは、横方向に３２座標幅で１６分割されて、縦方向に１６座標幅で１２分割されている。以下の説明において、分割された区分Ｓｎｍのそれぞれの二次元的な位置を特定するため、距離データＤの左下隅を基準として、区分Ｓｎｍ毎に、横方向（右方向）に１〜Ｎ、縦方向（上方向）に１〜Ｍの番号を昇順に割り当てる。
【００３０】
なお、距離データＤを縦方向に１６画素幅で分割した場合、画像上側に１３分割目の区分が存在する。しかしながら、この１３区分目を区分Ｓｎｍに含めるか否かは選択的である。なぜならば、画像データにおいて、一般に画像の上側には、近景が現されている場合には高い位置に存在する立体物が写し出され、また、遠景が現されている場合には遠くの地面または立体物が写し出される。それ故に、これに対応する距離データＤの上側を無視しても、地形認識処理を行う上での影響は少ないからである。
【００３１】
そして、算出部１２および高さ特定部１３は、分割された区分Ｓｎｍのそれぞれを処理対象として、以下に示す処理を繰り返し実行する。そこで、ステップ２において、区分Ｓｎｍの横方向の位置を特定する変数ｎとして１がセットされるとともに、ステップ３において、区分Ｓｎｍの縦方向の位置を特定する変数ｍとして１がセットされる。このステップ２，３により、二次元平面において分割された距離データＤの最も左下に位置する区分Ｓｎｍが特定される。
【００３２】
まず、ステップ４において、算出部１２は、距離データＤに基づき、１区分に関する高さ群を算出する。この高さ群は、距離データＤにおける区分Ｓｎｍ内に含まれる視差ｄによって算出される実空間上の高さｙの集合である。実空間上の高さｙは、視差ｄと、この視差ｄに対応付けられた座標位置に関するｊ座標とに基づき、周知の座標変換式により一義的に算出される。ステレオカメラの位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の地面を原点として、ステレオカメラにおけるカメラ基線長の延長方向をｘ軸、取り付け高さ方向をｙ軸、視線方向（距離方向）をｚ軸とする。
【００３３】
例えば、算出部１２は、区分Ｓｎｍにおいて、最も左下の座標位置を基準として、この基準の座標位置からｊ座標方向にそれぞれ高さｙを算出する。そして、区分Ｓｎｍ相当のｊ座標方向の高さｙが算出されたら、横方向の隣のｉ座標に移り、同様に、ｊ座標方向にそれぞれ高さｙを算出するといった如くである。そして、この高さ算出処理が区分Ｓｎｍに含まれる距離データＤの全てについて行われることで、高さ群が算出される。
【００３４】
ステップ５において、算出部１２は、算出された高さ群について高さｙに関する頻度分布Ｍを算出する。図６は、ヒストグラムの一例を示す説明図である。同図に示すように、頻度分布Ｍは、例えば、高さｙを縦軸として、予め設定された幅（例えば、０．１ｍ）の区間でこの縦軸が区切られている。そして、縦軸の区間毎に、高さ群に含まれる区間相当の高さの個数をそれぞれ数えることで、区分Ｓｎｍ内の高さｙのそれぞれに関する度数が求められ、頻度分布Ｍが算出される。
【００３５】
次に、高さ特定部１３は、頻度分布Ｍに基づき、この頻度分布Ｍが算出された区分Ｓｎｍに関する地面高さｈｎｍを特定する。
【００３６】
一般に、ステレオ画像処理において、アスファルト路面のような地面では、距離データＤが得られにくいという問題がある。なぜならば、ステレオマッチングを行う際に、アスファルト路面を含む画素ブロックＰＢｉｊの輝度特性は比較的単調であり、輝度のバラツキが少ないからである。したがって、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定することが困難となる。すなわち、処理対象としている区分Ｓｎｍにおいて、アスファルト路面に関する高さｙの値は高さ群に含まれ難い。しかしながら、この区分Ｓｎｍ内に歩行者などの立体物が存在すると、地面に接した足元より上方には距離データＤが存在することとなる。そこで、頻度分布Ｍにおいて、ある程度の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎを足元の高さと考えることができる。そして、この高さｙｍｉｎ付近を地面の高さと見なすことで、地面高さｈｎｍを特定することができると考えられる。
【００３７】
また、処理対象としている区分Ｓｎｍの中に地面に相当する距離データＤが含まれているのであれば、地面高さｈｎｍは、頻度分布Ｍにおいて、ある程度の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎが、これに該当するはずである。なぜならば、実空間上において、地面は、高さが最も低い位置に存在するものであり、これよりも小さい値の高さｙは高さ群内には基本的に存在しないからである。このため、頻度分布Ｍにおいて、地面より低い高さｙにおいて、度数が現れることはない。
【００３８】
以上のことに鑑みて、頻度分布Ｍにおいて、度数を有する高さｙの中で最も値が小さい高さｙｍｉｎを、地面高さｈｎｍとして特定することができるはずである。しかしながら、一般に、ステレオマッチングによって算出される距離データＤは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。例えば、図６に示す頻度分布Ｍの下側には、少数の度数があり、これらは一般にミスマッチングデータである。
【００３９】
そこで、ステップ６において、高さ特定部１３は、所定しきい値Ｔｈ以上の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎが存在するか否かを判断する。なお、この判断基準を与えるしきい値Ｔｈは、上述したミスマッチングデータを排除し得る程度の大きさに設定されている。このステップ６で肯定判定された場合、すなわち、高さｙｍｉｎが存在する場合には、ステップ７に進み、地面高さｈｎｍとして、ｙｍｉｎ（高さ）がセットされる。これにともない、この頻度分布Ｍが算出された区分Ｓｎｍに関する地面高さｈｎｍが、高さｙｍｉｎとして特定される。一方、このステップ６で否定判定された場合、ここでは地面高さｈｎｍの特定は行わず、ステップ８に進む。なお、このとき、高さ特定部１３は、この地面高さｈｎｍが特定されなかった区分の位置（ｎ，ｍ）を、区分Ｓｎｍ’として記憶しておくてものとする。
【００４０】
ステップ７に続くステップ８において、分割された区分Ｓｎｍの横方向の位置ｎにおいて、縦方向の全区分Ｓｎｍに対して上述した地面高さ特定処理が行われたか否かが判断される。このステップ８で肯定判定された場合、ステップ１０に進む。一方、このステップ８で否定判定された場合、ステップ９に進み、変数ｍとして、ｍ＋１がセットされ、縦方向の全区分Ｓｎｍに対して上述した地面高さ特定処理が繰り返し続行される。
【００４１】
また、ステップ８に続くステップ１０において、分割された区分Ｓｎｍの横方向のすべての位置において、上述したステップ３〜ステップ９の処理が行われたか否かが判断される。このステップ１０で肯定判定された場合、ステップ１２に進む。一方、このステップ１０で否定判定された場合、ステップ１１に進み、変数ｎとして、ｎ＋１がセットされ、横方向の位置の全てにおいて、上述したステップ３〜ステップ９の処理が繰り返し続行される。
【００４２】
上述したように、所定しきい値Ｔｈ以上の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎがない区分Ｓｎｍも存在するため、地面高さｈｎｍが特定されていない区分Ｓｎｍ’が存在している。そこで、ステップ１２において、高さ特定部１３は、区分Ｓｎｍ’に関する地面高さｈｎｍを、周囲の区分Ｓｎｍに関する地面高さｈｎｍに基づいて補間する内挿処理を行う。
【００４３】
高さ特定部１３は、ステップ６で記憶された地面高さｈｎｍが特定されていない区分Ｓｎｍ’の位置（ｎ，ｍ）を特定するとともに、周囲の区分Ｓｎｍに対応する地面高さｈｎｍに基づき、この区分Ｓｎｍ’に対応する地面高さｈｎｍを統計的に補間する。
【００４４】
そして、ステップ１３において、高さ特定部１３は、周囲の区分Ｓｎｍに関する地面高さｈｎｍと異なる地面高さｈｎｍを有する区分Ｓｎｍを特定する。そして、この特定された区分Ｓｎｍに関する地面高さｈｎｍを、周囲の区分Ｓｎｍに関する地面高さｈｎｍに基づいて補正する補正処理が行われる。
【００４５】
一般に、ステップ７において地面高さｈｎｍの特定を行った場合、区分Ｓｎｍに地面に相当する距離データＤが存在しないことも考えられる。すなわち、所定しきい値以上の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎが、立体物（すなわち、地面ではない）の高さを示していることも考えられる。そこで、高さ特定部１３は、分割された区分Ｓｎｍのそれぞれにおいて、周囲の地面高さｈｎｍと大きく異なる区分Ｓｎｍを特定する。そして、特定された区分Ｓｎｍについて、その周辺の区分Ｓｎｍにおける地面高さｈｎｍに基づき、統計的な補正処理を行う。
【００４６】
以上の処理により、分割された区分Ｓｎｍのそれぞれに関する最適な地面高さｈｎｍが特定され、この地面高さｈｎｍの集合である高さデータが監視部１４に対して利用可能となる。
【００４７】
そして、監視部１４は、距離データメモリ９から距離データＤを読み込むとともに、この高さデータに基づき、立体物の認識を行う。具体的には、距離データＤに基づき、周知の座標変換式から、三次元位置（ｘ，ｙ，ｚ）が算出される。このとき、この三次元位置が算出された距離データＤの位置に対応する区分Ｓｎｍの地面高さｈｎｍと、座標変換されたデータの高さとを比較することにより、このデータが地面より上にある場合には、このデータが立体物データとして選別される。そして、この選別された立体物データに注目し、データ間の距離を比較してゆき、前後方向および横方向の距離が接近しているものをグループとしてまとめる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物として分類される。そして、監視部１４は、この認識された立体物の情報に基づき、踏切エリアに進入する通行者または通行人などを監視することができる。
【００４８】
以上説明したように、本実施形態の手法によれば、分割された距離データＤ相当の区分Ｓｎｍに関して地面の高さを求めている。このとき、ある程度の面積を持った区分Ｓｎｍにおいて、多数の距離データＤを統計的に処理しているので、誤検出データの影響を受けにくく、安定した高さ検出を行うことができる。また、この区分Ｓｎｍに対応付けられた地面高さｈｎｍのそれぞれを考慮することで、監視領域内の地面の起伏形状を正確に認識することができる。また、アスファルト路面のように距離データＤが得られにくい部分でも、存在する立体物のデータを利用することで、地面高さｈｎｍを特定することができる。これにより、この特定された地面高さｈｎｍより高い値を有するデータは、立体物と判断することとができるので、立体物に関する認識精度の向上を図ることができる。また、この認識された立体物を監視することで、監視精度の向上を図ることができる。
【００４９】
なお、上述した実施形態では、距離データＤを二次元的に行列状の分割したが、本発明はこれに限定されるものではない。例えば、分割部１１は、まず、少なくとも二次元的な平面において、縦方向に延在する短冊状に切断して距離データＤを複数に分割する。そして、この分割された短冊状の距離データＤのそれぞれにおいて、短冊状内に含まれる視差群に基づき実空間上での距離が算出され、算出された距離が所定の距離間隔で分割されることにより、距離データＤが複数に区分されてもよい。このように、二次元平面に加えて、距離方向を加味した三次元空間において、距離データＤを区分Ｓｎｍに分割することもできる。これにより、立体物に相当する距離データＤは、同一の区分Ｓｎｍ内に分類されるので、上述した立体物の足元の検出をする上で有利である。しかしながら、上述した行列状の区分Ｓｎｍは、区分Ｓｎｍの分類の際に、距離を算出する必要がないので、計算処理の簡素化を図る上で有利である。
【００５０】
また、算出部１２は、時系列的に出力される複数の距離画像データＤにおいて、対応する区分Ｓｎｍ同士の頻度分布Ｍをそれぞれ算出し、この算出された複数の頻度分布Ｍを合算した頻度分布Ｍａを算出することができる。この累積された頻度分布Ｍａは、時系列的なデータの合算であるので、頻度分布Ｍの信頼性を向上することができる。上述したように、本実施形態では、立体部の足元のデータから地面高さｈｎｍを特定している。歩行者のように移動する物体が存在する場合には、この歩行者の移動した範囲にわたって、広範囲の地面を検出することができるという長所がある。よって、この頻度分布Ｍａを高さ特定部１３が用いることで、地面高さｈｎｍの検出をより有効に行うことができる。
【００５１】
また、高さ特定部１３は、頻度分布Ｍに基づき、区分Ｓｎｍに関する地面高さｈｎｍを求める際に、さらに条件を付加することもできる。例えば、上述したように、所定しきい値Ｔｈ以上の度数を有する高さｙの中で最も値が小さい高さｙｍｉｎが特定される。この際に、高さ特定部１３は、さらに、この高さｙｍｉｎに対応する度数が、上述したしきい値Ｔｈよりもさらに大きな値としての第２のしきい値Ｔｈ２以上の度数を有するか否かを判断してもよい。これにより、ミスマッチングデータと、地面高さｈｎｍ（すなわち、ｙｍｉｎ）を明確に区別することができるので好ましい。すなわち、本実施形態において、しきい値とは、しきい値Ｔｈに加え、さらに第２のしきい値Ｔｈ２を含むものであることに理解されたい。
【００５２】
【発明の効果】
このように、本発明にかかる地形認識装置および方法によれば、少なくとも二次元的な平面において、距離データを複数の区分に分割し、この分割された区分のそれぞれにおいて、地面の高さが特定されている。これにより、この分割された区分に関して特定された地面の高さのそれぞれに基づき、地面の起伏形状を認識することができる。
【図面の簡単な説明】
【図１】本実施形態にかかる地形認識装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】地面の起伏形状の認識手順を示したフローチャート
【図４】地面の起伏形状の認識手順を示したフローチャート
【図５】行列状に分割された距離データの一例を示す説明図
【図６】ヒストグラムの一例を示す説明図
【符号の説明】
１　　　　地形認識装置
２　　　　メインカメラ
３　　　　サブカメラ
４　　　　Ａ／Ｄコンバータ
５　　　　Ａ／Ｄコンバータ
６　　　　画像補正部
７　　　　ステレオ画像処理部
８　　　　画像データメモリ
９　　　　距離データメモリ
１０　　　　マイクロコンピュータ
１１　　　　分割部
１２　　　　算出部
１３　　　　高さ特定部
１４　　　　監視部
【図１】
2004028728.tif 000003
【図２】
2004028728.tif 000004
【図３】
2004028728.tif 000005
【図４】
2004028728.tif 000006
【図５】
2004028728.tif 000007
【図６】
2004028728.tif 000008