(57)【要約】【課題】地面の三次元的形状を精度よく認識する。【解決手段】ステレオ画像処理部７は、ステレオカメラ２より出力された一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、距離データを出力する。三次元位置算出部１２は、距離データに基づいて、それぞれの対象物の三次元位置を算出する。視線設定部１３は、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラ２の取付位置とを結ぶ視線群を設定する。視線ヒストグラム生成部１４は、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線設定部１３によって設定された視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する。地形認識部１５は、視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する。【選択図】図１
2004151883.tif 000002
【特許請求の範囲】
【請求項１】
地面の三次元的形状を認識する地形認識装置において、
地面を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、当該算出された視差と、前記画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力するステレオ画像処理部と、
前記距離データに基づいて、それぞれの対象物の三次元位置を算出する三次元位置算出部と、
三次元空間上において、前記対象物のそれぞれの三次元位置と前記ステレオカメラの取付位置とを結ぶ視線群を設定する視線設定部と、
高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、前記視線設定部によって設定された視線群に基づいて、前記区分毎に、高さ方向における視線通過の頻度分布を生成する視線ヒストグラム生成部と、
前記視線通過の頻度分布に基づいて、前記区分のそれぞれにおける地面の高さを特定する地形認識部と
を有することを特徴とする地形認識装置。
【請求項２】
前記地形認識部は、ある区分に関する前記視線通過の頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さ、または、最も低い高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
【請求項３】
前記地形認識部は、ある区分に関する前記視線通過の通過頻度の分布において、高さの低い方から高い方に向かって、度数を累積していくことによって累積度数を算出し、当該累積度数が所定の閾値以上になる高さ、または、当該高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
【請求項４】
前記地形認識部は、ある区分に関する前記視線通過の通過頻度の分布において、所定の閾値以上の度数を有する高さが高さ方向に連続している領域を、対象物が存在しない空間領域として特定し、当該空間領域のうち、高さ方向の範囲が最も広い空間領域における最も低い高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
【請求項５】
前記地形認識部は、ある区分における地面の高さが特定できない場合、当該区分の地面の高さを、当該区分の周囲の地面の高さに基づいて推定することを特徴とする請求項２から４のいずれかに記載された地形認識装置。
【請求項６】
前記対象物のそれぞれの三次元位置に基づいて、前記区分毎に、高さ方向における対象物の存在頻度分布を生成する対象物ヒストグラム生成部をさらに有し、前記地形認識部は、前記視線通過の頻度分布と前記対象物の存在頻度分布とに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項１から５のいずれかに記載された地形認識装置。
【請求項７】
前記地形認識部は、ある区分に関する前記対象物の存在頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さを特定するとともに、前記対象物の存在頻度分布より特定された高さと、前記視線通過の頻度分布より特定された高さとに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項６に記載された地形認識装置。
【請求項８】
前記地形認識部は、ある区分に関して特定された地面の高さが、前記区分の周囲の地面の高さよりも所定の閾値以上異なる場合、前記区分の地面の高さを、前記区分の周囲の地面の高さに基づいて、補正することを特徴とする請求項１から７のいずれかに記載された地形認識装置。
【請求項９】
ステレオカメラによって地面を含む景色を撮像することにより得られる一対の画像データを用いて、地形の三次元的形状を認識する地形認識方法において、
前記一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、当該算出された視差と、前記画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、
前記距離データに基づいて、それぞれの対象物の三次元位置を算出する第２のステップと、
三次元空間上において、前記対象物のそれぞれの三次元位置と前記ステレオカメラの取付位置とを結ぶ視線群を設定する第３のステップと、
高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、前記視線群に基づいて、前記区分毎に、高さ方向における視線通過の頻度分布を生成する第４のステップと、
前記区分毎に生成された前記視線通過の頻度分布に基づいて、前記区分のそれぞれにおける地面の高さを特定する第５のステップと
を有することを特徴とする地形認識方法。
【請求項１０】
算出された対象物の三次元位置に基づいて、前記区分毎に、高さ方向における対象物の存在頻度分布を生成する第６のステップをさらに有し、
前記第５のステップは、前記視線通過の頻度分布と前記対象物の存在頻度分布とに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項９に記載された地形認識方法。
【請求項１１】
前記第５のステップは、ある区分に関する地面の高さが、前記区分の周囲の地面の高さよりも所定の閾値以上異なる場合、前記区分の地面の高さを、前記区分の周囲の地面の高さに基づいて、補正するステップを含むことを特徴とする請求項９または１０に記載された地形認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、地面の三次元的形状を認識する地形認識装置および地形認識方法に係り、特に、ステレオ画像を用いて、地面の起伏形状を認識する技術に関する。
【０００２】
【従来の技術】
従来より、ステレオ画像を用いて、地面の三次元的形状を認識する技術が提案されている。例えば、特許文献１には、ステレオ画像を処理対象としたステレオマッチングを行うことで道路上の白線を検出し、検出された白線の三次元位置より道路面を検出する技術が開示されている。また、特許文献２には、ステレオ画像を用いて、道路や床のように画像的な特徴が少ない地面を大局的に平面近似することにより、地面を平面として認識する技術が開示されている。
【０００３】
一方、特許文献３には、地面を含む景色を撮像することによって得られるステレオ画像に基づいて、地面上の障害物の有無に拘わらず、地面の起伏形状を認識する技術が開示されている。具体的には、まず、被写体内における三次元点の標高成分に基づいて、被写体の基準標高値が算出される。つぎに、この基準標高値を超える標高成分（突出標高）を有する三次元点が、突出位置として検出される。検出された突出位置は、三次元空間上において、突出した障害物が存在する位置とみなされる。この突出位置の標高成分に関しては、突出標高に代えて、突出位置の周囲の標高成分より算出された平均的標高値が用いられる。このように、障害物が存在する突出位置の標高成分を修正することによって、障害物を除いた地面の起伏形状が特定される。
【０００４】
なお、本願出願人による先行出願のうち、本発明と関連するものとして、特願２００２−１８４０２０号が存在する。
【０００５】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開平９−８１７５５号公報
【特許文献３】
特開平８−２８５５８６号公報
【０００６】
【発明が解決しようとする課題】
本発明の目的は、地面の三次元的形状を精度よく認識する新規な地形認識装置および地形認識方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオカメラと、ステレオ画像処理部と、三次元位置算出部と、視線設定部と、視線ヒストグラム生成部と、地検認識部とを有し、地面の三次元的形状を認識する地形認識装置を提供する。ステレオカメラは、地面を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する。三次元位置算出部は、距離データに基づいて、それぞれの対象物の三次元位置を算出する。視線設定部は、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する。視線ヒストグラム生成部は、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線設定部によって設定された視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する。地形認識部は、視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する。
【０００８】
ここで、第１の発明において、地形認識部は、ある区分に関する視線通過の頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さ、または、最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、高さの低い方から高い方に向かって、視線通過の頻度を累積していくことによって累積度数を算出し、この累積度数が所定の閾値以上になる高さ、または、この高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、所定の閾値以上の度数を有する高さが高さ方向に連続している領域を、対象物が存在しない空間領域として特定するとともに、特定された空間領域のうち、高さ方向の範囲が最も広い空間領域における最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。
【０００９】
また、第１の発明において、地形認識部は、ある区分における地面の高さが特定できない場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて推定することが望ましい。
【００１０】
また、第１の発明において、それぞれの対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する対象物ヒストグラム生成部をさらに設けてもよい。この場合、地形認識部は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。例えば、地形認識部は、ある区分に関する対象物の存在頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さを特定する。そして、地形認識部は、対象物の存在頻度分布より特定された高さと、視線通過の頻度分布より特定された高さとに基づいて、それぞれの区分における地面の高さを特定する。
【００１１】
さらに、第１の発明において、地形認識部は、ある区分に関して特定された地面の高さが、その区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正することが好ましい。
【００１２】
一方、第２の発明は、ステレオカメラによって地面を含む景色を撮像することにより得られる一対の画像データを用いて、地形の三次元的形状を認識する地形認識方法を提供する。この地形認識方法は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、距離データに基づいて、それぞれの対象物の三次元位置を算出する第２のステップと、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する第３のステップと、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する第４のステップと、区分毎に生成された視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する第５のステップとを有する。
【００１３】
ここで、第２の発明において、算出された対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する第６のステップをさらに設けてもよい。この場合、第５のステップは、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。
【００１４】
また、第２の発明において、第５のステップは、ある区分に関する地面の高さが、区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正するステップを含んでいてもよい。
【００１５】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかる地形認識装置のブロック構成図である。この地形認識装置１は、地面上に障害物が存在するか否かに拘わらず、起伏のある地面の三次元的形状を認識する。ステレオカメラ２は、地面上に固定的に設置され、或いは、地面を移動する移動体（農林作業車両、土木作業車両、或いは、探査車両等）に載置されており、地面を含む景色を所定の俯角付で撮像する。ステレオカメラ２は、一対のカメラ２ａ，２ｂで構成されており、後段のステレオ画像処理を行うのに必要な一対の画像（ステレオ画像）を出力する。それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ２ａは基準画像（右画像）を撮像し、サブカメラ２ｂは比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力されたアナログ画像は、Ａ／Ｄコンバータ４，５によって、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００１６】
デジタル化されたステレオ画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このようなずれを画像処理によって等価的に補正すべく、画像補正部６は、画像の回転や平行移動といった幾何学的な変換を行う。
【００１７】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。それぞれの画像データは、画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸とする。１画像の表示単位である１フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力される。
【００１８】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づき、ステレオマッチングによって距離データを算出する。ここで、「距離データ」とは、基準画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、それぞれの視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。１つの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックより算出されるため、画素ブロックが視差ｄの算出単位となる。
【００１９】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊの水平方向のずれ量であり、画素ブロックＰＢｉｊ内に写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がステレオカメラ２に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（対象物が無限に遠い場合、視差ｄは０になる）。
【００２０】
ある画素ブロックＰＢｉｊ（相関元）の視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）が比較画像において特定される。上述したように、ステレオカメラ２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量に反映される。したがって、比較画像において相関先を探索する場合、比較画像の全体を探索する必要はなく、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間における相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補のうちのいずれか）の水平方向のずれ量が、その画素ブロックＰＢｉｊの視差ｄとなる。
【００２１】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することによって評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した２つの輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味する。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２２】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。以上のような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、距離データメモリ８に格納される。
【００２３】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、三次元位置算出部１２、視線設定部１３、視線ヒストグラム生成部１４および地形認識部１５を有する。個々の機能ブロック１２〜１５の処理内容については後述するが、地形の三次元的形状を表す地形データは、距離データメモリ８に格納された距離データに基づいて生成され、地形データメモリ１１に格納される。
【００２４】
ところで、移動体が自身の移動のために周囲地形を認識しようとする場合、極力広い範囲の地面を観測し、大局的に周囲の地形を捉えることが望ましい。本実施形態では、三次元空間上において、視線、すなわち、ステレオカメラ２と対象物とを結ぶ仮想的な直線の通過頻度を調べることによって地面の高さ（以下、「地面高」という）を特定する。この地面高の特定手法は、遠景が見えている空間には障害物は存在しないという知見に基づいており、地面自体の距離情報が希薄となる遠方を含む広い範囲で地形の認識を可能とする。
【００２５】
以下、マイクロコンピュータ１０により構成される機能ブロック１２〜１５の処理内容について説明する。まず、三次元位置算出部１２は、距離データメモリ８に格納されている１フレーム相当の距離データ（ｉ，ｊ，ｄ）を読み出し、それぞれの対象物の三次元位置（Ｘ，Ｙ，Ｚ）を算出する。三次元空間における対象物の位置を示す三次元位置（Ｘ，Ｙ，Ｚ）は、メインカメラ２ａの直下を基準とした場合、数式２に示すような周知の座標変換式に基づいて、距離データ（ｉ，ｊ，ｄ）より一義的に特定される。三次元位置は、Ｘ−Ｙ−Ｚ座標系で表現され、ステレオカメラ２（本実施形態ではメインカメラ２ａ）の中央真下の地面を原点Ｏとして、左右方向（カメラ基線方向）をＸ軸、上下方向（高さ方向）をＹ軸、前後方向（距離方向）をＺ軸とする。同数式において、定数ＫＺＨは、（カメラ基線長／１画素当たりの水平視野角）である。また、定数ＣＡＨはステレオカメラの取付高さ、定数ＰＷＶは１画素当たりの垂直視野角、定数ＰＷＨは１画素当たりの水平視野角である。さらに、定数ＩＶは予め設定された消失点Ｖのｉ座標値、定数ＪＶはそのｊ座標値である。
【数２】
2004151883.tif 000003
【００２６】
視線設定部１３は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、三次元空間におけるステレオカメラ２の取付位置と対象物の位置とを結ぶ視線Ｌを設定する。図３は、Ｘ軸、Ｙ軸およびＺ軸によって規定される三次元空間において設定される視線Ｌの説明図である。ある対象物Ｂ（地面および障害物の双方を含む）に関する視線Ｌは、その対象物Ｂの三次元位置（Ｘ，Ｙ，Ｚ）とステレオカメラ２の取付位置Ｃ（０，ｙ１，０）とを通る直線式で規定され、この式によって、対象物Ｂまでの視線Ｌの通過経路が一義的に特定される。ここで、ｙ１は、ステレオカメラ２直下の地面を基準としたステレオカメラ２の取付高さである。視線設定部１３は、すべての対象物Ｂを演算対象として、それぞれの対象物Ｂに関する視線Ｌを順次算出する。１回の処理サイクルにおいて算出される視線Ｌ群の個数は、対象物Ｂの個数相当、換言すれば、１フレームの距離データを構成する視差ｄ群の個数相当である。
【００２７】
視線ヒストグラム生成部１４は、地面高の算出単位となる区分Ｓｎｍを三次元空間上に設定する。図４は三次元空間上に設定される区分Ｓｎｍの説明図である。三次元空間は、高さ方向を除く二方向で行列状、すなわち、Ｘ方向にＮ個、Ｚ方向にＭ個にそれぞれ分割される。これにより、三次元空間にＮ×Ｍ個の四角柱状の区分Ｓｎｍが定義される。地形マップの分解能は、１つの区分Ｓｎｍの底面積（横断面積）の大きさに依存しており、これが小さいほど地形マップの分解能（上面視の分解能）が向上する。ただし、区分Ｓｎｍの底面積が小さすぎると、地面高の算出精度が低下してしまうおそれがある。なぜなら、視線Ｌ群の統計処理よって地面高を決定する関係上、区分Ｓｎｍの底面積が小さくなると、１つの区分Ｓｎｍ内を通過する視線Ｌの個数（サンプル数）が減少してしまうからである。したがって、区分Ｓｎｍの底面積（換言すれば、三次元空間の分割数）は、地形マップに要求される分解能と、地面高の算出精度との双方を考慮した上で、決定する必要がある。本実施形態では、１個当たりの区分Ｓｎｍの底形状を、一例として、２０ｃｍ四方に設定している。このようにして、三次元空間を高さ方向を除く二方向で行列状に分割することによって、三次元空間上に複数の立体的な区分Ｓｎｍが格子状に設定される。１つの区分Ｓｎｍ内には、例えば、図５に示すような通過経路で視線Ｌが存在する。ある区分Ｓｎｍ内を多数の視線Ｌが通過するということは、その区分Ｓｎｍ内に視線を遮る物体（障害物）が存在しないことを意味する。
【００２８】
視線ヒストグラム生成部１４は、視線設定部１３によって設定された視線Ｌ群に基づいて、高さ方向における視線通過の頻度分布を生成する。この頻度分布の生成は、区分Ｓｎｍ毎に行われる。図６は、ある区分Ｓｎｍに関する視線通過頻度ヒストグラムの一例を示す図である。同図に示すように、視線通過の頻度分布は、例えば、高さｙを縦軸として、予め設定された高さ区間（例えば、０．１ｍ）毎に縦軸が区切られている。地形マップの高さ方向の分解能は、１区間当たりの高さ区間の幅に依存している。そして、１つの視線Ｌがある高さ区間を通過する毎、その区間の度数に１を加算する。このような視線Ｌの通過回数の加算は、区分Ｓｎｍ内に存在するすべての視線Ｌを加算対象として行われる。これにより、それぞれの高さ区間における度数が求められ、視線通過の頻度分布が算出される。
【００２９】
地形認識部１５は、ある区分Ｓｎｍに関する視線通過の頻度分布に基づいて、その区分Ｓｎｍにおける地面高ｙｎｍを特定する。地面高ｙｎｍの特定手法としては、例えば、以下の３つの手法が考えられる。
【００３０】
第１の手法は、高さの低い方を優先しつつ、個々の高さの度数（視線通過の出現頻度）の大小に基づいて、地面高ｙｎｍを決定する手法である。具体的には、視線通過の頻度分布において、所定の閾値Ｔｈ以上の度数を有する高さ区間のうち、最も低い高さ区間、または、その直下（１つ下）の高さ区間を、区分Ｓｎｍの地面高ｙｎｍとする。例えば、図６のケースでは、閾値Ｔｈ以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（−０．２ｍ〜−０．１ｍ）、または、その直下の高さ区間（−０．３ｍ〜−０．２ｍ）が地面高ｙｎｍとなる。この手法は、ある区分Ｓｎｍ内を多数の視線Ｌが通過している場合、その区分Ｓｎｍ内には視線Ｌを遮る対象物が存在しないという知得に基づいている。このような知得によれば、高さ区間を下から上に向かって順次調べていき、最初に閾値Ｔｈ以上の度数を有する高さ区間、または、その直下の高さ区間が地面高ｙｎｍであるとみなせる。
【００３１】
第２の手法は、第１の手法と同様の知得に基づいたものであるが、高さの低い方から数えた累積度数の大小に基づいて、地面高ｙｎｍを決定する手法である。具体的には、視線通過の頻度分布において、高さの低い方から高い方に向かって、視線通過の度数を累積していくことにより、累積度数を算出する。そして、この累積度数が所定の閾値（第１の手法の閾値Ｔｈとは異なる）以上になる高さ区間、または、その直下の高さ区間が地面高ｙｎｍとして特定される。
【００３２】
第３の手法は、高さ方向に隣接した高さのうち、度数が高いものをグループ化することにより、地面高ｙｎｍを決定する手法である。具体的には、視線通過の頻度分布において、度数が所定の閾値以上となる高さ区間が高さ方向に連続している領域は、対象物が存在しない空間領域と判断される。また、度数が閾値未満となる高さ区間が高さ方向に連続している領域は、対象物が存在する非空間領域と判断される。すべての高さ区間は、空間領域または非空間領域のいずれかに分割される。このようにして特定された空間領域（複数の空間領域が特定されることもある）のうちで、高さ方向の範囲が最も広い空間領域が地面上の空間であると判断される。そして、地面上の空間に相当する空間領域における最も低い高さ区間を基準とし、その直下の高さ区間が地面高ｙｎｍとして特定される。例えば、図６のケースでは、閾値Ｔｈ以上の７つの高さ区間（−０．２〜０．５）が地面上の空間と判断され、その中で最も低い高さ区間は（−０．２〜−０．１）となる。したがって、地面高ｙｎｍは、高さ区間（−０．２〜−０．１）の直下の高さ区間に相当する（−０．３〜−０．２）となる。第３の手法は、第１および第２の手法と比較して、地面に穴が存在する場合、或いは、ステレオマッチングにおけるミスマッチが多い場合等に有効である。
【００３３】
ある区分Ｓｎｍにおいて、上述した手法における地面特定の要件を満足しない場合、地形認識部１５は、その区分Ｓｎｍの地面高ｙｎｍを、周囲の地面高ｙｎｍ’に基づいて推定する。例えば、周囲の地面高ｙｎｍ’に基づき補間する内挿処理によって、地面高ｙｎｍが決定される。
【００３４】
なお、地形認識部１５は、単一の区分Ｓｎｍ内の情報だけでなく、その周囲に存在する所定範囲内の区分Ｓｎｍ’における度数の合計や平均等の統計量を考慮した上で、地面高ｙｎｍを決定してもよい。
【００３５】
地形認識部１５において算出された地形データは、地形データメモリ１１に格納される。ここで、「地形データ」は、地面の三次元的形状を特定可能なデータであり、具体的には、区分Ｓｎｍ毎に算出された地面高ｙｎｍの集合である。なお、地形認識装置１を移動体に搭載する場合、或いは、これを監視装置と併用する場合、地形データより特定される地面の起伏を考慮した上で、移動制御や各種の監視制御を行うことが好ましい。
【００３６】
このように、本実施形態では、高さ方向（Ｙ方向）を除く二方向（Ｘ方向およびＺ方向）で三次元空間を行列状に分割することにより、三次元空間上に複数の区分Ｓｎｍが設定される。それぞれの区分Ｓｎｍに関して、高さ方向に関する視線Ｌ群の通過頻度分布が生成される。そして、それぞれの区分Ｓｎｍにおいて、視線Ｌ群の統計的な通過経路を調べることにより、地面高ｙｎｍが決定される。これにより、不整地のように起伏や凹凸のある状況、或いは、遠方にあって地面自体の距離データが得られにくい箇所を視野内に含む状況であっても、地面高Ｙｎｍを特定することができる。その結果、地面高Ｙｎｍを広い範囲で安定的かつ精度よく算出することができるため、起伏のある地面の三次元形状を精度よく認識することが可能となる。
【００３７】
なお、上述した実施形態では、三次元空間を格子状に分割することにより四角柱状の区分Ｓｎｍを設定している。しかしながら、本発明は、このような立体形状に限定されるものではなく、例えば、六角柱状の区分Ｓｎｍを含めて各種の立体形状に適用することが可能である。
【００３８】
また、地形認識部１５は、上述した視線通過頻度分布より特定される高さに、周囲の地面高ｙｎｍ’の連続性を加味した上で、地面高ｙｎｍを特定してもよい。例えば、ある区分Ｓｎｍに関して特定された地面高ｙｎｍが、区分Ｓｎｍの周囲の地面高ｙｎｍ’よりも所定の閾値以上異なる場合、周囲の地面高ｙｎｍ’に基づいて、地面高ｙｎｍを補正（平準化）するといった如くである。これにより、地形の三次元的形状を一層精度よく認識することが可能となる。
【００３９】
（第２の実施形態）
図７は、第２の実施形態にかかる地形認識装置のブロック構成図である。本実施形態の特徴は、第１の実施形態で述べたシステム構成に対象物ヒストグラム生成部１６を追加し、対象物の存在頻度分布を考慮した上で、地面高ｙｎｍを特定する点にある。なお、図１に示した構成ブロックと同一のものについては、同一の番号を付して、ここでの説明を省略する。
【００４０】
対象物ヒストグラム生成部１６は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、高さ方向における対象物の存在頻度分布を生成する。この頻度分布の生成は、視線通過の頻度分布と同様に、図４に示した区分Ｓｎｍ毎に行われる。図８は、ある区分Ｓｎｍに関する対象物の存在頻度ヒストグラムの一例を示す図である。対象物の存在頻度分布は、図６に示した視線通過頻度ヒストグラムと同様に、高さｙを縦軸として、予め設定された高さ区間（例えば、０．１ｍ）毎に縦軸が区切られている。そして、ある対象物の三次元位置（Ｘ，Ｙ，Ｚ）が区分Ｓｎｍ内に存在する場合、その対象物が存在する高さ区間の度数に１を加算する。この加算処理は、区分Ｓｎｍ内に存在するすべての対象物を加算対象として行われる。これにより、それぞれの高さ区間における対象物の存在度数が算出される。
【００４１】
地形認識部１５は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分Ｓｎｍにおける地面高ｙｎｍを特定する。具体的には、まず、第１の実施形態で説明した手法に従い、区分Ｓｎｍに関する視線通過の頻度分布より、視線ベースの地面高ｙ１ｎｍが算出される。つぎに、区分Ｓｎｍに関する対象物の存在頻度分布より、対象物ベースの地面高ｙ２ｎｍが算出される。この地面高ｙ２ｎｍは、所定の閾値Ｔｈ以上の度数を有する高さ区間のうち、最も低い高さ区間として特定することができる。例えば、図８のケースでは、閾値Ｔｈ以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（−０．３ｍ〜−０．２ｍ）が地面高ｙ２ｎｍとなる。そして、視線ベースの地面高ｙ１ｎｍと対象物ベースの地面高ｙ２ｎｍとに基づいて、最終的な地面高ｙｎｍが算出される。最終的な地面高Ｙｎｍは、例えば、視線ベースの地面高Ｙ１ｎと対象物ベースの地面高Ｙ２ｎｍとの単純平均または加重平均より算出することができる。この場合の加重平均の重みとして、例えば、対象物ベースの地面高Ｙ２ｎｍの信頼度を用いてもよい。すなわち、対象物ベースの地面高Ｙ２ｎｍの信頼度が大であれば、Ｙ２ｎｍの重みを増やし、これが小であれば、Ｙ２ｎｍの重みを増やすといった如くである。信頼度としては、例えば、区分Ｓｎｍに関する対象物の存在頻度のうち、閾値Ｔｈ以上である高さ区間における頻度の合計値と、所定の判定基準閾値との比を用いる方法がある。
【００４２】
本実施形態によれば、第１の実施形態と同様に、起伏のある地面の三次元的形状を精度よく認識することが可能となる。特に、本実施形態では、視線通過の頻度分布のみならず、対象物の存在頻度分布をも考慮して、地面高ｙｎｍを算出している。したがって、地面の三次元的形状を一層精度よく認識することが可能となる。
【００４３】
なお、対象物の存在頻度ヒストグラムにおいて、特定された地面高以下の頻度を除けば、地面上に存在する障害物のみを認識することも可能である。
【００４４】
【発明の効果】
このように、本発明では、高さ方向を除く二方向で三次元空間を行列状に分割することによって、三次元空間を複数の区分に分割し、区分毎に、高さ方向の視線通過の頻度分布を生成する。それぞれの区分の地面の高さは、視線通過の頻度分布に基づいて特定される。これにより、地面の三次元的形状を精度よく認識することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態にかかる地形認識装置のブロック構成図
【図２】基準画像に設定される画素ブロックＰＢｉｊの説明図
【図３】三次元空間上に設定される視線Ｌの説明図
【図４】三次元空間上に設定される区分Ｓｎｍの説明図
【図５】区分Ｓｎｍを通過する視線Ｌ群の一例を示す図
【図６】区分Ｓｎｍに関する視線通過頻度ヒストグラムの一例を示す図
【図７】第２の実施形態にかかる地形認識装置のブロック図
【図８】区分Ｓｎｍに関する対象物の存在頻度ヒストグラムの一例を示す図
【符号の説明】
１    地形認識装置
２    ステレオカメラ
２ａ  メインカメラ
２ｂ  サブカメラ
４    Ａ／Ｄコンバータ
５    Ａ／Ｄコンバータ
６    画像補正部
７    ステレオ画像処理部
８    距離データメモリ
１０    マイクロコンピュータ
１１    地形データメモリ
１２    三次元位置算出部
１３    視線設定部
１４    視線ヒストグラム生成部
１５    地形認識部
１６    対象物ヒストグラム生成部
【図１】
2004151883.tif 000004
【図２】
2004151883.tif 000005
【図３】
2004151883.tif 000006
【図４】
2004151883.tif 000007
【図５】
2004151883.tif 000008
【図６】
2004151883.tif 000009
【図７】
2004151883.tif 000010
【図８】
2004151883.tif 000011