(57)【特許請求の範囲】
【請求項１】
距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得手段と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化手段と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成手段と、
を備えたことを特徴とする障害物検出装置。
【請求項２】
前記障害物検出装置は、前記ヒストグラム作成手段によって得られた累積値に対して距離に応じた補正を行う補正手段をさらに備えたことを特徴とする請求項１に記載の障害物検出装置。
【請求項３】
前記距離画像取得手段の距離と、当該距離に対応して前記累積値に対して乗算する補正値とが設定されたルックアップテーブルを有し、
前記補正値が、基準となる前記距離における前記物体の撮像面に占める垂直角度と、補正する距離における前記物体の撮像面に占める垂直角度との比から求められていることを特徴とする請求項２に記載の障害物検出装置。
【請求項４】
請求項１から３のいずれかに記載の障害物検出装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段を備えたことを特徴とする車両走行制御装置。
【請求項５】
請求項１から３のいずれかに記載の障害物検出装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段を備えたことを特徴とする自律走行ロボット。
【請求項６】
距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得過程と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成過程と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化過程と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成過程と、
を有することを特徴とする障害物検出方法。
【請求項７】
前記障害物検出方法は、前記ヒストグラム作成過程によって得られた累積値に対して距離に応じた補正を行う補正過程をさらに有することを特徴とする請求項６に記載の障害物検出方法。
【請求項８】
前方視野内の障害物を検出する障害物検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記障害物検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得処理と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成処理と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化処理と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成処理と、
をコンピュータに行わせることを特徴とする障害物検出プログラムを記録した記録媒体。
【請求項９】
前記障害物検出プログラムは、
前記ヒストグラム作成処理によって得られた累積値に対して距離に応じた補正を行う補正処理をさらにコンピュータに行わせることを特徴とする請求項８に記載の障害物検出プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、距離画像を用いてロボットや自動車が移動する際に必要な障害物の検出を行う障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来の障害物検出は、検出対象の障害物の形状に対して幾つかの制約条件を設定し、その制約条件の下における濃度画像あるいは距離画像を用いて障害物を検出していた。
しかしながら、実際にロボットが走行する屋内環境や、自動車の走行する一般道路には様々な形状を持った障害物が存在しており、形状に関する制約条件を設定して障害物を検出するのは現実的でないという問題がある。
またエレベーションマップと呼ばれる障害物マップのように、２次元グリッドの各セル毎に物体の高さや存在確率などの情報を載せているものがあるが、障害物回避などの経路設定にはポテンシャルフィールドの手法を用いるなど複雑になるという問題もある。
【０００３】
本発明は、このような事情に鑑みてなされたもので、ロボットや自動車が自律移動する際、安全に移動するために必要な障害物検出を行うことができる障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得手段（例えば、実施形態における距離画像取得部１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成手段（例えば、実施形態におけるヒストグラム記憶部４及び画像処理部３）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化手段と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成手段（例えば、実施形態における障害物マップ記憶部６及び画像処理部３）とを備えたことを特徴とする。
【０００５】
請求項１に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【０００６】
請求項２に記載の発明は、前記障害物検出装置は、前記ヒストグラム作成手段によって得られた累積値に対して距離に応じた補正を行う補正手段（例えば、実施形態におけるルックアップテーブル及び画像処理部３）をさらに備えたことを特徴とする。
【０００７】
請求項２に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【０００８】
請求項３に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【０００９】
請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００１０】
請求項４に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【００１１】
請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【００１２】
請求項５に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得過程（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成過程（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化過程（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成過程（例えば、実施形態におけるステップＳ１１）とを有することを特徴とする。
【００１３】
請求項５に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１４】
請求項６に記載の発明は、前記障害物検出方法は、前記ヒストグラム作成過程によって得られた累積値に対して距離に応じた補正を行う補正過程（例えば、実施形態におけるステップＳ６）をさらに有することを特徴とする。
【００１５】
請求項６に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００１６】
請求項７に記載の発明は、前方視野内の障害物を検出する障害物検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記障害物検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得処理（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成処理（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化処理（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成処理（例えば、実施形態におけるステップＳ１１）とをコンピュータに行わせることを特徴とする。
【００１７】
請求項７に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１８】
請求項８に記載の発明は、前記障害物検出プログラムは、前記ヒストグラム作成処理によって得られた累積値に対して距離に応じた補正を行う補正処理（例えば、実施形態におけるステップＳ６）をさらにコンピュータに行わせることを特徴とする。
【００１９】
請求項８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態による障害物検出装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ロボットや自動車が移動する際の移動方向の視野内に存在する物体の距離画像を取得する距離画像取得部である。この距離画像取得部１の距離センサは、２台のＣＣＤカメラや電磁波を用いたレーダ等で構成される。符号２は、距離画像取得部１において得られた距離画像の１フレーム分を記憶する画像記憶部である。符号３は、画像記憶部２に記憶された距離画像を処理して障害物マップを生成する画像処理部である。符号４は、距離画像を２値化する場合に用いられるヒストグラムを記憶するヒストグラム記憶部である。符号５は、ヒストグラムの補正を行うためのデータが定義されたルックアップテーブルである。符号６は、画像記憶部２に記憶された距離画像に基づいて生成された障害物マップを記憶する障害物マップ記憶部である。符号７は、障害物マップ記憶部６に記憶された障害物マップを参照してロボットや自動車等の移動を制御する移動制御部である。
ここでは、図１に示す障害物検出装置は屋内を移動する自律走行のロボットに備えられているものとして説明する。
【００２１】
ここで、以下の説明において用いる座標系を定義する。ロボットの前方の距離方向をＸ軸、ロボットの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３軸は互いに直交している。また、以下でいう距離とは、距離取得部１から各物体までの直線距離である。したがって、距離画像データは、距離画像取得部１の視野における物体表面の測定点の３次元座標値の集合である。
【００２２】
次に、図２を参照して、図１に示す障害物検出装置の動作を説明する。図２は、画像処理部３が距離画像から障害物マップを生成する動作を示すフローチャートである。
まず、画像処理部３は、距離画像取得部１に対して現時点における前方の距離画像の取得を指示する（ステップＳ１）。これを受けて、距離画像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ変換して各測定点毎に画像記憶部２へ格納する。図３に距離画像の一例を示す。ここでは、一例として各測定点の距離を８ビット（２５６階調）で表現するものとする。通常の画像の画素は、センサの視野内における物体表面の輝度を表現したものであるが、距離画像の画素は、センサの視野内における物体表面までの距離を２５６階調で表現したものである。したがって、距離画像中の画素の位置によって、ＹＺ平面上の１点を特定することができ、さらにこの画素がもつ距離の情報によってＸ軸方向の位置を特定することができるため、３次元空間に存在する物体の表面上の１点を特定することができる。なお、より精度が必要な場合には、レーダを併用するなどして精度を向上させることもできる。さらに、距離データを２５６階調で表現せずに、距離センサの出力値をそのまま使用するようにしてもよい。
【００２３】
次に、画像記憶部２に距離画像が格納された後に画像処理部３は、画素毎に距離データを読み出す（ステップＳ２）。そして、読み出した距離データからこの画素に該当する測定点の座標値（Ｘ１，Ｙ１，Ｚ１）を求める。続いて画像処理部３は、この測定点をＸＹ平面に投影する（ステップＳ３）。この投影処理は、座標値Ｚ１を「０」に置き換えることによって行う。またこのとき、測定点を投影するＸＹ平面には、距離センサの測定分解能より粗いグリッドセル（例えば５ｃｍ×５ｃｍの正方形領域）が定義されており、投影された測定点がどのグリッドセルに含まれるかを求める。画像処理部３は、求めたグリッドセル毎に投影された測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。また、画像処理部３は、この測定点（Ｘ１，Ｙ１，Ｚ１）をＸＺ平面に投影する（ステップＳ４）。この投影処理は、座標値Ｙ１を「０」に置き換えることによって行い、ＸＹ平面と同様にＸＺ平面上のグリッドセル毎の測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。なお、環境条件により、ＸＹ平面のみ、ＸＺ平面のみでも本発明の実施が可能となる。
【００２４】
そして、全ての画素についてステップＳ３、Ｓ４の処理を行ったか否かを判定し、処理していない画素があればステップＳ２へ戻り処理を繰り返す（ステップＳ５）。全ての画素について処理が終了した時点で、ヒストグラム記憶部４には、ＸＹ平面上に測定点を投影した場合の測定点の累積度数と、ＸＺ平面上に測定点を投影した場合の測定点の累積度数とが記憶されていることになる。図４にヒストグラム記憶部４に記憶されるＸＹ平面のヒストグラムの一例を示す。
【００２５】
次に、画像処理部３は、ルックアップテーブル５を参照して、先に得られた２つのヒストグラムの累積度数を補正する（ステップＳ６）。距離センサにＣＣＤカメラを用いる場合、その遠近法則の性質上、視点から遠方にある物体ほど、ヒストグラムの累積が小さくなる傾向がある（例えば、同じ大きさの物体でも遠方にあるほど累積は小さい）。従って、カメラの視野画角や処理範囲などパラメータから予め設定したヒストグラム補正用のルックアップテーブル５を参照し、各グリッドセル毎の補正値から累積値の補正を行うことによって、遠方の物体も近傍の物体と同じレベルで累積が行わるようになり、ノイズ成分を除去することが容易となる。ルックアップテーブル５の一例を図５に示す。画像処理部３は、ルックアップテーブル５を参照して、該当するグリッドセルの補正値を取得し、この補正値を累積値に乗算することによって累積値の補正を行う。この補正は、全てのグリッドセルの累積値に対して行われる。ルックアップテーブル５の作成方法は後述する。
【００２６】
次に、画像処理部３は、ヒストグラム記憶部４に記憶されているヒストグラムの累積値と予め決められたしきい値とを先に定義したグリッドセル毎に比較をして（ステップＳ７）、累積値がしきい値より大きい場合は該当するグリッドセルの値を「１」にして障害物マップ記憶部６へ記録する（ステップＳ８）。一方、しきい値より小さい場合は、該当するグリッドセルの値を「０」にして障害物マップ記憶部６へ記憶する（ステップＳ９）。このステップＳ７〜Ｓ９の処理を全てのグリッドセルの累積値に対して行う（ステップＳ１０）。これによって、障害物マップ６には、累積値がしきい値より大きいグリッドセルが「１」であり、累積値がしきい値より小さいグリッドセルが「０」となる２値データが生成される。この処理は、ＸＹ平面上のグリッドセル及びＸＺ平面上のグリッドセルに対して行う。
なお、ステップＳ７において、使用するしきい値は、距離画像取得部１による計測データの誤差を考慮して、ノイズ成分が除去できる値を設定すればよい。
【００２７】
次に、画像処理部３は、障害物マップ６に対して、クラスタリングの処理を施す（ステップＳ１１）。ここでいうクラスタリング処理は、周知の技術であり、各グリッドセルの値が「１」であり、かつ隣り合っているグリッドセルを１つの塊とする処理である。この処理によって得られたそれぞれの塊が障害物となる。このクラスタリング処理は、ＸＹ平面上及びＸＺ平面上のグリッドセルについて行い、２つの平面から得られた結果から障害物を抽出する。障害物を抽出した結果である障害物マップの一例を図６に示す。距離画像取得部１と障害物との相対的な位置関係は、グリッドセルの領域サイズと位置とから算出する。
【００２８】
クラスタリング処理が終了した時点で、ステップＳ１において得られた距離画像から障害物マップ６を生成する処理が終了する。そして、画像処理部３は再びステップＳ１〜Ｓ１１の処理を繰り返し、その都度に障害物マップ６を更新する。
一方、移動制御部７は、時々刻々更新される障害物マップ６を参照しながら、移動経路の設定をすることによって、ロボットの移動の制御を行う。
【００２９】
ここで、ルックアップテーブル５の作成方法について、図７を参照して説明する。距離に応じた補正値は、図７に示すように、同じ高さの物体を水平に取り付けたカメラで撮影し、物体の占める角度（θ）の比とする。
図７の場合、高さｈ［ｍ］の物体を想定した場合、視点より１［ｍ］先に置いた場合の撮像面に占める垂直角度をθ１とし、これを基準とする。次に同じ高さｈ［ｍ］の物体を視点よりｋ［ｍ］の地点に置いた場合の撮像面に占める垂直角度をθｋとすると、視点からの距離に応じてθ１／θｋを計算し、グリッドセルに合わせて離散化すればよい。このようにして図５のようなルックアップテーブルを設定することができる。
【００３０】
このように、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができる。また、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができる。さらに、障害物マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができる。
【００３１】
なお、前述した説明においては、累積値をルックアップテーブル５によって補正するようにしたが、累積値に乗ずる補正値を距離の値そのものにしてもよい。このようにすることによって、処理を簡単にできるとともに、ルックアップテーブル５を備える必要がなくなる。また、ルックアップテーブル５を用いずに、ステップＳ７において用いるしきい値を距離に応じて変化させるように処理してもよい。すなわち、距離が大きくなるほど、しきい値を小さくすればよい。
【００３２】
【発明の効果】
以上説明したように、請求項１、５、７に記載の発明によれば、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００３３】
また、請求項２、６、８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００３４】
また、請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００３５】
また、請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の構成を示すブロック図である。
【図２】  図１に示す画像処理部３の動作を示すフローチャートである。
【図３】  図１に示す距離画像取得部１において得た距離画像の一例を示す説明図である。
【図４】  図１に示すヒストグラム記憶部４に記憶されるヒストグラムの一例を示す説明図である。
【図５】  図１に示すルックアップテーブル５の一例を示す説明図である。
【図６】  図１に示す障害物マップ記憶部６に記憶される障害物マップの一例を示す説明図である。
【図７】  図５に示すルックアップテーブル５の作成方法を示す説明図である。
【符号の説明】
１・・・距離画像取得部、
２・・・画像記憶部、
３・・・画像処理部、
４・・・ヒストグラム記憶部、
５・・・ルックアップテーブル、
６・・・障害物マップ記憶部、
７・・・移動制御部。
【図１】
0004233723.tif 000002
【図２】
0004233723.tif 000003
【図３】
0004233723.tif 000004
【図４】
0004233723.tif 000005
【図５】
0004233723.tif 000006
【図６】
0004233723.tif 000007
【図７】
0004233723.tif 000008