(57)【特許請求の範囲】
【請求項１】
（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ）  最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ）  次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定する、ことを特徴とするステレオカメラによる平面検出方法。
【請求項２】
（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ｄ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｅ）  前記複数のＬＯＧフィルタをそれぞれ別個に用いて、前記画像情報取得ステップ、射影変換行列算出ステップ、及び平面領域抽出ステップを実行して、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ）  前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法。
【請求項３】
（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ）  最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ）  次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定し、次に、
（ｄ）  異なる標準偏差を有する複数の第２ＬＯＧフィルタを設定し、
（ｅ）  前記複数の第２ＬＯＧフィルタをそれぞれ別個に用いて、各第２ＬＯＧフィルタによる処理を実施し、前記射影変換行列でそれぞれの参照画像を射影変換し、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ）  前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法。
【請求項４】
前記抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する、ことを特徴とする請求項１乃至３のいずれか一項に記載のステレオカメラによる平面検出方法。
【請求項５】
請求項１乃至３のいずれかによる平面検出方法を有する平面算出機能および、時系列につながる複数画像から平面を算出する時系列フィルタ機能からなる平面領域算出装置と、
車両の走行経路が検出された最も大きい平面領域に限定させる経路生成装置と、
前記経路生成装置の制御下にあるアクチュエータにより移動を行う走行装置と、を備えたことを特徴とする平面検出方法を用いた移動ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、人がＧＰＳ座標系でウェイポイントを入力し、これを通過するように自律的に走行経路の生成を行って走行する自律移動ロボット、又は半自律移動ロボット及び遠隔で操縦する操縦支援装置に係り、特にステレオカメラによる平面検出方法に関する。
なお、半自律移動ロボットとは、自律走行と遠隔操縦とを混成して走行させるロボットである。
【背景技術】
【０００２】
ステレオカメラによる平面検出方法として、車載カメラからのステレオ画像を利用して、走行可能な平面領域及び障害物を検出する技術が、特許文献１〜３に既に開示されている。
【０００３】
図１は特許文献１〜３の技術が適用される車両の説明図である。
この図において、車両５０（移動体）のウィンドシールド上部の左右には、車両５０が走行する道路平面領域を含む画像を撮像する一対の撮像手段である基準カメラ５２及び参照カメラ５４が固定配置される。基準カメラ５２及び参照カメラ５４は、共通の撮像領域が設定されたＣＣＤカメラ等からなるステレオカメラであり、これらには、撮像した画像を処理することで道路平面領域と障害物となる可能性のある物体とを検出する演算処理装置５６が接続される。なお、以下の説明では、基準カメラ５２によって撮像された画像を「基準画像」と称し、参照カメラ５４によって撮像された画像を「参照画像」と称する。
【０００４】
図２は一対の撮像手段間での２次元射影変換を説明するための模式図であり、
図３は平面領域を抽出する手順の説明図である。
先ず、特許文献１〜３における道路平面領域の抽出原理を説明する。
【０００５】
図２に示すように、空間中にある平面Π上の観測点Ｍ１が基準画像Ｉｂ及び参照画像Ｉｒに投影されるとき、基準画像Ｉｂ上での同次座標をｍｂ、参照画像Ｉｒ上での同次座標をｍｒとすると、各同次座標ｍｂ、ｍｒは、２次元射影変換行列Ｈによって関係付けられる。
【０００６】
ここで、Ｈは３×３の射影変換行列である。また、図２において、Ｏは基準カメラ５２の光学中心、Ｏ’は参照カメラ５４の光学中心、Ｒは基準カメラ座標系から参照カメラ座標系への回転行列、ｔは参照カメラ座標系において参照カメラ５４の光学中心から基準カメラ５２の光学中心へ向かう並進ベクトル、ｄは基準カメラ５２の光学中心Ｏと平面Πとの距離、ｎは平面Πの法線ベクトルである。
【０００７】
道路等の走行可能な領域は、空間中でほぼ平面であると見なすことができれば、図３（Ａ）の参照画像Ｉｒに対して適切な射影変換を施すことにより、平面の部分に対して図３（Ｂ）（Ｄ）の基準画像Ｉｂに一致するような画像（図３（Ｃ））を得ることができる。
一方、平面上にない物体は、射影変換した際に画像（図３（Ｃ）と図３（Ｄ））が一致しないため、その物体の領域は走行可能な領域でない、あるいは、障害物となり得る領域であると判断することができる。したがって、図３（Ｅ）のように、平面の拡がりを算出することにより、走行可能な平面領域及び障害物となる物体の検出が可能となる。
【０００８】
上述した特許文献１〜３の手段により、車載カメラからのステレオ画像を利用して、走行可能な前方の平面領域、基準カメラ５２の光学中心Ｏと平面領域との距離ｄ、前方の平面領域の法線ベクトルｎを検出することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−２１７８８３公報、「ステレオ画像を用いた道路平面領域並びに障害物検出方法」
【特許文献２】特許第４２７０３８６公報、「移動体移動量算出装置」
【特許文献３】特許第４２９７５０１公報、「移動体周辺監視装置」
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図４は、上述した特許文献１〜３における平面検出方法のフロー図であり、例えば特許文献３の図３の一部に相当する。
この図において、ステップＳ０では、基準画像Ｉｂ及び参照画像Ｉｒに係る画像情報を取得する。
ステップＳ１では、基準画像Ｉｂ及び参照画像Ｉｒと動的推定のための射影変換行列Ｈの初期値とを用いて、路面に対する射影変換行列Ｈを動的に推定する。
ステップＳ２では、推定した射影変換行列Ｈを用いて、車両が走行可能な道路平面領域を抽出する。
ステップＳ３では、推定した射影変換行列Ｈを用いて、平面Πの平面パラメータである法線ベクトルｎ及び基準カメラの光学中心Ｏから平面Πまでの距離ｄを求める。
ステップＳ４では、適当に真値に近い動的推定のための射影変換行列Ｈの初期値を求める。
【００１１】
図５は、図４の詳細フロー図であり、例えば特許文献３の段落００４２〜００６９に相当する。
この図において、ステップＳ０のＳ０１ａ，Ｓ０１ｂにおいて基準カメラ５２及び参照カメラ５４を用いて画像を撮像し、Ｓ０２ａ，Ｓ０２ｂにおいてレンズ歪を除去する。
また、Ｓ０３ａ，Ｓ０３ｂにおいて各画像にＬＯＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）フィルタをかける。また、左右のカメラの個体差で明るさが微妙に異なるため、さらに、Ｓ０４ａ，Ｓ０４ｂにおいてヒストグラム平坦化処理を施す。
また、ステップＳ１のＳ１１において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、Ｓ１２において射影変換行列Ｈを算出する。
また、ステップＳ２のＳ２１において、求めた射影変換行列Ｈで参照画像を射影変換し、Ｓ２２において、基準画像と射影変換後の参照画像から平面領域を特定する。
【００１２】
しかし、上述した特許文献１〜３における平面検出方法は、様々な環境を走行する自律移動ロボットに適用した場合、以下の例のように、平面検出の安定性が低い問題点があった。
【００１３】
（１）撮影対象によっては、Ｈパラメータ推定の安定性が低い。例えば、滑らかな領域を走行しているにもかかわらず、前回推定したパラメータ（ｎ，ｄ）から大きくずれてしまうことが頻繁に起こる。
（２）走行する路面の模様は一様ではなく、舗装路、砂利道、泥地、砂地、草原等に変化する。しかし、従来の方法では特定の周波数帯域の模様しか判定できないため、これから外れる帯域の模様のみをもつ障害物（平面領域外）が検出できない。すなわち、特定の周波数帯域から外れる帯域の模様を持つ部分で平面領域とそれ以外を区別することができない。
（３）同一の走行路面（例えば、平面）であっても、撮影条件（位置・姿勢）によって見え方が大きく変化するような領域が存在し、平面検出において「細かな抜け」が頻繁に発生する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所に、平面として検出されない箇所が頻繁に発生する。このような箇所は既に平面として検出されているにもかかわらず、車両の走行に影響を与える箇所として検出されるため、平面検出上の抜けであるが、この抜けの存在により、車両の安定走行が阻害される。
【００１４】
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、Ｈパラメータ推定の安定性を高めることができ、舗装路、砂利道、泥地、砂地、草原等の様々な帯域の模様をもつ平面領域を検出でき、撮影位置の変化による平面検出上の抜けを防ぐことができ、これにより、平面検出の安定性を高めることができるステレオカメラによる平面検出方法とこの方法を用いた移動ロボットを提供することにある。
【課題を解決するための手段】
【００１５】
本発明によれば、（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ）  最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ）  次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
【００１６】
また、本発明によれば、（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ｄ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｅ）  前記複数のＬＯＧフィルタをそれぞれ別個に用いて、前記画像情報取得ステップ、射影変換行列算出ステップ、及び平面領域抽出ステップを実行して、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ）  前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
【００１７】
さらに、本発明によれば、（Ａ）  自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ）  前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ）  推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ）  推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ）  異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ）  最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ）  次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定し、次に、
（ｄ）  異なる標準偏差を有する複数の第２ＬＯＧフィルタを設定し、
（ｅ）  前記複数の第２ＬＯＧフィルタをそれぞれ別個に用いて、各第２ＬＯＧフィルタによる処理を実施し、前記射影変換行列でそれぞれの参照画像を射影変換し、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ）  前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
【００１８】
本発明の実施形態によれば、前記抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する。
【００１９】
さらに、本発明によれば、上述したいずれかによる平面検出方法を有する平面算出機能および、時系列につながる複数画像から平面を算出する時系列フィルタ機能からなる平面領域算出装置と、
車両の走行経路が検出された最も大きい平面領域に限定させる経路生成装置と、
前記経路生成装置の制御下にあるアクチュエータにより移動を行う走行装置と、を備えたことを特徴とする移動ロボットが提供される。
【発明の効果】
【００２０】
上記本発明の方法によれば、フィルタの幅（フィルタサイズ）が大きい場合には細かい模様の影響が事前の平滑化で無くなり、大まかな模様に対する２次微分が得られる。一方、フィルタ幅（フィルタサイズ）が小さい場合には、狭い範囲での微分が行なわれるため、細かい模様に対する２次微分が得られるので、安定して十分な精度の射影変換行列Ｈが求まる。
【００２１】
その他の効果は、後述する。
【図面の簡単な説明】
【００２２】
【図１】特許文献１〜３の手段が適用される車両の説明図である。
【図２】一対の撮像手段間での２次元射影変換を説明するための模式図である。
【図３】特許文献１〜３による平面領域を抽出する手順の説明図である。
【図４】特許文献１〜３における平面検出方法のフロー図である。
【図５】図４の詳細フロー図である。
【図６】本発明が適用される自律移動ロボットの説明図である。
【図７】自律移動ロボットのブロック図である。
【図８】本発明によるステレオカメラによる平面検出方法の全体フロー図である。
【図９】ステップＳ１０における「多段階Ｈパラメータ推定」の詳細フロー図である。
【図１０】ステップＳ２０における「複数画像からの平面領域算出」の詳細フロー図である。
【図１１】ステップＳ４０における「地図上での時系列フィルタ処理」の詳細フロー図である。
【図１２】ＬＯＧフィルタの説明図である。
【図１３】フィルタサイズの影響を示す説明図である。
【図１４】長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とするフィルタサイズの影響の説明図である。
【図１５】図１４の入力信号を対象とする場合の基準信号と差分信号の位置ズレの説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
【００２４】
図６は、本発明が適用される自律移動ロボットの説明図であり、図７は自律移動ロボットのブロック図である。
【００２５】
図６、図７において、自律移動ロボット１０は、ＧＰＳ１１、ジャイロセンサ１２、自己位置評定用コンピュータ１３、車両制御装置１４及び操縦装置１５を備える。
自律移動ロボット１０は、この例では自走する車両であるが、本発明はこれに限定されず、半自律移動ロボットや操縦支援装置であってもよい。なお、以下の説明では、自律移動ロボット１０を、単に「移動ロボット」又は「車両」と呼ぶ。
【００２６】
車両制御装置１４は、この例では経路生成用コンピュータ１４ａ、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄからなり、経路生成用コンピュータ１４ａにより自律的に走行経路の生成を行い、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄにより車両を操縦して走行するようになっている。
【００２７】
操縦装置１５は、この例ではノートパソコンであり、人がノートパソコン１５によりＧＰＳ座標系でウェイポイントを入力し、経路生成用コンピュータ１４ａに無線で通信するようになっている。
またＧＰＳ１１、ジャイロセンサ１２及び自己位置評定用コンピュータ１３により周辺の地図、車両の位置、車両の姿勢を検出し、経路生成用コンピュータ１４ａに出力するようになっている
【００２８】
上述した構成により、人がＧＰＳ座標系でウェイポイントを入力することにより、経路生成用コンピュータ１４ａによりウェイポイントを通過するように移動ロボット１０は自律的に走行路検出及び経路生成を行い車両を操縦して走行することができる。
【００２９】
遠方環境認識装置２０は、上述した移動ロボット１０に走行経路の生成に必要な環境地図データ５を出力する装置である。
【００３０】
図６、図７において、遠方環境認識装置２０は、一対の車載カメラ２２、及びコンピュータ２６を備える。
一対の車載カメラ２２は、上述した基準カメラ５２及び参照カメラ５４に相当する。
コンピュータ２６は、この例では画像処理用コンピュータ２６ａと環境地図生成用コンピュータ２６ｂからなり、車載カメラ２２の出力から、単一の座標系に定義された平面領域及び障害物を含む環境地図データを生成する。
【００３１】
図６において、一対の車載カメラ２２は、例えばステレオカメラであり、移動ロボット１０に固定して配置され、前方の平面領域１を含む相互に重複する領域の画像２（ステレオ画像）を撮像する。
画像処理用コンピュータ２６ａは、上述した特許文献１〜３の手段により、車載カメラ２２からのステレオ画像２を利用して、平面領域１と、平面領域１の法線ベクトルｎ（カメラ座標系における法線ベクトル）を検出する。
【００３２】
図８は、本発明によるステレオカメラによる平面検出方法の全体フロー図である。
この図において、本発明の平面検出方法は、Ｓ０１ａ，Ｓ０１ｂ，Ｓ１０，Ｓ２０，Ｓ３０，Ｓ３２，Ｓ４０の各ステップ（工程）を有する。
ステップＳ０１ａ，Ｓ０１ｂでは、車載カメラ２２（基準カメラ５２及び参照カメラ５４）を用いて基準画像と参照画像を撮像する。
ステップＳ１０では、「多段階Ｈパラメータ推定」を実施する。このステップの詳細は後述する。
ステップＳ２０では、「複数画像からの平面領域算出」を実施する。このステップの詳細は後述する。
ステップＳ３０では、平面パラメータ（ｎ，ｄ）を算出する。ステップＳ３２では、仮想投影面（ＶＰＰ）を算出する。ステップＳ３０，Ｓ３２は、特許文献１〜３における平面検出方法と同様である。
ステップＳ４０では、「地図上での時系列フィルタ処理」を実施する。このステップの詳細は後述する。
【００３３】
図９は、ステップＳ１０における「多段階Ｈパラメータ推定」の詳細フロー図である。
ステップＳ１０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。なおフィルタは２段階に限らず、３段以上であってもよい。
【００３４】
次に、最大の標準偏差σ（この例ではσＬ）を有するＬＯＧフィルタ（フィルタ１）を用いて、画像情報取得ステップＳ０と射影変換行列算出ステップＳ１を実行し、最大の標準偏差σによる射影変換行列Ｈを動的に推定する。
すなわち、この例において、ステップＳ１０１、Ｓ１０２でフィルタ１による処理を実施し、ステップＳ１０３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１０４において射影変換行列Ｈを算出する。
【００３５】
次いで、推定した射影変換行列Ｈを初期値として、順次小さい標準偏差σ（この例ではσＨ）を有するＬＯＧフィルタ（フィルタ２）を用いて前記画像情報取得ステップＳ０と射影変換行列算出ステップＳ１を実行して順次小さい標準偏差σによる射影変換行列を動的に推定する。これを最小の標準偏差σ（この例ではσＨ）を有するＬＯＧフィルタまで繰り返して最終の射影変換行列Ｈを動的に推定する。
すなわち、この例において、ステップＳ１１１、Ｓ１１２でフィルタ２による処理を実施し、ステップＳ１１３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１１４において最終の射影変換行列Ｈを算出する。
【００３６】
図１０は、ステップＳ２０における「複数画像からの平面領域算出」の詳細フロー図である。
ステップＳ２０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。複数の標準偏差σは、この例では、ステップＳ１０で設定した値と同一である。すなわち、この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。
ステップＳ２０における標準偏差σは、ステップＳ１０と相違してもよい。
【００３７】
次に、前記複数の標準偏差σ（この例ではσＬとσＨ）を有するＬＯＧフィルタ（フィルタ１，２）をそれぞれ別個に用いて、画像情報取得ステップＳ０、射影変換行列算出ステップＳ１、及び平面領域抽出ステップＳ２を実行して、それぞれ車両が走行可能な複数の平面領域を抽出する。
すなわち、この例において、ステップＳ２０１、Ｓ２０２でフィルタ１による処理を実施し、ステップＳ２０３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２０４において、平面評価領域を特定する。
同様に、この例において、ステップＳ２１１、Ｓ２１２でフィルタ２による処理を実施し、ステップＳ２１３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２１４において、平面評価領域を特定する。
従って、この段階で２つの平面領域が抽出される。
【００３８】
次いで、ステップＳ２１０において、前記複数（２つ）の平面領域のすべてに含まれる領域を最終平面領域として抽出する。
【００３９】
図１１は、ステップＳ４０における「地図上での時系列フィルタ処理」の詳細フロー図である。
ステップＳ４０では、抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する。
すなわち、ステップＳ４０１において、ＧＰＳにより地図座標でのカメラ位置を計測し、ステップＳ４０２において、ジャイロにより地図座標でのカメラ方向を計測し、ステップＳ４０３において、平面領域画像を地図座標に変換する。
次いで、すべての平面領域画像のピクセル配列（Ｉ，Ｊ）について、ステップＳ４０４において、ピクセル（Ｉ，Ｊ）における反映値の判定処理を実施する。
【００４０】
「反映値の判定処理」は、例えば以下のように実施する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所は、その後の検出でも平面である蓋然性が高い。従って、その後の検出において、平面として検出されない箇所が既に平面として検出した領域内に発生した場合には、直ちに「平面でない（非平面）」と判断せず、同一の検出結果が所定回数（例えば５回）繰り返した場合に、「平面でない（非平面）」と判する。
【００４１】
以下、上述した本発明の効果について説明する。
１．ＬＯＧフィルタ概要
まず、ＬＯＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）フィルタの特性について説明する。
図１２は、ＬＯＧフィルタの説明図であり、（Ａ）はＬＯＧフィルタ関数、（Ｂ）はガウス関数、（Ｃ）はフィルタサイズが小さいガウス関数、（Ｄ）はフィルタサイズが大きいガウス関数の例である。ガウス関数は、いわゆる正規分布であり、標準偏差σを有する。
なお、本発明において、「フィルタサイズ」とはガウス関数における標準偏差σの大きさを意味する。
【００４２】
ＬＯＧフィルタは図１２（Ａ）に示すような関数と入力信号とで畳み込み演算を行い信号強度を得るフィルタである。ＬＯＧフィルタは所定の幅（フィルタサイズ）を持つガウス関数（図１２（Ｂ））による平滑化の後、２次微分を行って得る信号を、一回のフィルタで得ることが出来るフィルタである。
なお、以下の図は全て画像中のある直線上の輝度をプロットし、ｘ方向の位置とｙ方向の信号強度（輝度）を表したグラフである。
【００４３】
ＬＯＧフィルタの特性はその構成要素であるガウス関数のフィルタサイズ（図１２で（Ｃ）がフィルタサイズが小さい場合、（Ｄ）がフィルタサイズが大きい場合の例を示す。）により大きく影響を受ける。概略としてはフィルタサイズに近い細かさ（周波数）の信号に対して感度が良く、フィルタサイズにくらべて非常に細かい（波長が短い）信号、もしくは非常に荒い（波長が長い）信号に対しては感度が悪くなる（出力される信号強度が小さくなる）。具体的には以下に示す。
【００４４】
図１３はフィルタサイズの影響を示す説明図である。この図において、（Ａ）はフィルタサイズより十分細かい信号の場合、（Ｂ）はフィルタサイズと同じくらいの信号の場合、（Ｃ）はフィルタサイズより大きい信号の場合を示している。
【００４５】
（１）フィルタサイズ≫信号の場合
ＬＯＧフィルタを校正するガウス関数のサイズより十分細かい信号は、図１３（Ａ）に示すように処理の前段であるガウス関数フィルタ適用後にはすでに信号変化が非常に小さいものとなる。さらにこれを微分しても殆ど信号が無い出力が得られることになる。以上のように、細かすぎる信号にたいしては感度が悪くなる。
【００４６】
（２）フィルタサイズ≒信号の場合
フィルタサイズと信号のサイズが近い場合には、フィルタと信号を重ね合わせると、図１３（Ｂ）のように信号全域でＬＯＧフィルタ関数をちょうど強めあうようになっており、また、適切にずらして重ね合わせると、きれいに反転して負の方向に強めあうようになる。このように、ずれ方に応じた信号を強調して出力するため、感度が高いフィルタ適用となる。
【００４７】
（３）フィルタサイズ≪信号
フィルタサイズより信号が大きい場合には図１３（Ｃ）のように、畳み込み演算で掛け合わされる対象の信号強度がフィルタの山（β）と谷（α、γ）の位置ではあまり変化していない。このため、畳み込みの結果を合計すると山と谷の成分で打ち消しあい、感度が低くなってしまう。
【００４８】
以上のことからフィルタサイズによる影響は以下のとおりとなる。
フィルタの幅（フィルタサイズ）が大きい場合には細かい模様の影響が事前の平滑化で無くなり、大まかな模様に対する２次微分が得られる。一方、フィルタ幅（フィルタサイズ）が小さい場合には、狭い範囲での微分が行なわれるため、細かい模様に対する２次微分が得られる。
【００４９】
２．ＬＯＧフィルタのフィルタサイズとＨパラメータ導出（「多段階Ｈパラメータ推定」）
Ｈパラメータ導出の際におけるＬＯＧフィルタサイズの影響と本発明との関係について説明する。
従来技術におけるＨパラメータの導出では、（１）正しい値から少しずれている（前回撮影時に求まった）Ｈ’を用い参照信号（画像）を射影変換してズレの小さい参照信号（画像）を生成する。（２）基準信号（画像）と変換後の参照信号（画像）の位置ずれを２つの信号の差分から計算する。（３）仮定したＨ’とズレ量から正しいＨを計算する。という方法を用いている。
【００５０】
図１４は、長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とするフィルタサイズの影響の説明図である。
以下では、実際の画像を単純化した信号として図１４（Ａ）で示すような、長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とし、基準信号と補正済み参照信号が図１４（Ｂ）に示すようにズレが発生する場合に、ズレ量を求める計算を例にフィルタサイズの影響を説明する。
【００５１】
図１５は、図１４の入力信号を対象とする場合の基準信号と差分信号の位置ズレの説明図である。
まず、信号の構成要素である信号ａ、信号ｂに別けて、それぞれズレが補正できるかを検討する。ａのような大きな波長の信号に対しては図１５（Ａ）のように差分から位置ずれを求めることができるが、ｂのような小さい波長の信号は、図１５（Ｂ）のように本来のズレ（ア）に対し、最寄りの山谷とのズレ（イ）としてズレ量が得られるため、半周期以上のズレについて正しくも求まらない特徴がある。
【００５２】
図１４（Ｂ）に示すように合成信号が大きくずれる場合に、ａやｂの波長よりフィルタサイズが大きいＬＯＧフィルタを適用すれば、ズレ推定の計算でａの影響が大きくなり正しくズレが求まるが、ａやｂの波長よりフィルタサイズが小さいＬＯＧフィルタを適用した場合にはズレ推定の計算でｂの影響がａの影響よりも大きくなりすぎ、ｂのズレ推定である本来より近いズレ量が結果として得られ、正しく求まらないことになる。
【００５３】
従来技術は見つけ出したい障害物や模様のうち、最も小さいものに合わせた細かめの（フィルタサイズの小さい）ＬＯＧフィルタを後段の処理である一致処理（平面判定の処理）で用いる必要があり、同じＬＯＧフィルタ適用結果を用いてＨパラメータの計算に利用することが多い。
ところが、本発明の適用先である自律移動ロボット１０（「車両」）などの大きく振動する環境下で平面を計測する場合には、微小時間においても平面とカメラの関係が非常に大きく変化する。この変化の影響で前回のＨパラメータをもとに参照画像を補正しても、基準画像と補正後参照画像の信号のずれが大きくなることがある。このような場合に、細かめのフィルタで補正可能な範囲（フィルタのサイズ）をずれが上回り、ズレ量の計算を利用してＨパラメータを求める処理が正しく機能しなくなる。
【００５４】
そこで、本発明では、検出に使用したいフィルタサイズより十分（２倍以上）大きなＬＯＧフィルタを用いてＨパラメータを求める処理を事前におこない、大きく振動した場合でもＨパラメータの計算を可能にする。
【００５５】
一方、大きいサイズのＬＯＧフィルタを適用した画像は大きくぼやけ、大まかな特徴しか残らないため細かい部分での一致処理を行なうには精度が不足する場合がある。
そこで、前回撮影時のＨパラメータから正しいＨパラメータを推定する際には、まず大きなフィルタサイズのＬＯＧフィルタを適用したパラメータ推定で小さいずれの中間Ｈパラメータを求め、さらにこの小さなズレしか含まないＨパラメータを元に、細かいＬＯＧフィルタを適用した補正参照画像を再度生成し、そこでのずれから精度の高いＨパラメータ推定を行う。これにより、大きなズレに対する変動耐性と高い精度を両立することができる。
【００５６】
３．ＬＯＧフィルタのフィルタサイズと平面検出判定（「複数画像からの平面領域算出」）
次に、平面検出判定の際におけるＬＯＧフィルタサイズ影響と本発明の関係について説明する。
【００５７】
上述したように、ＬＯＧフィルタはそのフィルタサイズに対応する細かさを持つ明るい変化に高く反応するようになっている。
平面検出判定（基準画像と参照画像を差し引いて、一致部分と不一致部分を切り分ける処理）では一般的に見つけ出したい障害物や模様のうち、最も小さいものに合わせた細かめの（フィルタサイズの小さい）ＬＯＧフィルタの結果を用いることが多い。
ところが、今回適用対象に想定している屋外においては、壁などの障害物があり、均一な色ではなく、うっすらとまだらの染み（水漏れや汚れ）が見えるものも多く存在する。そのため、このような模様に反応して壁などを障害物として検出できる必要がある。ところが、なだらかで大きな模様に対しては細かいＬＯＧフィルタの感度が低くなり、平面以外の部分で発生するはずの不一致が検出できず、壁が平面と誤認識される問題が発生する。
このような問題に対処するために細かめのＬＯＧフィルタの倍以上のサイズかつ十分荒い（サイズが大きい）ＬＯＧフィルタを適用することで、検出が可能となる。
【００５８】
一方、荒めのＬＯＧフィルタ単体だけで処理を行うと、本来見つけ出したい細かい障害物や、細かい模様（特に網目など細かく、規則正しい模様）についての感度が低くなり、それらの部分で不一致部分とならず、細いポールや金網のフェンスが障害物として検出できない問題が発生する。
【００５９】
そこで、フィルタサイズが小さい（細かい）ＬＯＧフィルタを適用した画像を用いて一致判定を行なった検出結果、および、フィルタサイズが大きい（荒い）ＬＯＧフィルタを適用した画像を用いて一致判定を行なった検出結果の２種類の検出結果をそれぞれ求め、さらにその両方の検出結果において一致（障害物でない・平面部）と判定された部分のみを平面部と判定する判定を行なうことで、細かい物体も、まだらな模様やしみとしか見えない壁面部分も同時に障害物として検出することができるようになる。
【００６０】
上述の例では、２種類のフィルタしか用いていないが、より検出性能を向上したい場合には多段階にすることが望ましい。
また、実際の画像を用いてフィルタの特性を見てみると、低い周波数のフィルタではフィルタ後のエッジが消えかかっており、高い周波数のフィルタでは差分が低めに検出されることが確認できる。
【００６１】
上述したように、多数のフィルタサイズのＬＯＧフィルタを適用した結果を求め、Ｈパラメータの推定では、フィルタスケールの大きい順に直列に処理を行い、また平面判定においては多数のフィルタ結果を並列に処理を行いＡＮＤ条件を取ることで、検出機能の安定性（とくに耐振動性、対象のバリエーション変化への耐性、検出精度など多数のファクターで）を向上させることができる。
【００６２】
すなわち、上述した「多段階Ｈパラメータ推定」（ステップＳ１０）により、安定して最終の射影変換行列Ｈが求まる。
また、上述した「複数画像からの平面領域算出」（ステップＳ２０）により、平面の検出もれを低減できる。
さらに、上述した「地図上での時系列フィルタ処理」（ステップＳ４０）により、安定して平面が検出でき、高速度をだすことができる。
【００６３】
従って本発明により、十分な処理速度により、高い安定性をもって平面領域が抽出できる。これにより、広範囲にわたって移動する自律または遠隔操縦で走行するロボットの、走行可能領域（道）抽出モジュールとして実装でき、高速度での移動（時速６０ｋｍ／ｈ）が実現できる。
【００６４】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【符号の説明】
【００６５】
１  平面領域、２  画像（ステレオ画像）、５  環境地図データ、
１０  自律移動ロボット（移動ロボット、車両）、１１  ＧＰＳ、
１２  ジャイロセンサ、１３  自己位置評定用コンピュータ、
１４  車両制御装置、１４ａ  経路生成用コンピュータ、
１４ｂ  車両制御用コンピュータ、１４ｃ  ドライバ、
１４ｄ  モータ、アクチュエータ、１５  操縦装置、
２０  遠方環境認識装置、２２  車載カメラ（ステレオカメラ）、
２６  コンピュータ、２６ａ  画像処理用コンピュータ、
２６ｂ  環境地図生成用コンピュータ
【図１】
0005530773.tif 000002
【図２】
0005530773.tif 000003
【図３】
0005530773.tif 000004
【図４】
0005530773.tif 000005
【図５】
0005530773.tif 000006
【図６】
0005530773.tif 000007
【図７】
0005530773.tif 000008
【図８】
0005530773.tif 000009
【図９】
0005530773.tif 000010
【図１０】
0005530773.tif 000011
【図１１】
0005530773.tif 000012
【図１２】
0005530773.tif 000013
【図１３】
0005530773.tif 000014
【図１４】
0005530773.tif 000015
【図１５】
0005530773.tif 000016