(57)【特許請求の範囲】
【請求項１】
２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、
立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、
上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、
上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする自律走行車の周囲環境認識装置。
【請求項２】
地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする請求項１記載の自律走行車の周囲環境認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置に関する。
【０００２】
【従来の技術】
従来より、ゴルフ場、河川敷堤防、公園における草刈、芝刈作業や果樹園での農薬散布等の各種フィールドでの作業を無人で行いながら自律的に走行する自律走行車に係わる開発が積極的に行われている。
【０００３】
この自律走行車では、光電センサや超音波センサ等の各種センサを用いて走行制御に必要な情報を得たり、誘導ケーブルによって走行制御を行うようにしているが、センサによってはガイドやビーコン等を敷設する必要があり、また、誘導ケーブルでは、切れやすい、コストがかかる、保守管理が大変であるといった問題がある。
【０００４】
このため、近年では、画像処理の技術を適用して周囲環境を認識し、走行制御を行う技術が開発されており、例えば、特開昭６３−３１４６１６号公報には、２台のカメラを用いて撮像した進行方向のステレオ画像から自己位置を検出することにより、自律走行制御を行なう技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、果樹園等での自律走行では、木や枝等の立体障害物だけでなく、窪地、丘、段差等を考慮した走行可能領域の判断及び車体制御が必要であり、明暗の大きい環境下で撮像した一対の画像（基準画像及び比較画像）をステレオ処理して樹木等の立体物と地面形状とを３次元的に把握しなければならない。
【０００６】
しかしながら、明暗の大きい画像をバランスの取れた明るさに調整すると、カメラのダイナミックレンジの関係で地面部の輝度がつぶれてしまう（周りと非常によく似る）傾向があり、基準画像の小領域と比較画像の小領域との輝度差によるシティブロック距離を用いて２つの画像のマッチングを取る従来のステレオ処理では、シティブロック距離の変化がつきにくく、立体物と区別して地面部を検出することは困難であった。
【０００７】
この場合、地面部に合わせて画像全体の明るさを調整すると、取り込んだ画像から地面は検出できても、ほかの立体物が検出しづらくなってしまい、さらには、２台のカメラのゲイン調整（明るさの調整）のちょっとしたずれの影響を受けて視差検出の誤りが多くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、明暗の大きい環境下でステレオ撮像した一対の画像から立体物と地面部とを誤り無く検出し、立体物及び地面部の３次元情報を同時に得ることのできる自律走行車の周囲環境認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする。
【００１１】
すなわち、本発明では、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成する。
【００１２】
この際、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１は周囲環境認識装置の構成図、図２は地面部ステレオ処理部の構成図、図３は元画像から立体物主体の距離画像を生成した例を示す説明図、図４はカメラと平面との位置関係を示す説明図、図５は視差検出範囲の説明図、図６は元画像から地面主体の距離画像を生成した例を示す説明図、図７は出力距離画像を示す説明図である。
【００１４】
図１において、符号１は、自律走行車、例えば果樹園における農薬散布等の作業を無人で行う作業ロボット等に搭載され、周囲を撮像した画像を処理して障害物や自己位置を認識し、地形に応じた姿勢制御を伴う自律移動をアシストする周囲環境認識装置である。
【００１５】
この周囲環境認識装置１は、２台１組のカメラ１０ａ，１０ｂからなるステレオカメラ１０、立体物ステレオ処理部２０、地面部ステレオ処理部３０、データ選択部４０、距離画像メモリ５０、認識部６０等から構成されており、果樹園等の明暗の大きい環境下で撮像した１対の元画像（基準画像及び比較画像）を立体物ステレオ処理部２０と地面部ステレオ処理部３０との２系統に分配して並列処理し、各並列処理結果を統合することで、木や枝葉等の立体障害物と、窪地、丘、段差等の地面形状とを同時に認識する。
【００１６】
具体的には、立体物ステレオ処理部２０では、２台１組のステレオカメラ１０で撮像した一対の画像をステレオマッチングして立体物主体の距離画像を生成する。この処理では、まず、地面部と樹木等の立体物とを含む元画像に対してエッジ検出を強めに行って地面部を排除し、この地面部を排除した画像の小領域、例えば４×４画素の小領域毎に、互いの画素の輝度の差から以下の(1)式に示すシティブロック距離Ｃ１を計算する。
【００１７】
Ｃ１＝Σ｜Ａi−Ｂi｜  …(1)
但し、Ａi：基準画像の小領域におけるｉ番目画素の輝度
Ｂi：比較画像の小領域におけるｉ番目画素の輝度
Σ ：ｉ＝０〜ｎ（小領域内の画素数）の総和
そして、上記(1)式によるシティブロック距離Ｃ１が最小となる比較画像の小領域を基準画像の小領域に対応する場所として決定し、互いに対応する小領域で対象物までの距離に応じて生じる画素のズレ（＝視差）を求めた後、この視差から得られる立体物までの遠近情報を数値化した３次元画像情報（距離画像）を生成する。
【００１８】
すなわち、この立体物主体のステレオ処理では、通常のステレオ処理（例えば、本出願人による特開平５−１１４０９９号公報に詳述されている）に対してエッジ検出を強めに行うことで、例えば、図３に示すような元画像から立体物主体の距離画像を生成し、地面部を排除した立体物だけの距離データを得るようにしている。
【００１９】
一方、上記地面部ステレオ処理部３０は、図２に示すように、視差検出範囲設定部３１、輝度微分シティブロック距離計算部３２、視差検出部３３等から構成されており、ステレオカメラ１０で撮像した一対の画像をステレオマッチングし、地面主体の距離画像を生成する。
【００２０】
すなわち、地面はある程度平面とみなすことができることから、視差検出範囲設定部３１では、地面を平面と仮定して基準画像の１つの小領域にマッチングする比較画像の小領域の位置を推測し、視差を検出する範囲を設定する。
【００２１】
図４に示すように、カメラが平面を写しているとすると、カメラの平面からの高さをＨ、画面上の消失点を（Ｘv，Ｙv）、画面上の任意の点を（Ｘi，Ｙi）、焦点距離をｆとして、任意点の実際の距離Ｚは、以下の(2)式で与えられる。
【００２２】
Ｚ＝Ｈ／ｔａｎ（ｔａｎ-1(Ｙv／ｆ)−ｔａｎ-1(Ｙi／ｆ)）…(2)
また、2台のカメラ１０ａ，１０ｂの基線長（カメラ光軸間の距離）をｒ、視差をｘとすると、レンズから目標物体までの距離Ｄは、以下の(3)式で与えられる。
【００２３】
Ｄ＝ｒｆ／ｘ  …(3)
従って、上記(2)式の右辺と上記(3)式の右辺とが等しいとみなすことにより、およその視差を求めることができ、このおよその視差を用いて地面を平面と仮定した場合の基準画像の１つの小領域、例えば８×２画素の小領域に対し、図５に示すように、マッチングする比較画像の小領域の位置を推測する。そして、この推測点から水平走査方向の前後所定範囲を、比較画像の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【００２４】
次に、輝度微分シティブロック距離計算部３２では、視差検出範囲内の小領域毎に、以下の(4)式による輝度微分のシティブロック距離Ｃ２を計算する。すなわち、地面部は、各部分の輝度が周りと非常によく似ており、通常のマッチング処理のように２枚の画像の輝度の差をとるだけでは視差検出の誤りが多くなる。このため、輝度の差でマッチングをとるのではなく、輝度変化点を検出することにより、マッチングをとる。
【００２５】
Ｃ２＝Σ｜(Ａi−Ａi-1)−(Ｂi−Ｂi-1)｜  …(4)
そして、視差検出部３３で、上記(4)式による輝度微分のシティブロック距離Ｃ２が最小となる比較画像の小領域を、基準画像の小領域に対応する場所として決定して互いの視差を求め、この視差から得られる地面部の遠近情報を数値化した３次元画像情報（距離画像）を生成する。図６は、元画像から輝度微分のシティブロック距離によって地面主体の距離画像を生成した例である。
【００２６】
データ選択部４０では、上記立体物ステレオ処理部２０で生成された立体物主体の距離画像に、上記地面部ステレオ処理部３０で生成された地面主体の距離画像から選択した地面部のデータを埋め込み、図７に示すように、１つの距離画像として合成する。
【００２７】
上記データ選択部４０から出力される距離画像は上記距離画像メモリ５０にストされ、認識部６０に読み込まれる。この認識部６０では、距離画像メモリ５０からの３次元の距離情報に基づいて樹木等の立体物や地面の凹凸等を認識し、図示しない走行制御装置に自律走行のための情報を出力する。
【００２８】
これにより、例えば、果樹園における農薬散布で予め走行経路を学習させて自律走行を行う場合、丘があると認識された場合には減速し、段差があると認識された場合には徐行するといったように、その場に応じた走行可能領域を判断し、地形に応じた車体制御を伴う自律走行をアシストすることができる。
【００２９】
【発明の効果】
以上説明したように請求項１記載の発明によれば、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成するため、例えば、果樹園等の明暗の大きい環境下においても樹木等の立体物と地面部とを誤り無く検出して正確な３次元情報を得ることができ、正確な走行可能領域の判断を可能として地形に応じた車体制御を行う自律走行をアシストすることができる。
【００３０】
この場合、請求項２に記載したように、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【図面の簡単な説明】
【図１】周囲環境認識装置の構成図
【図２】地面部ステレオ処理部の構成図
【図３】元画像から立体物主体の距離画像を生成した例を示す説明図
【図４】カメラと平面との位置関係を示す説明図
【図５】視差検出範囲の説明図
【図６】元画像から地面主体の距離画像を生成した例を示す説明図
【図７】出力距離画像を示す説明図
【符号の説明】
１  …周囲環境認識装置
１０…ステレオカメラ
２０…立体物ステレオ処理部
３０…地面部ステレオ処理部
４０…データ選択部
５０…距離画像メモリ
６０…認識部
【図１】
0004005679.tif 000002
【図２】
0004005679.tif 000003
【図３】
0004005679.tif 000004
【図４】
0004005679.tif 000005
【図５】
0004005679.tif 000006
【図６】
0004005679.tif 000007
【図７】
0004005679.tif 000008