(57)【要約】【課題】Bar形障害物を精度良く検出する。【解決手段】Bar形障害物の検出は、視差画像より得られる横方向視差を用いてPole形障害物までの距離・高さを検出し、その上でBar形障害物が存在するかどうかを確認する方法をとる。さらに、観察点の移動による前後視差を加えることで、Bar形障害物の検出精度を上げることを可能としている。【選択図】図６
2009052937.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラによる撮影画像を取得するステップ(ｓ１)と、
前記ステップ(ｓ１)において取得した撮影画像の視差画像およびエッジ画像を取得するステップ(ｓ２)と、
前記ステップ(ｓ２)において取得した画像に対する画像処理によりPole形障害物を検出するステップ(ｓ３)と、
前記ステップ(ｓ３)において検出したPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出するステップ(ｓ４)と、
を備えることを特徴とする障害物検出方法。
【請求項２】
請求項１において、
前記ステレオカメラによる撮影地点を移動させた後、前記ステップ(ｓ１)〜(ｓ４)における処理を再度行うステップ(ｓ５)と、
前記ステップ(ｓ４)において検出したBar形障害物と前記ステップ(ｓ５)において検出したBar形障害物とに基づいてBar形障害物を確定するステップ(ｓ６)と、
をさらに備えることを特徴とする障害物検出方法。
【請求項３】
ステレオカメラによる第１の撮影地点における第１の撮影画像を取得する手段(ｍ１)と、
前記手段(ｍ１)によって取得された前記第１の撮影画像の視差画像およびエッジ画像を取得する手段(ｍ２)と、
前記手段(ｍ２)によって取得された画像に対する画像処理によりPole形障害物を検出する手段(ｍ３)と、
前記手段(ｍ３)によって検出されたPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出する手段(ｍ４)と、
を備えることを特徴とする障害物検出装置。
【請求項４】
請求項３において、
前記第１の撮影地点とは異なる第２の撮影地点における前記ステレオカメラによる第２の撮影画像を取得する手段(ｍ５)と、
前記手段(ｍ５)によって取得された前記第２の撮影画像の視差画像およびエッジ画像を取得する手段(ｍ６)と、
前記手段(ｍ６)によって取得された画像に対する画像処理によりPole形障害物を検出する手段(ｍ７)と、
前記手段(ｍ７)によって検出されたPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出する手段(ｍ８)と、
前記手段(ｍ４)によって検出されたBar形障害物と前記手段(ｍ８)によって検出されたBar形障害物とに基づいてBar形障害物を確定する手段(ｍ９)と、
をさらに備えることを特徴とする障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚情報を活用しステレオカメラを用いた視差およびエッジ抽出画像に加え、複数の観察点における画像を用い、障害物を検出する方法および装置に関する。
【背景技術】
【０００２】
視覚障害者の歩行を支援する手段として白杖と盲導犬は代表的なものである。他に電子情報技術による歩行支援の例があり、これらの特徴について以下に述べる。
【０００３】
（１）白杖(盲人安全杖)
白杖とは、視覚障害者が安全に歩行するための白色の杖である[非特許文献３]。白杖は入手が比較的容易であり、利用者も多い。しかし、後述する空中の障害物の検出に不得手といえる。
【０００４】
（２）盲導犬
盲導犬は視覚障害者の前方を歩き、安全に誘導する訓練を受けた介助犬である[非特許文献３]。盲導犬の視覚によって前方の障害物を検知しているので、空中の障害物も検出可能である。
【０００５】
（３）電子情報技術による手段
超音波センサを用いた視覚障害者の歩行を支援する手段として、ソニックガイド，モーワットセンサがある[非特許文献３][非特許文献４]。価格、習得の難しさなどから実用例が少ない。
【０００６】
上記(１)と(２)の歩行支援手段を機能に着目して整理すると図１のようになる。
【特許文献１】特開2006-345960号公報
【特許文献２】特開2004-024305号公報
【非特許文献１】森英雄著,視覚障害者用福祉ロボット,バイオメカニズム学会誌,Vol.17,No2(1993),PP83-88.
【非特許文献２】静岡光の家ＨＰ,Web資料室,白杖と歩行補助具のギャラリー  http://www2.tokai.or.jp/hikarino-ie/siryou/goods_cane.htm
【非特許文献３】日本盲導犬協会ＨＰ,http://www.moudoukennet/
【非特許文献４】山越憲一著,健康・福祉工学ガイドブック,工業調査会,(2001)PP190-195.
【非特許文献５】神奈川盲導犬トレーニングセンター技術相談
【非特許文献６】ＮＨＫ,「プロフェッショナル−イヌは人生のパートナー」2007年6月26日放送.
【非特許文献７】田村秀行,コンピュータ画像処理,オーム社(2002),p186.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
平成10年度、視覚障害者約30万人のうち、盲導犬希望者は約7,800人である。しかしながら、現在、盲導犬の希望者に対する充足率は12％と非常に低い。また、盲導犬は訓練期間，費用の関係上、今後の充足率の改善は難しいと考えられる。また、従来の視覚障害者支援手段の代表である白杖は、活用の広さや安全性を考えたとき、改良の余地が大いにあると考えられる。
【０００８】
そこで本願発明者らは、これらの問題点を改良した視覚障害者支援用盲導犬ロボットの開発を進めることにした。現在の視覚障害者に対する歩行支援手段、盲導犬ロボットにおける必要機能の考察を行い、その上で障害物回避に着目し、障害物の分類と障害物検知に主眼をおいている。必要機能としては移動機構，移動中における障害物の検出，ヒューマン・マシン・インタフェース(以下「ＨＭＩ」と記す)，回避が挙げられる。
【０００９】
現在まで盲導犬ロボットの開発事例[非特許文献１]はあるが、市場に広まっていない。その大きな理由として、視覚情報をうまく取り扱っていなかったと考える。そこで本願発明者らは、視覚情報を用いた障害物の検出および回避行動機能を有する盲導犬ロボットを考えた。特に、ステレオカメラを用いた視覚画像情報からの視差画像，エッジ画像に加え、移動型ロボットの利点を生かした複数の観察点における画像も用いることで障害物を精度よく検出する方法および装置を提案する。
【課題を解決するための手段】
【００１０】
本発明による障害物検出方法は、
ステレオカメラによる撮影画像を取得するステップ(ｓ１)と、
前記ステップ(ｓ１)において取得した撮影画像の視差画像およびエッジ画像を取得するステップ(ｓ２)と、
前記ステップ(ｓ２)において取得した画像に対する画像処理によりPole形障害物を検出するステップ(ｓ３)と、
前記ステップ(ｓ３)において検出したPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出するステップ(ｓ４)と、
を備えることを特徴とする。
【００１１】
また、上記障害物検出方法において、
前記ステレオカメラによる撮影地点を移動させた後、前記ステップ(ｓ１)〜(ｓ４)における処理を再度行うステップ(ｓ５)と、
前記ステップ(ｓ４)において検出したBar形障害物と前記ステップ(ｓ５)において検出したBar形障害物とに基づいてBar形障害物を確定するステップ(ｓ６)と、
をさらに備えることを特徴とする。
【００１２】
本発明による障害物検出装置は、
ステレオカメラによる第１の撮影地点における第１の撮影画像を取得する手段(ｍ１)と、
前記手段(ｍ１)によって取得された前記第１の撮影画像の視差画像およびエッジ画像を取得する手段(ｍ２)と、
前記手段(ｍ２)によって取得された画像に対する画像処理によりPole形障害物を検出する手段(ｍ３)と、
前記手段(ｍ３)によって検出されたPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出する手段(ｍ４)と、
を備えることを特徴とする。
【００１３】
また、上記障害物検出装置において、
前記第１の撮影地点とは異なる第２の撮影地点における前記ステレオカメラによる第２の撮影画像を取得する手段(ｍ５)と、
前記手段(ｍ５)によって取得された前記第２の撮影画像の視差画像およびエッジ画像を取得する手段(ｍ６)と、
前記手段(ｍ６)によって取得された画像に対する画像処理によりPole形障害物を検出する手段(ｍ７)と、
前記手段(ｍ７)によって検出されたPole形障害物に基づいて、Bar形障害物が存在する可能性がある領域を決定し、決定した各領域からBar形障害物を検出する手段(ｍ８)と、
前記手段(ｍ４)によって検出されたBar形障害物と前記手段(ｍ８)によって検出されたBar形障害物とに基づいてBar形障害物を確定する手段(ｍ９)と、
をさらに備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、Bar形障害物を精度良く検出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
上述のとおり本願発明者らは、移動機構を有し、移動中における障害物の検出，ＨＭＩ，回避を備えた視覚障害者支援用盲導犬ロボットの開発を進めている。本実施形態では、盲導犬ロボットとしての必要機能の考察と特徴をまとめ、障害物とその検出方法に注目した。障害物をBar形・Pole形・Step形に分類し、危険性が高いBar形の検出に重点をおいた。視覚情報を活用しステレオカメラを用いた視差画像およびエッジ抽出画像に加え、移動型ロボットの利点による複数の観察点における画像を用い、障害物を検出する方法および装置を提案する。
【００１６】
［盲導犬ロボットのコンセプト］
盲導犬の役割に関し調査[非特許文献５][非特許文献６]をふまえて必要な機能を考察する。その機能の先には、盲導犬ロボットだからこそできる可能性についても考察する。
【００１７】
（盲導犬の役割から盲導犬ロボットの必要機能の考察）
（１）状態の検出
盲導犬は段差や曲がり角を見つけて止まる。一旦停止することで、主人の意向を確かめることになり、次の指示を待つ。すなわち、障害物の有無を検出することが第一に必要である。
【００１８】
（２）ＨＭＩ
盲導犬は判断の必要な状況になると一旦停止する。これは強い情報伝達であり、主人の判断を促す合図でもある。盲導犬はハーネスがあるがこれに代わる手段が必要である。
【００１９】
（３）障害物回避
盲導犬は障害物(自転車，電柱など)を検知し、それらを避け、安全に誘導する。回避行動が必要な状況はさまざまであるが、平面的ではなく立体的な場合がより危険と考えられる。
【００２０】
（盲導犬ロボットのシステム機能概念）
これらを必要機能として表示すると図２(ａ)のように示すことが可能である。障害物などを検出するセンサ・センシングシステムを有し、状況や障害物を認識する。その危険度を判定し、すぐに使用者に伝達することが必要である。また、回避・誘導などはロボットとして移動機能を有することも必要である。そして、開始→検出→状態伝達ＨＭＩ→指示の受信→回避制御→新たな行動(移動)の開始、という一連の流れが必要である。本願発明者らによる盲導犬ロボットのシステム構想を図２(ｂ)に示す。
【００２１】
（盲導犬ロボットとしての強みと弱み）
盲導犬は主人の知っている地図上を移動するが、新たなルート開拓はしない。これは逆にロボットの可能性を示唆するものである。すなわち、今までに見たこともない障害物、今まで行ったこともない場所への誘導などが可能となるであろう。また、人生の相手としての盲導犬の位置づけは非常に大切である。
【００２２】
［障害物の分類］
（生活空間での障害物）
視覚障害者は、日々さまざまな障害物と遭遇している。ここでは視覚障害者の歩行の妨げになりうる障害物を、盲導犬の回避行動[非特許文献６]と交えながら分類していく。
【００２３】
歩道においては、縁石による段差(例えば図３(ａ)参照)や階段(例えば図３(ｂ)参照)によって、足を踏み外す危険性がある。このとき盲導犬は視覚障害者に段差の危険を知らせ、判断を促す。歩道上での障害物として他に、電柱，街路樹，車止め(例えば図３(ｃ)参照)などがある。これらは２つ同時に存在する場合もある。このとき盲導犬は障害物の間隔を見極め、通り抜けるなどの行動をとる。最後に注意すべき障害物として物干し竿や鉄棒のような形状(例えば図３(ｄ)参照)のものが考えられる。門や扉も同形状の障害物といえる。これらは水平方向に棒形状が存在し、それが視覚障害者の頭にぶつかる高さにある場合、非常に危険な障害物といえる。盲導犬は棒形状部分の高さを見極め、視覚障害者が通り抜けできるかどうかの判断を訓練によって習得している。
【００２４】
（障害物の分類）
障害物によって回避行動も異なる。そこで本願発明者らは、障害物を回避行動の様式を勘案して、Step形，Pole形，Bar形に分類した(図４参照)。歩道の縁石や段差や溝などはStep形とする。階段は段差の連続であるためStep形の一種とする。電柱や街路樹などの障害物はPole形とする。なお、路面上の多くの障害物に対しては回り込むという回避行動にまとめられるため、これらをPole形の一種とする。よって、Pole形障害物はさまざまな形状の障害物を内包している。上に述べた物干し竿のような場合も一種のPole形であるが、単純な柱形状のみならず横向きの棒が存在する。このタイプの障害物を特にBar形と呼ぶ。この障害物は、足元に検出の中心をおいている白杖では検出が難しく、さらに、空中に突出している棒状の障害物は盲人の頭部に突き刺さるなどの危険性が高い。そのため、Bar形の検知が重要であると考え、本実施形態ではこの検知に重点を置くこととする。
【００２５】
［Bar形障害物の検出方法および装置の提案］
（システム構成）
図５は、本実施形態におけるロボットシステムの構成である。画像処理は画像処理専用のボードを用いる。ボードには、視差画像を得るためのステレオカメラがあり、その信号はパソコン(PC)に取り込むと同時に、モニタにて処理状況の確認ができるシステムである。また、観察点の移動を可能とするために移動ロボット(ビークル型)を用いている。これにより、今後障害物を確認後、回避動作への展開を可能としている。
【００２６】
（画像処理フロー）
Bar形障害物の検出を図６に示す画像処理手順を用いて行う。Bar形障害物の検出は、視差画像より得られる横方向視差を用いてPole形障害物までの距離・高さを検出し、その上でBar形障害物が存在するかどうかを確認する方法をとる。さらに、観察点の移動による前後視差を加えることで、Bar形障害物の検出精度を上げることを可能としている。
【００２７】
［検出の流れ］
（検出対象）
提案するBar形障害物の検出方法を検証するため、比較的バックグラウンドノイズが少ない環境(例えば実験室内にBar形障害物のみ)で行う。検出するBar形障害物の一例として、ここでは図７に示すように高さ1500mm・幅1200mm・直径30mmの鉄棒状のBar形障害物モデルを用いた。
【００２８】
（検出過程）
以下に検出過程を画像処理の順に示す。
【００２９】
(１)原画像の取得
まず、ステレオカメラによる画像を得る(ＳＴ１０)。ここではステレオカメラにより、例えば図８の８０１，８０２に示すような画像が得られたものとする。得られた画像８０１，８０２に対してレンズ歪み補正と方向誤差補正を行う(ＳＴ２０)。
【００３０】
(２)エッジ画像・視差画像の取得
以下の工程を並列に処理する。
【００３１】
(ａ)ロバーツ変換[非特許文献７]・ヒストグラム濃淡最適値決定・２値化処理を行い、例えば図８の８０３に示すような左エッジ画像を得る(ＳＴ３０)。
【００３２】
(ｂ)右画像８０２を基準に左画像８０１に対してテンプレートマッチングを行うことで視差画像８０４を得る(ＳＴ４０)。テンプレートマッチングはSAD値(絶対値差分累積値)を求めることで決定する。
【００３３】
今、カメラをピンホールカメラモデルと仮定し、画像の水平方向がｘ軸、垂直方向がｙ軸、奥行きがｚ軸であるとする。カメラから障害物までの距離Ｚと視差による左右画像間のｘ軸方向画素変化量Ｉｘの関係は、ｆ：焦点距離、ｂ：カメラレンズ距離として、
Ｚ＝ｆ＊ｂ／Ｉｘ…(式１)
で表される。
【００３４】
得られた視差画像には距離情報が含まれている。図８の８０４には視差から所定の距離(例えば２.４ｍ〜３.２ｍまでの距離)と判断された領域について強調表示している。
【００３５】
また、障害物の高さＨ・幅Ｗは式(１)と同様に求めることができる。
Ｈ＝ｙＨ＊ｂ／Ｉｘ…（式２）
Ｗ＝ｘＷ＊ｂ／Ｉｘ…（式３）
得られた視差画像に対してラベリング処理を行う。ラベリング領域は、ある一定のしきい値を超える面積に対して最小面積となるような四角形にて近似する(ＳＴ５０)。これにより、Pole形障害物の存在領域が決定可能となる。ここでは、例えば図８の視差画像８０４中の四角形領域Ｒ１〜Ｒ４がPole形障害物の存在領域として決定されるものとする。
【００３６】
(３)障害物の検出
左エッジ画像８０３の障害物存在領域Ｒ１〜Ｒ４の各領域内に対してテンプレートマッチングを行い、Pole形障害物を検出する(ＳＴ６０)。利用するテンプレートは自動作成したビットマップ(Ｐｘ×Ｐｙ)であり、例えば、Ｐｘ(ｘ軸方向のpixel数)を１pixel、Ｐｙ(ｙ軸方向のpixel数)を各検出領域Ｒ１〜Ｒ４のｙ軸方向pixel数とする。また、マッチング方法はユークリッド距離[非特許文献７]を計算し、設定したしきい値を超えた値に対して画像表示する。ここでは例えば図９の９０１に示すようにＰ１〜Ｐ６がPole形障害物として画像表示される。
【００３７】
Pole形障害物を検出後、Bar形障害物が存在する可能性がある領域を決定する。例えば、検出されたPole形障害物の中から任意の２つを選び、選んだ２つのPole形障害物の間の領域を、Bar形障害物が存在する可能性がある領域と決定する。
【００３８】
各決定領域に対してテンプレートマッチングを行い、Bar形障害物を検出する(ＳＴ７０)。Bar形のテンプレートには、例えば、Ｐｙを３pixel、Ｐｘを検出領域(各決定領域)のｘ軸方向pixel数としたビットマップを用い、Pole形同様ユークリッド距離が最小となるところでマッチングと判断する。
【００３９】
Bar形障害物の検出画像の一例を図９の９０２に示す。検出したすべてのBar形障害物に対してラベリング(Ｂ１，Ｂ２)を行い、上述の式(２)(３)を用いて特徴量(高さＨ・幅Ｗ)を計算し、また、式(４)を用いて特徴量比ＫＷＨも同時に計算し、保存する(ＳＴ８０)。
ＫＷＨ＝Ｗ／Ｈ…(式４)
計算した特徴量の例を図１１(ａ)に示す。
【００４０】
保存後、観察点を前方方向に所定距離(例えば０.５ｍ)直進移動させ(ＳＴ９０)、ルーチンワークＡ(ＳＴ１００)を行い、Bar形障害物の検出を再度行う。Bar形障害物の検出画像の例を図１０の１００１に、特徴量の計算結果の例を図１１(ｂ)に示す。
【００４１】
(４)前後視差を用いたBar形障害物の決定
最後に、移動前後の特徴量比ＫＷＨを用いることでBar形障害物の確かさを判断する。Bar形障害物の場合、例えば図１２(ａ)に示すように、観察点の移動前後において特徴量比ＫＨＷはほとんど変化しない。一方、Bar形障害物以外の場合、例えば図１２(ｂ)に示すようにPole形障害物１２０１の後方に横向きの棒状障害物１２０２が存在するような場合、観察点の移動前後において特徴量比ＫＨＷが変化する。そこで、観察点の移動前後における特徴量比ＫＷＨの変化量(％)が所定のしきい値の範囲内(例えば、95＜ＫＷＨ＜105)ではないときBar形障害物はPole形障害物と同一平面にいないとみなし、Bar形障害物から除外する。ここでは図１１(ｃ)に示すように、ラベルＢ１の特徴量比ＫＷＨの変化量(％)は所定のしきい値の範囲内(例えば、95＜ＫＷＨ＜105)ではないため、ラベルＢ１はBar形障害物から除外される。以上の処理によりBar形障害物の自動認識結果は図１３の１３０１となる。
【００４２】
以上より、提案した手法によって障害物を検出可能であることがわかる。検出した障害物の幅方向には真値1200mmに対して移動前後の画像計測値において、1250mm,1240mmと高い精度を得ることができた。しかし、高さ方向には実測1500mmに対して、1620mm,1700mmと精度が出ていない。これはテンプレートマッチングを行う時に検出すべき高さに、奥行きから発生する検出障害物の支持部の長さが加算されてしまったためだと考えられる。
【００４３】
以上に説明したように、本実施形態では、盲導犬ロボットに必要な機能と、障害物の分類を行った。分類された障害物(Step・Pole・Bar形)の中で最も危険度の高いのはBar形である。そのBar形に対して視覚情報を活用し、ステレオカメラを用いた視差およびエッジ抽出画像に加え、観察点の移動による前後視差を用いた障害物を検出する方法を考案し実証した。
【産業上の利用可能性】
【００４４】
上述の実施形態では本発明の障害物検出方法を盲導犬ロボットに適用した例を示したが、本発明の適用範囲はこれに限られずその他のさまざまな分野に適用可能である。たとえば、盲導犬ロボット以外の移動ロボット(ペットロボット，家事支援ロボットなど)や、自動車の安全運転支援システムなどがその一例である。
【図面の簡単な説明】
【００４５】
【図１】代表的な視覚障害者支援手段と機能
【図２】(ａ)盲導犬ロボットに必要とされる機能(イメージ図)、(ｂ)盲導犬ロボットのシステム構想
【図３】実際の障害物の例
【図４】障害物のタイプ
【図５】移動ロボットのシステム構成
【図６】画像処理手順
【図７】検出障害物モデル
【図８】画像処理の流れ
【図９】画像処理の流れ
【図１０】画像処理の流れ
【図１１】(ａ)(ｂ)計算した特徴量、(ｃ)特徴量比の変化量
【図１２】障害物位置関係による特徴量比の変化の種類
【図１３】画像処理の流れ
【図１】
2009052937.tif 000003
【図６】
2009052937.tif 000004
【図７】
2009052937.tif 000005
【図９】
2009052937.tif 000006
【図１０】
2009052937.tif 000007
【図１１】
2009052937.tif 000008
【図２】
2009052937.tif 000009
【図３】
2009052937.tif 000010
【図４】
2009052937.tif 000011
【図５】
2009052937.tif 000012
【図８】
2009052937.tif 000013
【図１２】
2009052937.tif 000014
【図１３】
2009052937.tif 000015