計測自動制御学会東北支部第245 回研究集会(2008.10.24)
資料番号245-5

画像処理と画像処理とセンサによるセンサによる電動車椅子による電動車椅子の電動車椅子の自律走行制御
Autonomous Running Control of Electric Wheelchair with Image Processing and Sensor○永江元 *，渡部慶二*，村松鋭一*，有我祐一*，遠藤茂**__Hajime Nagae*, Keiji Watanabe*, Eichi Muramatu*, Yuichi Ariga*, Shigeru Endo***山形大学院, **山形大学*Yamagata University, **Yamagata University
Key Words: 画像処理(Image Processing), 電動車椅子(Electric Wheelchair), 制御(Control), ハフ変換(Hough Transform),
輪郭線追跡処理(Contour Tracking), エッジ抽出(Edge Detection), 二値化(Binarization), 消失点(Vanish Point)
連絡先: 〒992-0037 米沢市城南 4-3-16 山形大学 工学部 応用生命システム工学科 渡部研究室
永江元, E-mail: q-chan-kawaii@hotmail.co.jp

1. 緒言であると考えられる．そこで，本研究では電動車椅子を視覚情報により自律的に走行させるために近年の高齢化にともない，身体機能の低下したUSB カメラから取得した画像情報をもとに電動車高齢者の人口の増加やその他にも身体に障害を持椅子を通路の中央に沿って自律走行させる方法をった人々のような問題に対して工学の分野では医検討する．しかし，画像を高速に処理する為のパ療・福祉機器やシステムの研究開発が進められ，ソコンや高性能カメラを組み合わせた自動制御はさらにそれらの産業化，標準化を目指すような展高価な物になってしまう．そこで，本研究で使用開が求められている．その福祉・医療機器には足する機材は比較的に安価なもので構成することをの不自由な人，歩行が困難な人にとって足となる心掛けた．その理由は，装置の値段が高額である

電動車椅子の研究が行われている．しかし，電動と真に電動車椅子を必要とする高齢者や身体に障車椅子の主な操作は手押しや電動モーターによる害を持った人がこれらの装置を購入できないからジョイスティック操作となっている．手押しの場である．しかし，装置が安価なことはスペックの合，人の手を借りる必要があり使用者自身の意思低下につながることがある．このため，安価な装で自由に行動することが困難である．一方，ジョ置で実現するためにはパソコンに負荷の掛からなイスティックの場合は走行時に運転者が障害物にい画像処理を使用することが重要であると考えら

ぶつからないように気を使いながら操作する必要れる．ここで着目したのが人間の脳の機能(1)であがある．電動車椅子を使用する人と介助者の負担る．我々の感覚器官は絶え間なく環境からやってを少しでも軽減し，高齢者や障害者が電動車椅子くるおびただしい量の情報に向き合っている．しを操作するのではなく，電動車椅子が自律走行をかし，我々の脳に届くのはこの情報の流れのごく可能とすれば使用者の安全性が向上すると考えらわずかな部分でしかなく，自覚されるのはそれよれる．

りさらに少ない．これは視覚情報にも当てはまっ自律性を持たせた知的制御を行わせるためにはており，脳に届く情報は環境に存在する情報を完

外界の情報を得て周辺環境を認識する必要がある．

全に反映したものとはなりえない．人間や動物がそのためには画像を使用することが一番よい方法

色の違いや模様に注目して物を見ていることからUSB カメラで取得した画像情報をそれらに着目し文字を送信する．

処理すること，色の違いや模様の情報を統合することで負荷の掛からない処理を実現できるのでは

2.2.3 電動車椅子ないかと考えられる．提案システムの有効性を実験により検証したので，それを報告する．

電動車椅子は，SH2 制御システムから受け取った電圧信号に応じた動作をする．電動車椅子の入2. 制御システム
制御システムのシステムの概要

力電圧と動作の関係は Table2 のように規定されている．電動車椅子側の入力 ch は前後と旋回の2.1 制御システム
制御システムのシステムの全体構成

2ch ぶんある．これらに入力される電圧の組み合わせによって動作する．

本研究では制御対象として SUZUKI 製の電動車

ElectricWheelchair

椅子を使用した．電動車椅子を制御するための制御システム(Fig.1)は以下の機材で構成されている．
・ 制御対象(SUZUKI 製の電動車椅子)
・ 制御命令演算用計算機(Windows XP)

SH2Control
SystemUSBCamera

Note PC(Windows XP)

・ USB カメラ(Logicool 社 Q cam Pro 4000 )・ SH2 制御システム (自作マイコン)

Fig. 1：：Control System

機材は比較的に安価な物で構成されている．

Voltage Signal

2.2.1 USB カメラ
使用した USB カメラの使用を以下に示す．安価なカメラを選出して使用した．
・画像センサ： ＣＣＤ （30 万画素）・有効画素数： ＶＧＡ 640*480

・フォーカス： 16ｃｍ～∞Note PC(Windows XP)

Fig. 2：：System Flowchart
Table 1：
：Regulations of output character string・フレームレート ： 最大 30ｆｐｓ
Move2.2.2 SH2 制御システム
制御システムSH2ControlSystem

Electric
Wheelchair

Logicool 社 Q cam Pro 4000

Control Signalwsx

Forth

Stop

BackmentWord

従来は PCI カード型の AD/DA 変換カードをノーFor-

Stop

Backad

Left

Right

Revolution

Revolution

Left

Rightward

ト PC につけて電動車椅子の制御を行っていた．
しかし，この AD/DA カードには汎用性がないため，Linux などの他の OS 上での制御が難しかった．そTable 2：：Relation of movement of input voltage

こで，電動車椅子に搭載型した制御システムにより車椅子の制御を行う方式に変更した．電動車椅
子に搭載された SH2 制御システムは，シリアル通信により送られたノート PC からの命令に基づいて電動車椅子のドライバへ指令値を出力する．この指令は電圧値であり，R-2R 抵抗ラダー型の DA回路から出力される．この一連の信号の流れを
Fig.2 に示す．ノート PC からは制御指令としてあらかじめ動作を Table.1 のように規定した 1byte

Movement
Stop
ForthBack
Left Revolu
Revolution
Right Revolu
Revolution

Forth and BackSignal
1.29～
1.29～2.39V
0～1.28V
2.4～
2.4～3.6V
1.29～
1.29～2.39V
1.29～
1.29～2.39V

Revolution Signal
1.29～
1.29～2.39V
1.29～
1.29～2.39V
1.29～
1.29～2.39V
0～1.28V
2.4～
2.4～3.6V

3. 画像処理

閾値 100 で二値化すると Fig.6 のような廊下と天井，床のエッジが抽出できる．階調値が急激に変化する物が特に目立って抽出することができる．

3.1 画像処理の画像処理の流れ閾値 40 で二値化すると Fig.7 のような画像の中画像による電動車椅子の制御はリアルタイム性でも特にシャドウな情報が抽出でき，後に述べるを重要視しているために画像処理に時間を取られ消失点付近に集まった黒いエッジ部分に着目したてリアルタイム性を失うことは避けなくてはなら処理に使用することができる．

ない．
よって比較的にノート PC に負荷を掛けない

この方法では中間調の部分がすべてハイライト

画像処理を行うことによりこの問題を回避する．

かシャドウに振り分けられるので，画像の特徴がまた，一枚の画像から二値化の閾値を変えるこ著しく強調されたものを得ることができる．とだけでもさまざまな情報を所得することができる．この違いにより使用する画像処理が異なる．

3.2.2 輪郭線抽出処理

これら一つ一つの処理から得られる情報での自律走行制御の正確性は 100%ではないが，これら複数処理対象画像が二値の場合，境界線をたどるよの画像処理の組み合わせにより正確性を高め問題うにして輪郭線を抽出する．二値化処理をおこな点を解決する．

った後の白黒画像 Fig.5，Fig.6 の画像に輪郭線追跡処理を行うと，それぞれ Fig.8，Fig.9 の画像のような輪郭線のみが残る画像になる．Fig.8 では

3.2.1 二値化処理

どれが蛍光灯の塊なのか機械的に区別するために，USB カメラで取得した画像の各ピクセルの明る白い塊それぞれの特徴として，縦幅・横幅・周囲さを求め，それが一定の値よりも大きければ白(ハ長・面積・形状等を取得することにより，蛍光灯イライト)，小さければ黒(シャドウ)を出力する方のみを抽出することができる．Fig.9 では直線を法．通常，閾値の決定には明るさのヒストグラム抽出するための前処理として次の処理で計算回数を参考にする．Fig.4 を閾値 0～255 の範囲で白黒を減らすために輪郭線情報を抽出する．

画像に変換する方法により色々な情報を抽出することができる．この画像を閾値 240 で二値化すると Fig.5 のような画像の中でも特にハイライトな情報が抽出でき，蛍光灯のような光源に着目するときに使用することができる．
Shoot

Binarization High

Binarization MiddleContour Tracking

Fluorescent lamp

Center Coordinate

Fig. 4：：Image of Passage

Fig. 5：：Treshold240

Fig. 6：：Treshold100

Fig. 7：：Treshold40

Binarization Low

Edge Detection

Labeling

Hough Transform

Commandment Output

Fig. 3：：Image Processing Flowchart

Fig. 8：：Contour Tracking Fig.9：：Contour Tracking

3.3 蛍光灯に蛍光灯に着目した
着目した画像処理
した画像処理3.4
3.4.1 ラベリング処理
ラベリング処理

Fig.3 の左のフローに当たるのがこの処理であ初めに，消失点を求めるためにラベリング処理

る．Fig.5 から廊下の中央に沿って電動車椅子をを行う．連結している画素の集合を連結成分と言(2)

自律走行させる方法 を検討する．蛍光灯の中心

う．連結している画素に同じラベルを付加するこ座標(廊下の中央に常に蛍光灯があるという前提)とで複数の領域をグループとして分類することをを求め，画像の中央から中心座標がどれくらい離ラベリング処理と言う．ラベリング処理を行った

れているかによって進行方向を決定し電動車椅子

2 値化画像では，各画素にラベル (番号) を属性を自律走行させる．

として付加することにより，特定の領域を抽出できる．複数の連結成分があるとき，ラベルを割り

3.3.1 蛍光灯抽出処理
輪郭線追跡処理の際に得た白い塊の横幅と縦幅当てることでさまざまな処理がしやすくなる．
3.4.2
3.4.2 ハフ変換
ハフ変換

から，比率として「横：縦=3：1」以上になる横長の白い塊のみを表示する処理で，Fig.8 の画像に二値画像中の直線，円，任意の図形などの抽出蛍光灯抽出処理を行うことにより蛍光灯以外の情を行う有効かつ汎用的な手法として用いられる．

報を取り除いた画像を得ることができ，Fig.10 の本研究では最も基本的で利用度の高い直線の抽出ような横長の輪郭線のみが残る画像になる．

を行うθρ-Hough 変換を用いる．
Fig.13 の左の図が示すように，点（x,y）を通る任意の直線は，そ3.3.2 中心座標取得処理の直線に交わる原点からの垂線の長さ ρ とその垂線の成す角度 θ で表すことができる．点（x,y）

輪郭線追跡処理で得た白い塊のＸ座標Ｙ座標とを通る直線は多数あり，点（x,y）が決まると，θ横幅縦幅を蛍光灯抽出処理で得た蛍光灯情報に組と ρ の多数の組み合わせが得られる．もし，別のみ合わせることにより中心座標を求めている．こ点が同じ直線状にあるとすると，二つの点は，θの情報から電動車椅子が廊下の中央からどれだけと ρ の同じ組み合わせを共有することになる．
θ離れているかを求め，この蛍光灯の座標を画面のと ρ の同じ組み合わせが多数あれば，元になる点中央に移動させるように電動車椅子に指示をだす．

は同じ直線を共有すると言うよりは，「そこに直Fig.11 に中心点を検出した図を示す．

線がある」ことを示しているといえる．Fig.14 はFig.9 の左上の塊をθρ-空間に変換したもので3.4 ハフ変換
ハフ変換を変換を利用した利用した消失点検出
した消失点検出処理
消失点検出処理ある．およそρ＝50、θ＝140 に重なりが見られる．
この値を逆変換することにより直線を求める．

Fig.3 の真ん中のフローに当たるのがこの処理

Fig.3 のフローで示したラベリング処理とハフである．Fig.6 から廊下の壁と床，天井のエッジ変換を使い，廊下の消失点の情報を得る．ラベリについて廊下の消失点を求める方法を検討する．

ングした 4 つの塊に対してそれぞれハフ変換する

ここでは，消失点の特性を廊下の中心点として利ことにより直線を求め，直線の交点から消失点(廊用できないかと考え廊下の消失点を求める．消失下の中央)を求める．

点（ヴァニッシュポイント）とは，風景や，真っ直ぐに敷かれた線路などが遠くになるほど小さく

3.5 消失点付近の消失点付近のエッジにエッジに着目した
着目した画像処理
した画像処理なり，やがては点に収束してしまう．その点のことを言う(Fig.12) ．

Fig.3 の右のフローに当たるのがこの処理である．

消失点が画面からどれくらい離れているかを求め，Fig.4 を閾値 40 で二値化すると Fig.7 のような画消失点を画面の中央に移動させるように電動車椅像が得られる．Fig.7 から分かるように天井，床子を自律走行制御させる．には階調値が急激に変化する物があまり見つけられない．しかし，廊下の壁に着目して見るとドア

3.5.2 廊下の廊下のエッジにエッジに着目した
着目した指令値した指令値や窓といった諧調値が急激に変化する物がある．
これらの情報は 3.4 の説明にもあるように消失点

Fig.17 から 4 つの塊にハフ変換の処理をそれぞの方向にボヤっとした情報として表れる．このボれ行い Fig.18 のように 4 本の直線を求めた．
左上

ヤっとした情報のエッジ数を数えることによりの塊を label1，右上の塊を label2，右下の塊をFig.19 のようなエッジ数の一番大きい区間を廊label3，左下の塊を label4 としてそれぞれに直線下の中央として電動車椅子を制御する．

を求める．label1 と label2 の直線の交点，label2と label3 の直線の交点，label3 と label4 の直線

3.5.1 蛍光灯に蛍光灯に着目した
着目した指令値
した指令値の交点，label4 と label1 の直線の交点をそれぞれ求める．それぞれの交点は必ずしも正確な消失

Fig.15 から「横:縦=3:１」以上になる横長の楕点として求められず，多少の誤差が出てしまう．

円が Fig.16 のように 3 つ取得できる．
画面を上かそのため 4 つの交点の平均からおよその廊下の消ら見て最初に出てきた楕円の中心点を廊下の中央失点を求め，その交点の値を廊下の消失点としてとして認識する．Fig.16 から蛍光灯の中心点は画認識する．Fig.17 から消失点は画面の中央にある面の中央にあることが分かる．そのため，電動車ことが分かる．そのため，電動車椅子は廊下の中椅子は廊下の中央に位置していることが分かり，央に位置していることが分かり，前進命令を出力前進命令を出力する．指令を出力した図を Fig.16する．指令を出力した図を Fig.18 に示す．に示す．

Fig. 10：：Fluorescent lamp

Fig.11：：Center Point

Fig14: θ ρ-Coordinate

Fig12: Vanish Point

Fig15: Contour Tracking(Fluorescent Lamp)

Fig13:Hough Transform

Fig16: Instruction Value by Fluorescent Lamp

4. 実験

3.5.3 消失点付近の消失点付近のエッジにエッジに着目した
着目した指令値
した指令値
消失点の特性から Fig.7 の画面手前に存在する画像処理は演算用計測機器に負荷の掛からない大きな情報を取り除いた．よって消失点に収束す

二値化の閾値の違いを利用した簡単な画像処理のる付近のエッジの数を数えることにより廊下の中組み合わせによる方法で構成されている．また，央をおおまかであるが認識することができる．

演算用計測機器は Windows のタイマーの機能を利Fig.19 のように領域ごとにエッジ数を調べ，どの用し 5 秒間のサイクルの間に撮影と画像処理を行

領域のエッジ数が一番多いかによって廊下の中心い，検出した廊下の中心点を画面の中央に移動さ位置を検出する．Fig.19 からエッジ数が画面の真せるように電動車椅子に電圧信号を送信し走行すん中の領域に一番多く存在することが分かる．そる．結果，電動車椅子はジグザグ走行を繰り返しのため，電動車椅子は廊下の中央に位置しているながら廊下の中央を自律走行することができた．

ことが分かり，前進命令を出力する．エッジの数と指令を出力した図を Fig.19 に示す．
3.6 指令値出力
Fig16，Fig18，Fig19 に示された三つの廊下の中心点座標を統合することにより電動車椅子の進行方向を決定する．統合した図を Fig.20 に示す．
画面は 3 つの領域から分かれており，この最終的に統合された廊下の中心点座標から Table3 に示

Fig19: Instruction Value by Edge Detection

している動作を行う．

Fig20: Instruction Value of Three Images

Fig17: Contour Tracking(Hough Transform)
Table 3：：Regulations of Instruction value and screen area
MovemeLeft

nt

Revolution

Screen

0～
～100

Forth

Right

101～～220

221～～320

Area
Word

Fig18: Instruction Value by Hough Transform

Stop

Revolution

No
Targetawds

5. 結言[3] 安居院 猛・長尾 智晴 共著「C 言語による画像処理入門」，昭晃堂，（2000）

本研究では電動車椅子を視覚情報によりリアル[4] 粂井 康孝 著

タイムに自律走行させるための画像処理の提案を「猫でもわかる Windows プログラミング」，ソフした．複数の画像処理の組み合わせによる自律走トバンクパブリッシング，（2004）

行の成立性を明らかにするために，実際に廊下で[5] 粂井 康孝 著

電動車椅子を自律走行させることにより検証した．

「猫でもわかるＣ言語プログラミング」，ソフト

この結果、バンクパブリッシング，（2004）

・電動車椅子は安定して廊下の中央を走行するこ[6] 林 晴比古 著とができた．

「新 VisualC++6.0 入門」，（1998）

・一つの画像処理による方法でもある程度の制御[7] 佐藤 真二 著 山形大学 工学部 応用生命ができる．しかし，昼夜の違いや天候，窓からシステム工学 渡部研究室 卒業論文(2005)

入り込む光の違い，部屋の電気の有無によりそ「電動車椅子のための視覚制御の基礎研究」の時々で二値化の閾値を変更しなくてはならな[8] 村田 賢文 著 山形大学 工学部 応用生命

かった．

システム工学 渡部研究室 卒業論文(2004)

・蛍光灯に着目した画像処理は夜間の場合には明確に蛍光灯の中心点が検出でき，消失点付近のエッジもはっきりと認識できるため優先度を上げた．蛍光灯の点いていない昼間の場合には廊下のエッジに着目した処理の優先度を上げることで、状況による優先度の使い分けを行った。
・複数の画像処理を重ね合わせることにより情報の信頼度を高めることができ，電動車椅子の自律走行制御が可能になった．
以上の結果から，提案する画像処理の組み合わせによる電動車椅子の自律走行制御の成立性が明らかになった．
本研究の画像処理のみによる電動車椅子の自律走行制御は障害物に対して回避行動を取ることができない．今後は PSD センサなどの障害物を認識してそれを回避する機構を組み合わせることにより安全性の向上を目指す．

参考文献[1] G.K.H.Zupanc 著「行動の神経生物学」(2007)[2] 橋場 参生,本間 稔規,吉川 毅 著「視覚システム搭載型自律走行ロボットの開発(第 4 報)-画像情報による周辺環境認識と走行制御への応用-」,北海道立工業試験場報告
No.296,131/136「電動車椅子の障害物検出と回避制御」