〈一般研究課題〉

動画像からの環境認識と変化推測の研究

助 成 研 究 者

愛知工業大学平松誠治

動画像からの環境認識と変化推測の研究
平松 誠治、川合 康司、加藤 厚生（愛知工業大学）
羅 志偉（理化学研究所）

1. はじめに
従来の産業用ロボットは整備された工場内で使用され、限られた環境で使用される。しかし日常生活など常に状況が変化する混み合った環境では周辺の様子は不規則に変化するため、この変化を正確に認識し、危険回避を行わなければならない。
移動ロボットにおける環境測定のセンサとして、カメラはその情報量の多さや視覚的な判りやすさから主要なセンサになるものと期待されている 1）。そしてカメラは距離測定装置、物体認識装置、固体識別装置などのセンサとして実際に利用・商品化されてきた。これらは静的かオフライン処理で用の足りる分野に限られていた。これは、カメラの持つ情報量の多さに対して処理速度が遅かったことや高解像度のカメラは非常に高価であったためにそれほどふんだんに使用することができないためであった。近年、半導体技術の発達とデジタルカメラやカメラ内臓の携帯電話の普及により、半導体撮像素子の高性能化と低価格化が進んだ。一方で、コンピュータを代表とする情報処理機器の高性能化と通信速度の高速化は留まることを知らず、リアルタイムで行える情報の処理は高度化・複雑化しつつある。このような状況から、生活環境の中に広く普及したカメラを情報ネットワークに接続することにより、ロボットにとって有用なより多くの環境情報得られるようになっていくことが予測される。
移動ロボットに搭載するビジョンシステムは、軽量小型な処理系でリアルタイムに行えることが重要だが、リアルタイムでロボットを動かすには計算量が多すぎるため、与えられた画像をどのように処理するかが課題となる。現状では、環境にマーキングを行い、視覚系に都合のいい環境を作り上げることで実用化を行っているシステムは存在するが、ロボット単体でこの処理を行う自律システムは、まだ複雑な処理や環境では研究段階にあり実用には至っていない。現状ではロボット自体が周りの環境を全て認識し、アクシデントを回避することは困難である。
本研究では、移動ロボットのための複数台のカメラを含む環境認識システムを目指し、その第一− 23 −歩として移動ロボットに一台のカメラと外部に固定された一台のカメラの二台のカメラを持つシステムによる障害物回避の実験を行った。本研究では,ロボットの移動機構として電動車椅子を利用した。

2. システム構成と方法
本研究では室内での移動ロボットの使用を目的とし室内備え付けカメラ（大域カメラ）と電動車椅子に搭載したカメラとその処理系（局所カメラ）からなる 2 機のビジョンシステムで構成される。
2 機のビジョンシステムはそれぞれ画像処理用のコンピュータを持つ。これらのコンピュータは画像処理以外に、大域カメラの側（PC1）はロボット操作用のインターフェイスの役割を、局所カメラ側（PC2）はロボット制御の役割を与えられた。また、PC1 と PC2 の間は Ethernet 規格の Local
Area Network （LAN）で接続される。
大域カメラは、位置と方向を調整して室内に設置された。移動ロボットの操作は別に設置したPC1 で行う。PC1 のディスプレイ上に映し出された大域カメラ画像で目的位置を指定すると、移動ロボットは指定された大域カメラ画像上の座標から地表を基準とする座標系を算出し、更にこの座標を元に目的位置を移動ロボット固有の局所座標系上の座標に変換する。
移動ロボットが目的位置に向かって移動しているとき大域カメラの画像上に障害物が侵入した場
合、まずロボットと障害物の速度ベクトルを連続する大域カメラ上の座標から算出する。そして、ロボットと障害物の相対速度から移動ロボットが障害物に衝突する可能性のある速度ベクトル範囲を推定し、回避するための速度ベクトル情報を算出して PC2 に送信する。障害物が大域カメラ画像上に認識されなかった場合、障害物回避の手順は実行されることなく、移動ロボットは目標位置に向かって移動する。
移動ロボットに搭載された PC2 は PC1 からの速度ベクトル情報を元に移動ロボットを目的位置に移動させる。移動しているとき移動ロボットに搭載された局所カメラと画像認識システムは移動ロボット前方の安全領域を常に監視しており、もし不安全と認識された領域に移動ロボットが侵入しようとした場合、移動ロボットを停止させる。

3. 大域カメラによる移動ロボットの操作
3.1 大域カメラによる位置検出
ビデオカメラをある一定の高さに置き、斜め下方に傾けて、固定した状態で移動ロボットを撮る。大域カメラの画像は PC1 に取込まれ、その画像上の指示点の大域情報を取得する。
大域カメラにより与えられる座標系（以下、大域座標系とよぶ）の定義を図 3.1 に示す。図中の XYZ 直交座標系が大域座標系である。座標軸の定義は、鉛直方向で大域カメラの焦点を通る線を Z 軸、目標物体の高さに原点をおき原点からカメラの光軸と交わる線を Y 軸、残りを Y 軸と Z軸に直行する軸を X 軸とする。また、θx をカメラの角度、f を焦点距離、目標の座標を（a, b, c）とする。
図 3.2 は大域カメラにより取り込まれた画像に与える座標（以下、大域カメラ座標とよぶ）を示す。図 3.2 の X , Y , Z 座標系が大域カメラ座標系である。大域カメラ座標は大域カメラの画像上の座標で画像中心を原点とし画像に向かって上向きを Z 軸の正方向、画像に向かって右向きを X− 24 −

軸の正方向、カメラの光軸を Y 軸とした。
fcosθx

大域カメラ座標系での目標の位置はZfsinθxZ'
θxZk

fY'
X'

大域座標系

θzYX

これより目的位置の大域座標は(a,b,c)
図 3.1

大域座標定義Z'となる。

画像面(0,f,0)

図 3.3 は大域・局所座標系の Z 軸、Z 軸をY'θz

真上（Z 軸方向）から見たものである。移動ロボットの大域情報を得て、移動ロボット

X'の左右の車輪の中心を局所座標系の原点とする。このとき移動ロボットの進行方向が y(X',Y',Z')(Ximg,0,Zimg)

軸となる。
これより移動ロボットの大域座標 Y 軸と

図 3.2

大域カメラ座標定義の角度βと大域座標と局所座標の変換式が求められる。
Y
目的位置

Y"

大域座標系(X0,Y0,h0)
局所座標系(Xm,Ym,hm)

β(Xf,Yf,hf)

局所座標系

X"

(Xb,Yb,hb)

このとき hx は各目標の高さであり、これ大域座標系

Oより大域カメラ座標より移動ロボットと各目標の局所座標をもとめることができる 2）,3）。

− 25 −

図 3.3

局所座標定義X

3.2 大域カメラによる障害物回避
上記の操作中、設定された経路上に障害物Bが存在する場合、大域カメラ情報より自動的に障害物を回避するシステムを設計した。移動ロボットの可能な走行速度範囲内に含まれVelocity of B

VB

る回避軌道の決定材料を以下の通り定義する。
VA

図 3.4 は移動ロボットと障害物を移動可能で回転しないとして平面問題を単純化した円Velocity of A
A形の物体に置き換えてモデル化したものである。図中の A が移動ロボットを、B が障害物を表す。任意の軌道に沿って移動する A、B

図 3.4

移動ロボット障害物の運動の瞬間的状態を大域カメラの情報から推定する。
時刻でそれぞれの座標を、、そして、半径を、とする。つぎと B との接点（ a, b ）は、に B に A の半径を足し合わせた半径の円に拡大するととなる。A の基準位置、

より B に伸ばした接線

、とおくと

^B

^
B(a2, b2)

VB

VB

(a1, b1)λr
CCA,Bλr

λf

VOCCA,Bλf

VAB

VAVA

^
A-VB

^
A
VB

図 3.5

障害物モデル化

図 3.6− 26 −

危険領域

となる。解をそれぞれ、し座標を戻すと接線はそれぞれ、とする（但し）。これを円の接線の方程式に代入となる。図 3.5 は、画像処理の結果求められた障害物の存在しうる領域を示している。図中の障害物との接線で囲まれた領域を次に、時刻度と呼ぶことにする。

において、それぞれの速度ベクトルを、とすると、A の B に対する相対速はで表される。これがの領域内にある場合において衝突の要因になり、A のそれに対する Bへの衝突予定速度ベクトルとなる。
図 3.6 は、図 3.5 から推定される危険領域を示している。図 3.6 に示すようにある場合、の先端は VO であらわされる危険領域にある。つまり VO の外にが内にの先端を修正することにより B との衝突がさけられる。VO の境界に設定すると A は B に接触するような速度になる。

4. 局所カメラによる安全領域判別実験
安全領域の判別は以下に示す手順で行った。図 4.1 は局所カメラより取り込まれた画像である。
この画像は、最初に移動ロボットから見て手前の部分にある床の色を閾値として画像からその近傍の RGB カラー情報を持つ画素とそれ以外の色を持つ画素に 2 値化する。2 値化後の画像を図 4.2 に示す。この情報では床以外の物体も検出されてしまい安全領域の確定はできない。
次に 2 値化前の画像で色情報の変化量の激しい部分を抽出してエッジ検出を行う。エッジ検出の結果画像を図 4.3 に記す。この情報では床の反射などが原因で物体の境界線以外の部分も検出されてしまう。
以上のように各情報を単独で用いたのでは有益な情報は得られない。そこで、2 値化画像を反転しエッジ検出画像と重ね両画像で重なった検出個所のみを取り出すと、床の反射を含んだ大部分の

図 4.1

局所カメラ画像

図 4.2− 27 −

2 値化後の画像

図 4.3

エッジ検出画像

図 4.4

安全領域

誤認識は解決され、床と障害物の境界線が検出される。この情報を用い床である画像下部（移動ロボット手前）からスキャンし、最初のエッジが検出される画素までを安全領域とする。結果を図4.4 に示す。
図 4.4 から正確に安全領域が検出されている事がわかる。
安全領域検出画像では二次元情報であるため障害物の位置がわからず移動ロボットの制御には不十分である。よって、この画像情報を三次元情報に変換する必要がある。局所カメラの設置情報は把握できるので、大域カメラでカメラ座標から大域座標を算出するときに使用した式により、画像上の座標（x, y）から床面の座標（X, Y, Z）を算出する。

5. 移動ロボット実験
続いて、移動ロボットの目的位置への移動実験を行った。画像に移動ロボットと、目的位置の両方が収まるように,大域カメラを部屋に設置する。PC1 のディスプレイ画面に表示された大域カメラからの画像を図 5.1 に示す。
図中の各マークは移動ロボットフロント、移動ロボット後部（移動ロボット座標基準）、障害物、指示された目的位置を指している。
実験では移動ロボットに目的位置を指示し、移動している途中のロボットの前を障害物が図 5.1

障害物回避実験横切るようにして実験を行った。
その結果、移動ロボットは、妨げるように前方を横切る障害物を避けて目的位置に到達した。
実験結果からディスプレイ上で目標地点を指示し障害物を回避しながら目標地点に到達できることを確認した。

− 28 −

6. まとめ本研究では、移動ロボットにおけるビジョンシステムを取り上げ、その問題の解決のため確実かつ簡単に移動ロボットに命令を与えることのできるユーザインタフェースと複雑な操作の負担を軽減する自律走行や障害物回避システムを構築した。実験により大域カメラ情報と局所カメラ情報から移動ロボットを簡単かつ安全に制御するシステムの構築を行い、複合したビジョンシステムの有効性を確認した。実験においては二つのビジョンシステムにそれぞれ画像処理装置を用意し、情報量を減った状態でデータ送信することで、ネットワークへの負荷を軽減した。
このシステムは通信に Ethernet 規格の LAN を使用している。このため、エリアを拡大して WAN（Wide Area Network）やインターネットを仲介しグローバルにこのシステムを構築することが可能である。しかし、この通信は回線の混雑や通信経路によりデータ転送の遅延時間が予想できないなどの問題がある。またこの対策として、通信の遅延時間の問題を回避するための研究が数多く進められている。近年社会ではユビキタスコンピューティングの概念が注目されており、ネットワークの拡大と高性能化はさらに進むものと考えられる。この点から、本実験では画像情報の情報量の多さから移動ロボットの操作を大域カメラ側に設置された操作用コンピュータで行ったが回線の高速化が進めば画像の転送なども可能になり移動ロボットの搭乗者にこの操作を行わせることも可能になるものと思われる。またネットワークに多数のカメラ接続することで広範囲の領域への移動も可能にすることも可能である。

7. 謝辞
本研究は、日比科学技術振興財団の研究助成によって行われた研究である。

参考文献
1）

出口 光一郎 「ロボットビジョンの基礎」コロナ 社

2）

見城尚志、永守重信 「メカトロニクスのための DC サーボモータ」総合電子出版

3）

米田完、坪内孝司、大隅久：「はじめてのロボット創造設計」講談社− 29 −