空間中の物体配置の変化を検出し記憶するロボットの構築
中野 剛、上野 敦志、武田 英明
奈良先端科学技術大学院大学 情報科学研究科〒 630-0101 奈良県生駒市高山町 8916 番地の 5
Tel:0743-72-5265
E-Mail:tuyosi-n@is.aist-nara.ac.jp
あ ら ま し 本研究の目的は、環境内の物体配置情報を取得し 、その情報を人に提供しつつ、ロボット自身も有効利用するロボットシステムの構築である。本研究では、ロボットに 、例えば机、床、壁などのような背景となる移動のない物体を配置した、環境を表す 3 次元の仮想空間を持たせ、それらを識別するための色データも与えておく。そして、ロボットの視覚画像とロボット位置での仮想空間の見え方の画像を比較することで、未知物体の発見や既知物体の存在確認を行う。発見された未知物体は、色、位置、大きさを同定し 、仮想空間へ配置され、存在しない既知物体は仮想空間から削除される。これを繰り返すことでロボットは物体配置の記憶を更新し 、環境中の物体配置状況を常に把握する。ユーザーは、仮想空間をインターフェイスとした提示により、物体の位置関係など 、多くの情報を同時に得ることができる。また、本手法の物体配置の記憶がロボットの障害物回避に有効であることを確認した。
３次元モデル, 移動ロボット , 物体認識, 仮想空間, ロボットビジョン
キーワード

A Robot System detecting and memorizing change of objects locationsin the enviroment
Tsuyoshi Nakano,Ueno Atsusi and Hiroaki Takeda
Graduate School of Information Science,Nara Institute of Science and Technology (NAIST)
8916-5 Takayama,Ikoma-City,Nrara 630-0101
Tel:0743-72-5265
E-Mail:tuyosi-n@is.aist-nara.ac.jp
The purpose of this research is to build a robot system that can acquire information about the object
Abstractlocations in the environment. In the real environment, object locations are not xed. Therefore, it is necessary forthe robot to detect the change of the object locations such as nding unknown objects and the movement of theknown objects. First we provide a three-dimensional virtual space where objects are modelled and located just likethe real enviroment. Then the robot can detect unknown objects or change of location of objects by comparing
view image in the virtual space image and image taken by a camera on th robot. Finally it can put the unknownobject in the virtual space by calculating position, size and color, and move the known object in the virtual space.
Repeating this operation, the robot can always recognize the state-of-art of the object locations.
Key words

three-dimensional model, mobile robot, object recognition,virtual space,robot vision

1 はじめに 背景物体近年、人の生活空間で人の活動支援を行うロボットの背景物体は直方体の組み合わせにより表現する (図研究が盛んに行われている。これらの研究はこれからの1)。これは、VRML(Virtual Reality Modeling Language) を用いてあらかじめ人の手により作成しておく。

高齢化社会、情報化社会において起こりうる人手の不足や情報の散乱などの問題の解決策として期待がもたれる。
麻生らによる事情通ロボット [1][2][3] は館内において訪問者の案内、館内の情報収集、館内の人々のスケジュール管理などで人の活動を支援する。このように、ロボットが環境中から情報を収集し 、その情報を人に提供することは、物、情報が散乱しつつある現在の状況において、有効な手段である。当研究室では、ロボットが獲得する情報として、環境中に存在する物（以下 もの ）に注目した。ロボットは、自律的に環境中の もの に関する

 移動可能物体
移動可能物体は常に位置の変動の可能性があるた
め、 もの を発見するたびにロボットによるモデリングを行う。しかし 、背景物体のように直方体の組み合わせによって表現する方法でロボットがモデリングを行うことは困難である。したがってものを 1 つの直方体として表現する (図 2)。

情報を収集し 、人の情報収集の手助けを行う [4]。現在、当研究室で行われている研究は、オフィス環境内の机の上の ものの位置情報を管理するロボット [5] や環境内の文字情報を収集するロボット [6] がある。
本研究の目的は、ロボットが環境の観察から環境内の３次元的な物体配置情報を収集し 、その情報を人に提示

図 1: 背景物体モデル

図 2: 移動可能物体モデル

し 、また、その情報を人だけでなくロボット自身も有効利用するロボットシステムの構築である。本研究では 、ロボットに 3 次元の仮想空間を用いた環境モデルを与える。これは、ロボットに 3 次元の仮想空間を与えることによって、環境の見え方を仮想空間上に予測することが可能となる。また、その予測した仮想空間の画像はカメラ画像と比較し易い。この比較によって、位置補正や環境の変化の検出が容易に行える。本研究では、ロボットの環境の観察によって、未知物体の色、大きさ、位置の同定、既知物体がその場所にあるかど うかの既知物体の存在の確認を行い、環境モデルを更新し 、常に物体配置状空間の表現空間の表現法として VR(ヴァーチャルリアリティ) を使用し 、コンピュータ内に環境を表す仮想空間を構築する (図 3)。このような 3 次元の仮想空間を使用して環境を表現することで、3 次元空間における運動、例えばロボットの移動やカメラの回転などによりロボットのカメラのシーンに及ぼす影響を予測することが可能となり、細かな空間の位置関係を表現することも可能となる。また、ロボットのカメラのシーンとの比較が行え、ロボットに利用し易い表現である。

況を把握する。獲得した物体配置情報を仮想空間を使ったインターフェイスによって、人に判り易く提示し 、また、ロボットはその情報を利用して、障害物回避を実現する。

2 環境モデルを用いた認識システム
ここでは、ロボットに環境をどのように表現し 、環境モデルを与えるかを述べ、その環境モデルを用いて、物体配置変化を検出を行うための認識システムについて説明を行う。

図 3: 仮想空間画像

2.1 実環境の表現法
ものの分類

実環境中に存在する もの を二つのカテゴ リーに分ける。一つは人の持ち運びなどにより常に位置の変動の可能性のある もの、例えば本、椅子などであり、以下、移動可能物体と記述する。もう一つは位置の変動の可能性の少ない もの 、例えば机、床、壁などであり、以下、背景物体と記述する。

色の表現 ここで、構築する色モデルは、実環境中に存在する実画像の色データをもとに、RGB 空間においてクラスタリングを行う。照明の影響で同じ色でも暗く写っている部分と明るく写っている部分があるが、これらのデータは、RGB 空間において近い場所に分布している。
この近い場所に分布データの塊を楕円空間で切り出すことで、例えば暗い青色、明るい青色を同じ色として定義形の表現できる。また、1 つのものは複数の色で構成されている場合が多いため、1 つのものの色を複数の楕円空間で定義する (図 4)。

ングを行い、物体配置の変化のある画素（アンマッチ画素）と変化のない画素（マッチ画素）をもとめる。
仮想空間画像から、その表示色をもとにどの画素にどの もの が写っているかを割り出す。これをもとに、ロボットのカメラ画像において、画素ごとにどのものが写っているかを予測する。そして、ロボットのカメラ画像の画素データが 、予測された もの の色を表す楕円空間内に収まるか収まらないかを判断する。予測が当たっている場合、すなわち楕円空間内に収まる場合、その画素をマッチ画素とし、予測した もの に割り振られている識別番号を画素に与える。予想が当たっていない
場合、すなわち楕円空間内に収まらない場合、どの もの の識別番号にも属さない 0 を画素に与える。このマッ
図 4: 色の定義

2.2 環境モデル全体像
これらの表現法によって作成した環境モデル全体図を
図 5 に示す。環境モデルは、仮想空間部とオブジェクトチング操作により、画素ごとにもの に割り振られている識別番号か 0 の値から成るマッチングデータが作成される。図 6 は 、マッチングデータの値をもとにし 、0を持つ画素を白で表示し 、0 以外の値を持つ画素は値によって濃さの違うグレイで表示したものである。

データ部から構成される。

図 5: 環境モデル全体図

 仮想空間部

図 6: マッチング

環境のシーンを再現する仮想空間部は、VRML とOpen Inventor のライブラリ [7] を使用して作成したものである。機能としては、VRML 形式で書かれた背景物体から構成されるシーンを写し出すことと、未知物体発見時に大きさ、位置情報を取得し 、それを表す直方体を配置することが挙げられる。

 オブジェクトデータ部
もの に関するデータを蓄えているオブジェク
トデータ部は、背景物体と移動可能物体に関するデータの記憶、更新を行う。扱うデータは、 ものの色、大きさ、仮想空間上での表示色などがある。

2.4 ロボット の位置補正
ロボットの移動に伴い、ロボットが把握している自己位置と実際の自己位置がずれる可能性がある。このずれを、2.3 で述べたマッチングを利用し 、局所的位置の同定を行い、位置の補正を行う。
ロボットの姿勢角度  と環境を真上から見た x 0 z 平
面の位置座標からなる (x; z; ) の状態空間において、現在の状態を表す点の近傍点を探索し 、最適解をもとめる。
探索アルゴ リズムは、反復改良アルゴ リズムの中で山登り法 [8] を用いた。また、マッチング時に算出されるア2.3 マッチング

ンマッチ画素の数が最小となる点を最適解とする。位置2.2 で述べた環境モデルから写し出されるシーンと、ロボットのカメラ画像の比較・対応付け、すなわちマッチトが把握している自己位置と実際の自己位置のずれの修補正の結果を図 7 に示す。この位置補正により、ロボッ正が可能となる。

分割、小さな連続領域のカットを行い、どの画素がど の領域に属するかを示すド メインデータの作成を行う。図 9 は 、ド メインデータにおいて、画素が持つデータによって色分けして表示させたものである。
未知物体と背景物体のそれぞれの もの ごとの領域に分割されている様子が表れている。

3. モデリング
未知物体を表す直方体を仮想空間上へ配置するために 、未知物体のモデリングを行う。モデリングの際に未知物体領域から未知物体の位置、大きさ、色に関する情報を取得する。色に関しては、ロボットのカメラ画像における未知物体領域内の画素データから 2.1 の色の表現で述べた RGB 空間における楕円空間をもとめる。また、位置、大きさに関しては 、未知物体領域の上下左右端画素の座標をもとに 3 次元座標計算を行う。なお、3 次元座標計算を解くために、2 つの仮定をおき、未知数を減らしている。仮定の一つは高さと奥行きが等しいことであり、もう一つは背景物体の上に未知物体が乗っていることである。
図 7: 位置補正結果

3 物体配置の変化の検出と環境モデルの更新
3.1 未知物体の発見

4. 仮想空間への配置
モデリングによって取得した、未知物体の位置、大きさ、色に関する情報をオブジェクトデータ部に移動可能物体として記憶し 、そのデータを参照して、仮想空間部は、未知物体を表す直方体を仮想空間上に配置する。配置後の仮想空間画像を図 10 に示す。

未知物体の発見の手順を図 8 を例に挙げて、以下に説明を行う。図 8 は、未知物体である箱、ダンボール、椅子などが置かれたロボットのカメラ画像と、その画像と比較を行う環境環境モデルが作成した仮想空間画像である。

図 9: ド メインデータ

3.2

図 10: 仮想空間画像

既知物体の認識

ここで扱う既知物体とは、発見された未知物体をモデ
図 8: 未知物体発見に用いる画像

リングし 、オブジェクトデータ部に移動可能物体として記憶し 、仮想空間上に配置された もの である。既知

1. マッチング
2.4 で述べた位置補正を行った後、2.3 で述べたマッチングをもう一度行い、マッチ画素とアンマッチ画素をもとめる。
2. 未知物体領域の発見
未知物体領域を大きなアンマッチ画素の連続した領域と仮定する。それをもとめるために、マッチングデータから、ノイズの除去、細い領域の消去、領域物体が配置された場所にあるかど うかの判断を行う手順を図 11 を例に挙げて、以下に説明を行う。
マッチングの問題点

図 11 にある仮想空間画像とロボットのカメラ画像とを比較する場合、椅子を表す直方体の写る領域の画素は、椅子の色の楕円空間内に収まるかどうかによって、マッチ画素とアンマッチ画素が判断される。もし 、ロボットのカメラ画像の右にある椅子がその図 14 は、図 11 の仮想空間画像と図 12 の仮想空間画像の2 つを図 13 のロボットのカメラ画像と表 1 に示した識別法で認識を行った結果を表すド メインデータである。ここで、椅子を表す直方体に外接する長方形内に含まれる画素の数をもとめ、その数に対する椅子と認識された画素の数の割合を算出する。この割合が閾値より高ければ椅子は存在し 、低ければ存在しないと判断し 、存在しない場合には、オブジェクトデータ部の椅子に関するデー
図 11: 既知物体の認識に用いる画像

タを消去し 、仮想空間上に配置されていた椅子を表す直位置から移動した場合、椅子を表す直方体の写る領域は画素数は少なく、割合も低くなり、椅子は存在しないと未知物体領域として、発見されてしまう。

いう適切な判断が行えた。

背景テンプレート の使用方体も削除される。図 14 において 、椅子と認識されたマッチングの問題点を解決するため、図 11 にある仮想空間画像とは別に、ロボットのカメラ画像と比較する画像として、背景物体のみをシーンに写した仮想空間画像を用意する (図 12)。これ以降、
図 11 の仮想空間画像を背景＋移動可能物体テンプレー
ト、図 12 を背景テンプレートと記述する。この 2 つの図 13: カメラ画像

図 14: ド メインデータ

3.3 システム全体像
システムの処理の流れ

これまで説明を行った処理の流れを以下に示す。

1. マッチング
ロボットのカメラ画像と仮想空間画像の比較を行い、

図 12: 背景テンプレート

物体配置の変化のある画素（アンマッチ画素）と変テンプレートそれぞれにおいて 、2.3 で述べたマッチングの処理を行い、表 1 に示す識別法でアンマッチ画素、背景物体のマッチ画素、移動可能物体のマッチ画素に識別する。この識別法により、先ほど述べた問題点は解決する。
背景+移動可能物体
テンプレート
マッチ

アンマッチ

マッチ

マッチ画素

マッチ画素

アンマッチ

(移動可能物体)
マッチ画素(移動可能物体)(背景物体)
アンマッチ
画素

背景テン
プレート

表 1: マッチング表

化のない画素（ マッチ画素）をもとめる。

2. 領域分割
未知物体領域を求め、どの画素がどの領域に属するかを示すド メインデータを作成する。
3. 未知物体のモデル化
未知物体の大きさ・位置情報を求め、その大きさを持つ直方体を仮想空間内のその位置に配置する。

4. 既知物体の存在確認
既知物体が移動していないかど うかを判断し 、移動していれば仮想空間内から削除する。
システムの実装

今回、実装したシステムに使用したロボットシステムのハードウェア及びソフトウェア構成を以下に説明する。

 ハード ウェア部

{ モバ イルロボット : RWI(Real World Inter既知物体の存在確認

図 13 のように既知物体である椅子が移動した場合、どのような処理を行い、既知物体の存在確認を行うかを述べる。

face) B21 モバイルロボット{ 端末: NotePC - 1 台、ロボットに搭載の PC- 2台

 ソフトウェア部

実験条件

実験は、図 8 の条件で認識を行い、図 10 のようなに環境モデルを更新した後、ロボットが前方へ 50cm 、{ OS : Linux左方向へ 50cm 進んだ後、もう一度認識処理を行った。

{ 開発言語 : C,C++
システムは、サーバー、クライアント方式になっており、サーバーは与えられたタスクを複数のクライアントに分配する機能とクライアント同士のメッセージの仲介役をする。クライアントは 、画像処理とロボット制御と環境モデルの 3 つからなり、それぞれが通信を行いながらタ

結果

図 15 は 、ロボットのカメラ画像と認識の結果のド メインデータである。椅子と認識されるべき画素が背景の床として認識されている場合が少しあるが、新たな未知物体の発見や既知物体が移動したといった誤認識は起こらなかった。

スクを処理する。

4 実験
4.1 認識精度
ここでは、本手法の認識精度を、発見した未知物体の大きさ・位置データから検証する。
実験条件

実験は、図 8 のロボットのカメラ画像と仮想空間画像によって認識処理を行った。
結果

図 15: ロボットの運動

未知物体である箱、ダンボール、椅子をモデリングした際に算出されたデータと人による測定結果を表 2 、3 に示す。 表 2 、3 より、大きさ・位置に関する認識精度

4.3

ものの移動

ここでは、移動可能物体が動いた場合の認識処理を検証していく。

認識結果 (cm)

測定値 (cm)

椅子(83,42,201)(86,45,212)

箱 (机上)(2,83,256)(-2,82,273)

ダンボール(-55,22,232)(-52,19,267)

表 2: 位置の認識結果

実験条件

実験を図 16 に示す。左上の画像は、椅子が動く前の環境の様子を表しているロボットのカメラ画像である。下の画像は、移動前の環境を認識した後の仮想空間を表しており、机の右にある直方体は、椅子を表している。右上の画像は、椅子が右に 60cm 移動した後の環境の様子を表しているロボットのカメラ画像である。
この環境において、認識処理を行う。すなわち、右上に認識結果 (cm)

測定値 (cm)

椅子(53,84,84)(58,89,60)

箱 (机上)(22,27,27)(19,23,10)

ダンボール(62,44,44)(41,38,22)

あるロボットのカメラ画像と下にある仮想空間画像の比較を行う。

表 3: 大きさの認識結果

は、高さと奥行きに関しては誤差が少しある。これは 、高さと奥行きが等しいと仮定をおいたためである。また、ダンボールは周囲にあるノイズを領域内に含めたので 、大きさが全体的に大きい値として認識された。しかし 、その他の値は誤差が 5cm 以内に収まっている。

4.2 ロボット の運動
ここでは、ロボットが移動した際の認識の頑健性を検証する。

図 16: 実験条件結果

領域分割及び認識後の仮想空間画像を図 17 に示す。結果として、椅子の移動に伴い、未知物体領域を発マップの作成

オブジェクトデータ部に蓄えられた背景

物体と移動可能物体の位置、大きさに関する情報を参照
し 、図 19 に示すようなマップを作成する。図 19 のマップは、環境を真上から見た平面である x 0 z 平面を x 軸、z 軸を 5cm で区切った格子状の地図であり、それぞれの格子に高さを持つ もの が存在する場合は 1 を 、存在しない場合は 0 を割り振ったものである。

図 17: 実験結果
見し 、新たな直方体を配置した。そして、移動前の椅子を表す直方体の領域において、椅子と認識された画素がほとんどなく、その領域には椅子は存在しないとして 、
図 19: マップデータその直方体を削除した。結果として、椅子を表す直方体は以前に配置したものが削除され、移動後の位置に配置したので、椅子の移動という物体配置の変化に追従して経路探索いる。

図 19 のマップをもとに 、現在地から目的地までの経路をもとめる。経路探索は、直進路、迂回路、5 獲得知識の利用法
5.1 人への提示

直進路といった具合に探索を行う。なお、直進路は もの がない、すなわち 0 が連続する進路であり、迂回路獲得した物体配置情報の人への提示を行った。

は 、直進路、すなわち前方に進行可能な進路がある地点までの進路である。

インターフェイス

仮想空間部に用いたものを少し改良
図 20 と図 21 はロボットが障害物回避し 、人へ提示するインターフェイスとしている。改良点

障害物回避実験として、マウスによる操作が可能であることや、 ものを行っている様子を示したものである。図 20 では、背景を未知物体発見時に獲得した もの の色である楕円空物体のみからなる環境である。図 21 では 、未知物体を間の重心座標の色データにより表示している。

配置した環境である。ロボットは環境を観察し 、未知物体の発見を行い、マップを作成し 、経路探索を行い、そ得られる情報 このインターフェイスを通して、 ものの色、大きさ、位置、そして 、 ものの位置関係などを視覚的に判り易く提示できる。図 18 に物体配置情報の経路をもとに移動を行っている。図 20 と図 21 より、障害物を回避しながら適切な経路で目的地まで移動していることが示される。

を獲得する際に用いたロボットのカメラ画像と、それによって提示されたインターフェイスの画像を示す。

図 20: ロボットの障害物回避の様子（その 1 ）
図 18: ロボットのカメラ画像とインターフェイス画像

5.2 ロボット による障害物回避
獲得した物体配置情報を利用し 、ロボットによる障害物回避を実現した。

6

考察
このシステムの大きな特徴は、場所に依存した認識である。 ものの識別は困難であるといった欠点はある

が 、物体配置の変化の認識や位置の補正が行えるといっ[4] 武田英明, 上野敦志, 佐治禎基, 中野剛, 宮本圭, 吉村俊哉, 片山顕正, 自律型知識メディアとしてのロボッ
ト ―オフィスワーク支援ロボットの試作―, 第 5 回ロボティクス・シンポジア, 1999(予定)[5] 佐治禎基, 上野敦志, 武田英明, 移動のある物体を認識・管理するオフィスロボットの構築, 人工知能と知識処理 (AI)&知能ソフトウェア工学 (KBSE) 共催
研究会 (2000)
図 21: ロボットの障害物回避の様子（その 1 ）た利点がある。また、監視カメラなどのような固定カメ
ラの場合、観察できない死角部分が生じることがあるが、[6] 宮本圭, 上野敦志, 武田英明, オフィス環境における文字情報の検出と利用に関する研究, 人工知能学会
第 47 回知識ベース研究会

ロボットに搭載されたカメラからの観察、すなわち、カ[7] http://scene.netpedia.net/

メラを移動し 、認識が行えることからそのような問題が[8] Stuart Russell,Peter Norvig 著、古川康一訳, エー

解決できる。認識が可能な範囲は、モデル化した環境内である。よって、室内を監視し 、不審物の発見や貴重品の管理を行うロボットに利用できる。なお、本研究では、単眼のカメラを用いて、未知物体を高さと奥行きの等しい直方体としてモデル化した。より正確にモデル化を行うためには、ステレオビジョン [9] が有効であると考えられる。

ジェントアプローチ人工知能, 共立出版

[9] 角 保志, 富田文明, ステレオビジョンによる 3 次元物体の認識, 電子情報通信学会 D-2,Vol.80,No.5.pages
1105-1112, (1997)[10] 望月恒治, 上野敦志, 武田英明, 西田豊明, Robocup
robot における画像を利用した位置同定と敵の発見手法の提案, 人工知能学会研究会資料 (SIG-KBS-

7 まとめ
本稿では、ロボットは環境の観察から獲得した情報を9803),pages 1-6, (1999)

もとにして、仮想空間上に環境内の物体配置に関する情[11] 香山健太郎, 稲邑哲也, 加賀美聡, 稲葉雅幸, 井上博

報を表現し 、それを人に提示するロボットシステムを提允, 移動行動体における視覚記憶に基づいた予測環案した。また、獲得した物体配置に関する情報から、ロ境と実環境の差異の検出, 第 16 回日本ロボット学会

ボットによる障害物回避を実現した。仮想空間を用いた学術講演会 (1998)

環境モデルにより、環境状態を仮想空間上に予測でき、その予測を表した仮想空間画像とカメラ画像の比較によって、位置の補正や物体配置の変化などの発見が容易に行えた。今後の展望としては 、 ものに関する情報として、色、大きさ、位置だけでなく、例えば形、書かれている文字など 、その他の情報も獲得し 、人に提示することが可能となれば 、人の環境認識を助けるロボットとして、人の活動を大きく支援できる。
参考文献[1] 麻生英樹, 本村陽一, 松井俊浩, 速水悟, 対話ベース学
習によるオフィス環境での自律ロボットナビゲーショ
ン , 人工知能学会研究会,AI シンポジウム'95(1995)[2] 松井俊浩, 麻生英樹, 浅野太,John Fry, オフィスロ
ボット jijo-2 の対話理解, 日本ロボット学会第 16 回
学術講演会 (1998)[3] 本村陽一, 松井俊浩, 麻生英樹, 浅野太原巧,John Fry,
オフィスロボット jijo-2 の対話理解, 事情通ロボッ
トによるオフィス環境における知的作業支援, 人工知能学会 AI シンポジウム'98