移動のある物体を認識・管理するオフィスロボットの構築
佐治 禎基 上野 敦志 武田 英明
奈良先端科学技術大学院大学 情報科学研究科〒 630-0101 奈良県生駒市高山町 8916 番地の 5
TEL: 0743-72-5265
E-mail: motoki-s@is.aist-nara.ac.jp

本研究はオフィス内に散在するオブジェクトを対象に, その認識, 管理を行うロボットを作成することあらましを目的とする. 実環境でロボットが人間と共存するためには, 環境の変化を自律的に認識管理する機能や人とのインタ
ラクションを行なう機能が必要となる. ロボットはこの２つの機能を持つ事で環境または人間から必要な情報を獲得することができる. 本研究で作成したシステムでは, 環境の自律的な認識機能として机の上のオブジェクトに関する情報を自律的に獲得し、認識を行なう事で位置変化のある物体の管理が可能となった. また, 人とのインタラクション機
能としてはインターフェースによるインタラクションを行なう. 人間はロボットが獲得した情報を閲覧し，名前や使用方法, 属性などの概念的な情報をオブジェクトに追加したり, 必要なオブジェクトをロボットに依頼することができる. ロボットと人間で相互に情報を提示しあう事で環境内の有効な情報を獲得し, 環境全体の知識の共有を支援する.
自律ロボット環境認識
インタラクション
知識共有
キーワード

A Robot System to Recognize and Manage Unﬁxable Objects
in the Oﬃce Environment
Motoki Saji , Atsushi Ueno and Hideaki Takeda
Graduate School of Information Science,Nara Institute of Science and Technology (NAIST)
8916-5 Takayama, Ikoma-City, Nara 630-0101
TEL: 0743-72-5265
E-mail: motoki-s@is.aist-nara.ac.jp
In this paper,we build a robot system that can recognize and manage objects in oﬃce by processing
Abstract
images from a camera and by taking interactive communication with people. It needs two functions to build such arobot system. The ﬁrst function is dynamic recognition of environment, and the second is interaction with people.
The robot can autonomously obtain physical knowledge like size, shape and color of objects by processing images
from its camera. Since the robot cannot obtain conceptual knowledge of object like name and function, the robot
provides an interface for people in order to obtain such knowledge from people. We examined it by an experimentthat the robot could eﬀectively use knowledge obtained from the environment and human. Thus the robot system
can support knowledge sharing among the robot, the environment, and human.
Key words

Autonomous Robot

Environment Recognition

Interaction

Knowledge Sharing

1

はじめに
üw

近年，ロボットの生活環境への導入を目指し様々な研\ÌlH究が行われている．これらの研究はロボットを工場などÇlHÓÐSJGÐlH

の限られた (ロボットのために整備された) 環境ではなく実際に人間が生活する複雑な環境に導入し, より生活に9ÌlH(ÿÍG»í)

近いところで作業することで，人間の生活向上を図る一つの試みであるといえる．

ÿ·ÌlH

電子技術総合研究所で研究されている事情通ロボット

ã,o,Ú¯·ÊÃæ>ÊÃKS[1, 2] は秘書ロボットとして環境中の人間の支援を行う．
具体的には人のスケジュール管理を行い, 誰がどこに行ったかを教えてくれたり, 館内の案内などをしてくれる.
市販化に至ったロボットとしては SONY の AIBO[3]'×ÌlH&ðV>Ð¤û
;

図 1: 環境内の知識や NEC の R100[4] などが挙げられる. AIBO はペットという位置づけで人間の支援を行う. また，R100 は伝言，留守番などの簡単なお手伝いをすることで人間の身体的る. 本研究で管理の対象とするオブジェクトは動的な情な負担を軽減してくれる．

報に含まれ, この動的な情報をどのように扱うかが問題

現実の生活環境は人間のために作られた環境であるたとなる.

め, これらの人間共存型ロボットは環境に適応する必要

そこで次に動的な情報を定量的に表すことのできる物がある. そのためには, 時々刻々と変化する環境を認識

理的な情報と人間社会での決まりごととしての概念的なし, 管理する機能や, 人間とインタラクションを行う機能

情報に分類した. 物理的な情報に関してはロボットはカが必要となる.

メラや, ソナー, エンコーダーなどのセンサーを用いて獲本研究では実際の研究室内で作業し, 人間の支援を行得することが期待できる. 概念的な情報については自律うロボットを作成することを考える. 実環境 (研究室内)的に獲得することが困難であり人間に教示してもらう必にある様々な物は人間により移動する可能性がある. そ要がある.

れは人間にとって予期せぬ変化であり, それら全ての情

物理的な情報であるオブジェクトの色, 形, 大きさは認報を人間が管理することは難しい. そこで, 本研究では

識 (過去の情報と同定させ位置変化を検出する) に必要

オフィス内に散在し，絶えずその位置が変化し得るオブ

であり, 存在場所, 時間はオブジェクトの位置変化の管理

ジェクトを対象にその認識，管理を行い，人間が依頼しに必要となる. また, 概念的な情報については人間との意

たオブジェクトを持ってきたり，オブジェクトの情報を味の一致 (知識共有) のために必要となる.
本研究では静的な情報に関してはあらかじめロボット

提供することで人間の生活支援をするロボットシステムの構築を行った. ロボットは環境内を巡回し，環境からに与えておくこととする. また, 物理的な情報はロボット獲得した情報の人間への提供や，人間から情報を獲得すが自律的に獲得し, 概念的な情報は人間の教示により獲ることで, ロボットを通じた環境内での効率的な知識の得する.

利用を行う事ができる. 結果として, 人間はオブジェクトの位置をいちいち把握していなくてもロボットにその情報を聞くことで目的とするオブジェクトを発見することができ, 人間の活動支援に有効であると考えられる.

2

環境内の情報環境内の情報についてロボットが扱う情報を整理する(図 1).
環境内の情報を大きく 2 つに分類する. 変化のない静的な情報と変化のある動的な情報に分類する. 静的な情報はあらかじめロボットに与えておくことができる. しかし, 動的な情報についてはあらかじめ与えておくことができず, ロボットが自律的に獲得し, 管理する必要があ3Kappa ロボットシステム
本研究で作成したシステムの構成を図 2 に示す.

kappa は図 2 に示したように 4 つのモジュールからなる. それぞれのモジュールの機能についてまとめておく.
• 画像処理モジュール– カメラ画像からオブジェクトに関する物理的な情報を獲得する. 過去のデータと新規に獲得したデータのの比較を行うことでオブジェ
クトの認識 (同定) を行う (図 2 の 1).

• インターフェースüM­ëÐl0¤ 
NÝ¤
®äì

NÝ·

­Ù»ª²ËÐl0¤ÊÐ§öÂì²ºêö6¹È­Ù»ª²ËÐNÝOä ô¤§öÂ8Øª8¼üW ­Ù»ª²Ë
Ð%þ¼ìÂ¹ El0ÐO ­Ù»ª²Ël0Ê¤ûÔþ
ÐóèüMYÊ8Â/Ê ­Ù»ª²ËÊ8ÂüMÐä9ÊZèäWå8Â¶áöÌ

74!
7º=
7!ã

4 ­Ù»ª²ËÐ&ðÊ®É·íVÐO­Ù»ª²ËÐ¤Ð!ã

­Ù»ª²ËÐ¤

図 2: Kappa の構成

図 3: 作業の流れ– 人間とコミュニケーションを取るためのもの

切な更新, 登録を自律的に行う (図 3 の 2). ロボットが獲で, 人間からの概念的な情報の獲得や, 人間へ得した情報を人間に提示する (図 3 の 3). その情報を閲の情報の提示を行う (図 2 の 2).

覧した人間からオブジェクトの名前などの概念的な情報• データベースを獲得する (図 3 の 4). その際, 人間は必要なオブジェク
トがあればロボットに取得を依頼する (図 3 の 5). 依頼– 画像処理モジュールやインターフェースから得られるオブジェクトの情報全てを管理, 保存する. また, 地図情報, 席の所有者の情報, 現在

オブジェクトを取る動作は実際にはロボットは行わない.

の位置情報などの静的な知識を管理する (図的とするものを自分の上に置いてもらうように音声によ2 の 3).

り依頼する.

• 移動モジュール– 地図情報を参照し経路探索を行う部分と実際にモータコマンドを送る部分から構成される(図 2 の 4).
画像処理モジュール, データベースについては第 4 章で説明を行い, インターフェースについては第 5 章で説明を行う. 移動モジュールについてはここで説明しておく.
地図情報は番号のついたノードとそれをつなぐパスからなる. 目的地のノード番号を入力とし, 現在の位置を参照することで経路を探索する. 経路探索のアルゴリズム
はダイクストラ法により行っている. また, ロボットの移動の際には誤差が生じる. そのため本研究では床に赤色のランドマークを設置することで対処した. ロボットはを受けロボットはオブジェクトの取得を行う (図 3 の 6).
ロボットは目的の場所まで移動し, 近くにいる人間に目ロボットのタスクとしては 2 つある. 環境内を巡回して情報を収集する巡回モード (図 3 の 1 と 2) と人間から依頼されたオブジェクトを取得するお使いモード (図 3の 5 と 6) である.

4

オブジェクトの認識, 管理
オブジェクトの情報獲得の流れを以下に示す.

1. カメラ画像からオブジェクトの情報を抽出
2. 同定のためのオブジェクト画像の正規化
3. オブジェクトの発見場所, 時間の情報獲得
4. 過去に獲得した情報から比較する候補を選出
5. 該当した候補との画像を用いた詳細な同定
6. 適合したものがあればそのオブジェクトとして登録,

画像中のランドマークの位置から実際のロボットとランドマークの相対的な位置情報を獲得する. その情報を用
いて位置, 角度の補正を行う.

場所と時間の更新

7. 適合したものがなければ未知オブジェクトとして登録, 場所と時間の更新

これらのモジュールを用いた作業の流れを図 3 に示す.
ロボットは環境内を巡回し机の上の画像を撮影する (図3 の 1). 撮影された画像からそこに写っているオブジェ
クトの情報を獲得する. 過去の情報と新しく獲得した情報を比較することでオブジェクトの位置変化を検出し, 適

4.1

画像を用いた情報獲得

実環境に存在するものの大部分は 3 次元形状であり,その物理的知識を正確に獲得することが望ましいが, 現

状としては確立した手段がなく, オブジェクト認識などの分野でも大きな課題となっている [9, 10]. そのため本システムでは問題を簡略化することでオブジェクトの情報を獲得することを試みる.

1. カメラの視野に収まる程度の小物であること
2. オブジェクトはあまり立体的でないこと
3. 一つのオブジェクトは画像中に重ならず存在すること
以上のような条件を付け, 獲得した画像からオブジェク

図 8: 正規化画像

4.2

オブジェクトの同定

トを切り出す (図 4, 図 5). エッジ検出を行い, エッジにより閉じた領域をオブジェクトとする. また, 画像の外側にはみ出している領域は背景とした.

過去の知識との比較は保有している知識の中の画像ファ
イルとの画素の比較により行う. しかしながらデータ量が膨大な場合全ての画像ファイルと比較を行うのは計算時間が無駄になる. そこで獲得した情報を用い比較する候補を選出する. 大きさが上下 1 割の範囲であり, 主に使用されている (オブジェクト中で最も多くのピクセル数を占める) 色が同じ物とのみ詳細な画像間の比較を行う.

図 4: 撮影画像

図 5: 物の切り出し

4.3

情報の登録

ロボットは撮影した画像から獲得した情報にその撮影
次に画像に使用されている色を 8 色で表示し, 画像から

場所, 時間を記録することで一つのデータを作成する. こ得られるオブジェクトの色情報の一貫性を保持する (図れをインスタンスと呼ぶ (図 9 左). インスタンスはＩＤ

6). また, 画像に対し透視変換を行うことで, 擬似的に上番号により管理される.

からオブジェクトを見た画像に変換し, オブジェクトの大きさ, 形に一貫性を持たせることを行う (図 7).
,QVWDQFH,'FRORUEOXHVL]HFP
SODFH1R
RZQHUVDML
WLPHSLFWXUHüW

図 6: 色の単純化

2EMHFW'DWD
2EMHFW3ULPHU&,',','
2EMHFW,','

図 7: 透視変換画像

次に詳細な同定を行うための正規化画像を作成する.
図 7 の画像から位置, 角度に関してオブジェクトを正規

図 9: オブジェクトのデータ構造化する. まず, オブジェクトについて hough 変換を用い
一番長い線を検出し主軸とする. 主軸を画像の垂直方向に合わせることでオブジェクトの角度を正規化する. 次に画像中のオブジェクトに外接する円が入る最小の大きさに画像を切り取る. この処理によりオブジェクトの中心が切り取った画像の中心になり, 位置の正規化ができた. 正規化画像を図 8 に示す.

ロボットが獲得したインスタンスは同定することで分類され, 保存される (図 9 右). そのため一つのオブジェク
トは複数のインスタンスから構成される. オブジェクトのラベルをつけられたインスタンス群は意味的に同じ物を表している (人間が登録する概念的な情報はオブジェ
クトのラベルと同様に複数のインスタンス全般の情報として登録される). 同定の結果により近似したインスタンスがあった場合はそのインスタンスが登録されているオ
ブジェクトのカテゴリに登録される. 近似したインスタ
ンスがない場合は新しくオブジェクトのカテゴリを作成

し, そこに登録する. この際オブジェクトのカテゴリを表

3. 人間による獲得知識の更新 (間違いの訂正)

すラベルはオブジェクトの名前がつけられるが, 名前は

4. 色, 大きさ, 属性などによる知識検索
5. ロボットへのタスクの依頼

人間からの教示により得られる情報であるため, ロボッ
トは一時的に仮の名前をつける必要がある. その際の仮の名前は新しく登録するインスタンスのＩＤ番号とする.

1,2,3 は知識共有に必要な機能であり,4,5 は知識の利用法である. 以下の節でそれぞれの機能について説明する.

5

人とのインタラクション
概念的な情報を獲得するアプローチとしては人とのイ

ンタラクションを行う方法が考えられる. 手段としては
音声による対話や, 身振り手振りによる対話などが考えられる. これらの方法は人間が普段行うコミュニケーショ
ンであり, ロボットに適用することでより円滑なコミュニ
ケーションが期待できる [1]. しかし, これらの手段は実装することは難しく知識をロボットに教えるために必ず

5.2

人間からの概念的な情報の獲得

本インターフェースを通じ人間はロボットにオブジェ
クトに関する情報を教示することができる. 実際に人間がロボットに教示する情報は概念的な情報である名前, 対象間の属性, 使用方法などである. 図 11 に情報入力前のデータと情報入力後のデータを示す. また, 本インターフェースでは名前以外の概念的な情報をキーワードと呼ぶこととする.

しも必要な手段ではない.
そこで, 本研究では具体的なオブジェクトの名前などの知識を的確にロボットに伝える必要があり, その上での知識共有を焦点としているため, WWW ブラウザを用ðßÆË®
o¤¹Ál0

いたテキスト, 画像ベースのインタラクションを行うこととする. そのため, 本研究では専用のインターフェースを作成しユーザとの知識共有を行う. 人とロボットのイ
ンタラクションの概念図を図 10 に示す.

'×Ìl0Ð"
üM

Y>

ðßÆË
ÿ·%íÆ
'×íÆ

O


図 11: 概念的な情報の入力
'×íÆ

<L
º=

オブジェクトの名前, その他の概念的な情報をキーワードとして入力する. この際キーワードとなる概念的な情報には上下関係などはなくすべてフラットな情報として扱うこととする.

図 10: インタラクションの概念図

5.3

ロボットが獲得した情報の表示

オブジェクトのデータを表示したインターフェース画

5.1

面を図 12 に示す.

インターフェースの機能

図 12 に示すように本インターフェースはオブジェク

インターフェースは人間とロボットのコミュニケーショ

トの閲覧画面とインスタンスの閲覧画面からなる. オブ

ンチャンネルの一つであると考える. そのため, ロボット

ジェクトの閲覧画面に表示される情報はオブジェクトごが人間から概念的な情報を受け取るだけでなく人間とロとに登録されているインスタンスの最新 (時間を参照) のボットの双方向での知識の共有ができることが望ましい.

情報を表示する. インスタンスの閲覧画面ではオブジェ作成したインターフェースの機能を以下に列挙する.

クトに登録されているインスタンスを古い順に表示する.
この画面ではオブジェクトの名前, 現在の所有者, 机の1. 人間からの概念的知識の獲得
2. ロボットが獲得した知識の表示 (画像, 場所, 所有者)

所在地, キーワード, 画像を表示する. 図 13 の左側はオブジェクトを背景から切り出した画像. 図 13 の右側がオ­Ù»ª²ËÐ«J§ö¼Âö¼ÐO_­Ù»ª²ËÐO_NA

図 14: オブジェクトのインスタンスの情報

5.4

情報の更新機能ロボットは自律的に得た情報を基にインスタンスをオ
ブジェクトとしてのカテゴリに分類する作業を行う. この時ロボットはオブジェクトを間違えて分類する可能性がある. また, 人間により与えられた概念的な情報が間違って入力されていることも考えられる. 本システムでは情報を動的に変更することができるように, 人間による情報の更新, 変更が行えるシステムになっている. 具体
的には, 登録されたインスタンスの変更や, 名前の変更などが行える.

5.5

検索機能

本インターフェースの検索画面を図 15 に示す.

図 12: 情報提示画面

Ú¯·(cm)°8ò8Ì,ÍñîÈ
¦íã
図 13: オブジェクトのデータ表示

ブジェクトを含む全体の風景画像である. ユーザが画像を見てオブジェクトを理解する際, 周りの風景を見せる

図 15: 検索画面

ことで対象とするオブジェクトがどういう状態にあるかがわかりやすくなる. また, オブジェクトを切り取った画

本インターフェースは, 大きさ, キーワード, 色の 3 つの像を見せることで複数のオブジェクトが存在する場合や,情報を用いてロボット内の情報を検索できるようになっ環境が複雑な場合でもどれが対象とするオブジェクトでている. キーワードとは人間により過去に入力された名あるかが容易に理解できる.

前以外の概念的な情報のことを指す. 既知のオブジェク

また, オブジェクトのインスタンスの情報を図 14 に示す.

ト, 未知のオブジェクトともにこの 3 つの知識を利用し検索する. この検索機能によりオブジェクトの効率的な

これも画像についてはオブジェクトの閲覧画面のデー

情報利用が行えると考えられる. 例えば, オブジェクトのタと同じであるが, 他の情報としてそのインスタンスの

名前が未登録の場合や, 人間が名前を忘れた場合など, 大

発見時間を表示している.

きさ, キーワード, 色の情報を利用してオブジェクトを特定することができ, 人間はそこから情報を得ることがで
きる.

5.6

6.2

お使いモード

お使いモードでの作業風景を図 17,18,19 に表示する.

ロボットへのタスクの依頼本研究で設定している 2 つのタスクをここから依頼することができる. 環境内の巡回を行いオブジェクトの情報を獲得する巡回モードと必要なオブジェクトの取得依頼を行うお使いモードである.

6システムの検証
ロボットにシステムを実装し, 実際に 2 つのタスクを

行った.

6.1

図 17: 取得依頼

巡回モード

巡回モードを 11 回行った結果を図 16 に示す. 一度の巡回で 9 つの机を撮影し, 情報を獲得する.

:§ö¼Âö¼N
NÝ­ë==Í ¼ì¯¹Íä: ¼ì¯¹
¼ì¯½ÁÊ8Â
¹ÁÊ8Â
9|=¿|bÍ=¹±»õ
É¯Á§ö¼Âö¼N
=¹±»õÉ¯Ì­ÅÁ§ö¼Âö¼N
7êÊÐ*69.4%¼ì¯¹Í9¹ÁÊ8ÂÊÐ*83.3%¼ì¯¹Íä:¹ÁÊ8Â>ÅÁ»õ


図 18: 物の受け取り (ロボット)
図 16: 獲得情報の結果

ロボットが撮影した画像からオブジェクトを正確に切り出す成功率は 83.3% であった. このうち切り出しに失敗したデータは, エッジがうまく検出されなかったため一つのオブジェクトが複数のオブジェクトに分割されてしまったデータであった.
また, ロボットが自律的に分類した正答率は, 獲得した総インスタンス数と比較すると 69.4%, 切り出しに成功したものとの比較では 83.3% であった.
正しく分類できなかったインスタンスは切り出しに失敗したデータを含み全体の 30.6% であった. このうち切り出しに失敗したインスタンスは 16.7% で, 切り出しは成功したが誤分類されたデータは 13.9% であった. 13.9% のインスタンスは上から見た際見える面積に対し立体的な部分が大きいものが大部分であった.

図 19: 物の受け取り (人間)まず, インターフェースを用い人間はロボットの保持しているオブジェクトについてのデータを閲覧, 検索する. 次に必要とするオブジェクトを依頼する (図 17). ロ
ボットは移動してオブジェクトのある位置まで移動する.
その場所に到着すると音声により必要なオブジェクトを取ってもらうように近くの人間に依頼する (図 18). オブ
ジェクトを受け取ったら依頼された人間の所まで移動しオブジェクト取得のタスクが完了する (図 19).

[8] 安居院猛，長尾智晴: 画像の処理と認識, 昭晃堂(1992).
[9] 角 保志, 富田 文明: ステレオビジョンによる 3 次元
物体の認識電子情報通信学会 D-2,Vol.80 No.5,pages
1105-1112 (1997)[10] 角 保志, 河井 良浩, 吉見 隆, 富田 文明: セグメント
ベーストステレオによる自由曲面体の認識電子情報通信学会 D-2,Vol.81 No.2,pages 285-292 (1998)

7

まとめ
本稿では実際に研究室内のオブジェクトの管理を行うことで人間を支援するロボットシステムの提案を行った.
ロボットは自律的に環境から情報を獲得し, 管理することができた. また, 人間とインタラクションを行うこと
で, 情報を獲得し, 提供することができた. ロボットは環境と人間から得た情報を統合することで一つのオブジェ
クトに対し有効な情報を獲得できた. また, その結果を人間にフィードバックすることで人間とロボットの知識共有だけでなく, 環境全体の知識共有を支援することがで
きた.

参考文献
[1] 松井俊浩 麻生英樹 浅野太 John Fry：オフィスロ
ボット jijo-2 の対話理解, 日本ロボット学会第 16 回
学術講演会 (1998).
[2] 本村陽一 松井俊浩 麻生英樹 浅野太 原功 John Fry：
事情通ロボットによるオフィス環境における知的作業支援, 人工知能学会 AI シンポジウム’98 (1996).
[3] SONY AIBO ホームページ：
http://www.world.sony.com/JP/Electronics/aibo/[4] NEC パーソナルロボット R100 ホームページ：
http://www.incx.nec.co.jp/robot/indexj.html[5] 内田恵久, 武田英明, 西田豊明: 弱い知識構造に基づくロボットの行動生成, 情報処理学会研究報告 知能と複雑系 111-4 (1998).

[6] 片山顕正, 内田恵久, 武田英明, 西田豊明: 人間との共有知識に基づくロボット行動の実現, 人工知能学会全国大会 (第 12 回) 論文集,pages 228-231, (1998).

[7] 武田英明, 上野敦志, 佐治禎基, 中野剛, 宮本圭, 吉村俊哉, 片山顕正: 自律型知識メディアとしてのロボット ―オフィスワーク支援ロボットの試作―. 第5 回ロボティクス・シンポジア,(2000).( 予定).