ロボットを用いたオフィス環境におけるオブジェクトの認識システム

An Object Recognition System for OÆce Robots,,,,Toshiya Yoshimura, Akimasa Katayama, Atsushi Ueno, Hideaki Takeda, Toyoaki Nishida
吉村俊哉 y 片山顕正 yy 上野敦志 y 武田英明 y 西田豊明 yyy

奈良先端科学技術大学院大学 情報科学研究科 yGraduate School of Information Science, Nara Institute of science and technology
三井造船株式会社 yy

MITSUI ENGINEERING & SHIPBULIDING CO.,LTD.
東京大学大学院工学系研究科 yyy

School of Engineering, The University of Tokyo

Keywords: 人間、認識モデル、インタラクション 、属性、学習
Abstract: The position of an object in an oÆce is always variable. In this paper, we constructed arobot that memorizes the position of an object while the robot walk around in an oÆce environment.
the robot shows the list of objects and brings an object to user complying with a user's request. We
propose Attribute Recognition Model that is human-like recognition system using color or shape of anobject. In proposed method, the robot can learn new object by using new attribute information throughinteraction with human, if the robot fail to recognize an object. Proposed method resulted in 27% in
precision in a experimental test. Also the implemental system enables the robot to manage objects inthe oÆce autonomously.
1 はじめに近年、さまざまな場所で人間の存在する環境の中で人間の支援を行なうロボットの研究がなされている。
オフィス内において本やノートといった小物 オブジェ
クト は人間によって絶えずその位置が変化し 得る。ロボットが自動的にオフィス内を巡回する時にこれらのオブジェクトを自律的に認識して位置情報とともに記憶しておくことができれば 、人間の活動の支援に有効であると考えられる。
そこで 、ロボットがオフィス内を巡回する時にオブジェクトを自律的に認識できるシステムの構築を行った。

()

2 ものを認識するロボット
本研究では、カメラから送られてくる画像からロボットが自ら属性情報を抽出し 、自らの知識と照らし 合わせてオブジェクトに対して意味合いをつけを行い、データベース化することを目的としている。
2.1

人間のオブジェクト の認識

人間はど のようにオブジェクトに対して認識を行っているのだろうか？人の視覚による認識について考えると、「書かれている文字」、「 大きさ」、「 形」、「 色」、「材0 連絡先： 〒 630-0101 生駒市高山町 8916-6
Tel (0743)72-5265 Fax (0743)72-5269
mail: tosiya-y@is.aist-nara.ac.jp
http://ai-www.aist-nara.ac.jp/

質」など をみている。もし 、可能だったらオブジェクトに書かれている文字を読めばよい。しかし 、ロボットのカメラによる文字認識精度はあまり高くなく，またそういう情報もあいまいな場合もある。
本研究では，属性学習という手法を提案する。属性学
習とは，オブジェクトのもつ属性情報を学習し ていく方法で，これによって，作成された属性テンプレートとのマッチング（属性認識と呼ぶ）を行うことによりオブジェクトの認識と分類を行うことができる。

3 属性学習システム
本研究で属性学習システムというのは，色，形，大きさなど を用いた属性を用いることによって，ロボットに抽象的な概念を学習させるシステムとする。これによって得た知識によりオブジェクトの属性に基づいた分類を行なうことで、全検索よりも高速にできるようになっている．
3.1

1

システムの流れ図 は、属性学習システムの流れである。

1. オブジェクトの切り出しカメラからの画像は，フルカラーを用いるのではなくいくつかの色に分類された色を用いる．これはフルカラーによる処理では難しく，また数種類の色にカテゴ ライズされた画像でも十分にオブジェクトを認識するには十分と判断したためである．
実際にカメラから取られたスナップショットを図2

スナップショットからオブジェクトフレームの切り出し合率とする．整合率が閾値より大きければその属性とし 後とする．閾値より低い場合は，からユーザとの対話によりそのオブジェクトを分類する．

UNKNOWN

属性学習領域

プリミティブテンプレート
マッチにかける

該当するプリミティブテンプレートはあるか？
オブジ
ェ
ク
ト認
識
領域

プリミティブテンプレートの追加

色構成による絞り込みを行う

該当する
オブジェクトリストはあるか？

色ハッシュリストの追加

オブジェクト領域の抽出とサイズ変更

オブジェクトテンプレート
マッチにかける

該当する
オブジェクトテンプレートはあるか？

図オブジェクトテンプレートおよびタグファイルの追加

タグファイルをオープンしてユーザに提示

図回転

プリミティブテンプレート
マッチング

3: プリミティブテンプレートマッチング

3. 色構成による絞り込み

次に色構成による分類を行う．

4. オブジェクトテンプレートによるマッチング

次にロボットの知識内にあるオブジェクトのマッチングを行う．分類して同じオブジェクトと判断された場合は、オブジェクトの情報を最新のものに変更する。

1: 属性学習フローチャート(黄・青)
リストに表示する．

：
：：
回転図
図

2: (a) 現画像 (b) カテゴ ライズ画像

オブジェクトは 、以下のル ールにより切り出し ている。
 カメラの視野に収まるオブジェクトであること。
 背景色はグレーとし 、机、床、天井、壁を示す。
 オブジェクトは、原画像中に重ならずに存在すること。
（もし 、連続した領域の場合は一つのオブジェクトとする）

2. プリミティブテンプレートによるマッチング

次からは、画像より抽出されたオブジェクトを分類する方法を示す．オブジェクトは，まずプリミティブテンプレートと呼ばれる四角，円など の予め用意されたテンプレートとのマッチングを行う．これにより大体の形に分類することができる．マッチングに関しては，回転など を用い，テンプレートとの論
理積，排他論理輪で得点を決め，それらの総和を整

オブジェクトテンプレート
マッチング

4: オブジェクトテンプレートマッチング

5. オブジェクトの学習

オブジェクトの分類で失敗した場合、そのオブジェクトは見知らぬオブジェクトと分類される。ロボッ
トは、見知らぬオブジェクトを機会があれば 、人に提示し新たなオブジェクトとしてデータベースへ蓄えられる。

4 実験、結果
4.1

オブジェクト の認識率

この属性認識システムの認識効率を確かめるために以下の実験を行なった。

1. 研究の主旨を知らせてない人に「卓上の小物」という条件で１００個のものを集めさせた。
2. 各オブジェクトを５方向からスナップショットをとり属性情報を学習させる。
3. 各オブジェクトに対して再びスナップショットをとり、そのオブジェクトを認識システムにかけた。

この実験で認識できたオブジェクトは２７個存在した。認識精度が高かったものはシンプルな形状のもの、模様がはっきりしているものがあげられる。逆に低いものは 、形が不定なもの、複雑なもの、背景色と同じものがあげられる。

ロボット に実装

4.2

RWIが，本研究では，ユーザーはことができる（図 ）。

6

WWW を用いて会話する
オブジェクト
属性DB

B21

このシステムをロボット（社製のモバイルロボット ）に実装し 、その動作を検証した。
図 は 、システム構成である。

5

該当する
オブジェクト表示

要求する
オブジェクト名入力

カメラ

スナップショットの撮影
オブジェクトの分類
ロボット
コントローラ図

オブジェクトに関する情報の授受
属性認識
システム

巡回プログラム

オブジェクトの認識・学習

オブジェクト取得
プログラム

ユーザから示されたオブジェクトの提示

属性
データベース

取ってくる

選択

6: オブジェクトの取得

ユーザーは 、自分の欲しい物体の名前、色、形から入力すると、ロボットの持つデータベースと照合し 、それらしいオブジェクトのスナップショットのリストをユーザーに提示する。ユーザーは提示されたリストの中から、もっともありそうなところを選び 、ロボットにとりに行かせる。
Object Frame Data

図5: システム構成

PrimitiveTEMPLATE
Matching
Color Classification

ロボットに以下のような作業を想定する。

1. ロボットには 、自動的に集めた知識からユーザの要求されたものを提示する。
2. その物品を受け取りにいく、もし 、求めるオブジェクトがすでに移動し ているときは 周辺にいる人にど こへいったか尋ね、新たに取りにいく。

この作業を実現するには 、ロボットは次の処理を行なう。

1. スナップショットの撮影
2.
3.
4.
5.
6.
7.
8.

ロボットは研究室内を巡回し 、任意の場所でスナップショットを撮る
属性認識
スナップショットからフレ ーム分けされたオブジェクトをマッチングテストにかけ、既知のオブジェク
トかど うか調べる
属性学習
未知のオブジェクトが検出された際にはユーザによりオブジェクトに関する知識を得る
蓄えた情報をもとに、ユーザの求めるオブジェクトの提示を行う
ユーザからの依頼によりロボットはそのオブジェク
トのある であろう 場所へ移動
目的地に着いたらその場にいる人からオブジェクトを受け取る
オブジェクトが移動していたなら、その位置情報をもらって新たな目的地とする
オブジェクトの取得を指示したユーザの所へもど る()

このロボットには予め研究室内の地図情報を与えており，これを用いることによりロボットは位置情報を管理し ，室内を移動できる。ロボットは 、定められた場所で、カメラを動かしそれぞれの場所毎にスナップショッ
トを撮り、オブジェクトの情報を収集し 、認識できるものがあれば 、時間位置情報を記憶しておく。
ロボットとのインターフェースとしてはいろいろある

P1

P2

C1

ObjectTEMPLATE
Matching

P

C2

O1PnC

O2

P-unknown

C4O

C-unknownOnO-unknown

Open ObjectTAG

図7: 木構造に分類されたオブジェクトデータの概念図

ロボットは、そこにものがあれば近くの人に頼み渡してもらい、なければユーザーに再度場所を促す。
実際に実験をしたところ、ロボットはこれらの一連の作業をこなすことができた。

5 結論、展望
本研究では 、色、形など を用いた属性認識システムを提案し 、それをロボットに実装し 、その有用性を示した。今後の展望として，より高い認識精度を構築する一方，もっと柔軟性をもった認識システムを塔載することが考えられる．

参考文献[1] 片山顕正: オフィスロボットにおけるインタラクティブな属性学習を用いた物体の位置情報管理 奈良先端科学技術
大学院大学 情報科学研究科修士論文 (1999)[2] 内田恵久, 武田英明 , 西田豊明: 弱い知識構造に基づくロボットの行動生成, 情報処理学会研究報告 知能と複雑系
111-4 (1998).
[3] 西田豊明 前田晴美 平田高志：

日常記憶の共有によるコミュニティインタラクション支援を目指して -CoMeMo, システム/制御/情報 Vol.41, No.8
(1997).