「インタラクション2000」平成12年2月

ビジョン型のベットロボット・インタラクション
AVi＄ion・ba＄ed PetRobotlnteraction

三原功雄，山内康晋，土井美和子
JsaoMihara，YasunobuYamauchiand MiwakoDoi（株）東芝研究開発センター ヒューマンインターフェースラボラトリー
TOSHIBACorporateResearch＆DevelopmentCenter HumanInterfaceLaboratory〈isao．mihara，yaSunObu．yamauchi，miwako．doi）＠toshiba．cojp

ABSTRACT：Wedevelopedanewvision−basedinterfacethatcandetectthehumanmotionandconrrolapetrobotin−
teractionsystem．Thisvision−basedinterfaceiscomposedofthe MotionProcessor（叩 andthe Regionq／hltereSt
仰0ゲ ．TheMPisanewimageinputdevice．Theル伊canexcludebackgroundpartandcaptureonlytheo叫ect sshape，
motionanddepthinfbrmationinrealtime．TheRO［isaconceptinordertodistinguisho叫ectsinacapturedimage．For
detectingtheRO［，theproposedmethoduseddepthinfbrmationofthecapturedimageandof托redafastandrobust
SearChingmethod．ItenablestheMPtosenseavarietyofo叫ect sshapes，mOtions，POSitionsandsoon．Therefbre，Our
Vision−basedinterfaceuslngtheMPwiththeRO［caneasilyrecogmzeo句ect smotionsasefftctivecomputereyes．The

usercaninteractwiththepetrobot（COnStruCtedbyLEGOMINDSTORMSTM）usingthisvision−basedinterface．
を「目」として持つペットロボットとのインタラクシ

l．はじめにョン・システムを紹介する。

人間は日常生活では、言語によるコミュニケーショ動作を認識するための様々な研究が行われてきた

2．モーションプロセッサ（MP）とは？
図2に、MPの試作機を示す。MPは、光の反射の原理を用いて撮像画像から背景部分を除去し、対象物部分［2−5】。しかし、従来手法では、画像から複雑な背景部の画像のみを取り出すという新規画像処理手段を採用分を除去し、安定的に認識対象のみを得る（図l参照）した画像入力装置である［6】。MPの撮像画像の例を図3に示す。手の部分のみが検出されており、背景部分は撮像されていないことが分かる。またMPは、対象物の奥行き情報も取得することができる。表lに試作機の性能を示す。

ンだけでなく、身振り・手振りといった動作を自然に用いて、理解の助けにしている【1］。そこで、人間のことは非常に困難で、また、計算コストを要していた。

表1：MP試作機の性能

背景部分の分離 動作の認識

解像度

国1：従来手法の処理の流れ

64x64pixels

奥行き深度 7bit

動作レート 50什ames／sec

そこで我々は、このような問題を回避すべく、新しい方法で対象物のみの画像を取得することが可能なデバ

本体サイズ

イス「モーションプロセッサ（Motion Processor，以下撮像距離MP）」を開発した［6，7］。さらに、MPで取得した画像の奥行き情報を用いることで、画像内から任意の注目領域（Region OfInterest，以下ROI）を検出する手法を開75x75x78mm（WxHxD）
30−90cm，40squar占cm（at40cm）

3．注目領域（ROt）の検出一 口ポットの目としての利用

MPをコンピュータの目として用いる場合、比較的遠発し、動作のリアルタイムセンシングを実現した。こい距離で、広い範囲で対象物の動きなどを捉える必要の結果、モーションプロセッサをコンピュータの目とがある。このような状況では、撮像範囲内に頭、左手、して実用化することができた。

右手、身体などというように、複数の対象が存在する

本論文では、まずこれらについて説明し、この機構（図4参照）。このような画像から、特定の部位の動きを捉え、認識などを行うため、本論文では注目領域（RegionOfInterest，ROI）という概念を導入し、画像内から特定の領域を取得するための手法について説明する。
園2：モーションプロセッサ

園3：撮像画像−57−

ROIとする。この場合、R7が検出されキ。

4．評価実験
上半身を撮像した画像から、手の部分を検出する。

この際、MPと身体との距離Llと、手と身体との距離L2とをそれぞれ変化させて検出率を測定する。表2が実験結果である。自然な動作を行う範囲では、非常に高い検出率が得られることがわかる。

上半身を撮像図4：撮像距離と撮偉物の関係

5．ペットロボットとのインタラクション
図7は、LEGOMINDSTORMSTMRoboticsInvention
Systemで作成したロボットである。このロボットには、MPとマイクが装着してある。MPはロボットの目として機能し、ROI検出技術により、注目領域部分の動作

SourceimagewithROI Targetpattern
園5：左手部分を注目領域として検出している様子のセンシングを行う。また、マイクから入ってきた声は、音声認識され、ロボットの耳として働く。これに図5は、画像中の左手の部分をROIとして検出しているところである。従来法では、色情報などを用いて、特より、例えば、「こっちおいで」などと言われると、定領域の検出を行っていたが、これは環境条件に強く人間がいる方向を探し、そちらに近づいていき止まる依存するため、ロバストではない。そこで、本手法でなどといった、ペットロボットとのインタラクションは、MPで得られた画像の奥行き情報と物体の形状情報が実現される。

を用いて実現した。以降に、我々のROI検出手法を示す。（1）特定の奥行き値（depth−level）よりも値が小さな部分を除去した画像を生成する。例えば、図6のような4つの画像を生成する。（2）それらに含まれる全ての領域を取得する。図6におけるR。（n＝1，‥リ11）がこれにあ
図7：MPを搭載したロボットとそのたる。（3）その中から、検索条件に合わない領域（例えば、小さすぎる、など）を除く。R。（n＝1，3，4，6，7，9）参考文献
が条件を満たすとする。（4）これらの領域のうち、

1・P．Ekman et al．，

ンクラクションの様子

The repertoire ofnonverbalbehav−

TargetPattern（図5）と最も類似度の高い領域の部分をior−CategOries，OrlglnS，uSag？，andcoding

Depth−1evel＝120Depth−Ievel＝100Depth−1evel＝80I）epth−Ievel＝60

pp．49−98，1969．
2．M．Kassetal．，

Snakes：ActiveContourModels，Semiotic，，1nter−〃αJ′0〃αJ血〟r〃α／げCo叩〟Jer rねわ〃，pp．321−331，

1988．
3．R．Cipollaetal．，

Qualitativevisualinterpretationof3b

handgesturesusingmotionparallax，Proc．qfMVA

92，

pp．477−482，1992．
4・T・J・Darellet al．，

5・A．Wexelb）at，

表2：実験結果

15cm 48％ ■38％

2％
45％

25cm
30cm

76％．97％9 9An Approach to NaturalGesturein

VirtualEnvironments

50cm 60cm

20cm ・93％ ＝ こ，Proc．qf．

〟mJ男，1993．

国6：Depth−levelの変化に応じた領域の検出

古」⊥ 35cm 40cm

Space−time gestures，Co7Wuter−Human hlteraCtion，

Vol．2，No．3，PP．179−200，1995．
6・S・Numazakiet al・，㍑A Kinetic and3DImageInput
Device4％35cm

98％ 98％

40cm

97％

，CjH

98，Pp．237−238，1998．

7・N・Umeki，etal・，

94％■． ■36％

OnUser sTempo

∴99％

−58−

AMotionalInterfhceApproachBased，CjH 99，1999．