ハンズフリー物体指示インタフェース
Hands-free Interface for Object Indication

１．研究の目的
身体の不自由なユーザーのためのホームサービスロ
ボットに期待される基本的な作業として、指示された対象の物体を移動したり、操作したりすることが挙げられる。作業対象となる物体の指示法として様々な手法が考えられるが、ユーザーの身体状態によっては、手動で機器を操作することが困難な場合がある。さら前 泰志 (Yasushi Mae, Ph. D.)には、音声による指示が困難な場合もある。このよう大阪大学 基礎工学研究科 准教授

な場合にも、日常環境にある様々な物体を、手や音声(Associate Professor, Osaka University, Graduate School ofEngineering Science)を用いずに、ハンズフリーで対象物体をロボットへ指IEEE 日本ロボット学会 日本機械学会 計測自動制御学会 情報処理

示できるインタフェースを実現することである。開発学会 電子情報通信学会 日本バーチャルリアリティ学会

するインタフェースは、頭部に装着可能なものとする

受賞：2015 ISR Best Paper Award, KROS (2015) 第七回 JRM Best

ことにより、使用環境の制限を少なくし、作業や移動Paper Award 2014, 富士技術出版株式会社 (2014) SI2014 優秀講演賞,
第 15 回 SICE システムインテグレーション部門講演会 (2014)の不自由な一般ユーザーの QoL の向上に貢献するこAdvanced Robotics Best Paper Award, The Robotics Society of Japanとを目指す。

(2013) 第 13 回建設ロボットシンポジウム優秀論文賞, 建設ロボット研究連絡協議会 (2012) Best Paper Award, First IFToMM Asian Conference

２．研究の背景

on Mechanism and Machine Science (2010) Best Conference Paper
Award, IEEE International Conference on Robotics and Biomimetics

超高齢化社会といわれる状態がますます深刻化して(2009) 2004 年度日本バーチャルリアリティ学会論文賞, 日本バーチャルリアリティ学会 (2004) 第 10 回建設ロボットシンポジウム優秀論文賞,

いく中、身体の不自由な人が著しく増加することも予建設ロボット研究連絡協議会 (2004)測される。現在、家庭用の機器を操作する際に、ボタ研究専門分野：ロボットビジョン ヒューマンロボットインタラクション

ンによって操作する機器が主流となっているが、手がインテリジェント・ロボティクス・スペース 作業移動型ロボット マイ

不自由な人にとっては、操作が困難なインタフェース

クロロボティクスとなっている。これらの機器を「脳波（刺激を選択的に注意させることにより生じる脳電位 P300*1）」や「ま超高齢化社会における生活支援としてロボばたき」といった負荷の小さな顔面動作によって操作ットの日常生活空間への導入が期待される。このようなすることができれば、手や音声をも使わずに機器を操ホームサービスロボットに求められる基本的な作業とし作することができ、その有用性は高い。従来、脳波をて、物体の移動や操作が挙げられる。ユーザーによる作計測する装置は、大型で高額であり、脳波計測装置を業対象となる物体の指示法として様々な手法が考えられこのような家庭用の機器の操作に利用するデバイスとるが、手動で機器を操作する指示は、困難となることがしての利用は困難であった。

あらまし多い。手を用いずにハンズフリーで対象物体を指示でき

しかしながら、近年、ブレインマシーンインタフェることが望ましいが、ユーザーの身体状態によっては、ース（BMI*2）として利用できる小型で安価な脳波計音声による指示も困難な場合が想定される。本稿では、測装置が利用できる状態になってきた。また、情報のユーザーが音声を用いずにハンズフリーで、視覚的に表提示装置として、眼鏡のように顔に装着し、目の前の示されたシーン中の画像領域を選択することにより、対モニタに情報を提示するヘッドマウントディスプレイ

象物体を指示する手法について紹介する。ユーザーは、（HMD*3）装置も安価となってきている。これらを組ホームサービスロボットのカメラから得られるシーンのみ合わせることによって、安価で頭部に装着可能な、映像から、開発したハンズフリー物体指示インタフェー

脳波による指示とモニタによる情報提示機器を実現でスを用いて、ユーザーが希望する物体を、「まばたき」にきる可能性がある。
これまで、脳波を使ってユーザーの意図を伝えるイよって指示することが可能である。
1

TELECOM FRONTIER No.92 2016 SUMMER

ハンズフリー物体指示インタフェース
Hands-free Interface for Object Indication

ンタフェースとして、頭皮上で計測できる脳波の事象ットが操作対象とする物体を、ハンズフリー物体指示関連電位（ERP*4：Error-related Potential）の一つでインタフェースにより指示する[1]。

ある P300 を利用する方法がある。その一つの応用として、画面に現れる図形を認識した時に得られる P300から、例えばライトやテレビといった電子機器を点けハンズフリーインタフェースたりするインタフェースがある。他に、文字がランダムに表示される画面をユーザーが見て、注意を向けて脳波計測装置
BMIいる文字が表示されたときにユーザーがその文字を認

対象物体指示ホームロボット
映像

情報提示装置HMD識することにより得られる P300 で本人の意思を文字として表現するものがある。
P300 の応用により、あらかじめシステムに組み込まれた電子機器であれば、ユーザーは操作することはホームロボット可能であるが、日常生活空間にある電子機器以外の様々な物体を操作することはできない。そのため、ホームサービスロボットを導入することにより、日常生活空間にある様々な物体を操作することが期待される。

図１

ロボットへのハンズフリー物体指示

P300 を使えば、文字を入力し、物体名の文字列を表現することはできるが、物体名が長い場合の文字列の入力に長い注意集中を要し、負荷が大きい。さらに、

３．１ 頭部装着型デバイス

物体名をロボットに教示した場合にも、ロボットがそ複数選択枝からユーザーの希望の選択を知るために、の搭載カメラの視野から対象となる物体を見つけるこ

頭部装着型 BMI（Brain Machine Interface）デバイとは、高度な画像認識技術が求められ、困難である。

スを用いる。脳波 EEG（Electroencephalogram）を同様に、P300 の代わりに「まばたき」を利用するこ

計測することにより、ユーザーへの呈示刺激に対するともできるが、同様な問題がある。

ユーザーの認識よって生じる事象関連電位 P300 の検ホームサービスロボットに、希望の物体の移動や操出「あり／なし」に対応させて、ユーザーの呈示刺激作の指示をするためには、まず、対象とする物体を指への回答「はい／いいえ」の選択を知ることができる。

示せねばならない。日常空間には様々な物体があり、複数の選択枝がある場合にも、複数のメニューボタンしかも生活の中でこのような物体を指示することは頻のうち、ある時刻において選択可能なボタンを一つと繁におこりうる。そこで、本稿では、これまでになかして、選択可能ボタンをある時間間隔で順番に変えてった三次元空間中の物体を容易に指示するための音声

いき、希望のボタンが選択可能な状態のときにユーザを用いないハンズフリーの物体指示インタフェースにーが合図することで、ユーザーの希望の選択を知るこついて述べる。とができる[2][3]。
頭部装着型 BMI（Brain Machine Interface）デバ

３．研究の方法、研究の結果

イスは、ユーザーの頭部前面に配置する電極を用いる

ユーザーが視覚的に表示されたシーン中の画像領域と、ユーザーの「まばたき」や眉の上下動作を検出すを選択することにより、対象物体を指示するハンズフ

る筋電計 EMG（Electromyograph）としても利用可

リー物体指示インタフェースについて述べる。ハンズ能である。ここでは、ユーザーの意図に対して応答がフリー物体指示インタフェースを適用するシステムの速く、機器の手動操作や音声による指示が困難なユー

概念図を図 1 に示す。ユーザーは、ホームサービスロザーにおいても、ハンズフリーで可能な合図として、ボットのカメラから得られるシーンの映像から、ロボユーザーの「まばたき」や眉の上下動作を用いる。こ2

TELECOM FRONTIER No.92 2016 SUMMER

ハンズフリー物体指示インタフェース
Hands-free Interface for Object Indication

れらの動作によって生じる EMG 信号を検出すること

３．３

実験

により、ユーザーの意図「はい／いいえ」を知ることハンズフリー物体指示インタフェースを用いて物体ができる。ユーザーの「まばたき」や眉の上下動作を指示を行う。実験では、ロボットカメラからの画像を検出する頭部装着型 BMI デバイスとして Emotiv

図 3(a), (b)に示すように、選択された画像領域を水平EPOC を用いた。このデバイスは、14 チャンネルのあるいは垂直に 2 分するように画像を分割していくこEEG（Electroencephalography）信号を無線で PC にとにし、物体を含む画像領域の指示を効率化した。あ送信できる。本稿では、図 2 における AF3 と AF4 のる一つの領域が選択可能となっている一定時間 T を位置の電極の信号を「まばたき」による EMG 信号を1.5 秒とした。実験での合図は、「まばたき」とした。

検出するために用いた。

③①②(a)
図２ 電極の配置

３．２ 分割された画像領域の選択による物体指示
提案するインタフェースでは、ロボットはシーンを撮影した画像をユーザーに提示し、ユーザーは画像から作業対象となる物体領域を選択することにより、対象の物体とその位置を指示する。ユーザーによる物体領域の選択は次の手順により行う。
(b)

ただし、初期での対象画像は画像全体とする。
(1) 対象画像を複数の領域に分割する。

図３(2) いずれかの領域を、ある一定時間（T）選択可能な画像の分割方法状態とし、選択可能な領域を一定時間ごとに順番
ユーザーへの画像提示は PC の画面あるいはユーザに変える。
(3) ユーザーは、ユーザーが望む領域が選択可能となーが装着する HMD で行った。
実験で用いた HMD は、ったときに合図を出し、希望の領域を選択する。

EPSON Moverio である。図 4 に実験装置の概観を示(4) 選択された画像領域がユーザーの望む物体領域とす。図 5 に実験の様子を示す。ユーザーは、手を使わなった場合に終了する。そうでない場合には、選ずに HMD に呈示された画像を見て、「まばたき」に択された画像領域を対象画像として、(1)に戻る。

より物体を含む画像領域を選択する。

3

TELECOM FRONTIER No.92 2016 SUMMER

ハンズフリー物体指示インタフェース
Hands-free Interface for Object Indication

BMI

HMD
インタフェース画面を表示

(a)

(b)

(c)

(d)

(e)

(f)

PC
まばたき検出処理
画像分割処理図４

物体指示インタフェース

図６(a)ロボットカメラの視野における物体指示

(b)
３．４

図５ 実験の様子

結果

手や音声を使わずに三次元環境中の対象物体を指示可能とする物体指示インタフェースを提案した。ホー
ユーザーに提示されている画面の様子を図 6 に示す。

ムサービスロボットはシーンを撮影した画像をユーザ

初期にユーザーに提示されている画面を図 6(a), (b)にーに呈示し、ユーザーは画像から作業対象となる物体示す。対象画像は 2 分割され、選択可能な領域が黄色領域を「まばたき」で選択することにより、対象の物で示されている（図 6(a)では上部領域、図 6(b)では下体とその位置を指示する。このインタフェースでは、部領域）。この選択可能な領域が交互に 1.5 秒間隔で変2 分割して表示されるシーンの画像から対象物体を含わる。図 6 において、選択対象の物体は画像の右上部む領域を「まばたき」で選択する。同様に、選択した分に置かれている犬の人形とする。図 6(a)の状態のと領域を順次 2 分割していき、対象物体含むより小さなきに「まばたき」をすると、対象画像の上部領域が選領域を選択していく。これにより、ユーザーが「まば択され、図 6(c)の状態となる。図 6(c)の対象画像は左たき」で「はい／いいえ」を意志表示するだけで、画右に分割され、選択可能な領域が交互に変わる。図 6(d)像中の対象物を簡便かつ効率よく指示することを可能のときに「まばたき」をすると、対象画像の右部領域とした。

が選択され、図 6(e)の状態となる。このような処理を繰り返すと、図 6(f)に示すように画像領域を選択し、

４．将来展望この領域内の物体を作業対象とする物体として指示す

本稿で述べた物体指示インタフェースでは、ユーザ
ーの「まばたき」時の前頭部に生じる EMG を検出することができる。
4

TELECOM FRONTIER No.92 2016 SUMMER

ハンズフリー物体指示インタフェース
Hands-free Interface for Object Indication

ることにより、手や声を使わずにシーン中の対象物体を指示可能とした。同様なインタフェースは、事象関連電位 P300 を用いる場合にも同様に実現可能である。
この物体指示インタフェースは、ホームサービスロボットへの物体指示としてだけではなく、介護者に物体を指示するためのインタフェースとしても利用できる。
また、このようなインタフェースは、身体が不自由な人のインタフェースとなるだけでなく、ジョイスティックなど従来の手操作によるインタフェースと複合して用いることにより、機器操作を効率化できる可能性がある。
今後、高齢者が著しく増加してく社会において、このようなハンズフリー物体指示インタフェースにより、ホームサービスロボットや介護者とのコミュニケーシ
ョンを容易にすることによって、身体の不自由な一般ユーザーの QoL の向上が期待される。

用語解説*1 P300：刺激を選択的に注意したときに生じる脳電位*2 BMI（Brain Machine Interface）：脳波で機械を操作するインタフェース*3 HMD（Head Mount Display）：頭部に装着して用いるディスプレイ
*4 ERP（Error-Related Potential）：事象関連電位

参考文献[1] 前泰志，ペナロサクリスチャン，ナムソン，小嶋勝，
洞出光洋，神山和人，新井健生："画像分割によるシーン中の物体指示法", 第 15 回システムインテグレーション部門講演会, pp.1515-1516, 2014.
[2] Christian Penaloza, Yasushi Mae, Kenichi
Ohara, and Tatsuo Arai: "BMI-based Learning
System for Appliance Control Automation,"2013 IEEE International Conference onRobotics and Automation, pp.3381-3387, 2013.
[3] 前泰志, Christian Penaloza, Francisco Cuellar,
小嶋勝, 新井健生: "BMI を用いた機器操作と環

この研究は、平成２４年度ＳＣＡＴ研究助成の対象と境・脳状態の学習による環境知能化", 第 31 回日して採用され、平成２５～２６年度に実施されたもの

本ロボット学会学術講演会, 2D2-07, 2013.

です。
5TELECOM FRONTIER No.92 2016 SUMMER