LIFE2014

OS2-1

2014 年 9 月 24 日－26 日 北海道

首振り指示を用いた移動ロボット操作インタフェース
An Operating Interface of Mobile Robot Using Instructions by Neck Movement○ 柴田論（愛媛大学）

山本智規（愛媛大学）

Satoru SHIBATA, Ehime University
Tomonori YAMAMOTO, Ehime University
Abstract: A human-robot system in which a mobile robot moves according to movement of his or her neck is considered.
The laser pointer is attached to the user’s head, and the user provides instructions to the robot by rotating his or her head.
In addition, eye-gaze input system is introduced to acquire the information of the circumstance from the camera attached at
the mobile robot. The orientations of the robot and the camera are automatically controlled by the results of eye-gaze input.
The effectiveness of the proposed interfaces is confirmed through the experiments.
Key Words: Human-robot Interface, Instruction of Neck Movement, Eye-gaze Input System
1. はじめに
近年，高齢社会の到来に伴い，医療や社会福祉の分野において，身体障害者の機能代替や高齢者の介護補助などにロボットを応用する取り組みがなされている．また，高齢者や障害者のリハビリ支援，家庭内での生活支援などを果たすロボットの必要性が高まってきた (1)．このような背景のもと，人間が指示を出し，それに従い動作を行うロボットについての研究が生活支援の分野で種々行われている．
本報告では，発話や上肢に障害を持つ人でもロボットへの指示を行う事のできるインタフェースを提案する．まず，首の運動による顔の向きの変化を移動ロボットへ与える動作指示命令とするインタフェースを考える．これにより，同じ部屋等の環境内で，操作者が直接確認できる位置へとロボットを導くことができる．次に，操作者からは直接確認しにくい環境情報を取得するために，移動ロボットに搭載されたカメラからの画像に対して，画像内の注目点の情報がより操作者にとってわかりやすくなるよう，視線入力操作によりロボットとカメラの位置姿勢を操作するインタ
フェースを構成する．

操作者は頭頂部に取り付けられたレーザーポインタを床に向かって照射する．ここで床に照射されたレーザーの光点（指示点）は操作者の顔の向きに対応している．指示点は部屋の上部に取り付けた 2 台の CCD カメラ(以下，”環境用カメラ”)によりサンプリングタイム毎に撮影され，画像処理用コンピュータにてステレオカメラの原理により座標値が算出される．ロボットでは送られてきた指示点の座標の変化に追従する運動を生成する．
2-2 視線入力を用いた環境情報取得インタフェース
視線入力を用いて環境情報を取得するシステムの構成を
図 2 に示す．本システムは視線入力部およびロボット操作部で構成される．
Wireless communicationof the web camera on therobot

Operating system of the robot
TCP/IP communication
Note PCWeb camera

2. 提案するシステム
2-1 首振り指示によるロボット操作インタフェース
首振り指示によるロボット操作インタフェースに関するシステム構成を図 1 に示す．

Robot
PC
Eye gaze input system
Main
processing PC
Web camera

Image processing PC

Monitor

CCD-camera
USB connection

HubFig. 2
Subject

Laser spot
Robot

Fig. 1An operation interface of mobile robot using neckmovement

OS2-1-1

The operation interface of mobile robot using eyegaze input

視線入力部では操作者の顔画像からモニタの映像上のどこをみているか，画像処理用 PC によって注視点の座標値を推定し，図 3 のようにこの注視点を操作者が見ようとしている物体の仮の座標とする．ロボット操作部では画像処理によって推定された注視点が図 4 のように画面中心に来る
よう，画像処理用 PC から，全方向移動ロボットを制御するロボット PC およびサーボモータを制御するノート PC に動作命令を出し，カメラ向きの制御を行う．

LIFE2014

Point of gaze2014 年 9 月 24 日－26 日 北海道

A target object✖
Web camera～～Fig. 6

Mobile robot

Fig. 3

Measurement of gazing point of the operator on themonitor

Binarized eye area

視線方向を推定するために，黒目の検出と追跡をパーティクルフィルタ処理を施すことにより行う．パーティクルフィルタ処理の流れは，まず初期化を行い，次に予測，尤度の算出および重み付け，状態推定，そしてリサンプリングを行う．本研究では20 個のパーティクルを撒き，黒色の物体を検出，追跡するように設定している．パーティクルフィルタ処理の結果を図 7 に示す．
ひし形がパーティクルであり，丸がパーティクルの重心である．

Fig.7 Particle filter processing
このパーティクルの重心が画像上のどの点に位置している
かにより，視線方向を決定する．

Fig. 4

Adjustment of direction of camera on the robot andorientation of the robot so that the image of thetarget be located at the center of the monitor.

2-2-1 画像処理による視線方向の検出
画像処理による目検出の具体的な流れは，以下の通りである．まず，ユーザの前には，図 5 に示すようにモニタおよび USB カメラが設置されている．USB カメラからリアルタイムでカラー画像を取得し，そのカラー画像から顔および目を検出する．次に，検出した目の領域を二値化画像に変換し，パーティクルフィルタ処理を行うことで黒目を検出し，その位置により視線方向推定を行う．

2-2-2 視線方向によるロボットとカメラの姿勢制御検出された視線方向に基づき，操作者のモニタ上の注目点を決定する．その注目点がモニタ上の中心に位置するよう，移動ロボットの姿勢制御，およびロボット上カメラの姿勢制御を行う．図 8 は移動ロボットと移動ロボットに装着されたカメラを示す．移動ロボットはオムにホイールを用いた全方向移動型であるが，図のようにヨー回転を行う．
また，カメラは安価なウエブカメラであるが，図のようにピッチ回転を行う．

USB cameraMonitor

Fig. 5

これらに基づく首振り指示によるロボットの移動，および視線入力を用いた環境情報の取得の様子は，発表において詳しく紹介する．

Eye gaze input using USB camera and monitor

まず，USB カメラから得られたカラー画像(高さ 480pixel×幅640pixel)から，顔の検出，および目の検出を行う．得られた目の矩形領域に対し，グレースケール変換を行い，さらにニ値化処理を施す．

OS2-1-2

参考文献(1) 藤江正克，福祉機器研究開発の動向と将来，日本ロボット学会誌，vol. 21，no.4，pp.336-339，2003.