OS2-4-8

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)

首振り指示による移動ロボット操作インタフェース
Research on an operation-interface of livelihood support mobile robot using neck movement
柴田論（愛媛大学）○松賀圭祐（愛媛大学）

山本智規（愛媛大学）

Satoru SHIBATA, Ehime University
Keisuke MATSUKA, Ehime University
Tomonori YAMAMOTO, Ehime University
Abstract: A human-robot system in which a mobile robot moves according to a laser spot produced by a laser pointer isconsidered. The laser pointer is attached to the user’s head, and the user provides instructions to the robot by rotating his orher head. In addition, three modes, namely the stopping mode, following mode, as well as the mode for autonomous
movement to the desired position, are introduced. For smoother robot movement, the robot estimates the laser spot positionby the Kalman filter in the following mode.
Key Words: Human-robot Interface, Instruction of Neck Movement, Mobile Robot, Mode change, Kalman filter
1. はじめに
近年，高齢社会の到来に伴い，医療や社会福祉の分野において，身体障害者の機能代替や高齢者の介護補助などにロボットを応用する取り組みがなされている．また，高齢者や障害者のリハビリ支援，家庭内での生活支援などを果たすロボットの必要性が高まってきた (1)．このような背景のもと，人間が指示を出し，それに従い動作を行うロボットについての研究が生活支援の分野で種々行われている．
例えば，ロボットに搭載されたカメラから取得した画像情報に対して直接指示をする生活支援ロボットシステム (2)，ポインティングデバイスによるカーソル操作に基づく食事支援ロボット (3)，顔の向きや視線を用いて電動車いすを走行させるシステム (4)，筆者らの指先指示に協調するロボットシステム (5)などが報告されている．
ここでは，発話や上肢に障害を持つ人でもロボットへの指示を行う事のできる，首の運動による顔の向きを移動ロボットへ与える指示命令とするインターフェースを考える．
これを，操作者にとってより直感的にわかりやすいインターフェースとするために，頭頂部にレーザーポインタを取り付けて移動ロボットの動作環境上にレーザー光線を照射し，床面上の光点をロボットに追従させるための指示点とする．レーザーポインタを用いることで，人間の顔の向きと指示点の位置関係が明確にでき，人間は自らの顔の向きを表す指示点を意識することができる．
レーザーポインタを用いた移動ロボットの指示に関する研究として，高橋ら (6)の報告がある．彼らの報告では，レーザーポインタは移動ロボットの操作対象物を指し示すためのみに用いられているが，本報告では，走行面に照射された光点の動きにロボットが追従するため，ロボットの運動を操作者が自分にとって好ましいように逐次指定することが出来る．また，彼らの報告では，レーザーポインタは手を用いて操作することを前提としており，首の運動により操作する本研究は異なるアプローチである．
本提案システムでは，操作者の操作性，好み，経験度，操作目的等を考慮し，3 つのモード，すなわち，停止モード，光点に追従する追従モード，光点により目標点を指定し，そこへ自律的に移動するモード（以下，自律移動モード）を導入する．また，追従モードにおいてロボットの運動を生成する際に，指示命令を滑らかなものに変換する特性関数（以下，“感性コントローラ(7)“）を用いてロボット運動を生成する．これにより，首振り指示運動に追従するロボット運動は，人間心理に好ましい滑らかなものとなることが期待できる．
2. 提案するシステム
2-1 システム構成
本研究で用いるロボットのシステム構成を図 1 に示す．
操作者は頭頂部に取り付けられたレーザーポインタを床に向かって照射する．レーザーは赤色レーザーで平均波長は650nm，出力パワーは 1mW 未満のクラス 2 に属するものであり，5ｍ以内では照射点の大きさは直径 6mm 未満の性能を持つ．ここで床に照射されたレーザーの光点（指示点）は操作者の顔の向きに対応している．指示点は部屋の上部に取り付けた 2 台の CCD カメラ(以下，”環境用カメラ”)によりサンプリングタイム毎に撮影され，画像処理用コンピ
ュータにてステレオカメラの原理により座標値が算出される．しかし，環境用カメラだけではカメラの死角により検出範囲が限られることやカメラから見たときレーザー光点が小さい場合のように，レーザー光点が検出できない場面が考えられる．その場合はロボット上に取り付けられた 2台のカメラ（以下，”ロボット上カメラ”）を用いて，同様に座標値が算出される．算出された座標は Ethernet 接続された全方向移動ロボットへ送られる．ロボットでは送られてきた指示点の座標の変化に追従する運動を生成する．なお，全方向移動ロボットのサンプリングタイムは 10ms である．

−1−PC(Cliant1)

PC(Cliant2)CCD‐camera

Hub

Laser spot
Robot mounted
PC(Server)

Fig.1

CCD‐camera

Construction of the mobile robot system tofollow instruction of neck movement

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)
2-2 全方向移動ロボット
首振りによるレーザーポインタ指示に追従する移動ロボ
ットは，レーザー光点の任意の平面運動に追従する必要があるため，足回りにオムニホイールを有する全方向移動型とした．その外観を図 2 に示す．
300mm

3. モード切替の導入
操作者がロボットをある場所に止めておきたい場合は停止モードとしてその場にロボットを停止させ，ロボットを首振り指示により走行面上の光点に追従させたい場合は追従モードとしてロボットを操作する．そしてレーザー光点を動作目標点に照射し，ロボットはその目標点に自律的に移動するモードの 3 つのモードを導入し，それらのモード切り替えを首振り指示により容易に行えることができれば理想的である．そこで，レーザーの光点の挙動によりモード切り替えを行う操作方法を提案する．

830mm

300mmできることを確認している．そして，ラベリングを施して特徴点領域の重心を算出し，それを画像平面内での特徴点の位置とする．これにより，左画像中の特徴点 PL ( xL , yL ) ，それに対応する右画像中の特徴点 PR ( xR , yR ) が得られる．
ただし，右画像中の特徴点を見つける際には，エピポーラライン上を探索している．

Fig.2

Mobile robot with omni-wheel

3-1 停止モードへの切り替え
ロボットが顔の向きに追従して動く場合は，図 4 のように，床面に照射されたレーザーの光点に追従する．操作者がロボットを停止させようとした場合，図 5 のようにレーザーの光点をロボットの前面のパネルに取り付けられたLED の線（長さ 320mm，床からの高さ 150mm ）より上に照射する．レーザーの光点を LED の線より上に照射することで，追従モードから停止モードへ切り替わり，ロボッ
トはレーザーの光点に追従せずその場にとどまる．停止モードへは，光点がパネルのこの位置に照射されると即座に移行する．

2-3 ステレオカメラによる光点の 3 次元計測
操作者の頭部のレーザーポインタから床面上に照射された光点は，2 台の環境用カメラ，またはロボット上カメラによるステレオ法によりその位置が計測される．図 3 は，本研究で用いた 2 台のカメラによるステレオマッチング法に基づくレーザー光点の 3 次元計測のモデル図を示している．2 台のカメラは同じ CCD カメラで焦点距離等の設定も同じに調整してあり，光軸と画像平面内の水平方向を平行に設置する．これにより，左右の画像平面内における特徴点の対応付けは，同じ座標値を持つエピポーラライン上の探索により容易に行える．

YCRobotP ( xP , y P , z P )

Z CR

Z CL

LED-line

YR

YL

PR ( X R ,Y R )

XL

150mm
320mm

XR

PL ( X L ,Y L )Laser spot

Fig.4

XCFollowing mode
Robot

Fig.3 Measurement of laser spot using stereomatching method
ステレオマッチング法を用いて特徴点の 3 次元位置を計測するためには，2 台のカメラから左画像および右画像を取得し，画像処理を用いて特徴点（レーザーポインタの光点）の画像平面内での位置を求める必要がある．
本研究では環境用カメラには日立高速画像処理ボード
IP7000BD を 2 枚，ロボット上カメラにはインターフェー
ス社製の画像処理ボード PCI-5536 を 1 枚使用し，それぞれから 2 枚の画像の取得，およびそれらの画像処理を行った．
まず，左右画像を画像処理ボードにより YUV カラー画像として取り込む．それらの画像を YRT 画像に変換して 2値化し，ノイズ除去手法である収縮・膨張処理によりノイズを除去する．なお，500lx の明るさの室内環境においてレーザーポインタの光点を誤認識なく閾値処理により抽出

LED-line
150mm

Laser spot
320mm

Fig.5

Stopping mode

ロボットを停止させた状態から再びロボットを動作させる場合は，図 6 のようにロボット前方床面の長方形のエリア内に操作者がレーザーの光点が入るように首振り指示を行う．そしてレーザーの光点がこの長方形のエリア内に照−2−LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)
射されたことをシステムが認識したとき，停止モードから追従モードへ切り替わる．以降はロボットがレーザーの光点に追従して動作する．
Robot

xk = [ X kX kYkYk ]T

そして，時刻 k + 1 のときの状態変数 xk +1 は以下のように定めた．
xk +1 = Fk xk + wk(1)

ここで，F は状態遷移行列，wk はシステムノイズである．
レーザー光点の動きは等速直線運動として表現した．また，観測値 yk を以下のように定義した．
yk = [ x(k ), y (k )]LED-line

そして，観測方程式を次式のように定めた．
yk +1 = H k xk + vk

Laser spot
300mm
320mm

Fig.6

Rectangle-area for switch
to following mode

Switch to following mode

3-2 自律移動モードの導入
ここでは，操作者が目標点のみを指示し，その場所へロボットが現在の場所から自律的に移動するという自律移動モードを導入する．操作者は，図 7 に示すように，ロボッ
ト前面のパネルに新しく配置した枠内に T1 秒間レーザーの光点を照射することにより，ロボットのモードは自律移動モードに移行する．

デルにカルマンフィルタを適用した．
4-2 カルマンフィルタ有効性の確認
以下にレーザー光点の認識におけるカルマンフィルタの有効性を確認するため，CCD カメラを用いて実験を行った．
図 8 のようにカメラから 3000mm 離れた点を原点として，原点から x 軸に添って 500mm 離れた点を点 A,B とする．
点 A,B 間においてレーザー光点を定点移動させたときの測定値とカルマンフィルタを用いて得られた一時刻先の推定値の関係(x 座標のみ)を図 9 に示す．
A(-500,0)

Robot

310mm
130mm(2)

ここで， H は観測行列， vk は観測ノイズである．上記のモO(0,0)

B(500,0)Laser spot

Rectangle-area forswitch to autonomous
motion mode

Laser spotyLED-line

Fig.7

Fig.8

Switch to autonomous motion mode

自律移動モード移行後は，操作者がロボットの望ましい目標点へレーザ光点をある一定の時間照射し続けると，システムはロボットへ目標点が指示されたものと認識し，現在位置から目標点まで自律的になめらかな軌道のもと移動を行う．

4-1 カルマンフィルタアルゴリズム
時刻 k におけるレーザーポインタの位置を X k , Yk ，速度を X k , Yk とし，状態変数 xk を以下のように定義した．

CCD-camera

The positional relationship between
the CCD-camera and the laser spotmeasure value
estimate value

500
Position [mm]4. カルマンフィルタの導入
追従モードでロボットを操作する際，指示者とレーザー光点の間を移動障害物が横切る場合，あるいは路面の状況により画像処理で光点の候補が複数生じてしまう場合等，ステレオカメラによりレーザー光点の正しい座標値を得ることが難しい場合が考えられる．このとき，指示点のデータが欠落する，あるいは誤った値となってしまうため本来ロボットに与えられる運動軌道とは異なるものが生じてしまう可能性がある．そのような場合，レーザー光点の運動をモデルで表現し，カルマンフィルタを用いて光点の運動を推定して誤認識を修正することを試みる．

(0,3000)
x0-5000Fig.912
Time [s]3Experimental data of kalman filter

この結果より，一時刻先のデータを実測値との誤差9pixel 以内の範囲で予測できることが確認された．なお，今回実験に使用したカメラでは 3000mm 離れた平面において 9pixel は約 58mm に相当する．
レーザー光点が認識しづらい環境において，何サンプリングかに一回座標値が得られない場合にはカルマンフィルタを用いることで得られた推定値を利用することにより，−3−LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)

得られなかった座標値の補完ができることが期待できる．
5. 結言
本稿ではロボットへの指示点として用いるレーザーポイ
ンタの光点の認識に関しての問題点に対して以下のように改善を試みる．
・ロボットの動作範囲の限界である環境用カメラの死角を減らし，環境用カメラから遠い位置にあるレーザー光点を間近に捉えることができるように，ロボット上にカメラを搭載したシステムを提案した．
・レーザーポインタの光点が認識しづらく座標値が得られない場合には，カルマンフィルタの推定値を用いて座標値を補完する方法を提案した．
これらのシステムを実装することでロボットの動作範囲の拡大，レーザー光点が認識しづらい環境でも与えた指示に近いロボットの動作が可能になることが期待できる．
6. 謝辞
本研究は，科学研究費補助金（基盤研究 C，No.23500653）の助成を受けて行われた．
参考文献(1) 藤江正克，福祉機器研究開発の動向と将来，日本ロボット学会誌，vol. 21，no.4，pp.336-339，2003.
(2) 相澤伸，小菅一弘，生活支援ロボットシステム-MARY－第2報：複数作業への対応－，日本機械学会ロボティ
クス・メカトロニクス講演会’03講演論文集，
1A1-2F-D8，2003.
(3) 石井雅人，増田良介，箸操作機構を用いた食事支援ロボットの設計，日本機械学会ロボティクス・メカトロニクス講演会’03講演論文集，1A1-2F-C6 ，2003.
(4) 伊野智行，松本吉央，今井正和，小笠原司，顔と視線方向による電動車椅子の走行支援，第18回日本ロボット学会学術講演会予稿集，pp.405-406，2000.
(5) 柴田論，山本智規，神代充，指先指示運動に協調するロボットシステムに関する一考察，日本福祉工学会，
vol.11，no.2，pp.30-36，2009.
(6) 高橋伸寿，中沢洋介，梅田和昇，レーザポインタを用いたホームロボット操作システムの構築，日本機械学会ロボティクス・メカトロニクス講演会02講演論文集，
2P1-K03，2002.
(7) Design of Acceptable Handing Motion of an Arm-robot
Utilizing the “Kansei” Transfer Function, Satoru Shibata
and Tomonori Yamamoto, Trans. of the Society of
Instrument and Control Engineers, vol. 43, No.11 ,pp.946-954, 2007.

−4−