ヘッドマウンテドカメラを用いた指示者の注目点と手振りによる指示を組み合わせたヒューマンインタフェース◯進戸 健太郎 西川 敦 宮崎 文夫
大阪大学大学院 基礎工学研究科 システム人間系専攻

1

はじめに
Head-Mounted Camera

本報告では，操作対象の移動ロボットに設置したマーカと，指示者の手振りをその頭部に取りつけたヘッドマウンテドカメラ（HMC）により観測することで，操作者の注目点と指示内容を汲み取るためのヒューマンインタフェースを提案する．

Operator

1.1

システム概要指示者は，頭部にカメラを装着し，床面上を走行するロボットに対して，顔の姿勢による注目点と手振りを合わせた指示を行うことを想定する．カメラ（頭部）とロボットの相対的な姿勢の違いとジェスチャから，ロボッ
トに対しAction!

Point of Interest

GestureFloor• 目標地点への移動• ロボットの姿勢の変化（回転）

Robot

(a)

(c)

(b)

(d)などの指示を与える．ロボットへ伝達される情報は• 頭部の位置/姿勢を表すカメラ映像内の固定点 (画像中心) に対応する床平面上の位置（注目点）• 手先によって指し示される床面上の点（指示点）• 手先の動きによって与えられるジェスチャ（内容）を利用して生成される．
カメラは，頭部のカメラのみとし，ロボットは人間との相対的な位置関係を基準に誘導される．扱いとしては，人間を主体とした遠隔操作によるエンドエフェクタのようなものとなる（図 1）．

1.2

システム構成1.2.1

ハードウェア構成

本インタフェースの入力処理部は，標準的な IBM-PC互換アーキテクチャのコンピュータにビデオキャプチャデバイスを装備したものである．入力装置である HMCは，側頭部左側に固定する．このカメラの水平画角は約60 度である．操作対象となるロボットへの制御コマンド送信はシリアルポートを経由して行う．

1.2.2

ソフトウェア構成

図 2 に，ソフトウェア構成を示す．本システムは，カメラを通して取得したロボットの画像からカメラの位置/姿勢を計算し，カメラの視界内に指示者の手が映った場合は，手振りの認識処理（図 2 の左側網掛部）に移行す
る．ロボットへのコマンドは，手振りによる指示とカメラの相対的位置/姿勢から計算される注目点の情報とを利用して生成され，送信される．
Human-Interface Using Head–Mounted Camera to
Integrate User’s Points of Interest and Hand Gestures
K. Shinto A. Nishikawa F. Miyazaki
Department of Systems and Human Science,
Graduate School of Engineering Science,
Osaka University

図 1: 指示者の注目点と手振りによる指示を組み合わせたヒューマンインタフェース

Video Input from Camera

N

FOV: Field of View
POI : Point of Interest

Hands in FOVYNHand Tracker

Robot in FOV

Motioninfo.

Y
Pointing Gesture
Recognizer

NHand Moves

Camera Position
Estimator
Position

YGesture Encoder
EncodedGesturescontinue;

Gesture CodeTemplate Data

Converter toOperator’s POI
on Floor

Templates

ActionTarget

Code Recognizer
TCP/IP
Robot Controller

Robot Control Commands

図 2: ソフトウェア構成

LOCAL

2

HMC による注目点の検出

カメラの位置/姿勢計算は，ロボット上部に設置したマーカを観測することで行う．提案手法は，同一平面上に存在する特徴点（マーカ）4 個をとらえたカメラ移動前と移動後のカメラからの 2 次元画像を用いることで，カメラの回転と並進（定数倍の自由度を残す）とマーカの存在する平面の傾きを得る手法 [1] をベースにしている．この手法ではマーカは 4 個必要であり，これにより解候補が 2 つ求まるが，本手法ではノイズ対策のため 5個利用し，解候補は 10 個求まる．カメラ移動前後のマーカの対応付けを容易にするために，1 個のマーカを青色，他のマーカを黄色としている（マーカの対応付けのアルゴリズムの詳細は紙面の都合上割愛する）．これら 2 種類のマーカを HSV 空間での範囲と RGB 空間でのエッジを用いて抽出し (図 1 内 (a),(b) 参照)，手法 [2] でレンズ歪みを補正して，手法 [1] により解候補を 10 個得る．
これらの解候補から正しい解を選択する方法は以下のとおりである．

(i) カメラの初期位置の設定と位置/姿勢の計算 マーカ
平面とカメラ光軸がほぼ垂直になるようにしておき，クラスタ数 2 の k-mean クラスタリングを用いて，解候補を正しいものとそうでないものに分けた上で，正しい解によるマーカ平面の法線ベクタが光軸の方向ベクタに近いことを利用して，正しい解のクラスタを選ぶ．その中で，他の解候補での法線ベクタとの距離の総和が最小となる解を正しい解とする．この解について，初期位置/姿勢でのマーカの画像平面上での座標と法線ベクタとロボット上のマーカに固定した座標系への変換行列を記録する．
(ii) カメラの初期位置からの移動後の計算 各計算ス
テップ毎に得られる解候補の中から，初期位置/姿勢での法線ベクタに最も近い法線ベクタを持つ解を選び，指示者の注目点として画像中心に対応するマーカ平面上の点を計算する．さらに指示者が注目した床面上の点とロボット座標系とのずれを補正するため，床平面に対して，ロボットの高さを考慮した補正を行う．この移動後の位置/姿勢計算は約 20fps で実行可能である．

3

手振り認識

手を用いて表現できる情報のうち，本システムでは対象を指し示すためのポインティングと，ロボットに具体的な指示を与えるための手振りを利用する．
ポインティング 指示者の注目点を検出する方法として，前述の顔の位置/姿勢を用いた方法があるが，それに加えて手を用いて対象を指し示す手段も用意する．カメラは眼球の動きに追随できないので，手を用いたポインティ
ングはより正確に対象を指し示す場合に使用する．ここでは，左眼球近傍にあるカメラ位置は人間にとって比較的意識しやすいことを利用して，カメラから目標地点までの直線上に指先を重ねる事でポインティングを行う．
画像からの指先の検出は，まず面積最大の肌色領域を手であるとし，さらに，カメラから観測される手の領域の上端が人差し指に近いことを利用して行われる（図 1
内 (c),(d) 参照）．こうして検出された指先に対応するマーカ平面上の点は前述の注目点検出 (ii) と同様に求める．
動きに着目した手振り認識 手振りによるジェスチャ認
識には文献 [3] の認識手法を利用する．この手法は，動きから認識に必要な情報を抜き出し，1 次元情報に符号化したうえで，文字列比較をベースとした手法で既知のパターンとの比較を行うものである．
本システムでは手振りの動き情報は，ポインティング

CameraHand Tracking(a)Robot coord.
Image CenterDesignated

(b)
32

11

Go To Designated(c)

3(d)

2

図 3: ロボット誘導の様子

2Follow Head211

Turn Lefttoward Desig.

Turn Righttoward Desig.

図 4: 手振りパターンと同様に求めた指先の動きから得ることとする．

4

実験

手振りによるロボットの誘導実験を行った．ロボットへの指示は，(1) 手振り (2) 手先によるポインティング(3) 手のカメラ視界外への移動という流れで行われる．
ただし，指示の内容により図 3 のようなステップ (2) を必要としない場合がある．
本実験では，ロボットに与えることが可能な指示は次の 5 種類とした: (i) 目標点への移動 (ii) 注目点への連続的な追従 (iii) 目標点の方向を向くためのその場左回転 (iv) 同右回転 (v) 停止．指示は左手で行い，これに合わせて (i)-(iv) にそれぞれ図 4(a)-(d) の手振りを割り当てた．一方，(v) の停止コマンドは，緊急時における使用も考慮し，他の指示とは例外的に，ロボット動作中にカメラ視界内に手が検出されるとただちにロボットへ送信されるようにした．
以下に (i) と (iii) を評価するための実験の結果を示す．立ち位置は，ロボットの前方を x 軸，左方を y 軸方向とする座標系で，(−500, −1000)[mm] であり，指示者の身長は 1750[mm] である．また試行回数は，それぞれ10 回である．
指示点への移動 ロボットの移動目標点が前方 1000[mm]の 点 と な る よ う 指 示 し た ．目 標 点 へ の 到 着 後 に ，そ の 位 置 か ら の 誤 差 を 計 測 し た 結 果 ，平 均 誤 差 は(−19.9, 12.1)[mm] であった．
指示点方向への回転 回転目標を 90[deg] としたその場回転を行うよう，目標位置として，ロボット左方 (y 軸方向)1000[mm] を指示した．この時の角度の誤差は平均5.11[deg] であった．
停止コマンドなどとの併用などにより，ロボットの誘導が十分に可能であると言える．

参考文献[1] 金谷健一：画像理解 —3 次元認識の数理—, 第 4 章,
pp. 89–95, 森北出版 (1990).
[2] Bouguet,
box forJ.-Y.:
CameraMatlab,
MRL

Calibration Tool- Intel Corp.,
http://www.vision.caltech.edu/bouguetj/calib_doc/.

[3] Koara, K., et al.: Gesture Recognition based on 1Dimensional Encoding of Motion Changes, in Proceedings of ICAR2001, pp. 639–644 (2001).