WISS2007

手の軌跡と FlowMenu を組み合わせたインタラクション手法
An Interaction Technique Using Hand Trajectory and FlowMenu

中村 卓

佐藤 大介

高橋 伸

志築 文太郎

田中二郎∗

Summary. 画面から離れた場所で操作を行う場合，キーボードやマウスが近くにあるとは限らず，仮にあったとしても自然な感じで画面の操作をすることが難しい．そこで，本研究では，そのような環境で利用可能な 手の動きによる軌跡と FlowMenu を組み合わせたインタラクション手法 を提案する．本手法では FlowMenu を操作する際に描かれる軌跡を手の動きで描くことにより，短い軌跡で様々な操作を行うことができる．また，それによって流れるような連続操作も行うことが可能である．さらに，軌跡を検出した際，パターンマッチングを利用して実際の操作を決定するため，精確な軌跡を描く必要はなく，大まかな形の軌跡でも操作を行うことが可能となる．

1

はじめに手のジェスチャを利用して画面を操作することで，マウスやキーボードを利用せずに離れた場所から図 1のように画面全体を把握しながら操作することができる．また，その際に FlowMenu[1] を利用することで，様々なメニュー操作も行うことが可能になる．さらに，Popie[2] を利用することで，離れた場所からでも日本語入力などを行うこともできるようになる．
我々は，以前に手の位置と FlowMenu の各メニ
ューの位置を対応付けることで操作を行うシステムの実装を行った [3]．しかし，そのシステムでは，利用者の手の位置が固定されてしまうなどの制約や手ぶれなどの影響受けやすいといった問題点があったため，利用者への負担が大きかった．
そこで，今回は，それらの問題を解消するために，手を動かした際に描かれる軌跡のパターンマッチングを行い，その結果をメニューの操作に利用するという手法を提案する．この手法では，手の動きによる軌跡が大まかな形が描かれれば操作を行うことが可能である．また，空間上の位置などを気にする必要があまりないため，利用者側への負担も減少させることができる．

2FlowMenu

FlowMenu は元々はペンの軌跡を利用してメニューの操作を行うインタフェースであり，図 2 のような外観を持ち，円周上にメニューが配置されている．操作の全体の流れとしては，図 2 の矢印のよう∗

Copyright is held by the author(s).
Takashi Nakamura, Shin Takahashi, Buntaro Shizuki
and Jiro Tanaka, 筑波大学大学院 システム情報工学研究科 コンピュータサイエンス専攻, Daisuke Sato, 筑波大学
大学院 システム情報工学研究科 コンピュータサイエンス専攻/日本アイ・ビー・エム株式会社 東京基礎研究所

図 1. 利用イメージな軌跡を描き，一つ一つの操作では，図 3 の (1) から (3) のように中心 C から始まり，再び中心 Cに戻るという軌跡を描く．図 2 のような軌跡では，実際には図 3 の (1) から (3) の３つの軌跡を描いていることになる．このように，一つの操作が終了した直後に次の操作に移ることができるため，流れるような操作が可能である．

3手の動きと FlowMenu の組み合わせ

手の動きと FlowMenu を組み合わせることで，文字入力などの様々なメニュー操作を図 1 のように離れた場所からでも容易にに行うことができる．また，FlowMenu で描かれる軌跡を利用しているため，一つ一つの軌跡は短く簡単なものであるので，一つの操作は短時間で行うことが可能である．さらに，FlowMenu の特徴である流れるような連続操作も容易に行うことができる．

3.1

ジェスチャ操作の開始・終了

本研究では，誤動作を防ぐために，手で時計回りに円を描く，または手が一定の場所で一定時間滞留

WISS 2007

図 3. 一つの操作で描かれる軌跡の例
図 2. FlowMenu の外観と連続操作時の軌跡の例

していると判断した場合にジェスチャ操作が開始されるようにした．また，ジェスチャ操作の終了については，ジェスチャ操作時に反時計回りの円を描く，もしくは一定時間手の位置が認識されない場合，ジェスチャ操作を終了する．

4

実装

本研究ではカメラからの画像をもとに手の動きを検出しているため，システム全体としては１台のカメラと PC，ディスプレイから構成される．ユー
ザの正面に USB カメラを設置してユーザの動きを撮影し，その映像を処理することによって手の動きの軌跡を得る．なお，手の動きの検出には Intel 社の OpenCV(Intel Open Source Computer VisionLibrary) を利用した．
手の動きの認識については，現在のところ，指先に LED を装着し，その LED の光を検出することによって行っている．将来的には，LED を利用せずに手の検出を行う予定である．
全体の流れとしては，まず，手を動かす時に描かれる軌跡を特定の条件をもとに区切る．そして，その区切った軌跡と用意されたパターンとのマッチングを行い，その結果をもとに操作を決定する．

4.1

軌跡の区切り方

軌跡の区切り方については，手の動き方から判断する．手がメニューの中心から一定距離以上移動したときに軌跡を描き始める．軌跡の描画の開始点については，一定距離移動する前に手があった地点が開始点となる．そして，軌跡を描き始めてから再びその開始点の付近まで戻ってきたらそこで一つの軌跡を区切り，次の軌跡の描画に移る．

4.2

軌跡のパターンマッチング

軌跡の認識はメニュー操作に利用する軌跡のテンプレートとのパターンマッチングで行われる．ただし，テンプレートとのマッチングを行う前に，得られた軌跡は一定の大きさに正規化する．また，パターンのテンプレートについては，予め収集しておいた軌跡をもとに学習させたデータを一定の大きさに正規化したものを利用する．
パターンマッチングには様々な方法が存在するが，本研究では，DTW(Dynamic Time Warping) とよばれる手法を利用して得られた軌跡と各パターンのテンプレートとの距離を計算する．DTW を用いてすべてのテンプレートとの距離を求めたら，その中で最も短い距離のパターンを採用する．ただし，その際にその距離があまりにも大きい場合にはどのパターンにもマッチングしなかったと判断し，棄却し，操作などは行われない．

5

まとめ

本研究では，手の動きの軌跡と FlowMenu を組み合わせたインタラクション手法を提案した．これにより，ユーザは離れた場所から手の動きのみで画面の操作や連続的にメニュー操作を行うことが可能である．
今後の課題として，現在は手の認識のために LEDを利用しているが，ユーザへの負担を減らすためにLED を利用せずに手の認識を行うことがあげられる．また，描かれた軌跡の認識のアルゴリズムの改善や他の手法との比較なども行っていく予定である．

参考文献[1] F. Guimbretiere and T. Winograd. FlowMenu:
Combining command,text, and data entry. In
UIST2000, pp. 213–216, 2000.
[2] 佐藤 大介, 志築 文太郎, 三浦 元喜, 田中 二郎.
Popie：フローメニューに基づく日本語入力手法.
情報処理学会論文誌, Vol.47, No.7, pp. 2305–2316,2006.
[3] 中村 卓, 高橋 伸, 田中 二郎. Hands-Popie：両手の動きを利用した日本語入力手法. 第 14 回 インタ
ラクティブシステムとソフトウェアに関するワー
クショップ, pp. 151–152, 2006.