手の移動方向と回転ジェスチャを用いたインタラクション手法
卓†中 村高橋伸†

田中二郎†

Interaction Technique using Direction of Hand Movement and Rotate Gesture
Takashi Nakamura,† Shin Takahashi† and Jiro Tanaka†

1. は じ め に
液晶ディスプレイの大型化やプロジェクタの利用した大画面が広く普及し，より様々な場所で画面とインタラクションを行う機会が増えてきた．大画面環境では，画面全体を把握しながら操作するために，図 1 のように画面から離れた場所から操作する必要がある．
画面から離れた場所から操作するための手法にハンドジェスチャを利用がある1),2),5) ．しかし，これらの手法の多くは，多くの種類のジェスチャを利用するため，インタラクション手法が複雑である．また，ジェスチャを認識するために複雑なシステムが必要になるため，設備なども大がかりになりやすい．

図 1 離れた場所からの大画面の操作

これらの問題を解決するための手法にメニュー操作と組み合わせたインタラクション手法がある4) ．ハン

た，軌跡による手法では，手ぶれによる影響は軽減でドジェスチャとメニュー操作を組み合わせることで，きたが，軌跡の描き方が個人によって異なるため，個少ない種類のジェスチャで様々な操作を行うことが出

人毎にパターンを用意しなければならないなど，認識来るため，操作も簡単になり，利用者にとって使いや精度の面で問題があった．

すいインタフェースを設計することが可能である．
3)

我々も，以前に手の動きと FlowMenu

本研究では，これらの問題を解決するために，手のを組み合わ動いた方向や，手を回すように動かすジェスチャを利せた手法を 2 種類作成してきた．ひとつは，手の位置用してメニュー操作を行うインタラクション手法を提と FlowMenu の各メニューを 1 対 1 対応させて操作案する．メニューインタフェースについては，利用す7)

する位置ベースによる手法 ，もうひとつは，Flow-るジェスチャに合わせて新たに作成した．本手法では，Menu の操作時に描かれる軌跡に着目し，手の動きに大まかな方向や回転を用いるため，位置やパターン認

よって描かれた軌跡をパターンマッチングして，その識による手法と比べて正確な位置を必要としないため，

8)

結果に応じて操作を行う手法である ．しかし，位置手ぶれや個人差による影響を受けにくく，よりロバスベースによる操作手法では，手ぶれなどの影響で意図トな認識を行うことが出来る．また，操作の開始地点しないメニューを選択したり，手の位置関係に常に注と終了地点を同じ場所にすることで，メニューの連続意を払わなければならないなどの問題が発生した．ま操作をスムーズに行うことが出来る．

† 筑波大学システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, University ofTsukuba

情報処理学会 インタラクション 2010であるため，連続でメニュー操作を行うことも容易である．値の変更についても，手を回すような操作にすることで連続的に値を増減させることができる．
本手法では，図 2 のような手の動きによってできる2 種類のジェスチャを利用した．ひとつは，ある方向に手を動かす (図 2 の左図) というジェスチャである．
手の動いた方向を判断し，その方向に応じたメニュー
図2

手の動きを利用したジェスチャ（左：ある方向に手を動かす
右：手の動きによる回転運動）を展開したり，最終的なメニューの決定を行う．手の移動方向については，上下左右と斜めの全 8 方向で判断する．もうひとつのジェスチャは，ある地点から手を円を描くように動かすことでできる回転運動である (図 2 の右図)．この回転運動の際の回転角 (θ) を利用して，メニューをスクロールさせて，選択するメニューを決定したり，画面のスクロールや音量などのパラメータ値の変更などを行う．

2.2 メニューインタフェース
本研究では，手の動きを利用してメニュー操作を行
図 3 左：メニューインタフェースの概観 (初期状態)
右：右上方向のサブメニューを中心に展開した状態

うために，図 3 のようなメニューインタフェースを作成した．このメニューインタフェースでは，初期状態
では方向毎に対応したメニューの一部が表示されている．初期状態は図 3 の左図のように方向とそれに対

2. 手の移動方向と回転ジェスチャによるメニュー操作手法

応したメニューが矢印とラベルを用いて表示されてい2.1 操作の流れ

図のようにその方向に対応したサブメニューを中心とる．手が動いてメニューが展開された場合，図 3 の右メニューの選択については，次のようなの流れで行してメニューが展開される．選択された方向のサブメ

われる．1) 体の中心付近で手をしばらく留める，2) 図

ニューだけでなく，その周囲の方向のサブメニューも2 の左図のように選択したいメニューの方向に手を動同時に展開される．

かす，3) 図 2 の右図のように，メニューをスクロー

2.2.1 メニューの展開ルさせる，4) 手を初期位置に戻してメニューを決定す

手を動かしてある方向のメニューを展開しようとする．メニューについては，1) を行った直後に図 3 のる場合，手の動かし方によって，意図した方向の隣に左図のようなメニューが表示される．また，2) の動作ある方向のメニューを選択してしまうことがある．こを行うことで，図 3 の左図のメニューが消え，その方の誤動作は利用者の認識とシステム側の認識のズレに向に対応したメニューが図 3 の右図のように展開されよって度々起こる．この問題を解決するために，選択る．展開される位置については，手を動かした方向にされた方向にあるサブメニューのみを展開するのではあるメニューのラベル付近を中心にして展開される．

なく，その両隣にある方向のサブメニューも同時に展

また，選択した方向に応じて図 3 の右図の展開方法に開する．図 4 は右上方向を中心に展開した例である．

ついても傾けて配置するなど，展開の向きなどが変化

この例では，上・右上・右の 3 方向のサブメニューする．

を一つのサブメニュー群として扱い，これらのサブメメニュー選択後に画面のスクロールを行う場合や，ニューは図 4 の黒矢印のように連結されている．メ

音量などの値を変化させる場合には，さらに次の操作ニューを展開する場合，手を動かした方向に対応したを行う．4) 手を開始地点から少し移動させた後に図 2

サブメニューを中心にし，かつサブメニュー同士の連の右図のように手を動かす，5) 手を開始値点に戻すこ結関係を維持するような状態で展開される．とで終了する．値の増減については，時計回りに動か各方向のサブメニュー同士は空白のメニューを挟んすことで増加し，反時計回りで減少する．このようなで連結されている．この空白のサブメニューを選択・決操作形態にすることで，一回のメニュー操作であまり定することでメニューのキャンセルを行うことができ，大きく手を動かす必要がなく，また始点と終点が同じキャンセルした場合は，何もせずに初期状態に戻る．

手の移動方向と回転ジェスチャを用いたインタラクション手法

このようにすることで，最初の移動方向を誤った場合でも，一度メニューをキャンセルしてもう一度初めから操作し直すことが減少するため，操作の効率を上げることが可能である．また，誤動作による誤認識にも対応することができる．

図 6 文字入力システム

ンに特化した操作を行うことが出来る．また，「コピー」や「貼り付け」などよく利用する操作をメニューとして割り当てることで，普段行っている作業の補助を行
図4

メニューの展開の例

うなど，様々な場面で利用することができる．
また，Popie6) と組み合わせることで手の動きのみ2.2.2 フィードバックで文字入力を行うことを可能になる．図 6 は実際に操作性を向上させるために，このメニューインタPopie と組み合わせたインタフェースの概観である．

フェース上に 2 種類の視覚的フィードバックを与えて子音のメニューをひとつのグループとすることで，別いる．これらのフィードバックは基本的に手が認識さの子音のサブメニューを選択しても，隣接したサブメれた位置や方向を基に与えられ，メニューの操作状況ニューの子音を選択したい場合であれば，一度初期状に応じて与えるフィードバックを変化させている．

態に戻る必要がないため，効率よく入力を行うことが初期状態時のメニュー選択では，現在動かしている出来る．この文字入力インタフェースでは，入力した方向に最も近い方向のメニューの矢印が動いた距離に子音に対する変換候補を表示する必要があるため，図応じて，図 5 の上図のように黒から赤に変化していく．

6 の左側にリストとして変換候補が表示されているが，手の動いた距離に応じて色が変化するため，利用者は「選択」のメニューを選択・決定後に，先に述べた回矢印がどこまで赤くなったかを見ることで現在の状況

転操作やメニュー選択を行うことによって，変換候補を判断することができる．なお，一定時間動きがないのスクロールや決定 (出力) することができる．

場合には，それまでの動きの軌跡はリセットされ，初期状態に戻る．途中で手を動かす方向を変化させた場

3. 実

装合，変更した方向に合わせてフィードバックも変化す本システムのシステムの構成図は図 7 のようになっる．例えば，右上に動かしている途中で移動方向を変ている．利用者の手の動きを認識するために，利用者更して上方向に動かした場合，上方向に動いているとの正面にウェブカメラを設置する．手の認識と大画面システムが認識した段階で，赤い線は上方向の矢印に上への表示については，全て 1 台の PC のみで処理現れ，元の方向の矢印の色は全て黒に戻る．

を行う．なお，手の認識については，認識精度の向上やリアルタイムでの処理を図るために利用者の指にLED デバイスを装着し，その光を認識することによって行っている．
手の移動方向の認識方法については，現時刻で認識
図 5 手の移動方向に対するフィードバックの変化された点と少し前の時刻に認識された点の 2 点を結ぶことでできるベクトルから判断する．次に，x 軸 (または y 軸) を 0 度としたとき，その軸とベクトルがな

2.3 利 用 例

す角θを計算する．このθの大きさによってどの方向

本手法では，利用するアプリケーションに応じてメに手を動かしているかを判断する．ベクトルの長さがニューの内容を変更することで，そのアプリケーショ一定以上に達した場合は，その直前に判断された方向情報処理学会 インタラクション 2010

参 考

図7

システムの概観のメニューの展開が行われる．
サブメニューのスクロールについては，まず，メニューの展開が行われた際の移動方向の角度を基準角，メニューが展開された時のベクトルの始点を基準点とする．次に，記憶した始点と移動した手の位置から新たにベクトルを作成し，軸とそのベクトルがなす角度を求め，基準角との差分をとる．この差の絶対値が一定値以上であれば，スクロールが行われる．スクロールする方向については，求めた差の正負によって決定する．そして，スクロールが行われた際のベクトルの角度を新たな基準角として更新する．基準点については，更新は行わない．なお，ベクトルを作成した時に，そのベクトルの長さが一定値以下であれば，現在選択状態にあるメニューのコマンドを実行し，初期状態に戻す．

4. ま と め
我々は，手の動きの移動方向や手を回すように動かした際の回転をジェスチャとして利用し，それによるメニュー操作によってインタラクションを行う手法を提案した．本手法を用いることにより，簡単なジェスチャで様々な操作を行うことが出来るため，利用者にとって操作が容易なインタラクション手法となっている．また，一つ一つの操作も容易であり，また誤動作も減少することができる．
今後の課題として，現状ではメニュー操作のみしか行うことが出来ないため，ポインタの移動手法についても検討・実装を行っていく必要がある．また，メニューインタフェースについても，利用者の意図に応じてメニューを自由に決めることができないため，利用者毎に自由にメニューの配置を行えるようにするための枠組みも必要である．

文献1) Bolt, R.A.: “Put-that-there”: Voice and gesture at the graphics interface, SIGGRAPH ’80,pp.262–270 (1980).
2) Dhawale, P., Masoodian, M. and Rogers, B.:
Bare-hand 3D gesture input to interactive systems, CHINZ ’06, New York, NY, USA, ACM,
pp.25–32 (2006).
3) Guimbretière, F., Martin, A. and Winograd,T.: Benefits of merging command selection anddirect manipulation, ACM Trans. Comput.Hum. Interact., Vol. 12, No. 3, pp. 460–476(2005).
4) Lenman, S., Bretzner, L. and Thuresson, B.:Using marking menus to develop command sets
for computer vision based hand gesture interfaces, NordiCHI ’02, New York, NY, USA,ACM, pp.239–242 (2002).
5) Vogel, D. and Balakrishnan, R.: Distant Freehand Pointing and Clicking on Very Large,
High Resolution Displays, UIST’05, pp.33–42(2005).
6) 佐藤大介，志築文太郎，三浦元喜，田中二郎：
Popie：フローメニューに基づく日本語入力手法，情報処理学会論文誌, Vol.47, No.7，pp.2305–2316(2006).
7) 中村 卓，高橋 伸，田中二郎：Hands-Popie：両手の動きを利用した日本語入力手法，第 14 回
インタラクティブシステムとソフトウェアに関するワークショップ，pp.151–152 (2006).
8) 中村 卓，佐藤大介，高橋 伸，志築文太郎，田中二郎：手の軌跡と FlowMenu を組み合わせたインタラクション手法，WISS 2007, pp.181–182(2007).