ウェアラブルコンピューティングのための手足を使った状況依存コマンド入力手法
山 本
寺 田

哲

也†1 庄
努 †3,†4 塚

司
本

武†2
昌 彦†3

ウェアラブルコンピューティング環境では従来のコンピューティング環境とは異なり，ユーザは場
所や時間に縛られることなくコンピュータと接することになる，そのため，街で鞄を持っているときに不意に入力を求められるなど従来の方法では入力することが難しい状況が起こりうる．本研究では，
両手両足のジェスチャ入力でメニュー選択等に入力を行う環境を想定し日常生活の様々な状況においても自然で効率的な入力手法を状況に応じて選択するインタフェースを提案する．本研究ではまず予備実験により，両手両足の加速度センサによる入力が状況に応じてどのような特性をもつのかを明らかにし，次の状況の変化を考慮したコマンド入力方法を実現する．評価実験により，コマンド入力方のジェスチャを決定し，歩く，座る，立つの状況で両手が使えないときなどの変化に対応できるようにした．

A Context Aware Gesture Input Method
using Hands and Feet for Wearable Computing
Tetsuya Yamamoto,†1 Takeshi Shoji,†2 Tsutomu Terada †3,†4
and Masahiko Tsukamoto †3
In the wearable computing environment, people handles various information any time andanywhere. This means that conventional input method cannot be used in several situations
such as the situation that the user cannot hold any input device in walking. In order to adapt
to such situations, we propose a method that changes gesture commands according to user
contexts. We employ bracelet-like devices and shoe-like device, which embed accelerometers
to extract the user’s gestures. In this paper, we clarify the characteristics of gestures from theviewpoints of physical and social restrictions, then propose a method for changing gestures
for input considering the characteristics.

1. は じ め に

ピュータとのインタラクションが求められる．しかし，従来の入力方法では入力装置を持ち歩く必要があり，ユーザが常にコンピュータを装着することで日常生入力を行うためには入力装置をポケットから出す必要

活がサポートされるウェアラブルコンピューティングがあるといった問題があった．したがって，ウェアラ

環境に注目が集まっている．ウェアラブルコンピュー

ブルコンピューティング向けの入力方法としては，入ティング環境では従来のコンピューティング環境とは力装置を必要としない，ジェスチャによる入力が有力

異なり，ユーザは場所や時間に縛られることなくコンである．一方，ジェスチャを用いる場合でも，鞄で手ピュータと接することになり，様々な状況下でのコンがふさがっていたり，電車内でつり革を持っている場
合など，ジェスチャに必要な体の部位が利用できない†1 神戸大学大学院自然科学研究科
Graduate School of Science and Technology, Kobe University†2 オムロン株式会社
OMRON Corporation†3 神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University†4 科学技術振興機構さきがけ
PRESTO, Japan Science and Technology Agency場合がある．そこで，本研究では日常生活の様々な状況を考慮しユーザの状況の変化に応じて入力方法を変えることのできる状況依存コマンド入力手法を提案する．提案手法により，その時々に入力に使うことのできる手足を選ぶことができる．
以降，2 章ではセンサを用いた入力インタフェース
についての関連研究について述べる．3 章では想定す情報処理学会 インタラクション 2011

る環境と動作の制約について述べ，4 章ではシステム

しまい，ユーザが望む操作を行えなくなる状況は頻繁の設計と実装について記す．5 章で状況の変化を考慮に生じると考えられる．本研究では，デバイスの装着したコマンド入力手法について検討する．6 章で有効性だけでなくユーザの状況変化も考慮に入れ，動作の性について評価実験を行い，7 章でまとめと今後の課制限に応じたジェスチャと操作の割り当てを行う点で題をについて述べる．

関連研究とは異なる．

2. 関 連 研 究

3. 想 定 環 境

これまで，装着型デバイスを利用したジェスチャ入ウェアラブルコンピューティング環境では場所や時

力インタフェースについて，様々な研究が行われてい間に関わらず常に情報と接することができる．そのた

る．uWave1) では，1 つの 3 軸加速度センサを用いて，め，位置情報や時間に関連したサービスを受けること

携帯デバイスなどでの使用を想定した 8 つのジェスが多くなると考えられ，様々なタイミングで情報が自チャを少ない学習で高精度に認識する手法を提案して動的に提示されると共に簡単な選択肢を求められるこいる．しかし，センサの傾きが容易に変わるなど動きとが想定される（図 1）．このように，メールを書いたに自由度の高い 3 次元ジェスチャの認識は難しく，筆りするような従来通り積極的に情報操作をする場合の者らのシステムではウェアラブルシステムであるため

他に，不意に入力をしなければならない場合が存在す

身体的な制約などを考慮したシンプルなジェスチャをる．積極的に情報操作をする場合は従来からよく使わ

2)

提案している．Junker らの研究

では，ウェアラブれるボタン等の物理的な操作系が正確に速く入力でき

ルな加速度センサを用いて日常生活の人の行動を検出るため向いているが，不意に入力を求められる場合はしモニタリングするための認識手法を提案している．

物理的な操作デバイスを取り出す手間などの問題から実験から腕につけた加速度センサの情報からいくつか

即座に入力することができるジェスチャ入力の方が適の行動を精度よく検出できている．筆者らのシステムしていると考えられる．また，歩いているときや鞄をでは，日常生活の行動を使うのではなく，日常生活に持っていて片手が使えないときのような体の一部分がはないシンプルなジェスチャを見つけて機器に入力す利用できない様々な状況においても素早く入力できる

3)

る方法を提案している．Prekopcsak らの研究では必要があり，ジェスチャではそのような物理的制約を日常生活で手のジェスチャをどのようなポリシーでデ考慮する必要がある．ジェスチャ入力では加速度セン

ザインするかについて議論しており，邪魔にならない

サなどのジェスチャ認識デバイスを装着する必要があような装置で簡単に使えるものが必要であるとしているが，ウェアラブルコンピューティング環境ではライる．しかし，具体的にどのようなジェスチャがよいか

フログや健康管理のために体のあちこちにセンサを着について言及しておらず，筆者らのシステムでは自然けており，それをジェスチャ入力にも活用できる．情さを含めた具体的なジェスチャについて提案している．

報提示デバイスとしては装着型ディスプレイ (HMD:

4)

では，手や指にセンサをつけることで，Head Mounted Display ) を想定しており，画面を他制御する家電を指でさすことで，感覚的な制御を目指

人と共有することはない．大画面や物理的なモノなどしている．筆者らのシステムと同じく自然な入力を求環境を操作するためのジェスチャ入力では，ジェスチャめているが，家電への入力では誰でも変化が確認できにより操作を人に見せることにも意味があり，大きくるのに対して，HMD 内での情報操作では他人には変解りやすいジェスチャが求められるが，HMD に提供化が見ることができないため，より自然な入力が求めされた質問に答えるようなユーザ 1 人だけにしか結果られる．筆者らのシステムでは家電を指差すことはな

が伝わらない操作では，ジェスチャはなるべく目立たいため装置も簡単にし，より小さな動きで入力できるない操作が望ましい．屋外では他人がいることも多く，ようにした．FootStep5) では，ジョギング中に足の大きく目立つジェスチャを日常的に使うことは心理的

ジェスチャを用いて音楽プレイヤを操作する．ジョギにも困難であるため，そのような社会的制約も考慮す

ング中のみ操作について検討しているため，他の日常る必要がある．

Ubi finger

的な状況は考慮されていない．
これまでの研究ではユーザがジェスチャの入力を行

4. ジェスチャの制約

う際の状況の変化を考慮しているものは少ない．一

前章で述べたように，ユーザの状況によって身体は方，日常生活で常時入力インタフェースを利用するに物理的な制約受けるため，ジェスチャに使うことがであたっては，状況によって腕や手の動作が制限されてきる部位が異なる．また，人目のあるところでジェスウェアラブルコンピューティングのための手足を使った状況依存コマンド入力手法

ジェスチャ入力はできないが，通常の歩いている
動きとは異なる動きをすることでジェスチャ入力が可能である．頭部は自由に動かすこができるが，振動が認識に影響を与える可能性があり，正面以外を向くと歩行に対して危険である可能性がある．
歩きながらでは腰でのジェスチャは難しい．
このように，状況によりジェスチャ入力に制約が発
図1

表示画面のイメージ

生する．立っているときから歩きだすような状況の変化だけではなく，ものを持ったり離したりすることで，入力できるジェスチャが変化する．腰に関しては制約チャをすることになるので，派手なジェスチャは使いが多いことが多く，ジェスチャも大きくなると思われにくくジェスチャの見た目による社会的制約が存在するので日常生活でのジェスチャ入力には向いていない

る．装着する場所も日常生活に支障のないようにすべと考えられる．また，ほとんどの場合において，手にきであり，デバイス装着の制約がある．それら日常生

制約ができることが多く，歩いているとき以外には足活でのジェスチャ入力における制約について述べる．

と頭の制約は少ない．

4.1 状況の変化による物理的動作の制約

4.2 動作の社会的制約

ウェアラブルコンピューティングでは日常生活の中日常生活でのジェスチャ入力では，周囲に影響与えでコンピュータを利用することから，ユーザの利用状ないよう小さな動きであることが望ましく，また目立況が様々に変化する．その変化により，ユーザの手やたずに自然に入力できる方が社会的に受け入れられや足の可動に関する制約も変化するため，センサーをつすい．そこで，ジェスチャの自然さについて予備実験

ける部位がどのように制約を受けるか考える必要があを行った．頭，手，足の動きの中で比較的目立たない

る．例として，一般的によくある状態の，座っている

小さなジェスチャに対して，座っているとき，立って状態，立っている状態，歩いている状態についての手，いるとき，歩いているときについて動作の自然さをア

足，頭，腰の動作の制約に関して下記に示す．

ンケート評価した．室内にて本論文の筆頭著者がジェ椅子に座っている状態： 座っている場合は，両手両

スチャを一定間隔で繰り返し，それを被験者が評価し足ともに自由に動かすことができ，細かな動作のた．動きとして気にならない場合は 5，自然ではない認識が可能である．しかし，座っている状態でも，場合は 1 をつけてもらった．表 1 の結果は 20 人によ

煙草を吸っていたり筆記具を持っているときや，る平均値である．被験者は 20 代前半の男性が 19 人，

本を読んでいるときなど，比較的長い間，片手も女性が 1 人であった．結果から，頭による動きは手足

しくは両手が使えない状況がある．状況によってに比べて動作が目立つためか自然さの評価は低い．頭は，ものを持っていてもジェスチャができる場合

は高い位置にあるため周囲の人の視界に入りやすく，とできない場合があり，ものを持っているからと普段頻繁に動かす部位ではないため，繰り返し動かし

いって必ずしもその手をジェスチャに使えないと続けていると違和感を感じる．手では，動作の軌跡がいうわけではない．頭部は自由に動かすことがで最小である手をひねる動作の評価が高い．ひねる動作

きる．腰は座っているため動かすことはできない．

ではほとんど動かないため，目立つことがない．それ立っている状態： 立っている場合も，座っている時に対して，左右に振る動作や上下に動かす動作は評価と同様に両手両足を自由に動かすことができる．

が低い．これらの動作は，普段頻繁に動かす動作では

ただし，足のジェスチャの場合，どちらかの足にないため，繰り返し動かし続けていると違和感を感じ

体重を残す必要があるので，片足ずつしか用いる

る．足では，いずれも足元であるため目立ちにくく評ことができない．また，つり革や鞄や荷物をもっ価が高い．座っているときと立っているときはつま先，ている場合は，片手もしくは両手が使えない状況

かかとを上げる動作とつま先を左右に振る動作の評価になる．頭部と腰は自由に動かすことができる．

が高い．これらは蹴る動作が膝下が動くの比べて，こ歩行中： 何も持っていないときには，両手は自由にれらの動作は足先だけが動くので目立たないと思わ動かすことができるが，歩いているときに生じる

れる．歩いている場合はこれらの動作を行うのが難し振動がジェスチャによっては認識に影響を与える

いが，足を後ろに上げる動作に比べて足を前を蹴る動と予想される．足は常に動いているために細かい作の評価が高い．足を前に蹴る動作は大きめに前に踏情報処理学会 インタラクション 2011

図3
図2

メニューのイメージ

装着図

メール閲覧などの受動的なアプリケーションを想定しみ出しているだけで通常の歩行の動作に近いため，あている．そのため，複雑なポインティング等を行うのまり目立っていないと考えられる．以上より，頭部のではなく，二択もしくは複数の選択肢の中から選ぶよ

ジェスチャーは採用せず，手足の評価の高かったジェ

うな入力か，複雑な操作は階層的に並べたメニューでスチャを採用する．

行えるようなものを想定する．一般的な携帯電話のよ4.3 デバイス装着の制約

うに十時キーがあれば操作できるシステムである．そジェスチャを認識するためのセンサデバイスを身にこで，入力するコマンドは，選択肢を選ぶ「選択」コつける必要があるが，日常的に使う場合にはデバイス

マンドと「決定」「戻る」コマンドがあれば十分となを装着する位置にも気をつける必要がある．動きを正る (図 3)．

確に取得するために固定することになるので，圧迫感

5.2 各部位でのジェスチャを持たせる場所や動くのに邪魔になるような位置につ

加速度センサによる入力には，ある短い動きによるけない方がよい．頭部では，HMD の使用を前提としジェスチャと重力加速度を利用した姿勢による入力のいるために，HMD に着けるのが自然である．また，

2 通りが可能である．姿勢による入力では，センサの帽子や眼鏡，ピアスといった普段から身につけている

角度によって入力をいくつかに割り当てられるので，ものを利用することも考えられる．手では，腕時計や前節の「選択」コマンドに利用する．4.2 節で評価が腕輪といった手首に身につけるものは日常的に着けてよい手足の動かし方を用いて以下のような方法での入いても問題ないため都合がよい．手袋のように手を覆力を実装した．
「選択」では 5 つ以下の選択肢の場合は，うものは常時身につけるには望ましくない．上腕を覆あるジェスチャにおける重力加速度の最大値と最小値

うものは，筋肉の隆起の邪魔になることがある．足での間を選択肢の数だけ分割して直接割り当てる．選択

は，屋外では靴を日常的に身につけており，屋内でも肢が 5 つより多い場合は，傾きが大きい程カーソル移

スリッパを履くことがあるため，靴にデバイスをつけ動が速くなるカーソルを移動させる方式をとる．ここることが考えられる．足首や脛は靴下のようなデバイ

で，両方式の切り替えの閾値が 5 であるのは，ある程スとして装着することができる．膝は外部との接触が度の環境でも正確に指定できる経験上の数値である．

あるため好ましくない．腿は座ったときに邪魔になる「決定」や「戻る」では，短い動きによるジェスチャ

ことがある．

を割り当てた．

5. 入力方式の設計

5.2.1 手 の 入 力
図 4 のような腕をひねるジェスチャは，見た目の動

前章を踏まえて，手足を使ったジェスチャによる入きが小さく加速度の変化が大きい．また，腕のひねり力方法を提案する．手足をつかったジェスチャを認識

は手首をやや水平に近づけることで，重力加速度を利するために装着するデバイスとして，3 軸の加速度セ

用した状態による入力が可能である．また，素早くひンサを靴とリストバンドに取り付けたものを使用する．

ねることで，時計回りと反時計回りの 2 種類のジェス

入力には両手両足の 4 つの部位を使う．図 2 にシステ

チャ入力が可能である．よって，手による入力は下記

ムを装着した様子を示す．

のとおりとした．

5.1 想定するタスク「選択」： 手首を水平近くにしてひねる．

HMD を使って常に画面が目の前に表示されている「決定」「戻る」： 手首を素早くひねる．

場合を想定しており，従来のデスクトップアプリケー「選択」では，手首を水平近くにしてひねることでションを操作するというよりは環境からの情報閲覧や

重力加速度を利用したセンサの角度による入力を行う．

ウェアラブルコンピューティングのための手足を使った状況依存コマンド入力手法
表 1 自然さのアンケート結果
座
頭を横に振る
頭を前後に振る
手首をひねる
手を左右に振る
手を上下に振る
足のつま先，かかとを上げる
足のつま先を左右に振る
足を前へ蹴る
足を後ろに上げる

図5

立

歩

平均

偏差

平均

偏差

平均

2.0
2.8
4.2
3.0
2.6
4.5
3.9
3.1
-

1.076
1.118
0.875
0.795
0.883
0.826
0.852
0.999
-

2.0
1.8
3.9
2.6
2.4
4.3
3.6
3.1
3.0

0.795
1.105
1.021
0.759
0.754
1.02
0.883
0.887
0.816

2.5
1.9
3.9
2.8
2.3
3.6
3.0

偏差
0.998
0.718
0.968
0.786
0.786
1.273
1.257

最大と最小の重力加速度

図 4 手のジェスチャ入力

図 6 足のジェスチャ入力

図7

手の甲と鉛直方向の加速度を使い，図 5 の左と右の状センサと PC

態が重力加速度が最大のときと最小のときであるので，これら値の間を任意の数で区切ることで離散的な値のの値を任意の数で区切ることで離散的な値の入力を行

入力を行い，手の甲が横を向いているときが標準の形

う．静止時の「決定」「戻る」はつま先を素早く横にとなり「選択」カーソルは止まっている．
「決定」「戻振ることで，つま先を動かす方向の加速度が動き始める」では腕を素早くひねり，手の回転させる方向に重と終わりの加速度の差がある閾値以上になったときに力が発生し動き始めと終わりの加速度の差がある閾値

なったかどうかで判断する．また，そのときのピーク

以上になったかどうかで判断する．また，そのときのの出方で右向きか左向きかを判断する．右に振ったとピークの出方で時計回りか半時計回りを判断する．

きを「決定」，左に振ったときを「戻る」とした．歩5.2.2 足 の 入 力

行中の軽く前へ蹴る動作はテンプレートマッチングを

つま先を横に振るジェスチャが動作が小さく入力で用いた．あらかじめ用意した前へ蹴るデータとリアル

きる．また，つま先を上げたり，かかとを上げたりす

タイムの加速度のデータ，静止時のデータとの類似度ることにより重力加速度を利用したセンサの角度によを比較し，リアルタイムの加速度データの方が近けれる入力が可能である（図 6）．しかし，歩いているとき

ばジェスチャとして認識する．右足を前へ蹴る動作をにはセンサの傾きを利用することは困難であるため，「決定」，左足の前へ蹴る動作を「戻る」とした．

自動で選択肢が一定のテンポで動くなどの工夫が必要

5.3 各状況でのジェスチャ入力の認識精度と時間である．歩いているときは「決定」「戻る」に前に蹴前節で述べたように手足を用いて入力を行えるが，る動作を使うことができる．よって，足による入力は状況に応じて入力に適した部位が異なると考えられる

下記のとおりとした．

ため，認識精度と入力にかかる時間に基づいて，各状「選択」（静止時）： つま先を上げる，かかとを上況に置ける操作部位の有効性を調べた．

げる．
「決定」「戻る」（静止時）： つま先を横に振る．
「決定」「戻る」（歩行時）： 軽く前に蹴る．

5.3.1 システムの実装
腕輪型デバイスと靴型デバイスの両方に筆者らの研究グループで開発した無線加速度線センサデバイスの「選択」をつま先の方向で重力加速度を利用したセMoCoMi-Chip6) を使用した．MoCoMi-Chip の大き

ンサの角度による入力をおこなう．足の前後方向の加さは 20 × 20 × 3.9mm で通信規格は Nordic Shock-

速度をつかい，足を地面に置いているときが標準の値

Burst である． 腕輪型デバイスでは，手の甲の側にとなり，つま先を上げたとき，かかとを上げたときが

MoCoMi-Chip を取り付け，靴型デバイスでは靴のつ

重力加速度が最大と最小となる．手の場合と同様にこま先の上に取り付けた．両手両足の 4 つの加速度セン

情報処理学会 インタラクション 2011
表2

座っている時の結果

表3

歩いている時の結果

選択・決定

正解率 (%)

平均時間 (s)選択・決定

正解率 (%)

時間 (s)

右手・右手
右手・左手
右手・右足
右手・左足
左手・右手
左手・左手
左手・右足
左手・左足
右足・右手
左足・右手

91.6
94
94.7
93.7
95.7
92
97
94
96
96

1.4
1.18
1.25
1.32
1.13
1.36
1.25
1.21
1.74
1.71

右手・右手
右手・左手
右手・右足
右手・左足

87
87.6
85.6
86.6

83.3
64
84.8
84.5

表4

F モード
L モード
R モード
LR モード座っているときの入力モード

左足

右足

左手

右手

選択
-

決定・戻る
決定・戻る
決定・戻る
-

選択
選択

選択
決定・戻る

サのデータを 50Hz でサンプリングし，PC で受信し認識を行う．HMD には scalar の Teleglass T3 およ択」では聞き手が良いという特徴から「決定」だけをび島津製作所の DATA GLASS 3/A を用いた．PC に変化させた組み合わせでの実験を行った．

は SONY 社の vaio type-U を用いて腰に装着している．システムのハードウェア外観を図 7 に示す．

「選択」でランダムにでてくる数字と同じ数字に合わせて，「決定」のジェスチャで決定する．これを 50 回

5.3.2 座っている時

連続で行ったときの正解率と時間を評価する．被験者

両手両足のどのジェスチャを使うか決定するために，は 20 代前半の男性 4 人で，全員利き手は右手であっ「選択」と「決定」を両手両足のそれぞれに割り当てた．よく練習してもらった後に実験を行った．表 3 にた組み合わせによるジェスチャの認識精度と入力時間結果を示す．正解率はどれもあまりかわらず，座ってを調べた．
「選択」では加速度センサの値を 5 段階に分いるときにくらべてやや低い値となっている．時間もけており，腕の角度で 1〜5 までの数字を選ぶことが全体的に長くかかっており，足よりも左右の手を使うでき，それをランダムにでてくる数字と同じ数字に合ときが 1 番速く入力できる．

わせて，「決定」のジェスチャで決定する．これを座っ

5.4 状況の変化を考慮したコマンド入力手法ている時に 50 回連続で行ったときの正解率と時間を足よりも手を使う方が良いことがわかったが，状況評価する．被験者は 20 代前半の男性 5 人で，全員利の変化によっては両手を使えるとはかぎらない．そこき手は右手であった．よく練習してもらった後に実験で，「選択」と「決定」「戻る」に使う部位について適を行った．表 2 に結果を示す．時間は１回あたりの平宜切り替えて入力を行えるようにする．
「決定」と「選均時間である．正解率は 9 割を超えており，どの組み択」に使う部位のセットをモードと呼び，座っている

合わせも入力が困難ではない．
「選択」と「決定」が同とき，立っているとき，歩いているときのモードを前じ手である場合は正解率，時間共にやや正解率が低く節の結果を踏まえて以下のように決定し，状況に応じ時間がかかっている．右手と右足を「決定」に使ってて変化させることのできる入力方法を提案する．

いるときには，左手や左足が決定のときに比べてやや5.4.1 座っている時

正解率が高い．これは利き手が影響しているものと考座っている時に使う部位の変化を表 4 に示す．足だ

えられる．時間は「決定」に足を使うときに比べて，けを使う F モードでは，左足で選択を行い右足のつま

右手・左手又は左手・右手の組合わせが速く入力でき先を右に振るジェスチャで決定，右足のつま先を左にている．選択に足を使うと手を使うときに比べて時間振るジェスチャで戻るを入力する．右に振るのは，携がかかっている．よって，以下のような特徴がある．

帯電話や普段のファイル操作等の階層構造では決定は• 「選択」と「決定」は別のデバイスが良い．

右側に進むイメージがあるためである．左手が使える• 「選択」と「決定」は手を使う方が良い．

L モードでは，選択は足よりも手の方が速いので，左• 「決定」は利き手の方が良い．

手を選択とする．右手が使える R モードでは，右手5.3.3 歩いている時を選択とする．両手が使える LR モードでは，決定が同様に，歩いているときのジェスチャ入力にてつい

利き手の方がよいという結果から右手を決定とし，左て，それぞれのジェスチャの認識精度と時間を調べた．

手を選択にする．

足は常に動いているため，重力加速度の状態を利用し5.4.2 立っている時た「選択」はできない．また，前節の結果の手の「選立っている時に使う部位の変化を表 5 に示す．立っ

ウェアラブルコンピューティングのための手足を使った状況依存コマンド入力手法
表5

立っているときの入力モード

る．通常は入力しない状態であるため，誤検出により

左足

右足

左手

右手

入力可能な状態になることがある．筆者が所属する大

-

選択・決定
決定・戻る
決定・戻る
-

選択
選択

選択
決定・戻る

学の研究室内において通常の生活中に，どの程度の誤

F モード
L モード
R モード
LR モード検出があるかを測定した．実験は 1 回 2 時間を 4 回，
計 8 行った．ただし，座っているとき立っている時のコマンド同じであるが，歩いているときのコマンドが表 6 歩いてるときの入力モード

F モード
L モード
R モード
LR モード違うため，4 歩の歩行で歩いている状態と認識し，歩

左足

右足

左手

右手

戻る
戻る
戻る
-

決定
決定
決定
-

選択
選択

選択
決定・戻る

いているときのコマンドが使えるようにした．また，

2 秒の静止で立っている状態と認識する．
その結果，以下のような誤検出を確認した．

• 座っているときに，貧乏揺すりのように右足を数回足踏みする動作により， 右足のつま先を左右に振るジェスチャが 3 回検ているときの場合は座っているときとは異なり，足によるジェスチャはどちらかの足に体重をかける必要があるために，左足と右足を同時にジェスチャ入力することが困難である．そこで，F モードでは右足だけを使って入力を行う．

5.4.3 歩いているとき歩いている時に使う部位の変化を表 6 に示す．歩いているときには足だけでは選択にあたる動作ができないので，F モードでは時間により自動的に選択肢を動出された.

• 団扇を扇ぐ動作により．右手を時計回り，反時計回りに素早くひねるジェスチャが 3 回検出された．

• ドアの鍵を開ける動作により．右手を時計回り，反時計回りに素早くひねるジェスチャが 2 回検出された．

• 走る動作により，右足を前にけるジェスチャが 5 回誤検出された．

• ボールを投げる動作により．右足を前にけるジェスチャが 2 回誤検出された．

かすようにする．右足で前に蹴る動作を「決定」，左座っている時の足踏みの衝撃は右か左に振った動作に足で前に蹴る動作を「戻る」にする．左手が使える L

近くなるため，繰り返すと誤検出する．これは，他のモードでは左手を「選択」とし，右手が使える R モー

軸の動きから衝撃であるという認識をおこなうことでドでは右手を「選択」とする．両手が使える LR モー

回避できると考えられる．団扇で扇ぐでは，定常的にドでは，左手を選択右手を決定とする．

左右にひねったジェスチャが確認できるので，ある時5.4.4 モードの切り替えのコマンド

間以上繰り返す場合は検出をキャンセルすることによ

それぞれの状況の入力モードから別の入力モードへり回避できる．ドアの鍵を開けるでは，鍵をさしてひとコマンドにより使う部位を適宜切り替えて入力をおねり，それを戻して抜くタイプのものに誤検出される．

こなう．ただし，それぞれの状態で切り替え方法がば

これをシステムで回避することは難しいが，ひねってらばらであれば覚えることが難しいため，以下のよう戻すときのタイミングを少し遅らせることで認識されに統一した．はじめは入力するデバイスが決まっておなくなる．走る場合，前後の加速度が普段より大きくらず，使うことのできるデバイスを明示的に示しモー

なり前に蹴ると誤検出される．これも，左右交互に定ドを切り替える．また，左足を使うことで入力終了へ常的に走る加速度が確認できるため，右足，左足の順と遷移させる．普段は入力しない状態になっており，に前へ蹴るジェスチャが検出された場合は走っている

入力したいときに各モードへ切り替える．

状態として，コマンド認識を受け付けないようにする．

左手が使える：

左手を時計回り，反時計回りに素早くひねる．

野球のピッチャーのようボールを投げる場合は，右足右手が使える：

右手を時計回り，反時計回りに素早くひねる．

を後ろに大きく振り上げるときの動きが足のコマンド

足が使える：

右足のつま先を左右に振る（歩行時は右足を前にける）．

に誤入力された．このときは遊びのキャッチボールで左足のつま先を左右に振る（歩行時は左足を前にけるあったが，このように，スポーツ中など絶対に入力を入力終了：を繰り返す）．

6. 評 価 実 験
6.1 日常生活での誤検出行なわないようなときが存在するため，HOLD ボタ
ンのような物理的スイッチがあるとよいと考えられる．

6.2 モード切り替えの有効性
前章で提案したモード切り替えの有効性について評

日常生活では様々な活動をしており，5.4.4 節でのコ

価するために，ジェスチャを固定したときとの入力速

マンド入力が意図しないときに検出される可能性があ度の比較を行った．座っていてるときに，以下の条件

情報処理学会 インタラクション 2011
表7

入力の平均時間

7. まとめと今後の課題
両手で持つ (s)片手で持つ (s)無し (s)

4.3
2.8
3.3

4.5
2.2
-

2.4
-

両手で入力
片手片足で入力
足だけで入力本研究では，入力デバイスには加速度センサの組み込まれた腕輪型デバイスと靴型デバイスを用いて両手両足でのジェスチャ入力方法を提案した．提案手法は座っているとき，立っているとき，歩いているときなで，20 秒に一度，ランダムに出現する 1 から 5 まで

どユーザが状況の変化に応じて入力方法を変える機能の数字にあわせて数字を「選択」「決定」し，数字をを持つため，実世界においてユーザの状況が頻繁に変えらぶまでの時間を計測した．

化するような場合でも効率よく入力が行える．評価実• 両手で本を読んでいるときに，本を置いて両手で入力する．

験の結果，ジェスチャの切り替えにより，切り替えの• 両手で本を読んでいるときに，本を置いて片手片足で入力する．

ない場合に比べて素早く入力できることがわかった．

• 両手で本を読んでいるときに，本を持ちながら両足で入力する．

謝辞 本研究の一部は，科学技術振興機構戦略的創• 片手で本を読んでいるときに，本を置いて両手で入力する．

造研究推進事業 (さきがけ) および文部科学省科学研• 片手で本を読んでいるときに，本を持ちながら片手片足で入力

究費補助金基盤基盤 (A)(20240007)，特 定領域研究(21013034) の支援によるものである．ここに記してする．

• 本を持たずに，両手で入力する．
被験者は 20 代前半の男性 5 人であり，それぞれの条件を 5 分間ずつ計 30 分間実験してもらい，その入力までの時間の平均値を表 7 に示す．モードを切り替
えて入力する場合は，両手で本を持っているときは足だけで入力，片手のときは片手片足で入力，本を持っていないときは両手入力もしくは片手片足で入力を遷移することとなる．本を置かずにすむのでスムーズに入力でき，本を置く場合よりも素早く入力ができる．
両手で入力に固定されている場合は，何も持っていな
い場合は入力は速いが，本を両手で持っていても片手でも持っていても置かなくては入力できず，足だけ入力する場合よりも時間がかかる．片手片足だけで入力の場合は，両手で読んでいる場合は本を置かなくてはいけないが入力速度は足だけの入力のときより速い．
今回は軽い本であったが，しおりを挟んだり丁寧に置こうとすると足だけの入力のときより時間がかかることが起こりうる．足だけで入力の場合は，どの場合でも入力が可能であるが，明らかに手を使った方が速い
ので，やはり切り替えるメリットがあると考えられる．

6.3 議

論

モード切り替えのコマンドを使って実際に入力を切り替えてもらう実験を 3 人に試してもらった．いずれの被験者からもモード切り替えの機能は便利だと感じてもらえた．また，手を左右に振る動作や足を左右に振る動作には癖のようなものがあり，30 分程度の練習でうまく認識できるようになったが，左右に振るタイ
ミングに慣れが必要であった．また，歩行中の足を前に蹴る動作は，被験者それぞれの特徴があるため，それぞれの動きをあらかじめ登録して認識をおこなった．

謝意を表す．

参 考

文献1) J. Liua, L. Zhonga, J. Wickramasuriyab andV. Vasudevanb :uWave: Accelerometer-based
personalized gesture recognition and its applications, Pervasive and Mobile Computing, Volume 5, Issue 6, pp.657-675,2009.
2) H. Junkera, O. Amfta, P. Lukowiczb and G.
Tr?stera : Gesture spotting with body-worn inertial sensors to detect user activities, Pattern
Recognition, Volume 41, Issue 6, pp.2010-2024,
2008.
3) Z. Prekopcsak, P. Halacsy. and C. GasparPapanek: Design and development of an everyday hand gesture interface, MobileHCI ’08:
Proceedings of the 10th international conference on Human computer interaction with mobile devices and services, pp.479 (2008).
4) 塚田浩二， 安村通晃 ：Ubi-Finger: モバイル指向ジェスチャ入力デバイスの研究, 情報処理学会
論文誌, Vol.43, No.12, pp.3675-3684 (2002).
5) 山本哲也，寺田 努，塚本昌彦，義久智樹 ：ジョ
ギング時における情報機器利用のための足ステッ
プ入力方式, 情報処理学会論文誌 vol.50 No.12
1-8(2009).
6) K. Kodama , N. Fujita, Y. Yanagisawa, T.
Terada, M. Tsukamoto:A rule-based acceleration data processing engine for small sensor node, Proc, of the 3rd international workshop on Middleware for sensor networks, pp.
1-6,2008.