ArmKeypad:腕へのタップ入力による機器操作
則枝真†

三橋秀男†

生活の中で機器を利用するシーンは増えてきているが，常に機器を手に持ち，画面を見て操作できる状況にあるとは限らない．そこで我々は，常にユーザ自身と共にある「身体」を機器操作のための操作領域とする UI の開発を行なっている．今回は「ランニング中のミュージックプレーヤ操作」を想定し「腕」をタップすることで操作を行なう ArmKeypad を提案する．ArmKeypad は，腕輪型で携帯性がありながら，操作領域を腕上に拡大可能である．本稿では，腕上のタップ位置の識別手法と入力精度評価について報告する．

ArmKeypad: A New Input Interface by Tapping on User's Arm
SHIN NORIEDA†HIDEO MITSUHASHI†

In this information society, we have a lot of situations to use a device. But we can not always hold the deviceand look at the screen while controlling it. So we propose a new input interface called "ArmKeypad" which cancontrol some devices by tapping on the human's arm anytime. In this instance, we apply this suggestion to thesituation of "Controlling the music player while running exercise." We performed experiments for accuracy
estimate for the prototype of the "ArmKeypad".

1.

はじめに近年，情報端末の小型化や機器間連携の進化に伴い，法と入力精度評価について報告する．

2.

ArmKeypad

機器を利用するシーンの多様化が進んでいる．生活の中本研究で提案する ArmKeypad は，ユーザ自身のでの機器利用を考えると，例えばランニングをしながら「腕」を操作領域に見立て，図 1 に示す腕上の各部位のミュージックプレーヤ操作の様に，常に情報とつなが．．．
り，ながら操作を行なうシーンが多くあり，どんな状況（上腕・前腕上・前腕下）へのタップ動作により入力操でもうまく機器を操作するための UI (User Interface)がま

は「ランニング中のミュージックプレーヤ操作」であり，すます重要になってきている．

各部位へのタップ動作により[曲停止],[曲の再生・一時生活の中で機器を利用する際，常に機器を手に持ち，画面を見て操作できる状況にあるとは限らない．そこで作を行なう入力 UI である．想定するアプリケーション停止],［選曲の送り］といったコマンド操作が可能である．

我々は，常にユーザ自身と共にある「身体」を機器操作のための操作領域とする UI の開発を行なっている 1)．
．．．
今回は，ながら操作の一例として「ランニング中のミュ上腕：［曲停止］ージックプレーヤ操作」を想定し，ユーザ自身の「腕」をタップすることで機器を操作する ArmKeypad を提案

前腕上：［再生・一時停止］

する．

前腕下：
［選曲の送り］

ArmKeypad は，腕上をタップした位置の検出を手首部分の加速度センサのみで行なうことで UI の携帯性を保ちながら操作領域を腕上に拡大することが可能である．
また，操作領域がユーザ本人の身体であることから，触．．．
感覚による入力確認フィードバックがあり，ながら操作検出部のような操作への注意が散漫になりがちなシーンで特に有用である．本稿では，腕上をタップした位置の識別手

図1 ArmKeypad の概略と利用シーン

ArmKeypad は，手首部分での加速度を利用して腕上のタップ位置を識別する，腕輪型の UI システムとなっ† 日本電気株式会社 システム実装研究所
System Jisso Research Labratores, NEC Corporationている．

情報処理学会 インタラクション 2011

従来，機器の操作に身体を利用する UI として，手や加速度センサ腕を動かすパターンを識別するジェスチャ操作 2)や，目や舌などの身体の一部を動かすことによる操作 3) 4)などが提案されている．ArmKeypad も同様に身体を利用する UI であるが，ArmKeypad による入力操作は，腕をタBluetoothＺップするという単純な動作と，入力のコマンドを腕上のＹＸ「位置」に割り当てる簡便な操作作法であることから，ＰＣユーザが操作作法を覚える負担が少なく，ユーザへの操作作法の教示も容易である．また，ユーザが本人の腕をタップする行為自体は，普段の生活においては明示的な
図2 本システムの機器構成動作であるため，通常の生活行動におけるユーザの意図しない動作による機器の誤操作が少ないというメリットがある．
以上から ArmKeypad の特徴をまとめると
 腕輪型で携帯性がありながら，入力操作領域を腕上に拡大可能．
 ユーザ本人の身体への入力であることから，触感覚による入力位置の確認が可能．
 操作作法が簡便であることから，ユーザが操作作法を覚える負担が少ない．
 通常の生活行動において，ユーザの意図しない動作

3.3

ソフトウェア構成

タップ位置識別処理では，2 つの加速度センサによる正規化されたタップ衝撃強度の比から腕上の 3 箇所の部
位へのタップ位置を識別する他，加速度の方向により，タップ動作を行なう手の特定と，掌同士のタップを識別する．図 3 に沿ってタップ位置の識別処理の流れを述べる．
本システムは大きく分けると，加速度センサでのタップ衝撃強度とその方向を抽出する「タップ衝撃抽出」処

よる機器の誤操作が少ない．

理と，正規化されたタップ衝撃強度の比とタップ位置とという 4 点を挙げることができる．の関係をあらかじめデータベースに蓄積しておく「キャ3.

システム構成3.1

システム概要リブレーション」処理と，データベースを利用しタップ衝撃強度とその方向からタップ位置を識別する「タップ位置識別」処理との 3 つで構成される．

本システムでは，両腕上の各部位（上腕・前腕上・前なお，キャリブレーション実行時の操作指示と，タッ腕下）へのタップ位置識別の他，掌へのタップも識別可

プ位置を識別した結果は PC ディスプレイに表示される．

能である．本システムは，検出装置であるハードウェア

全ての処理は Microsoft Visual C++で構成され，Microsoftと，識別処理を行なうソフトウェアとにより構成される．

Windows 上で動作する．

3.2

ハードウェア構成

タップ位置の検出には，両手首の加速度センサSTART

タップ位置(Wireless Technologies 製 3 軸加速度センサ WAA-004)を用いる．加速度データは Bluetooth で PC に送られタップの衝撃は腕を伝達し，両手首のセンサで検出されるが，タップされる側の腕では，タップ位置から手首までの伝達経路長の違いにより検出される衝撃強度が異なる．この検出された衝撃強度とタップ位置とを対応付けること

タップ位置識別プ位置の識別が行なわれる．腕上の 3 箇所の部位を識別するには，タップ入力により生じる衝撃を用いる．タッ

波形抽出

タイマ管理

タップ衝撃抽出

キャリブレーション
データ登録

モード選択

タップ位置識別される衝撃強度で正規化を行なうが，この正規化はタップ以外の動作を入力として誤検出しない利点もある．加速度のサンプリング周波数は 1[kHz]である．

前腕上データベース

情報提示でタップ位置を識別する．またユーザのタップする強度のばらつきを吸収するため，タップする側の手首で検出

上腕END

タップ位置を特定するための閾値は複数回分のキャリブレーションデー
タにより決定図3 本手法の処理フロー

前腕下ArmKeypad:腕へのタップ入力による機器操作

3.3.1

タップ衝撃の抽出

タップ衝撃が検出された時刻を中心に 0.1[s]間の波形を識別用のデータとして用いる．各センサでのタップ衝撃強度は 3 軸の合成加速度の最大振幅を用い，タップ衝撃による加速度の方向も抽出する．なお，タップ衝撃の抽出の前処理である波形抽出処理では，時系列の波形取得の他，両手首の加速度センサデータ値を同期させる処理を行なう．
3.3.2

4.

実験検証及び考察

4.1

タップ位置と衝撃強度の比との関係

データベースに蓄積したタップ衝撃強度の比の分布状態の検証と，閾値判別によるタップ位置の識別の可能性検証を行なう．被験者にタップ位置となる左腕上の 3 箇所の部位を 100 回ずつタップ入力するように指示し，左右の衝撃強度の比を取得した．図 5 は左右の衝撃強度の比の頻度回数の度数分布であり，横軸 0.005 刻みの範囲

キャリブレーション

ユーザのタップする強度のばらつきを考慮し，左右のに含まれる頻度回数を表したものである．

衝撃強度で正規化された値とタップ位置との関係をあら14

かじめデータベースに蓄積する．ここで蓄積するタップ

1210

頻度（回数）

位置とは，腕上の 3 箇所の部位のことである．ユーザの身体的特徴による誤差も考慮し，複数回の試行データを

0左右強度比図5 各部位への衝撃強度の比とその頻度分布の実測値

データベースに蓄積される値は，図 4 に示すような左右強度比とその頻度の関係を表したものになる．
頻度1.61.4

1.2

1.00.80.6

0.4

0.20.0示し，複数回分の正規化された衝撃強度の比とタップ位前腕上62ザに対し画面表示にて腕上の各部位へのタップ入力を指上腕84用いてキャリブレーションを行なう．具体的には，ユー置との関係をデータベースに記録する．

上腕
前腕上
前腕下
上腕-正規分布
前腕上-正規分布
前腕下-正規分布

衝撃強度の比は同じ部位へのタップでほぼ正規分布を示し，分布の分散に対して各タップ位置の平均値間の差は十分に大きいため，衝撃強度の比をタップ位置に対応前腕下付けることが可能である．
4.2本システムの入力精度評価

本システムの有効性を検証するため，4.1 項と同様に作成した頻度分布データをキャリブレーションデータと平均μ図4 正規化された衝撃強度の比とその頻度分布の関係

3.3.3

タップ位置識別

タップ位置の識別は 2 段階で行なう．まず左右どちらの手でタップ動作が行なわれたかを特定し，次にデータベースに蓄積されたデータと検出された衝撃強度の比から腕上 3 箇所の部位の識別を行なう．

して入力正答率を評価する．3 名の被験者に対し，最初に各々キャリブレーション作業を行なわせ，全てのデータを含めた 1 つのキャリブレーションデータを作成する．
次に被験者に対し，画面上にタップの目標位置となる腕上の 3 箇所の部位をランダムに提示し，タップ入力動作を 300 回程度繰り返させた．結果を図 6 に示す．
被験者 3 名の入力正答率は平均で被験者 A：99.4%，B：98.5%，C：92.9％を示した．

タップ動作を行なう手の識別には，左右のセンサのタ100%

ップ動作による加速度の向きを用いる．手の甲側の向き

90%

次に腕上 3 箇所の部位の識別では，タップ位置が前腕下，前腕上，上腕となるに従い，手首の加速度センサからの距離が離れ，衝撃減衰量が大きくなることを利用する．同一部位へのタップによる衝撃強度の比のばらつきはほぼ正規分布となるため，タップ位置の識別は，平均μと標準偏差σの信頼区間を基に上限値と下限値を設け，閾値判別により行なう．

70%

正答率（％）のタップ動作であることが分かる．

10080%

である Z 軸方向加速度の値が正を示す手がタップしている側の手となる．また，両方が正となる時には掌同士

120

8060%
50%

6040%
4030%
20%

頻度（回）

強度比
標準偏差σ

2010%
0%

0
上腕

前腕上前腕下入力位置
各入力位置での正答率

図6 各部位へのタップ入力正答率

入力回数
正答回数
正答率

情報処理学会 インタラクション 20114.3

走行時の入力精度評価

走行時の入力精度である 4.2 項の結果から「ランニンArmKeypad の想定アプリケーションが「ランニンググ中のミュージックプレーヤ操作」としての利用可能性中のミュージックプレーヤ操作」であることから，軽いも十分に示せたといえる．走行時の身体上下によると思走行を行なっている際のタップ入力正答率を評価する．

われる精度低下が見られるものの，振動波形を比較する

長さ７ｍの区間を往復走行中、区間中央に設置されたモと，SN 比としては小さいこと，タップ衝撃と身体上下ニタ上にランダムな操作位置を表示し、被験者 A に指の周波数成分が大きく異なることから，今後精度改善が示位置へのタップ動作を 300 回程度行なわせた．

可能であると考えられる．さらに，通常の生活行動にお（走行のペースは走行距離約 2.3[km]を 23 分 15 秒）けるユーザの意図しない動作よる機器の誤操作可能性の検証として，以下 4 行動時の誤操作の有無を簡易的に行確認なった．この結果，いずれの行動においても誤操作を検出しないことを確認している．
タップ立つ

起きる

屈む

寝る（ｂ）ジャンプ（ａ）立つ／屈む／寝る／起きる

７ｍ

持ち上げる
降りる

図7 走行時におけるタップ入力正答率の評価条件

下ろす

１２ｋｇ
登る

３５ｃｍ

結果を表 1 に示す．平均の入力正答率は 96.6%を示し，５５ｃｍ静止時の入力正答率と比較して 3%程度低下した．

３７ｃｍ（ｄ）階段昇降（ｃ）荷物の上げ下ろし

表1 走行時における各部位へのタップ入力正答率
上腕
前腕上前腕下全体

回数

正答率

静止時正答率

106 回
115 回
104 回
325 回

93.4%
96.5%
100.0%
96.6%

100.0%
98.2%
100.0%
99.4%

図8 生活行動による機器の誤操作可能性検証実験

5.

おわりにArmKeypad というユーザ自身の腕を機器の操作領域として利用する UI を提案した．本 UI により，通常の生活行動の中で常に機器とつながり，いつでも操作がで4.4

考察きる状況が可能となった．その一例である「ランニング静止時の入力精度である 4.1 項の結果から，全ての被中のミュージックプレーヤ操作」を想定し動作を実証し験者について 90%以上の入力正答率を示し，本システた．現在は動作を実現するためにセンサを両腕に装着すムの入力 UI としての利用可能性を確認できた．また，る必要があるが，今後は，片腕装着での位置識別に取り実験条件として，キャリブレーションデータを共有化し組む予定である．て識別に利用したことから，腕の個体差による正答率への影響は少なかったことがわかる．つまり一般的なデータを用意すれば，ユーザは使用時に必ずしもキャリブレーション作業をする必要がないといえる．ただし，被験者Ｃの入力精度に関しては，他被験者より低い値を示し課題もある．原因として，入力領域の境界のあいまい性が考えられる．今回の実験では，腕を 3 つの部位に分割し識別を行なったが，前腕の中では上下に境界となる目印がないこと，上腕に関しては他 2 つと比較して入力領域の範囲が広く目標が定まらないことが入力精度の低下に影響したと考えられる．腕上の領域分割方法については，今後分割の最適数や分割位置の検討が必要である．

参考文献

1) 則枝,村田,仙洞田,三橋:FingerKeypad:指へのタップ入力によるモバイル機器操作;インタラクション
2010 論文集,pp.73-74,(2010).
2) 澤田,橋本:加速度センサを用いたジェスチャー認
識と音楽制御への応用;電子情報通信学会論文誌
VOL.J79-A No.2,pp.452-459,(1996).
3) 真鍋,福本:ヘッドフォンを用いた常時装用視線イ
ンタフェース,インタラクション 2006 論文集,
pp.23-24,(2006).
4) 一ノ瀬,和久本, 本多,東,佐藤:ワイヤレス式舌圧センサを用いたヒューマンインタフェースと電動車椅子の制御への応用;電子情報通信学会論文
誌,Vol.J86-D-II, No.2, 2003.