情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B23
2016/3/2

スモールアクションコントローラ~手首の回帰運動を用いたキーボード入力補助システム~木村智之†	
  松下宗一郎†
四肢障がい者が一般的なキーボードを用いた入力を行う際に，２つ以上のキーを同時に押すショートカットキーの操作を補助する腕時計型ワイヤレス運動センサ応用デバイスの検討を行った．キーボード入力におけるホームポジショ
ンを基準点とした左手の小さな回帰運動を角速度センサにて取得し，角速度の時間積算による回転角度をベースとした信号処理を行ったところ，障がいの程度が異なる被験者に対し安定したモーション認識を行うことができた．

Small Action Controller
TOMOYUKI KIMURA†

SOICHIRO MATSUSHITA†

We propose a wristwatch-like wireless human interface device for personal computers called a 'small action controller' consistingof a 6-axis motion sensor and a low-power microcontroller. The proposed device helps handicapped people, who have difficulties
in forearm movements, to input shortcut keys by using a small alternate rotation of hand while maintaining the home position.

1. は じ め にて，デバイスの使い勝手についての聞き取り調査とともに，
詳細な運動計測を行い，スモールアクションコントローラ	  本研究は，障がいを持つ著者が障がい者としての立場かにおける運動認識アルゴリズムについての検討を行った．

ら，従来のパソコン操作システムに代わるシステムの提案

そして，パソコン操作において実際に使用される頻度が高

ならびに実現を目指したものである．従来のパソコン操作

い４つのショートカットキーを入力するシステムを試作し，ではマウスとキーボードが併用されているが，日常生活に

ワープロソフトによる使い勝手の検証を試みている．

て電動車いすを必要とするような重度な四肢障がい者にとっては，手をキーボードから完全に離してしまうことが大きな問題であった．そこで，本研究では操作及び着脱が容易な手首装着型のデバイスを考え，比較的小さな手の動きをデバイスに搭載されたモーションセンサにより認識し，パソコンへの情報入力を補助するシステムである"スモー
ルアクションコントローラ”の提案を行っている[1] ．
	  認識の対象とする具体的な手の運動については，高い再現性にて行える，できる限り小さな動きが望ましいことに加え，重度の障がい者にとって負担が少ないという視点から，利き腕ではない側の肘ならびに手首を支点とした回転（ひねり）運動を中心に検討を行ってきた．そして，手首の内外へひねり運動，手首から先を身体の外側方向にスラ

図 1	
  腕時計型ワイヤレス運動認識デバイス
Figure 1	 Wristwatch-like wireless motion recognition device

イドさせる運動，手首から先を持ち上げる運動の３種類を候補とし，加速度３軸，角速度３軸からなる６軸モーショ
ンセンサによる運動認識デバイスについて報告を行ってい

2. ス モ ー ル ア ク シ ョ ン コ ン ト ロ ー ラる[2]. ここでは，ゼロ点が安定している角速度センサから

	  図１に本研究にて製作を行った腕時計型デバイスを示す．

の信号の時間積算による回転角度の推定をベースとした認

このデバイスは利用者の利き腕とは反対側の手首に織物テ

識アルゴリズムにより，特定の被験者に対し約 80%の認識ープによって装着するもので，加速度 3 軸（率を確認できているものの，意図しない身体の動きや回転

帯域 50Hz），角速度 3 軸（

2G，周波数

運動のばらつき等による誤認識等により，必ずしも実用的からなる 6 軸運動センサ及び，信号処理と運動認識を行うとは言えないものとなっていた．

小型マイクロコントローラ，2.4GHz ワイヤレス通信モジュ	  そこで本研究では，障がいの程度の異なる被験者についールから構成されている．またデバイスの重量は充電式電250 度／秒, 周波数帯域 50Hz）

池を含めて約 43 グラムであり,一般的なワープロでの文章† 東京工科大学大学院コンピュータサイエンス専攻
Graduate School, Tokyo University of Technology© 2016 Information Processing Society of Japan

入力操作では連続約８時間以上の使用が可能である．

246

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B23
2016/3/2の被験者 A, B, C に，認識の候補となっている６種類の運動を行ってもらうことで，運動信号の計測とともに，身体への負荷についての聞き取り調査を行った．ここで，障がいの程度と，手の運動における身体負荷や動きやすさにおける相関関係は必ずしも明確ではないが，手の自由な運動という視点からは，被験者 B に最も大きな困難があり，次いで被験者 C, 被験者 A の順に困難の度合いが若干低下しているという印象であった．
	  各運動の省略記号とともに実験の結果をまとめたものを表１に示す．ここで，手首を外側に 2 回ひねる O2 につい図 2	
  スモールアクションコントローラの実験風景ては３人の被験者について特に問題が生じていなかった．

Figure 2	
  Experimental Setup for the Small Action Controller

これに対し，手首の内側へのひねり運動 In では全ての被験者が何らかの困難があったことを述べており，重度の四肢	  続いて，図 2 は腕時計型デバイスから送信される認識結障がい者にとっては身体に負担がかかる動きになっている

果をワイヤレスにて受信し，ショートカットキー入力といことが分かった．一方で，ひねり運動における回転量を小ったキーボード入力操作の信号へと変換するデバイスをさくすることや，ひねりを開始する際の身体の姿勢を工夫

USB 経由にて市販のノート PC に接続したシステム全体のすることで，負担がかなり軽減されるとの意見が被験者 C様子を示しており，電動車いすを日常的に使用している利より得られている．また，Sl と Up については被験者毎の用者がパソコン作業を行う際の典型的なセットアップとな運動様態が大きく異なっていることに加え，運動の強弱やっている．ここで，スモールアクションコントローラのシスピードについて迷いがあるとの意見があり，安定した情

ステムを構成している腕時計型デバイスならびに USB 接報入力を行うための運動としては難があることが明らかと

続デバイスについては，市販のノート PC に何らの改変やなった．以上より，本研究では的確な情報入力を行う運動

新たなソフトウエアの導入を行うことなく動作する設計とという視点から O2, O, Ow, In の順に，４種類の運動に関しなっており，簡単にシステムの着脱を行える構成と相まって更に詳細な検討を行っていくこととした．

て，実用的な視点からの有用性を高めている．
表 2	
  手首ひねり運動の積算回転角度
表 1	
  手首運動の候補と運動状況

Table 2

Rotational angle for each motion symbol

Table 1 Motion symbols and comments from 3 subjects
記号

運動内容

運動状況及び被験者のコメント

O

外ひねり

問題なし(A,C), かなり遅い(B)O2

外ひねり２回

特に問題なし(A,B,C)

Ow

弱い外ひねり問題なし(A,B), O と区別難(C)

In

内ひねり

やや難(A, C), 体ごと動く(B)

Sl

外スライド

問題なし(A), 手首ひねり有(B,C)

Up

手首持ち上げやや難(A, B), 手首ひねり有(C)

4. 運 動 認 識 ア ル ゴ リ ズ ム	  運動認識の対象となる手の動きが手首のひねりによる回

3. 障 が い 者 に お け る 手 首 モ ー シ ョ ン の 考 察	  重度の四肢障がい者においては，一般的なキーボードのホームポジションに手指を置いた状態から比較的自由にキー入力操作を行える範囲は最大でもキー１~２個分以内程度である．また，一度ホームポジションから手指が完全に離れてしまうと，都度ホームポジションへ回帰する動作が必要となるが，身体の可動範囲が極めて狭いことから操作における身体への負担が非常に大きくなってしまう．さらには，手の運動方向によっては，運動を行うこと自体が困難である場合が多い．そこで，障がいの程度が異なる３名© 2016 Information Processing Society of Japan

転運動を伴う運動となっていることから，図 1 及び図 2 に示 す x 軸 を 中 心 と し た 回 転 角 速 度 ω x (dps, degree persecond）を時間積算することによって計算した積算回転角度の分析を行うこととした．ここでは，角速度センサのゼ
ロ点が温度変化や経年変化といった要因によって変動することを考慮し， 1dps 以内の角速度が最後に検出された時刻を起点とした角度積算を行っている．表 2 は前出の３名の被験者に対し，O2, O, Ow, In の４種類の運動をそれぞれ１０回ずつ，各自が行いやすいと感じるスピードや運動の大きさにて行った際の角度積算値の平均値と標準偏差を示したものであり，被験者ごとに値にやや大きなばらつきが247

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B23
2016/3/2あることが分かった．また，内ひねり（In）については３

転角度の計算を行う際には，回転に要した時間を併せて計人の被験者ともに外側への自然な回転に対して小さな回転算しており，表 3 の結果から意図的に行われる往復回転運

角度に留まっており，四肢障がい者にとって実行しにくい

動では，各回転運動（左回り及び右回り）に要する時間が動きになっていることが示唆される．一方，弱い外側への概ね 0.2 秒から 1.5 秒の間に分布していることから，この手首ひねりである Ow については，被験者 C については回範囲を超えた回転運動については運動識別の対象外とした．

転の積算角度が小さくなっていないが，実験では回転のス

また，O と O2 の識別では，１つ目の O が行われた後に，ピードが落ちているように見えていた．すなわち，被験者

２つ目の O が継続して行われているかどうかを確認する必C は「弱い外側ひねり」という運動を「ゆっくりした外側

要がある．ここで実験の結果から O2 が入力される場合にひねり」として解釈していた可能性があることから，回転は全ての被験者について最初の O が行われてから 0.2 秒以に要した時間についても運動を識別する際に参照すべきで内に２つ目の O が開始されていたことから，間隔 0.2 秒をあると考えられる．次に，表 3 は各回転運動に要した時間

しきい値として両者の区別を試みた．そして，３名の被験の平均値と標準偏差を示したものであり，被験者 C では外者による運動計測データに対し，数値シミュレーションにへの弱いひねり(Ow)が通常の外ひねり(O)よりも約 50%程

よる運動認識を試みたところ，各 10 回ずつの入力実験に対度長い時間を要する運動となっていることが分かる．一方，

し O では全ての運動が正しく識別されていた．しかしなが被験者 C では O2 の運動にて他の被験者よりもかなり速い

ら，被験者 C における O2 については，回転積算角度が他

スピードにて回転運動を行っていることから，Ow の入力の被験者と比較してかなり小さいことから，Ow として誤ではスピードを緩めることに代えて，回転角度を小さくす認識されるケースが目立った．また， Ow では，主に回転ることで，O との識別をより容易なものとすることができ

積算角の問題から，回転が大きすぎることで O として認識るものと思われる．

されてしまうことが被験者 B 及び被験者 C にて散見された．
	
  以上のように，運動の識別結果が被験者にフィードバッ

表 3	
  手首ひねり運動における回転の所要時間

クされておらず，主観的な判断に頼った手の運動に対するTable 3 Time duration of rotation for each motion symbol

スモールアクションコントローラの運動認識では，正しく認識される確率がそれほど高くはならないことが分かった．
この一方で，回転積算角度と回転運動の時間分布を組み合わせた運動識別アルゴリズムでは，PC への入力を意図していない身体の動きを誤認識しているケースが非常に少なく，回転運動の条件を利用者に事前に伝えることで各運動の識
別確率を大きく改善することを期待できることから，実際にキーボードショートカットを行える状態でのシステムの検討を試みることとした．

表 4 	
  回転運動を認識するルール
Table 4	  Recognition rules for the 4 motion symbols

表 5	
  各運動と対応するショートカットキー
Table 5 Keyboard shortcuts and corresponding motion symbols

記号

シンボルとして識別されるルール

O

積算角 20 度以上の回転運動対が制限時間内に発生

SymbolO2

O の条件の回転が間隔 0.2 秒以内で 2 回連続発生

Ow
In

Corresponding shortcut key

Remarks

O2

Control + Z	  (Undo)most frequent

積算角 10~20 度の回転運動対が制限時間内に発生

In

Control + S(file Save)not so critical

逆周りの回転運動対(5 度以上)が制限時間内に発生

Ow

Control + C(Copy)

not so frequentO

Control + V(Paste)not so frequent	  続いて，手の運動による情報入力を意図していない状況
にて，どの程度の手首回転運動が生じているのかを調べるため，３人の被験者にできる限り自由に一般的なキーボー

5. シ ョ ー ト カ ッ ト キ ー の 割 り 当 てドへの入力動作を行ってもらい，腕時計型デバイスによる	  スモールアクションコントローラによる入力補助では，運動計測を行った．その結果，積算回転角度にて概ね 5 度

どのような入力について障がい者の補助を行うのかが大きを上回るような運動はほとんど検出されず，また回転方向

なポイントとなる．また，PC のアプリケーションソフトにが逆になる回転運動が時間的に近接して生じることは，ほて標準的に実装されているショートカットキーに対応する

ぼ皆無であった．そこで，表 4 に示すようなルールにて手ことで，本研究によるシステムを利用することのできる場

首ひねり運動の識別を試みることとした．ここで，積算回面が増えることから，表 5 に示す組み合わせを考えた．こ© 2016 Information Processing Society of Japan248

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B23
2016/3/2

こで，最も使用頻度が高く，かつ誤入力の影響を大きく受なっていることが分かった．

けるアンドゥ（Undo, 取り消し）については，ここまでの	  以上により，４つの手首ひねり運動の識別がほぼ確実に検討から最も安定した識別が期待され，かつ手の運動（２行えるようになったことから，より実際的なワープロ入力

回ひねることで，ボディーランゲージ的にも否定を表現し作業をモチーフとしたタスクテストを実施することとした．

ている）に対する直感的な意味の結びつけが可能であるとこのタスクテストでは，いう視点から，手首の外側への２回ひねり（O2）を割り当

１）キーボード（ローマ字かな変換）で「あいうえお」とてることとした．続いて，入力の成否をそれほど厳密に気入力するにしなくとも良いものの，ワープロによる文章の作成中に２）１）で入力した文字列を選択し，これをコピーする

定期的に実行するものとしてファイルの保存（２回目以降

３）コピーした文字列を６回ペーストするは上書き保存）に対応するショートカットキー入力の頻度

４）最後にペーストした１回が誤りであったという想定で，が高いと考え，やや認識率的には難があるものの，他の運

アンドゥを１回行う動と区別がしやすいという観点から手首の内側へのひねり

５）ファイルの一時保存を行う(In）を配分した．そして，ワープロ作業にて多用される可という一連の手順について，スモールアクションコントロ

能性がある文章のコピーとペースト（貼付け）を，残ってーラを使用した場合と，使用しなかった場合について入力

いる２つの運動である Ow と O に割り付けることとした．

に要する時間の計測を行った．それぞれの場合について，各３回ずつの入力テストを行った結果，スモールアクショ

表 6

運動入力トレーニング前後での積算回転角度の変化

ンコントローラを使用しなかった場合では平均 28.5 秒をTable 6 Changes in rotational angle after the training experience

要したのに対し，使用した場合には平均 23.4 秒となり，約20%程度の時間短縮となっていた．また，スモールアクションコントローラにおける運動の認識では，Ow（コピーコ
マンド）が若干識別されにくかった場面があったものの，誤認識は発生していなかった．一方，被験者の手首に設置したモーションキャプチャ装置による位置計測の結果，スモールアクションコントローラを使用しなかった場合では手指をホームポジションへ戻す際に明確なタイムロスがあったのに対し，使用した際には 1~2 ミリメートル程度以内

6. シ ス テ ム の テ ス ト と 評 価	  実際のワープロソフト等を使ったシステムのテストに先の範囲にて手が元の位置に回帰していることが分かった．

立ち，被験者のトレーニングならびに運動による入力識別7. 結 論 と 今 後 の 課 題の精度の確認を行った．ここでは，腕時計型デバイスによ	  重度の四肢障がいにより，健常者と同様なキーボード入り識別した結果を数字に変換してタイピングし，被験者が力を行うことが困難である利用者に向けて，手首に装着す

都度入力内容を確認することができる状況にて，①O, O2,

る小型軽量な運動認識デバイスと，ワイヤレスにてキーボ

Ow, In の４種類の運動を各１０回ずつ繰り返す，②キーボ

ー入力を行う受信デバイスを組み合わせたスモールアクシ

ードにて任意の文章をタイピングしながらランダムに O,ョンコントローラの検討を行った．その結果，手の小さなO2, Ow, In のいずれかの運動を行う，といった手順にて，回転運動を判別することで，キーボードのホームポジショ

被験者 A について実験を行った．その結果，当初は回転角ンからできるだけ手指が離れてしまうことのないショート

度の大小関係等にて若干の試行錯誤があったものの，10 分

カットキー入力補助システムを実現することができた．今以内程度の短い時間にてほぼ 100%の運動識別率が達成さ後は，より幅広い被験者に対し，システムの有用性の検討れた．また，①の各運動を１０回ずつ行う実験では，実際

ならびに運動認識の確実性の向上を図って行くことで，低に識別結果が表示される環境でのトレーニングが行われた

コストで気軽に利用することのできる障がい者向けキーボ

結果，表６に示すような積算回転角度分布の変化が生じてード入力補助システムの普及を目指して行きたい．

いる．すなわち，トレーニング前では被験者 A では Ow の回転角度が小さすぎて識別されないことがあったことから，
トレーニング後では Ow と O のしきい値境界線付近である
20 度付近にまで Ow における回転角度が増加している．また，どの位の運動にて確実な識別がなされるのかを体験したことにより，積算回転角度のばらつきが相対的に小さく© 2016 Information Processing Society of Japan

参考文献
1) 木村智之，松下宗一郎，他：スモールアクションコントローラ，
インタラクション 2013，発表番号 1EXB-28，2013 年 2 月（東京）.
2) 木村智之，松下宗一郎：スモールアクションコントローラ~手の移動量を最小にする障がい者向け入力補助デバイス~，インタラクション 2015，発表番号 A46, 2015 年 3 月(東京）249