「インタラクション2000」平成12年2月

FMRID：FingerMotionRecognitionInputDevice
杉川 明彦

鈴木 薫

（株）東芝 研究開発センター

川崎市幸区小向東芝町1番地
Sugi＠krl・tOShiba・CO・jp，SuZuki＠krl，tOShiba．cojp

本稿では、使用方法の習得し易さ、自由な姿勢と片手による操作性の良さ、必要なときに簡便に利用できることを目指した装着型デバイスFMRID（FingerMotion RecognitionInputDevice）のコンセプトと試作システムを用いた評価実験について述べる。FMRIDは、ユーザの指の動きをセンサで検出し、計測した動きデータをパタン認識技術により認識して、文字や指示の入力を実現する。感圧センサと光学センサの2種類のセンサを用いた試作システムにより実験を行った。特定被験者を対象とする実験では、80種類の数字、平仮名に対して1位正解率91％を得たが、不特定利用者を対象とした認識率の向上や、遅延時間の短縮が今後の課題である。

FMRID：FingerMotionRecogmitionInputDevice
AkihikoSugikawa KaoruSuzuki
TOSHIBAResearch＆DevelopmentCenterlTbshiba−Cho，Saiwai−Ku，Kawasaki
Sugi＠krl・tOShiba・CO・jp，SuZuki＠krl．toshiba．co．jp

Inthispaper，Wedescribeaconceptofanewdevicenamed

FingerMotion RecognitionInputDevice whichsensesmotionofa鎖ngertipandrecognlZeSameanlngOfthemotionbyapatternrecognitiontechnique・ThepuTPOSeOfthisresearchistorealizeasuitabledeviceforawearable
COmputer，atinyrecordingapparatus，andaninfantwhocan−thandleapen−1nPutdevice・Throughexperiments with spec沌c subject，We Show the device recognlZe about80kinds ofJapaneseCharacters．

近年、注目されるようになったウェアラブル

1はじめにハードウェアの進歩により、PDAと呼ばれるコンピュータは、利用者の身体に装着できるよ手帳サイズのコンピュータが、数年前のデスクうにPDAをさらに小型化したものであり、利用トップコンピュータと同等の性能を有するよう者は常時コンピュータを身に着けて持ち歩き、になった。しかし、このような筐体サイズの小任意の時にその支援を受けられることを狙って型化は、一方でデータ入力や表示に制約を加えいる。米国調査会社IDCの発表によると、米国る要因となっている。

におけるウェアラブルコンピュータ市場は、ー91−

2003年に6億ドルに達すると報告されている。

キーの数を大幅に削減することで筐体の小産業用をメインの市場とし、製造業、政府機関、型化を実現し、従来のキーボードと違い、片手医療機関などへの導入が進むと予測されている。

でデバイスを保持しながら、かつその手で文字

このような分野では、コンピュータを初めての入力を行うために考案された方式である。少使用する人も多く、家電製品並みの使い易さがないキーでの文字入力方式として以下の2種類求められている。また、利用者の行動を阻害しが提案されている。1つは、1つのキーに複数のないことが重要とされており、例えば、道具を文字を割り当て、前後に押されたキーの情報と使用する作業の最中や任意の姿勢でもコンピ単語を構成する文字並びの制約を用いて入力文ュータヘの指示ができることが必要とされる。

字を特定する方式である（T9【2】、片手操作キー
カードSHK［3］、CUTKEY［4］）。もう1つは、複例えばアメリカ陸軍の車両保守点検用ウェ数のキーを同時に押す方式であり、押されたアラブルコンピュータ【1】では・手袋を着用していても使用できるキーの組み合わせによって入力文字を特定する・様々な姿勢で使用できる方式である（Twiddler［5］）。

キー入力方式は、利用者がそれに慣れれば、・5分の説明で使用できることが要件に挙げられている。また、アプリケー

高速に入力することが可能だが、最初に複雑なションには、項目のチェック、数量の入力、メ操作を覚えることが必要なため、コンピュータ

モ程度の記録、スケジュールの確認、マニュアに不慣れな人には利用されていないのが現状でルの参照などが望まれている。

ある。

本稿では、小型機器向けの新しい入力手段と2．2タッチセンサ＋スタイラス方式

して開発中の FMRID（F加ger〟0血〝月eco−g〃わわ〝J岬以J伽vわe）のコンセプトとその試作スタイラスと呼ばれるペン型の入力デバイシステムによる評価実験について報告する。従スを用いてタッチセンサ上に筆記された文字を、来提案されている小型機器向けの入力手段と比オンライン文字認識技術により入力する方式で較して、使用方法の習得し易さ、自由な姿勢とある。利用方法が初心者に理解し易いため、従片手による操作性の良さ、必要なときに簡便に来から携帯端末向け入力方式の主流であった。

利用できることを目指している。FMRIDの応用

認識方式には、スタイラスの軌跡データ（ベクとしては、ウェアラブルコンピュータのヌ字おターデータ）を直接認識する方式と、軌跡デーよび指示の入力、小型のデータ記録装置、あるタを1且ラスタデータに変換してから認識する

いは、ペン入力デバイスを使用することのでき方式の2つが実現されているが、いずれも、認ない幼児向けの入力手段などが挙げられる。

碍率の不足や、単位時間あたりの入力文字数の以下、本稿ではまず従来の入力方式を説明し、少なさが課題とされている。

次にFMRIDのコンセプトと原理について述べ、最近では、文字そのものではなく、認識に適した崩し文字や、簡単なストロークの組み合わ最後に評価実験の結果と課題について述べる。

せを入力するジェスチャ認識を基本とした入力方式が提案・実用化されている（T−Cube【6】、

2 従来例

これまでに小型機器向けに提案された入力

Grafnti、 Tbuch−Typing［7］、 Cirrin［8】、方式には、タイプ別に、キー入力方式、タッチQuikwriting［9］）。この方式は、最初に簡単な練センサ＋スタイラス方式、ペン型デバイス方式、習を必要とするが、習得すればオンライン文字指装着型デバイス方式の4つがある。

認識方式よりも認識率が高く、単位時間あたりの入力文字数も増やすことができる。

2．1キー入力方式

なお、オンライン文字認識、ジェスチャ認識−92−

のいずれにおいても、人が快適に入力できる文3FingerMotiomRecogmitiomInputDevice

字あるいは記号の大きさの制約から、デバイスウェアラブルコンピュータや小型機器に適は最低でも名刺半分程度の面積が必要であるとした入力デバイスとして、本稿ではFMRID考えられる。

（FingerMotionRecognitionInputDevice）を提案する。FMRIDは、使用方法の習得し易さや必要2．3ペン型入力装置なときに簡便に文字や指示を入力できることを現時点でも実現された例は少ないが、1970年目標としている。

代からペンの形状をした入力装置に関して、国利用者はFMRIDを指に装着し、そのセンサ内で多くの特許が提案されている【12】。

部を机や壁に接触させ、接触させたまま動かす

その原理は、ペンの動きやペンに加わる力をことで文字やコマンドの入力を行う。言い換え

ペン内部に設けられた加速度センサやカセンサれば、従来スタイラスを用いてタッチセンサ上により計測し、そのパタンを認識することによで行っていた行為を、FMRIDを用いて机や壁面り、利用者が書いた文字や命令用のジェスチャなどで行うことにより、文字やコマンドの入力を認識する。

を可能にする。それゆえ、FMRIDは、デバイス

加速度センサ方式は、計測値を積分して座標の大きさには制約されないで、机や壁、あるいの変化情報を取得し、オンライン文字認識と同は人体から十分な筆記面積を確保することがで様の手法で認識を行う。カセンサ方式は、計測きる。

値の時間変化をパタン認識する。安定な認識の3．1従来入力方との比較ためには、利用者の手とペンの関係が一定に保たれている方が都合がよい。それゆえベンの形

FMRIDの入力方法はスタイラス方式と類似状を工夫して、利用者が確実に一定の方向からしており、利用者自身の文字を描く動作によりペンを保持するようにしたり、別途センサを設入力を行うため、使用方法を直感的に理解できけ、利用者がどの方向からベンを保持しているる。その一方、利用者は入力のために文字そののかを検知し、基準からの回転量だけ入力デーものの形状を描く必要があるため、入力速度はタを補正して認識を行うものが提案されている。

せいぜい毎秒数文字程度と制限され、スタイラ
ス方式同様、大量の文字データの入力には向い2．4指装着型入力装置ていない。

また、FMRIDはスタイラス方式と同程度以下

ウェアラブルコンピュータ向けに、装置の小型化と、使用場所の制約のない入力方式として、の面積が確保できれば、利用者が仰向けであろ利用者が指で机や壁を叩き、その時の衝撃を指うが、立っていようがその姿勢を問わない。しに装着した衝撃センサで検知し、叩いた指の組たがって、使用における制約は、FingeRingと同み合わせで文字の入力を行うFingeRingが提案等である。
さらに、日常生活や作業においてFMRIDをされている【10］。センサとアンプ部の結線に人体を導体として信号を送受信する Body

常時装着していれば、文字入力や作業指示が必Coupling技術を使用しており、ウェアラブルコ

要なときには、道具を持ち替えたりせず、いつンピュータの入力手段として注目を浴びている。

でもそのまま指を動かすことで簡便に目的を達

高速に文字を入力できることが報告されている

成でき、デバイスを意識して保持する必要のあが、打鍵すべき指と文字の対応を習得する必要

るスタイラス方式やペン型装置と此較して、心があり、キー入力方式と同様、習得時のハード理的にも作業量的にも利用者への負担は少ないルの高さが課題である。

であろうと期待される。
また、手袋の着用が要求される環境では、ぺ−93−

ン操作やキー操作は容易ではなく、FMRIDやFingeRingのような装着型が適していると考えられる。また、鉛筆を持つことに慣れていない
幼児には、，指を動かすだけで利用できる本デバイスが適していると思われる。
3．2FMRIDの応用
FMRIDは、文書作成のような大量の文字デ∵夕の入力を行うアプリケーションには適さない

図1：システム構成図

が、メモ書き、コマンド指示、タグの付与、情利用者は、センサ保持器具を指（人差し指）報検索など比較的文字入力の少ないアプリケーの第1関節部分に装着し、センサ部を若干対象ションには適している。

面に押し付けるようにして、そのまま指で文字例えば、検索キーと検索実施コマンドを順に入力し、作業手順の確認や作業対象に関する情を描く。この時、ストロークの始点で指を対象報などを音声や文字で受け取るようなアプリ面に押し付け、接触させながら指を移動させ、ケーションがそうである。また、音声認識を利ストロークの終端で指を対象面から持ち上げる。

用しにくい騒音環境でも、情報へのアクセスが接触した時刻から、バッファメモリに計測値を可能である。

記録する。システムは対象面から指が持ち上げられた時刻から一定時間内に次のストロークがまた、作業中に気づいた事柄をFMRIDに一旦記録しておき、後で日誌に記入するような使入力された場合は、入力継続とみなす。入力がい方も考えられる。これはセンサ部にメモリを無ければ文字入力終了とみなし、それまでに入付随し、出先ではセンサ値の記録のみ行い、後力された計測データを用いて文字認識を行う。

でパソコンと接続して認識・入力を行うことでただし、最初のストロークが決められた長さに実現できる。4chで1秒間に50サンプルを計測満たない場合は、そのデータを無視することでするセンサを用いて、利用者が秒1文字の入力チャタリングを防ぐ。
センサには、直接的あるいは間接的に指の動を行うものとしたとき、256kbit程度のEEPROMがあれば、約160文字の情報を記録することがきを計測できるものを使用する。例えば、光学できる。

式センサを使用して計測された信号の時間差分から、指の移動方向を直接計測できる。
3．3FMRIDの原理

FMRIDは、指に装着したセンサでその動きを直接的あるいは間接的に計測し、計測されたデータをパタンとして、予め辞書に登録してある単語やコマンドのパタンと照合して認識するデバイスである。FMRIDを使用するアプリケー
図2：感圧センサのtopview

ションは、認識結果を文字として入力したり、対応付けられたコマンドを実行する。アプリ

あるいは、図2に示すように感圧センサを複ケーションは、文字表示や音声合成などで認識結果を利用者へフィードバックする。FMRIDの数配置し、指を移動させるときに生じる力を計構成を図1に示す。

測することでも指の移動方向を間接的に計測することができる。例えば、指を右方向に移動さ−94−せた場合にはセンサA・Bの出力が大きくなり、を収集し、その特徴ベクトルの自己相関行列を指を下に動かした場合にはセンサB・Cの出力全収集データについて加算して得た特性核をが大きくなる。

m展開してM本（N未満）の主成分ベクトル

センサ出力信号は微弱なため、アンプで増幅を得る。認識時には、計測データ（未知入力パしてからAD変換を通じてパソコンへ取り込まタン）から同様の特徴ベクトル求め、カテゴリれる。認識部は有効とみなす期間に計測された毎に主成分ベクトルとの内積の2乗和を類似度データのみを対象に、次に述べるパタン認識処として計算する。そして、全力テゴリについて理を行う。

上記の計算を行い、所定閥値以上で最高類似度を獲得した辞書のカテゴリを当該入力パタンが3．4パタン認識属するカテゴリであると特定することで認識が一般に、携帯型コンピュータ向けの文字認識行われる。

方式は、仮名、英字、数字、漢字、記号を含めて4000字種前後を認識する能力を有している

4 デバイスの試作と認識実験

が、実際の利用では、平仮名入力と仮名漢字変FMRIDの有効性を検証するために、試作シス換を組み合わせて、最小の入力コストで利用さテムを作成して認識率を調べた。最初に、指のれているように思われる。また、メモ書き、タ動き検出に感圧センサを用いた試作システムと、グの付与、検索キー、コマンド入力などは必ずそれを使用した認識実験について述べ、次にセ

しも漢字の入力を必要とするものではないと考ンサを光学式に変更したシステムと実験についえられる。そこでFMRIDでは、平仮名て述べる。

字など約100字種程度を認識できれば良いと考4．1感圧センサ方式えている。

加わる力に比例して抵抗値が変化するピエウェアラブルコンピュータへの適用を考慮して、FMRIDでは、認識結果のみが文字や音声

ゾ素子は最もよく知られた感圧センサであるが、で利用者にフィードバックされ、入力されたス試作時には入手できず、代わりにピエゾ素子同トロークを視覚的にフィードバックすることは様、加わる力に応じて抵抗が変化する感圧導電しない。そのため利用者は、各ストロークの位センサを使用した。このセンサは3kgまでの加置関係を正しく入力することや、ストロークの重を計測でき、無加重時の500kQから最大加重長さのバランスをとるこ1とが困難であり、入力時の500Qまで連続的に抵抗値が変化する。たデータのばらつきが大きくなることは避けられだし、力と抵抗値の関係は非線形である。

ない。また、指を離している間の移動量は検出できないので、ストローク間の位置関係や大きさのバランスなどの構造情報が認識に利用できない。さらに、接触面の材質の違いによる計測データのばらつきも大きいと予想される。

以上のことを考慮し、パタン認識方式として、パタンの変動に強いとされる部分空間法を採用

図3：感圧センサする【11】。部分空間法では、1つの計測データから抽出されたN個の特徴量をN次元のベクトル

このセンサを図3のようにセンサ保持器具に（特徴ベクトル）として捉える。あるカテゴリ4つ装着し、ケーブルでアンプ部と接続する。の特徴を表す辞書を生成する時には、当該カテアンプ部からの出力は、AD変換部で各々8bitゴリに属する複数の￣計測データ（教示パタン）のデジタル信号に変換され、20msec周期でパソ−95−コンに入力される。

図4は教示パタンの1つ（3の文字を描いたFMRIDは、センサが対象面から離れて一定期もの）をグラフにしたものである。グラフの記間内（待機時間）に再び接触しない場合は文字号は図2に示したセンサに対応している。この入力の終了と判断する。待機時間の間に類似度グラフからセンサのピークが指の動きに対応しを計算してしまうため、文字入力終了から認識ていることが確認できる。図5は正規化したベ

結果のフィードバックを得るまでの遅延時間はクトルを視覚化したものであり、上から順にセ待機時間とほぼ等しい。本実験では待機時間をンサABCDに対応しており、明るいほどその値350msecに設定した。この値は報告者の入力速が大きいことを示している。

度に合わせて調整されており、他の利用者に対しては個別に調整が必要である。

また、音声フィードバックを用いる場合には視覚フィードバックよりも長い時間を必要とする。実際の文字入力に要する時間、待機時間、フィードバック時間を合わせると、FMRIDが1

図5：特徴ベクトルの視覚化

次に、指を接触させる表面として布地（ズボ

文字の入力に要する時間はおよそ2秒前後であンの太ももの部分）を使用して未知パタンを入る。

認識対象は0から9までの数字であり、予め力しようとしたが、感圧センサは対象面との接各カテゴリの教示パタンを10サンプルずつ収

触を検知できなかった。これは、指を接触させ集した。このとき、指を接触させる表面としてる対象面が軟体であったために、指を押しつけパソコンの筐体表面を使用した。特徴ベクトル

た力に対する反作用が小さすぎ、感圧センサのとしては、計測された時間順に計測値を10の時計測範囲に収まらなかったためであると推察さ間帯に分割し、各時間帯毎（10分割）に各センれる。

サの出力値（4個）を非線型に量子化して、各々4．2光学センサ方式累積したヒストグラム（40次元）を作成し、これを特徴ベクトルとしてノルム1に正規化して接触面の材質の遠いによる影響を低減する使用した。

ため、光学センサを用いたシステムを試作した。

実験は、指を接触させる表面として同じ筐体

図6にセンサ部の写真、図7に指に装着した写表面を用い、教示パタンと別に未知入力パタン真を示す。専用の光学センサの開発は困難であとして各カテゴリ4サンプルずつ（合計40サンるため、市販の光学式マウスを分解して利用しプル）を収集して認識率を調べた。その結果、1た。光学式マウスの詳細が不明なためブラック

位正解率88％、3位累積正解率100％であった。

ボックスとして扱い、マウスの座標値を時間差分した動きベクトルをセンサからの計測値として扱う。

図4：感圧センサの計測値

図6：光学センサ部−96−

率100％であった。実験では「0」と「6」や「い」と「り」など特定の文字の組み合わせを誤認識する場合が観察された。問題となっている文字の組み合わせは、ベクトルの進行方向の情報のみでは区別できにくいパタンであると推察される。

また、音声フィードバックを用いると1文字

図7：光学センサの装着の入力に要する時間は、感圧センサのときと同様約2秒であった。（入力1s、待機350ms、音

数字と平仮名を対象とした約80カテゴリを、マウスパヅド上で各10サンプル収集して教示声600ms）パタンとした。特徴量には、計測時間帯毎（12分割）に分割した進行方向毎（12分割）のヒス5考察トグラム（144次元）と、全ストロークを通じ今回の実験は、提案するデバイスの有効性をての進行方向別ヒストグラム（12次元）と進行調べるものであるものの、パタン認識に関して方向変化別（12分割）のヒストグラム（12次は特定の利用者を対象とした実験であった。以元）から構成される168次元のベクトルを作成下にパタン認識に関する今後の課題と対処方針し、ノルム1の正規化ベクトルを生成使用した。

をまとめる。

図8は「か」を入力した時にセンサから得られ● 実験では10サンプルで辞書を作成している値を視覚化したもの、図9は計測されたデータから特徴ベクトルを作成し視覚化したものでるが、実用的な認識率を確保するためには、ある。図5と同様に、明るいほどその値が大き教示するサンプルの数を増やす必要があいことを示している。

る。特に認識率の悪いパタンに対しては、その属するカテゴリの正規の辞書とは別の専用辞書を設けることにより対処できると考えられる。また、辞書登録機能を設′イ√字など）や任意の文字列（例えば単語など）

図8入力データの視覚化の入力も可能となるため、利用者の利便性けることにより、任意の文字種（例えば漢を考えると辞書管痙機能を充実させることが必要である。

特に、単語を描くときには、普通1文字毎に描画位置を変えながら文字を並べるように描くため、単語の長さに応じた広さの平面を必要とする。FMRIDは、もともとストロークの位置関係のような構造情報を利用しないため、同じ位置に複数の文字図9：特徴ベクトルの視覚化を描いても認識可能であり、1文字分の面平仮名10字種、数字10字種の合計20カテ積で任意の長さの文字列を入力できる。

ゴリを実験対象とし、布地上で各4サンプルず利用者を増やした時に、個人差による認識つ（合計80サンプル）を収集して認識率を求め率の低下が予想される。不特定多数の利用た。その結果、1位正解率91％、3位累積正解者から予め教示サンプルを収集しておく

−97−

●

ことにより、新たな利用者を対象した場合で、今後は具体的なアプリケーションを対象に、でも、対応できると考えられる。

手袋などを利用した常時装着可能な試作システ

試作システムの認識アルゴリズムは時間ムを構築しつつ実験を重ねる予定である。

情報を使用しているため、筆順の遠いにより認識率の低下を生じる。また、続け字に参考文献

関しては、ストロークとストロークの間に【1］Bass，L．，Siewirek，D．，Smai）agic，A．，Stivoric，J．

新たな計測値が混入することにより、同様Site Wbarable Computer Systemに認識率の低下を生じる。予め問題となる

Companion，pp83−84Denver，May1995

データを加えた教示パタンを使用して、別【2］TbgicCommunications，http：〟www．t9．com／

途辞書を作成することにより対処可能で［3］FUJITU，http：〟www．fujitsu．co．jpnlyperteXt／あると考えられる。

news／1996／Jul／ms＿tXt．htm● 1文字入力の動作完了後、待機時間と音声，CHI−95Con給rence【4］MISAWA HOME，http：〟misawaOl・misawa．co．jp／

フィードバックに約1秒必要となる。連続／CUTKEY／vl＿Cutkey＿tOp・htmi

して文字入力を行う場合には、この遅れは［5］HandykeyCorporation，http：〟www・handykey．com／

快適ではない。連続しての文字入力を可能【6］DanVbno）ia，ForrestNeiberg，とする単語認識機能が必要である。

Discloslng Pen−Based Alphabet■● 認識方法は、文字の構造情報を使用していT−Cube：AFast，Self，，Proceedings of theACM Conference on Human Factors in Computing

ないため、誤認識を起こしやすい文字の組

Systems（CHI−94），pp．265−270，Apri11994

み合わせの存在や、大文字と小文字の区別【7］David Goldberg，Cate Richardson，はできない。前後の文字との関係の利用や、Wth a Stylus

特徴量の追加による認識アルゴリズムのConference on Human Factors in Computing Systems

改良が必要である。

（CHr93），Pp．80−87，AprilTbuch−Typing

一，Proceedings of ACMINTERCHI−93【8】Jenniftr Mankoff；Gregory D．Abowd，‖Cirrin：A

Ⅵわrd−LevelUnistroke Keyboard for Pen Input一

6まとめ

ProceedingsoftheACMSymposiumonUserInterface

ウェアラブルコンピュータなどの小型携帯装置向けに、習得がし易く、簡便に利用できる装Software and Tbchno）ogy（UIST．98），Pp．213−214，

着型デバイスFMRIDを提案した。指に装着しNovember1998

たデバイスを通して、指の動きにより文字やジ【9］Ken Perlin，

ェスチャを入力することができるため、常時装Tbxt EntTy‖，Proceedings ofthe ACM Symposium on

着が可能であれば、従来のデバイスと比較してUserInterfhceSof（Wareandlもchnology（UIST−98），Pp．

作業をほとんど阻害することなく簡便に利用で215−216，November1998

きることが特徴である。

【10］Fukumoto Masaaki，Ybshinobu Tbnomura，

FMRIDの有効性を確認するために試作シス

Quikwriting：Continuous Stylus−Based

Coupled FingeRing

Body：Wireless Wtarable Keyboard，

テムを作成し認識率を求めた。利用者を特定す

ProceedingsofACMCHI97，PP．147−154，April．1997

ることにより比較的良い結果を得られたが、実【11】Erkkiqja パターン認識と部分空間法 産業図

用を考慮するならば、不特定利用者を想定した

書1986

認識率の向上と、入力時の遅延時間の短縮が必【12］UBPEN：http‥〟ww2・OSk・3web・ne・jp／Ajnc／

要である。

PrOduct／index．htmi

常時装着が可能なハードウェアの実現には実装技術の進歩が必要であるが、手袋への装着は比較的簡単に実現することが見込まれる。そこ−98−．On