指文字入力インタフェース「福島 大志Ý

宮 崎文 夫Ý

」の開発
西川敦ÝÝ

我々は「 」という非接触文字入力インタフェースを新しく開発した．  は磁石と磁気センサを取り付けたグローブを使ったインタフェースであり，ユーザはグローブを手に装着し手話の一種である指文字を形作ることで文字入力を行える．  の特徴は，指文字一つ一つの形状に対応する磁場（データセット）をユーザに合わせて予め取得しておくことで，逆問題などの複雑な計算を必要とせずに文字認識を行えるところにある．本稿では  を用いた文字入力実験を行うことで，  の有用性について述べる．

        Ý           Ý  ÝÝ                                                                                 !                                           

 はじめに今日，  や携帯電話の普及には目覚ましいものが

我々は日常の会話において，言葉と同時に手の動きや形状などを用いたジェスチャを交えることが多い．
ジェスチャは言葉では表せないことを表現したりコミュあり，我々の生活には不可欠なものとなっている．こニケーションをサポートしてくれる．また，手話のよれらの機器では文字入力インタフェースとしてたいてうにジェスチャのみでコミュニケーションを行うこと

いはキーボードが利用されている．しかし，誰もが初も可能であり，非常に多くの意思を表現することがでめからキーボードを上手く利用できたわけではなく，きる．ジェスチャは人が自然と行っている動作である

練習しながら徐々に体得していくのが普通である．特ため，ジェスチャを利用することで自然な入力インタに高齢者はキーボードの操作を苦手とする人が多く，フェースを構築できるのではないかと考えられる．

パソコンによる文字入力を敬遠しがちである．また，ジェスチャを認識する研究は数多く行われているが携帯電話の場合，入力キーが少ないがために携帯電話大別すると，「カメラを利用するタイプ½µ 」と「センサによる文字入力を面倒に思う人も多い．そこで我々はなどの機器を装着するタイプ¾µ」，「カメラとセンサの小さな子供や高齢者であっても直感的に文字入力を行両方を用いるタイプ¿µ」のえるような指文字インタフェース「 」を開発した（ は「  」と「  」を組み合わつに分けられる．
「カメラを利用するタイプ」の場合，ユーザは機器を装着する必要はないが，精度のよいカメラを使うとなると高せた造語である）．指文字は手話の一種であり，一つ価になってしまう．
「センサなどの機器を装着するタイ一つの文字を表現したい時に用いられる．

プ」の場合，ユーザが機器を装着するという煩わしさがあるものの比較的安価に構築できる．
「カメラとセンÝ 大阪大学大学院基礎工学研究科機能創成専攻


               

ÝÝ 信州大学繊維学部応用生物学系バイオエンジニアリング課程

        !  "#     "      

サの両方を用いるタイプ」は前記  つの手法より自由度が大きいというメリットがあるが，両者の短所も合わせ持ってしまう．それぞれのタイプで一長一短があるものの，本研究では，コスト面や携帯電話との親和性を優先し，磁石と磁気センサを取り付けたグローブを用いる方法を採用した．

情報処理学会 インタラクション "#$$

図! の構成!$ %  &  !

 方! グローブ!$ ' !  図法 システム構成

 に必要な機器を以下に示す   軸磁気センサ
   ネオジム磁石（角型  × × ，表面磁束密度 ）       グローブ   シングルチップマイクロコンピュータ  !"
   携帯電話（本稿では （ #   $ %&'，メモリ %）を用いた） !  電池（(） は図  に示すように磁石の磁場を磁気センサで検知し，   を使い携帯電話や  と交信   図

指文字の例!$ ( # &  )
図  の「*+ +」を指文字の基準姿勢と定義した．
基準姿勢は環境磁場の影響を排除する為に利用し詳細は次節で説明する．

することでモニタに文字を表示させるシステムである．

 文字認識手法 

近年では多くの携帯電話や初めに，ユーザはグローブを装着し各指文字を表し に    が内蔵されており，携帯電話にはさらに磁気センサが内蔵さた時のそれぞれの磁場を登録する（ ½ 〜  ）．この事
前登録した磁場と指文字との組み合わせをデータセッ機能をそのまま利用する．図は指文字入力に使うグト（表 ）と定義する．今，ユーザが任意の指文字を気センサが手の甲と手首に一つずつ合計  個付いていに とデータセットの磁場とを比較する． とデータれているものも多い． は携帯電話のこれらのローブである．各指先に磁石が一つずつ合計  個，磁る．このセンサが各指文字を表現した時の磁場を計測する．図  の携帯電話側の磁気センサは認識された指文字を決定（入力）する為に用いられ， はグ

作った時の磁場を とする．この指文字を判別する為



セットの磁場 ½ 〜  をそれぞれ式（）に代入して，それぞれのデータナンバーで誤差の  乗和 ½ 〜 求める．

,ローブを携帯電話に近づけることで文字を決定（入力）







¾することができる．なお，本稿では    による

½〜無線通信ではなく有線にて行った実験結果を述べる．

ナンバーの文字を認識した指文字とする．なお， 軸対象とする指文字

本研究で対象とする指文字は小文字のアルファベッ

ト  文字である（図 ）．アルファベットの「)」と「'」は表現に動きを伴うものとなっており，を応用すれば表現可能であるが本稿では対象外とした．の中で最も値の小さかったものと同じデータ



磁気センサを  つ用いるので ， は  次元ベクトルである．
本研究は磁場を使ったインタフェースであるため，地磁気などの環境磁場の影響を受けやすい．そこで，本研究では図  の（*+ +）のように表される手の指文字入力インタフェース「表表データセット") %  )
 & *
%文字 %½文字 ''¾$$$$$$$$$
」の開発認識されたデータセットの例") ' #    + 
 値順位%位 '位 (位対応する文字¿ )½ )¾

文字

形状を基準姿勢とし，各指文字の磁場データはこの基準姿勢の磁場との差分を登録する．登録後に実際に入力を行う際も，最初に基準姿勢をとり磁場を記録することで表現したい指文字の磁場との差分を計測することができる．こうすることで，データセットを登録す

図が変化しても，同じ条件での磁場の比較を行うことが可能となる．

 文字認識手法 

文字認識手法 " は誤差の  乗和（ 値）がもっとも小さいデータナンバーの文字を入力された指文字とするものである．しかし，適した指文字が必ずしも値が最小のデータナンバーのものであるという確証はなく， 値が  番目や番目に小さいデータナンバー

ガウス関数!$ ,    る際とそのデータセットを使って入力を行う際に環境ば文字「-」が認識されることになる．

 実

験

 被験者自身のデータセットを用いた実験 実 験 内 容

被験者 "，， の名に対してアルファベット 

文字（入力に動きを伴う「)」と「'」を除く）の認識などに対応する文字である可能性もある．例えば表率実験を行った．実験の初めに各被験者自身のデータのようになる時を考える．これは複数のデータセットセットをを用いた場合に， 値の最も小さいデータナンバーか被験者により入力された文字がリアルタイムに表示さら順位づけを行った時の一例である．なお，文字の添れるモニタを用意し，被験者はモニタを見ながら手形

字はどのデータセットから取得した文字かを示してい状を調整することができる．モニタには被験者が入力値が最小であるすべき文字（ターゲット）も同時に表示される．ターる．この時，文字認識手法 " では「」が認識された．しかしこの場合， 位位に「-」という文字が認識されており，正しい答えが「-」である可能性も高い．そこで，図  のようなガウス関数を用いた値の順位を考慮した重みづけをし，最も信頼性の高い文字が認識されるようにする．
一般にガウス関数は式（ ）のように表される．

 ,  ./    ¾
¾
本研究では  , 0 , 0 , ! とし，式（）のよ

うに分子に式（）の値を代入し， をその順位のポイント  とする．

,
本稿では./  ¾

値の小さいものから位までのデータナ

セット合計 ! 個（ 文字× ）登録した．

ゲットと同じ文字を被験者が入力すると，ターゲットとなる文字が次の文字に変更される．今回，ターゲッ
トはアルファベット順に変わるものとする．被験者にはアルファベット  文字×  セット（ 文字）の入力を行ってもらい，認識率とターゲット  文字当たりの入力にかかる時間を計測した．また，ターゲットが表示されて  秒経過しても認識されない場合を認識エラーとした．なお，本項では認識手法 " を用いた．

 結果と考察
表  に本実験の結果を示す．全ての被験者において，ほぼ ％ の認識率を示していることがわかる．
また，指文字一つ当たりの入力時間に関しても * 前後しかかかっておらずスムーズな入力が可能であることがわかる．被験者

名で入力時間に若干の差があるンバーを考慮し，各順位でポイント  を計算する．もが，提案システムはいかに自分の登録した指の形状をし， 位以内に同じ文字があればポイントの和を計算記憶しているかが肝要であり，最も結果の良かった被する．そして，最も和の大きい文字を認識された文字

験者  は指文字形状の再現が上手かったとも言える．とする．つまり，表また，本実験の被験者は指文字を日常で使用していなの場合， 位 位である「-」のポイントの和が  位である「」のポイントを上回れい人物であるので指文字の形状を思い出す時間の差に情報処理学会 インタラクション "#$$
表  被験者自身のデータセットを用いた時の認識率と入力時間表

他人のデータセットを用いた時の認識率") ( -      .  )/     . 
認識率 0％1% 文字当たりの入力時間 01
被験者
23$(%$'4
被験者 
23$3
%$%5
被験者 %55$5
5$43") , -   .  )/       6 
認識手法 0％1
認識手法 0％1
被験者
44$2
33$3
被験者 
43$(33$3
被験者 
2%$(27$4

よる影響も考えられる．しかし，どの被験者において

表  他人のデータセットを用いた時の文字当たりの入力時間も良い結果が得られており本手法の入力インタフェースとしての有用性を示すことができたと思われる．

 他人のデータセットを用いた実験  実 験 内 容
前項の実験では参照するデータセットとして被験者%") 8 9   % .  )/       6 
認識手法 01
認識手法 01
被験者'$4%%$8(
被験者 '$%7%$44
被験者 %$,'%$%2

自身の登録したものを使っていた．本項では他人のデータセットを利用した場合にどのような認識率を示すかを検証した．被験者は前節と同じ "，， であり，被験者とは別の協力者 $ のデータセット（ セット）を用いて前節と同じ内容の実験を行った．

 

結果と考察

表  に本実験の認識率を示す．他人のデータセットを用いた場合は被験者自身のデータセットを用いた場合と比べ認識率は落ちている．これは，被験者によっ表

他人のデータセットを用いた時の文字のうち 度でも誤認識があった文字の種類数',%") 7 "  )   ', .    +     .  )/      6 
認識手法 0種類1
認識手法 0種類1
被験者%(2被験者 %',被験者 7,て手の大きさや指文字を作る際の指の微妙な曲げ具合などで作り出す磁場に違いが生まれてしまうこと原因

前に各指文字ごとの磁場情報を登録することで使用で値によるきる．一度登録すれば磁石の位置がずれたりすること順位を考慮した方が認識率は良くなっており認識手法が無ければ再度登録する必要はない．また，指文字形だと思われる．また，認識手法  を使って の方が有効であることがわかる．表  は本実験の 状をユーザ自身で変更してオリジナルの指文字を作る

文字当たりの入力時間である．いずれの手法でも被験こともできる．本稿では  つの手法を用いて，被験者者本人のデータセットを使った時よりも時間かかって本人のデータセットを用いた場合と他人のデータセッしまっている．これは，被験者が指形状を微調整しなトを用いた場合の認識率の違いを示し， の有出すことに時間がかかるのが原因だと考えられる．ま場と対になるものとして文字を利用しているが，声やがら協力者 $ の登録した指形状による磁場を見つけた，入力時間においても認識手法 " よりも認識手法

 の方が有効であることがわかる．表 は  文字のうち  度でも誤認識があった文字が何種類あったかを示している．これを見ると，認識手法  の方が誤認識される種類が減っておりこれが入力時間に影響しているものと考えられる．認識手法  を用いることで，指文字と指文字の区別がより明確になるということも言える．しかし，認識手法  を用いてもいくつかの特定の文字だけは他人のデータセットを用いた場合認識できないことがわかった．

 ま と め
本研究は新しく開発した指文字インタフェース「 」の有用性を示すものである． は事用性を示した． は現状ではデータセットの磁音を登録することも可能である．今後は  の無線化に取り組み，さらなる応用を考えていきたい．

参考

文

献

 上田悦子，松本吉央，今井正和，小笠原司．多視点シルエット画像を用いた手の形状推定．情報処理学会研究報告，(10 コンピュータビジョンとイメージメディア 0 //2 0 ．
 塚田浩二，安村通晃．#-2 3 モバイル指向ジェスチャ入力デバイスの研究．情報処理学会
論文誌  0 // !2  0 
 渡辺賢，岩井儀雄，八木康史，谷内田正彦3 カラー
グローブを用いた指文字の認識．電子情報通信学会論文誌，$20 ( 4 2$20 5，//! 2

!0 66!