(57)【要約】【課題】発声困難な人との意思伝達手段又は秘話を要する場合の通信手段として指動作を利用する。この場合の情報処理手段としては、いくつかの先行例があるが、簡便にして精度の高い処理手段が必要とされる。【解決手段】手の指先の折り曲げ動作等に伴う加速度を検出する又は筋電位を検出するセンサを手首に装着したバンドの内面に設置し、上記センサからの出力パターンを標準的な曲げ動作等の出力パターンと比較することによって各種の指動作をそれぞれ特定するものである。【選択図】　　　　図１
2004013209.tif 000002
【特許請求の範囲】
【請求項１】
手首に装着したバンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う加速度を検出する複数の加速度センサにより、指先動作に伴う電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の加速度センサそれぞれについて得る手段と、上記複数の加速度センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えてなる手首装着型指動作情報処理装置。
【請求項２】
手首に装着したバンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う筋電位を検出する複数の筋電センサにより、指先動作に伴う電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の筋電センサそれぞれについて得る手段と、上記複数の筋電センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えてなる手首装着型指動作情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手首装着型の指動作情報処理装置に関し、具体的には、発生困難な手術後の患者、老人、視、聴覚障害者間および健常者とのコミュニケーションを容易にする意思伝達手段として、また通常会話の出来ない病人、老人、盲聾（もうろう）者、健常者の相互間の意志伝達及び病院、音楽ホール、集会場、車中、警察捜査時等静寂、秘話を要する場合の通信手段として使用する。また、電子メディア（インターネット、放送等）による情報取得、商取引き、及び各種データベースへのアクセスを可能にし、福祉介護の向上を図るとともに、将来は自由で高度な通信教育等をも可能にするシステムへの利用が期待できる。
【０００２】
キーボード等を使用するのではなく腕時計やブレスレットタイプの送受信を目的とする情報処理装置であるので、張込み中歩行中および食事中など非日常、日常生活のあらゆる場面で時、所を構わず使用できる。
【０００３】
【従来の技術】
老人、視、聴覚障害者間および健常者とのコミュニケーションを容易にする触覚、身振り等を用いたシステムの基盤技術開発研究が国内外において盛んにおこなわれている。脳に障害を受けた患者、聴覚障害者などの意思伝達手段としては点字が有効で多く用いられている。盲聾等、障害者の多くは通信手段として指の触覚を利用するコミュニケーション手段である指点字を用いている。
【０００４】
内外における技術動向としては、点字をカタカナに変換するソフトウェアや、特殊なキーボードや指サック式などを使用する点字送受信器等の開発、研究が盛んに行われている。一部装置の実用化も近く、抑揚の情報も取り入れたより完成度の高い意思伝達の研究も行われている。
【０００５】
現在、独特なキーボードと振動ピンを使用する指点字通信装置等が開発市販化されている。しかし、従来考えられていた人間・コンピューターインターフェースは、指先を使うために日常生活における動作に少なからず支障を来たす。すなわち視覚障害者にとって歩行中などいつでも使える意思伝達手段がなく、これまでの方法では携帯性、日常生活性に問題があるといえる。
【０００６】
具体的には、指先の打指によって入力を行う手首装着型入力装置としては、例えば、特許第２６９８３２０号（特開平７−１２１２９４号公報）に開示されている常装着型入力システムがある。この装置では指の付け根にセンサを装着する必要があるという問題点があった。また、この特開平７−１２１２９４号公報には手首に設置した筋電センサ群によって指の弁別を行う旨の記述があるが、センサ群の入力信号の分離手法が明らかにされていないという問題点があった。
【０００７】
また、手首にセンサを設置したものには、例えば、特開平１０−２００６１０号に開示されている常装着型電話装置がある。この装置は、指の弁別ができないという問題点があった。
【０００８】
さらに、手首にセンサを設置したものには、例えば、特開平１１−３３８５９７号に開示されている手首装着型入力装置がある。この装置は、手首に設置した加速度・筋電センサ群によって指の別弁を行う旨の記述があり、センサ群の入力信号の分離手法も明らかにされている。すなわち、センサ群は、手首バンドの内側に適当な配置で設置されており、センサの設置位置と、その周囲の手首の組織の違いによって、各々のセンサには、わずかに異なった信号が到達する。これらの信号（群）から、各指毎の打指信号を分離して指の弁別を行うことが明らかにされている。しかし、装置装着時のずれ等を吸収する為のキャリブレーションの必要性とその手法については詳述されているが、手首に装着する入力装置の位置変動による弁別誤差の自動修正機能については触れられていないという問題点があった。
【０００９】
【発明が解決しようとする課題】
本発明は、上記従来の技術に述べたような各指動作情報処理の問題点を解決したより優れた情報処理装置を提供しようとするもので、特に手首に装着するセンサの位置変動による修正を簡易化するとともに、精度の高い情報処理を可能とするものである。
【００１０】
【課題を解決するための手段】
本発明請求項１の発明は、手首に装着したバンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う加速度を検出する複数の加速度センサにより、指先動作による電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の加速度センサそれぞれについて得る手段と、上記複数の加速度センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えることを特徴とする。
【００１１】
又、本発明請求項２の発明は、バンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う筋電位を検出する複数の筋電センサにより、指先動作による電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の筋電センサそれぞれについて得る手段と、上記複数の筋電センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えることを特徴とする。
【００１２】
更に、詳述すると、コミュニケーションを行うには、まず、障害者は表現したい事項に対応した指を折り曲げるなどの動作を行う。動かした指によって手首の皮膚に凹凸が生じ、その動きに対応した加速度や筋電が生じる。それを複数点に装着した加速度計列で検出し、指を動かしたときの分布形状の違いを用いて動かした指すなわち障害者の意思を認識する。
【００１３】
意思表示のために指を動かした場合に生じる微小振動をキャッチする為のセンサーとしては、加速度センサーまたは筋電センサーが有効であることが分かった。これらのセンサーを手首の全周にわたって多数装着（ブレスレット状）して、それらのセンサーからの出力電圧を解析して発信者の意思を解読する。解読には手首の周りに沿う距離を独立変数とし、各センサーからの出力電圧を、辞書関数と比較して認識する方法を採った。
【００１４】
受信素子も送信素子であるセンサーと同様に、圧電素子等のセンサーを手首の周りに多数装着する。そして信号を受けて振動する素子の分布から発信者の意思を解読する。
【００１５】
つぎに、通信手段としては、解読結果を音声に変換して電話線あるいはインターネットを介して送信する。受信側では、健常者は音声をそのまま使用すればよいが、障害者に対しては、音声認識を行った後、対応する圧電素子等の受信センサーを駆動し送信者の意思を解読する。
【００１６】
【実施例】
図１〜図６は、いずれも本発明の一実施例をわかりやすく説明するための図であり、図１には手首に装着したバンドの内面に設置された加速度センサが、ａ、ｂ、ｃ、…、ｌとして示されている。特定の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴って、各センサａ、ｂ、ｃ、…、ｌからはｖａ、ｖｂ、ｖｃ、…、ｖｌの信号電圧が得られる。ｔは時間を示す。
【００１７】
図２では、図１で得られた情報の書換表示であり、横軸にセンサ位置、縦軸に時間ｔをとり、各信号電圧値を図示のとおり波形として表示する。
【００１８】
図３は、各信号波形の正側包絡線で、５次の多項式で表わし、その係数を最小二乗法によって決定した場合のものである。電位負側の包絡線も必要に応じて同様に作成し得る。
【００１９】
図４は、図３を書換えたもので、各センサと信号電圧の関数を２次元パターンとして数値表示したもので、パターンとして可視化したものが図５である。図５は特定の指に対応したパターンであり、このパターンは人により差異があるので、予め使用者自身のパターンを多数入力し、それを標準（比較）パターンとする。又、図５のパターンとともに横にシフトした図６のようなパターンも登録する。
【００２０】
上記は、親指の動作によるものであり、他のゆびについて同様なことを実施すれば、夫々の指の動作に伴う標準の２次元パターンが得られる。種々試みた結果、親指、人差指、中指、薬指、小指の標準パターンはそれぞれ図７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）のようになる。
【００２１】
以上は一本の指だけの動作に対応する標準パターンであるが、二本以上の指を同時に動かしたときのパターンを標準パターンとして採用することもできる。
【００２２】
以上のようにして標準パターンを多数用意し、予め記憶しておくと、発信者による指動作に伴う加速度を検出する加速度センサの出力を適宜処理し、標準パターンと比較することにより、発信者の指動作、即ち、発信者の意思が判別出来る。
【００２３】
センサの位置ずれがあった場合にも、本発明の場合は標準パターンのシフトにより簡単に対応出来ることが判明した。又、昨今はメモリ容量が極めて大なので、標準パターンも多数用意することができ、それだけ精度の高い情報処理が可能である。
【００２４】
又、加速度センサの代わりに筋電センサを用いて、各筋電センサより筋電位の検出により電気的信号を得る場合も、上記と同様な処理をすれば良い。
【００２５】
本発明は、ウエラブルであり、また手首に装着するので腕時計やブレスレットの軽い感覚であり、１０本の指は他の用途に使用できる。したがって本発明によれば、携帯、脱着可能で日常動作を妨げない構造の特徴を生かし、次のような各種の利用分野が期待できる。
【００２６】
コミュニケーション分野としては、ブレスレット式の対話通信システムを利用することで、盲聾者直接相互間及び電子メール、携帯電話およびインターネットを介して「距離・時間・姿勢」の制限を受けない、バリアフリーのコミュニケーションを可能にする。本システムによれば、歩行者の盲人どうしの会話、道案内や展示品説明等の受信も可能になる。
【００２７】
情報収集分野としては、本発明を使用すれば、健常者とのコミュニケーションをはじめ、インターネット、電子メールおよび携帯電話などの電子メディアサービスを、距離・時間をこえて、利用でき、種々の情報を取得することができる。
【００２８】
経済効果としては、本発明は触覚対話通信システムのハードウェア、ソフトウェア全般に関わり、次のようなシステム・機器開発を促し、グローバルな経済効果をもたらすものと期待できる。
１）障害者用の触覚インターフェース（触覚センサー）の製造販売
ブレスレット等、聴覚障害者とコンピュータまたは電話機とのヒューマンインターフェースの開発（関連事項：携帯・脱着可能で日常動作を妨げない構造、装着位置選定、送信用・受信用センサー選定・配列、センサー出力信号認識、受信信号解読ソフト・回路製作）。
２）インターフェースと端末装置を結ぶ無線・通信装置の製造販売
インターフェース（キーボードまたは指サック式等）とコンピュータまたは電話機との間をつなぐ通信装置。
３）近接、遠隔会話を可能にするソフトウエアの製造販売。
コンピュータとコンピュータを結ぶインターネットに使用するソフトウェア（アプレットを利用した不特定多数とのコミュニケーションを可能にする）。
４）本システムによって読書可能な指点字（パーキンス式）電子図書の出版・流通販売インターネットに常駐させる指点字データベースの基盤作成とアクセス法の開発。
５）通信装置の製造販売
インターホン、ＰＨＳ、携帯電話、電子メール、インターネット対応送受信方式・装置の開発。
６）ｗｗｗサービスの開発販売
本装置を利用した電子商取引（電子マネー）方式の構築、電子図書、データベース（教育、教養、娯楽）の作成。
７）各種関連装置の開発・製造・販売
リハビリ指圧検出・補助装置、指点字練習機、携帯型リモート指点字−音声（日本語）翻訳機。
【００２９】
【発明の効果】
本発明は、手首装着型指動作情報処理装置として、従来の装置では解決できなかった手首に装着するセンサの位置変動による修正を、簡便にして、しかも高精度に実行することが出来た。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するためのもので、手首の周りに設置した加速度センサ群（ａ、ｂ、ｃ、…、ｌ）とそれぞれのセンサ群の出力電圧波形を示す図である。
【図２】図１におけるセンサ群の出力電圧波形の書換表示であり、横軸にセンサ位置、縦軸に時間をとり、各出力電圧（波形）を示した図である。
【図３】図２の各信号波形の正側包絡線を示す図である。
【図４】図３を書換表示したもので、各センサと信号電圧の数値を２次元に配列した図である。
【図５】図４を値を用いて画いた２次元パターンを示す図である。
【図６】図５のパターンをセンサの位置ずれに対応するように横にシフトしたパターンを示す図である。
【図７】本発明の標準の２次元パターンの一例で、親指、人差指、中指、薬指、小指を折り曲げたときに対応するものをそれぞれ示している。
【図１】
2004013209.tif 000003
【図２】
2004013209.tif 000004
【図３】
2004013209.tif 000005
【図４】
2004013209.tif 000006
【図５】
2004013209.tif 000007
【図６】
2004013209.tif 000008
【図７】
2004013209.tif 000009