(57)【要約】【課題】ユーザの負担を軽減して入力操作に応じた文字情報を出力する。【解決手段】主力筋の変化を示すセンサーアレイ（１４）からの検出信号の振動振幅、強度、接触回数、及び信号分布パターンを用いて、識別部（１２５）は、指同士の接触を含む指の動きを特定し、指の動きと文字情報との対応関係が格納されたテンプレート部（１２６）を参照して、センサーアレイ（１４）からの検出信号により特定される指の動きに対応する文字情報を識別し、識別結果の文字情報を、表示部（１８）に表示させると共に、通信部（１６）を介して他の情報処理装置へ送信する。このように、ユーザの指の動きのみで文字情報が出力され、ユーザビリティが向上される。【選択図】図１
2019075034.tif 000002
【特許請求の範囲】
【請求項１】
予め定めた指の動きを検出する検出部と、
前記予め定めた指の異なる複数の動き毎に異なる情報を対応させた対応関係、及び前記検出部で検出された指の動きに基づいて、前記検出部で検出された指の動きが前記複数の動きの何れかである場合に、前記検出部で検出された指の動きに対応する情報を出力する出力部と、
を備えた情報処理装置。
【請求項２】
前記予め定めた指の異なる複数の動きは、
前記予め定めた指の指先が他の指の異なる複数の節の各々に接触する際の接触する節毎の前記予め定めた指の動きである
請求項１に記載の情報処理装置。
【請求項３】
前記予め定めた指の異なる複数の動きは、
前記予め定めた指の指先が他の指の異なる複数の節の各々に複数回接触する前記予め定めた指の動きを含む
請求項２に記載の情報処理装置。
【請求項４】
前記予め定めた指は、親指であり、
他の指の異なる複数の節は、人差し指、中指、薬指、及び小指各々の末節、中節、及び基節である
請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記検出部は、
前腕に取り付けられるフレキシブルな細長支持基材と、
指を曲げる場合に働く前腕の主力筋から作用する圧力を各々検出する複数の圧力素子が、前記細長支持基材の前腕側の面に沿って配列された圧力検出器と
を含む
請求項１から請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記主力筋は、尺側手根屈筋、浅指屈筋、長掌筋、及び橈側手根屈筋の少なくとも１つである
請求項５に記載の情報処理装置。
【請求項７】
前記異なる情報は、
五十音の一部、数字、及び記号の一部の何れかを含む
請求項１から請求項６の何れか１項に記載の情報処理装置。
【請求項８】
前記出力部から出力された前記情報を表示する表示部をさらに備えた
請求項１から請求項７の何れか１項に記載の情報処理装置。
【請求項９】
コンピュータに、
請求項１から請求項８の何れか１項に記載された情報処理装置の出力部の処理を実行させることを含む情報処理方法。
【請求項１０】
コンピュータを、請求項１から請求項８の何れか１項に記載された情報処理装置の出力部として機能させるための情報処理プログラム。
【請求項１１】
手首の変化を検出する検出部と、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力部と、
を備えた情報処理装置。
【請求項１２】
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出部と、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶部と、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力部と、
を備えた情報処理装置。
【請求項１３】
手首の変化を検出する検出ステップと、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力ステップと、
を含む情報処理方法。
【請求項１４】
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出ステップと、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶ステップと、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力ステップと、
を含む情報処理方法。
【請求項１５】
コンピュータに、
請求項１１又は請求項１２に記載された情報処理装置の出力部の処理を実行させることを含む情報処理方法。
【請求項１６】
コンピュータを、請求項１１又は請求項１２に記載された情報処理装置の出力部として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
ユーザによって情報を入力するための入力装置が各種実現されている。例えば、ユーザの指節の接触を撮像して撮像結果から情報を出力する技術が知られている（特許文献１参照）。
【０００３】
特許文献１に記載の技術では、指節に接触体が接触した状態をカメラで撮像し、ユーザが押圧した指節に対応する情報を出力している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１３／１６８５０８号パンフレット
【発明の概要】
【０００５】
開示の技術の第１の態様は、
予め定めた指の動きを検出する検出部と、
前記予め定めた指の異なる複数の動き毎に異なる情報を対応させた対応関係、及び前記検出部で検出された指の動きに基づいて、前記検出部で検出された指の動き指の動きが前記複数の動きの何れかである場合に、前記検出部で検出された指の動きに対応する情報を出力する出力部と、
を備えた情報処理装置である。
【０００６】
開示の技術の第２の態様は、
手首の変化を検出する検出部と、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力部と、
を備えた情報処理装置である。
【０００７】
開示の技術の第３の態様は、
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出部と、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶部と、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力部と、
を備えた情報処理装置である。
【０００８】
開示の技術の第４の態様は、
手首の変化を検出する検出ステップと、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力ステップと、
を含む情報処理方法である。
【０００９】
開示の技術の第５の態様は、
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出ステップと、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶ステップと、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力ステップと、
を含む情報処理方法である。
【００１０】
開示の技術の第６の態様は、
コンピュータに、前記情報処理装置の出力部の処理を実行させることを含む情報処理方法である。
【００１１】
開示の技術の第７の態様は、
コンピュータを、前記情報処理装置の出力部として機能させるための情報処理プログラムである。
【図面の簡単な説明】
【００１２】
【図１】本開示に係る情報処理装置の構成の一例を示すブロック図である。
【図２】ユーザの左手を模式的に示す一例を示すイメージ図である。
【図３】センサーアレイの一例を示すイメージ図であり、（Ａ）はセンサーアレイの平面図、（Ｂ）は側面図を示している。
【図４】センサーアレイによる検出例を示し、（Ａ）はユーザの指の動きのイメージ図、図４（Ｂ）は検出信号の特性図、（ｃ）はセンサーアレイ周辺の断念図を示している。
【図５】ユーザの手首に装着したセンサーアレイの一例を示す模式図であり、（Ａ）は装着状態の一例を示し、（Ｂ）はセンサーアレイの側面図を示している。
【図６】センサーアレイの具体例を示すイメージ図であり、（Ａ）は、表示部に文字情報が表示された状態を示し、（Ｂ）はセンサーアレイの斜視図を示している。
【図７】センサーアレイの構造の一例を示すイメージ図であり、（Ａ）は収縮状態を示し、（Ｂ）は伸長状態を示している。
【図８】ユーザの指の動きに伴う検出信号の一例を示すイメージ図である。
【図９】指節に文字情報を対応させた一例を示し、（Ａ）は第１テンプレートによる文字情報、（Ｂ）は第２テンプレートによる文字情報を対応させた模式図である。
【図１０】複数の指同士の接触によるユーザの指の動きの一例を示し、（Ａ）はユーザの指を全て折り曲げた状態、（Ｂ）はユーザの指を全て広げた状態を示す模式図である。
【図１１】複数の指同士の接触によるユーザの指の動きのその他の例を示し、（Ａ）は、ユーザの指を全て折り曲げた状態から手首も折り曲げた状態、（Ｂ）はユーザの指を全て折り曲げた状態を示す模式図である。
【図１２】文字の種類毎のテンプレートの一例を示すイメージ図である。
【図１３】ユーザの指の動きと文字情報との対応関係を示すテーブルの一例を示すイメージ図である。
【図１４】ユーザの指の動きと、コマンドとの対応関係を示すテーブルの一例を示すイメージ図である。
【図１５】情報処理装置の装置本体をコンピュータにより実現した場合の構成の一例を示すブロック図である。
【図１６】情報処理プログラムによる処理の流れを示すフローチャートである。
【図１７】第１の変形例の時計を示し、（Ａ）は表示部の目視側の平面図、（Ｂ）は側面図である。
【図１８】第２の変形例の情報処理装置を示し、（Ａ）は側面図、（Ｂ）は平面図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して実施形態を説明する。
本開示は、開示の技術に係る情報処理装置の一例として、ユーザの指の動きに基づき情報を出力する情報処理装置１０を説明する。
【００１４】
本開示では、情報処理装置１０は、予め定めた指の動きを検出し、予め定めた指の異なる複数の動き毎に異なる情報を対応させた対応関係を用いて、検出された指の動きが複数の動きの何れかである場合に、検出された指の動きに対応する情報を出力する。すなわち、本開示に係る情報処理装置１０は、複数の異なるユーザの指の動きを入力操作として検出し、検出されたユーザの指の動きに対応する予め定めた情報を出力する。
【００１５】
また、本開示では、予め定めた指の異なる複数の動き毎に対応させる異なる情報の一例として、文字情報を用いた場合を説明する。以下の説明では、文字情報は、コンピュータの入力装置の一例であるキーボードにおけるキーの各々に対応するひらがな、英数字、及び記号を示す情報を用いた場合を説明する。
【００１６】
なお、文字情報は、ひらがな、英数字、及び記号に加えて、コマンド入力を示すキーの情報を含むことができる。また、文字情報は、キーボードにおけるキーの各々に対応する情報のみに限定されるものではなく、日本語の５０音におけるカタカナ及び漢字、英文字における大文字及び小文字、及びキーボードにない記号及び文字を含むことができる。
【００１７】
なお、ユーザの指の動きに基づき情報を出力する情報処理装置１０を開示の技術に係る情報処理装置の一例として説明するが、開示の技術に係る情報処理装置は、ユーザの指の動きに基づき情報を出力する情報処理装置１０に限定されるものではない。すなわち、ユーザの動きは指に限定されるものではなく、ユーザの身体の一部の動きに基づき情報を出力する情報処理装置に適用可能である。
【００１８】
また、別の本開示では、情報処理装置１０は、手首の腱及び筋肉の少なくとも一方の動きによる手首周辺の変化（例えば、手首の膨縮）を検出し、検出された手首の動き毎に異なる情報を対応させた対応関係を用いて情報を出力する。すなわち、本開示に係る情報処理装置１０は、複数の異なる手首の動きを入力操作として検出し、検出された手首の動きに対応する予め定めた情報を出力する。手首周辺の変化（例えば、手首の膨縮）は、ユーザの指の動きにより変化するため、指の動きを手首周辺の変化（例えば、手首の膨縮）を検出することにより把握し、ユーザの意図した操作を認識できる。
【００１９】
図１に、本開示に係る情報処理装置１０の構成の一例を示す。
図１に示すように、情報処理装置１０は、ユーザの指の動きに基づいて文字情報を出力する出力部としての装置本体１２を含んでいる。装置本体１２は、検出部としてのセンサーアレイ１４、通信部１６及び表示部としてのディスプレイ等の表示部１８に接続されている。なお、情報処理装置１０には電池等の図示しない電源から電力が供給されるようになっている。
【００２０】
センサーアレイ１４は、ユーザの指の動きを検出する検出部として機能する機能部であり、センサーアレイ１４の検出信号を装置本体１２へ出力する。
【００２１】
ここで、本開示で対象とするユーザの指の動きについて説明する。なお、本開示では、ユーザの指の動きの説明を簡単にするため、ユーザの左手における指の動きを一例として説明する。なお、本開示は、左手における指の動きに限定されるものではなく、右手における指の動きでもよく、左手及び右手の両方における指の動きに適用してもよい。
【００２２】
図２に、ユーザの左手を模式的に示す。図２（Ａ）はユーザの掌側を示し、図２（Ｂ）は手の甲側を示している。
ユーザの左手は、各指の関節を軸として、各指を構成する骨に繋がる筋肉の伸縮作用により動く。すなわち、各指を動かす筋肉の状態を検出することで、ユーザの指の動きを検出することが可能である。例えば、各指を動かす筋肉の一例には、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４が挙げられる。これらの尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々は、各指を動かすことで、手首周辺で顕著な動きが現れ、例えば、手首周辺の腕から腱が浮かび上がる状態を目視確認が可能な場合もある。なお、以下の説明では、これらの尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の少なくとも１つの筋肉を主力筋と称する場合がある。
【００２３】
そこで、本開示では、ユーザの指の動きについて、各指を動かす筋肉の状態、すなわち、指に近い腕周りである手首周辺の変化（膨縮）を検出することで、各指の動きを検出する。具体的には、センサーアレイ１４は、ユーザの指の動きに応じたユーザの左手首周辺における圧力及び圧力変動を示す検出信号を、装置本体１２へ出力する。
【００２４】
図３に、各指を動かす筋肉の状態を検出するセンサの一例であるセンサーアレイ１４を示す。図３（Ａ）はセンサーアレイ１４の平面図を示し、図３（Ｂ）はセンサーアレイ１４の側面図を示している。
【００２５】
図３（Ａ）及び図３（Ｂ）に示すように、センサーアレイ１４は、前腕、すなわち手首周辺に取り付けられるフレキシブルな細長支持基材１４Ｄを備えている。細長支持基材１４Ｄには、指を曲げる場合に働く前腕の主力筋から作用する圧力を各々検出する複数の圧力素子１４Ａが細長支持基材１４Ｄの前腕側の面に沿って配列された長尺状の圧力検出器１４Ｃが取り付けられている。複数の圧力素子１４Ａの各々には信号線１４Ｂの一端が接続されており、信号線１４Ｂの各々の他端は、図１に示す装置本体１２（入力部１２１）に接続されている。複数の圧力素子１４Ａの各々で検出された圧力に応じた各個別信号は、検出信号として信号線１４Ｂを介して装置本体１２へ出力される。
【００２６】
従って、センサーアレイ１４から出力される検出信号である複数の圧力素子１４Ａの各々の個別信号の分布は、主力筋の平静状態（各指に力を与えない状態）から各指を動かした状態に対応する。そこで、センサーアレイ１４からの異なる検出信号の各々に、文字情報を予め対応させておくことで、ユーザの指の動きに対応する文字情報の出力が可能になる。このユーザの指の動きに対応する文字情報の出力処理を、装置本体１２が実行する。
【００２７】
図４に、センサーアレイ１４による検出信号の一例を示す。図４（Ａ）はセンサーアレイ１４を装着したユーザの指の動きの一例として、ユーザの指を全て折り曲げた状態（所謂、グーの状態）を示している。また、図４（Ｂ）は図４（Ａ）の状態におけるセンサーアレイ１４の検出信号を示し、図４（ｃ）はセンサーアレイ１４周辺の長手方向の断念図を示している。
【００２８】
図４（Ｂ）に示すように、センサーアレイ１４の検出信号には、尺側手根屈筋Ｍ１の収縮に対応して個別信号のピークＰＭ１が現れている。また、浅指屈筋Ｍ２の収縮に対応して個別信号のピークＰＭ２が現れ、長掌筋Ｍ３の収縮に対応して個別信号のピークＰＭ３が現れ、橈側手根屈筋Ｍ４の収縮に対応して個別信号のピークＰＭ４が現れている。
【００２９】
以下の説明では、複数の圧力素子１４Ａの各々の信号を個別信号と称し、複数の圧力素子１４Ａの信号群を検出信号と称して説明するが、区別して説明する必要がない場合には、検出信号と称して説明する場合がある。
【００３０】
なお、センサーアレイ１４は、複数の圧力素子１４Ａを配列した長尺状の圧力検出器１４Ｃに限定されるものではない。例えば、静電容量型のセンサ及び抵抗型のセンサによる応力センサを１次元上に配列した応力センサーアレイでもよい。
【００３１】
また、センサーアレイ１４は、圧力検出器に限定されるものではなく、指を曲げる場合に前腕の主力筋から生じる電力を各々検出する複数の電力素子が、前記細長支持基材の前腕側の面に沿って配列された電力検出器でもよい。
また、手首周辺の変化（例えば、手首の膨縮）による凹凸パターンを光学的に検出する図示しない光学素子を用いて検出するようにしてもよい。
【００３２】
図５に、ユーザの手首にセンサーアレイ１４を装着する場合におけるセンサーアレイ１４の一例を模式的に示す。
図５（Ａ）はユーザの手首にセンサーアレイ１４を装着した状態の一例を示し、図５（Ｂ）はセンサーアレイ１４の側面図を示している。図５に示す例では、センサーアレイ１４は、細長支持基材１４Ｄとして前腕、すなわち手首周辺に取り付けられるフレキシブルなリストバンドとしている。また、図５に示す例では、リストバンドである細長支持基材１４Ｄに表示部１８が内蔵された場合を示している。
【００３３】
図６に、より具体的なセンサーアレイ１４の一例を示す。
図６（Ａ）は、リストバンドである細長支持基材１４Ｄの表面に設けられた表示部１８に、文字情報が表示された状態を示している。図６（Ｂ）は細長支持基材１４Ｄの裏面、すなわちユーザの手首側に設けられたセンサーアレイ１４の斜視図を示している。
【００３４】
ところで、ユーザがリストバンド、すなわち細長支持基材１４Ｄを手首に取り付ける場合、センサーアレイ１４とユーザの手首とが密着していることが好ましい。これは、ユーザが指を曲げる場合に働く前腕の主力筋等の筋肉から作用する圧力を複数の圧力素子１４Ａの各々で検出可能にするためである。そこで、本開示では、ユーザがリストバンド、すなわち細長支持基材１４Ｄを手首に取り付けた場合に、センサーアレイ１４をユーザの手首側に押し付ける構造にしている。
【００３５】
図７に、センサーアレイ１４をユーザの手首側に押し付ける構造の一例を示す。
図７に示す例では、センサーアレイ１４と細長支持基材１４Ｄとの間に伸縮部材１４Ｅを設けている。図７（Ａ）は収縮状態を示し、図７（Ｂ）は伸長状態を示している。なお、図示は省略したが、図７（Ａ）に示す収縮状態を保持するクリップ等の保持部を備えることで、図７（Ａ）に示す収縮状態から図７（Ｂ）に示す伸長状態へ移行させることをユーザの操作により行うことができる。
【００３６】
本開示では、図１に示す装置本体１２は、センサーアレイ１４の検出信号を用いて、ユーザの指の動きに対応する文字情報との対応関係を求める学習処理及びユーザの指の動きに対応する文字情報の出力処理を実行する。
【００３７】
図１に示すように、装置本体１２は、入力部１２１、信号処理部１２２、判定部１２３、学習部１２４、識別部１２５、テンプレート部１２６、出力部１２７、及び表示制御部１２８を備える。装置本体１２では、センサーアレイ１４からの検出信号が、入力部１２１を介して信号処理部１２２に入力されるようになっている。入力部１２１は、入力側がセンサーアレイ１４に接続され、出力側が信号処理部１２２に接続されており、入力されたセンサーアレイ１４の検出信号に対して、例えばノイズ除去等の整形処理を施して出力する機能を有する機能部である。
【００３８】
なお、情報処理装置１０は、本開示の情報処理装置の一例である。判定部１２３及び識別部１２５は、本開示の検出部の一例である。識別部１２５及び出力部１２７は、本開示の出力部の一例である。表示制御部１２８及び表示部１８は、本開示の表示部の一例である。
【００３９】
信号処理部１２２は、入力された検出信号、すなわち複数の個別信号を圧力に換算した圧力信号へ変換する信号処理を行う機能部である。信号処理部１２２の出力側は、判定部１２３を介して学習部１２４又は識別部１２５に接続可能に構成されており、信号処理された圧力信号を装置本体１２の動作モードに応じて学習部１２４又は識別部１２５へ出力するようになっている。
【００４０】
判定部１２３は、装置本体１２の動作モードを、入力操作モード及び学習モードの何れか一方に設定するスイッチとして機能する機能部である。入力操作モードは、ユーザの指の動きに対応する文字情報を出力するモードである。入力操作モードでは、判定部１２３が信号処理部１２２と識別部１２５とを連結する。一方、学習モードは、入力操作モードでユーザの指の動きに対応する文字情報を出力するためのユーザの指の動きと、そのユーザの指の動きに対応する文字情報との対応関係を学習するモードである。学習モードでは、判定部１２３が信号処理部１２２と学習部１２４とを連結する。
【００４１】
モードの設定、すなわち、入力操作モード及び学習モードの何れか一方のモードへの設定は、自動判定又はユーザの操作による判定に応じて設定されるように判定部１２３に予め定められている。自動判定による設定の一例には、情報処理装置１０の装置本体１２への電源投入回数によりモードが設定されることが挙げられる。例えば、情報処理装置１０の装置本体１２に最初の電源投入時に学習モードが設定され、次回以降は入力操作モードが設定されるように判定部１２３を構成すればよい。一方、ユーザの操作の判定による設定の一例には、ユーザの指の動きによるモード設定動作でモードが設定されることが挙げられる。例えば、入力操作モード及び学習モードの何れか一方のモードへの移行に対するユーザの指の動き（以下、モード判定動作という。）を予め定めておき、判定部１２３がモード判定動作として特定されたユーザの指の動きに応じて学習モードまたは入力操作モードを設定するようにすればよい。なお、ユーザの指の動きの特定に関する詳細は後述する。
【００４２】
なお、判定部１２３は、例えば、モード判定スイッチを備えて、モード判定スイッチで入力操作モード及び学習モードの何れか一方に切り替わる、すなわち、信号処理部１２２と識別部１２５又は学習部１２４の何れか一方とを連結するようにしてもよい。
【００４３】
学習部１２４は、学習モードが設定された場合に、センサーアレイ１４からの検出信号を用いて、ユーザの指の動きに対応する文字情報の対応関係を求めて（学習して）、その対応関係をテンプレート部へ格納する機能部である。学習部１２４の第１出力側は、表示制御部１２８に接続されており、第２出力側はテンプレート部１２６に接続されている。学習モードでは、学習部１２４は、対応関係を学習するための文字情報が表示部１８に表示されるように表示制御部１２８へ文字情報を出力する。次に、学習部１２４は、表示部１８に表示された文字情報に対応する指の動きをユーザが行った結果のセンサーアレイ１４からの検出信号を用いて、ユーザの指の動きに対応する文字情報の対応関係を求める（学習する）。そして、学習部１２４は、学習結果の対応関係をテンプレート部１２６に格納する。なお、学習モードでの学習部１２４における学習処理の詳細は後述する。
【００４４】
識別部１２５は、入力操作モードが設定された場合、ユーザの指の動きに対応する文字情報を識別する機能を有する機能部である。テンプレート部１２６には、ユーザの指の動きと文字情報との複数の対応関係が記憶されており、識別部１２５は、テンプレート部１２６に記憶されたユーザの指の動きと文字情報との対応関係を参照可能になっている。すなわち、識別部１２５は、第１の入力側が信号処理部１２２の出力側に接続され、第２の入力側がテンプレート部１２６に接続されており、テンプレート部１２６に記憶された対応関係を用いて、ユーザの指の動きを判別し、判別したユーザの指の動きに対応する文字情報を識別する。また、識別部１２５は、出力側が出力部１２７に接続されており、ユーザの指の動きに対応する文字情報を出力部１２７へ出力する。なお、入力操作モードでの識別部１２５における入力操作処理の詳細は後述する。
【００４５】
出力部１２７は、装置本体１２の外部装置に文字情報を出力する機能を有する機能部である。本開示では、外部装置の一例として他の情報処理装置と通信する通信部１６、及びディスプレイ等の表示部１８を装置本体１２に接続した場合を説明する。まず、出力部１２７は、通信部１６に接続されており、入力された文字情報を、通信部１６へ出力するようになっている。この通信部１６が文字情報を送信することにより、情報処理装置１０と異なる情報処理装置において、ユーザの指の動きに対応する文字情報が受信される。また、出力部１２７は、表示制御部１２８を介して表示部１８にも接続されている。表示制御部１２８は、出力部１２７からの文字情報が表示部１８に表示されるように、表示用信号を表示部１８へ出力するようになっている。これにより、ユーザの指の動きに対応する文字情報が表示部１８に表示される。
【００４６】
なお、本開示では、外部装置の一例として通信部１６及び表示部１８を装置本体１２に接続した場合を説明するが、外部装置は、通信部１６及び表示部１８の何れか一方でもよい。また、外部装置は、通信部１６及び表示部１８に限定されるものではなく、その他の装置であってもよい。
【００４７】
次に、学習モードにおいて学習部１２４で実行される学習処理を説明する。
学習処理は、ユーザの指の動きと、そのユーザの指の動きに対応する文字情報の対応関係について、ユーザの指の異なる複数の動きの各々を識別するための識別性を高めた対応関係を求める処理である。学習部１２４は、判定部１２３により学習モードが設定された場合に、センサーアレイ１４からの検出信号を用いて、ユーザの指の動きに対する文字情報の対応関係を求める。そして、求めた対応関係をテンプレート部１２６へ格納する。
【００４８】
まず、ユーザの指の動きを説明する。
センサーアレイ１４からの検出信号は、ユーザの各指の動きを示している。すなわち、ユーザの各指の異なる動きに応じて検出信号がセンサーアレイ１４から出力される。例えば、各指を折り曲げた位置に応じてセンサーアレイ１４からの検出信号は、変化する。すなわち、左手の指各々の折り曲げた位置による左手の各指の異なる状態に対応して異なる検出信号がセンサーアレイ１４から出力される。
【００４９】
ところが、左手の指各々を折り曲げることによる左手の各指の異なる状態を定めることは、指の折り曲げ方を制限する等のように、自在に指を折り曲げることに比べてユーザへの負担が増加する。また、僅かな指の折り曲げでは、センサーアレイ１４から出力される検出信号の差異が少なく、高精度で検出信号を判別する等のように装置が複雑化する場合もある。
【００５０】
そこで、本開示では、一般的な指動作によってユーザの指の動きを検出する。本開示では、一般的な指動作の一例として指同士を接触させる指動作をユーザの指の動きとして用いる。
一方、左手において、指同士の接触可能な部位は多数あるため、接触位置のズレによりユーザの指の動きを誤って検出する虞がある。このため、本開示では、指同士の接触可能な部位を予め定めている。
【００５１】
図２に示すように、ユーザの左手では、親指Ｕｏは、１つの関節によって指の根元から基節、末節と呼ばれる２つの指節に分けられている。また、親指以外の指である人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、小指Ｕｃは、それぞれ２つの関節によって指の根本から基節、中節、末節と呼ばれる３つの指節に分けられている。ここで、親指以外の指における指節による３ｘ４の１２個の領域の各々は、親指Ｕｏの接触が可能である。すなわち、親指Ｕｏの末節の部位と、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの基節、中節、及び末節の各々の部位とは接触が可能である。
【００５２】
そこで、本開示では、指同士を接触させる部位として、親指Ｕｏの末節の部位と、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの基節、中節、及び末節の何れかの部位とを定める。従って、親指Ｕｏの末節の部位と、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの基節、中節、及び末節の各々の部位との接触を、センサーアレイ１４からの検出信号を用いて判別することにより、ユーザの指の動きを識別することができる。なお、本開示では、指同士を接触させる場合に、親指Ｕｏを入力操作における指示側の予め定めた指とし、他の指を被指示側の指とする。
【００５３】
なお、親指Ｕｏが接触する部位は、掌の一部を含めることができる。例えば、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの各側の掌の部位は、各指の基節に隣接する部位であり、親指Ｕｏによる接触が可能である。従って、本開示では、指同士の接触は、親指Ｕｏの末節の部位と、他の指の指節の部位、又は他の指の指節の部位及び掌の部位とを定めることができる。
【００５４】
ここで、ユーザの指の動きを検出する場合における指同士の接触は、接触時に生じる検出信号の振動振幅によって検出することができる。
【００５５】
図８に、ユーザの指の動きに伴ってセンサーアレイ１４から出力された検出信号の一例を示す。
図８に示す例では、センサーアレイ１４から出力された複数の圧力素子１４Ａの各個別信号の平均値を、検出信号とした場合を示している。
【００５６】
指同士が接触した場合、主力筋である、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の少なくとも１つの筋肉は、振動する。この振動は、センサーアレイ１４から出力された検出信号に現れる。
【００５７】
図８に示すように、検出信号の特性Ｗ０は、ユーザの指を全て折り曲げた状態（所謂、グーの状態）における検出信号の特性を示している。ユーザの指を全て折り曲げた状態では、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々が変化し、ユーザの１つの指のみを動かした場合に比べて検出信号の大きさが大きくなる。また、ユーザの指を全て折り曲げた状態では、親指Ｕｏ以外の指の末節の部位が掌に接触して検出信号は時間ｔ１で最大値となり、最大振幅Ｈ０で振動する。その振動中心の検出信号値Ｄａｖ０を、ユーザの指を全て折り曲げた状態（所謂、グーの状態）における検出信号の強度とする。
【００５８】
また、特性Ｗ１は、親指Ｕｏの末節の部位と、人指し指Ｕｓの基節の部位とを接触した状態の特性を示している。特性Ｗ１では、時間ｔ２で最大値となり、最大振幅Ｈ１で振動し、その振動中心の検出信号値Ｄａｖ１の検出信号の強度となっている。さらに、図８に示す検出信号の特性Ｗ２は、親指Ｕｏの末節の部位と、特性Ｗ１と同一の指である人指し指Ｕｓの中節の部位とを接触した状態の特性を示している。特性Ｗ２では、時間ｔ３で最大値となり、最大振幅Ｈ２で振動し、その振動中心の検出信号値Ｄａｖ２の検出信号の強度となっている。
【００５９】
特性Ｗ３は、親指Ｕｏの末節の部位と、人指し指Ｕｓの基節の部位とを時系列で２回連続して接触した状態の特性を示している。特性Ｗ１では、時間ｔ４、ｔ５で最大値となり、最大振幅Ｈ１で振動し、その振動中心の検出信号値Ｄａｖ１の検出信号の強度となっている。
【００６０】
このように、指同士の接触部位に応じて検出信号の強度が変化する。従って、検出信号の強度から、親指Ｕｏの末節の部位が接触した同一の指において、接触部位が変化したことを判別できる。また、同一部位を複数回接触した場合は検出信号の強度に変化は零又は微小である。すなわち、親指Ｕｏの末節の部位を同一の指の異なる部位に接触させた場合、主力筋の変化は類似して検出信号の強度変化となる。従って、検出信号の強度変化を検出することで、少なくとも親指Ｕｏの末節の部位が同一の指の異なる部位に接触された状態に移行したことが検出される。これにより、指同士の異なる接触部位による検出信号の強度の各々を特定すれば、ユーザの指の動きを識別することができる。
【００６１】
ところで、指同士の接触として、親指Ｕｏの末節の部位と親指Ｕｏ以外の指の指節の部位とに接触してから異なる指の指節の部位に接触を移行した場合、検出信号の強度が一致又は近い強度になる場合がある。一方、親指Ｕｏの末節に対する異なる指の指節への接触では、主力筋の変化が異なる。すなわち、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々に対応する圧力素子１４Ａの各個別信号の強度が異なって、センサーアレイ１４の信号分布（図４（Ｂ）参照）が異なる信号分布パターンとなる。従って、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの各々について、親指Ｕｏの末節の部位を接触させた場合における信号分布を予め検出し、信号分布パターンとして記憶しておけば、信号分布パターンを用いて親指が接触された他の指を判別できる。この予め検出する信号分布パターンは、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々に対応する圧力素子１４Ａの各個別信号の強度値を用いることができる。また、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々に対応する圧力素子１４Ａの各個別信号の強度の相対関係でもよい。
【００６２】
ここで、指同士を接触させる場合に、親指Ｕｏを入力操作における指示側の予め定めた指とし、他の指を被指示側の指とした場合、親指Ｕｏによる指示で識別可能な指節の部位は少なくとも１２か所である。一方、学習処理で指の動きに対応する文字情報は、５０音、英数字及び記号等の文字があり、対応関係を構築する場合における領域として、十分ではない。そこで、本開示では、文字情報を複数のグループに分割し、各グループの代表として予め定めた文字情報（以下、代表文字情報という。）を、親指Ｕｏ以外の指の指節の部位に対応させる。そして、同一の指節でグループ内の文字情報の対応を切り替えるように構成する。
【００６３】
本開示では、ユーザの指の動きは、指同士の接触、及び同一部位への接触回数で識別可能なものとする。すなわち、指節の同一部位に対する接触回数を含めてユーザの指の動きとする。これにより、グループ分けしたグループ内の文字情報を、１つの指節に対応させることができる。例えば、指同士の接触で同一部位への１回の接触で代表文字情報に対応させ、時系列に連続する接触回数に応じてグループ内の文字情報に順次対応させる。具体的な一例では、５０音について「あ」行の文字情報を代表文字情報とし、代表文字情報と、代表文字情報における「い」行から「お」行の文字情報とを１グループに定める。例えば、指同士の１回の接触で代表文字情報「あ」が対応し、同一部位への２回の接触で文字情報「い」が対応するように、接触回数に応じて順次、グループ内の文字情報が対応される。
【００６４】
また、文字情報には、ひらがな、英数字、及び記号等があり、これらの全てを指同士の接触、及び同一部位への接触回数で識別可能なものとすることは困難である。そこで、本開示では、文字情報を、文字の種類、例えば、ひらがな、英数字、及び記号で分類し、分類した文字の種類毎にテンプレートを定めている（詳細は後述）。
【００６５】
図９に、被指示側の各指の各指節に文字情報を対応させた一例を模式的にを示す。図９では、ユーザの指の指節に文字情報が描画されるのではなく、各指の各指節に文字情報が対応されたことを模式的に示したものである。図９（Ａ）は第１テンプレートとして５０音について「あ」行の文字情報を代表文字情報を対応させた一例を示している。また、図９（Ｂ）は第２テンプレートとして矢印記号情報を代表文字情報を対応させた一例を示している。
【００６６】
従って、学習処理では、以上説明したセンサーアレイ１４の検出信号により特定されたユーザの指の動きに、文字情報を対応させる。すなわち、センサーアレイ１４の検出信号に基づいて、接触された指、指節、接触時の信号分布パターン、及び同一部位への接触回数の各々によって、ユーザの指の動きを特定し、特定したユーザの指の動きと文字情報との対応関係を求める。
【００６７】
次に、学習モードにおいて実行される学習処理を学習手順に従って説明する。学習処理は、学習部１２４において第１学習手順から第４学習手順までが順次実行される。
学習処理の第１学習手順は、これから学習を行う指の動きを促す情報をユーザに提示する処理である。ここでは、指同士を接触することを促す表示情報を表示する処理が行われる。すなわち、図１に示す学習部１２４は、指同士を接触することを促す表示情報を表示制御部へ出力する。表示制御部１２８は学習部１２４からの表示情報が表示部１８に表示されるように制御する。この表示情報は、少なくとも親指Ｕｏを動かして、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの何れか１つを指定した指への接触を、ユーザに促す情報である。また、表示情報は、指同士の接触を複数回行わせることを促す情報を含む。すなわち、指同士の接触を複数回行わせることを促す表示情報を表示部１８へ表示する処理が行われる。
【００６８】
表示部１８に表示する表示情報は、ユーザが直感的に理解可能なメッセージが好ましい。例えば、親指Ｕｏの末節の部位と人指し指Ｕｓの指節の部位との接触による指同士の接触を促す表示情報には、「親指と人差し指を接触させて下さい」等のメッセージが挙げられる。また、指の指節の部位を促す表示情報には、末節の部位に対応する「人差し指の先端」、中節の部位に対応する「人差し指の中腹」、及び基節の部位に対応する「人差し指の末端」等のメッセージが挙げられる。
【００６９】
次の第２学習手順は、センサーアレイ１４の検出信号を取得し、ユーザの指の動きに対する検出信号の信号形態を特定する処理である。ユーザは、第１学習手順で表示部１８に表示された表示情報を参照して指定された指同士の接触による指の動きを行う。このユーザの指の動きに対するセンサーアレイ１４の検出信号が取得される。そして、センサーアレイ１４の検出信号を用いて、ユーザの指の動きの信号形態を示す情報を特定する。本開示では、センサーアレイ１４の検出信号を用いて特定する信号形態を示す情報として、接触時における検出信号の振動振幅ｖｉｄ、検出信号の強度Ｄａｖ、センサーアレイ１４の信号分布パターンＰｔ、及び複数回連続して接触した場合の時間間隔Ｔｈの各情報を用いる。
【００７０】
接触時における検出信号の振動振幅ｖｉｄは、指同士の接触を検出するために用いる情報である。検出信号の強度Ｄａｖは、指同士が接触された場合における指節を検出するために用いる情報である。例えば、検出信号の強度Ｄａｖは、次の（１）式を用いて導出する。また、検出信号の振動振幅ｖｉｄは、検出信号の強度Ｄａｖを用いて次に示す（２）式を用いて導出する。
Ｄａｖ＝（Ｄ１＋Ｄ２＋Ｄ３＋・・・＋Ｄｍ）／ｍ  ・・・（１）
ｖｉｄ＝Ｄａｖ（ｍａｘ）−Ｄａｖ（ｍｉｎ）      ・・・（２）
但し、Ｄｉ（１≦ｉ≦ｍ）はｉ番目の圧力素子１４Ａの個別信号の強度であり、ｍは圧力素子１４Ａの総数である。また、Ｄａｖ（ｍａｘ）は強度Ｄａｖの最大値であり、Ｄａｖ（ｍｉｎ）は強度Ｄａｖの最小値である。
【００７１】
なお、検出信号は、雑音抑制のため、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４を主力筋として、各々に対応する圧力素子１４Ａの個別信号を用いることが好ましい。この場合、主力筋は、例えば、センサーアレイ１４における圧力素子１４Ａの個別信号の各々の信号分布のピークが最大強度から４番目の強度までの圧力素子１４Ａを特定すればよい（図４（Ｂ）参照）。また、検出信号の強度Ｄａｖは、判別性を高めるため、圧力素子１４Ａの個別信号に予め定めた係数を乗じて、重みを付加してもよい。なお、以下の説明では、４つの主力筋に対応する４つの圧力素子１４Ａの個別信号による検出信号を用いる場合を説明する。
【００７２】
センサーアレイ１４の信号分布パターンＰｔは、指同士が接触された場合における指を検出するために用いる情報である。複数回連続して接触した場合の時間間隔Ｔｈは、統一部位で指同士が複数回接触された場合における１回の時間間隔を検出するために用いる情報である。センサーアレイ１４の信号分布パターンＰｔは、前記４種類の筋Ｍ１からＭ４を主力筋として、対応する圧力素子１４Ａの個別信号の強度を用いる。主力筋の個別信号による強度を用いた信号分布パターンＰｔは、次に示す（３）式で表せる。
Ｐｔ＝（ＤＭ１、ＤＭ２、ＤＭ３、ＤＭ４）  ・・・（３）
ただし、ＤＭ１、ＤＭ２、ＤＭ３、ＤＭ４は、尺側手根屈筋Ｍ１、浅指屈筋Ｍ２、長掌筋Ｍ３、及び橈側手根屈筋Ｍ４の各々に対応する圧力素子１４Ａの個別信号の強度である。
【００７３】
次の第３学習手順は、異なるユーザの指の動きの各々の信号形態を示す情報を特定するまで、第１学習手順及び第２学習手順を繰り返す処理である。第３学習手順によって、異なる指同士の接触による各々の信号形態を示す情報が特定される。すなわち、親指Ｕｏの末節の部位と、少なくとも、人指し指Ｕｓ、中指Ｕｎ、薬指Ｕｋ、及び小指Ｕｃの基節、中節、及び末節の各々の部位との接触時における信号形態を示す情報が特定される。
【００７４】
なお、指同士の接触として、親指Ｕｏの末節の部位と、指定された指の何れか１つの指節との接触による検出信号から、同じ指の他の指節の検出信号を推定可能である場合は、同じ指の指節毎の第１学習手順及び第２学習手順を省略することができる。例えば、親指Ｕｏの末節の部位と、人指し指Ｕｓの末節の部位との接触による検出信号が、他の指節、すなわち、人指し指Ｕｓの基節及び中節の部位各々による検出信号に相対関係がある場合、その相対関係から同じ指の他の指節の検出信号を推定可能である。
【００７５】
また、第１学習手順及び第２学習手順には、指同士の接触による信号形態を示す情報の特定に加えて、複数の指同士の接触による信号形態を示す情報の特定も含まれる。
図１０に、複数の指同士の接触によるユーザの指の動きの一例を示す。図１０（Ａ）は、ユーザの指を全て折り曲げた状態（所謂、グーの状態）を示している。また、図１０（Ｂ）は、ユーザの指を全て広げた状態（所謂、パーの状態）を示している。
【００７６】
図１０（Ｂ）に示すユーザの指を全て広げた状態は、平成状態としてユーザの指の動きの基準状態とすることができる。従って、図１０（Ｂ）に示すユーザの指を全て広げた状態（所謂、パーの状態）から、図１０（Ａ）に示す全て折り曲げた状態（所謂、グーの状態）へ移行した場合に、ユーザの指の動きに対する信号形態を示す情報が特定される。
【００７７】
図１１に、複数の指同士の接触によるユーザの指の動きのその他の例を示す。図１１（Ａ）は、ユーザの指を全て折り曲げた状態（所謂、グーの状態）から手首を角度θで折り曲げた状態を示している。また、図１１（Ｂ）は、図１０（Ａ）と同様にユーザの指を全て折り曲げた状態（所謂、グーの状態）を示している。
【００７８】
これらの図１０及び図１１に示すユーザの指の動きは、文字情報に対応させることも可能であるが、コマンド及び命令等の操作に関係する情報に対応させることが好ましい。本開示では、図１０に示すユーザの指の動きは、情報処理装置１０を起動させる起動コマンド、及び情報処理装置１０を停止させる停止コマンドに対応させる場合の一例を説明する。また、図１１に示すユーザの指の動きは、学習モードへの移行を示すモード判定動作の学習モード移行コマンドに対応させる場合の一例を説明する。なお、本開示による技術は、図１０及び図１１に示すユーザの指の動きを、情報処理装置１０の起動及び停止のコマンドに対応させることに限定するものでないことは勿論である。
【００７９】
次に、第４学習手順は、特定された信号形態を示す情報に文字情報を対応付けたテーブル、すなわち、ユーザの指の動きと、文字情報との対応関係を示すテーブルを生成する処理である。
【００８０】
ここで、文字情報には、ひらがな、英数字、及び記号等があり、これらの全てを指同士の接触、及び同一部位への接触回数で識別可能なものとすることは困難である。そこで、本開示では、文字情報を、文字の種類、例えば、ひらがな、英数字、及び記号で分類し、分類した文字の種類毎にテンプレートを定めている。
【００８１】
図１２に、予め定めた文字の種類毎のテンプレートの一例を示す。図１２に示す例では、「ひらがな」の種類により分類した文字情報のテンプレートが第１テンプレートとして示されている。また、「記号」の種類により分類した文字情報のテンプレートが第２テンプレートとして示されている。同様に、「英文字」の種類により分類した文字情報のテンプレートが第３テンプレートとして示され、「数字」の種類により分類した文字情報のテンプレートが第４テンプレートとして示されている。
【００８２】
従って、第４学習手順では、特定された信号形態を示す情報にテンプレートによる文字情報を対応付けた対応関係をテーブルとして生成する。
【００８３】
図１３に、ユーザの指の動きと、文字情報との対応関係を示すテーブルの一例を示す。図１３に示す例では、文字の種類により分類した文字情報のテンプレートが第１テンプレートとして示されている。また、「記号」の種類により分類した文字情報のテンプレートが第２テンプレートとして示されている。同様に、「英文字」の種類により分類した文字情報のテンプレートが第３テンプレートとして示され、「数字」の種類により分類した文字情報のテンプレートが第４テンプレートとして示されている。
【００８４】
図１４に、ユーザの指の動きと、コマンドとの対応関係を示すテーブルの一例を示す。図１４に示す例では、「取消」は文字入力の取り消し（又は削除）を指示する取消コマンドを示し、「切替」は、テンプレートの切り替えを指示する切替コマンドを示し、「変換」は、ひらがなから漢字への変換を指示する変換コマンドを示している。
【００８５】
次に、第４学習手順では、生成したユーザの指の動きと、コマンドとの対応関係を示すテーブルを学習結果としてテンプレート部１２６（図１参照）に格納する。
また、センサーアレイ１４からの異なる検出信号をパターン化し、パターン化された検出信号の各々に、文字情報又はコマンドを対応させておく対応関係を示すテーブルをテンプレート部１２６（図１参照）に格納してもよい。
【００８６】
なお、前記学習処理では、ユーザの指同士の接触を促して、接触部位及び接触回数と文字情報とを対応付けた場合を説明したが、ユーザが文字情報に対応する接触部位を設定するようにしてもよい。すなわち、表示部１８に表示する表示情報に文字情報を含めて当該文字情報に対応する部位を、ユーザが指定するようにしてもよい。例えば、表示部１８に文字情報を表示し、表示された文字情報に対応するユーザの指の動き、すなわち、指同士の接触を促す。そして、ユーザは、表示された文字情報の対応として希望する指同士を接触させる。これによって、文字情報に対応するユーザの指の動きが定まる。従って、ユーザが希望するテンプレート、すなわち、ユーザ定義のテンプレートが構築される。
【００８７】
なお、本開示では、学習部１２４において、ユーザの指の動きに対応する文字情報との対応関係を求める学習処理を行う場合を説明したが、装置本体１２で学習処理を行うことに限定されるものではない。例えば、ユーザの指の動きに対応する文字情報との対応関係を予め求めておき、予め求めた学習結果をテンプレート部１２６へ格納するようにしてもよい。予め求めた学習結果をテンプレート部１２６へ格納する場合、判定部１２３及び学習部１２４は省略可能である。
【００８８】
次に、入力操作モードにおいて識別部１２５で実行される入力操作処理を説明する。
入力操作処理は、入力操作モードが設定された場合に、センサーアレイ１４からの検出信号、及びテンプレート部１２６に格納されたテーブルを用いて、ユーザの指の動きに対応する文字情報を識別する処理である。
【００８９】
入力操作処理は、識別部１２５において第１入力手順から第４入力手順までが順次実行される。
【００９０】
入力操作処理の第１入力手順は、ユーザの指の動きによる入力操作が可能な状態に移行したことを促す処理である。すなわち、ユーザの指の動きにより入力操作を行うにあたり、入力操作が可能な状態に移行したことを示す表示情報を表示部１８に表示して、ユーザに報知する。このため、識別部１２５は、所定記号等の表示情報が表示部１８に表示されるように所定記号の表示情報を出力部１２７を介して表示制御部１２８へ出力する。表示制御部１２８は識別部１２５からの表示情報が表示部１８に表示されるように制御する。この表示情報の表示は、アンダーバー等の記号の表示情報の点滅等が挙げられる。
【００９１】
なお、ユーザの指の動きによる入力操作が可能な状態に移行する前に、ユーザがセンサーアレイ１４を装着した際の校正処理を行うことが好ましい。校正処理は、センサーアレイ１４の装着時における個人別の装着設定処理であり、センサーアレイ１４の検出信号の校正、及び主力筋に対応するセンサーアレイ１４の圧力素子１４Ａの特定が挙げられる。すなわち、ユーザがセンサーアレイ１４を装着した場合、センサーアレイ１４の検出信号の振動振幅の値、及び主力筋に対するセンサーアレイ１４の装着位置等がユーザ毎に相違する。校正処理は、ユーザ毎に相違する各種の値を、センサーアレイ１４を装着したユーザに適合する値に校正する処理である。具体的には、校正処理は、ユーザ毎に相違する値を、テンプレート部１２６に格納されたテーブルに適合させる処理を実行する。ユーザ毎に相違する値には、接触時の検出信号の振動振幅ｖｉｄ、検出信号の強度Ｄａｖ、センサーアレイ１４の信号分布パターンＰｔ、及び複数回連続して接触した場合の時間間隔Ｔｈの各値が挙げられる。
【００９２】
次の第２入力手順は、これから入力操作を行う指の動きを検出する処理である。すなわち、第２入力手順では、センサーアレイ１４の検出信号を取得し、センサーアレイ１４の検出信号に基づいて、ユーザの指の動きに対する検出信号の信号形態を示す情報を特定する。ここでは、検出信号の信号形態を示す情報は、接触時における検出信号の振動振幅ｖｉｄ、検出信号の強度Ｄａｖ、センサーアレイ１４の信号分布パターンＰｔ、及び複数回連続して接触した場合の接触回数の各情報を用いる。
【００９３】
次に、第３入力手順は、特定した指の動きに対応する文字情報を識別する処理である。すなわち、第３入力手順では、第２入力手順で特定した検出信号の信号形態と、テンプレート部１２６に格納されたテーブルにおける検出信号の信号形態とを比較し、一致又は適合度が最大値となるテーブル上の検出信号の信号形態を特定する。次に、特定したテーブル上の検出信号の信号形態に対応する文字情報を抽出することにより、テンプレート部１２６に格納されたテーブルから、指の動きに対応する文字情報を識別する。
【００９４】
なお、適合度は、検出信号の強度Ｄａｖ、及びセンサーアレイ１４の信号分布パターンＰｔの各々の比率等を用いて導出する。例えば、適合度は、第２入力手順で特定した強度Ｄａｖとテーブル上の強度Ｄａｖとの差、及び第２入力手順で特定した信号分布パターンＰｔとテーブル上の信号分布パターンＰｔとの差の各々が、小さくなるに従って適合度が高くなるように予め定めた演算式を用いて導出する。
【００９５】
次の第４入力手順は、指の動きに対応する文字情報を出力する処理である。すなわち、第４入力手順では、第３入力手順で識別した文字情報を、出力部１２７を介して表示制御部１２８へ出力する。表示制御部１２８は識別部１２５からの表示情報が表示部１８に表示されるように制御する。これによって、表示部１８には指の動きに対応する文字情報が表示される。また、第４入力手順では、第３入力手順で識別した文字情報を、出力部１２７を介して通信部１６へ出力する。このように通信部１６が文字情報を送信することにより、情報処理装置１０と異なる情報処理装置において、ユーザの指の動きに対応する文字情報が受信される。
【００９６】
前記学習処理及び入力操作処理を含む処理を実行する情報処理装置１０の装置本体１２は、コンピュータにより実現可能である。
図１５に、情報処理装置１０の装置本体１２をコンピュータにより実現したコンピュータ１２Ｘの構成の一例を示す。
【００９７】
図１５に示すように、コンピュータ１２Ｘは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２Ａ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２Ｂ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄがバス１２Ｅを介して各々接続されている。また、Ｉ／Ｏ１２Ｄにはセンサーアレイ１４、通信部１６、及び表示部１８が接続されている。
【００９８】
ＲＯＭ１２Ｃには、指の動きと文字情報との対応関係に関する学習処理及び入力操作処理を含む処理を実行させる情報処理プログラム１２Ｐが格納されている。ＣＰＵ１２Ａは、情報処理プログラム１２ＰをＲＯＭ１２Ｃから読み取りＲＡＭ１２Ｂに展開し、情報処理プログラム１２Ｐによる処理を実行する。ＣＰＵ１２Ａが情報処理プログラム１２Ｐによる処理を実行することで、コンピュータ１２Ｘは図１に示す装置本体１２として動作する。なお、情報処理プログラム１２Ｐは、ＣＤ−ＲＯＭ等の記録媒体により提供し、流通するようにしても良い。
【００９９】
次に、本開示に係る情報処理装置１０の装置本体１２として動作するコンピュータ１２Ｘによる処理を説明する。
【０１００】
図１６に、情報処理プログラム１２Ｐによる処理の流れを示す。情報処理プログラム１２Ｐは、コンピュータ１２Ｘへの電源投入された際にＣＰＵ１２Ａにより実行される。
【０１０１】
まず、ステップＳ１００では、センサーアレイ１４の検出信号を取得する。このステップＳ１００では、センサーアレイ１４からの検出信号に含まれるｍ個の圧力素子１４Ａ各々の個別信号の強度Ｄｉを取得し、前記（１）式を用いて検出信号の強度Ｄａｖを導出する。次のステップＳ１０２では、ステップＳ１００で導出した強度Ｄａｖが予め定めた閾値Ｄｓを超えるまで否定判断を繰り返し、肯定判断された場合、ステップＳ１０４へ処理を移行する。
【０１０２】
ステップＳ１００及びステップＳ１０２の処理は、情報処理装置１０を起動させる処理の一例である。すなわち、情報処理装置１０の起動コマンドに対応するユーザの指の動き（図１０参照）が識別された場合に、ステップＳ１０４へ処理を移行する。
【０１０３】
ステップＳ１０４では、学習モードか入力操作モードかの判定処理が実行される。このステップＳ１０４では、センサーアレイ１４の検出信号を取得して、学習モードへの移行を示すモード判定動作であるユーザの指の動き（図１１参照）か否かを判断する。すなわち、モード判定動作が特定された場合は、ステップＳ１０６へ処理を移行する。
【０１０４】
これらのステップＳ１００からステップＳ１０４の処理は、判定部１２３で実行される処理に対応する。
【０１０５】
学習モードへの移行を示すモード判定動作であるユーザの指の動きが特定された場合、ステップＳ１０６で、例えば、前記第１学習手順から第４学習手順による学習処理を順次実行した後、本処理ルーチンを終了する。ステップＳ１０６の処理は、学習部１２４で実行される処理の一例である。
【０１０６】
一方、ステップＳ１０４で、ユーザの指の動きに変化がない等のようにモード判定動作が特定されない場合は、ステップＳ１０８以降の入力操作モードにおける処理を実行する。
【０１０７】
ステップＳ１０８では、ユーザ毎に相違する各種の値を、センサーアレイ１４を装着したユーザに適合する値に校正する校正処理を実行する。前記したように、校正処理は、センサーアレイ１４の装着時における個人別の装着設定処理であり、センサーアレイ１４の検出信号の校正、及び主力筋に対応するセンサーアレイ１４の圧力素子１４Ａの特定が行われる。この校正処理を実行することで、ユーザ毎に相違する各種の値が校正され、異なるユーザによりセンサーアレイ１４が装着された場合における値の変動が抑制される。また、同一ユーザであっても時間経過によって検出信号の振動振幅の値の変動、及び装着位置のズレ等が生じた場合に、値の変動による影響が抑制される。
【０１０８】
次のステップＳ１１０では、ユーザの指の動きによる入力操作が可能な状態に移行したことを報知する初期表示処理を実行する。この初期表示処理の実行によって、ユーザは、入力操作が可能な状態に移行したことを確認することが可能となる。ステップＳ１１０の初期表示処理は、前記した入力操作処理の第１入力手順の処理の一例である。
【０１０９】
初期表示処理を実行した後は、ステップＳ１１２で、センサーアレイ１４の検出信号を取得する。このステップＳ１１２では、センサーアレイ１４からの検出信号に含まれる主力筋に対応する圧力素子１４Ａ各々の個別信号の強度Ｄｉを取得し、検出信号の強度Ｄａｖを導出する。また、ステップＳ１１２ではセンサーアレイ１４からの検出信号を用いて、検出信号の振動振幅ｖｉｄ、検出信号の信号分布パターンＰｔ、及び時間間隔Ｔｈで複数回連続して接触した場合の接触回数を検出する。
【０１１０】
次のステップＳ１１４では、検出信号の強度Ｄａｖ及び振動振幅ｖｉｄを判別することにより、指同士が接触したか否かを判断する。すなわち、強度Ｄａｖが指の動きの最小値として予め定めた強度Ｄｏを越え（Ｄａｖ＞Ｄｏ）、かつ検出信号の振動振幅ｖｉｄが検出された場合は、ステップＳ１１４で肯定判断し、ステップＳ１１６へ処理を移行する。一方、ステップＳ１１４で否定判断した場合は、ステップＳ１１２へ処理を戻す。
【０１１１】
次に、ステップＳ１１６では、検出信号の信号形態を示す情報を特定することによって、指の動きを検出する。すなわち、ステップＳ１１２で導出及び検出した検出信号の強度Ｄａｖ、信号分布パターンＰｔ、及び接触回数を、指の動きに対応する信号形態として特定する。これらのステップＳ１１２からステップＳ１１６の処理は、前記した入力操作処理の第２入力手順の処理の一例である。
【０１１２】
次のステップＳ１１８では、ステップＳ１１６で特定した信号形態を用いて文字情報を識別する。すなわち、ステップＳ１１８では、ステップＳ１１６で特定した指の動きに対応する検出信号の信号形態と、テンプレート部１２６に格納されたテーブルにおける検出信号の信号形態とを比較する。そして、一致又は適合度が最大値となるテーブル上の検出信号の信号形態を特定する。次に、特定したテーブル上の検出信号の信号形態に対応する文字情報を抽出することにより、テンプレート部１２６に格納されたテーブルから、指の動きに対応する文字情報を識別する。ステップＳ１１８の処理は、前記した入力操作処理の第３入力手順の処理の一例である。
【０１１３】
次のステップＳ１２０では、ステップＳ１１８で識別した文字情報を出力することで、表示部１８に文字情報を表示する。すなわち、ステップＳ１２０では、ステップＳ１１８で識別した文字情報を、出力部１２７を介して表示制御部１２８へ出力する。これによって、表示部１８には指の動きに対応する文字情報が表示される。また、ステップＳ１２０では、文字情報を、出力部１２７を介して通信部１６へ出力する。このように通信部１６が文字情報を送信することにより、情報処理装置１０と異なる情報処理装置において、ユーザの指の動きに対応する文字情報が受信される。ステップＳ１２０の処理は、前記した入力操作処理の第４入力手順の処理の一例である。
【０１１４】
次に、ステップＳ１２２では、ステップＳ１００と同様にセンサーアレイ１４の検出信号を取得して検出信号の強度Ｄａｖを導出し、導出した強度Ｄａｖが予め定めた閾値Ｄｓを超えるまで否定判断を繰り返し、肯定判断された場合、本処理ルーチンを終了する。一方、ステップＳ１２２で否定判断した場合は、ステップＳ１１２へ処理を戻す。このステップＳ１２２の処理は、情報処理装置１０における入力操作を終了させる処理に対応する。すなわち、情報処理装置１０を停止させる停止コマンドに対応するユーザの指の動き（図１０参照）が識別された場合に、本処理ルーチンが終了される。
【０１１５】
以上説明したように、本開示では、指同士の接触によるユーザの指の動きを前腕の筋の変化から特定し、そのユーザの指の動きに対応する文字情報を出力する。すなわち、指同士の接触による指の動きを入力操作として、文字情報を出力する。これにより、ユーザが文字情報を出力するためのタッチパネル及びキーボード等の入力装置の携帯又は設置は要求されない。このため、ユーザビリティが向上される。
【０１１６】
また、本開示では、指同士の接触によるユーザの指の動きと、例えばキーボード入力のキーに対応する文字情報とを対応させ、指同士の接触を検出することで、対応する文字情報を出力する。このように、指同士の接触による指の動きを入力操作とするため、ユーザの各指のみの動きを検出することに比較してユーザの指の動きの識別性が向上する。
【０１１７】
また、本開示では、指の動きは、前腕、特に手首における筋肉の変動から特定するので、撮像装置による指の動き自体の直接検出は不要である。また、指の動き自体を接触センサで直接検出することも不要である。このため、ユーザに対する負担が軽減される。また、前腕、特に手首における筋肉の変動を検出するのみで良いため、リストバンド及び時計等と同様の装着感となり、装着時の身体への負担が軽減される。
【０１１８】
さらに、指同士の接触による指の動きを入力操作とするので、指同士を接触させる指動作がキーボードのキーを押圧したような押圧感が得られる。このため、タッチパネル及びキーボード等の接触型の入力装置の使用感をユーザに提供できる。
【０１１９】
なお、本開示では、指の動きに対応する文字情報を出力する場合を説明したが、文字情報は、５０音、英数字及び記号等の１文字に限定されるものではなく、複数の文字情報を組み合わせた文字列情報でもよい。また、本開示では、指の動きに文字情報を対応させた場合について説明したが、文字情報に代えて画像情報を対応させてもよい。
【０１２０】
また、本開示では、接触時に生じる検出信号の振動振幅によって指同士の接触を検出する場合を説明したが、検出信号の振動振幅に限定されるものではない。例えば、検出信号の立ち上がり特性の勾配が予め定めた閾値を超えた場合に、指同士が接触したとしてもよい。また、検出信号の最大値と最小値の信号幅が予め定めた閾値を超えた場合に、指同士が接触したとしてもよい。
【０１２１】
また、本開示では、指同士の接触について、左手の親指Ｕｏを入力操作における指示側の予め定めた指とし、左手の他の指を被指示側の指とする場合を説明したが、左手の指による指同士の接触に限定されるものではない。例えば、右手の指を、指示側の指及び被指示側の指の少なくとも一方としてもよい。この場合、指の動きを検出するための検出部は少なくとも被指示側の指の動きを検出する前腕に設けることが好ましい。
【０１２２】
また、本開示では、指示側の指として親指と、被指示側の指として親指以外の指とによる指同士の接触について説明したが、親指の指節の部位に文字情報を対応させてもよい。この場合、親指以外の何れか１つの指を指示側の指として定め、指同士の接触を検出すればよい。
【０１２３】
また、本開示では、親指と親指以外の他の指との接触を主として説明したが、指同士の接触は、各々１つの指に限定されるものではない。例えば、複数の指を、指示側の指及び被指示側の指の少なくとも一方としてもよい。このようにすることで、指の動きに対応付け可能な文字情報が増加される。
【０１２４】
さらに、本開示では、指の動きを検出する検出部の一例としてリストバンド状のセンサーアレイ１４（図６参照）を用いた情報処理装置１０の一例を説明したが、情報処理装置１０は専用のリストバンドへの適用に限定されるものではない。例えば、他の情報処理装置と通信する通信部１６を備えた時計等の携帯端末に適用してもよい。
【０１２５】
図１７に、第１の変形例として通信部１６及び表示部１８を備えた時計１０Ａを示す。図１７（Ａ）は表示部１８の目視側の時計１０Ａの平面図を示し、図１７（Ｂ）は時計１０Ａの側面図を示している。
図１７に示すように、第１の変形例では、時計１０Ａの内側、すなわち、ユーザの手首への接触側に、長尺状の圧力検出器１４Ｃが取り付けられている。このように、通信部１６及び表示部１８を備えた携帯端末であれば、本開示の情報処理装置は容易に適用することができる。
【０１２６】
また、本開示では、指の動きを検出する検出部の一例としてセンサーアレイ１４（図６参照）を用いた情報処理装置１０の一例を説明したが、検出部はセンサーアレイ１４に限定されるものではない。例えば、前腕部の形状を検出し、センサーアレイ１４による検出信号を補うようにしてもよい。
【０１２７】
図１８に、第２の変形例として情報処理装置１０Ｂを示す。図１８（Ａ）は側面図であり、図１８（Ｂ）は平面図である。
図１８に示すように、第２の変形例の情報処理装置１０Ｂは、曲げセンサ１５を備えている。曲げセンサ１５は、センサーアレイ１４は、ユーザの前腕、すなわち手首周辺に装着されるフレキシブルな細長支持基材１４Ｄに取り付けられている。曲げセンサ１５は、細長支持基材１４Ｄの屈曲度合いを検出するためのセンサである。この屈曲度合いは、細長支持基材１４Ｄの初期状態（例えば平面状の状態）から変化する曲がり量が大きくなるのに従って大きくなる値となる。例えば、初期状態を１とし、曲率Ｒを除算（＝１／Ｒ）することで導出可能である。
【０１２８】
手首の外周形状は、ユーザが各指を動かすことによって変化する。この手首の外周形状の変化に伴って、細長支持基材１４Ｄも形状が変化する。この細長支持基材１４Ｄの形状の変化を曲げセンサ１５で検出する。すなわち、曲げセンサ１５によって細長支持基材１４Ｄの屈曲度合いを検出することで、ユーザの手首の外周形状の変化を検出する。曲げセンサ１５によって検出した細長支持基材１４Ｄの屈曲度合いは、ユーザの手首表面の変動に対応するので、センサーアレイ１４の検出信号の総和に対応すると考えられる。従って、曲げセンサ１５によって検出した屈曲度合いをセンサーアレイ１４の検出信号の総和を示す信号として用いることで、個別信号の総和の演算が不要となり、演算負荷が軽減される。
【０１２９】
ところで、センサーアレイ１４からの検出信号は、ユーザの手の向きによって変化する場合がある。そこで、ユーザの手の向きによってセンサーアレイ１４からの検出信号が変化する場合、手の向きに対応する検出信号の補正値を予め定めておき、手の向きを検出する検出器、例えば、加速度センサをさらに備えて、センサーアレイ１４からの検出信号を、手の向きに対応する補正値で補正する。このようにすることで、ユーザの手の向きの変化によって変動するセンサーアレイ１４の検出信号の変動を抑制して扱うことができる。
【０１３０】
また、ユーザは或る情報を伝える場合に、意図的に手の向きを変化させる場合がある。そこで、第３の変形例として、情報処置装置１０に、ユーザの手の向きを変化させる動作を含むユーザの動きを特定すること含む構成とすることで、文字情報を出力するために特定する動きがユーザの動きに拡張される。すなわち、本開示では、センサーアレイ１４からの検出信号の信号形態に対応する指の動きを特定し、特定した指の動きに対応する文字情報を出力する場合の一例を説明した。この信号形態に手の向きを示す情報を追加する。これによって、指の動きに対応する文字情報にさらに情報を追加したり、異なる情報に置き換えたりすることができる。
【０１３１】
なお、開示の技術に関する実施形態を説明したが、開示の技術の技術的範囲は上記実施の形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。また、本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１３２】
本開示に関し、以下の事項をさらに開示する。
【０１３３】
（項１）
予め定めた指の動きを検出する検出部と、
前記予め定めた指の異なる複数の動き毎に異なる情報を対応させた対応関係、及び前記検出部で検出された指の動きに基づいて、前記検出部で検出された指の動きが前記複数の動きの何れかである場合に、前記検出部で検出された指の動きに対応する情報を出力する出力部と、
を備えた情報処理装置。
【０１３４】
（項９）
コンピュータに、
項１に記載された情報処理装置の出力部の処理を実行させることを含む情報処理方法。
【０１３５】
（項１０）
コンピュータを、項１に記載された情報処理装置の出力部として機能させるための情報処理プログラム。
【０１３６】
（項１１）
手首の変化を検出する検出部と、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力部と、
を備えた情報処理装置。
【０１３７】
（項１２）
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出部と、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶部と、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力部と、
を備えた情報処理装置。
【０１３８】
（項１３）
手首の変化を検出する検出ステップと、
検出された手首の変化毎に異なる情報を対応させた対応関係に基づいて、情報を出力する出力ステップと、
を含む情報処理方法。
【０１３９】
（項１４）
指の動きに伴う、手首の膨縮を検出し、検出信号を出力する検出ステップと、
前記検出信号をパターン化し、パターン毎に所定の情報、又はコマンドを対応付けた対応関係を記憶する記憶ステップと、
前記検出信号と前記対応関係とに基づいて、前記所定の情報、又はコマンドを出力する出力ステップと、
を含む情報処理方法。
【０１４０】
（項１５）
コンピュータに、
項１１又は項１２に記載された情報処理装置の出力部の処理を実行させることを含む情報処理方法。
【０１４１】
（項１６）
コンピュータを、項１１又は項１２に記載された情報処理装置の出力部として機能させるための情報処理プログラム。
【符号の説明】
【０１４２】
１０      情報処理装置
１０Ａ    時計
１０Ｂ    情報処理装置
１２      装置本体
１２Ｘ    コンピュータ
１４      センサーアレイ
１４Ａ    圧力素子
１４Ｂ    信号線
１４Ｃ    圧力検出器
１４Ｄ    細長支持基材
１４Ｅ    伸縮部材
１６      通信部
１８      表示部
１２１    入力部
１２２    信号処理部
１２３    判定部
１２４    学習部
１２５    識別部
１２６    テンプレート部
１２７    出力部
１２８    表示制御部
【図１】
2019075034.tif 000003
【図２】
2019075034.tif 000004
【図３】
2019075034.tif 000005
【図４】
2019075034.tif 000006
【図５】
2019075034.tif 000007
【図６】
2019075034.tif 000008
【図７】
2019075034.tif 000009
【図８】
2019075034.tif 000010
【図９】
2019075034.tif 000011
【図１０】
2019075034.tif 000012
【図１１】
2019075034.tif 000013
【図１２】
2019075034.tif 000014
【図１３】
2019075034.tif 000015
【図１４】
2019075034.tif 000016
【図１５】
2019075034.tif 000017
【図１６】
2019075034.tif 000018
【図１７】
2019075034.tif 000019
【図１８】
2019075034.tif 000020