(57)【要約】【課題】  携帯端末装置に、使用者が意図する動作を行わせるには、キーボードやキーパッド等を用いるため、十分な操作性を確保しつつ、小型化することが難しい。【解決手段】  圧電センサ２５を使用者の手首の腱の位置に装着して間接的に使用者の指の動きを測定し、加速度センサ２３が使用者の腕の動きを測定する。そして、制御定義用メモリ１６が記憶している各センサが測定した値と、実行すべき処理または入力すべき文字との関係を示す情報である動作入力情報とに従って、ＣＰＵ１２が動作する。【選択図】  図１
2005352739.tif 000002
【特許請求の範囲】
【請求項１】
使用者の腕に装着されて、使用者の指および腕の動きを間接的に測定して測定量を出力する複数のセンサと、
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、
前記センサが出力した測定量に応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段と
を備えたことを特徴とする携帯端末装置。
【請求項２】
複数のセンサのうち、一部のセンサは、使用者の手首にある指の骨に結ばれている腱の隆起を測定するセンサである
請求項１記載の携帯端末装置。
【請求項３】
複数のセンサのうち、一部のセンサは、使用者の手首に装着されて使用者の腕の動きの加速度ベクトルを測定するセンサである
請求項１または請求項２記載の携帯端末装置。
【請求項４】
制御手段は、センサが出力した測定量を用いて演算を行い、演算によって得られた値に応じた入力情報を前記制御定義用メモリから抽出する
請求項１から請求項３のうちいずれか１項記載の携帯端末装置。
【請求項５】
制御定義用メモリおよび制御手段を含む筐体と有線または無線で接続された子機がセンサを搭載する
請求項１から請求項４のうちいずれか１項記載の携帯端末装置。
【請求項６】
一の筐体が、センサと制御定義用メモリと制御手段とを搭載する
請求項１から請求項４のうちいずれか１項記載の携帯端末装置。
【請求項７】
互いの距離を測定して測定量を出力する機能を有する複数の筐体を含み、
制御定義用メモリは、複数種類の測定量または測定量の組み合わせと前記筐体間の距離との組み合わせのそれぞれに対応する入力情報を記憶し、
制御手段は、センサが出力した測定量と前記複数の筐体が出力した測定量とに応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する
請求項１から請求項５のうちいずれか１項記載の携帯端末装置。
【請求項８】
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、使用者の指および腕の動きを間接的に測定する複数のセンサが出力した測定量に応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを含む携帯端末装置と、
前記携帯端末装置と有線または無線で接続された子機とを備え、
前記携帯端末装置は、前記子機との距離を測定する距離測定手段を含み、
前記携帯端末装置または前記子機は、使用者の腕に装着される前記センサを含む
ことを特徴とする入力システム。
【請求項９】
使用者の腕に装着されて、使用者の指および腕の動きをセンサで間接的に測定し、
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶し、
前記センサが出力した測定量に応じた入力情報を抽出し、抽出した入力情報に従って制御を実行する
ことを特徴とする情報入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の指や手首の腱および腕の動きを測定することによって、使用者が意図する動作を行うことができる携帯端末装置、入力システム、情報入力方法に関する。
【背景技術】
【０００２】
従来、携帯端末装置に情報を入力するには、主にキーボードやキーパッド、入力ペン等の入力装置を使用していた。しかし、このような入力装置を、腕時計型やブレスレット型等の小型の端末に、十分な操作性を確保しつつ入力機能を搭載させることは難しい。
【０００３】
そのため、筋電位などの生体信号や、指が物体を叩いたときの振動や加速度等を測定することによって、情報を入力する方法が提案されている。しかし、筋電位を測定する場合、皮膚表面の電気抵抗は発汗や周囲の湿度の影響を受けるため、医療現場等では、電解ペーストを皮膚に塗布した上に測定用の電極を貼付している。このような作業は、携帯端末装置の使用者の負担が大きい。また、周囲の電気製品等からの電磁波によるノイズが混入することが多く、電磁波によるノイズは筋電位を測定する妨げとなる。特に、入力を行う携帯端末装置が、携帯電話機やＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）端末である場合には、電磁波の影響を避けることができない。
【０００４】
動きセンサを有する入力センサ装置を使用者の指先に装着して任意の対象に接触させ、対象の表面に沿って移動させる場合に生じる力に応じて、文字や命令の入力を認識する入力システムが提案されている（例えば、特許文献１参照。）。
【０００５】
また、加速度センサやジャイロセンサ、慣性センサによるセンサを指に装着して指の動きを測定し、測定した指の動きを画面に表示してある仮想キーボード上に重畳して表示し、指の動きに応じて、仮想キーボードのキー入力を検出する情報入力システムが提案されている（例えば、特許文献２参照。）。
【０００６】
【特許文献１】特開２００１−１４２６３１号公報  （段落（００２９）〜（０１０１）、図１）
【特許文献２】特開２００２−２７８６７３号公報  （段落（００１２）〜（００１９）、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載されているシステムは、動きセンサを接触させる対象物が必要であり、ジェスチャーなどの動きを検出することができない。
【０００８】
また、特許文献２に記載されているシステムは、キーボードを表示することができる程度の大きさの表示手段が必要であり、小型化が求められる携帯端末装置に適用することはできない。
【０００９】
そこで、本発明は、使用者の指および腕の動きを測定することによって、使用者が意図する動作を行うことができる携帯端末装置、入力システム、情報入力方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による携帯端末装置は、使用者の腕に装着されて、使用者の指および腕の動きを間接的に測定して測定量を出力する複数のセンサと、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、センサが出力した測定量に応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを備えたことを特徴とする。
【００１１】
複数のセンサのうち、一部のセンサは、使用者の手首にある指の骨に結ばれている腱の隆起を測定するセンサであってもよい。そのような構成によれば、使用者の手首や指の動きを間接的に測定することができる。
【００１２】
複数のセンサのうち、一部のセンサは、使用者の手首に装着されて使用者の腕の動きの加速度ベクトルを測定するセンサであってもよい。そのような構成によれば、使用者の腕の動きを間接的に測定することができる。
【００１３】
制御手段は、センサが出力した測定量を用いて演算を行い、演算によって得られた値に応じた入力情報を制御定義用メモリから抽出してもよい。そのような構成によれば、センサが出力した測定量にもとづいて制御を実行することができる。
【００１４】
制御定義用メモリおよび制御手段を含む筐体と有線または無線で接続された子機がセンサを搭載してもよい。そのような構成によれば、使用者が腕に装着する装置は子機であるため、使用者が腕に装着する装置をより小型化することができる。
【００１５】
一の筐体が、センサと制御定義用メモリと制御手段とを搭載してもよい。そのような構成によれば、一の筐体の携帯端末装置が使用者の指および腕の動きを測定し、使用者が意図する動作を行うことができる。
【００１６】
互いの距離を測定して測定量を出力する機能を有する複数の筐体を含んでもよく、制御定義用メモリは、複数種類の測定量または測定量の組み合わせと筐体間の距離との組み合わせのそれぞれに対応する入力情報を記憶してもよく、制御手段は、センサが出力した測定量と複数の筐体が出力した測定量とに応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行してもよい。そのような構成によれば、携帯端末装置は、センサが測定した使用者の指および腕の動きの測定量に加えて、筐体間の距離に応じて制御を実行することができる。
【００１７】
本発明による入力システムは、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、使用者の指および腕の動きを間接的に測定する複数のセンサが出力した測定量に応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを含む携帯端末装置と、携帯端末装置と有線または無線で接続された子機とを備え、携帯端末装置は、子機との距離を測定する距離測定手段を含み、携帯端末装置または子機は、使用者の腕に装着されるセンサを含むことを特徴とする。
【００１８】
本発明による情報入力方法は、使用者の腕に装着されて、使用者の指および腕の動きをセンサで間接的に測定し、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶し、センサが出力した測定量に応じた入力情報を抽出し、抽出した入力情報に従って制御を実行することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、使用者の指および腕の動きに応じて、使用者が意図する制御を実行することができる。
【００２０】
また、本発明によれば、大きいサイズのキーボードやキーパッド等を用いることなく、使用者が意図する制御を実行することができるため、携帯端末装置をより小型化することができる。
【００２１】
さらに、本発明によれば、ジェスチャーなどの動きを検出して、何らかの対象物に触れることなく使用者が意図する制御を実行することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について図面を参照して説明する。図１は、本発明による携帯端末装置１１を手首に装着した例を示す説明図である。なお、手首に装着するのは、携帯端末装置１１であっても、携帯端末装置１１に有線または無線で接続され、センサを搭載した子機であってもよいが、この実施の形態では、手首に携帯端末装置１１を装着しているものとして説明する。
【００２３】
ところで、指と手首との筋肉は腕にあり、この筋肉と手の骨とがそれぞれ腱で結ばれている。そして、指や手首を曲げるとその角度に応じてそれぞれの腱の部分が隆起する。そこで、携帯端末装置１１の、それぞれの腱の部分に接触するような位置に、圧力を電圧に変換する圧電センサ（センサ）２５を配置する。圧電センサ２５は、腱の部分の隆起によって生じる接触圧を測定する。表示部２２は、白黒またはカラーの液晶パネルや、有機ＥＬ（電子蛍光）等によって実現され、情報を表示する。キーボード１９は、押下して情報を入力するキーを備える。
【００２４】
図２は、本発明による携帯端末装置１１の一構成例を示すブロック図である。携帯端末装置１１は、携帯端末装置１１の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）（制御手段）１２、情報を入力するキーボード１９、キーボード１９に入力された情報をＣＰＵ１２に出力するキー入力部１８、情報を表示する表示部２２、表示部２２を制御する表示制御部２１、３次元の加速度ベクトルを測定する加速度センサ２３、複数の圧電センサ２５、圧電センサ２５を制御し、圧電センサ２５が測定した値をＣＰＵ１２に出力する圧力入力部２４、ＣＰＵ１２が実行する各種の制御プログラムや、かな文字変換等に使用される辞書等の固定的なデータを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１４、ＣＰＵ１２がプログラムを実行する上で一時的に必要とされるデータを記憶する作業用メモリ１５、圧電センサ２５と加速度センサ２３とが測定した値と、それに応じて実行するべき処理または入力するべき文字との関係の情報を記憶する制御定義用メモリ１６、各センサが測定するタイミングを示す信号であるトリガをＣＰＵ１２に出力するタイマ部１７、ＣＰＵ１２と各部を接続するバス１３を含む。
【００２５】
作業用メモリ１５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）によって実現される。加速度センサ２３は、使用者の腕の３次元空間上における加速度ベクトルを測定し、３次元加速度センサによって実現されるが、２次元以下の空間の加速度ベクトルを測定するものでもよいし、例えば、複数の１次元の加速度センサを、それぞれが垂直方向の加速度を測定するように設置したものでもよい。
【００２６】
制御定義用メモリ１６は、例えば、不揮発性メモリによって実現される。なお、例えば、圧電センサ２５と加速度センサ２３とが測定する値、または、圧電センサ２５と加速度センサ２３とが測定する値の組み合わせにもとづいて、指、手首および腕の動きがパターン化され、携帯端末装置１１の工場出荷時等に、制御定義用メモリ１６は、パターン化された動きと、それに応じて実行すべき処理または入力すべき文字との関係を示す情報である動作入力情報を予め記憶している。また、使用者は、キーボード１９を操作して、パターン化された動きと、それに応じて実行すべき処理または入力すべき文字との関係の情報である動作入力情報を、制御定義用メモリ１６に記憶させてもよい。タイマ部１７は、所定の時間間隔（例えば、１０ｍｓ毎）で、トリガをＣＰＵ１２に出力し、ＣＰＵ１２は、トリガが入力されると、加速度センサ２３に加速度ベクトルを測定させ、圧力入力部２４を介して圧電センサ２５に接触圧を測定させる。なお、ＣＰＵ１２は、加速度センサ２３および圧電センサ２５が測定した測定量を用いて所定の演算を行い、演算によって得られた値に応じた動作入力情報を制御定義用メモリから抽出し、抽出した動作入力情報に従って処理を実行したり、文字を入力したりする制御を実行してもよい。
【００２７】
携帯端末装置１１は、例えば、携帯電話機やＰＨＳ端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  ＤａｔａＡｓｓｉｓｔａｎｃｅ、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）等によって実現される。
【００２８】
次に、実施の形態の動作について図面を参照して説明する。図３は、本発明の実施の形態の動作を説明するフローチャートである。
【００２９】
携帯端末装置１１の電源が投入されると、タイマ部１７は、所定の時間間隔でトリガをＣＰＵ１２に出力する。ＣＰＵ１２は、トリガが入力されると、加速度センサ２３に加速度ベクトルを測定させ、圧力入力部２４を介して圧電センサ２５に接触圧を測定させる。このとき、使用者が、携帯端末装置１１を装着した腕や指を動かすと、加速度センサ２３は、加速度ベクトルを測定し、圧電センサ２５は、腱の隆起による接触圧を測定する。圧電センサ２５は、測定した接触圧を圧力入力部２４に入力する。ＣＰＵ１２は、加速度センサ２３が測定した加速度ベクトルを、作業用メモリ１５に記憶させる（ステップＳ１０１）。さらに、ＣＰＵ１２は、圧電センサ２５が圧力入力部２４に入力した接触圧を、作業用メモリ１５に記憶させる（ステップＳ１０２）。
【００３０】
ＣＰＵ１２は、作業用メモリ１５が記憶している加速度ベクトルおよび接触圧にもとづいて、使用者の指、手首および腕の動きをパターン認識し（ステップＳ１０３）、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報とを比較し、動きのパターンを判別する（ステップＳ１０４）。
【００３１】
ＣＰＵ１２は、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報のパターン化した動きとが合致した場合、動作入力情報に従って、パターン化した動きに応じて実行するべき処理を行ったり、文字を入力したりする（ステップＳ１０５）。
【００３２】
ＣＰＵ１２は、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報のパターン化した動きとが合致しない場合、所定時間経過後（ステップＳ１０６）、ステップＳ１０１に戻る。
【００３３】
以上、述べたように、この実施の形態によれば、指や手首の屈伸と、腕の移動または回転の組み合わせによって、使用者は、携帯端末装置１１に対して、意図する操作または文字の入力を行うことができる。そのため、サイズの大きいキーボードやキーパッドが不要になり、携帯端末装置１１をより小型化することができる。
【００３４】
また、携帯端末装置１１を、手首付近に装着するので、腕時計型やブレスレット型等の小型の携帯端末装置として自然な形で装着することができる。
【００３５】
さらに、各センサによる測定対象が、腕の運動や指および手首の機械的な変化量であるので、携帯端末装置１１自体からの、または周囲の電気製品などからの電磁波による影響を受けることがない。
【００３６】
また、使用者は、対象物に触れることなく操作または文字の入力を行うことができるので、ジェスチャーなどの動きを検出することができる。
【００３７】
なお、この実施の形態では、指や手首を曲げた角度（圧電センサ２５が測定した腱の接触圧）と腕の移動や回転の運動（加速度センサ２３が測定した加速度ベクトル）との組み合わせによって、携帯端末装置１１が行う処理や入力する文字を決定するが、これらの組み合わせのうち、一部の組み合わせを用いて携帯端末装置１１が行う処理や入力する文字を決定してもよいし、キーボード１９への入力と組み合わせて携帯端末装置１１が行う処理や入力する文字を決定してもよい。また、１つのセンサが測定した量にもとづいて、携帯端末装置１１が行う処理や入力する文字を決定してもよい。
【００３８】
また、この実施の形態では、指の腱の隆起を測定するセンサとして圧電センサ２５を用いたが、本発明はこれに限定されるものではなく、加速度センサや、歪みゲージ等の、皮膚の起伏の変位が測定できる他のセンサを用いてもよい。腕の移動や回転の運動を測定するセンサとして加速度センサ２３を用いたが、質量計と感圧センサを組み合わせて用いたり、ジャイロセンサが測定した姿勢変化量と姿勢変化速度と姿勢変化加速度とを用いたりして腕の移動や回転の運動を測定してもよい。
【００３９】
使用者の指や手首、腕の動きのパターンに応じて実行されるべき携帯端末装置１１の処理は、例えば、メニュー選択機能や、かな文字変換の機能、カーソル移動機能、画面スクロール機能、各種機能の呼び出し等である。
【００４０】
使用者の腕の動きを、加速度センサ２３が測定した加速度ベクトルのうち、携帯端末装置１１の移動による成分を時間で１回積分して得られる速度ベクトルや、２回積分して得られる変位ベクトルから求めてもよい。
【００４１】
圧電センサ２５が測定した接触圧や、加速度センサ２３が測定した加速度ベクトルから使用者の指や手首、腕の動きのパターンを判別する基準を、使用者の操作によって、変更可能にしてもよい。すると、例えば、携帯端末装置１１を初めて利用する使用者は、大きな変化量で入力を確定することによって誤入力を抑制することができ、携帯端末装置１１の操作に慣れた使用者は、小さな変化量で入力を確定することによって、入力操作を迅速に行うことができる。なお、圧電センサ２５が測定した接触圧や、加速度センサ２３が測定した加速度ベクトルから使用者の指や手首、腕の動きのパターンを判別する基準を、使用者の操作によって、変更可能にしなくてもよい。その場合、動作入力情報をＲＯＭ１４に記憶させてもよい。
【００４２】
携帯端末装置１１の消費電力を低減するために、ＣＰＵ１２は、圧電センサ２５および加速度センサ２３への入力時以外は、圧電センサ２５および加速度センサ２３の電源を切ったりして、パワーセーブ状態にしてもよい。
【００４３】
なお、この実施の形態では、図１の例で示したように、圧電センサ２５を手首の円周に沿って直線上に配置したが、圧電センサ２５を２次元の平面上に配置したり、腱の隆起の移動を測定することができる平面状の圧電センサを用いてもよい。すると、腱の隆起の変化をより正確に測定することができる。すなわち、より複雑な指の動きを測定することが可能になる。
【００４４】
また、制御定義用メモリ１６は、手話による手と腕との動きにもとづく圧電センサ２５と加速度センサ２３とが測定した値と、それに対応する文字や単語との関係の情報を記憶してもよい。聴覚にハンディキャップを持つ人は、手話でコミュニケーションを行うのが一般的であるが、制御定義用メモリ１６が、手話による手と腕との動きと、文字や単語との対応関係を示す情報を記憶していると、手話による手と腕との動きに応じて、携帯端末装置１１に文字や単語を入力することができる。すると、聴覚にハンディキャップを持つ人が、携帯端末装置１１に文字や単語を入力するために、新たな指や腕の動きを習得する必要がなくなる。
【００４５】
ＣＰＵ１２は、各センサから、所定の長さの時間以上の入力や、所定の大きさ以上の入力、測定値の変化が所定の大きさ以上である入力があった場合に、携帯端末装置１１への入力であると判断してもよい。すると、チャタリングによる誤入力を防ぐことができる。
【００４６】
また、携帯端末装置１１は、互いの距離を測定する機能を有し、有線または無線で接続された複数のユニットによって構成されてもよい。このとき、ＣＰＵ１２と、キーボード１９と、キー入力部１８と、表示部２２と、表示制御部２１と、ＲＯＭ１４と、作業用メモリ１５と、制御定義用メモリ１７と、タイマ部１７とを含むユニット（以下、親機という。）は、例えば、音波によって他のユニット（以下、子機という。）との距離を測定する距離測定手段を含む。そして、制御定義用メモリ１６は、手と腕との動きにもとづく圧電センサ２５と加速度センサ２３とが測定した値、および子機との間の距離と、それに対応する文字および処理との関係の情報を記憶してもよい。すると、指や手の動きに加えて、親機と子機との間の距離に応じて、携帯端末装置１１が行う処理や文字を入力することができる。なお、このとき、各センサは、親機が搭載していても、子機が搭載していてもよく、複数のセンサの一部を親機が搭載し、複数のセンサの他の一部を子機が搭載していてもよい。また、距離測定手段を子機が搭載していてもよい。
【産業上の利用可能性】
【００４７】
本発明は、携帯電話機やＰＨＳ端末、ＰＤＡ等の携帯端末装置に利用することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明による携帯端末装置を手首に装着した例を示す説明図である。
【図２】本発明による携帯端末装置の一構成例を示すブロック図である。
【図３】本発明の実施の形態の動作を説明するフローチャートである。
【符号の説明】
【００４９】
１１  携帯端末装置
１２  ＣＰＵ
１３  バス
１４  ＲＯＭ
１５  作業用メモリ
１６  制御定義用メモリ
１７  タイマ部
１８  キー入力部
１９  キーボード
２１  表示制御部
２２  表示部
２３  加速度センサ
２４  圧力入力部
２５  圧電センサ
【図１】
2005352739.tif 000003
【図２】
2005352739.tif 000004
【図３】
2005352739.tif 000005