(57)【要約】【課題】利便性の高い入力装置を提供する。【解決手段】入力装置は、ユーザの手に装着され、照射部、撮像部、測定部、生成部、送信部を備える。照射部は、所定の形状の第１の赤外光パターンをユーザの指に照射する。撮像部は、ユーザの指での反射によって得られた第２の赤外光パターンを撮像する。測定部は、ユーザの指の動きにより生じる振動の大きさを測定する。生成部は、第２の赤外光パターンと第１の赤外光パターンを用いて、ユーザの指の位置の変化の軌跡を特定すると共に、軌跡と振動の大きさの組み合わせに対応する入力信号を生成する。送信部は、入力信号を、入力先の装置に送信する。【選択図】図１
2017004458.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手に装着される入力装置であって、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射する照射部と、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像する撮像部と、
前記ユーザの指の動きにより生じる振動の大きさを測定する測定部と、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する生成部と、
前記入力信号を、入力先の装置に送信する送信部
を備えることを特徴とする入力装置。
【請求項２】
前記生成部は、
前記軌跡の長さが第１の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第１の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
ことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記生成部は、
前記第１の閾値より長い軌跡が得られた期間に前記測定部が観測した振動の大きさが第２の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第１の操作の発生を通知する情報を前記入力信号に含め、
前記第１の閾値より長い軌跡が得られた時刻に観測された前記振動の大きさが前記第２の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第２の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
ことを特徴とする請求項２に記載の入力装置。
【請求項４】
前記第１の操作と第２の操作の各々に対応付けて、当該操作に使用される指の種類を記憶する記憶部
をさらに備え、
前記生成部は、
前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第１または第２の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
ことを特徴とする請求項３に記載の入力装置。
【請求項５】
前記記憶部は、前記第１の操作と前記第２の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶し
前記生成部は、
前記撮像部で検出された前記第２の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
ことを特徴とする請求項３または４に記載の入力装置。
【請求項６】
ユーザの手に装着される入力装置が、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行うことを特徴とする入力制御方法。
【請求項７】
ユーザの手に装着される入力装置に、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行わせることを特徴とする入力制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報の入力制御に関する。
【背景技術】
【０００２】
スマートフォンのような携帯端末には、ディスプレイとタッチパネルが重ねて搭載されていることが多い。この様な端末では、ユーザは、アイコンやメニューなどが表示されている領域を指で触れることにより、操作を行うことができる。このとき、タッチパネルは、ユーザからの入力処理が行われた領域や操作の種類などを検出し、携帯端末は、タッチパネルで検出された操作に関連付けられた処理を行う。
【０００３】
近年、ＨＭＤ（Head Mounted Display）や時計型デバイスなどのウェアラブル端末が注目されてきている。しかし、ウェアラブル端末には、ユーザが入力操作をする際に使用しやすい大きさのタッチパネルが搭載されていないため、入力処理が煩雑になることがある。そこで、関連する技術として、ユーザの指などの移動体の移動の軌跡パターンに対応する信号を生成する記号生成装置が提案されている。この記号生成装置は、検出信号を用いて移動体の移動軌跡パターンを特定し、特定した移動軌跡パターンに対応する信号を特定する（例えば、特許文献１）。また、手首の両端部に装着された超音波スピーカから発生させた超音波の出力時刻と、指先に設置した超音波マイクロホンで検出した検出時刻の時間差から指先の２次元位置を算出する情報入力方法も提案されている（例えば、特許文献２）。この情報入力方法では、さらに、手のひら面に垂直な方向に感度を持つ加速度センサを各指の指先に装着し、加速度センサから出力される加速度の変化を検出して、キーボードを打鍵するような指の動きを認識する。さらに、ユーザの指を撮影するように手首に取り付けるカメラと、ユーザの腕の傾きを認識するセンサと、情報処理装置を含む入力装置も提案されている（例えば、特許文献３）。この入力装置は、センサで検出したユーザの手の位置と、カメラで撮影した画像から検出したユーザの指先の位置に基づき、打鍵動作を検知する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３１０４７号公報
【特許文献２】特開２００５−３１６７６３号公報
【特許文献３】特開２００５−３０１５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
背景技術で説明したように、入力装置を用いて他の装置への入力を行うための技術がいくつか検討されている。しかし、手首の両端部に装着された超音波スピーカ、指先に設置された超音波マイクロホン、および、手のひらに装着された加速度センサを用いる方式は、ユーザにとっては、装着する部品が多いために使用しづらい。また、移動体の軌跡パターンから信号を生成する場合や、打鍵動作の検知に使用される入力装置を用いる場合、タッチパネルへの入力に使用される複数の種類の操作の各々を判別することは困難であるため、ユーザの所望する入力結果が得られないことがある。
【０００６】
本発明は、利便性の高い入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
ある態様にかかる入力装置は、ユーザの手に装着され、照射部、撮像部、測定部、生成部、送信部を備える。照射部は、所定の形状の第１の赤外光パターンを前記ユーザの指に照射する。撮像部は、前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像する。測定部は、前記ユーザの指の動きにより生じる振動の大きさを測定する。生成部は、前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する。送信部は、前記入力信号を、入力先の装置に送信する。
【発明の効果】
【０００８】
利便性の高い入力装置が提供される。
【図面の簡単な説明】
【０００９】
【図１】実施形態にかかる入力方法の例を説明するシーケンス図である。
【図２】入力装置の構成の例を説明する図である。
【図３】入力装置のハードウェア構成の例を説明する図である。
【図４】入力装置の外観の例を説明する図である。
【図５】赤外光の照射パターンの例を説明する図である。
【図６】距離の変化量の算出方法の例を説明する図である。
【図７】座標の例を説明する図である。
【図８】指の位置の検出方法の例を説明する図である。
【図９】指の位置の検出方法の例を説明する図である。
【図１０】加速度の測定結果の例を示す図である。
【図１１】第１の操作例にかかる入力処理の例を説明する図である。
【図１２】第１の操作例にかかる入力処理の例を説明するフローチャートである。
【図１３】第２の操作例にかかる入力処理の例を説明する図である。
【図１４】第２の操作例にかかる入力処理の例を説明する図である。
【図１５】第２の操作例にかかる入力処理の例を説明するフローチャートである。
【図１６Ａ】第３の操作例にかかる入力処理の例を説明する図である。
【図１６Ｂ】第３の操作例にかかる入力処理の例を説明する図である。
【図１７】第３の操作例にかかる入力処理の例を説明するフローチャートである。
【図１８Ａ】第４の操作例にかかる入力処理の例を説明する図である。
【図１８Ｂ】第４の操作例にかかる入力処理の例を説明する図である。
【図１９】第４の操作例にかかる入力処理の例を説明するフローチャートである。
【図２０】第５の操作例にかかる入力処理の例を説明する図である。
【図２１】第５の操作例にかかる入力処理の例を説明する図である。
【図２２】第５の操作例にかかる入力処理の例を説明するフローチャートである。
【図２３】第６の操作例にかかる入力処理の例を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、実施形態にかかる入力方法の例を説明するシーケンス図である。図１は、端末１０と入力装置２０との間で行われる処理の例を示す。なお、端末１０には、ウェアラブル端末や時計型端末などの、ユーザが入力処理を行いにくい端末以外であっても、入力装置２０と通信可能な任意の情報処理装置が含まれる。一方、入力装置２０は、赤外光のパターンを照射可能な装置であって、振動を感知するための加速度センサを備えているものとする。赤外光のパターンは、例えば、格子状やドットなど、パターンの変化によってパターンが照射された対象物までの距離を求めることが可能な任意の形式である。
【００１１】
ステップＳ１において、端末１０は、画面に画像を表示している。端末１０のユーザは、入力装置２０から出力された赤外光のパターンがユーザの指に照射されるように入力装置２０を装着する。入力装置２０は、ユーザの指に赤外光パターンを照射した際の指での反射により得られたパターンを、赤外線カメラ等を用いて、周期的にモニタする。さらに、入力装置２０は、加速度センサを用いて、振動の変化も周期的にモニタする（ステップＳ２）。
【００１２】
入力装置２０は、赤外光パターンの変化を検出したかを判定する（ステップＳ３）。入力装置２０は、赤外光パターンの変化を検出するまでは、ステップＳ２、Ｓ３の処理を繰り返す（ステップＳ３でＮｏ）。
【００１３】
一方、例えば、端末１０のユーザが端末１０の画面の表示を視認し、処理を行うために指を動かしたとする。この場合、入力装置２０の赤外光の照射位置からユーザの指先までの距離が変化することにより、ユーザの指に照射された赤外光のパターンが変化する。この場合、赤外光パターンの変化が検出されるので、入力装置２０は、赤外光パターンの変化と振動からユーザが行った処理を特定する（ステップＳ３でＹｅｓ、ステップＳ４）。入力装置２０は、ユーザが行った処理として特定した内容を、端末１０に通知する（ステップＳ５）。端末１０は、入力装置２０からユーザの処理の通知を受信すると、ユーザの処理に応じて、画面の表示を変更する（ステップＳ６）。
【００１４】
このように、ユーザの指先に距離の変動を求めるために使用可能な赤外光パターンを照射する入力装置２０を用いると、ユーザの手や指などに多数の部品を取り付けることなく、ユーザの指の軌跡を求められる。すなわち、実施形態にかかる方法によると、赤外光パターンの照射に用いられる部品、赤外線カメラ、加速度センサを搭載した１つの入力装置２０を、ユーザの指に赤外光を照射できる位置関係に設置するだけで、ユーザの処理を特定できる。従って、入力装置２０は、ユーザにとって装着しやすく、利便性が高い。さらに、入力装置２０は、ユーザの指の動きを特定するため、ユーザが入力処理に使用する移動体を装着して処理を行う場合に比べて、ユーザにとって、処理を行いやすいという利点もある。また、ベンダにとっては、入力装置２０は、多数の部品を用いた方式で使用される装置に比べて安価に製造できるというメリットもある。
【００１５】
＜装置構成＞
図２は、入力装置２０の構成の例を説明する図である。入力装置２０は、送受信部２１、照射部２５、撮像部２６、制御部３０、記憶部４０を備える。送受信部２１は、送信部２２と受信部２３を有する。制御部３０は、測定部３１と生成部３２を有する。
【００１６】
照射部２５は、赤外光パターンを照射する。なお、照射される赤外光パターンは、赤外光が照射された対象までの距離によるパターンの大きさや間隔の変化が撮像部２６での撮像で認識しやすいものが好ましい。撮像部２６は、赤外光パターンが照射された対象物から反射した赤外光のパターンを撮像する。以下、赤外光パターンがユーザの指に照射されているものとして説明する。
【００１７】
測定部３１は、ユーザの指の振動の大きさを測定する。生成部３２は、撮像部２６で撮像された赤外光パターンの変化を用いて、ユーザの指の位置の変化を特定するとともに、ユーザの指の位置の軌跡を用いた入力信号を生成する。また、生成部３２は、測定部３１で得られた振動の大きさを用いて、ユーザによって行われた処理の種類を特定する。記憶部４０は、制御部３０での処理に用いられる情報や、制御部３０の処理で得られた情報を記憶する。送信部２２は、生成部３２で生成された入力信号などのデータを、端末１０に向けて送信する。受信部２３は、適宜、端末１０からデータを受信する。
【００１８】
図３は、入力装置２０のハードウェア構成の例を説明する図である。入力装置２０は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、加速度センサ１０４、通信インタフェース１０５を備える。入力装置２０は、さらに、レンズ１１１、赤外光ＬＥＤ（light emitting diode）１１２、赤外線カメラ１１３も備える。プロセッサ１０１、ＲＡＭ１０２、ＲＯＭ１０３、加速度センサ１０４、通信インタフェース１０５、赤外光ＬＥＤ１１２、赤外線カメラ１１３は、互いにデータを入出力できるように接続されている。なお、図３は、入力装置２０のハードウェア構成の一例であり、実装に応じて変更され得る。例えば、入力装置２０は、加速度センサ１０４に加えて、ジャイロセンサを備えていても良い。
【００１９】
プロセッサ１０１は、ＣＰＵ（Central Processing Unit）を含む任意の処理回路である。プロセッサ１０１は、ＲＯＭ１０３に記憶されているプログラムを読み込んで実行することにより、生成部３２として動作する。測定部３１は、プロセッサ１０１と加速度センサ１０４によって実現される。レンズ１１１と赤外光ＬＥＤ１１２は、照射部２５として動作する。赤外線カメラ１１３は、撮像部２６として動作する。通信インタフェース１０５は、送受信部２１を実現する。記憶部４０は、ＲＡＭ１０２とＲＯＭ１０３によって実現される。
【００２０】
図４は、入力装置２０の外観の例を説明する図である。図４のＡは、入力装置２０がクリップ１２０で手のひらに装着される場合の入力装置２０の外観を示す。外観Ａ１は、クリップ１２０で装着されるタイプの入力装置２０を、赤外光パターンを照射する方向から見たときの外観図である。外観Ａ１の例では、照射部２５と撮像部２６を含む筐体の上部にクリップ１２０が取り付けられている。外観Ａ２は、クリップ１２０で装着されるタイプの入力装置２０を上から見たときの外観の例である。外観Ａ２では、クリップ１２０の長さは入力装置２０の筐体部分よりも長くなっているが、クリップ１２０の長さは実装に応じて調整されうる。外観Ａ３は、クリップ１２０で装着されるタイプの入力装置２０を側面から見たときの外観の例である。
【００２１】
図４のＢは、入力装置２０がベルト１３０で手のひらに装着される場合の入力装置２０の外観を示す。外観Ｂ１は、ベルト１３０で装着されるタイプの入力装置２０を、赤外光パターンを照射する方向から見たときの外観図である。外観Ｂ１の例では、照射部２５と撮像部２６を含む筐体の上部にベルト１３０が取り付けられている。外観Ｂ２は、ベルト１３０で装着されるタイプの入力装置２０を上から見たときの外観の例である。外観Ｂ３は、ベルト１３０で装着されるタイプの入力装置２０を側面から見たときの外観の例である。
【００２２】
図４のＧ１は、入力装置２０の装着例である。Ｇ１は、クリップ１２０で装着されるタイプの入力装置２０が装着されている場合の例を示す。入力装置２０は、クリップ１２０で装着される場合とベルト１３０で装着される場合のいずれも、照射部２５から出力された赤外光パターンがユーザの指に照射され、指から反射した赤外光が撮像部２６で撮像されるように装着される。
【００２３】
＜入力信号の特定方法＞
以下、入力信号の特定方法を、赤外光パターンを用いた指の位置の特定やユーザの指の位置の変化の特定方法の例と、測定部３１での振動を用いた判定処理の例に分けて説明する。なお、以下で説明する特定方法の例や判定処理の例は、理解を助けるための例であり、実装に応じて変形されうる。
【００２４】
（Ａ）赤外光パターンを用いた指の位置や軌跡の特定
図５は、赤外光の照射パターンの例を説明する図である。図５の例では、赤外光パターンは、ドット状である。照射部２５から照射される赤外光の性質に応じて、照射部２５からユーザの指までの距離に応じて、指に照射される赤外光のパターンの変動は異なる。
【００２５】
図５のパターンＰ１は、拡散の大きいタイプの赤外光が用いられた場合の赤外光パターンの変化の例を示す。照射部２５からの距離がＬ１の位置では、赤外光のドット間の間隔はＤ１であり、各ドットの直径はＳＺ１であるとする。拡散の大きいタイプの赤外光が用いられた場合、照射部２５から指までの距離が長くなると、ドットのサイズは大きくなるがドットの間隔はほとんど変わらない。例えば、照射部２５からの距離がＬ１よりも長いＬ２の位置では、赤外光のドット間の間隔はＤ２であり、各ドットの直径はＳＺ２である。また、照射部２５からの距離がＬ２の場合のドットの間隔Ｄ２は、照射部２５からの距離がＬ１の場合のドットの間隔Ｄ１とほとんど変わらない。一方、照射部２５からの距離がＬ２の場合のドットの直径ＳＺ２は、照射部２５からの距離がＬ１の場合のドットの直径ＳＺ１よりも大きい。
【００２６】
図５のパターンＰ２は、拡散の少ないタイプの赤外光が用いられた場合の赤外光パターンの変化の例を示す。拡散の少ないタイプの赤外光が用いられた場合も、照射部２５から指までの距離がＬ１の場合、拡散の大きいタイプの赤外光が用いられた場合と同様の照射パターンが得られるとする。拡散の小さいタイプの赤外光が用いられた場合、照射部２５から指までの距離が長くなると、ドット間の間隔は広くなるが、ドットのサイズはほとんど変化しない。例えば、拡散の少ないタイプの赤外光が用いられた場合、照射部２５からの距離がＬ２の位置では、赤外光のドット間の間隔はＤ３であり、各ドットの直径はＳＺ３である。ここで、照射部２５からの距離がＬ２の場合のドットの間隔Ｄ３は、照射部２５からの距離がＬ１の場合のドットの間隔Ｄ１よりも長い。一方、照射部２５からの距離がＬ２の場合のドットの直径ＳＺ３は、照射部２５からの距離がＬ１の場合のドットの直径ＳＺ１とほぼ同じである。
【００２７】
図６は、距離の変化量の算出方法の例を説明する図である。図６では、拡散の少ない赤外光が用いられた場合を例として説明する。図６の例では、撮像部２６に備えられたカメラの画角をθ1、パターンの照射角をθ2とする。また、分かりやすくするために、θ1について、tanθ1≒θ1と近似できる程度にθ１が小さな値であるとする。また、θ2についても同様に、tanθ2≒θ2と近似できる程度にθ2が小さな値であるとする。なお、θ1、θ2が大きいなどの理由からこれらの近似を行わない場合、中心部分と周辺部分でパターンの間隔の差が大きくなることに対する補正が行われるが、補正処理は任意の既知の計算により行われ得る。
【００２８】
指が位置Ｐｏ１にあるときに指に映る照射パターンの間隔をＤ１、位置Ｐｏ２にあるときの照射パターンの間隔をＤ２とする。また、位置Ｐｏ１と撮像部２６の距離がＬ１であり、位置Ｐｏ１と照射部２５の距離がＬ２であるとする。さらに、位置Ｐｏ１とＰｏ２の間の距離をΔＬとする。すると、（１）式の関係が成り立つ。
Ｄ２／Ｄ１＝（Ｌ２＋ΔＬ）／Ｌ２  ・・・（１）
【００２９】
次に、指が位置Ｐｏ１にあるときに撮像部２６で撮像されるパターンの間隔をｄ１、位置Ｐｏ２にあるときに撮像部２６で撮像されるパターンの間隔をｄ２とする。すると、ｄ１とｄ２について、（２）式が成り立つ。
ｄ２／ｄ１＝Ｌ１／（Ｌ１＋ΔＬ）×（Ｌ２＋ΔＬ）／Ｌ２  ・・・（２）
【００３０】
（２）式をΔＬについて解くと、（３）式が得られる。
ΔＬ＝（ｄ１−ｄ２）／｛（ｄ２／Ｌ１）−（ｄ１／Ｌ２）｝  ・・・（３）
【００３１】
ここで、Ｌ１、Ｌ２はユーザの指がＰｏ１に位置しているときの計測から得られる。また、ｄ１とｄ２は、撮像部２６から得られた画像の解析処理により得られる。このため、生成部３２は、（３）式を用いて、ΔＬを求めることができる。
【００３２】
一方、拡散の大きい赤外光が使用された場合、拡散によって得られるドットの大きさは入力装置２０からの距離に比例して大きくなることを用いて、各指の位置が特定される。このときに使用される計算方法は、任意の既知の計算方法である。
【００３３】
図７は、座標の例を説明する図である。以下の説明では、図７に表わすように、Ｚ軸が高さ方向の情報を表し、ＸＹ平面の原点を左上隅にとったＸＹＺ座標を用いる。また、Ｙ軸の値は、撮像したパターンの解析によって得られた撮像部２６からの距離の関数であり、撮像部２６からの距離が近いほど、大きな値となる。このため、入力装置２０から近い位置ほど、Ｙ軸の値が大きくなるものとする。また、撮像部２６で撮像される画像はＸＺ平面の画像である。
【００３４】
図８は、指の位置の検出方法の例を説明する図である。図８は、撮像部２６で撮像された画像を生成部３２で解析したときに得られる解析結果の例である。生成部３２は、撮像された画像を、図７で説明した座標でのＸ軸とＺ軸の値が１つ変化するごとに分けて得られた四角形の各々について、その四角形のエリアでのＹ軸の値（奥行き方向の値）の平均値を計算する。すなわち、正方形のエリア毎に、撮像された対象のカメラからの位置が、Ｙ軸の値として得られる。また、撮像された対象が撮像部２６に近いほど、撮像部２６からの距離が近いため、エリアに対応付けられる値が大きくなる。生成部３２は、Ｙ軸の値が相対的に大きいエリアを、指のある位置として特定する。図８において、白抜きの四角で示した位置は、Ｙ軸の値が所定の閾値を上回った領域であり、ユーザの指があると考えられる位置である。一方、図８のグレーの四角は、指が無いため、赤外光が反射せず、撮像部２６で撮像される反射光の量が少ないため、Ｙ軸の値が相対的に小さい位置である。従って、図８の白抜きの四角で示されている領域に指が検出される。
【００３５】
図９は、指の位置の検出方法の例を説明する図である。図９を参照しながら、指の検出位置と指に照射されるパターンの関係について説明する。なお、理解しやすくするために、図９のＧ１に、入力装置２０の装着例と指の位置関係の例を示す。図９のＧ２は、図８で得られたデータの解析により特定された指の位置をＸＺ平面上で特定した場合の例を示す。なお、赤外光パターンが照射されている様子を、Ｇ２のグレーの丸で示す。グレーの丸の１つは、赤外光パターンの１つのドットに相当する。生成部３２は、検出した指に識別子を対応付ける。以下の例では、生成部３２は、検出した指のＸ座標が小さいものから順にｆ１、ｆ２、ｆ３、ｆ４の識別子を対応付けたとする。図９の例では、ｆ１は人差し指、ｆ２は中指、ｆ３は薬指、ｆ４は小指に対応している。Ｇ３は、Ｇ２の画像が得られる場合の各指の先端の位置の解析結果を、原点が左上隅にあるＸＹ平面上の位置として示した場合の結果である。Ｇ２およびＧ３で得られる各指の位置を、以下、「ホームポジション」と記載することがある。
【００３６】
Ｇ４は、ユーザが人差し指ｆ１を左方向に伸ばした場合に撮像部２６で撮像されたＸＺ平面の画像の例を示す。撮像部２６で撮像されたデータは、図８のようにＸＹ平面中の各座標でのＹ座標の値として得られるが、Ｇ４では、見やすくするために、Ｙ軸方向の値が所定値以上の領域を指のある位置として認識することにより生成部３２が特定した指の輪郭を示している。また、Ｇ４では、生成部３２が指の輪郭の特定の際に使用した赤外光パターンの強度が相対的に強い領域を、赤外光のドットで示すことにより、ユーザの指に照射された赤外光パターンの様子を図示している。
【００３７】
Ｇ４の例では、人差し指ｆ１に照射されている赤外光のドットの大きさやドット間の間隔は、他の指とほぼ同じである。このため、生成部３２は、赤外光が照射されている４本の指のうち、左端の指（人差し指ｆ１）は、他の指とほぼ同じ距離にあるものの、位置が左方向に伸びていると判定する。そこで、Ｇ４に示す画像を用いて、生成部３２は、ユーザの４本の指の先端は、ＸＹ平面上で表わすと、Ｇ５に示すように位置していると判定する。Ｇ５では、人差し指ｆ１の先端は、ホームポジションよりも左側に位置しているが、中指ｆ２、薬指ｆ３、小指ｆ４はホームポジションにある。
【００３８】
Ｇ６は、ユーザが人差し指ｆ１をホームポジションよりも入力装置２０から遠ざかる方向に伸ばした場合に撮像部２６で撮像されたＸＺ平面の画像の解析例を示す。Ｇ６においても、図を見やすくするためにＧ４と同様に、生成部３２で特定された指の輪郭と赤外光パターンの様子を図示している。Ｇ６の例では、人差し指ｆ１に照射されている赤外光のドットの大きさは、他の指に照射されているドットよりも大きい。このため、生成部３２は、赤外光が照射されている４本の指のうち、左端の指（人差し指ｆ１）は、他の指よりも入力装置２０から遠い位置にあると判定する。また、Ｇ６に示すように、ＸＺ平面上で得られた指の輪郭のＸ軸方向（横方向）の指の位置はホームポジションとあまり変わらない。このため、生成部３２は、Ｇ６に示す情報から、左端の指は入力装置２０と逆方向に伸ばされており、他の３本の指はホームポジションにあると判定する。また、生成部３２は、各指のドットの大きさを用いて、各指の撮像部２６からの距離を計算して、各指のＸＹ平面での位置を特定する。生成部３２での処理の結果、ユーザの４本の指の先端は、ＸＹ平面上で表わすと、Ｇ７に示すように位置していると判定される。すなわち、人差し指ｆ１の先端は、ホームポジションよりも入力装置２０から遠い位置であって、横方向にはホームポジションと変わらない位置にあるが、中指ｆ２、薬指ｆ３、小指ｆ４はホームポジションにあると判定される。なお、Ｇ７において、Ｙ軸の値が大きいほど、入力装置２０に近いものとする。
【００３９】
以上、図５〜図９を参照しながら説明した処理により、入力装置２０は、ユーザの指の位置を特定する。また、生成部３２は、ユーザの指の位置を時刻情報と対応付けることにより、ユーザの指の位置の軌跡を生成することもできる。このとき、生成部３２は、ユーザの指の位置を、ユーザの指の識別子とも対応付けることにより、各指によって得られた軌跡を、指の識別子ごとに特定することができる。生成部３２で生成された軌跡の情報は、適宜、記憶部４０に格納される。ユーザの指の位置の軌跡を用いた処理の具体例については後述する。
【００４０】
（Ｂ）測定部３１での振動の測定結果を用いた判定処理
図１０は、加速度の測定結果の例を示す図である。図１０のＧ３１は、測定部３１が観測した加速度の時間変化の例である。Ｇ３１の縦軸は加速度であり、横軸は時間である。測定部３１は、加速度の測定結果を生成部３２に出力する。生成部３２は、観測された加速度の絶対値が閾値ａを超えると、ユーザがタップ操作を行った際の振動を観測したと判定する。すなわち、測定された加速度がａを超えるか、−ａよりも小さい値である場合に、生成部３２は、タップ操作に伴う振動を検出したと判定する。図１０のＧ３１の例では、加速度の絶対値が閾値ａを超えていないので、生成部３２は、タップ操作が行われていないと判定する。一方、図１０のＧ３２では、時刻ｔ１での加速度の測定値の絶対値は閾値ａを超えているので、生成部３２は、ユーザが時刻ｔ１にタップ操作を行ったと判定する。
【００４１】
＜操作例＞
以下、実施形態にかかる入力信号の特定方法を用いて行われる入力装置２０からの入力処理と端末１０の操作の例を説明する。なお、以下の操作例では、比較的拡散の大きい赤外光を用いた赤外光パターンがユーザの指に照射されている場合を例として説明するが、拡散の小さい赤外光が照射されても良い。
【００４２】
〔第１の操作例〕
第１の操作例では、選択可能な領域を含む画像が表示されている画面において、選択可能な領域の各々が入力装置２０で検出された指に対応付けられている場合の処理の例を説明する。
【００４３】
図１１は、第１の操作例にかかる入力処理の例を説明する図である。図１１のＧ１１は、ユーザの指がホームポジションにある場合の照射パターンの例である。Ｇ１１では、ユーザの４本の指が検出されている。また、生成部３２は、検出された指の各々に識別子を対応付ける。入力装置２０は、端末１０に対して、検出された指の各々に対応付けられた識別子を通知する。図１１の例では、生成部３２は、送信部２２を介して、指の識別子がｆ１〜ｆ４であることを端末１０に通知しているとする。
【００４４】
端末１０は、ディスプレイの画面に図１１のＧ１２に示す画像を表示したとする。Ｇ１２に示す画像には、Ｔｉｍｅボタン、Ｗｅａｔｈｅｒボタン、ＧＰＳボタン、ＮＥＸＴボタンの４つの選択可能な領域が表示されている。端末１０は入力装置２０から通知を受けた指の識別子の各々に表示可能な領域を１つ割り当てる。端末１０において選択可能な領域の識別子と検出された各指を対応付ける方法は任意である。図１１では、Ｔｉｍｅボタンが指ｆ１、Ｗｅａｔｈｅｒボタンが指ｆ２、ＧＰＳボタンが指ｆ３、ＮＥＸＴボタンが指ｆ４に対応付けられたとする。一方、ユーザは、端末１０のディスプレイの表示の変化に伴って、適宜、入力装置２０を操作する。
【００４５】
図１１のＧ１３は、ユーザが人差し指をタップした場合に得られる撮像結果の例を示す。ユーザが人差し指をタップした場合、生成部３２は、指ｆ１で反射した赤外光の変化から、指ｆ１が垂直方向（Ｚ軸方向）に持ち上げられてから垂直方向に下ろされていることを特定する。また、生成部３２は、指ｆ１のＹ軸方向の位置とＸ軸方向の位置が変化していないことも特定する。タップ操作の軌跡の特徴から、タップ操作は、端末１０の画面に表示された画像の特定の位置への入力であるといえる。なお、これらの軌跡を特定するために、生成部３２は、適宜、記憶部４０中に格納したデータや時刻情報を、撮像部２６から取得した画像の解析結果と共に使用する。得られた軌跡での指の移動量が所定の閾値Ｔｈ１を超えると、生成部３２は、ユーザの処理が発生した可能性があると判定する。ここで、生成部３２は、指の移動により得られた軌跡の長さが閾値Ｔｈ１を超えない場合は、ユーザが処理を行うために指を動かしていないと判定することにより、誤操作を防止している。換言すると、指の移動により得られた軌跡の長さが閾値Ｔｈ１を超えない場合は、生成部３２はユーザからの入力処理は行われていないと判定して、入力操作を端末１０に通知するための信号を生成しない。
【００４６】
一方、得られた軌跡での指の移動量が所定の閾値Ｔｈ１を超えると、生成部３２は、指ｆ１のＺ軸方向の移動が発生した時刻に測定部３１で測定された加速度の絶対値が閾値Ｔｈ２を超えているかを判定する。指ｆ１のＺ軸方向の移動が発生した時刻に測定部３１で測定された加速度の絶対値Ｔｈ２が閾値を超えている場合、生成部３２は、指ｆ１によるタップ操作が発生したと判定する。
【００４７】
生成部３２は、タップ操作を検出すると、タップ操作が発生した指の識別子を通知するためのパケットを端末１０に送信する。Ｇ１３の例では、観測された指のうちでＸＺ平面でのＸの値が最も小さい指（人差し指）がタップされており、この指には、ｆ１という識別子が対応付けられている。そこで、生成部３２は、指ｆ１でタップ操作が発生したことを通知するパケットを、送信部２２を介して、端末１０に送信する。
【００４８】
端末１０は、入力装置２０から、指ｆ１でタップ操作が発生したことを通知するパケットを受信すると、指ｆ１にはＴｉｍｅボタンが対応付けられていることからＴｉｍｅボタンが選択されたと判定する。そこで、端末１０は、端末１０自体に搭載されている入力装置からＴｉｍｅボタンが選択された場合と同様の処理を行う。
【００４９】
他の指においてタップ操作が行われた場合も同様に、入力装置２０がタップ操作の発生を検出した指の識別子を端末１０に通知することで、タップ操作が発生した指に対応付けられたボタンが選択された場合と同様の処理が端末１０で行われる。例えば、Ｇ１５に示す場合、生成部３２は、指ｆ２でのタップ操作の発生を特定し、指ｆ２でのタップ操作の発生を端末１０に通知する。端末１０は、指ｆ２にＷｅａｔｈｅｒボタンを対応付けていることから、Ｗｅａｔｈｅｒボタンが選択された場合の処理を行う（Ｇ１６）。また、Ｇ１７に示す場合、生成部３２は、指ｆ３でのタップ操作の発生を検出して、端末１０に通知する。端末１０は、指ｆ３にＧＰＳボタンを対応付けていることから、ＧＰＳボタンが選択された場合の処理を行う（Ｇ１８）。さらに、Ｇ１９に示す場合、生成部３２は、指ｆ４でのタップ操作の発生を検出して、端末１０に通知する。端末１０は、指ｆ４にＮＥＸＴボタンを対応付けていることから、ＮＥＸＴボタンが選択された場合の処理を行う（Ｇ２０）。
【００５０】
図１２は、第１の操作例にかかる入力処理の例を説明するフローチャートである。図１２は、生成部３２がユーザの指を検出した後で行われる処理の例を示す。端末１０は、ディスプレイにアイコンなどの選択可能な領域を含む画面を表示する（ステップＳ１１）。このとき、端末１０は、入力装置２０から、検出されている指の識別子を取得しているので、検出されている指の各々について、選択可能な領域を１つずつ対応付ける。
【００５１】
照射部２５は、入力装置２０を装着しているユーザの指に向けて、赤外光パターンを照射する（ステップＳ１２）。撮像部２６は、指に映った赤外光パターンを定期的に撮影し、得られた画像データを生成部３２に出力する（ステップＳ１３）。生成部３２は、画像データを解析することにより、各指のＸＹＺ座標での位置を特定する（ステップＳ１４）。なお、「各指のＸＹＺ座標での位置」は、各指のＸＺ平面での位置と、奥行き方向の距離との組合せである。生成部３２は、前回の各指についてのＸＹＺ座標での位置と解析により得られた位置の差から、指の位置の変化量を算出する（ステップＳ１５）。測定部３１は、振動量を測定する（ステップＳ１６）。生成部３２は、位置の変化量が閾値Ｔｈ１を超えた指があるかを判定する（ステップＳ１７）。位置の変化量が閾値Ｔｈ１を超えている指がない場合、ステップＳ１４以降の処理に戻る（ステップＳ１７でＮｏ）。一方、位置の変化量が閾値Ｔｈ１を超えている場合、生成部３２は、振動の振幅が閾値Ｔｈ２を超えているかを判定する（ステップＳ１７でＹｅｓ、ステップＳ１８）。振動の振幅が閾値Ｔｈ２を超えていない場合、ステップＳ１４に戻る（ステップＳ１８でＮｏ）。
【００５２】
一方、振動の振幅が閾値Ｔｈ２を超えている場合、生成部３２は、位置の変動が閾値Ｔｈ１を超えている指でタップ操作が発生したと判定し、タップ操作が発生した指を通知するパケットを端末１０に送信する（ステップＳ１８でＹｅｓ、ステップＳ１９）。入力装置２０からパケットを受信した端末１０は、タップ操作が発生した指に関連付けた領域が選択されたと判定し、判定された領域に対応付けられた処理を行う（ステップＳ２０）。
【００５３】
このように、第１の操作例によると、入力装置２０で検出された指に、端末１０のディスプレイに表示されている領域が対応付けられる。また、端末１０は、タップ操作が検出された指が通知されると、タップ操作が検出された指に対応付けられた領域が選択されたときと同じ処理を行う。このため、ユーザは、簡単に端末１０への入力処理を行うことができる。
【００５４】
さらに、入力装置２０は、指の動きによって得られた軌跡の長さが所定の閾値Ｔｈ１を超えない場合は、ユーザが操作を意図していないがユーザの指の位置が変動したと判定する。このため、入力装置２０は、例えば、ユーザが入力装置２０を混雑した場所で使用していてユーザの手に何かがぶつかった場合や、ユーザが処理を行おうとして中断した場合に、ユーザの意図しない入力処理を行うことを防止できる。
【００５５】
また、入力装置２０が用いられる場合、ユーザは、指の位置の特定を行うために、図４などを参照しながら説明したように、１つの装置を装着するだけで済むので、ユーザの利便性も向上する。
【００５６】
〔第２の操作例〕
第２の操作例では、選択可能な領域を含む画像が表示されている画面において、選択可能な領域の各々が入力装置２０で検出された指に対応付けられていない場合の処理の例を説明する。
【００５７】
図１３と図１４は、第２の操作例にかかる入力処理の例を説明する図である。ホームポジションにあるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例をＧ３１に示す。また、ユーザの指がホームポジションにあるときの各指の先端のＸＹ平面上の位置をＧ３２に示す。また第２の操作例が行われるときに端末１０に表示される画像の例をＧ３３に示す。Ｇ３３に示す画像にも、Ｔｉｍｅボタン、Ｗｅａｔｈｅｒボタン、ＧＰＳボタン、ＮＥＸＴボタンが表示されているとする。
【００５８】
その後、Ｇ３４に示すように、ユーザが人差し指でタップ操作をしたとする。すると、照射部２５、撮像部２６、生成部３２の処理により、第１の操作例で説明した方法と同様の方法により、ユーザの指ｆ１でのタップ操作の発生が検出される。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ３５に示す。Ｇ３４に示す赤外光パターンでは、ドットの大きさは指によって大きく異ならないので、生成部３２は、Ｇ３５に示すように、指ｆ１〜ｆ４の撮像部２６からの距離はほぼ同じであると判定している。生成部３２は、指ｆ１でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末１０に送信する。
【００５９】
端末１０は、入力装置２０からタップ操作が１本の指で発生したことが通知されると、画面上の予め設定された位置にポインタαを表示する。図１３の例では、Ｇ３６に示すように、端末１０は、タップ操作が検出されるとポインタを画面の中央に表示するものとする。端末１０は、入力装置２０から通知された座標を記憶する。
【００６０】
Ｇ３７は、Ｇ３４の処理の後に、ユーザが人差し指を右に動かした場合に得られるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を右に動かしているときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ３８に示す。Ｇ３７に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ３５からＧ３８に示すように、指ｆ１がスライドしていると認識し、移動後に指ｆ１の位置している座標を端末１０に通知する。なお、生成部３２は、指ｆ１の移動中に、指ｆ１の座標を定期的に端末１０に通知しても良い。以下、Ｇ３７に示すように指がスライドする場合の操作をスワイプ操作と記載することがある。スワイプ操作の軌跡の特徴から、スワイプ操作は、端末１０の画面に表示された画像上での位置の変動を伴う入力であるといえる。
【００６１】
端末１０は、入力装置２０から指ｆ１の座標の変化を受信すると、指ｆ１の位置の変化の軌跡を求める。さらに、入力装置２０で得られた軌跡に基づいて、ポインタαを移動させる。ここで、ポインタαの軌跡は、入力装置２０から通知された指ｆ１の軌跡に、予め設定された倍率を掛け合わせることにより、端末１０の画面表示に用いている座標での軌跡として計算される。Ｇ３９にポインタαの移動例を示す。
【００６２】
図１４のＧ４１は、Ｇ３７の処理の後に、ユーザが人差し指をＹ軸の値が小さくなる方向に動かした場合に得られるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。なお、図１４において、Ｙ軸の値が小さくなる方向は、ユーザの指が手首から遠ざかる方向である。Ｇ４１に示す赤外光パターンでは、指ｆ１でのドットの大きさは、指ｆ２〜ｆ４でのドットの大きさより大きいので、生成部３２は、Ｇ４２に示すように、指ｆ１は撮像部２６から他の指よりも遠い位置にあると判定する。そこで、ＸＺ平面での撮像結果と合わせて、生成部３２は、ユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ４２に示すとおりに解析する。さらに、Ｇ４１に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ３８からＧ４１に示すように、指ｆ１がスライドしていると認識し、指ｆ１の位置する座標を端末１０に通知する。
【００６３】
端末１０は、入力装置２０から指ｆ１の先端の座標の変化を受信すると、Ｇ３９を例として説明した処理と同様の処理により、指ｆ１の座標の変化の軌跡からポインタαの軌跡を求める。端末１０は、ポインタαの位置を、得られた軌跡に合わせて変動させるので、Ｇ４３に示すように、ポインタαが画面上を移動する。
【００６４】
その後、ユーザが人差し指でタップ操作をしたとする。Ｇ３４を参照しながら説明したように、ユーザの指ｆ１でのタップ操作の発生が検出される。また、この場合、タップ操作が行われたときの各指の位置は、Ｇ４１を参照しながら説明したときと代わっていないので、ユーザの指に照射された赤外光のパターンは、Ｇ４４に示すとおりである。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ４５に示す。生成部３２は、指ｆ１でのタップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末１０に送信する。
【００６５】
端末１０は、入力装置２０からタップ操作が指ｆ１で発生したことが通知されると、ポインタαの位置が、画面上の選択可能な領域と重なっているかを判定する。図１４では、Ｇ４６に示すように、ポインタαの位置が、画面上の選択可能な領域と重なっているとする。すると、端末１０は、ポインタαが重なっている領域がユーザによって選択されたと判定して、処理を行う。
【００６６】
図１５は、第２の操作例にかかる入力処理の例を説明するフローチャートである。図１５の例では、理解しやすくするために、図１３、図１４を参照しながら説明したように、１本の指でタップ操作や指の位置の移動が行われている場合を例として説明する。
【００６７】
端末１０は、ディスプレイにアイコンなどの選択可能な領域を含む画面が表示する（ステップＳ３１）。ステップＳ３２〜Ｓ３６の処理は、図１２を参照しながら説明したステップＳ１２〜Ｓ１６と同様である。生成部３２は、処理を行っている指の位置の変化量が閾値Ｔｈ１を超えているかを判定する（ステップＳ３７）。処理を行っている指の位置の変化量が閾値Ｔｈ１を超えていない場合、ステップＳ３４に戻る（ステップＳ３７でＮｏ）。処理を行っている指の位置の変化量が閾値Ｔｈ１を超えている場合、生成部３２は、振動の振幅が閾値Ｔｈ２を超えているかを判定する（ステップＳ３８）。振動の振幅が閾値Ｔｈ２を超えている場合、生成部３２は、タップ操作が発生したと判定し、端末１０に通知する（ステップＳ３８でＹｅｓ、ステップＳ３９）。
【００６８】
入力装置２０からタップ操作の発生を通知するパケットを受信した端末１０は、画面にポインタを表示中かを判定する（ステップＳ４０）。画面にポインタが表示されていない場合、端末１０は、画面にポインタを表示する（ステップＳ４０でＮｏ、ステップＳ４１）。その後、端末１０は、ポインタの位置が選択可能な領域に重なっているかを判定する（ステップＳ４２）。ポインタの位置が選択可能な領域に重なっていない場合、ステップＳ３４以降の処理が繰り返される（ステップＳ４２でＮｏ）。ポインタの位置が選択可能な領域に重なっている場合、端末１０は、ポインタと重なっている位置に表示されている領域が選択されたと判定し、選択されたと判定した領域に関連付けられた処理を行う（ステップＳ４３）。
【００６９】
ステップＳ３８において、振動の振幅が閾値Ｔｈ２を超えていない場合、生成部３２は、スワイプ操作が行われていると判定する（ステップＳ３８でＮｏ、ステップＳ４４）。生成部３２は、操作が観測されている指の位置と共に、スワイプ操作が発生していることを端末１０に通知する。端末１０は、ポインタを表示中であるかを判定する（ステップＳ４５）。ポインタが表示されていない場合、端末１０は、ユーザの端末１０に対する操作が開始されていないと判定し、ステップＳ３４以降の処理が繰り返される（ステップＳ４５でＮｏ）。画面にポインタが表示されている場合、端末１０は、指の位置の変化に応じて、画面上のポインタの表示座標を移動させる（ステップＳ４５でＹｅｓ、ステップＳ４６）。
【００７０】
このように、第２の操作例によると、入力装置２０で検出された指と端末１０の画面に表示されている領域が対応付けられていなくても、ユーザは、画面中の選択可能な領域を選択できる。また、ユーザは、簡単に端末１０への入力処理を行うことができる。また、第２の操作例でも、第１の操作例と同様に、ユーザの指の動きにより得られた軌跡が所定の閾値Ｔｈ１を超えない場合は、入力処理がないと判定されるので、ユーザの指の位置のぶれなどに起因したユーザの意図しない入力処理を防止できる。
【００７１】
〔第３の操作例〕
第３の操作例では、画像が表示されている画面において、画面の表示の拡大や縮小（ピンチアウト、ピンチイン）を行なう場合の処理の例を説明する。第３の操作例では、誤操作が起きにくくするために、通常、ユーザが画面の表示の拡大や縮小に使用する指として入力装置２０が記憶している指による操作が行われている場合に、拡大や縮小の処理が行われる場合を説明する。なお、第３の操作例でも、入力装置２０において観測された指の識別子は、アルファベットのｆに続けて、観測された指の番号の組み合わせとして表わされる。また、指の識別子に含められる番号は、観測されている指のうちで、Ｘ座標の平均値が小さい指ほど、小さい値が関連付けられるように生成される。
【００７２】
図１６Ａと図１６Ｂは、第３の操作例にかかる入力処理の例を説明する図である。図１６Ａと図１６Ｂを参照しながら、画面の拡大や縮小などの編集が、指ｆ１および指ｆ２に対応付けられている場合の操作の例を説明する。この場合、入力装置２０は、画面の拡大や縮小などの編集が指ｆ１と指ｆ２で行われることを、記憶部４０に記憶している。
【００７３】
図１６ＡのＧ５１は、ホームポジションにあるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のＸＹ平面上の位置をＧ５２に示す。第３の操作例が行われるときに端末１０に表示される画像の例をＧ５３に示す。
【００７４】
その後、Ｇ５４に示すように、ユーザが人差し指と中指でタップ操作をしたとする。すると、照射部２５、撮像部２６、生成部３２の処理により、第１の操作例で説明した方法と同様の方法により、ユーザの指ｆ１および指ｆ２において、ほぼ同時に、Ｚ軸方向の位置の変動が閾値Ｔｈ１を超えていることが特定される。さらに、ユーザの指ｆ１および指ｆ２での位置の変動が観測された時刻に、測定部３１において、絶対値が閾値Ｔｈ２を超える加速度が観測されたとする。すると、生成部３２は、ユーザの指ｆ１および指ｆ２において、タップ操作が行われたと判定する。なお、Ｇ５４に示す赤外光パターンでは、ドットの大きさは指によって大きく異ならないので、生成部３２は、指ｆ１〜ｆ４の撮像部２６からの距離はほぼ同じであると判定している。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置の特定例をＧ５５に示す。生成部３２は、タップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末１０に送信する。このため、Ｇ５４、Ｇ５５の例では、指ｆ１と指ｆ２で発生したタップ操作の情報が端末１０に通知される。
【００７５】
端末１０は、入力装置２０からタップ操作が２本の指で発生したことが通知されると、Ｇ５６に示すように、画面にポインタαとポインタβを表示すると共に、端末１０を編集モードに設定する。なお、図１６Ａ〜図１７において、編集モードは、画面に表示中の画像の表示倍率の変更を行うモードである。ポインタの位置は、２つのポインタの間の中点が画面の中央など、予め決められた位置となるように決定される。また、ポインタ間の距離は、タップ操作が行われた座標から決定される。端末１０は、ポインタ間の距離を計算するために、まず、タップ操作が観測された座標の違いから、タップ操作が発生した２本の指のＸＹ座標上での距離を計算する。端末１０は、タップ操作が発生した２本の指のＸＹ座標上での距離に、予め設定されている倍数をかけて得られた値を、画面上での２つのポインタの間の距離とする。さらに、端末１０は、入力装置２０から通知された各タップ操作に関する座標を記憶する。
【００７６】
図１６ＢのＧ５７は、Ｇ５４の処理の後に、ユーザが人差し指と中指を互いに離れるように動かした場合に得られるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を左、中指を右に動かしたときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ５８に示す。Ｇ５７に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ５５からＧ５８に示すように、指ｆ１と指ｆ２がスライドしていると認識し、指ｆ１と指ｆ２の位置している座標を端末１０に通知する。
【００７７】
端末１０は、入力装置２０から指ｆ１と指ｆ２の座標の変化を受信すると、新たに入力装置２０から通知された指ｆ１と指ｆ２の座標を用いて、ポインタαとポインタβの間の距離を計算する。端末１０は、得られた計算結果に応じて、ポインタαとポインタβの間の距離を変化させると同時に、ポインタ間の距離の変化に応じて、表示中の画像の表示倍率を変動させる。例えば、Ｇ５５からＧ５８に示すように、指ｆ１と指ｆ２が遠ざかっていることが通知されると、端末１０は、Ｇ５９に示すように、ポインタαとポインタβの表示位置を中心として、画面に表示中の画像の表示倍率を大きくする。
【００７８】
その後、ユーザが人差し指と中指の両方でタップ操作をしたとする。ユーザの指ｆ１と指ｆ２でのタップ操作の発生は、Ｇ５１を参照しながら説明したように検出される。また、この場合、タップ操作が行われたときの各指の位置は、Ｇ５７、Ｇ５８を参照しながら説明したときと代わっていないので、ユーザの指に照射された赤外光のパターンは、Ｇ６０に示すとおりである。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ６１に示す。生成部３２は、タップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末１０に送信する。
【００７９】
端末１０は、入力装置２０からタップ操作が指ｆ１と指ｆ２で発生したことが通知されると、ポインタαとポインタβによる表示画像の倍率の変更処理が終了したと判定する。そこで、端末１０は、画像の大きさを、現在の表示している大きさに確定する。表示の大きさが確定したと判定すると、端末１０は、編集モードを終了する。さらに、端末１０は、表示の大きさを変更するために使用されているポインタαとポインタβの表示を終了する。このため、端末１０の画面には、Ｇ６２に示す画像が表示される。
【００８０】
図１７は、第３の操作例にかかる入力処理の例を説明するフローチャートである。端末１０は、ディスプレイの画面に画像を表示する（ステップＳ５１）。ステップＳ５２〜Ｓ５６の処理は、図１２を参照しながら説明したステップＳ１２〜Ｓ１６と同様である。生成部３２は、観測された指のうちでＸ軸の値が小さい２本の指（指ｆ１と指ｆ２）のＸＹＺ座標での位置の変化量が閾値Ｔｈ１を超えているかを判定する（ステップＳ５７）。図１７において、閾値Ｔｈ１は、１本の指のタップ操作で得られる位置の変化より大きな値である。指ｆ１と指ｆ２において見られたＸＹＺ座標での位置の変化量（Ｘ１）が閾値Ｔｈ１を超えている場合、生成部３２は、振動の振幅が閾値Ｔｈ２を超えているかを判定する（ステップＳ５８）。振動の振幅が閾値Ｔｈ２を超えている場合、生成部３２は、指ｆ１と指ｆ２でタップ操作が発生したと判定し、端末１０に通知する（ステップＳ５８でＹｅｓ、ステップＳ５９）。
【００８１】
入力装置２０からタップ操作の発生を通知するパケットを受信した端末１０は、編集モードに設定中であるかを判定する（ステップＳ６０）。編集モードに設定されているときに入力装置２０から指ｆ１と指ｆ２でのタップ操作が通知されると、端末１０は、編集モードを終了するとともにポインタの画面への表示を終了し、ステップＳ５４に戻る（ステップＳ６０でＹｅｓ、ステップＳ６１）。編集モードに設定されていないときに入力装置２０から指ｆ１と指ｆ２でのタップ操作が通知されると、端末１０は、編集モードに入るとともに、指ｆ１と指ｆ２に対応するポインタを画面に表示する（ステップＳ６０でＮｏ、ステップＳ６２）。その後、ステップＳ５４以降の処理が繰り返される。
【００８２】
ステップＳ５８において、入力装置２０が振動の振幅は閾値Ｔｈ２を超えていないと判定した場合、生成部３２は、指ｆ１と指ｆ２の各々の座標を端末１０に通知する（ステップＳ５８でＮｏ）。端末１０は、入力装置２０から受信したパケットを用いて、指ｆ１と指ｆ２の座標を取得する。編集モード中の端末１０は、入力装置２０から座標が通知されると、通知された座標に合わせてポインタを移動させると共に、ポインタの距離に応じて表示中の画像の表示倍率を変更し、ステップＳ５４に戻る（ステップＳ５８でＮｏ、ステップＳ６４）。
【００８３】
ステップＳ５７で指ｆ１と指ｆ２での位置の変化量が閾値Ｔｈ１を超えていないと判定された場合、生成部３２は、指ｆ１か指ｆ２のいずれかでの位置の変化量が閾値Ｔｈ３を超えていて、振動の振幅も閾値Ｔｈ２を超えたかを判定する（ステップＳ６３）。ここで、閾値Ｔｈ３は、１本の指のタップ操作で得られる位置の変化程度の大きさである。指ｆ１か指ｆ２のいずれかでの位置の変化量が閾値Ｔｈ３を超えていて、振動の振幅も閾値Ｔｈ２を超えた場合、入力装置２０は、倍率の変更処理の終了を端末１０に通知し、端末１０は、編集処理を終了する（ステップＳ６３でＹｅｓ）。なお、指ｆ１か指ｆ２のいずれかでの位置の変化量が閾値Ｔｈ３を超えていて、振動の振幅も閾値Ｔｈ２を超えるということは、指ｆ１か指ｆ２のいずれかでタップ操作が行われたことを表わす。従って、図１７のフローチャートでは、ユーザが人差し指か中指でタップ操作を行うことによって、画像の拡大や縮小を行うモードが終了する。一方、指ｆ１か指ｆ２のいずれかでの位置の変化量が閾値Ｔｈ３を超えているという条件と、振動の振幅も閾値Ｔｈ２を超えているという条件が満たされていない場合、ステップＳ５４以降の処理が繰り返される（ステップＳ６３でＮｏ）。
【００８４】
このように、第３の操作例によると、端末１０の画面に表示されている画像の拡大や縮小が入力装置２０からの入力を介して行われる。さらに、入力装置２０では、拡大や縮小を行う際に使用される指が、指ｆ１（人差し指）と指ｆ２（中指）であることから、他の指での動作が起こっても、端末１０に対する入力信号を生成しない。このため、入力装置２０を用いて、端末１０の処理を行うと、人差し指と中指以外の指での動作が起こっても、端末１０での画像の表示倍率が変動しない。従って、第３の操作例を用いると、誤操作を防止しやすい。例えば、混雑している交通機関で入力装置２０を用いて入力処理を行う場合などには、ユーザの意図に反して指が動くことがありうる。このような場合でも、画像の拡大や縮小に使用される指以外の指が動いていれば、ユーザの意図しない操作を防止できる。
【００８５】
さらに、図１６Ａ〜図１７の例では、入力装置２０が右手に装着されている場合を例として説明したが、ユーザの利き手によっては、入力装置２０が左手に装着される場合もある。この場合、ユーザの利き手での人差し指と中指は、観測された指のうちで比較的Ｘ軸の値が大きな指であるので、入力装置２０での指の検出方法は、入力装置２０が装着される手に応じて変更され得る。
【００８６】
〔第４の操作例〕
第４の操作例では、画面に表示された画像の回転を行なう場合の処理の例を説明する。第４の操作例では、誤操作が起きにくくするために、ユーザが画面に表示された画像の回転に使用する指として入力装置２０が記憶している指による操作が行われている場合に、回転の処理が行われる場合を説明する。なお、第４の操作例でも、各指の識別子として、第３の操作例と同様の識別子が使用される。以下の例では、入力装置２０は、画面に表示される画像の回転処理が指ｆ１と指ｆ２で行われることを、記憶部４０に記憶しているものとする。
【００８７】
図１８Ａと図１８Ｂは、第４の操作例にかかる入力処理の例を説明する図である。図１８ＡのＧ７１は、ホームポジションにあるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のＸＹ平面上の位置をＧ７２に示す。第４の操作例が行われるときに端末１０に表示される画像の例をＧ７３に示す。
【００８８】
その後、Ｇ７４に示すように、ユーザが人差し指と中指でタップ操作をしたとする。ユーザがＧ７４に示すようにタップ操作を行った場合の各指の先端のＸＹ平面上の位置をＧ７５に示す。入力装置２０でのタップ操作の検出と、入力装置２０から端末１０への通知は、第３の操作例で図１６ＡのＧ５４〜Ｇ５７を参照しながら説明した処理と同様である。この結果、端末１０の画面には、Ｇ７６に示すように、ポインタαとポインタβが表示されると共に、端末１０が編集モードに設定される。なお、図１８Ａ〜図１９において、編集モードは、画面に表示中の画像をポインタの動きに合わせて回転させるモードである。なお、ポインタ間の距離は、タップ操作が観測された２つの座標の距離に応じて決定されるので、Ｇ７６に示すように、ユーザが人差し指と中指の間を広げている場合、ポインタαとポインタβの間の距離は、人差し指と中指の間に応じて広くなる。このため、Ｇ７４〜Ｇ７６では、図１６ＡのＧ５４〜Ｇ５６の場合と比べて、ポインタ間の距離が広くなっている。
【００８９】
Ｇ７４の処理の後で、ユーザは、移動前の人差し指と中指を結んだ直線と、移動後の人差し指と中指を結んだ直線が交差するように、人差し指と中指を動かしたとする。図１８ＢのＧ７７の例では、ユーザが中指を入力装置２０から遠ざけ、人差し指を入力装置２０に近づけるように動かした場合を示す。すると、ユーザの指ｆ１に照射される赤外光パターンのドットは、Ｇ７４での状態に比べて小さくなり、指ｆ２に照射される赤外光パターンのドットは、Ｇ７４での状態に比べて大きくなる。また、指ｆ３、指ｆ４に照射された赤外光のドットの大きさは、Ｇ７４での状態と変わらない。ユーザが人差し指と中指をＧ７７に示すように動かしたときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ７８に示す。以下の説明では、Ｇ７５に示す配置での人差し指と中指を結んだ直線と、Ｇ７８に示す配置で人差し指と中指を結んだ直線がなす角度をθと記載する。さらに、Ｇ７７に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ７５からＧ７８に示すように、指ｆ１と指ｆ２がスライドしていると認識し、指ｆ１と指ｆ２の位置している座標を端末１０に通知する。
【００９０】
端末１０は、入力装置２０から指ｆ１と指ｆ２の座標の変化を受信すると、新たに入力装置２０から通知された指ｆ１と指ｆ２の座標を用いて、ポインタαとポインタβの位置を変動させる。このため、ポインタαとポインタβの位置は、Ｇ７９に示すように変化する。さらに、端末１０は、ポインタαとポインタβの間の位置を変化させる際に、移動後のポインタ間を結んだ直線との角度と移動前のポインタ間を結んだ直線のなす角度θの分だけ、表示中の画像を回転させる。Ｇ７９の時点で画面に表示されている画像は、Ｇ７６に示す画像からθだけ回転している。
【００９１】
その後、ユーザが人差し指と中指の両方でタップ操作をしたとする。ユーザの指ｆ１と指ｆ２でのタップ操作の発生は、Ｇ７４を参照しながら説明したように検出される。また、この場合、タップ操作が行われたときの各指の位置は、Ｇ７７、Ｇ７８を参照しながら説明したときと変わっていないとする。この場合、ユーザの指に照射される赤外光のパターンは、Ｇ８０に示すとおりになる。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ８１に示す。生成部３２は、タップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末１０に送信する。
【００９２】
端末１０は、入力装置２０からタップ操作が指ｆ１と指ｆ２で発生したことが通知されると、ポインタαとポインタβによる表示画像の回転処理が終了したと判定する。そこで、端末１０は、画像の表示角度を、現在の表示角度に確定する。表示角度が確定したと判定すると、端末１０は、編集モードを終了する。さらに、端末１０は、表示角度を変更するために使用されているポインタαとポインタβの表示を終了する。このため、端末１０の画面には、Ｇ８２に示す画像が表示される。
【００９３】
図１９は第４の操作例にかかる入力処理の例を説明するフローチャートである。ステップＳ７１〜Ｓ８３で行われる処理は、図１７を参照しながら説明したステップＳ５１〜Ｓ６３と同様である。ステップＳ７８において、入力装置２０が振動の振幅は閾値Ｔｈ２を超えていないと判定した場合、生成部３２は、指ｆ１と指ｆ２の各々の座標を端末１０に通知する（ステップＳ７８でＮｏ）。端末１０は、入力装置２０から受信したパケットを用いて、指ｆ１と指ｆ２の座標を取得する。編集モード中の端末１０は、入力装置２０から座標が通知されると通知された座標に合わせてポインタを移動させる。さらに、端末１０は、移動後のポインタ間を結んだ直線と移動前のポインタ間を結んだ直線のなす角度θの分だけ、表示中の画像を回転させ、ステップＳ７４に戻る（ステップＳ８４）。
【００９４】
このように、第４の操作例によると、端末１０の画面に表示されている画像の回転が入力装置２０からの入力を介して行われる。さらに、入力装置２０では、回転を行う際に使用される指が、指ｆ１（人差し指）と指ｆ２（中指）であることから、第３の操作例と同様に、他の指での動作が起こっても、入力装置２０から端末１０に入力信号が送信されない。このため、指ｆ１と指ｆ２以外の指の動きによって画像の表示角度が変更されず、誤操作を防止しやすい。さらに、第３の操作例と同様に、入力装置２０での指の検出方法は、入力装置２０が装着される手が右手と左手のいずれかによって変更され得る。
【００９５】
〔第５の操作例〕
第５の操作例では、画面に表示された画像の表示位置を変更する場合の処理の例を説明する。
【００９６】
図２０と図２１は、第５の操作例にかかる入力処理の例を説明する図である。図２０のＧ９１は、ホームポジションにあるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のＸＹ平面上の位置をＧ９２に示す。第５の操作例が行われるときに端末１０に表示される画像の例をＧ９３に示す。
【００９７】
その後、Ｇ９４に示すように、ユーザが人差し指でタップ操作をしたとする。すると、照射部２５、撮像部２６、生成部３２の処理により、第１の操作例で説明した方法と同様の方法により、ユーザの指ｆ１でのタップ操作の発生が検出される。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ９５に示す。生成部３２は、指ｆ１でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末１０に送信する。端末１０は、入力装置２０からタップ操作が１本の指で発生したことが通知されると、Ｇ９６に示すように、画面上の予め設定された位置にポインタαを表示するとともに、画像スクロールモードに移行する。以下、画像スクロールモードは、画像の表示位置が変更されるモードであるとする。端末１０は、入力装置２０から通知された座標を記憶する。
【００９８】
Ｇ９７は、Ｇ９４の処理の後に、ユーザが人差し指を右に動かした場合に得られるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を右に動かしているときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ９８に示す。なお、Ｇ９７に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ９７に示すように、指ｆ１がスライドしていると認識し、指ｆ１の位置している座標を端末１０に通知する。
【００９９】
端末１０は、入力装置２０から指ｆ１の座標の変化を受信すると、指ｆ１の位置の変化の軌跡を求める。さらに、入力装置２０で得られた軌跡に基づいて、ポインタαを移動させる。ポインタαの軌跡の求め方は、第２の操作例と同様である。さらに、端末１０は、表示中の画像自体も、ポインタαの表示位置の変化分だけ変化させる。このため、Ｇ９７、Ｇ９８で示す処理が行われたことにより、画像自体の表示位置もポインタと共に右に移動する。このため、画面の表示は、Ｇ９６からＧ９９に示すように変化する。
【０１００】
図２１のＧ１１１は、Ｇ９７の処理の後に、ユーザが人差し指を入力装置２０から遠ざかる方向に動かした場合に得られるユーザの指のＸＺ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの人差し指が入力装置２０から遠ざかっているため、人差し指に照射された赤外光パターンのドットは、他の指に照射されたドットよりも大きくなっている。ユーザが人差し指を入力装置２０から遠ざかる方向に動かしているときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ１１２に示す。Ｇ１１１に示す赤外光パターンが得られたときに、測定部３１では、加速度の絶対値が閾値ａを超える振動が観測されていないとする。すると、生成部３２は、Ｇ１１１に示すように、指ｆ１がスライドしていると認識し、指ｆ１の位置している座標を端末１０に通知する。
【０１０１】
端末１０は、入力装置２０から指ｆ１の座標の変化を受信すると、指ｆ１の位置の変化の軌跡を求め、入力装置２０で得られた軌跡に基づいて、ポインタαと画像の表示位置を移動させる。このときの処理は、Ｇ９７〜Ｇ９９を参照しながら説明した処理と同様である。このため、ポインタや画像の移動後の画面は、図２１のＧ１１３のようになる。
【０１０２】
その後、ユーザが人差し指でタップ操作をしたとする。この場合、Ｇ９４（図２０）を参照しながら説明したように、ユーザの指ｆ１でのタップ操作の発生が検出される。また、この場合、タップ操作が行われたときの各指の位置は、Ｇ１１２を参照しながら説明したときと変わっていないので、ユーザの指に照射された赤外光のパターンは、Ｇ１１４に示すとおりである。タップ操作が発生したときのユーザの指ｆ１〜ｆ４のＸＹ平面上での位置をＧ１１５に示す。生成部３２は、指ｆ１でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末１０に送信する。端末１０は、入力装置２０からタップ操作が指ｆ１で発生したことが通知されると、画像スクロールモードを終了させ、画像の表示位置を確定させる。
【０１０３】
図２２は、第５の操作例にかかる入力処理の例を説明するフローチャートである。端末１０は、ディスプレイの画面に画像を表示する（ステップＳ９１）。ステップＳ９２〜Ｓ９９の処理は、図１５を参照しながら説明したステップＳ３２〜Ｓ３９と同様である。入力装置２０からタップ操作の発生を通知するパケットを受信した端末１０は、画像スクロールモードに設定されているかを判定する（ステップＳ１００）。画像スクロールモードに設定されていない場合、端末１０は、画像スクロールモードに移行し、ステップＳ９４に戻る（ステップＳ１００でＮｏ、ステップＳ１０２）。一方、画像スクロールモードに設定されている場合、端末１０は、画像スクロールモードを終了し、ステップＳ９４に戻る（ステップＳ１００でＹｅｓ、ステップＳ１０１）。
【０１０４】
ステップＳ９８において、振動の振幅が閾値Ｔｈ２を超えていない場合、生成部３２は、スワイプ操作が行われていると判定する（ステップＳ１０３）。生成部３２は、操作が観測されている指の位置と共に、スワイプ操作が発生していることを端末１０に通知する。端末１０は、画像スクロールモードに設定中かを判定する（ステップＳ１０４）。画像スクロールモードに入っていない場合、端末１０は、操作が開始されていないと判定し、ステップＳ９４に戻る（ステップＳ１０４でＮｏ）。画像スクロールモードに設定されている場合、端末１０は、指の位置の変化に応じて、画像の表示位置と画面上のポインタの表示座標を移動させる（ステップＳ１０４でＹｅｓ、ステップＳ１０５）。
【０１０５】
このように、第５の操作例によると、入力装置２０を用いて、簡単に端末１０の画面に表示されている画像の表示位置を変更することができる。
【０１０６】
〔第６の操作例〕
第６の操作例では、生成部３２は、操作中の指の形によって、指の検出位置のＺ軸方向の変化のパターンが異なることを用いて、誤操作を減らす場合の例を説明する。
【０１０７】
図２３は、第６の操作例にかかる入力処理の例を説明する図である。ＡＣ１は、ユーザが指をスライドさせているときの動きの例をＹＺ平面上で示した図である。例えば、ユーザがＰ１に示す指の形状からＹ軸の値が小さくなる方向に指をスライドさせると、指の形はＰ２に表わすとおりになる。ここで、指の位置がＰ１に示す状態の場合は、指が観測されている位置の入力装置２０からの距離は指の関節部分と指先で大きな差がない。従って、指の検出位置のＹ座標の値は、指のうちの観測対象とする箇所の高さ（Ｚ軸の値）が変わっても大きく変化しない。このため、Ｙ軸を縦軸、Ｚ軸を横軸として、Ｙ軸方向での指の検出位置の撮像部２６からの距離をプロットすると、Ｇ１２２に示すように、指の観測されている領域だけが所定の値になるが、指の観測されていない領域のＹ軸の値は低くなる。
【０１０８】
一方、指の位置がＰ２に示す状態の場合は、指が観測されている位置の入力装置２０からの距離は指の関節部分から指先にかけて、段階的に大きくなっている。従って、指が観測されている領域においては、指の検出位置のＹ座標の値は、観測対象とする指の高さ（Ｚ軸の値）が小さくなるほど、小さくなる。このため、Ｙ軸を縦軸、Ｚ軸を横軸として、指の検出位置の変化をプロットすると、Ｇ１２１に示すように、指の観測されている領域がＺ軸の値に正比例する。
【０１０９】
次に、ＡＣ２を参照しながらタップ操作が行われるときの指の形と指の検出位置のＹ座標の値の変動について説明する。タップ操作が行われる場合、指は、Ｐ４に示す位置からＰ３のように持ち上げられ、再び、Ｐ４の位置に戻る。このため、タップ操作の最初から最後まで、指の位置がＰ１に示す状態の場合と同様に、指が観測されている位置の入力装置２０からの距離は指の関節部分と指先で大きな差がない。また、タップ操作が行われている場合の指の形状では、指の検出位置のＹ座標の値は、指のうちの観測対象とする箇所の高さが変わっても大きく変化しない。このため、Ｙ軸を縦軸、Ｚ軸を横軸として、指の検出位置の変化をプロットすると、Ｇ１２２に示すようになる。
【０１１０】
そこで、指の検出位置のＹ座標の値を高さの関数としてプロットしたときに、Ｇ１２１に示すようにＹ軸の値がＺ軸の値に比例する形状のグラフとなる期間が操作中にある場合、生成部３２は、ユーザが指をスライドさせていると判定できる。
【０１１１】
一方、指の検出位置のＹ座標の値を高さの関数としてプロットしたときに、Ｇ１２１に示すようにＹ軸の値がＺ軸の値に比例する形状のグラフとなる期間が操作中になく、Ｇ１２２に示すプロットのみが得られるとする。この場合、生成部３２は、ユーザがタップ操作を行っていると判定できる。
【０１１２】
第６の判定処理は、これまでに説明した第１〜第５の操作例のいずれと併用することもできる。ユーザの指の形状の変化を用いてユーザの操作の種類を判定する処理を組み合わせることにより、誤操作が起こる確率をさらに低くすることができる。
【０１１３】
例えば、生成部３２は、ある指の移動により得られた軌跡の長さが閾値Ｔｈ１を超えており、さらに、所定値以上の振幅の振動が発生していることから、タップ操作が発生したと判定したとする。このときに、生成部３２は、さらに、タップ操作を行っていると判定した指に関してのＹ座標の値と指先からの距離の関係が図２３のＧ１２２に示すとおりであるかを判定する。タップ操作を行っていると判定した指に関してのＹ座標の値と指先からの高さ方向の距離の関係が図２３のＧ１２２の通りである場合、生成部３２は、タップ操作が行われたと判定して、入力信号を端末１０に出力する。
【０１１４】
一方、タップ操作を行っていると判定した指に関してのＹ座標の値と指先からの高さ方向の距離の関係が図２３のＧ１２２とは異なる形状である場合、生成部３２は、タップ操作が発生していないと判定する。例えば、図２３のＧ１２１に示す形状の場合は、ユーザが指をスライドさせていることが考えられるため、タップ操作が発生している可能性は低い。このような場合、生成部３２は、ユーザ操作を誤認識した可能性があるため、入力信号を生成せずに、処理を終了する。
【０１１５】
同様に、生成部３２は、スワイプ処理が発生しているかを判定する際にも、Ｙ座標の値と指先からの高さ方向の距離の関係を使用できる。例えば、ある指の移動により得られた軌跡の長さが閾値Ｔｈ１を超えているが、所定値以上の振幅の振動が発生していないため、生成部３２は、スワイプ操作が発生したと判定したとする。このときに、生成部３２は、図２３のＧ１２１に示すように、Ｙ座標の値と指先からの高さ方向の距離の関係が指先からの距離に応じて、グラデーション状に変動している状態が、ユーザの操作中に発生しているかを判定する。Ｙ座標の値がグラデーション状に変動する状態が発生している場合、図２３のＡＣ１に示すように、指が入力装置２０に対して傾いた状態（Ｐ２）が操作中に発生しているため、スワイプ処理が行われていると判定する。
【０１１６】
一方、Ｙ座標の値がグラデーション状に変動する状態が発生していない場合、指が入力装置２０に対して傾いた状態が操作中に発生していないので、スワイプ処理は発生していない。このため、生成部３２は、ユーザ操作を誤認識した可能性があると判定し、入力信号を生成せずに、処理を終了する。
【０１１７】
なお、図２３の例では、スワイプ処理を行っている指先が入力装置２０から遠ざかるように動かされている場合を例として説明したが、スワイプ処理の際に、指先は入力装置２０に近づくように動かされても良い。この場合のＹ座標の値と指先からの高さ方向の距離の関係は、Ｚ軸の値が小さいほどＹ軸の値が大きなグラフとなる。
【０１１８】
＜その他＞
実施形態は上記に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
【０１１９】
例えば、入力装置２０に搭載されているプロセッサ１０１の性能が良くない場合、入力装置２０は、ユーザの処理の種類を特定せずに、測定部３１での観測結果と、生成部３２での座標変化を端末１０に定期的に通知しても良い。この場合、端末１０が入力装置２０から通知された情報に基づいて、ユーザで行われている処理の種類を特定する。
【０１２０】
入力装置２０から入力信号を取得する端末１０は、ウェアラブル端末や時計型端末などの入力が行いにくい形状の装置に限定されない。例えば、端末１０は、スマートフォンを含む携帯電話端末、タブレット、コンピュータなどであっても良い。端末１０として、スマートフォンを含む携帯電話端末、タブレット、コンピュータなどが用いられる場合、ユーザは、端末１０の表面を指の脂などによって汚さずに操作を行うことができるという利点がある。
【０１２１】
上述の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ユーザの手に装着される入力装置であって、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射する照射部と、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像する撮像部と、
前記ユーザの指の動きにより生じる振動の大きさを測定する測定部と、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する生成部と、
前記入力信号を、入力先の装置に送信する送信部
を備えることを特徴とする入力装置。
（付記２）
前記生成部は、
前記軌跡の長さが第１の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第１の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
ことを特徴とする付記１に記載の入力装置。
（付記３）
前記生成部は、
前記第１の閾値より長い軌跡が得られた期間に前記測定部が観測した振動の大きさが第２の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第１の操作の発生を通知する情報を前記入力信号に含め、
前記第１の閾値より長い軌跡が得られた時刻に観測された前記振動の大きさが前記第２の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第２の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
ことを特徴とする付記２に記載の入力装置。
（付記４）
前記第１の操作と第２の操作の各々に対応付けて、当該操作に使用される指の種類を記憶する記憶部
をさらに備え、
前記生成部は、
前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第１または第２の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
ことを特徴とする付記３に記載の入力装置。
（付記５）
前記記憶部は、前記第１の操作と前記第２の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶し
前記生成部は、
前記撮像部で検出された前記第２の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
ことを特徴とする付記３または４に記載の入力装置。
（付記６）
前記生成部は、前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記入力信号に、前記入力信号で通知する操作を行った指を識別する情報を含める
ことを特徴とする付記１〜３のいずれか一項に記載の入力装置。
（付記７）
ユーザの手に装着される入力装置が、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行うことを特徴とする入力制御方法。
（付記８）
前記入力装置は、
前記軌跡の長さが第１の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第１の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
ことを特徴とする付記７に記載の入力制御方法。
（付記９）
前記入力装置は、
前記第１の閾値より長い軌跡が得られた期間に観測した振動の大きさが第２の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第１の操作の発生を通知する情報を前記入力信号に含め、
前記第１の閾値より長い軌跡が得られた時刻に観測した前記振動の大きさが前記第２の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第２の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
ことを特徴とする付記８に記載の入力制御方法。
（付記１０）
前記入力装置は、前記第１の操作と前記第２の操作の各々に対応付けて、当該操作に使用される指の種類を記憶しており、
撮像した撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第１または第２の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
ことを特徴とする付記９に記載の入力制御方法。
（付記１１）
前記入力装置は、前記第１の操作と前記第２の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶しており、
前記第２の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
ことを特徴とする付記９または１０に記載の入力制御方法。
（付記１２）
ユーザの手に装着される入力装置に、
所定の形状の第１の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第２の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第２の赤外光パターンと前記第１の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行わせることを特徴とする入力制御プログラム。
（付記１３）
前記入力装置に、
前記軌跡の長さが第１の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第１の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
処理をさらに行わせることを特徴とする付記１２に記載の入力制御プログラム。
（付記１４）
前記入力装置に、
前記第１の閾値より長い軌跡が得られた期間に観測した振動の大きさが第２の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第１の操作の発生を通知する情報を前記入力信号に含め、
前記第１の閾値より長い軌跡が得られた時刻に観測した前記振動の大きさが前記第２の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第２の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
処理をさらに行わせることを特徴とする付記１３に記載の入力制御プログラム。
（付記１５）
前記入力装置は、前記第１の操作と前記第２の操作の各々に対応付けて、当該操作に使用される指の種類を記憶しており、
前記入力装置に、
撮像した撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第１または第２の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
処理をさらに行わせることを特徴とする付記１４に記載の入力制御プログラム。
【符号の説明】
【０１２２】
１０  端末
２０  入力装置
２１  送受信部
２２  送信部
２３  受信部
２５  照射部
２６  撮像部
３０  制御部
３１  測定部
３２  生成部
４０  記憶部
１０１  プロセッサ
１０２  ＲＡＭ
１０３  ＲＯＭ
１０４  加速度センサ
１０５  通信インタフェース
１１１  レンズ
１１２  赤外光ＬＥＤ
１１３  赤外線カメラ
【図１】
2017004458.tif 000003
【図２】
2017004458.tif 000004
【図３】
2017004458.tif 000005
【図４】
2017004458.tif 000006
【図５】
2017004458.tif 000007
【図６】
2017004458.tif 000008
【図７】
2017004458.tif 000009
【図９】
2017004458.tif 000010
【図１１】
2017004458.tif 000011
【図１２】
2017004458.tif 000012
【図１４】
2017004458.tif 000013
【図１５】
2017004458.tif 000014
【図１６Ａ】
2017004458.tif 000015
【図１６Ｂ】
2017004458.tif 000016
【図１７】
2017004458.tif 000017
【図１８Ａ】
2017004458.tif 000018
【図１８Ｂ】
2017004458.tif 000019
【図１９】
2017004458.tif 000020
【図２２】
2017004458.tif 000021
【図２３】
2017004458.tif 000022
【図８】
2017004458.tif 000023
【図１０】
2017004458.tif 000024
【図１３】
2017004458.tif 000025
【図２０】
2017004458.tif 000026
【図２１】
2017004458.tif 000027