(57)【要約】【課題】利便性を向上させることができる入力装置、入力支援プログラム、及び入力支援方法を提供すること。【解決手段】人体に装着される入力装置２であって、スイッチ７と、人体の運動を示す運動情報Imを取得するモーションセンサ１１と、自装置の周囲の音を示す音情報Ivを取得するマイク１２と、運動情報Imのうち、スイッチ７が押されている期間Tmにおける第１の運動情報Im1を抽出する第１の抽出部３４と、音情報Ivのうち、期間Tmにおける第１の音情報Iv1と、期間Tmの前又は後における第２の音情報Iv2とを抽出する第２の抽出部３５と、第２の抽出部３５が抽出した第１の音情報Iv1と第２の音情報Iv2とを基にして、第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかを判定する判定部３７とを有する入力装置による。【選択図】図９
2018195112.tif 000002
【特許請求の範囲】
【請求項１】
人体に装着される入力装置であって、
スイッチと、
前記人体の運動を示す運動情報を取得するモーションセンサと、
自装置の周囲の音を示す音情報を取得するマイクと、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出する第１の抽出部と、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出する第２の抽出部と、
前記第２の抽出部が抽出した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する判定部と、
を有する入力装置。
【請求項２】
前記第１の運動情報を基にして前記運動の軌跡を認識する運動認識部と、
前記第１の音情報を基にして音声認識を実行する音声認識部とを更に有することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記音声認識の実行結果と前記軌跡のいずれかを基にしてアプリケーションプログラムを実行するアプリ実行部を更に有することを特徴とする請求項２に記載の入力装置。
【請求項４】
スイッチと、自装置が装着された人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクとを備えた入力装置に、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出し、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出し、
抽出した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する、
処理を実行させるための入力支援プログラム。
【請求項５】
情報処理装置に、
人体に装着された入力装置のマイクが取得した周囲の音を示す音情報のうち、前記入力装置のスイッチが押されている期間における第１の音情報と、前記期間の前又は後における第２の音情報とを基にして、前記入力装置のモーションセンサが取得した前記人体の動きを示す運動情報のうち前記期間における第１の運動情報と前記第１の音情報のどちらを入力データとするのかを判定する、
処理を実行させるための入力支援プログラム。
【請求項６】
スイッチと、自装置が装着された人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクとを備えた入力装置が、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出し、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出し、
前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する、
入力支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置、入力支援プログラム、及び入力支援方法に関する。
【背景技術】
【０００２】
近年、ユーザの入力作業を支援するための様々な入力装置が開発されている。その入力装置がサポートする入力方法の一つにジェスチャ入力がある。
【０００３】
ジェスチャ入力は、ユーザが空中でジェスチャにより書いた文字を入力する技術である。この技術によれば、入力を行うためのキーボードが不要となるため、ユーザが簡単に入力作業を行うことができる。
【０００４】
また、ジェスチャ入力の他に、音声入力によってもユーザの入力作業を支援することができる。音声入力は、ユーザの音声をテキストに変換する技術であって、長い文章を短時間で入力する際に便利である。
【０００５】
その音声入力とジェスチャ入力の両方の機能を入力装置に実装することにより、例えば周囲の雑音が大きな場合にはジェスチャ入力を行い、長い文章を入力するときには音声入力を行う等により、状況に応じた入力方法の切換えを行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１９２６５３号公報
【特許文献１】特開２０１１−１２８７６６号公報
【特許文献１】特開２０１４−１０２８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ユーザが入力装置に対して入力方法の切換えをその都度指示したのでは、指示の際にユーザの作業や思考が一時的に停止してしまい、ユーザの利便性が低下してしまう。
【０００８】
一側面によれば、本発明は、利便性を向上させることができる入力装置、入力支援プログラム、及び入力支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一側面によれば、人体に装着される入力装置であって、スイッチと、前記人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクと、前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出する第１の抽出部と、前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出する第２の抽出部と、前記第２の抽出部が抽出した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する判定部とを有する入力装置が提供される。
【発明の効果】
【００１０】
一側面によれば利便性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１実施形態に係るシステムの構成図である。
【図２】図２は、第１実施形態に係る入力装置の外観図である。
【図３】図３は、指に装着された状態での第１実施形態に係る入力装置の外観図である。
【図４】図４は、第１実施形態に係る入力装置のハードウェア構成図である。
【図５】図５は、第１実施形態における音声入力の際の音情報と運動情報の各々の波形を示す図である。
【図６】図６は、第１実施形態におけるジェスチャ入力の際の音情報と運動情報の各々の波形を示す図である。
【図７】図７は、第１実施形態における判定方法について説明するための音情報の波形を示す図である。
【図８】図８は、第１実施形態における判定で使用する運動情報について模式的に示す図である。
【図９】図９は、第１実施形態に係る入力装置の機能構成図である。
【図１０】図１０は、第１実施形態において、ジェスチャ入力による運動の軌跡の一例を示す図である。
【図１１】図１１は、第１実施形態に係る情報処理装置の正面図である。
【図１２】図１２は、第１実施形態に係る情報処理装置のハードウェア構成図である。
【図１３】図１３は、第１実施形態に係る情報処理装置の機能構成図である。
【図１４】図１４は、第１実施形態に係る入力支援方法について説明するためのシーケンス図である。
【図１５】図１５は、第２実施形態に係る入力装置と情報処理装置の各々の機能構成図である。
【図１６】図１６は、第２実施形態に係る入力支援方法について説明するためのシーケンス図である。
【図１７】図１７は、第３実施形態に係る入力装置と情報処理装置の各々の機能構成図である。
【図１８】図１８は、第３実施形態に係る入力支援方法について説明するためのシーケンス図である。
【図１９】図１９は、第４実施形態に係る入力装置の外観図である。
【図２０】図２０は、第４実施形態に係る入力装置のハードウェア構成図である。
【図２１】図２１は、第４実施形態に係る入力装置の機能構成図である。
【図２２】図２２は、第４実施形態に係る入力支援方法について説明するためのシーケンス図である。
【発明を実施するための最良の形態】
【００１２】
以下に、各実施形態について図面を参照しながら詳細に説明する。
【００１３】
（第１実施形態）
本実施形態では、インフラ設備の点検や患者に対する看護業務を行う現場を想定する。そのような現場における入力方式にはジェスチャ入力と音声入力とがある。作業者の意図に応じてこれらの入力方式を切り替えることができると、例えば周囲の騒音が大きいときにはジェスチャ入力を行い、連続した文字列を速やかに入力しようとするときには音声入力を行うことで、ユーザの利便性が向上する。
【００１４】
そこで、本実施形態では、作業者の作業や思考を停止させることなしに、ジェスチャ入力と音声入力とを自動的に切り替えることができるシステムについて説明する。
【００１５】
［システム構成］
図１は、本実施形態に係るシステムの構成図である。
【００１６】
このシステム１は、ユーザの入力操作に応じてアプリケーションプログラムを実行するシステムであって、入力装置２と情報処理装置３とを備える。
【００１７】
このうち、入力装置２は、ジェスチャや音声による入力を受け付けるデバイスである。この例では入力装置２をユーザの指Fに装着される指輪型とする。
【００１８】
ジェスチャ入力を行う場合には、ユーザが空中で指Fを使って文字を書く。また、音声入力を行う場合には、ユーザが入力装置を口に近づけて発話を行う。
【００１９】
これらの入力方法で入力装置２に文字が入力されると、その文字や当該文字に対応した命令が無線通信により情報処理装置３に入力される。
【００２０】
その情報処理装置３は、入力装置２と無線で接続された携帯端末である。そのような携帯端末としては、例えば、スマートフォン、タブレット型PC(Personal Computer)、及びノート型PCがある。
【００２１】
入力装置２と情報処理装置３とを接続する無線のプロトコルは特に限定されない。例えば、BLE(Bluetooth（登録商標）Low Energy)等の近距離無線通信により入力装置２と情報処理装置３とを相互に接続し得る。
【００２２】
また、情報処理装置３には様々なアプリケーションプログラムが格納される。これらのアプリケーションプログラムの各々は入力装置２に入力された文字に紐付けられており、その文字に応じて実行される。
【００２３】
例えば、ユーザが入力装置２から「２」を入力すると、「２」に対応したアプリケーションプログラムが情報処理装置３において実行される。
【００２４】
更に、情報処理装置３においてアプリケーションプログラムが実行中の場合には、ユーザが入力装置２から入力した文字列を実行中のアプリケーションプログラムの画面に表示させることもできる。
【００２５】
［入力装置］
＜全体構成＞
図２は、入力装置２の外観図である。
【００２６】
入力装置２は、リング５と部品内蔵部６とを有する。
【００２７】
リング５は、ユーザの指が通される部位であり、指の形状にフィットするように整形される。
【００２８】
一方、部品内蔵部６は、プロセッサやメモリ等の電子部品が内蔵される部分である。これらの電子部品を収容し易くするため、部品内蔵部６は他の部位よりも厚く形成される。
【００２９】
また、リング５の外周面にはスイッチ７が設けられる。
【００３０】
スイッチ７は、指で押下することによりオン状態となる機械的なスイッチであって、ユーザが入力装置２に入力の意図があることを伝えるために用いられる。なお、スイッチ７をオフ状態にするにはスイッチ７から指を離せばよい。
【００３１】
図３は、指Fに装着された状態での入力装置２の外観図である。
【００３２】
この例では人差し指に入力装置２を装着することにより親指でスイッチ７を楽に押せるようにする。
【００３３】
実使用下においては、ユーザがスイッチ７を押下しながら入力装置２に対してジェスチャ入力と音声入力のいずれかを行い、入力が終わったらユーザはスイッチ７から指を離す。
【００３４】
ユーザによるこれらの入力方法の使い分けは特に限定されない。例えば、工事現場や人混み等のように周囲の騒音が大きい場合や、画像の拡大や縮小等のように手で指示するのが好ましい場合にはユーザはジェスチャ入力をする。
【００３５】
また、長い文字列からなるテキストを入力する場合にはユーザは音声入力をする。
【００３６】
＜ハードウェア構成＞
図４は、入力装置２のハードウェア構成図である。
【００３７】
図４に示すように、入力装置２は、スイッチ７、モーションセンサ１１、マイク１２、記憶部１３、メモリ１４、通信部１５、及びプロセッサ１６を有する。これらの各部は、バス１８を介して相互に接続される。
【００３８】
これらのうち、モーションセンサ１１は、ジェスチャ入力のために使用されるデバイスであって、指の運動を示す運動情報Imを取得する。そのようなデバイスとしては、３軸のジャイロセンサや加速度センサがある。
【００３９】
以下ではモーションセンサ１１として３軸のジャイロセンサを使用する場合について説明する。その場合、モーションセンサ１１が取得する運動情報Imは、相互に垂直なX軸、Y軸、及びZ軸方向の各々を中心にした角速度ベクトル（ωx、ωy、ωz）となる。
【００４０】
なお、ジャイロセンサに代えて加速度センサをモーションセンサ１１として使用する場合には、加速度センサが検知した重力加速度を除去するために、加速度センサの後段にハイパスフィルタを設けてもよい。
【００４１】
また、マイク１２は、音声入力のために使用されるデバイスである。この例では、入力装置２の周囲の音の強度を示す音情報Ivをマイク１２が取得する。
【００４２】
一方、記憶部１３は、例えばフラッシュメモリ等の不揮発性のストレージであり、入力装置２用の入力支援プログラム２０を記憶する。
【００４３】
なお、その入力支援プログラム２０をコンピュータが読み取り可能な記録媒体１９に記録させておき、プロセッサ１６に記録媒体１９の入力支援プログラム２０を読み取らせるようにしてもよい。
【００４４】
そのような記録媒体１９としては、例えばCD-ROM(Compact Disc - Read Only Memory)、DVD(Digital Versatile Disc)、及びUSB(Universal Serial Bus)メモリ等の物理的な可搬型記録媒体がある。また、フラッシュメモリ等の半導体メモリやハードディスクドライブを記録媒体１９として使用してもよい。これらの記録媒体１９は、物理的な形態を持たない搬送波のような一時的な媒体ではない。
【００４５】
更に、公衆回線、インターネット、及びLAN(Local Area Network)等に接続された装置に入力支援プログラム２０を記憶させておき、プロセッサ１６が入力支援プログラム２０を読み出して実行するようにしてもよい。
【００４６】
また、メモリ１４は、DRAM(Dynamic RAM)等のようにデータを一時的に記憶するハードウェアであって、その上に前述の入力支援プログラム２０が展開される。
【００４７】
そして、通信部１５は、近距離無線通信のインターフェースであって、近距離無線通信により自装置と情報処理装置３とを接続する。そのような近距離無線通信の規格としては例えばBLEがある。
【００４８】
プロセッサ１６は、自装置の各部を制御したり、メモリ１４と協働して入力支援プログラム２０を実行したりするCPU(Central Processing Unit)等のハードウェアである。
【００４９】
なお、プロセッサ１６にはサンプラ１６ａが設けられる。サンプラ１６ａは、モーションセンサ１１から運動情報Imをサンプリングしたり、マイク１２から音情報Ivをサンプリングしたりするハードウェアである。
【００５０】
また、入力装置２には電源１７も設けられる。電源１７は、入力装置２の各部に電源を供給する電池である。
【００５１】
＜ジェスチャ入力と音声入力の判定方法＞
前述のように、入力装置２は、ジェスチャ入力と音声入力の両方を行うことができる。
【００５２】
本実施形態では、以下のようにジェスチャ入力と音声入力のそれぞれの特徴を利用することにより、ユーザが入力方法の切換えを入力装置２に指示することなしに、入力装置２が自動で入力方法の切換えをできるようにする。
【００５３】
図５は、音声入力の際の音情報Ivと運動情報Im(=(ωx、ωy、ωz))の各々の波形を示す図である。
【００５４】
音声入力やジェスチャ入力を行う場合には、入力の意思を入力装置２に伝えるためにユーザがスイッチ７を押下する。そして、入力が終わったらユーザがスイッチ７から親指を離す。
【００５５】
以下では、スイッチ７が押下されてユーザが入力を行っている期間を操作期間Tmと呼ぶ。また、操作期間Tmの直前においてスイッチ７が押下されていない期間を操作前期間Tsと呼び、操作期間Tmの直後においてスイッチ７が押下されていない期間を操作後期間Teと呼ぶ。
【００５６】
音声入力を行う場合は、自らの声を入力装置２に明確に伝えようとする意図がユーザに働くため、ユーザは口に入力装置２を近づけて発話を行う。そのため、操作期間Tmにおける入力装置２の動きは僅かとなり、図５のように操作期間Tmにおける運動情報Im(=(ωx、ωy、ωz))の波形の高さは操作前期間Tsと操作後期間Teの各々におけるよりも低くなる。
【００５７】
一方、操作期間Tmにおける音情報Ivの高さは、ユーザの発話によって操作前期間Tsと操作後期間Teの各々におけるよりも高くなる。
【００５８】
このように、音声入力の際には、操作期間Tmにおける運動情報Imの波形の高さが低くなり、逆に操作期間Tmにおける音情報Ivの波形の高さが高くなる傾向がある。
【００５９】
一方、図６は、ジェスチャ入力の際の音情報Ivと運動情報Im=(ωx、ωy、ωz)の各々の波形を示す図である。
【００６０】
ジェスチャ入力の場合には、操作期間Tmにおいてユーザが指を大きく動かす。そのため、操作期間Tmにおける運動情報Im=(ωx、ωy、ωz)の波形の高さは、図５の音声入力の場合よりも高くなる。
【００６１】
また、ジェスチャ入力の場合にはユーザは発話を行わないため、操作期間Tmにおいて音情報Ivの波形が大きくなることはなく、操作前期間Ts、操作期間Tm、及び操作後期間Teの各々において音情報Ivの波形の高さは同程度となる。
【００６２】
図５や図６で説明した音情報Ivと運動情報Imの各々の特徴を利用すると、ユーザがジェスチャ入力と音声入力のどちらを意図しているのかを以下のように判定することができる。
【００６３】
図７は、その判定方法について説明するための音情報Ivの波形を示す図である。
【００６４】
図７に示すように、ジェスチャ入力と音声入力のどちらを入力データとするのかを判定するために、本実施形態では平均値Smと基準レベルSs、Seを算出する。
【００６５】
このうち、平均値Smは、操作期間Tmにおける音情報IvのRMS(Root Mean Square)平均値である。例えば、操作期間Tmにおける音情報Ivのサンプル数がN個であり、各サンプルをI1、I2、…INで表すと、平均値Smは{(I12 + I22+ …+ IN2)/N}1/2で算出される。
【００６６】
また、基準レベルSsは操作前期間Tsにおける音情報IvのRMS平均値であり、基準レベルSeは操作後期間Teにおける音情報IvのRMS平均値である。
【００６７】
なお、操作前期間Tsや操作後期間Teの長さが長すぎると基準レベルSs、Seにノイズが乗る可能性が高まる。また、これらの期間が短すぎると、基準レベルSs、Seを算出するための音情報Ivのサンプル数が少なくなる。そこで、この例では操作前期間Tsと操作後期間Teの各々の長さを１秒とすることにより、基準レベルSs、Seにノイズが乗るのを防止しつつ、基準レベルSs、Seを算出するのに十分なサンプル数の音情報Ivを確保する。
【００６８】
また、以下では操作期間Tmにおける音情報Ivを第１の音情報Iv1と呼び、操作前期間Tsと操作後期間Teの各々における音情報Ivを第２の音情報Iv2と呼ぶ。この場合、前述の平均値Smは第１の音情報Iv1から算出され、基準レベルSs、Seは第２の音情報Iv2から算出されることになる。
【００６９】
図５を参照して説明したように、音声入力の際には、操作期間Tmにおける音情報Ivの波形が、操作前期間Tsと操作後期間Teの各々におけるよりも高くなる。そのため、音声入力の場合には平均値Smが基準レベルSsや基準レベルSeよりも大きくなる。
【００７０】
そこで、本実施形態では次の表１のルールを利用し、そのルールが満たされた場合には音声入力であると判断し、そうでな場合にはジェスチャ入力であると判断する。
【００７１】
【表１】
2018195112.tif 000003
【００７２】
判定にあたっては、ルール１〜４のいずれか一のみを利用すればよい。
【００７３】
例えば、ルール１を利用する場合には、平均値Smを基準レベルSsで除した値を求め、その値が予め定めておいた所定値Th1以上かを判断する。なお、所定値Th1は、音声入力とジェスチャ入力とを弁別する閾値としての意義を有し、実験やシミュレーション等によって予め定められる。これについては所定値Th3や後述の所定値Th4〜Th10においても同様である。
【００７４】
また、次のように運動情報Imも併用することにより、音声入力とジェスチャ入力のどちらを入力データとするのかの判定を行ってもよい。
【００７５】
図８は、その判定に使用する運動情報Imについて模式的に示す図である。
【００７６】
図８に示すように、運動情報Imについては平均値Mmと基準レベルMs、Meとを算出する。
【００７７】
本実施形態では運動情報Imとして前述のように角速度ベクトル（ωx、ωy、ωz）を使用する。その場合、平均値Mmは、操作期間Tmにおける角速度ベクトル（ωx、ωy、ωz）のノルムのRMS平均である。例えば、操作期間Tmにおける運動情報Imのサンプル数がM個であり、各サンプルを（ωx1、ωy1、ωz1）、（ωx2、ωy2、ωz2）、…（ωxM、ωyM、ωzM）で表すと、平均値Mmは[{(ωx12 + ωy12 + ωz12)1/2 + (ωx22 + ωy22 + ωz22)1/2 + …+ (ωxM2 + ωyM2 + ωzM2)1/2}/M]で算出される。
【００７８】
また、基準レベルMsは操作前期間Tsにおける運動情報ImのRMS平均値であり、基準レベルMeは操作後期間Teにおける運動情報ImのRMS平均値である。
【００７９】
なお、以下では操作期間Tmにおける運動情報Imを第１の運動情報Im1と呼び、操作前期間Tsと操作後期間Teの各々における運動情報Imを第２の運動情報Im2と呼ぶ。この場合、前述の平均値Mmは第１の運動情報Im1から算出され、基準レベルMs、Meは第２の運動情報Im2から算出されることになる。
【００８０】
次の表２は、平均値Mmを利用した判定ルールについて示す表である。
【００８１】
【表２】
2018195112.tif 000004
【００８２】
図５を参照して説明したように、音声入力の際には操作期間Tmにおける運動情報Imが小さくなる傾向がある。これを利用して、表２のルール５では、前述のルール１〜４のいずれかが満たされ、かつ操作期間Tmにおける平均値Mmが所定値Th4以下の場合に音声入力であると判定し、そうでない場合にジェスチャ入力であると判定する。
【００８３】
これにより、ルール１〜４のみを利用する場合と比較して、判定の確度を更に高めることが可能となる。
【００８４】
更に、次の表３のルールに従って判定を行ってもよい。
【００８５】
【表３】
2018195112.tif 000005
【００８６】
表３のルール６〜８では、音声入力の場合にはSm/Ss、Sm/Se、Sm/(Ss + Se)が大きくなり、かつMm/Ms、Mm/Me、Mm/(Ms + Me)が小さくなることを利用する。そして、例えば(Sm/Ss)/(Mm/Ms)が所定値Th5以上の場合に音声入力であると判定し、そうでない場合にジェスチャ入力であると判定する。
【００８７】
また、次の表４のルールに従って判定を行ってもよい。
【００８８】
【表４】
2018195112.tif 000006
【００８９】
表４のルール９〜１２は、前述のルール１〜４と、Mm/Ms、Mm/Me、Mm/(Ms + Me)の各値とを併用したルールである。
【００９０】
＜機能構成＞
次に、この入力装置２の機能構成について説明する。
【００９１】
図９は、入力装置２の機能構成図である。
【００９２】
図９に示すように、入力装置２は、スイッチ監視部３１、サンプリング部３２、バッファリング部３３、第１の抽出部３４、第２の抽出部３５、基準レベル算出部３６、判定部３７、運動認識部３８、音声認識部３９、及び送信部４０を備える。
【００９３】
これらの各部は、プロセッサ１６がメモリ１４と協働して入力支援プログラム２０を実行することにより実現される。
【００９４】
このうち、スイッチ監視部３１は、スイッチ７が押下されたかどうかを監視する。
【００９５】
そして、スイッチ７が押下された場合は、スイッチ監視部３１は、前述の操作期間Tmが開始されたことを第１の抽出部３４と第２の抽出部３５の各々に通知する。
【００９６】
また、操作期間Tmが開始した後にスイッチ７が離された場合には、スイッチ監視部３１は、操作期間Tmが終了したことを第１の抽出部３４と第２の抽出部３５の各々に通知する。
【００９７】
サンプリング部３２は、モーションセンサ１１とマイク１２の各々から前述の運動情報Imと音情報Ivとをサンプリングする。
【００９８】
そのサンプリング周波数は特に限定されない。例えば、運動情報Imについては５０Hz程度のサンプリング周波数を採用し得る。また、音情報Ivについては８kHz〜１６kHz程度のサンプリング周波数を採用し得る。
【００９９】
バッファリング部３３は、サンプリングした運動情報Imと音情報Ivの各々をメモリ１４に一時的に格納する。
【０１００】
第１の抽出部３４は、前述のようにスイッチ監視部３１から操作期間Tmの開始や終了の通知を受ける。これを基にして、第１の抽出部３４は、バッファリング部３３が格納した運動情報Imのうち、操作期間Tmにおける第１の運動情報Im1を抽出する。更に、第１の抽出部３４は、操作前期間Tsと操作後期間Teの各々における第２の運動情報Im2をその運動情報Imから抽出する。
【０１０１】
一方、第２の抽出部３５も、前述のようにスイッチ監視部３１から操作期間Tmの開始や終了の通知を受ける。これを基にして、第２の抽出部３５は、バッファリング部３３が格納した音情報Ivのうち、操作期間Tmにおける第１の音情報Iv1を抽出する。更に、第２の抽出部３５は、操作前期間Tsと操作後期間Teの各々における第２の音情報Iv2をその音情報Ivから抽出する。
【０１０２】
基準レベル算出部３６は、抽出された第２の運動情報Im2から前述の基準レベルMs、Meを算出すると共に、抽出された第２の音情報Iv2から前述の基準レベルSs、Seを算出する。
【０１０３】
その他に、基準レベル算出部３６は、抽出された第１の運動情報Im1から前述の平均値Mmを算出すると共に、抽出された第１の音情報Iv1から前述の平均値Smを算出する。
【０１０４】
判定部３７は、第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかを判定し、その判定の結果を運動認識部３８と音声認識部３９の各々に出力する。その判定は、基準レベル算出部３６が算出した各基準レベルSs、Se、Ms、Meと各平均値Sm、Mmとを基にして行われる。また、判定ルールとしては、前述のルール１〜１２がある。
【０１０５】
運動認識部３８は、第１の運動情報Im1を入力データとする判定結果を判定部３７から受けたときに、第１の抽出部３４が抽出した第１の運動情報Im1を基にして指の運動の軌跡を認識し、文字認識エンジンを用いてその軌跡をテキストに変換する。
【０１０６】
その認識方法は特に限定されない。例えば、第１の運動情報Im1として角速度ベクトル（ωx、ωy、ωz）を採用する場合には、その角速度ベクトルの各成分を時間で積分すれば指の軌跡を得ることができる。
【０１０７】
図１０は、その軌跡の一例を示す図である。
【０１０８】
この例では、軌跡がアラビア数字の「２」となっている。この場合には、運動認識部３８によって軌跡がテキストの「２」に変換される。
【０１０９】
再び図９を参照する。
【０１１０】
音声認識部３９は、第１の音情報Iv1を入力データとする判定結果を判定部３７から受けたときに、第１の音情報Iv1を基にして音声認識を実行することにより、ユーザの発話内容をテキストに変換する。例えば、ユーザが「二」と発話した場合には、音声認識部３９によってその発話内容がテキストの「２」に変換される。
【０１１１】
また、ユーザが連続して発話を行った場合には、音声認識部３９は、その発話内容を表す文字列をテキストとして出力する。
【０１１２】
送信部４０は、運動認識部３８と音声認識部３９の各々による認識結果を含む認識結果イベントを情報処理装置３に送信する。なお、その認識結果は、上記のように運動認識部３８と音声認識部３９が生成したテキストである。
【０１１３】
また、その認識結果イベントには、上記の認識結果に基づいてアプリケーションプログラムを実行するように情報処理装置３に依頼する命令も含まれる。そのような命令としては、例えば、認識結果に含まれるテキストに紐付いたアプリケーションを情報処理装置３に実行させる命令がある。
【０１１４】
更に、情報処理装置３において既にアプリケーションプログラムが実行中の場合であって、認識結果に含まれるテキストが文字列のときは、情報処理装置３にその文字列を表示させるようにしてもよい。
【０１１５】
［情報処理装置］
＜全体構成＞
図１１は、情報処理装置３の正面図である。
【０１１６】
図１１に示すように、情報処理装置３は、筐体４１とその前面に固定された矩形状のディスプレイ４２とを有する。
【０１１７】
このうち、筐体４１は、ユーザが携帯可能な板状の形状を有する。
【０１１８】
また、ディスプレイ４２は、アプリケーションプログラムの画面を表示する表示部と、ユーザがタッチすることにより入力を行う入力部を兼ねたタッチパネルである。
【０１１９】
＜ハードウェア構成＞
図１２は、情報処理装置３のハードウェア構成図である。
【０１２０】
図１２に示すように、情報処理装置３は、ディスプレイ４２、通信部４３、記憶部４４、メモリ４５、及びプロセッサ４６を備える。なお、これらの各部はバス４７により相互に接続される。
【０１２１】
このうち、ディスプレイ４２は、前述のようにタッチパネルであり、各種のアプリケーションプログラムの画面を表示する表示部４２ａと、ユーザがタッチすることにより入力を行う入力部４２ｂとを有する。
【０１２２】
表示部４２ａは、例えばLCD(Liquid Crystal Display)であり、プロセッサ４６からの指示に基づいて、文字、アイコン、及び画像等のオブジェクトを表示する。
【０１２３】
また、入力部４２ｂは、ユーザがタッチしている時間とタッチ位置の位置座標とをプロセッサ４６に通知し、これに基づいてプロセッサ４６がユーザの入力操作を解釈する。
【０１２４】
そして、通信部４３は、BLE等の近距離無線通信のインターフェースであって、近距離無線通信により自装置と入力装置２とを接続する。
【０１２５】
記憶部４４は、例えば、ROM、不揮発性RAM、フラッシュメモリ、EEPROM、及びハードディスク等の不揮発性のストレージである。
【０１２６】
その記憶部４４には、複数のアプリケーションプログラム５０と、情報処理装置用の入力支援プログラム５１とが記憶される。
【０１２７】
なお、その入力支援プログラム５１をコンピュータが読み取り可能な記録媒体４８に記録させておき、プロセッサ４６に記録媒体４８の入力支援プログラム５１を読み取らせるようにしてもよい。
【０１２８】
そのような記録媒体４８としては、例えばCD-ROM、DVD、及びUSBメモリ等の物理的な可搬型記録媒体がある。また、フラッシュメモリ等の半導体メモリやハードディスクドライブを記録媒体４８として使用してもよい。これらの記録媒体４８は、物理的な形態を持たない搬送波のような一時的な媒体ではない。
【０１２９】
更に、公衆回線、インターネット、及びLAN等に接続された装置に入力支援プログラム５１を記憶させておき、プロセッサ４６が入力支援プログラム５１を読み出して実行するようにしてもよい。
【０１３０】
また、メモリ４５は、DRAM等のようにデータを一時的に記憶するハードウェアであって、その上に前述のアプリケーションプログラム５０や入力支援プログラム５１が展開される。
【０１３１】
プロセッサ４６は、自装置の各部を制御したり、メモリ４５と協働してアプリケーションプログラム５０や入力支援プログラム５１を実行したりするCPU等のハードウェアである。
【０１３２】
＜機能構成＞
図１３は、情報処理装置３の機能構成図である。
【０１３３】
図１３に示すように、情報処理装置３は、イベント検知部５５とアプリ実行部５６とを備える。
【０１３４】
これらの各部は、プロセッサ４６がメモリ４５と協働して入力支援プログラム５１を実行することにより実現される。
【０１３５】
このうち、イベント検知部５５は、入力装置２の送信部４０から自装置に認識結果イベントが送信されたかどうかを検知する。
【０１３６】
そして、アプリ実行部５６は、認識結果イベントが送信されたことがイベント検知部５５によって検知されたときに、その認識結果イベントの内容に応じてアプリケーションプログラム５０を実行する。
【０１３７】
例えば、アプリ実行部５６は、認識結果イベントに含まれるテキストが「２」の場合には、複数のアプリケーションプログラム５０のうちで「２」に紐付けられたアプリケーションプログラム５０を実行する。
【０１３８】
なお、ユーザがアプリケーションプログラム５０をメモ帳として使用する場合には、ユーザが連続して文字列を入力しようとするため、アプリケーションプログラム５０が実行されている途中において認識結果イベントを受ける場合もある。その場合には、アプリ実行部５６は、認識結果に含まれるテキストの文字列をアプリケーションプログラム５０の画面に表示する。これにより、ユーザは、自身が入力した文字列をその画面で確認することができる。
【０１３９】
［入力支援方法］
次に、本実施形態に係る入力支援方法について説明する。
【０１４０】
図１４は、本実施形態に係る入力支援方法について説明するためのシーケンス図である。
【０１４１】
本実施形態では、以下のようにしてユーザの入力作業を支援する。
【０１４２】
（ステップＳ１）
まず、ユーザUが入力装置２のスイッチ７を押下する。
【０１４３】
（ステップＳ２）
次に、スイッチ７が押下されたことをスイッチ監視部３１が検知する。これにより、スイッチ監視部３１は、操作期間Tmが開始されたことを第１の抽出部３４と第２の抽出部３５の各々に通知する。
【０１４４】
（ステップＳ３）
次いで、ユーザUが、入力装置２に対して、音声入力とジェスチャ入力のいずれかによる入力を開始する。
【０１４５】
（ステップＳ４）
続いて、サンプリング部３２が、モーションセンサ１１とマイク１２の各々から運動情報Imと音情報Ivとをサンプリングする。
【０１４６】
（ステップＳ５）
次いで、バッファリング部３３が、運動情報Imと音情報Ivの各々をメモリ１４に一時的に格納する。
【０１４７】
（ステップＳ６）
その後、入力を停止するために、ユーザUがスイッチ７から指を離す。
【０１４８】
（ステップＳ７）
そして、スイッチ監視部３１が、スイッチ７から指が離されたことを検知し、操作期間Tmが終了したことを第１の抽出部３４と第２の抽出部３５の各々に通知する。
【０１４９】
（ステップＳ８）
次に、第１の抽出部３４が、バッファリング部３３が格納した運動情報Imから第１の運動情報Im1と第２の運動情報Im2とを抽出する。また、第２の抽出部３５が、バッファリング部３３が格納した音情報Ivから第１の音情報Iv1と第２の音情報Iv2とを抽出する。
【０１５０】
そして、基準レベル算出部３６が、抽出された第２の運動情報Im2と第２の音情報Iv2の各々を用いて、前述の基準レベルMs、Me、Ss、Seを算出する。
【０１５１】
更に、基準レベル算出部３６が、抽出された第１の運動情報Im1と第１の音情報Iv1の各々から前述の平均値Mm、Smを算出する。
【０１５２】
（ステップＳ９）
続いて、判定部３７が、前述のルール１〜１２のいずれかを用いることにより第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかを判定し、その判定の結果を運動認識部３８と音声認識部３９の各々に出力する。
【０１５３】
（ステップＳ１０）
次に、判定部３７による判定結果に応じて、運動認識部３８と音声認識部３９のいずれかがユーザが入力した内容を認識する。
【０１５４】
例えば、判定部３７が第１の運動情報Im1を入力データとすると判定した場合には、運動認識部３８が第１の運動情報Im1を基にして指の運動の軌跡を認識し、それをテキストに変換する。
【０１５５】
一方、判定部３７が第１の音情報Iv1を入力データとすると判定した場合には、音声認識部３９が第１の音情報Iv1を基にして音声認識を実行することにより、ユーザの発話内容をテキストに変換する。
【０１５６】
（ステップＳ１１）
その後、送信部４０が、運動認識部３８と音声認識部３９の各々による認識結果を含む認識結果イベントを情報処理装置３に送信する。
【０１５７】
（ステップＳ１２）
そして、バッファリング部３３が、メモリ１４に格納していた運動情報Imと音情報Ivの各々を消去する。
【０１５８】
（ステップＳ１３）
更に、イベント検知部５５が、入力装置２から認識結果イベントの通知を受けたことを検知する。
【０１５９】
（ステップＳ１４）
続いて、アプリ実行部５６が、認識結果イベントに含まれるテキストに紐付いたアプリケーションプログラム５０を実行する。
【０１６０】
なお、既にアプリケーションプログラム５０が実行されている場合には、アプリ実行部５６は、認識結果イベントに含まれるテキストをそのアプリケーションプログラム５０の画面に表示してもよい。
【０１６１】
以上により、本実施形態に係る入力支援方法の基本ステップを終える。
【０１６２】
以上説明した本実施形態によれば、スイッチ７が押されている操作期間Tmにおける第１の音情報Iv1と、操作前期間Tsと操作後期間Teの各々における基準レベルSs、Seとに基づいて、ジェスチャ入力と音声入力のどちらを入力データとするのかを判定する。
【０１６３】
そのため、ユーザUの思考や作業を停止させることなく入力方式を自動的に選択することができ、ユーザUの利便性を向上させることが可能となる。
【０１６４】
しかも、入力装置２にアプリ実行部５６（図１３参照）を設けずに、情報処理装置３にアプリ実行部５６を設けたため、入力装置２がアプリケーションプログラム５０を実行する必要がなくなる。これにより入力装置２における計算量が減るため、非力なプロセッサ１６（図４参照）でも入力支援プログラム２０を実行できると共に、電源１７における電池の長寿命化を図ることも可能となる。
【０１６５】
（第２実施形態）
第１実施形態で説明した入力デバイス２は、指に装着できるように小型化されているため、スマートフォン等の情報処理装置３よりも計算能力が低く、計算量の大きな処理には不向きである。そこで、本実施形態では、以下のようにして入力装置２の計算負荷を軽減する。
【０１６６】
なお、本実施形態に係る入力装置２と情報処理装置３の各々のハードウェア構成は第１実施形態におけるのと同じなので、以下ではその説明を省略する。
【０１６７】
図１５は、本実施形態に係る入力装置２と情報処理装置３の各々の機能構成図である。なお、図１５において、第１実施形態で説明したのと同じ要素には第１実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。
【０１６８】
図１５に示すように、本実施形態では、第１実施形態において入力装置２に設けていた判定部３７、運動認識部３８、及び音声認識部３９の各々を情報処理装置３に移す。
【０１６９】
図１６は、本実施形態に係る入力支援方法について説明するためのシーケンス図である。なお、図１６において、第１〜第３実施形態で説明したのと同じステップには同じステップ番号を付し、以下ではその説明を省略する。
【０１７０】
本実施形態では、以下のようにしてユーザの入力作業を支援する。
【０１７１】
（ステップＳ１〜Ｓ８）
まず、第１実施形態に従ってステップＳ１〜Ｓ８を実行する。
【０１７２】
なお、ステップＳ８を終えた段階では、各抽出部３４、３５によって第１の運動情報Im1と第１の音情報Iv1が抽出されており、更に基準レベル算出部３６によって基準レベルMs、Me、Ss、Seと平均値Mm、Smとが算出された状態となっている。
【０１７３】
（ステップＳ２０）
次に、入力装置２の送信部４０が各データを情報処理装置３に送信する。そのようなデータとしては、１の運動情報Im1、第１の音情報Iv1、基準レベルMs、Me、Ss、Se、及び平均値Mm、Smがある。
【０１７４】
また、これらのデータと共に、送信部４０は、第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかの判定を情報処理３に依頼する。
【０１７５】
（ステップＳ２１）
そして、バッファリング部３３が、ステップＳ５においてメモリ１４に格納した運動情報Imと音情報Ivの各々を消去する。
【０１７６】
（ステップＳ２２）
続いて、ステップＳ２０において送信部４０から依頼を受けた情報処理装置３の判定部３７が、第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかを判定し、その判定の結果を運動認識部３８と音声認識部３９の各々に出力する。
【０１７７】
この判定は、送信部４０から受信した基準レベルMs、Me、Ss、Se、及び平均値Mm、Smを基にして、第１実施形態で説明したルール１〜１２のいずれかを用いることにより行われる。
【０１７８】
（ステップＳ２３）
そして、情報処理装置３の判定部３７による判定結果に応じて、情報処理装置３の運動認識部３８と音声認識部３９のいずれかがユーザが入力した内容を認識する。
【０１７９】
例えば、判定部３７が第１の運動情報Im1を入力データとすると判定した場合には、運動認識部３８が第１の運動情報Im1を基にして指の運動の軌跡を認識し、それをテキストに変換する。
【０１８０】
一方、判定部３７が第１の音情報Iv1を入力データとすると判定した場合には、音声認識部３９が第１の音情報Iv1を基にして音声認識を実行することにより、ユーザの発話内容をテキストに変換する。
【０１８１】
（ステップＳ２４）
次に、アプリ実行部５６が、運動認識部３８や音声認識部３９によって認識されたテキストに紐付いたアプリケーションプログラム５０を実行する。
【０１８２】
なお、既にアプリケーションプログラム５０が実行されている場合には、アプリ実行部５６は、認識結果イベントに含まれる文字列のテキストをそのアプリケーションプログラム５０の画面に表示してもよい。
【０１８３】
以上により、本実施形態に係る入力支援方法の基本ステップを終える。
【０１８４】
以上説明した本実施形態によれば、図１５に示したように、判定部３７、運動認識部３８、及び音声認識部３９の各々を入力装置２から情報処理装置３に移す。そのため、これらの各部における処理を入力装置２が行う必要がなく、計算能力が低い入力装置２の計算負荷を低減できる。
【０１８５】
しかも、情報処理装置３は入力装置２よりも計算能力が高いため、判定部３７、運動認識部３８、及び音声認識部３９の各々の処理を高速で行うことができる。
【０１８６】
更に、これらの各部の処理を入力装置２が行わなくてもよいため、入力装置２の電源１７（図４参照）が消耗するのを防ぐことができる。
【０１８７】
また、本実施形態では、入力装置２から情報処理装置３に第１の運動情報Im1や第２の運動情報Im2を逐次送信せずに、ステップＳ２０においてこれらの情報を一度に送信する。そのため、送信データを複数回に分けて送信する場合と比較して、送信データの一部が欠落する可能性を減らすことができる。
【０１８８】
（第３実施形態）
本実施形態では、以下のようにして情報処理装置３がアプリケーションプログラム５０を実行するまでの応答時間を早める。
【０１８９】
なお、本実施形態に係る入力装置２と情報処理装置３の各々のハードウェア構成は第１実施形態におけるのと同じなので、以下ではその説明を省略する。
【０１９０】
図１７は、本実施形態に係る入力装置２と情報処理装置３の各々の機能構成図である。なお、図１７において、第１実施形態や第２実施形態で説明したのと同じ要素にはこれらの実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。
【０１９１】
図１７に示すように、本実施形態では、情報処理装置３にバッファリング部４９を設ける。
【０１９２】
そのバッファリング部４９は、入力装置２から逐次送信されてくる運動情報Imと音情報Ivの各々を自装置のメモリ４５（図１２参照）に一時的に格納する。
【０１９３】
図１８は、本実施形態に係る入力支援方法について説明するためのシーケンス図である。
【０１９４】
本実施形態では、以下のようにしてユーザの入力作業を支援する。
【０１９５】
（ステップＳ３１）
まず、ユーザUが入力装置２のスイッチ７を押下する。
【０１９６】
（ステップＳ３２）
次に、スイッチ７が押下されたことをスイッチ監視部３１が検知する。
【０１９７】
（ステップＳ３３）
そして、スイッチ監視部３１による検知をトリガにして、送信部４０が、情報処理装置３に対して開始イベントを送信する。その開始イベントは、これからユーザUによる入力操作が始まることを情報処理装置３に通知するイベントである。また、その開始イベントには、操作期間Tmが開始されたことを示す情報も含まれる。
【０１９８】
（ステップＳ３４）
次いで、ユーザUが、入力装置２に対して、音声入力とジェスチャ入力のいずれかによる入力を開始する。
【０１９９】
（ステップＳ３５）
そして、サンプリング部３２が、モーションセンサ１１とマイク１２の各々から運動情報Imと音情報Ivとをサンプリングする。
【０２００】
（ステップＳ３６）
次に、送信部４０が、情報処理装置３に運動情報Imと音情報Ivの各々を逐次送信する。これにより、情報処理装置３は、運動情報Imと音情報Ivの各々を逐次取得することになる。
【０２０１】
（ステップＳ３７）
続いて、情報処理装置３のバッファリング部４９が、運動情報Imと音情報Ivの各々を自装置のメモリ４５（図１２参照）に一時的に格納する。
【０２０２】
（ステップＳ３８）
同様に、入力装置２のバッファリング部３３が、運動情報Imと音情報Ivの各々を自装置のメモリ１４に一時的に格納する。
【０２０３】
（ステップＳ３９）
その後、入力を停止するために、ユーザがスイッチ７から指を離す。
【０２０４】
（ステップＳ４０）
そして、スイッチ監視部３１が、スイッチ７から指が離されたことを検知し、操作期間Tmが終了したことを第１の抽出部３４と第２の抽出部３５の各々に通知する。
【０２０５】
（ステップＳ４１）
その通知をトリガにして、送信部４０が、情報処理装置３に終了イベントを送信する。その終了イベントは、ユーザUによる入力操作が終了したことを情報処理装置３に通知するイベントである。また、その終了イベントには、操作期間Tmが終了したことを示す情報も含まれる。
【０２０６】
（ステップＳ４２）
次いで、第１の抽出部３４が、バッファリング部３３が格納した運動情報Imから第１の運動情報Im1と第２の運動情報Im2とを抽出する。また、第２の抽出部３５が、バッファリング部３３が格納した音情報Ivから第１の音情報Iv1と第２の音情報Iv2とを抽出する。
【０２０７】
そして、基準レベル算出部３６が、抽出された第２の運動情報Im2と第２の音情報Iv2の各々を用いて、前述の基準レベルMs、Me、Ss、Seを算出する。
【０２０８】
更に、基準レベル算出部３６が、抽出された第１の運動情報Im1と第１の音情報Iv1の各々から前述の平均値Mm、Smを算出する。
【０２０９】
（ステップＳ４３）
次に、送信部４０が、基準レベル算出部３６が算出した基準レベルMs、Me、Ss、Seと平均値Mm、Smとを情報処理装置３に送信する。
【０２１０】
また、これらのデータと共に、送信部４０は、第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかの判定を情報処理３に依頼する。
【０２１１】
（ステップＳ４４）
その後に、入力装置２のバッファリング部３３が、ステップＳ３８においてメモリ１４に格納した運動情報Imと音情報Ivの各々を消去する。
【０２１２】
（ステップＳ４５）
ステップＳ４３における依頼を受けて、情報処理装置３の判定部３７が、ステップＳ３７で自装置に格納した第１の運動情報Im1と第１の音情報Iv1のどちらを入力データとするかを判定し、その判定の結果を運動認識部３８と音声認識部３９の各々に出力する。
【０２１３】
この判定は、ステップＳ４３で送信部４０が送信した基準レベルMs、Me、Ss、Se、及び平均値Mm、Smを基にして、第１実施形態で説明したルール１〜１２のいずれかを用いることにより行われる。
【０２１４】
（ステップＳ４６）
判定部３７による判定結果に応じて、運動認識部３８と音声認識部３９のいずれかがユーザが入力した内容を認識する。
【０２１５】
例えば、判定部３７が第１の運動情報Im1を入力データとすると判定した場合には、運動認識部３８が第１の運動情報Im1に基づいて指の運動の軌跡を認識し、それをテキストに変換する。
【０２１６】
一方、判定部３７が第１の音情報Iv1を入力データとすると判定した場合には、音声認識部３９が第１の音情報Iv1に基づいて音声認識を実行することにより、ユーザの発話内容をテキストに変換する。
【０２１７】
（ステップＳ４７）
アプリ実行部５６が、運動認識部３８や音声認識部３９によって認識されたテキストに紐付いたアプリケーションプログラム５０を実行する。
【０２１８】
なお、既にアプリケーションプログラム５０が実行されている場合には、アプリ実行部５６は、認識結果イベントに含まれるテキストをそのアプリケーションプログラム５０の画面に表示してもよい。
【０２１９】
（ステップＳ４８）
その後に、情報処理装置３のバッファリング部４９が、ステップＳ３７においてメモリ４５に格納した運動情報Imと音情報Ivの各々を消去する。
【０２２０】
以上により、本実施形態に係る入力支援方法の基本ステップを終える。
【０２２１】
以上説明した本実施形態によれば、ステップＳ３６において情報処理装置３が運動情報Imと音情報Ivの各々を逐次取得する。
【０２２２】
そのため、入力装置２が運動情報Imと音情報Ivの各々をメモリ１４に一旦格納してからそれらを情報処理装置３に送信する第２実施形態と比較して、情報処理装置３が運動情報Imと音情報Ivの各々を受信し終えるまでの時間が短くなる。その結果、ユーザUがスイッチ７を押下してからアプリケーション５０が起動するまでの時間を短くすることができ、ユーザUの利便性を更に向上させることができる。
【０２２３】
（第４実施形態）
第１〜第３実施形態においては、スマートフォン等の情報処理装置３がアプリケーションプログラム５０を実行した。これに対し、本実施形態では、以下のようにして入力装置２にアプリケーションプログラム５０を実行させることにより情報処理装置３を不要にする。
【０２２４】
＜全体構成＞
図１９は、本実施形態に係る入力装置２の外観図である。
【０２２５】
図１９に示すように、この入力装置２は、前述のリング５の他に、リストバンド６０と本体６１とを有する。
【０２２６】
このうち、リストバンド６０は、ユーザの手首に着脱自在なフレキシブルなバンドである。また、本体６１は、リストバンド６０に固定された時計型のデバイスであって、タッチパネル等のディスプレイ６２を備える。
【０２２７】
そして、その本体６１とリング５とはケーブル６３によって電気的に接続される。
【０２２８】
＜ハードウェア構成＞
図２０は、この入力装置２のハードウェア構成図である。
【０２２９】
なお、図２０において、第１〜第３実施形態で説明したのと同じ要素にはこれらの実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。
【０２３０】
図２０に示す各部のうち、スイッチ７、モーションセンサ１１、及びマイク１２はリング５に設けられる。
【０２３１】
一方、記憶部１３、メモリ１４、プロセッサ１６、電源１７、及びディスプレイ６２は本体６１に設けられる。
【０２３２】
このうち、記憶部１３には、前述の入力装置用の入力支援プログラム２０の他に、アプリケーションプログラム５０も格納される。
【０２３３】
また、ディスプレイ６２は、前述のようにタッチパネルであり、アプリケーションプログラム５０の画面を表示する表示部６２ａと、ユーザがタッチすることにより入力を行う入力部６２ｂとを有する。
【０２３４】
表示部６２ａは、例えばLCDであり、プロセッサ１６からの指示に基づいて、文字、アイコン、及び画像等のオブジェクトを表示する。
【０２３５】
また、入力部６２ｂは、ユーザがタッチしている時間とタッチ位置の位置座標とをプロセッサ１６に通知し、これに基づいてプロセッサ１６がユーザの入力操作を解釈する。
【０２３６】
＜機能構成＞
図２１は、本実施形態に係る入力装置２の機能構成図である。なお、図２０において、第１〜第３実施形態で説明したのと同じ要素にはこれらの実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。
【０２３７】
図２１に示すように、本実施形態では、第１実施形態で説明した入力装置２の各部の他に、アプリケーションプログラム５０を実行するためのアプリ実行部５６を入力装置２に設ける。
【０２３８】
なお、この例では入力装置２は他の情報処理装置３（図１参照）と通信を行わないので、情報処理装置３に各種のデータを送信するための送信部４０（図９参照）を入力装置２に設けない。
【０２３９】
＜入力支援方法＞
次に、本実施形態に係る入力支援方法について説明する。
【０２４０】
図２２は、本実施形態に係る入力支援方法について説明するためのシーケンス図である。なお、図２２において、第１〜第３実施形態で説明したのと同じステップには同じステップ番号を付し、以下ではその説明を省略する。
【０２４１】
本実施形態では、以下のようにしてユーザの入力作業を支援する。
【０２４２】
（ステップＳ１〜Ｓ１０）
まず、第１実施形態に従ってステップＳ１〜Ｓ１０を実行する。
【０２４３】
なお、ステップＳ１０を終えた段階では、音声入力やジェスチャ入力の内容が運動認識部３８や音声認識部３９によって認識されており、その認識内容がテキストに変換された状態となっている。
【０２４４】
（ステップＳ５０）
次に、入力装置２のアプリ実行部５６が、運動認識部３８や音声認識部３９によって認識されたテキストに紐付いたアプリケーションプログラム５０を実行する。
【０２４５】
なお、既にアプリケーションプログラム５０が実行されている場合には、アプリ実行部５６は、認識結果イベントに含まれるテキストをそのアプリケーションプログラム５０の画面に表示してもよい。
【０２４６】
（ステップＳ５１）
その後に、情報処理装置３のバッファリング部４９が、ステップＳ５においてメモリ４５に格納した運動情報Imと音情報Ivの各々を消去する。
【０２４７】
以上により、本実施形態に係る入力支援方法の基本ステップを終える。
【０２４８】
以上説明した本実施形態によれば、図２１に示したように入力装置２にアプリ実行部５６を設け、そのアプリ実行部５６がアプリケーションプログラム５０を実行する。そのため、アプリケーションプログラム５０を実行するためのスマートフォン等の情報処理装置をユーザが持ち運ぶ必要がなく、ユーザの便宜に資することが可能となる。
【０２４９】
以上説明した各実施形態に関し、更に以下の付記を開示する。
【０２５０】
（付記１）  人体に装着される入力装置であって、
スイッチと、
前記人体の運動を示す運動情報を取得するモーションセンサと、
自装置の周囲の音を示す音情報を取得するマイクと、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出する第１の抽出部と、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出する第２の抽出部と、
前記第２の抽出部が抽出した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する判定部と、
を有する入力装置。
【０２５１】
（付記２）  前記第１の運動情報を基にして前記運動の軌跡を認識する運動認識部と、
前記第１の音情報を基にして音声認識を実行する音声認識部とを更に有することを特徴とする付記１に記載の入力装置。
【０２５２】
（付記３）  前記音声認識の実行結果と前記軌跡のいずれかを基にしてアプリケーションプログラムを実行するアプリ実行部を更に有することを特徴とする付記２に記載の入力装置。
【０２５３】
（付記４）  前記音声認識の実行結果と前記軌跡のいずれかを含む認識結果を他の情報処理装置に送信し、前記認識結果を基にしてアプリケーションプログラムを実行するように前記情報処理装置に依頼する送信部を更に有することを特徴とする付記２に記載の入力装置。
【０２５４】
（付記５）  前記判定部は、前記第２の抽出部が抽出した前記第１の音情報及び前記第２の音情報と、前記第１の抽出部が抽出した前記第１の運動情報とを基にして、前記判定を行うことを特徴とする付記１に記載の入力装置。
【０２５５】
（付記６）  前記第１の抽出部は、前記運動情報のうち、前記期間の前又は後における第２の運動情報を抽出し、
前記判定部は、前記第１の抽出部が抽出した前記第１の運動情報及び前記第２の運動情報と、前記第２の抽出部が抽出した前記第１の音情報及び前記第２の音情報とを基にして、前記判定を行うことを特徴とする付記１に記載の入力装置。
【０２５６】
（付記７）  スイッチと、自装置が装着された人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクとを備えた入力装置に、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出し、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出し、
抽出した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する、
処理を実行させるための入力支援プログラム。
【０２５７】
（付記８）  スイッチと、自装置が装着された人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクとを備えた入力装置に、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出し、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出し、
他の情報処理装置に、抽出した前記第１の音情報と前記第２の音情報とを送信し、
送信した前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかの判定を前記情報処理装置に依頼する、
処理を実行させるための入力支援プログラム。
【０２５８】
（付記９）  情報処理装置に、
人体に装着された入力装置のマイクが取得した周囲の音を示す音情報のうち、前記入力装置のスイッチが押されている期間における第１の音情報と、前記期間の前又は後における第２の音情報とを基にして、前記入力装置のモーションセンサが取得した前記人体の動きを示す運動情報のうち前記期間における第１の運動情報と前記第１の音情報のどちらを入力データとするのかを判定する、
処理を実行させるための入力支援プログラム。
【０２５９】
（付記１０）  前記情報処理装置に、
前記入力装置から前記音情報と前記運動情報とを逐次取得し、
取得した前記音情報から前記第１の音情報と前記第２の情報とを抽出する処理を更に実行させ、
抽出した前記第１の音情報と前記第２の情報とを基にして前記判定を行わせることを特徴とする付記９に記載の入力支援プログラム。
【０２６０】
（付記１１）  スイッチと、自装置が装着された人体の運動を示す運動情報を取得するモーションセンサと、自装置の周囲の音を示す音情報を取得するマイクとを備えた入力装置が、
前記運動情報のうち、前記スイッチが押されている期間における第１の運動情報を抽出し、
前記音情報のうち、前記期間における第１の音情報と、前記期間の前又は後における第２の音情報とを抽出し、
前記第１の音情報と前記第２の音情報とを基にして、前記第１の運動情報と前記第１の音情報のどちらを入力データとするかを判定する、
入力支援方法。
【０２６１】
（付記１２）  情報処理装置が、
人体に装着された入力装置のマイクが取得した周囲の音を示す音情報のうち、前記入力装置のスイッチが押されている期間における第１の音情報と、前記期間の前又は後における第２の音情報とを基にして、前記入力装置のモーションセンサが取得した前記人体の動きを示す運動情報のうち前記期間における第１の運動情報と前記第１の音情報のどちらを入力データとするのかを判定する、
入力支援方法。
【符号の説明】
【０２６２】
１…システム、２…入力装置、３…情報処理装置、５…リング、６…部品内蔵部、７…スイッチ、１１…モーションセンサ、１２…マイク、１３…記憶部、１４…メモリ、１５…通信部、１６…プロセッサ、１６ａ…サンプラ、１７…電源、１８…バス、１９…記録媒体、２０…入力支援プログラム、３１…スイッチ監視部、３２…サンプリング部、３３…バッファリング部、３４…第１の抽出部、３５…第２の抽出部、３６…基準レベル算出部、３７…判定部、３８…運動認識部、３９…音声認識部、４０…送信部、４１…筐体、４２…ディスプレイ、４２ａ…表示部、４２ｂ…入力部、４３…通信部、４４…記憶部、４５…メモリ、４６…プロセッサ、４７…バス、４８…記録媒体、４９…バッファリング部、５０…アプリケーションプログラム、５１…入力支援プログラム、５５…イベント検知部、５６…アプリ実行部、６０…リストバンド、６１…本体、６２…ディスプレイ、６３…ケーブル。
【図１】
2018195112.tif 000007
【図２】
2018195112.tif 000008
【図３】
2018195112.tif 000009
【図４】
2018195112.tif 000010
【図５】
2018195112.tif 000011
【図６】
2018195112.tif 000012
【図７】
2018195112.tif 000013
【図８】
2018195112.tif 000014
【図９】
2018195112.tif 000015
【図１０】
2018195112.tif 000016
【図１１】
2018195112.tif 000017
【図１２】
2018195112.tif 000018
【図１３】
2018195112.tif 000019
【図１４】
2018195112.tif 000020
【図１５】
2018195112.tif 000021
【図１６】
2018195112.tif 000022
【図１７】
2018195112.tif 000023
【図１８】
2018195112.tif 000024
【図１９】
2018195112.tif 000025
【図２０】
2018195112.tif 000026
【図２１】
2018195112.tif 000027
【図２２】
2018195112.tif 000028