(57)【要約】【課題】異なる位置にそれぞれセンサが設けられた情報処理装置にて、消費電力をより抑制する。【解決手段】第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、前記第２の検出情報を受信するローカル通信部と、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、を備える、情報処理装置を提供する。【選択図】図２
2019082527.tif 000002
【特許請求の範囲】
【請求項１】
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、
前記第２の検出情報を受信するローカル通信部と、
前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、
を備える、情報処理装置。
【請求項２】
前記第２の検出情報は、前記第２のセンサにて検出された信号の一部である、請求項１に記載の情報処理装置。
【請求項３】
前記第２の検出情報は、前記第２のセンサにて検出された信号を演算処理した情報である、請求項１に記載の情報処理装置。
【請求項４】
前記第２の検出情報は、前記第１の検出情報よりもデータ量が少ない、請求項１に記載の情報処理装置。
【請求項５】
前記第１のセンサ及び前記第２のセンサは、検出した信号を所定量、一時記憶するメモリを含む、請求項１に記載の情報処理装置。
【請求項６】
前記第２の検出情報は、前記情報要求部からの要求を受信した時点よりも過去に前記第２のセンサが検出した信号に基づく情報を含む、請求項５に記載の情報処理装置。
【請求項７】
前記処理判断部が用いる前記第１の検出情報及び前記第２の検出情報は、同タイミングに、前記第１のセンサ及び前記第２のセンサによりそれぞれ検出された情報を含む、請求項６に記載の情報処理装置。
【請求項８】
前記第１の検出情報及び前記第２の検出情報が前記第１のセンサ及び前記第２のセンサにより検出されたタイミングは、前記トリガ信号を検出したタイミングに対応している、請求項７に記載の情報処理装置。
【請求項９】
前記情報要求部は、前記トリガ信号の種類に基づいて、要求する前記第２の検出情報の種類を変更する、請求項１に記載の情報処理装置。
【請求項１０】
前記処理判断部は、前記第１の検出情報及び前記第２の検出情報に基づいて、対応する入力の分類を判定し、判定された前記入力の分類に応じて実行する処理を判断する、請求項１に記載の情報処理装置。
【請求項１１】
前記入力は、ジェスチャ入力である、請求項１０に記載の情報処理装置。
【請求項１２】
前記処理判断部は、機械学習アルゴリズムを用いて、前記入力の分類を判定する、請求項１０に記載の情報処理装置。
【請求項１３】
前記ローカル通信部は、無線通信を行う、請求項１に記載の情報処理装置。
【請求項１４】
前記第１のセンサ及び前記第２のセンサは、異なる筐体に設けられる、請求項１に記載の情報処理装置。
【請求項１５】
前記第１のセンサ及び前記第２のセンサは、それぞれ右耳及び左耳に装着される筐体に設けられる、請求項１４に記載の情報処理装置。
【請求項１６】
前記第１のセンサ及び前記第２のセンサは、同種のセンサである、請求項１に記載の情報処理装置。
【請求項１７】
前記第１のセンサ及び前記第２のセンサは、加速度センサである、請求項１６に記載の情報処理装置。
【請求項１８】
前記ローカル通信部は、前記処理判断部による判断が終了した場合又は所定の時間が経過した場合、前記第２の検出情報の受信を終了する、請求項１に記載の情報処理装置。
【請求項１９】
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求することと、
前記第２の検出情報を受信することと、
演算処理装置によって、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断することと、
を含む、情報処理方法。
【請求項２０】
コンピュータを、
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、
前記第２の検出情報を受信するローカル通信部と、
前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、眼鏡型及び腕時計型等の種々のウェアラブル端末の開発が進められている。例えば、特許文献１には、制御部、入力部、センサ部、記憶部、通信部及び表示部等を備えたリストバンド型の表示制御装置が開示されている。また、特許文献２には、機器の消費電力を抑えることで、電池の長寿命化を図ることが可能な電子機器が開示されている。【０００３】
特に、特許文献２には、通常電力を消費するセンサと、より消費電力が小さいセンサとを設けた電子機器が開示されている。特許文献２に開示の電子機器は、これらのセンサの使用のタイミングを切り替えることで消費電力を抑えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１２５６１６号公報
【特許文献２】国際公開第２００９／００８４１１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１及び２では、異なる位置にそれぞれセンサが設けられた電子機器については、消費電力を抑える技術は検討されていなかった。このような電子機器では、例えば、異なる位置のセンサの間で検出データ等の送受信が行われるため、消費電力を抑制するためのより詳細な検討が求められていた。【０００６】
そこで、異なる位置にそれぞれセンサが設けられた情報処理装置にて、消費電力をより抑制する技術が求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、前記第２の検出情報を受信するローカル通信部と、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求することと、前記第２の検出情報を受信することと、演算処理装置によって、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断することと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータを、第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、前記第２の検出情報を受信するローカル通信部と、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、として機能させる、プログラムが提供される。【００１０】
本開示によれば、第１のセンサにてトリガ信号が検出された後に、第２のセンサで検出された情報を受信するため、異なる位置に存在する第１のセンサ及び第２のセンサの間での通信の頻度を低下させることが可能である。
【発明の効果】
【００１１】
以上説明したように本開示によれば、異なる位置にそれぞれセンサが設けられた情報処理装置にて、消費電力をより抑制することができる。【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態に係る情報処理装置の外観を示す断面図である。
【図２】同実施形態に係る情報処理装置の構成を示す図である。
【図３Ａ】同実施形態に係る情報処理装置が検出するジェスチャの一例を示す図である。
【図３Ｂ】同実施形態に係る情報処理装置が検出するジェスチャの他の例を示す図である。
【図３Ｃ】同実施形態に係る情報処理装置が検出するジェスチャの他の例を示す図である。
【図４】同実施形態に係る情報処理装置の動作の一例を示すフローチャート図である。
【図５】同実施形態に係る情報処理装置のより詳細な動作の一例を示すシーケンス図である。
【図６】同実施形態に係る情報処理装置のより詳細な動作の他の例を示すシーケンス図である。
【図７】同実施形態に係る情報処理装置のより詳細な動作の他の例を示すシーケンス図である。
【図８】変形例に係る情報処理装置の動作の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
＜実施形態＞
１．情報処理装置の外観例
２．情報処理装置の構成
３．情報処理装置の処理動作
３．１．トリガ信号の検出前から第２のセンサが起動している場合
３．２．トリガ信号の検出後から第２のセンサが起動する場合
３．３．ジェスチャ判定を複数回行う場合
４．変形例
【００１６】
＜実施形態＞
［１．情報処理装置の外観例］
まず、図１を参照して、本開示の一実施形態に係る情報処理装置の外観例について説明する。本実施形態の情報処理装置１００及び２００は、第１のセンサと、第１のセンサと異なる位置に存在する第２のセンサとを有し、第１のセンサが検出したトリガ信号を契機として、情報処理装置１００及び２００の間の通信を開始するものである。
【００１７】
例えば、第１のセンサと第２のセンサが異なる位置に存在する情報処理装置としては、図１に示すような、イヤホン、ヘッドセット又はヘッドホンのようなユーザ１の耳に装着するウェアラブル端末の内、ヘッドセット部が左右に分かれているもの（例えば、インナーイヤー型ヘッドホン）を挙げることができる。このようなウェアラブル端末は、例えば、音声再生機能を有してもよい。音声再生機能としては、例えば、音楽再生機能、又はニュースの読み上げ機能を例示することができる。
【００１８】
ただし、図１では、ヘッドセット部が左右に分かれたウェアラブル端末を例示したが、第１のセンサと第２のセンサとが異なる位置に存在していれば、情報処理装置１００、２００の様態は限定されない。情報処理装置１００、２００は、ユーザ１の身体に装着される端末であってもよく、据え置き型の端末であってもよい。若しくは、情報処理装置１００、２００は、第１のセンサをユーザが装着する端末に備え、第２のセンサを据え置き型の端末に備える様態であってもよい。第１のセンサと第２のセンサとが異なる位置に存在することにより、情報処理装置１００、２００は、検出対象の情報に対して異なる位置から検出を行うため、より広範囲で情報を収集することができ、かつ検出精度を向上させることができる。
【００１９】
さらに、本実施形態に係る情報処理装置の他の様態として、耳につけるようなウェアラブル端末以外にも、頭部装着型ディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）、肩に乗せるネックバンドタイプの端末を例示することができる。
【００２０】
また、図１では、音声再生機能を有するウェアラブル端末を例示したが、本実施形態に係る情報処理装置は、このように聴覚的な出力機能を有する端末ではなく、映像再生機能などの視覚的な出力機能を有する端末であってもよい。さらに他には、本実施形態に係る情報処理装置は、触覚的な出力機能を有する端末でもよく、嗅覚的な出力機能を有する端末でもよい。かかる構成により、本実施形態に係る情報処理装置は、ユーザに対して多様なフィードバックを与えることができる。
【００２１】
以下では、本実施形態に係る情報処理装置として、図１に示すような音声再生機能を有するウェアラブル端末をその一例として挙げて、説明を行う。
【００２２】
図１に示すように、情報処理装置１００及び２００は、ユーザ１の耳に装着されており、それぞれ無線通信で接続されている。かかる構成により、情報処理装置１００及び２００は、それぞれ分離して装着することが可能であるため、ユーザ１による装着の自由度を増し、ユーザ１の利便性を向上させることができる。ただし、情報処理装置１００及び２００の間での情報のやり取りは、有線通信であってもよいことは言うまでもない。
【００２３】
情報処理装置１００及び２００は、それぞれセンサを備える。具体的には、情報処理装置１００は、第１のセンサ１１０を備え、情報処理装置２００は、第２のセンサ２１０を備える。情報処理装置１００及び２００は、各々の間で通信を行うことによって、第１のセンサ１１０及び第２のセンサ２１０にてそれぞれ検出した信号に基づいて、実行する処理を判断することが可能である。また、情報処理装置１００及び２００は、各々の間の通信のタイミングを制御することによって、消費電力を削減することを可能である。これについては、以下で詳述する。
【００２４】
なお、情報処理装置１００及び２００は、ボタン、タッチセンサ、又は近接センサなどのユーザ操作を取得する入力機構を有してもよい。これらのユーザ操作を取得する入力機構は、図１に示すように端末が左右一対に分かれている場合には、左右それぞれに設けられてもよい。
【００２５】
［２．情報処理装置の構成］
次に、図２を参照して、本実施形態に係る情報処理装置１００及び２００の具体的な構成について説明する。まず情報処理装置１００の構成を説明する。情報処理装置１００は、第１のセンサ１１０と、音声出力部１２０と、ローカル通信部１３０と、情報要求部１４０と、処理判断部１５０と、を備える。
【００２６】
第１のセンサ１１０は、情報処理装置１００又は外部環境の情報を検出する各種センサである。例えば、第１のセンサ１１０は、加速度センサを含んでもよい。加速度センサは、情報処理装置１００に加わる重力加速度を測定し、重力加速度の大きさおよび方向を表すセンサデータ（加速度データ）を取得することができる。また、第１のセンサ１１０は、ジャイロセンサのような角速度を検出するセンサでもよい。これらの種類のセンサによれば、第１のセンサ１１０は、情報処理装置１００の姿勢又は運動の変化を検出することで、情報処理装置１００を装着したユーザ１の姿勢又は運動の変化を検出することができる。
【００２７】
また、第１のセンサ１１０は、撮像装置のような可視カメラまたは赤外カメラ等であってもよい。例えば、第１のセンサ１１０は、瞳の動向を検出することで、ユーザ１が注視を開始したこと、及びユーザ１の注視点を検出できるような可視カメラであってもよい。また、第１のセンサ１１０が赤外カメラである場合、瞳の動向のようなユーザ１が行う微動または、表面状態だけでなく内部の状態に関しても、検出を行うことができる。
【００２８】
更には、第１のセンサ１１０は、音声を検出するセンサ（すなわち、マイクロホン）でもよい。かかる構成により、第１のセンサ１１０は、ユーザ１が動作を行えない環境下にあっても、ユーザ１からの入力を音声として検出することができる。
【００２９】
本実施形態では、第１のセンサ１１０（及び後述する第２のセンサ２１０）は、情報処理装置１００及び２００が装着される部位を用いたジェスチャを検出することができる。
【００３０】
図３Ａ〜Ｃを参照して、第１のセンサ１１０が検出するジェスチャの一例を説明する。まず、図３Ａは、ユーザ１の両耳にそれぞれヘッドセット型の情報処理装置１００及び２００が装着されており、ユーザ１が首を前後に動かすうなずきを検出する様子を示している。図３Ｂ及び図３Ｃでは、図３Ａと同様に、ユーザ１の両耳にそれぞれヘッドセット型の情報処理装置１００及び２００が装着されており、ユーザ１が首を左右に傾ける動作を検出する様子を示している。このように、第１のセンサ１１０（及び後述する第２のセンサ２１０）は、情報処理装置１００及び２００が装着されたユーザ１の頭部による様々なジェスチャを検出することができる。
【００３１】
情報要求部１４０は、第１のセンサ１１０にて、所定のトリガ信号が検出された場合に、第１のセンサ１１０と異なる位置に存在する第２のセンサ２１０にて検出された信号に基づく第２の検出情報を要求する機能を有する。第１のセンサ１１０と、第２のセンサ２１０と、を有する情報処理装置２００との情報のやりとりはローカル通信部１３０及び２３０を介して行われる。第２のセンサ２１０及び情報処理装置２００、並びにこれらの構成による情報のやり取りの動作フローに関しては、後述する。
【００３２】
ここで、第２のセンサ２１０にて検出された信号に基づく第２の検出情報とは、例えば、第２のセンサ２１０が検出したセンサデータであってもよく、第２のセンサ２１０が検出したセンサデータを演算処理したパラメータであってもよい。例えば、第２のセンサ２１０が第１のセンサ１１０と同様に加速度センサまたはジャイロセンサ等である場合、第２の検出情報は、加速度センサまたはジャイロセンサ等が検出した重力加速度の大きさおよび方向を表すセンサデータ（加速度データ）であってもよい。また、第２の検出情報は、周波数及び分解能の少なくともいずれかが低減するように、実際に測定されたセンサデータ（加速度データ）を変換したセンサデータであってもよい。さらには、第２の検出情報は、実際に測定されたセンサデータ（加速度データ）から算出した周波数、分解能又はノルム等の各種パラメータのデータであってもよい。かかる構成により、情報処理装置１００が受信する第２の検出情報の通信量を減少させることができるため、情報処理装置１００の消費電力を抑制することができる。
【００３３】
また、所定のトリガ信号とは、情報処理装置１００にてユーザ１からのジェスチャ入力を検出するための信号である。トリガ信号は、ユーザ１による日常動作の中からジェスチャ入力を検出することができる信号であれば、どのようなものであってもよい。なお、トリガ信号は、ジェスチャ入力の検出感度を向上させるために、発火点（すなわち、情報要求部１４０の駆動を開始させる閾値）を低く設定されていてもよい。
【００３４】
ローカル通信部１３０は、情報処理装置２００と通信を行う機能を有する。ローカル通信部１３０は、例えば、情報処理装置２００と直接、１対１で通信を行ってもよく、ネットワークを介して通信を行ってもよい。ローカル通信部１３０による通信の形式は、特に限定されず、ＮＦＭＩ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｍａｇｎｅｔｉｃ  Ｉｎｔｅｒｆａｃｅ）などのような近距離の無線通信であってもよいし、有線通信であってもよい。ローカル通信部１３０は、上述した通信を行うインタフェース及び回路であってもよい。
【００３５】
処理判断部１５０は、第１のセンサ１１０にて検出された信号に基づく第１の検出情報と、第２の検出情報とに基づいて、実行する処理を判断する。具体的には、処理判断部１５０は、第１のセンサ１１０にて検出された信号に基づく第１の検出情報と、ローカル通信部１３０を介して受信した第２のセンサ２１０にて検出された信号に基づく第２の検出情報と、に基づいて、実行する処理を判断する。
【００３６】
第１のセンサ１１０にて検出された信号に基づく第１の検出情報は、上述したような第１のセンサ１１０にて収集された情報を含んでもよい。例えば、第１の検出情報は、第１のセンサ１１０で検出された加速度、又は音声等に関する情報であってもよい。例えば、第１のセンサ１１０が加速度センサまたはジャイロセンサである場合、第１の検出情報は、第１のセンサ１１０にて実際に検出された重力加速度の大きさおよび方向を表すセンサデータ（加速度データ）であってもよい。また、第１のセンサ１１０が可視カメラまたは赤外カメラ等をセンサである場合、第１の検出情報は、視線の方向又は視線が一定である期間に関する情報等であってもよい。更にまた、第１のセンサ１１０が音声を検出するセンサである場合、第１の検出情報は、音の周波数、波形又は発音時間等であってもよい。すなわち、第１の検出情報は、第１のセンサ１１０にて検出されたあらゆるデータであってよい。
【００３７】
処理判断部１５０は、上述したような第１の検出情報及び第２の検出情報に基づいて入力の分類を判定して、判定された入力の分類に応じて実行する処理を判断する。また、処理判断部１５０は、判断した処理を音声出力部１２０に出力する。
【００３８】
具体的には、例えば、第１のセンサ１１０及び第２のセンサ２１０が加速度センサであり、ユーザ１のうなずくジェスチャを検出する場合、処理判断部１５０は、ユーザ１のジェスチャに関する情報を第１の検出情報として用いる。例えば、第１のセンサ１１０にて収集された重力加速度の大きさおよび方向が第１の検出情報として用いられ得る。また、第１のセンサ１１０とは異なる位置における第２のセンサ２１０にて収集された重力加速度の大きさおよび方向が第２の検出情報として用いられ得る。
【００３９】
ここで、両耳に装着された情報処理装置１００及び２００は一定の距離を有して設けられ得る。そのため、例えば、両耳に装着された情報処理装置１００及び２００がうなずくジェスチャを検出する場合には、第１のセンサ１１０及び第２のセンサ２１０は、同程度の加速度の大きさ及び方向を示し得る。
【００４０】
一方で、例えば、両耳に装着された情報処理装置１００及び２００が頭を左右に傾けるジェスチャを検出する場合には、第１のセンサ１１０及び第２のセンサ２１０は、異なる加速度の大きさ及び方向を示し得る。具体的には、頭を左に傾けるジェスチャでは、例えば、頭の左側の動作は小さく、右側の動作は大きくなる。よって、左耳に装着された加速度センサが収集し得る加速度の大きさは、右耳に装着された加速度センサと比較すると小さくなり、かつ加速度の方向は頭下方向となる。一方、右耳に装着された加速度センサが収集し得る加速度の大きさは、左耳に装着された加速度センサと比較すると大きくなり、かつ加速度の方向は、頭上方向となる。さらに詳しく説明すると、頭を左に傾けるジェスチャでは、右耳に装着された情報処理装置１００は、頭上方向を有する加速度を示した後に、頭下方向を有する加速度を検知し、左耳に装着された情報処理装置２００は、頭下方向を有する加速度を示した後に、頭上方向を有する加速度を検知する。これに対して、体ごとジャンプする場合は、右耳に装着された情報処理装置１００及び左耳に装着された情報処理装置２００は共に、頭上方向を有する加速度を示した後に、頭下方向を有する加速度を検知する。このように、ジャンプする動きと頭を左に傾けるジェスチャを判別する際に、右耳に装着された情報処理装置１００の挙動だけでの判別は困難である場合があるが、右耳に装着された情報処理装置１００及び左耳に装着された情報処理装置２００の左右のセンサ１１０及び２１０にて検出された第１の検出情報及び第２の検出情報を用いることで、判別が可能となる。
【００４１】
このように、処理判断部１５０は、第１のセンサ１１０及び第２のセンサ２１０がそれぞれ検出した第１の検出情報及び第２の検出情報を用いることで、ユーザ１が行ったジェスチャを判別することが可能である。また、処理判断部１５０は、その判定されたジェスチャの分類に応じて、情報処理装置１００及び２００が実行する処理を判断することができる。
【００４２】
情報処理装置１００及び２００が実行する処理は、端末に応じた処理であってよい。例えば、情報処理装置１００及び２００が音声再生装置である場合、該処理は、音声再生に関するあらゆる指示であってもよい。より具体的には、情報処理装置１００及び２００が音楽再生装置である場合、うなずくジェスチャに対応する処理は、曲の再生処理または停止処理であり、頭を傾けるジェスチャに対応する処理は、曲送り処理または曲戻り処理であってもよい。この時、頭を左に傾けるジェスチャが曲戻り処理に対応し、頭を右に傾けるジェスチャが曲送り処理に対応してもよい。情報処理装置１００及び２００が実行する処理は、上記で挙げたような例に限定されず、あらゆる処理であってもよい。また、情報処理装置１００及び２００が実行する処理は、外部の他端末に処理を実行させる処理であってもよい。
【００４３】
このように、第１の検出情報および第２の検出情報に基づいて、処理判断部１５０は、実行する処理を判断する。上記例示では、第１の検出情報および第２の検出情報がユーザ１のジェスチャに関する情報であり、実行する処理が音声再生装置における曲再生に関する例を示したが、本実施形態は、かかる例示に特に限定されない。例えば、情報処理装置１００及び２００は、音声出力部１２０に替えて画像出力部を備えていてもよい。具体的には、情報処理装置１００及び２００は、ＨＭＤであり、各種のジェスチャ動作に基づいて、映像再生に関するあらゆる処理を実行してもよい。
【００４４】
ジェスチャ等の入力分類の判定は、例えば、深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）を用いた機械学習アルゴリズムを用いてもよい。例えば、ジェスチャ入力において、ジェスチャの大きさ、動き又はジェスチャの時間は、ユーザ１によって、それぞれ異なる。機械学習アルゴリズムを用いることにより、ユーザ１の個体差に関わらず、ジェスチャを認識することができるため、ユーザ１の各々のジェスチャをより高精度で判定することが可能である。
【００４５】
なお、処理判断部１５０は、例えば、ソフトウェアとハードウェアとの協働によって上述した制御を実行することができる。例えば、処理判断部１５０は、コンピュータで構成され、メモリ又はその他の記憶媒体に記憶されたプログラムを実行することで、処理判断部１５０の制御を実行してもよい。具体的には、処理判断部１５０は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等を備えてもよい。
【００４６】
音声出力部１２０は、処理判断部１５０により判断された処理を行う機能を有する。例えば、音声出力部１２０は、スピーカであり、コンテンツ音声又は操作音等を出力してもよい。例えば、音声出力部１２０は、処理判断部１５０により判断された処理に応じて、音楽を再生及び停止したり、次の曲に進めたり及び戻ったりしてもよい。かかる構成により、ユーザ１はジェスチャにより入力した操作を音声出力にて直接確認することができるため、視覚的に操作の確認をする手間を省略することができる。
【００４７】
なお、音声出力部１２０は、音声に関する処理を実行するが、処理判断部１５０により判断された処理であれば、音声に関するものに限られず実行してもよい。例えば、照明を点けたり、スマートロックを解錠したりといった他のデバイスをコントロールする動作であってもよい。また、情報処理装置１００及び２００がＨＭＤである場合、音声出力部１２０に替えて画像出力部を備えることによって、映像に関する処理を実行してもよい。
【００４８】
次に、情報処理装置２００に関して説明する。情報処理装置２００は、第２のセンサ２１０と、演算処理部２６０と、ローカル通信部２３０と、音声出力部２２０と、を備える。本実施形態においては、情報処理装置１００に備えられる情報要求部１４０が、第２のセンサ２１０にて検出された信号に基づく第２の検出情報を情報処理装置２００に要求した後に、情報処理装置１００及び２００の間で通信が発生する。ユーザ１、情報処理装置１００及び２００の間での連動した動作に関しては、後述するため、まずは、情報処理装置２００の各構成を説明する。
【００４９】
なお、ローカル通信部２３０の構成は、情報処理装置１００のローカル通信部１３０と実質的に同様の構成であり、音声出力部２２０は、情報処理装置１００の音声出力部２２０と実質的に同様の構成であるため、ここでの説明は省略する。
【００５０】
第２のセンサ２１０は、情報処理装置２００又は外部環境の情報を検出する各種センサである。第２のセンサ２１０は、第１のセンサ１１０と同様に、あらゆるセンサが用いられてもよい。例えば、第２のセンサ２１０は、加速度センサを含んでもよい。加速度センサは、情報処理装置２００に加わる重力加速度を測定し、重力加速度の大きさおよび方向を表すセンサデータ（加速度データ）を収集することができる。これらの種類のセンサによれば、第２のセンサ２１０は、情報処理装置２００の姿勢又は運動の変化を検出することで、情報処理装置２００を装着したユーザ１の姿勢又は運動の変化を検出することができる。また、第２のセンサ２１０は、ユーザ１の動きとして、ユーザ１の目の動き等を検出してもよい。例えば、第２のセンサ２１０は、可視カメラまたは赤外カメラ等の瞳の動向を検出できるようなセンサであってもよい。第２のセンサ２１０が可視カメラまたは赤外カメラ等である場合、視線、ユーザ１が注視していること、及びユーザ１の注視点を検出することができる。第２のセンサ２１０にて収集されたデータは、例えば、演算処理部２６０に出力される。
【００５１】
第１のセンサ１１０及び第２のセンサ２１０には、上述したように、あらゆるセンサが用いられてもよい。ただし、第１のセンサ１１０及び第２のセンサ２１０には、同種類のセンサが用いられてもよい。例えば、第１のセンサ１１０及び第２のセンサ２１０のうち少なくとも一方がジャイロセンサであれば、角速度の変化量を検出することができるため、処理判断部１５０は、ユーザ１のジェスチャを判別することが可能である。また、第１のセンサ１１０及び第２のセンサ２１０の両方にジャイロセンサを用いた場合には、複数のジャイロセンサによる複数の検出情報を用いることによって、より高精度なジェスチャ判別が可能となる。
【００５２】
例えば、第１のセンサ１１０及び第２のセンサ２１０に加速度センサを用いた場合には、異なる位置に加速度センサが設けられることにより、単独の加速度センサでは判別することが困難であったより高精度のジェスチャ判別が可能となる。具体的には、異なる位置に設けられた複数の加速度センサを用いることで、ジャイロセンサと同様の検出情報を得ることが可能となる。これによれば、ジャイロセンサよりも消費電力が極めて少ない加速度センサを用いて、ジャイロセンサと同様の検出結果を得ることができるため、第１のセンサ１１０及び第２のセンサ２１０における消費電力も抑制することができる。
【００５３】
さらには、上記のように、例えば、情報処理装置１００及び２００における第１のセンサ１１０及び第２のセンサ２１０に、同種類のセンサとして加速度センサが設けられた場合、ユーザ１によるジェスチャだけではなく、情報処理装置１００及び２００自体を回したりねじったりする動作を検出することも可能である。本実施形態においては、両耳に装着される情報処理装置１００及び２００の加速度の違いを利用することにより、検出された信号が情報処理装置１００及び２００を装着した頭全体の動作によるものであるのか、情報処理装置１００及び２００自体をねじった動作によるものであるのか等を検出することも可能である。
【００５４】
例えば、情報処理装置１００及び２００自体を回したり、ねじったりする操作が行われた場合、第１のセンサ１１０及び第２のセンサ２１０が収集する加速度データの大きさは、ユーザ１が頭を傾けたり、うなずいたりする動作よりも、はるかに大きいものとなる。よって、処理判断部１５０は、第１のセンサ１１０及び第２のセンサ２１０にて収集された加速度の大きさの違いから、行われた操作が情報処理装置１００及び２００自体に対する操作であるのか、ジェスチャであるのかを判断することが可能である。
【００５５】
演算処理部２６０は、第２のセンサ２１０によって検出された信号に基づく第２の検出情報を生成し、ローカル通信部２３０に出力する機能を有する。
【００５６】
例えば、第２の検出情報は、第２のセンサ２１０によって検出された信号の一部であってもよい。具体的には、第２のセンサ２１０が加速度センサである場合、演算処理部２６０は、第２のセンサ２１０によって検出された信号よりも分解能またはビットレートを低下させた信号を第２の検出情報として生成してもよい。例えば、加速度センサが２０Ｈｚでデータ収集を行った場合に、演算処理部２６０は、該データを１０Ｈｚのデータに変換することで、第２の検出情報を生成してもよい。また、演算処理部２６０は、加速度センサのデータの分解能が１６ｂｉｔである場合に、該データを８ｂｉｔ又は４ｂｉｔのデータに変換することで、第２の検出情報を生成してもよい。
【００５７】
また、第２の検出情報は、第２のセンサ２１０によって検出された信号を演算処理することで算出された各種数値であってもよい。具体的には、第２のセンサ２１０が加速度センサである場合、演算処理部２６０は、第２のセンサ２１０によって検出された信号の周波数の最大値又は最小値、ｘ，ｙ，ｚ軸のノルムを算出して、該算出した値を第２の検出情報として生成してもよい。さらに、演算処理部２６０は、第２のセンサ２１０によって検出された信号のｘ，ｙ，ｚ軸の各成分のうち、特定の軸成分のみを抽出することで、第２の検出情報を生成してもよい。例えば、演算処理部２６０は、第２のセンサ２１０によって検出された信号の重力方向成分及び水平成分を抽出することで、第２の検出情報を生成してもよい。さらには、演算処理部２６０は、第２のセンサ２１０によって検出された信号の乱雑度合を算出し、算出された乱雑度合が閾値を越えているか否かの情報を、第２の検出情報として生成してもよい。
【００５８】
上述したように、第２のセンサ２１０にて検出された信号に基づいて、演算処理部２６０にて生成された第２の検出情報は、第２のセンサ２１０にて収集された実データ（いわゆる、生のデータ）が一部間引かれていたり、一部切り取られたり、演算処理されたりしたような情報である。かかる構成により、演算処理部２６０は、ローカル通信部２３０及び１３０を介して送受信される情報の情報量をより小さくすることができる。これによれば、ローカル通信部２３０及び１３０の間の通信量を低減することができるため、情報処理装置１００及び２００は、消費電力を抑えることができる。
【００５９】
演算処理部２６０にて生成された第２の検出情報は、上記の様に、実データが一部間引かれたり、一部切り取られたり、演算処理されたりした情報であってもよいが、一方で、実データの全てを含んでいてもよい。すなわち、演算処理部２６０は、ジェスチャ入力の判定の際に必要な情報に応じて、送受信される第２の検出情報の情報量を変更してもよい。例えば、演算処理部２６０は、ジェスチャ入力の判別に多くの情報が必要な場合は、第２の検出情報の情報量を増加させることで、ジェスチャ判定の高精度化を図ってもよい。また、演算処理部２６０は、ジェスチャ入力の判別に必要な情報が少なくていい場合は、第２の検出情報の情報量を減少させることで、通信時に消費される電力を抑制することができる。
【００６０】
生成する第２の検出情報の内容は、情報要求部１４０によって指定されてもよい。演算処理部２６０が情報要求部１４０にて指定される第２の検出情報を生成する場合、情報処理装置２００は、ジェスチャ判定のために必要となる適切な内容の第２の検出情報をローカル通信部２３０及び１３０を介して、情報処理装置１００に出力することができる。
これにより、例えば、演算処理部２６０、情報要求部１４０、ローカル通信部１３０及び２３０、処理判断部１５０等は、過大な処理を行うことなく、必要に応じた処理を行うことが可能となるため、情報処理装置１００及び２００は、各構成の過負荷を抑制し、消費電力を抑制することができる。
【００６１】
なお、演算処理部２６０は、ＣＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が搭載された制御基板等であってもよく、ＤＳＰまたはＨＷ（ＨａｒｄＷａｒｅ）回路であってもよい。さらに、演算処理部２６０は、上述したそれらの組合せであってもよい。また、演算処理部２６０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の汎用的な情報処理装置であってもよい。該演算処理部２６０のプロセッサが所定のプログラムに従って演算処理を実行することにより、以上説明した各種の機能が実現され得る。
【００６２】
上述したように、本実施形態にかかる情報処理装置１００及び２００は、ジェスチャのようなユーザ１の動作を検出してコマンド化することができる。したがって、情報処理装置１００及び２００にボタンなどの動作入力部が設けられない場合でも、ユーザ１は動作にて簡単に情報処理装置１００及び２００を操作することができる。また、情報処理装置１００及び２００にボタンなどの動作入力部が設けられた場合でも、両耳に装着される情報処理装置１００及び２００では、ボタンを目視ができず、操作が手探りで煩雑となる。本実施形態によれば、このような情報処理装置１００及び２００において、ジェスチャのようなユーザ１の動作をコマンド化することができるため、ユーザ１の操作性を向上させることができる。
【００６３】
［３．情報処理装置の処理動作］
続いて、図４を参照しながら、本実施形態に係る情報処理装置１００及び２００の動作の流れについて説明する。図４は、情報処理装置１００がトリガ信号を検出してから、情報処理装置１００及び２００の間のローカル通信が終了するまでの流れを示すフローチャート図である。
【００６４】
まず、ユーザ１からジェスチャ入力が行われ、情報処理装置１００に備えられる第１のセンサ１１０が、トリガ信号を検出する（Ｓ１０１）。
【００６５】
次に、トリガ信号の検出を判断した情報要求部１４０は、情報処理装置２００に備えられる第２のセンサ２１０又は演算処理部２６０に第２の検出情報を要求する。この要求は、ローカル通信部１３０及び２３０を介して行われる（Ｓ１０３）。
【００６６】
次に、第２のセンサ２１０又は演算処理部２６０は、ローカル通信部１３０及び２３０を介して、要求された第２の検出情報を情報処理装置１００に送信する。ローカル通信部１３０は、第２の検出情報を受信し、受信した第２の検出情報を処理判断部１５０に出力する（Ｓ１０５）。
【００６７】
次に、第２の検出情報が入力された処理判断部１５０は、第２の検出情報と第１のセンサ１１０にて検出された信号に基づく第１の検出情報とに基づいて、ジェスチャの判定を行う（Ｓ１０７）。
【００６８】
ここで、ジェスチャの判定が可能であった場合（Ｓ１０７／判定ＯＫ）には、処理判断部１５０は、判定されたジェスチャに対応した処理を判断する。その後、処理判断部１５０は、情報処理装置１００及び２００に備えられる音声出力部１２０及び２２０に判断した処理を行わせる（Ｓ１０９）。
【００６９】
一方で、ジェスチャの判定が不可能であった場合（Ｓ１０７／判定ＮＧ）には、処理判断部１５０は、所定の時間が経過したか否かを判断する（Ｓ１１１）。所定の時間が経過していない場合（Ｓ１１１／Ｎｏ）、処理判断部１５０は、第２の検出情報を継続して受信し、受信し続けた第２の検出情報と、第１の検出情報とに基づいて、ジェスチャの判定を再度行う。つまり、情報処理装置１００及び２００は、所定の時間が経過するまで、Ｓ１０５及びＳ１０７の動作を繰り返し実行する。
【００７０】
処理判断部１５０が所定の時間が経過したことを判断した場合（Ｓ１１１／Ｙｅｓ）、または処理判断部１５０がジェスチャに対応した処理を判断した場合（Ｓ１０９）、処理判断部１５０は、ローカル通信部１３０及び２３０間の通信を終了させる（Ｓ１１３）。以上により、情報処理装置１００及び２００は、全体の処理を終了する。
【００７１】
上述したような動作の流れにより、情報処理装置１００及び２００は、ジェスチャを検出して、かつそのジェスチャに応じた処理を行うことができる。
【００７２】
（３．１．トリガ信号の検出前から第２のセンサが起動している場合）
図４の動作の流れでは、情報処理装置１００及び２００の動作開始から終了までを説明した。図５では、情報処理装置１００及び２００並びにユーザ１の間での動作の連動を含めて詳しく説明する。図５に示す動作例は、第２のセンサ２１０が、情報処理装置１００に備えられる情報要求部１４０によって情報を要求される前から駆動していることに特徴を有する。
【００７３】
図５を参照すると、まず、情報処理装置１００に設けられた電源ボタンなどが押下されることにより情報処理装置１００が起動する（Ｓ２０１）。
【００７４】
次に、起動後に、情報処理装置１００は、ローカル通信部１３０及び２３０を介して、第２のセンサ２１０に、情報要求の待ち受けを指示する（Ｓ２０３）。
【００７５】
次に、情報処理装置２００では、情報要求の待ち受け指示を受けた第２のセンサ２１０が信号検出を開始する（Ｓ２０５）。
【００７６】
第２のセンサ２１０は、信号検出の開始後、検出したデータをメモリ等に一時記憶する（Ｓ２０７）。ここで、第２のセンサ２１０の信号を記憶する期間は、一定の期間であってもよい。すなわち、第２のセンサ２１０は、検出した過去の信号を一定期間、ログとして一時記憶する。
【００７７】
一方、情報処理装置１００では、第２のセンサ２１０へ情報要求の待ち受け指示を行った後、トリガ信号の設定が行われる。トリガ信号の設定では、第１のセンサ１１０にて収集されたデータの中から検出するトリガ信号の条件を設定する（Ｓ２０９）。
【００７８】
トリガ信号の設定後、第１のセンサ１１０は、信号検出を開始する（Ｓ２１１）。
【００７９】
第１のセンサ１１０は、第２のセンサ２１０と同様に、検出したデータをメモリ等に一時記憶していく（Ｓ２１３）。すなわち、第１のセンサ１１０は、検出した過去の信号を一定期間、ログとして一時記憶する。以上までで、情報処理装置１００及び２００にてユーザ１によるジェスチャ動作を検出する準備が整う。
【００８０】
ここで、ユーザ１がジェスチャ動作を行う（Ｓ２１５）。
【００８１】
情報要求部１４０は、第１のセンサ１１０にて収集された信号から、トリガ信号の検出を行う（Ｓ２１７）。トリガ信号は、例えば、ユーザ１が行ったジェスチャに起因する信号である。
【００８２】
トリガ信号の検出が行われた後、情報要求部１４０は、情報処理装置２００に、第２の検出情報を要求する（Ｓ２１９）。
【００８３】
情報要求部１４０から第２の検出情報を要求された演算処理部２６０は、第２のセンサ２１０のメモリから信号を読み出し、読み出した信号に基づいて第２の検出情報を生成する（Ｓ２２１）。
【００８４】
その後、演算処理部２６０は、ローカル通信部２３０及び１３０を介して、第２の検出情報を情報処理装置１００に送信する（Ｓ２２３）。
【００８５】
第２の検出情報を受信した処理判断部１５０は、第１の検出情報及び第２の検出情報に基づき、ユーザ１が行ったジェスチャ動作の分類を判定する（Ｓ２２５）。
【００８６】
その後、処理判断部１５０は、判定したジェスチャ動作の分類に応じて、該ジェスチャ動作に対応する音声再生を音声出力部１２０及び２２０に行わせる。これにより、ユーザ１に対してジェスチャ動作に対応する音声の再生が行われる（Ｓ２２９）。
【００８７】
これにより、ユーザ１はジェスチャ動作が認識されたことを確認することができる（Ｓ２３１）。
【００８８】
その後、処理判断部１５０は、判定したジェスチャ動作に対応する処理を音声出力部１２０又は情報処理装置１００に実行させる。
【００８９】
上述した動作例では、情報処理装置１００の起動後すぐに、情報処理装置１００から第２のセンサ２１０に情報要求の待ち受け指示がなされる。これにより、第２のセンサ２１０は、信号検出を開始すると共に、検出したデータを一定期間の間、メモリ等に一時記憶し、第２の検出情報の要求の受信を待機する。したがって、情報要求部１４０から情報要求を受ける前から、第２のセンサ２１０では、検出されたデータが蓄積されているため、情報要求部１４０は、情報要求する前に検出された信号に基づく第２の検出情報も取得することが可能である。
【００９０】
例えば、第１の検出情報及び第２の検出情報は、同タイミングに、第１のセンサ１１０及び第２のセンサ２１０によりそれぞれ検出された情報を含んでもよい。情報要求をする前に検出された第２の検出情報のような過去のセンサデータを要求することにより、別々の筐体内の別センサ、例えば第１のセンサ１１０及び第２のセンサ２１０にて同タイミングに検出していた２つ以上のデータを、同じジェスチャの検出に用いることができる。これにより、同じジェスチャに対して、複数の検出情報を用いて該ジェスチャの判定を行うことができるため、ジェスチャの判定精度を向上させることができる。
【００９１】
また、第１の検出情報及び第２の検出情報が第１のセンサ１１０及び前記第２のセンサ２１０により検出されたタイミングは、トリガ信号を検出したタイミングに対応していてもよい。これにより、情報処理装置１００は、トリガ信号が含まれるジェスチャ動作の判定に対して、第１の検出情報及び第２の検出情報などの複数の検出情報を使用することができるため、該ジェスチャの判定精度を向上させることができる。
【００９２】
これにより、情報処理装置１００は、トリガ信号の検出の前後に収集された信号に基づいてジェスチャ動作を判定することができるようになるため、第１のセンサ１１０だけを用いる場合に比べて、処理判断部１５０におけるジェスチャ動作の判定精度を向上させることができる。
【００９３】
（３．２．トリガ信号の検出後から第２のセンサが起動する場合）
次に、図６を参照して、図５で示した動作例とは異なる他の動作例の流れを説明する。図６に示す動作例は、第２のセンサ２１０が、情報処理装置１００に備えられる情報要求部１４０から情報を要求された時点から駆動を開始することに特徴を有する。
【００９４】
図６を参照すると、まず、図５の動作例と同様に、情報処理装置１００に設けられたボタンなどが押下されることにより情報処理装置１００が起動する（Ｓ３０１）。
【００９５】
次に、情報処理装置１００では、トリガ信号の設定が行われる。トリガ信号の設定では、第１のセンサ１１０にて収集されたデータの中から検出するトリガ信号の条件を設定する（Ｓ３０９）。
【００９６】
トリガ信号の設定後、第１のセンサ１１０は、信号検出を開始する（Ｓ３１１）。
【００９７】
第１のセンサ１１０は、検出したデータをメモリ等に一時記憶していく（Ｓ３１３）。ここで、メモリ等に一時記憶されるデータの期間は、一定の期間であってもよい。すなわち、第１のセンサ１１０は、検出した過去の信号を一定期間、ログとして一時記憶してもよい。以上までで、情報処理装置１００にてユーザ１によるジェスチャ動作を検出する準備が整う。
【００９８】
ここで、ユーザ１がジェスチャ動作を行う（Ｓ３１５）。
【００９９】
第１のセンサ１１０にて収集された信号から、情報要求部１４０は、トリガ信号の検出を行う（Ｓ３１７）。
【０１００】
トリガ信号の検出が行われた後、情報要求部１４０は、情報処理装置２００に、第２の検出情報を要求する（Ｓ３１９）。
【０１０１】
情報要求を受けた第２のセンサ２１０は、信号検出を開始する（Ｓ３０５）。
【０１０２】
第２のセンサ２１０にて検出されたデータは、メモリ等に一時記憶されていく（Ｓ３０７）。ここで、メモリ等に一時記憶されるデータの期間は、一定期間であってもよい。
【０１０３】
次に、演算処理部２６０は、第２のセンサ２１０のメモリから信号を読み出し、読み出した信号に基づいて、第２の検出情報を生成した後、ローカル通信部２３０及び１３０を介して情報処理装置１００に第２の検出情報を送信する（Ｓ３２３）。
【０１０４】
第２の検出情報を受信した処理判断部１５０は、第１の検出情報及び第２の検出情報に基づいて、ユーザ１が行ったジェスチャ動作の分類を判定する（Ｓ３２５）。
【０１０５】
処理判断部１５０によるジェスチャ動作の判定が完了した場合、情報処理装置１００は、ユーザ１に対して、判定したジェスチャ動作に対応する音声の再生を行う（Ｓ３２９）。
【０１０６】
これにより、ユーザ１はジェスチャ動作が認識されたことを確認することができる（Ｓ３３１）。
【０１０７】
また、処理判断部１５０によるジェスチャ動作の判定が完了した場合、情報処理装置１００は、情報処理装置２００に対して、ジェスチャ動作の判定完了を通知する（Ｓ３３３）。
【０１０８】
ジェスチャ動作の判定完了の通知を受けた情報処理装置２００は、第２のセンサ２１０による信号検出を終了させる（Ｓ３３５）。
【０１０９】
その後、処理判断部１５０は、判定したジェスチャ動作に対応する処理を音声出力部１２０又は情報処理装置１００に実行させる（Ｓ３２７）。
【０１１０】
上述した動作例では、情報処理装置１００から情報処理装置２００に第２の検出情報が要求されるまで、第２のセンサ２１０は、信号検出を開始しない。これによれば、第１のセンサ１１０によるトリガ信号の検出を契機として第２のセンサ２１０を駆動するため、第２のセンサ２１０を駆動させるための負担を軽減することができる。したがって、情報処理装置２００は、消費電力を低下させることができる。
【０１１１】
（３．３．ジェスチャ判定を複数回行う場合）
次に、図７を用いて、図５及び図６で示した動作例とは異なるさらに他の動作例の流れを説明する。図７に示す動作例は、情報処理装置１００にて、ジェスチャ動作を簡易判定し、該簡易判定によってジェスチャ動作が判別されない場合に、情報処理装置２００に情報要求を行うことに特徴を有する。
【０１１２】
図７を参照すると、まず、情報処理装置１００に設けられたボタンなどが押下されることにより情報処理装置１００が起動する（Ｓ４０１）。
【０１１３】
次に、起動後に、情報処理装置１００は、ローカル通信部１３０及び２３０を介して、第２のセンサ２１０に、情報要求の待ち受けを指示する（Ｓ４０３）。
【０１１４】
次に、情報処理装置２００では、情報要求の待ち受け指示を受けた第２のセンサ２１０が信号検出を開始する（Ｓ４０５）。
【０１１５】
第２のセンサ２１０は、信号検出の開始後、検出したデータをメモリ等に一時記憶する（Ｓ４０７）。ここで、一次記憶されるデータの期間は一定期間であってもよい。すなわち、第２のセンサ２１０は、検出した過去の信号を一定期間、ログとして一時記憶してもよい。
【０１１６】
一方、情報処理装置１００では、第２のセンサ２１０へ情報要求の待ち受け指示を行った後、トリガ信号の設定が行われる。トリガ信号の設定では、第１のセンサ１１０にて収集されたデータの中から検出するトリガ信号の条件を設定する（Ｓ４０９）。
【０１１７】
トリガ信号の設定後、第１のセンサ１１０は、信号検出を開始する（Ｓ４１１）。
【０１１８】
第１のセンサ１１０にて検出されたデータはメモリ等に一時記憶される（Ｓ４１３）。ここで、一時記憶されるデータの期間は一定期間であってもよい。すなわち、第１のセンサ１１０は、第２のセンサ２１０と同様に、検出した過去の信号を一定期間、ログとして一時記憶してもよい。
【０１１９】
ここで、ユーザ１がジェスチャ動作を行う（Ｓ４１５）。
【０１２０】
情報要求部１４０は、第１のセンサ１１０にて収集された信号から、トリガ信号の検出を行う（Ｓ４１７）。
【０１２１】
トリガ信号の検出が行われた後、処理判断部１５０は、１回目のジェスチャ判定を行う（Ｓ４５１）。ここでのジェスチャ判定は、第１のセンサ１１０が収集した第１の検出情報に基づいた簡易的なものである。
【０１２２】
簡易的なジェスチャ判定によって、ジェスチャ動作が判別できなかった場合、情報処理装置１００は、第２の検出情報を情報処理装置２００に要求する（Ｓ４１９）。
【０１２３】
なお、簡易的なジェスチャ判定によって、ジェスチャ動作が判別できた場合、情報処理装置１００は、ユーザ１に対して、判定したジェスチャ動作に対応する音声の再生を行ってもよい（Ｓ４２９）。その後、処理判断部１５０は、判定したジェスチャ動作に対応する処理を音声出力部１２０又は情報処理装置１００に実行させてもよい（Ｓ４２７）。
【０１２４】
情報要求部１４０から第２の検出情報を要求された演算処理部２６０は、第２のセンサ２１０のメモリから信号を読み出し、読み出した信号に基づいて第２の検出情報を生成する（Ｓ４２１）。
【０１２５】
その後、演算処理部２６０は、ローカル通信部２３０及び１３０を介して、第２の検出情報を情報処理装置１００に送信する（Ｓ４２３）
【０１２６】
第２の検出情報を受信した処理判断部１５０は、第２の検出情報及び第１の検出情報に基づいて、２回目のジェスチャ判定を行う（Ｓ４２５）。このように、処理判断部１５０は、情報を追加して複数回のジェスチャ判定を行うことにより、より高精度でジェスチャ判定を行うことができる。
【０１２７】
処理判断部１５０によるジェスチャ動作の判定が完了した場合、情報処理装置１００は、ユーザ１に対して、判定したジェスチャ動作に対応する音声の再生を行う（Ｓ４２９）。
【０１２８】
これにより、ユーザ１はジェスチャ動作が認識されたことを確認することができる（Ｓ４３１）。
【０１２９】
その後、処理判断部１５０は、判定したジェスチャ動作に対応する処理を音声出力部１２０又は情報処理装置１００に実行させる（Ｓ４２７）。
【０１３０】
上述した動作例では、情報処理装置１００は、まず第１の検出情報に基づいて、１回目のジェスチャ判定を行う。１回目のジェスチャ判定でジェスチャ動作を判定することができる可能性があるが、確実に判定をすることが困難な場合、情報処理装置１００は、さらに第２の検出情報を要求することで、第１の検出情報及び第２の検出情報に基づいて、２回目のジェスチャ判定を行う。これによれば、情報処理装置１００は、第１の検出情報だけを用いた簡易的なジェスチャ判定を行うことで、より迅速にジェスチャ判定を行うことが可能となる。
【０１３１】
また、１回目の簡易的なジェスチャ判定にてジェスチャ動作を判別することができれば、処理判断部１５０は、２回目のジェスチャ判定に係る動作を省略し、１回目のジェスチャ判定のみで、実行する処理を判断してもよい。これにより、迅速なジェスチャ判定が可能となる。また、これにより、情報処理装置１００及び２００の間の通信を省略することができるため、情報処理装置１００及び２００は、消費電力を低減することができる。
【０１３２】
以上、図５〜図７を参照して、本実施形態で一例を挙げた音声再生装置における動作例の説明を行った。ただし、本開示の技術は、かかる例に限定されない。本開示の技術は、あらゆる形態の端末に対して用いられてもよい。また、トリガ信号は、ユーザ１のジェスチャに起因する加速度等の変化に限定されず、所定の音声またはユーザ１による所定の入力であってもよい。具体的には、トリガ信号として、近接センサまたはボタンのようなスイッチの押下、所定の音声コマンド、又は音声エージェントの機能による音声ＵＩセッションの開始を用いてもよい。例えば、音声ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を有する情報処理装置１００において、ニュース又はメッセージなどの着信をユーザに通知することを所定のトリガ信号としてもよい。このような場合、該通知を契機として、情報処理装置２００の第２のセンサ２１０における信号検出が開始されてもよい。
【０１３３】
また、処理判断部１５０が判断する処理も音声再生に限定されない。例えば、処理判断部１５０が判断する処理は、映像コンテンツに関する処理であってもよく、処理の出力先も特に限定されない。例えば、音声の再生等を実行するスピーカ等が処理の出力先となってもよく、スマートフォン等の外部機器が処理の出力先となってもよい。
【０１３４】
［４．変形例］
上述では、本実施形態に係る情報処理装置１００及び２００がウェアラブル端末等である場合を例に挙げて説明したが、本開示に係る技術はかかる例示に限定されない。本開示に係る技術は、例えば、据え置き型の音声端末に適用することも可能である。以下では、第１の変形例として、据え置き型の音声端末における動作フローに関して図８を参照しながら説明する。
【０１３５】
（第１の変形例：マイク）
第１の変形例は、例えば、第１のセンサ１１０及び第２のセンサ２１０がマイク（マイクロフォン）であり、情報処理装置１００及び２００が音声を検出する例である。具体的には、ユーザ１からの入力として「照明点灯」等のキーワードが設定されており、該キーワードを音声認識することによって、情報処理装置１００及び２００は、実行する処理を判断する。例えば、情報処理装置１００及び２００は、「照明点灯」というキーワードを認識した場合に、部屋の照明を点灯させる出力を行ってもよい。
【０１３６】
図８を参照すると、まず、第１のマイク（上述した第１のセンサ１１０に相当）による録音が開始される（Ｓ５０１）。
【０１３７】
次に、第１のマイクで集音した音声がメモリ等に一時記憶される（Ｓ５０３）。
【０１３８】
ここで、ユーザ１による音声指示が行われる（Ｓ５１５）。なお、ユーザ１による音声指示は、後述するトリガ音声と、情報処理装置（上述した情報処理装置１００に相当）への指示を表す指示音声とを含んでもよい。
【０１３９】
情報処理装置は、トリガ音声の検出を行う（Ｓ５１７）。例えば、トリガ音声とは、情報処理装置に音声認識を開始させるための「認識開始」などの特定のキーワードであってもよい。
【０１４０】
ここで、処理判断部１５０は、ユーザ１による指示音声に対して、１回目の入力音声認識を行う（Ｓ５５１）。
【０１４１】
次に、処理判断部１５０は、指示音声に対する音声認識の認識率を判定する（Ｓ５５３）。
【０１４２】
この判定により、指示音声に対する音声認識の認識率が閾値に満たなかった場合には、情報要求部１４０は、更に第２のマイク（上述した第２のセンサ２１０に相当）に対して、ユーザ１による指示音声を含む第２の音声情報を要求する（Ｓ５１９）。
【０１４３】
音声情報の要求を受信した演算処理部２６０は、要求に基づいて、第２のマイクにて集音された音声信号をメモリから読み出し、読み出した音声信号に基づいて、第２の音声情報を生成する（Ｓ５２１）。
【０１４４】
その後、第２の音声情報は、ローカル通信部２３０、１３０を介して、処理判断部１５０に送信される（Ｓ５２３）。
【０１４５】
処理判断部１５０は、第１のマイクで集音した音声信号を含む第１の音声情報と、第２のマイクで集音した第２の音声情報とに基づいて、２回目の入力音声認識を行う（Ｓ５２５）。
【０１４６】
これにより、処理判断部１５０は、ユーザ１からの指示音声の音声認識結果を提示する（Ｓ５２９）。例えば、ユーザ１からの指示音声が「照明点灯」である場合、該「照明点灯」のキーワードを認識することによって、情報処理装置は、部屋の照明を点灯させる処理を実行する。
【０１４７】
したがって、ユーザ１は、音声指示の結果が実行されたことを確認することができる（Ｓ５３１）。
【０１４８】
上述したように、本変形例では、音声指示を音声認識する情報処理装置の動作例を示した。かかる構成により、ユーザ１は、ユーザの音声指示に応じた動作を情報処理装置に行わせることが可能である。
【０１４９】
（第２の変形例：頭部装着型ディスプレイ）
第２の変形例は、情報処理装置１００及び２００が音声再生装置ではなく、頭部装着型ディスプレイ（ＨＭＤ）である例である。例えば、情報処理装置１００及び２００がＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）コンテンツなどを視聴するためのＨＭＤである場合を例に挙げて説明する。ＶＲコンテンツ視聴では、ＨＭＤには、加速度センサまたはジャイロセンサのような頭部の動作を検出するセンサが備えられており、これらのセンサは、例えば、ＶＲコンテンツにおける画像の画角を制御するために使われている。ただし、ＶＲコンテンツの視聴中に、ユーザがＨＭＤに対して入力操作を行う場合、ユーザ１からは外界が見えなくなるため、リモコンなどを使用せずに入力操作を行うことが望ましい。例えば、ジェスチャによる入力操作を行うためには、加速度センサまたはジャイロセンサ等の機能を画角の制御から切り替えて使用することが望ましい。
【０１５０】
本実施形態は、ＨＭＤに対して特定の入力をした後にジェスチャ動作を行うことで、ユーザ１によるＨＭＤへの入力操作を行う技術に対しても適用することが可能である。
【０１５１】
具体的には、本変形例に係るＨＭＤは、左右のいずれかの筐体にさらに近接センサを設けられ得る。例えば、ＨＭＤの近接センサによってユーザ１の手等の接近が認識された場合に、ＨＭＤは、ジェスチャ動作による入力を加速度センサ又はジャイロセンサを用いて認識するように切り換えてもよい。例えば、ユーザ１は、近接センサに手をかざしながら頭部を傾けることで、ＨＭＤに対してズームインまたはズームアウトの指示、若しくは音量の調整の指示ができてもよい。このようなジェスチャ動作によるＨＭＤへの入力が行われている間、加速度センサまたはジャイロセンサにて検出された信号は、ＶＲコンテンツの画角の制御に使用されてもよく、使用されなくともよい。
【０１５２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５３】
例えば、上記実施形態では、情報処理装置１００及び２００は、音声再生装置である場合を一例として示したが、本技術はかかる例に限定されない。例えば、情報処理装置１００及び２００は、据え置きタイプの音声認識装置であってもよく、頭部装着型ディスプレイ等のウェアラブル端末であってもよい。
【０１５４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１５５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、
前記第２の検出情報を受信するローカル通信部と、
前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、
を備える、情報処理装置。
（２）
前記第２の検出情報は、前記第２のセンサにて検出された信号の一部である、前記（１）に記載の情報処理装置。
（３）
前記第２の検出情報は、前記第２のセンサにて検出された信号を演算処理した情報である、前記（１）または（２）に記載の情報処理装置。
（４）
前記第２の検出情報は、前記第１の検出情報よりもデータ量が少ない、前記（１）〜（３）に記載の情報処理装置。
（５）
前記第１のセンサ及び前記第２のセンサは、検出した信号を所定量、一時記憶するメモリを含む、前記（１）〜（４）に記載の情報処理装置。
（６）
前記第２の検出情報は、前記情報要求部からの要求を受信した時点よりも過去に前記第２のセンサが検出した信号に基づく情報を含む、前記（１）〜（５）に記載の情報処理装置。
（７）
前記処理判断部が用いる前記第１の検出情報及び前記第２の検出情報は、同タイミングに、前記第１のセンサ及び前記第２のセンサによりそれぞれ検出された情報を含む、前記（１）〜（６）に記載の情報処理装置。
（８）
前記第１の検出情報及び前記第２の検出情報が前記第１のセンサ及び前記第２のセンサにより検出されたタイミングは、前記トリガ信号を検出したタイミングに対応している、前記（１）〜（７）に記載の情報処理装置
（９）
前記情報要求部は、前記トリガ信号の種類に基づいて、要求する前記第２の検出情報の種類を変更する、前記（１）〜（８）に記載の情報処理装置。
（１０）
前記処理判断部は、前記第１の検出情報及び前記第２の検出情報に基づいて、対応する入力の分類を判定し、判定された前記入力の分類に応じて実行する処理を判断する、前記（１）〜（９）に記載の情報処理装置。
（１１）
前記入力は、ジェスチャ入力である、前記（１０）に記載の情報処理装置。
（１２）
前記処理判断部は、機械学習アルゴリズムを用いて、前記入力の分類を判定する、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記ローカル通信部は、無線通信を行う、前記（１）〜（１２）に記載の情報処理装置。
（１４）
前記第１のセンサ及び前記第２のセンサは、異なる筐体に設けられる、前記（１）〜（１３）に記載の情報処理装置。
（１５）
前記第１のセンサ及び前記第２のセンサは、それぞれ右耳及び左耳に装着される筐体に設けられる、前記（１４）に記載の情報処理装置。
（１６）
前記第１のセンサ及び前記第２のセンサは、同種のセンサである、前記（１）〜（１５）に記載の情報処理装置。
（１７）
前記第１のセンサ及び前記第２のセンサは、加速度センサである、前記（１６）に記載の情報処理装置。
（１８）
前記ローカル通信部は、前記処理判断部による判断が終了した場合又は所定の時間が経過した場合、前記第２の検出情報の受信を終了する、前記（１）〜（１７）に記載の情報処理装置。
（１９）
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求することと、
前記第２の検出情報を受信することと、
演算処理装置によって、前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断することと、
を含む、情報処理方法。
（２０）
コンピュータを、
第１のセンサにて所定のトリガ信号が検出された場合、前記第１のセンサと異なる位置に存在する第２のセンサにて検出された信号に基づく第２の検出情報を要求する情報要求部と、
前記第２の検出情報を受信するローカル通信部と、
前記第１のセンサにて検出された信号に基づく第１の検出情報と、前記第２の検出情報とに基づいて、実行する処理を判断する処理判断部と、
として機能させる、プログラム。
【符号の説明】
【０１５６】
１                ユーザ
１００、２００    情報処理装置
１１０            第１のセンサ
１２０、２２０    音声出力部
１３０、２３０    ローカル通信部
１４０            情報要求部
１５０            処理判断部
２１０            第２のセンサ
２６０            演算処理部
【図１】
2019082527.tif 000003
【図２】
2019082527.tif 000004
【図３Ａ】
2019082527.tif 000005
【図３Ｂ】
2019082527.tif 000006
【図３Ｃ】
2019082527.tif 000007
【図４】
2019082527.tif 000008
【図５】
2019082527.tif 000009
【図６】
2019082527.tif 000010
【図７】
2019082527.tif 000011
【図８】
2019082527.tif 000012
【国際調査報告】
2019082527.tif 000013
2019082527.tif 000014
2019082527.tif 000015
2019082527.tif 000016