(57)【要約】情報処理装置の情報処理部は、第１のセンサ情報が入力されると前記第１のセンサ情報の種類に応じたトリガ操作を検出する。また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。この情報処理装置によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能になる。
2018079301.tif 000002
【特許請求の範囲】
【請求項１】
第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部  を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、  前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする  情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、  前記制御部は、  前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、  検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する  情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める  情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする  情報処理装置。
【請求項６】
請求項４に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする  情報処理装置。
【請求項７】
請求項４に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする  情報処理装置。
【請求項８】
請求項４に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする  情報処理装置。
【請求項９】
請求項１に記載の情報処理装置であって、  前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、  前記センサは、前記ユーザの手による操作を検出可能な位置に設置される  情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、  前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である  情報処理装置。
【請求項１１】
請求項９に記載の情報処理装置であって、  前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、  前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する  情報処理装置。
【請求項１２】
請求項１に記載の情報処理装置であって、  前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、  前記制御部は、前記情報処理装置が前記第１の電力モードにあるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、  前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない  情報処理装置。
【請求項１３】
第１のセンサ情報の種類に応じたトリガ操作を検出し、  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、  検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する  情報処理方法。
【請求項１４】
コンピュータに、  第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、  検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと  を実行させる  プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本技術は、ヒューマンインターフェイスの操作性向上に関する。
【背景技術】
【０００２】  従来の操作入力に用いるヒューマンインターフェイスとしては、ボタンやタッチパネルが主流である。【０００３】  特許文献１には、ボタンを使わない電子機器の制御について記載があり、近接センサが反応して初めて、静電スイッチを使ったタッチデバイスによるセンシングが開始することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−０１８４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  しかしながら、ボタンやタッチデバイスによる複雑な操作は、特に小型機器では使いづらい場合があり、より簡単なヒューマンインターフェイスが望まれている。【０００６】  以上のような事情に鑑み、本技術の目的は、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】  上記目的を達成する本技術の一側面は、制御部を具備する情報処理装置である。  上記制御部は、第１のセンサ情報の種類に応じたトリガ操作を検出する。  また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。  また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。【０００８】  上記情報処理装置によれば、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになるため、ユーザに負担をかけることなく操作入力を多様化させることが可能になる。【０００９】  上記制御部は、上記トリガ操作の検出後、所定の時間内に入力される上記第２のセンサ情報に基づいて、上記ジェスチャ操作の認識をしてもよい。【００１０】  上記情報処理装置によれば、意図せずトリガが発火してしまったような場合でも、誤った操作入力が行われないという効果がもたらされる。【００１１】  上記制御部は、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定してもよい。【００１２】  上記情報処理装置によれば、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。【００１３】  上記制御部は、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含めてもよい。【００１４】  その場合、上記制御部は、上記連続的トリガ操作の時間長さの終点を、上記第１のセンサ情報の入力が終わった時点としてもよい。【００１５】  その場合、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記第１のセンサ情報の入力が始まった時点としてもよい。  あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記連続的トリガ操作が検出された時点としてもよい。  あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記ジェスチャ操作が認識された時点としてもよい。【００１６】  上記情報処理装置は、上記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されてもよい。  その場合、上記センサは、前記ユーザの手による操作を検出可能な位置に設置されてもよい。  その場合、上記センサの設置される位置は、上記筐体を装着した状態におけるユーザの視野外となる位置であるよう構成してもよい。【００１７】  上記情報処理装置によれば、ヘッドマウントディスプレイなどウェアラブルデバイス、ウェアラブルコンピュータの操作入力インターフェイスを提供することができる。【００１８】  上記情報処理装置は、上記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、上記第１の電力モードは、上記第２の電力モードよりも電力消費量が少ないモードとしてもよい。  その場合、上記制御部は、上記情報処理装置が上記第１��電力モードにあるときに上記トリガ操作を検出すると、上記情報処理装置の電力消費モードを上記第２の電力モードに切り替えるよう構成してもよい。【００１９】  上記情報処理装置によれば、トリガ操作をより電力消費の大きい動作モードへの切り替えのトリガとしても用いるよう構成することができ、装置の電力消費を抑えることが可能になる。【００２０】  また、本技術の別の一側面は、次のステップを有する情報処理方法である。  第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。  検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ【００２１】  また、本技術の別の一側面は、コンピュータに、以下のステップを実行させるプログラムである。  第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。  検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ。
【発明の効果】
【００２２】  以上のように、本技術によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することが可能になる。  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態の概要を説明するための図である。
【図２】上記実施形態に係る情報処理装置の外観構成例を示す図である。
【図３】上記実施形態に係る情報処理装置の内部構成例を示すブロック図である。
【図４】上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。
【図５】上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。
【図６】上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その１）である。
【図７】上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その２）である。
【図８】上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その１）である。
【図９】上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その２）である。
【図１０】上記実施形態の変形例の外観構成例を示す図である。
【発明を実施するための形態】
【００２４】  以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】  また、説明は以下の順序で行うものとする。  １．本技術の一実施形態による情報処理装置の概要  ２．構成    ２−１．外観構成    ２−２．内部構成  ３．動作  ４．まとめ  ５．変形例  ６．付記
【００２６】＜１．本技術の一実施形態による情報処理装置の概要＞  本実施形態に係る情報処理装置１はウェアラブルデバイスを含む。本実施形態のウェアラブルデバイスとしては、後述するセンサ群が搭載可能なスペースを確保できるものである限り、特に限定するものではないが、ヘッドフォンやヘッドマウントディスプレイが一例として挙げられる。そのほか、リストバンド型のウェアラブルデバイスやジャケット等着衣型のウェアラブルデバイス等にも適用可能である。以下の説明においては、本実施形態のウェアラブルデバイスとしてヘッドフォンを採用する。また、ヘッドフォン以外にもイヤホン型でもよい。
【００２７】  本実施形態に係る情報処理装置１はユーザの操作入力を受け付けるユーザインターフェイスを含む。ユーザの操作入力をどのような用途に用いるかについて一切限定はない。ニュースの読み上げアプリケーションでもよい。以下の説明においては、音楽コンテンツを再生する音楽プレーヤーを操作するために用いる例を示す。
【００２８】  図１に本実施形態の概要を説明するための図を示す。本実施形態に係る情報処理装置１はユーザの動きを認識するジェスチャ認識機能を有する。ただし、ユーザがトリガ操作を行い、それを情報処理装置１が検出した場合にジェスチャ認識が行われる。本実施形態においてトリガ操作には複数あるが、複数のトリガ操作検出を実現する１つの方法は、各トリガ操作に対応するセンサを１つずつ用意することである。情報処理装置１はその種類に応じたトリガ操作と、ジェスチャ認識の種類とに応じて、ジェスチャ認識の解釈を行う。
【００２９】  なお、本実施形態において「解釈する」とは、一連のトリガ操作とジェスチャ操作による操作入力を情報処理装置１への処理コマンドに置き換えるよう決定することを言う。
【００３０】  図１には、３種類の「うなずく」「右を向いて首を戻す」「左を向いて首を戻す」というジェスチャ操作例が示されている。本実施形態では、これら３種類のジェスチャ操作が行われる前に行われたトリガ操作に応じて、それぞれのジェスチャ操作の解釈を変える。例えば、図１（ａ）は第１のトリガ操作を行った場合、（ｂ）は第２のトリガ操作を行った場合とする。
【００３１】  同じ「うなずく」というジェスチャ操作を行った場合でも、第１のトリガ操作が先にあれば情報処理装置１は、そのジェスチャ操作を音楽プレーヤーの「再生／停止」と解釈する（図１（ａ））。一方で、第２のトリガ操作が先にあれば情報処理装置１は、その同じジェスチャ操作を「音楽アルバム選択」と解釈する。右を向くジェスチャ操作、左を向くジェスチャ操作に対しても同様の情報処理を行う。
【００３２】  トリガ操作の具体例に限定はないが、例えば、近接センサによりトリガ操作を検出する場合は、ヘッドフォンの左右にそれぞれ近接センサを設置する。ユーザが左のヘッドフォン近傍に手をかざした場合は、第１のトリガ操作（図１（ａ））、右のヘッドフォン近傍に手をかざした場合は、第２のトリガ操作（図１（ｂ））を検知する。
【００３３】  ユーザが左右両方の近接センサを反応させた場合は第３のトリガ操作を検知することとする。第３のトリガ操作に対しても、それぞれのジェスチャ操作に対応する操作入力のセットを設定する（図１（ｃ））。
【００３４】  うなずいたり右を向いたりというジェスチャは、誰もが覚えられる簡単なジェスチャである。その反面、日常的な動きであるからすべてが情報処理装置１への操作入力と解釈されるとユーザの意図しない入力になる。ところが、本実施形態ではジェスチャ認識に先立つトリガ操作を検知して初めて、ジェスチャ認識を行うので、ユーザの意図しない入力を防止できる。さらに、図１に示したように、トリガ操作の種類に応じて同じジェスチャで情報処理装置１に入力可能な操作入力のバリエーションは多様化する。したがって本実施形態によれば、ユーザに負担を掛けることなく操作入力を多様化させることができる。
【００３５】  以上、本実施形態の概要を述べた。以下、外部構成と内部構成を示し、情報処理装置１内で実行される情報処理の流れの詳細について開示する。
【００３６】＜２−１．外観構成＞  図２は本実施形態に係る情報処理装置１の外観構成例を示す図であり、図３は内部構成例を示すブロック図である。
【００３７】  図２に示すように本実施形態に係る情報処理装置１は、ハードウェア構成の面では例えば、ヘッドフォン２と携帯端末３を含む構成とすることができる。ヘッドフォン２はセンサ群１０を有する。図２に示すハードウェア構成例のほかにも、センサ群１０が設置されるユーザに装着可能な筐体２０を有するデバイスであれば、イヤホン型、リストバンド形、ジャケット型など、どのような形態でもよい。また、このようなデバイスをウェアラブルデバイスと呼ぶ。なお、「筐体」は箱型をしていることを含意する場合があるが、ここでは単に外装を具備することを意味し、形状については限定しない。
【００３８】  ヘッドフォン２と携帯端末３は、それぞれ無線通信部１９、無線通信部３９を有し、相互に通信可能であるが、その具体的通信態様について制限はない。有線通信でもよい。本実施形態では、各無線通信部はアンテナ及び無線通信回路を含んで構成され、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格に沿った通信を行い、センサ群１０の検知情報が携帯端末３へ渡される。携帯端末３は、例えばスマートフォンが利用できる。
【００３９】  図２に示すセンサ群１０には、右近接センサ１１Ｒ、左近接センサ１１Ｌ、動きセンサ１２、ノイズキャンセラ用のマイクロフォン１３が含まれる。その他に、マイクを短絡するように接続されたスイッチ（不図示）をセンサ群１０を構成するセンサの一つとして用いてもよい。
【００４０】  右近接センサ１１Ｒと左近接センサ１１Ｌは、赤外線方式でもその他の方式でもよい。右近接センサ１１Ｒと左近接センサ１１Ｌは、センシングしている間中、検知信号を出力し続ける。近接センサ１１Ｒと左近接センサ１１Ｌは、ユーザのトリガ操作の検出に用いる。
【００４１】  動きセンサ１２は、３軸加速度と３軸角速度を検出するモーションセンサである。動きセンサ１２は、ユーザのジェスチャ操作の認識に用いる。トリガ操作の認識に用いてもよい。
【００４２】  ノイズキャンセラ用のマイクロフォン１３は、ヘッドフォン２の周囲の音を集音し、逆位相の音を出力してノイズを軽減するノイズキャンセル技術において、周囲の音を集音するマイクである。ユーザがノイズキャンセラ用のマイクロフォン１３を指などで軽くタップした場合に、当該操作をトリガ操作として検出してもよい。
【００４３】  本実施形態では、トリガ操作を検出するために必要なセンサ情報を第１のセンサ情報、ジェスチャ操作を認識するために必要なセンサ情報を第２のセンサ情報と呼ぶ。センサ情報とは、これらセンサ群１０を構成する少なくともいずれか１つ以上がセンシングに伴い発信するセンサ信号の束である。第１のセンサ情報と第２のセンサ情報は重複するものがあってもよい。
【００４４】  以下の説明では、右近接センサ１１Ｒと左近接センサ１１Ｌの少なくともどちらかによるセンサ情報を第１のセンサ情報とする。また、動きセンサ１２によるセンサ情報を第２のセンサ情報とする。ただしこれは説明のための一例であって、例えば、動きセンサ１２によるセンサ情報が第１のセンサ情報の一部又は全部を兼ねてもよい。
【００４５】＜２−２．内部構成＞  図３に示すように本実施形態に係る情報処理装置１は、図２に示した構成に加えて、携帯端末３が情報処理部３１を内蔵する構成である。情報処理部３１は、携帯端末３の演算処理装置の少なくとも一つであればよく、例えば、中央演算処理装置（ＣＰＵ：Central Processing Unit）やＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on Chip）で構成されてもよい。１以上の演算処理デバイスが組み合わさって情報処理部３１を構成するように設計してもよい。
【００４６】  情報処理部３１は、ＲＡＭ２１（２２）などのメモリに読み込まれたソフトウェアプログラムを実行し、トリガ検出部３２、ジェスチャ認識部３３、操作入力信号生成部３４を有するように構成される。以下、各部の働きを述べる。
【００４７】  トリガ検出部３２は、第１のセンサ情報が入力されると、その入力された第１のセンサ情報の種類に応じたトリガ操作を検出する。例えば、第１のセンサ情報が、右近接センサ１１Ｒのセンシングを表す信号である場合、「ユーザが右手を挙げてヘッドフォン２の右側にかざす」トリガ操作を検出する。あるいは、第１のセンサ情報が、左近接センサ１１Ｌのセンシングを表す信号である場合、「ユーザが左手を挙げてヘッドフォン２の左側にかざす」トリガ操作を検出する。
【００４８】  限定するものではないが、一例を挙げると、第１のセンサ情報を２進数５桁のデジタルデータとして表すこととした場合、右近接センサ１１Ｒのセンシングは（００００１）、左近接センサ１１Ｌのセンシングは（０００１０）、両近接センサが反応したら（０００１１）などと表すことができる。トリガ検出部３２は、それぞれのデジタルデータに応じたトリガ操作を検出する。
【００４９】  ジェスチャ認識部３３は、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。ジェスチャ操作は、ウェアラブルデバイスの性格や利用可能なセンサの種類に応じてあらかじめ規定される。本実施形態においては、ウェアラブルデバイスとしてヘッドフォンを採用し、動きセンサ１２をジェスチャ認識に利用するので、あらかじめ規定するジェスチャ操作としては例えば、「うなずき」、首の「右振り」「左振り」などとする。
【００５０】  ジェスチャ認識部３３は、トリガ検出部３２によるトリガ操作の検出の後所定の時間内に入力された第２のセンサ情報に基づいて、ジェスチャ認識を行う。トリガ検出部３２によるトリガ操作の検出があって始めて、情報処理部３１に第２のセンサ情報が送信されるよう構成してもよい。あるいは、トリガ検出部３２によるトリガ操作の検出があるまで、動きセンサ１２が作動しない、ないし、省電力モードでの作動するように構成してもよい。ジェスチャ認識部３３は、タイムアウトの時間が経過するまで、ジェスチャ操作の認識を続ける。
【００５１】  操作入力信号生成部３４は、トリガ検出部３２が検出したトリガ操作と、ジェスチャ認識部３３が認識したジェスチャ操作との組み合わせにより、ユーザがそのジェスチャ操作により入力しようとしている操作入力を解釈する。これは、図１を参照しながら説明したとおり、トリガ操作とジェスチャ操作との組み合わせにより、ユーザの操作入力の意図を解釈する。操作入力信号生成部３４は不図示のルックアップテーブルを参照して、操作入力を解釈する。
【００５２】  操作入力信号生成部３４は、解釈の結果、得られたコマンドを信号として生成する。生成した信号は操作入力信号として後段に出力する。
【００５３】  以上、本実施形態の構成例について述べた。なお、情報処理装置１の内部構成については、図３示した例だけに限定されず、図３の構成では携帯端末３に含まれる構成要素の一部又は全部がウェアラブルデバイス側に含まれてもよい。図４と図５にそのような場合の内部構成を示す。
【００５４】  図４は本実施形態の変形例であり、トリガ操作とジェスチャ認識をウェアラブルデバイス側で実行するタイプの変形例である。本変形例では携帯端末３がＣＰＵ３８とＲＡＭ２２を有し、ＲＡＭ２２に読み込まれたソフトウェアプログラムをＣＰＵ３８が実行し、操作入力信号生成部３４が生成される。センサ群１０が出力するセンサの出力値（センサ情報）を携帯端末３に無線通信する必要がないため、バッテリ節約になる場合がある。
【００５５】  図５も本実施形態の変形例であり、操作入力信号生成まですべてをウェアラブルデバイス側で実行するタイプの変形例である。この情報処理装置１においては、携帯端末３は構成要素としては不要である。本技術に関わる情報処理がすべてウェアラブルデバイスで完結するよう構成することも図５に示すように、可能である。
【００５６】＜３．動作＞  図６と図７は本実施形態に係る情報処理装置１の処理の流れを示すフローチャートである。図８と図９は本実施形態に係る情報処理装置１の処理の流れを説明するために参照するタイミングチャートである。以下、これらの図面を参照しながら説明する。
【００５７】  情報処理装置１は、トリガ検出部３２により第１のセンサ情報が検出されるまで待機する（ＳＴ１００）。この状態のとき、ジェスチャ認識部３３や動きセンサ１２は、省電力モードなど電力消費量の少ない第１の電力消費モードで機能が制限されていてもよい。
【００５８】  第１のセンサ情報が入力されると、トリガ検出部３２はトリガ操作を検出する（ＳＴ１００，Ｙｅｓ）。トリガ検出部３２は、入力された第１のセンサ情報の種類に応じて、トリガ操作の種類を判別し、その種類を情報処理部３１に備わるレジスタなどに記憶する（ＳＴ１０１）。トリガ操作の種類はＳＴ１０５で参照される。
【００５９】  第１のセンサ情報としては、右近接センサ１１Ｒのセンシング情報、左近接センサ１１Ｌのセンシング情報、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報など、複数の種類がある。それぞれの種類に応じたトリガ操作の種類がここでは検出される。例えば、右近接センサ１１Ｒのセンシング情報には右手をかざすトリガ操作、左近接センサ１１Ｌのセンシング情報には左手をかざすトリガ操作、両方の近接センサのセンシング情報には両手をかざすトリガ操作、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報にはタップするトリガ操作が検出される。
【００６０】  次に、第１のセンサ情報が検出され続けているか否かが判定される（ＳＴ１０２）。この判定は、操作入力信号生成部３４が行う。例えば、ＳＴ１００で右近接センサ１１Ｒがセンシング情報を送信した場合、そのセンシング情報が入力され続けているか否かを判定する。操作入力信号生成部３４は、所定の閾値を越えてセンシング情報が入力され続けているか否かを判定して、トリガ操作の継続性があるか否かを判定する。
【００６１】  所定の時間内に第１のセンサ情報の入力が立ち上がり、かつ、立ち下がった場合、トリガ操作の継続性はないと判断される（ＳＴ１０２，Ｎｏ）。次に、情報処理部３１はジェスチャ操作検出に用いるセンサを起動する（ＳＴ１０３）。本実施形態においては、動きセンサ１２を起動する。ジェスチャ操作検出に用いるセンサの起動後の情報処理装置１の動作モードを通常動作モード（第２の電力消費モード）と呼び、省電力モードから通常動作モードへの切り替えとしてもよい。情報処理部３１がこの切り替えを実行することとしてもよい。
【００６２】  次に、ジェスチャ認識部３３は、タイムアウトとなる所定の時間までの間、入力される可能性のある第２のセンサ情報を待ち受ける（ＳＴ１０４）。所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できなかった場合（ＳＴ１０４，Ｎｏ）、処理は終了する。
【００６３】  所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できた場合（ＳＴ１０４，Ｙｅｓ）、操作入力信号生成部３４はＳＴ１０１以来記憶中のトリガ操作の種類と、ＳＴ１０４で認識したジェスチャ操作との組み合わせにより、ＳＴ１０４で認識したジェスチャ操作でユーザがしようとしている操作入力が何であるかを解釈する（ＳＴ１０５）。
【００６４】  ＳＴ１０５の処理により、図１を参照しながら説明したように、同じジェスチャ操作が「ズームイン」のコマンド（操作入力の一例）になったり、「音量を下げる」コマンド（操作入力の一例）になったり、「前のページに戻る」コマンド（操作入力の一例）になったりする。
【００６５】  次に、情報処理部３１もしくは携帯端末３が、ＳＴ１０５で解釈した操作入力を実行する（ＳＴ１０６）。操作入力の内容によっては、ヘッドフォン２又は情報処理装置１全体が実行してもよい。
【００６６】  ＳＴ１０４のタイムアウトについて図８を参照して説明する。図８のタイミングチャートにおいて、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
【００６７】  図８（ａ）に示すように、第１のセンサ情報の入力が存在して、トリガ操作が検出されると、ジェスチャ認識部３３はタイムアウトまでの所定の時間を設定する。図８中では、所定の時間の起点が、第１のセンサ情報の検出終わりの時点に合わせているが、検出始まりの時点にあわせてもよい。
【００６８】  図８（ｂ）に示すように、所定の時間内に第２のセンサ情報の入力がなかった場合、ジェスチャ認識部３３は、ジェスチャ操作やユーザの操作入力がないと判断する。したがって、トリガ操作がユーザの意図しないものであった場合であっても、情報処理装置１による誤入力を抑制することができる。
【００６９】  また、図８中、破線で示されているように、第２のセンサ情報の入力の有無はトリガ操作の検出から所定の時間内だけ、判断される。したがって、ユーザは操作入力を行う際、明示的にトリガ操作を行ってからジェスチャ操作を行う必要がある。この構成によっても情報処理装置１による誤入力を抑制することができる。
【００７０】  さらに、第２のセンサ情報の入力が存在した場合（図８（ａ））でも、これがジェスチャ操作であるか否かの認識がジェスチャ認識部３３によりなされる。
【００７１】  ＳＴ１０２でトリガ操作の継続性があると判断された場合の処理の詳細について、図７を参照して説明する。この場合の処理で図６と同等の処理については、同じ符号を振って、説明を省略する。
【００７２】  図７に示すように、ＳＴ１０６での操作入力の実行は、トリガ操作が終了するまで（ＳＴ１０７，Ｙｅｓ）、継続される。例えば、トリガ操作が右近接センサ１１Ｒの反応を伴う右手をかざす操作であったとしたら、右手がかざされている間中、トリガ操作の種類とジェスチャ操作との組み合わせにより解釈された操作入力を継続する。
【００７３】  トリガ操作の継続性について図９を参照して説明する。図９のタイミングチャートは図８のタイミングチャートと同じく、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
【００７４】  図６のＳＴ１０２におけるトリガ操作の継続性の判断は、図９中に示す所定の閾値を用いて判断される。操作入力信号生成部３４は、第１のセンサ情報の入力が立ち上がった時点を起点にして、トリガ操作の継続性を判断する所定の閾値を超えて、第１のセンサ情報の入力が継続するか否かを基準にしてトリガ操作の継続性を判断する。図９（ａ）のように超えない場合は、トリガ操作が単発のトリガ操作であると判断する。図９（ｂ）や（ｃ）のように超える場合は、トリガ操作が継続性のあるトリガ操作、連続的トリガ操作であると判断する。
【００７５】  第１のセンサ情報を出力するセンサデバイスが同一であっても、トリガ操作の継続性の有無によって、第１のセンサ情報の種類は異なるものと扱う。例えば、同じ右近接センサ１１Ｒが出力するセンサ情報であっても、単発的トリガ操作と、連続的トリガ操作とでは異なる種類のセンサ情報として扱う。
【００７６】  そのため、図６又は図７のＳＴ１０５における操作入力の解釈（処理コマンドの決定）においては、同一のジェスチャ操作に対して、単発的トリガ操作と、連続的トリガ操作とでは異なる操作入力の解釈を割り当てることができる。
【００７７】  以上で、同一のジェスチャ入力に対して、トリガ操作を検出するデバイスごと、又は、それらデバイスの組み合わせごとに異なる種類の操作入力を行う方法を説明した。また、トリガ操作についても単発的トリガ操作と連続的トリガ操作とで操作入力を異ならせる方法も説明した。次に、連続的トリガ操作を使って、操作入力に連続値を含める方法について、以下、説明する。
【００７８】  音楽プレーヤーをアプリケーションにする場合、以上に述べた操作入力のみでは音楽プレーヤーに求められるユーザインターフェイスすべてをカバーすることはできない。例えば、ボリュームの調整、アルバム送り、連続する曲のスキップ、シャッフル再生の切り替えなど、さまざまな操作が必要となる。また、ボリュームの調整は連続値を指定できることが望ましい。
【００７９】  ボタン操作のみでは、例えばボタン長押しにより連続値の指定が可能にはなるが、ウェアラブルデバイスのように入力に利用できるヒューマンインターフェイスに制約がある場合、問題となる。ボタンを持たないウェアラブルデバイス場合、ジェスチャ操作で入力することが考えられるが、ジェスチャ操作で連続値を指定するのは難しい。これは、ユーザによって自然な感覚が異なっていることに起因する。
【００８０】  そこで本実施形態では、連続値を必要とする操作入力において、連続的トリガ操作を検出した場合、検出したその連続的トリガ操作の時間の長さに応じた値を、その連続値として用いる。連続的トリガ操作の時間の長さは、以下に述べるように抽出する。
【００８１】  図９（ｂ）と（ｃ）を参照する。連続的トリガ操作の時間の長さの終期、終点は、連続的トリガ操作が終了した時点とするとよい。つまり、第１のセンサ情報の入力が途絶えた時点などに設定する。例えば、手をかざして近接センサを反応させた上でうなずくなどのジェスチャ操作をする場合、手をかざし続けるのを止めた時点が連続的トリガ操作の終了時点となる。
【００８２】  連続的トリガ操作の時間の長さの起点については、限定するものではないが、例えば、第１のセンサ情報の入力が開始されたとき、トリガ操作に継続性があると判断された時点、ジェスチャ操作が認識された時点、以上の３つのパターンがある。いずれのパターンを選択してもよい。
【００８３】  操作入力信号生成部３４は、解釈した操作入力に基づいてコマンドを生成して、後段の処理ブロックに渡すが、上述のような方法で連続的トリガ操作から連続値を抽出した場合、当該連続値又はこれに応じた値を引数としたコマンドを生成する。連続値に応じた値とは、例えば、比例関係にある値、何らかの基準により量子化した値、所定の関数（例えば、シグモイド関数など）により算出される値などがある。操作入力する対象に合わせて、連続値に応じた値を導き出す方法は所望のものを選ぶことができる。
【００８４】＜４．まとめ＞  上述の実施形態はユーザに負担をかけることなく複雑な操作入力を可能にすることに主眼がある。ウェアラブルデバイスは軽さや小型化が追求されるため搭載可能なヒューマンインターフェイスもボタン程度のものとなる場合がある。しかしながら、ボタンのみでは複雑な操作ができない。
【００８５】  そこで例えば、近接センサのセンシングをボタンの押下検知の代替に使用することが考えられるが、この場合はユーザの意図しない入力が増える可能性がある。静電スイッチを使ったタッチデバイスにはある程度の面積を持った領域が必要で、ウェアラブルデバイスのヒューマンインターフェイスとして重要な小型化が不可能になるおそれがある。
【００８６】  従来の特許文献１では、いわゆる「タッチジェスチャ」を操作入力に用いているが、ユーザが記憶できる「タッチジェスチャ」の種類には限界があり、操作入力のバリエーションも増やしにくいという問題点があった。このような従来技術の課題があったところ、以上に述べた本実施形態によると、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになる。つまり、本実施形態によるとユーザに負担を掛けることなく操作入力を多様化させることができる。
【００８７】  また、図８を参照して説明したように、タイムアウトまでの時間までにジェスチャ認識がない場合は、操作入力に係る処理コマンドを決定しない本実施形態の構成によれば、意図せずトリガが発火してしまったような場合でも、ユーザの意図しない入力を防止することができ、誤った操作入力が行われない。
【００８８】  また、本実施形態においては、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出する。そして、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせにより、上記操作入力を解釈する。そのため、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。
【００８９】  また、本実施形態においては、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含める。これにより、各個人によってそれぞれ異なるジェスチャ操作の、個人差を吸収してロバストに認識しつつ、手をかざして近接センサを反応させている状態から、手を離して反応を止めるという簡単な操作で、連続値を利用する操作入力を行うことが可能になる。
【００９０】＜５．変形例＞  さらに、本実施形態は、以下に述べるように変形して実施が可能である。
【００９１】  例えば、ウェアラブルデバイスとして上記実施形態ではヘッドフォン２を示したが、これに限定されない。例えば、ウェアラブルデバイスの他の例としては、ヘッドセットや肩に乗せるネックバンドタイプの端末がある。上述の実施形態はこのような機器に変形して実施可能である。
【００９２】  さらに上記実施形態では、ヘッドマウントディスプレイに適用することも可能である。図１０は、本技術をヘッドマウントディスプレイに対して実施した場合の変形実施形態における情報処理装置１の外観構成例を示す図である。
【００９３】  図１０に示すように、本変形例においてはユーザの身体に装着可能に構成された筐体２０として、メガネ型ヘッドマウントディスプレイ２ａが採用される。メガネ型ヘッドマウントディスプレイ２ａは、静電方式のタッチデバイス１４を具備する。
【００９４】  タッチデバイス１４の設置位置に限定はないが、メガネ型ヘッドマウントディスプレイ２ａがユーザに装着されたとき、ユーザの手による操作を検出可能な位置でもよい。例えば、図１０に示すようにメガネ型ヘッドマウントディスプレイ２ａを装着したユーザのこめかみの辺りタッチデバイス１４が配置されるように構成する。
【００９５】  タッチデバイス１４は、図２で示した構成例において近接センサ１１Ｒと左近接センサ１１Ｌが提供する機能と類似する機能を本変形例において提供する。すなわち、タッチデバイス１４は、トリガ操作検出に必要な第１のセンサ情報をセンシングにより生成し、情報処理装置１に入力する。
【００９６】  タッチデバイス１４は、ユーザの指の接触の検出が、シングルポイントのみならずマルチポイントで可能なタイプであってもよい。マルチポイントタイプは、１以上の接触点を感知可能なタッチデバイス１４である。この場合、例えば、１本の指でタッチした場合と、２本の指でタッチした場合とで、異なるトリガ操作とすることができる。その他にも、タッチデバイス１４が感知した接触点の数に応じて、トリガ検出部３２が異なる種類のトリガ操作を検出するよう構成してもよい。
【００９７】  タッチデバイス１４の配設箇所は、こめかみの辺りに限定されず、ユーザの手による操作が検出可能となるように、ユーザの手が物理的に届く範囲内であればよい。さらに、タッチデバイス１４は、筐体２０を装着している状態のユーザの視野の外に配設されてもよい。筐体２０を装着している状態のユーザが直接視認できない場所にタッチデバイス１４が配設されても、本技術が適用された本変形例によると、視覚に頼らずユーザのトリガ操作、ジェスチャ操作で情報処理装置１への操作入力が可能になる。
【００９８】  ヘッドマウントディスプレイにおいては、ヴァーチャルリアリティコンテンツの視聴中であっても、ユーザがシステムに何らかの入力を行いたいというニーズがある。リモコンを使わずに入力を行う場合、本変形例のように、メガネ型ヘッドマウントディスプレイ２ａの一部（タッチデバイス１４）をタップして、その後ジェスチャ操作を行うことで、ユーザがシステムに入力を行うことが可能になる。なお、メガネ型ヘッドマウントディスプレイ２ａは透過型のディスプレイを有していてもよいし、非透過型のディスプレイを有していてもよい。
【００９９】＜６．付記＞  本明細書に開示される技術的思想の一部は、下記（１）〜（１１）のように記載されうる。（１）  第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部  を具備する情報処理装置。（２）  上記（１）に記載の情報処理装置であって、  前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする  情報処理装置。（３）  上記（１）又は（２）に記載の情報処理装置であって、  前記制御部は、  前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、  検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する  情報処理装置。（４）  上記（３）に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める  情報処理装置。（５）  上記（４）に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする  情報処理装置。（６）  上記（４）又は（５）に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする  情報処理装置。（７）  上記（４）又は（５）に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする  情報処理装置。（８）  上記（４）又は（５）に記載の情報処理装置であって、  前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする  情報処理装置。（９）  上記（１）から（８）のいずれかに記載の情報処理装置であって、  前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、  前記センサは、前記ユーザの手による操作を検出可能な位置に設置される  情報処理装置。（１０）  上記（９）に記載の情報処理装置であって、  前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である  情報処理装置。（１１）  上記（９）又は（１０）のいずれかに記載の情報処理装置であって、  前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、  前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する  情報処理装置。（１２）  上記（１）から（１１）のいずれかに記載の情報処理装置であって、  前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、  前記制御部は、前記情報処理装置が前記第１の電力モード���あるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、  前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない  情報処理装置。（１３）  第１のセンサ情報の種類に応じたトリガ操作を検出し、  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、  検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する  情報処理方法。（１４）  コンピュータに、  第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、  操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、  検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと  を実行させる  プログラム。
【符号の説明】
【０１００】  １…情報処理装置  ２…ヘッドフォン  ２ａ…メガネ型ヘッドマウントディスプレイ  ３…携帯端末  １１Ｒ…右近接センサ  １１Ｌ…左近接センサ  １２…動きセンサ  １３…マイクロフォン  １４…タッチデバイス  １９…無線通信部  ２０…筐体  ２１，２２…ＲＡＭ  ３１…情報処理部（ＳｏＣ／ＣＰＵ）  ３２…トリガ検出部  ３３…ジェスチャ認識部  ３４…操作入力信号生成部  ３８…ＣＰＵ  ３９…無線通信部
【図１】
2018079301.tif 000003
【図２】
2018079301.tif 000004
【図３】
2018079301.tif 000005
【図４】
2018079301.tif 000006
【図５】
2018079301.tif 000007
【図６】
2018079301.tif 000008
【図７】
2018079301.tif 000009
【図８】
2018079301.tif 000010
【図９】
2018079301.tif 000011
【図１０】
2018079301.tif 000012
【国際調査報告】
2018079301.tif 000013
2018079301.tif 000014
2018079301.tif 000015
2018079301.tif 000016