(57)【特許請求の範囲】
【請求項１】
ユーザの活動状態に関する情報と、センサにより検知された情報に基づいて認識を行う認識エンジンの精度スコアと、に応じて１以上の操作入力方式を選定する選定部と、
前記選定された操作入力方式に応じて操作対象の表示態様を決定する決定部と、
前記センサにより検知された情報に基づいて、前記操作対象に対するユーザ操作入力を受け付ける受付部と、
を備え、
前記選定部は；
前記ユーザの活動状態が第１の状態と決定された場合、前記操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定し、
前記操作対象は；
前記第１の操作入力方式が選択された際に前記決定部で決定される第１の表示態様で表示され、
前記第２の操作入力方式が選択された際に前記決定部で決定される前記第１の表示態様とは異なる第２の表示態様で表示され、
前記受付部によりユーザ操作入力を受け付けるために用いる情報は、前記選定部で選定された操作入力方式に応じて異なる、
情報処理装置。
【請求項２】
前記操作対象は、選択の対象であり、
前記受付部は、前記ユーザの操作入力として前記操作対象を選択する操作を受け付ける、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記決定された表示態様に従って前記選択の対象の表示画像を生成する生成部をさらに備える、請求項２に記載の情報処理装置。
【請求項４】
前記活動状態は、前記ユーザの活動に関する情報に含まれる活動量に基づいて認識される、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記活動状態は、前記活動量に基づいて認識される、静止状態、歩行状態、走行状態、座っている状態、立っている状態、寝ている状態、自転車に乗っている状態、電車に乗っている状態、自動車に乗っている状態のいずれかである、請求項４に記載の情報処理装置。
【請求項６】
前記選定部は；
前記精度スコアが閾値を下回る場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記精度スコアが閾値を上回る場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記認識エンジンは、頭部姿勢認識エンジン、Depth認識エンジン、SLAM認識エンジン、視線認識エンジン、方位認識エンジン、および音声認識エンジンの少なくともいずれかである、請求項６に記載の情報処理装置。
【請求項８】
前記情報処理装置は、
前記生成部により生成された前記選択の対象の表示画像を、表示部に表示するよう制御する表示制御部をさらに備え、
前記表示制御部による、前記選択の対象を選択するユーザ操作のフィードバック制御は、前記選定された操作入力方式に応じて異なる、請求項３に記載の情報処理装置。
【請求項９】
前記情報処理装置は、頭部に装着されるウェアラブル装置であって、
装着時にユーザの眼前に位置する表示部をさらに備える、請求項８に記載の情報処理装置。
【請求項１０】
前記表示部は透過型であって、
前記表示制御部は、前記生成された前記選択の対象の表示画像を、実空間の実物体に重畳して表示するよう制御する、請求項９に記載の情報処理装置。
【請求項１１】
前記操作入力方式は、空間認識を使用した入力、頭部ジェスチャによる入力、視線入力、および音声入力の少なくともいずれかである、請求項１〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記生成部により生成される前記選択の対象の数は、選定された操作入力方式に応じて異なる、請求項３に記載の情報処理装置。
【請求項１３】
プロセッサが、
ユーザの活動状態に関する情報と、センサにより検知された情報に基づいて認識を行う認識エンジンの精度スコアと、に応じて１以上の操作入力方式を選定することと、
前記選定された操作入力方式に応じて操作対象の表示態様を決定することと、
前記センサにより検知された情報に基づいて、前記操作対象に対するユーザ操作入力を受け付けることと、
を含み、
前記選定は；
前記ユーザの活動状態が第１の状態と決定された場合、前記操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定し、
前記操作対象は；
前記第１の操作入力方式が選択された際に決定される第１の表示態様で表示され、
前記第２の操作入力方式が選択された際に決定される前記第１の表示態様とは異なる第２の表示態様で表示され、
前記受け付けにおいて、ユーザ操作入力を受け付けるために用いる情報は、選定された操作入力方式に応じて異なる、
情報処理方法。
【請求項１４】
コンピュータを、
ユーザの活動状態に関する情報と、センサにより検知された情報に基づいて認識を行う認識エンジンの精度スコアと、に応じて１以上の操作入力方式を選定する選定部と、
前記選定された操作入力方式に応じて操作対象の表示態様を決定する決定部と、
前記センサにより検知された情報に基づいて、前記操作対象に対するユーザ操作入力を受け付ける受付部と、
として機能させ、
前記選定部は；
前記ユーザの活動状態が第１の状態と決定された場合、前記操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定し、
前記操作対象は；
前記第１の操作入力方式が選択された際に前記決定部で決定される第１の表示態様で表示され、
前記第２の操作入力方式が選択された際に前記決定部で決定される前記第１の表示態様とは異なる第２の表示態様で表示され、
前記受付部によりユーザ操作入力を受け付けるために用いる情報は、前記選定部で選定された操作入力方式に応じて異なる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、操作デバイスを備えたヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）が開発されている。ＨＭＤは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、ユーザの前方に表示オブジェクトを表示する。このようなＨＭＤには、ディスプレイが非透過型のタイプと透過型のタイプがある。
【０００３】
ディスプレイが透過型タイプの場合、ディスプレイを介して視認し得る実空間に重なって上記表示オブジェクトが重畳表示される。例えば下記特許文献１のＨＭＤでは、表示面と並行に移動する表示オブジェクトがユーザの前方に表示され、操作デバイスにより検出したユーザ操作に応じて、当該表示オブジェクトを選択するためのカーソルが表示軸上を移動する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１６４４４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、ユーザ操作に応じて、表示軸に垂直方向成分を持たせるよう表示制御することでユーザ操作の向上を図っている。しかしながら、停止中や移動中等、ユーザの行動状態によっては同じような精度で操作入力を行うことが難しく、操作性の低下が生じる。
【０００６】
そこで、本開示では、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、ユーザの活動に関する情報に応じて１以上の操作入力方式を選定する選定部を備え、前記選定部は、前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、情報処理装置を提案する。
【０００８】
本開示によれば、プロセッサが、ユーザの活動に関する情報に応じて１以上の操作入力方式を選定することを含み、前記選定は、前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、情報処理方法を提案する。
【０００９】
本開示によれば、コンピュータを、ユーザの活動に関する情報に応じて１以上の操作入力方式を選定する選定部として機能させ、前記選定部は、前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、プログラムを提案する。
【発明の効果】
【００１０】
以上説明したように本開示によれば、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能となる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による情報処理装置の概要を説明する図である。
【図２】本実施形態による情報処理装置の構成の一例を示すブロック図である。
【図３】本実施形態による入力方式を認識精度によって切り替える場合について説明する図である。
【図４】本実施形態による入力方式をユーザ行動状況によって切り替える場合について説明する図である。
【図５】本実施形態による入力方式を認識精度およびユーザ行動状況によって切り替える場合について説明する図である。
【図６】本実施形態による入力方式を歩行状態によって切り替える場合について説明する図である。
【図７】本実施形態による入力方式を自転車の走行状態によって切り替える場合について説明する図である。
【図８】本実施形態による表示制御処理を示すフローチャートである。
【図９】本実施形態によるユーザ行動認識処理を示すフローチャートである。
【図１０】本実施形態によるスコア取得処理を示すフローチャートである。
【図１１】本実施形態による入力方式選定処理を示すフローチャートである。
【図１２】本実施形態による認識精度スコアに基づく入力方式選定処理を示すフローチャートである。
【図１３】本実施形態による自転車ＵＩの乗車前の表示例を示す図である。
【図１４】本実施形態による自転車ＵＩの乗車時の表示例を示す図である。
【図１５】本実施形態による自転車ＵＩの走行時の表示例を示す図である。
【図１６】本実施形態による自転車ＵＩのゴール時の表示例を示す図である。
【図１７】本実施形態による自転車ＵＩのユーザ行動に応じてペースメーカーが停止する際の表示例を示す図である。
【図１８】本実施形態による自転車ＵＩにおけるユーザ行動状況に応じた入力方式の切り替えを説明する図である。
【図１９】本実施形態による自転車ＵＩにおけるユーザの選択行動について説明する図である。
【図２０】本実施形態による自転車ＵＩにおけるユーザの選択操作に対するフィードバックについて説明する図である。
【図２１】本実施形態による自転車ＵＩにおける走行状態に応じて選択肢の数が増減する場合について説明する図である。
【図２２】本実施形態による自転車ＵＩにおける走行中の選択行動の他の例について説明する図である。
【図２３】本実施形態による認識精度に応じた情報の表示例について説明する図である。
【図２４】本実施形態による認識精度に応じた情報の表示例について説明する図である。
【図２５】本実施形態による入力方式の制限をユーザに通知する場合の表示例について説明する図である。
【図２６】本実施形態による入力方式の制限をユーザに通知する場合の表示例について説明する図である。
【図２７】本実施形態によるコミュニケーションＵＩの一例を示す図である。
【図２８】本実施形態によるコミュニケーションＵＩの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．情報処理装置の構成
３．動作処理
３−１．表示制御処理
３−２．ユーザ行動認識処理
３−３．スコア取得処理
３−４．入力方式選定処理
４．表示例
４−１．自転車ＵＩ
４−２．コミュニケーションＵＩ
５．まとめ
【００１５】
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
まず、本開示の一実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザの眼前に位置するメガネレンズ部分に相当する表示部１３は、シースルータイプまたは非シースルータイプであってもよい。情報処理装置１は、表示部１３に表示オブジェクトを表示することで、ユーザの視線の前方に表示オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に映像を提示するものに限定されず、片眼のみに映像を表示するものであってもよい。例えばＨＭＤは、片方の眼に映像を表示する表示部１３が設けられた片目タイプのものであってもよい。
【００１６】
また、情報処理装置１には、装着時にユーザの視線方向、すなわち外方向を撮影する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザの眼を撮影する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。なお外向きカメラ１１０が複数設けられている場合、視差情報によりデプス画像（距離画像）を得ることができ、周囲の環境をセンシングすることが可能である。
【００１７】
なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
【００１８】
また、本実施形態による情報処理装置１は、上述したようなウェアラブル装置により実現され、ユーザに装着され得るため、停止時の他、例えば歩行、走行、または自転車等の乗り物に乗っている時など様々な状態において操作入力が行われることが想定される。したがって、情報処理装置１は、ボタンやスイッチ等（操作部材の一例）の他、音声入力や、手または頭部によるジェスチャ入力、視線入力等の様々な入力方式を備える。
【００１９】
ここで、停止中や移動中等、ユーザの行動状態によっては同じような精度で操作入力を行うことが難しく、操作性の低下が生じる場合がある。また、シースルータイプのＨＭＤ（以下、「スマートアイグラス」と示す。）を日常的に装着している場合に、西日や逆光等で視線入力を用いた入力が困難になり操作が出来なくなる危険性がある。
【００２０】
そこで、本実施形態による情報処理装置１は、ユーザの活動状態に応じた様々な入力方式を準備し、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることを可能とする。
【００２１】
以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。
【００２２】
＜＜２．構成＞＞
図２は、本実施形態による情報処理装置の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、制御部１０、センサ部１１、操作入力部１２、表示部１３、スピーカ１４、通信部１５、および記憶部１６を有する。
【００２３】
（制御部１０）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００２４】
また、本実施形態による制御部１０は、図２に示すように、認識エンジン１００、スコア取得部１０１、行動認識部１０２、入力方式選定部１０３、表示態様決定部１０４、表示情報生成部１０５、表示制御部１０６、および操作入力受付部１０７として機能する。
【００２５】
認識エンジン１００は、センサ部１１によりセンシングされた各種センサ情報を用いてユーザまたは周辺の各種状況を認識する機能を有する。より具体的には、認識エンジン１００は、頭部姿勢認識エンジン１００ａ、Ｄｅｐｔｈ認識エンジン１００ｂ、ＳＬＡＭ（Simultaneous Localization and Mapping）認識エンジン１００ｃ、視線認識エンジン１００ｄ、音声認識エンジン１００ｅ、および位置認識エンジン１００ｆを含む。なお、図１に示すこれらの認識エンジンは一例であって、本実施形態はこれに限定されない。
【００２６】
頭部姿勢認識エンジン１００ａは、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザの頭部の姿勢（身体に対する顔の向きまたは傾きを含む）を認識する。例えば頭部姿勢認識エンジン１００ａは、外向きカメラ１１０により撮像された周辺の撮像画像、ジャイロセンサ１１３により取得されたジャイロ情報、加速度センサ１１４により取得された加速度情報、および方位センサ１１５により取得された方位情報の少なくともいずれかを解析して、ユーザの頭部の姿勢を認識し得る。なお頭部姿勢の認識アルゴリズムは一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。
【００２７】
Ｄｅｐｔｈ認識エンジン１００ｂは、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザ周辺の空間におけるデプス情報を認識する。例えばＤｅｐｔｈ認識エンジン１００ｂは、外向きカメラ１１１により取得した周辺の撮像画像を解析して、周辺空間の物体の距離情報および物体の平面位置を認識し得る。なおＤｅｐｔｈ認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。
【００２８】
ＳＬＡＭ認識エンジン１００ｃは、センサ部１１によりセンシングされた各種センサ情報を用いて、自己位置の推定と周辺空間の地図作成を同時に行い、周辺空間内における自身の位置を同定し得る。例えばＳＬＡＭ認識エンジン１００ｃは、外向きカメラ１１０により取得した周辺の撮像画像を解析して、情報処理装置１の自己位置を同定し得る。なおＳＬＡＭ認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。
【００２９】
なお認識エンジン１００は、上述したＤｅｐｔｈ認識エンジン１００ｂの認識結果およびＳＬＡＭ認識エンジン１００ｃの認識結果に基づいて、空間認識（空間把握）を行うことが可能である。具体的には、認識エンジン１００は、周辺３次元空間における情報処理装置１の位置を認識することができる。
【００３０】
視線認識エンジン１００ｄは、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザの視線検出を行う。例えば視線認識エンジン１００ｄは、内向きカメラ１１１により取得したユーザの眼の撮像画像を解析して、ユーザの視線方向を認識する。なお視線検出のアルゴリズムについては特に限定しないが、例えば目頭と虹彩の位置関係、または角膜反射と瞳孔の位置関係に基づいて、ユーザの視線方向を認識し得る。
【００３１】
音声認識エンジン１００ｅは、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザまたは環境音の認識を行う。例えば音声認識エンジン１００ｅは、マイク１１２により取得した収音情報に対してノイズ除去や音源分離等を行い、音声認識、形態素解析、音源認識、または騒音レベルの認識等を行い得る。
【００３２】
位置認識エンジン１００ｆは、センサ部１１によりセンシングされた各種センサ情報を用いて、情報処理装置１の絶対位置を認識する。例えば位置認識エンジン１００ｆは、位置測位部１１６により測位された位置情報、および予め取得した地図情報に基づいて、情報処理装置１の場所（例えば駅、学校、家、会社、電車、テーマパーク等）を認識する。
【００３３】
スコア取得部１０１は、認識エンジン１００の認識精度を示すスコアを取得し得る。例えばスコア取得部１０１は、認識エンジン１００の各認識エンジンにおける認識結果から、当該認識エンジンの精度を示すスコアを算出する。なおスコアの算出アルゴリズムは、一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。
【００３４】
行動認識部１０２は、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザの行動を認識する。例えば行動認識部１０２は、外向きカメラ１１０の撮像画像、マイク１１２の収音音声、ジャイロセンサ１１３の角速度情報、加速度センサ１１４の加速度情報、方位センサ１１５の方位情報、および位置測位部１１６の絶対位置情報の少なくともいずれかを用いて、ユーザの行動状況（活動状態の一例）を認識する。ユーザの行動状況としては、例えば静止状態、歩行状態（ゆっくり歩行、ジョグ）、走行状態（ダッシュ、高速走行）、座っている状態、立っている状態、寝ている状態、自転車に乗っている状態、電車に乗っている状態、自動車に乗っている状態が認識し得る。また、行動認識部１０２は、より具体的には、角速度情報および加速度情報に基づいて測定される活動量に応じて状態状況を認識してもよい。なお本実施形態による上記各種センサ情報は、ユーザの活動状態に関する情報の一例と言える。
【００３５】
入力方式選定部１０３は、情報処理装置１に対するユーザ操作の入力方式を選定する。本実施形態による情報処理装置１は、上述したように様々な入力方式を備える。具体的には、例えば操作入力部１２（ボタンやスイッチ等）を用いた操作入力、音声入力、手または頭部によるジェスチャ入力、視線入力、および空間認識を用いた入力が可能である。空間認識を用いた入力とは、例えば空間内においてユーザの位置が所定の位置に移動したことをトリガとした入力方式である。空間認識を用いた入力の一例については、図１６を参照して説明する。
【００３６】
このように様々な方法による操作入力が可能な状況において、入力方式選定部１０３は、現状に応じてより最適な入力方式を選定する。入力方式の選定は、最適な一の入力方式の選定に限定されず、複数の入力方式を選定であってもよい。複数の入力方式を選定する際、入力方式選定部１０３は、優先度に応じて選定してもよい。
【００３７】
また、入力方式選定部１０３は、状況に応じて動的に入力方式の選定を行う。入力方式の選定基準としては、例えば以下のようなものが想定される。すなわち、入力方式選定部１０３は、行動認識部１０２により認識された「ユーザ行動状況」、またはスコア取得部１０１により取得された「スコア（認識エンジンの精度スコア、すなわち認識精度）」に応じて入力方式を選定してもよいし、ユーザ行動状況および認識精度の両方を考慮して入力方式を選定してもよい。
【００３８】
例えば入力方式選定部１０３は、ユーザの行動状況（活動状態の一例であって、例えば静止状態、歩行状態、走行状態等）が第１の状態の場合、操作対象を第１の操作で操作させるための第１の操作（入力方式）を選定し、ユーザの行動状況が第２の状態の場合、操作対象を第１の操作とは異なる第２の操作入力方式で操作させるための第２の操作入力方式を選定する。これにより、誤操作や危険性を防ぎ、より操作のし易い入力方式を自動的に選定することができる。
【００３９】
また、認識精度とは、音声入力に使用される音声認識エンジン１００ｅ、頭部ジェスチャ入力に使用される頭部姿勢認識エンジン１００ａ、視線入力に用いられる視線認識エンジン１００ｄ、空間認識に用いられるＤｅｐｔｈ認識エンジン１００ｂおよびＳＬＡＭ認識エンジン１００ｃの精度が想定される。認識精度を考慮して入力方式を選定することで、認識精度の低さによる誤入力や、認識ができずに操作を受け付けることができないといった危険性を防ぎ、より操作性の高い入力方式を自動的に選定することができる。
【００４０】
ここで、図３〜図７を参照して入力方式の選定について具体的に説明する。図３〜図７では、状況に応じて選定される入力方式に使用される認識エンジン（すなわち利用可能なモーダル）を示す。
【００４１】
図３は、本実施形態による入力方式を認識精度によって切り替える場合について説明する図である。ここでは、一例として外向きカメラ１１０から取得された撮像画像を解析して行う認識エンジン（具体的には、例えばＳＬＡＭ認識、Ｄｅｐｔｈ認識であって、『画像認識』とも総称される）の精度を縦軸に示し、横軸にはユーザ行動状況（例えば活動量の高さ）を示す。
【００４２】
図３に示すように、画像認識の精度が最も低い領域の場合は、画像認識の結果に基づく空間認識を使用した入力方式が出来ない（空間認識が正しく動作しない）可能性が高い。したがって、入力方式選定部１０３は、ジャイロセンサ１１３や加速度センサ１１４等のセンサ情報に基づく頭部姿勢認識を使用する頭部ジェスチャ入力、または内向きカメラ１１１の撮像画像に基づく視線認識を使用する視線入力のいずれかを選定してもよい。なお、西日が入ってきて内向きカメラ１１１によるユーザの眼の画像から視線が正しく取れない場合（視線認識の精度が低い場合）、入力方式選定部１０３は、頭部ジェスチャ入力のみを選定するようにしてもよい。
【００４３】
次いで、画像認識の精度が次に低い領域の場合、入力方式選定部１０３は、図３に示すように、頭部姿勢認識を使用する頭部ジェスチャ入力および視線認識を使用する視線入力を選定してもよい。ユーザは、いずれの方式でも操作入力が可能となる。
【００４４】
次に、画像認識の精度が中程度の場合、入力方式選定部１０３は、図３に示すように、空間認識を使用する入力および頭部姿勢認識を使用する頭部ジェスチャ入力を選定してもよい。
【００４５】
次いで、画像認識の精度が中程度より高い場合、入力方式選定部１０３は、図３に示すように、空間認識を使用する入力および視線認識を使用する視線入力を選定してもよい。
【００４６】
そして、画像認識の精度が高い場合、入力方式選定部１０３は、図３に示すように、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、および音声認識を使用する音声入力を選定してもよい。認識精度が高い程、様々な入力方式による入力が可能となる。
【００４７】
なお高速で走行中（例えばランニングしている場合や自転車で移動中）の場合（若しくは素早く首ふりをしている等の活動量が高い場合）、情報処理装置１は誤作動を防止するため、入力方式を何も選定せず操作ＯＦＦし、表示オブジェクトの表示やセンサ部１１による情報取得のみ動作するようにしてもよい。
【００４８】
このように、例えば画像認識の精度を考慮しながら動的に変更することで、誤作動が少なく、操作性の高い入力方式をユーザに提供することができる。また、全ての認識エンジンの精度が低く使えない場合、情報処理装置１の制御部１０は、表示部１３に、現在操作を受け付けることができない旨を示すアイコンを表示したり、スピーカ１４から、現在操作を受け付けることができない旨の音声を出力したりする。
【００４９】
図４は、本実施形態による入力方式をユーザ行動状況によって切り替える場合について説明する図である。ユーザ行動状況は、例えば加速度センサ１１４により検知される加速度情報から取得される活動量の高さに基づいて、行動認識部１０２により認識され得る。また、図４に示す縦軸の認識精度は、図３と同様に例えば画像認識の精度を示す。
【００５０】
図４に示すように、ユーザ行動状況、例えば「静止状態」、「歩行状態（遅い〜速い）」、「走行状態（遅い〜速い）」に応じて、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、音声認識を使用する音声入力が、各々選定される。図４に示す例では、活動量が低い程、様々な入力方式による入力が可能となる。例えば、図４に示すように、静止時の場合、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、および音声認識を使用する音声入力が選定される。次いで、遅めの歩行時の場合、空間認識を使用する入力および視線認識を使用する視線入力が選定される。次に、速めの歩行時の場合、視線認識を使用する視線入力、および頭部姿勢認識を使用する頭部ジェスチャが選定される。そして、遅めの走行時の場合、頭部姿勢認識を使用する頭部ジェスチャのみ、または視線認識を使用する視線入力のみが選定される。また、高速で走行中の場合（すなわち活動量が高い場合）、情報処理装置１は、誤作動を防止するため入力方式を何も選定せず操作ＯＦＦし、表示オブジェクトの表示やセンサ部１１による情報取得のみ動作するようにする。
【００５１】
図５は、本実施形態による入力方式を認識精度およびユーザ行動状況によって切り替える場合について説明する図である。図５に示す例では、活動量が低く、かつ、認識精度が高い程、様々な入力方式による入力が可能となる。また、活動量が高く、かつ認識精度が低い場合、情報処理装置１は、誤作動を防止するため入力方式を何も選定せず操作ＯＦＦする。
【００５２】
以上説明した入力方式の選定は、選定基準を２軸に基づく場合について説明したが、本実施形態はこれに限定されず、例えば１軸に基づいてもよい。以下、図６〜図７を参照して説明する。
【００５３】
図６は、本実施形態による入力方式を歩行状態によって切り替える場合について説明する図である。図６に示す例では、歩行状態のレベルが低い程、すなわち活動量が低い程、様々な入力方式による入力が可能となる。ここで、歩行状態は、例えば活動量の高さに応じて認識され、活動量が十分に低い場合は「座る」、低い場合は「立つ」、活動量が中程度の場合は「ゆっくり歩行」、活動量が中程度より高い場合は「ジョグ」、活動量が十分に高い場合は「ダッシュ」と認識され得る。歩行状態レベルが十分に高い「ダッシュ」の場合、情報処理装置１は、誤作動を防止するため入力方式を何も選定せずに、操作ＯＦＦする（操作入力を受け付けない状態）。
【００５４】
図７は、本実施形態による入力方式を自転車の走行状態によって切り替える場合について説明する図である。すなわち、ユーザが情報処理装置１を装着して自転車に乗車している場合の、入力方式の切り替えである。図７に示す例では、走行状態のレベルが低い程、すなわち活動量が低い程、様々な入力方式による入力が可能となる。ここで、自転車の走行状態は、例えば活動量の高さに応じて認識され、活動量が低い場合は「停車中」または「低速走行」、活動量が中程度の場合は「中速走行」、活動量が高い場合は「高速走行」、活動量がさらに高い場合は「ダンシングまたはカーブ中」と認識され得る。また、走行状態レベルが高い「ダンシングまたはカーブ中」の場合、情報処理装置１は、誤作動を防止するため入力方式を何も選定せず操作ＯＦＦする。
【００５５】
以上説明した例では、選定する入力方式を、認識精度およびユーザ行動状況のいずれか若しくは両方に基づいて切り替える例を示したが、本実施形態はこれに限定されず、環境の変化やその他デバイスの状況等、他の要因をトリガとしてもよい。例えば、「ユーザ依存」のトリガ（例えば視線の注視点、生体情報、感情、姿勢、または位置（場所）等）に応じて入力方式の選定が行われてもよい。また、「コンテンツ依存」のトリガ（表示オブジェクトの表示サイズ、表示位置、表示アニメーション態様、コンテンツの属性（種類、重要度、優先度、アプリケーション種類）、解像度、色等）に応じて入力方式の選定が行われてもよい。また、「環境依存」のトリガ（背景（視界風景）、照度、場所（屋内、屋外、シチュエーション）、行動履歴（慣れた場所か否か）、周辺状況（他者や車の有無、密度）、時間、風向き、風量等）に応じて入力方式の選定が行われてもよい。また、「デバイス依存」のトリガ（デバイス属性（腕輪、ＨＭＤ、ＴＶ、スマートフォン）、バッテリー残量、バッテリー容量、ＣＰＵの処理負荷、ＣＰＵ温度、ウェアラブルデバイスの装着状態（装着、非装着、装着箇所）等）に応じて入力方式の選定が行われてもよい。
【００５６】
表示態様決定部１０４は、入力方式選定部１０３により選定された入力方式に対応する表示態様（表現方法）を決定する。例えば表示態様決定部１０４は、第１の操作入力方式（入力方式）が選定された場合には第１の表示態様に決定し、第２の操作入力方式（入力方式）が選定された場合には第１の表示態様とは異なる第２の表示態様に決定する。例えば表示態様決定部１０４は、入力方式選定部１０３により「空間認識を使用する入力方式」が選定された場合には空間認識を使用する入力方式が使用可能な表現方法に決定し、視線入力が選定された場合には視線入力が使用可能な表現方法に決定する。また、表示態様決定部１０４は、頭部ジェスチャ入力が選定された場合には頭部ジェスチャ入力が使用可能な表現方法に決定する。
【００５７】
また、表示態様決定部１０４は、入力方式選定部１０３により複数の入力方式が選定された場合、優先度の最も高い入力方式に対応する表示態様に決定してもよい。例えば、空間認識を使用した入力の優先度が最も高く、次いで視線入力の優先度が高く、次に頭部ジェスチャの優先度が高く、次いで音声入力の優先度が高いよう設定されていてもよい。
【００５８】
表示情報生成部１０５は、表示部１３に表示する表示オブジェクト（表示画像とも称す）を生成する。また、本実施形態による表示情報生成部１０５は、表示態様決定部１０４により決定された表示態様に従って表示画像を生成する。例えば表示情報生成部１０５は、表示画像の一例である選択対象（選択肢）を、表示態様決定部１０４により決定された表示態様で表示するための情報を生成する。
【００５９】
表示制御部１０６は、表示情報生成部１０５により生成された表示情報を表示部１３から出力するよう制御する。例えば、表示制御部１０６は、表示情報生成部１０５により生成された、選定された入力方式に対応する表示態様の選択対象（表示オブジェクト）を、表示部１３に表示（ユーザの前方に表示）するよう制御する。
【００６０】
操作入力受付部１０７は、ユーザによる操作入力を受け付けて、操作入力情報を表示情報生成部１０５（または制御部１０）に出力する。本実施形態による操作入力受付部１０７は、入力方式選定部１０３により選定された１以上の入力方式による操作入力を受け付ける。すなわち、操作入力受付部１０７によりユーザ操作入力を受け付けるために用いる情報は、入力方式選定部１０３で選定された操作入力方式に応じて異なる。例えば、入力方式選定部１０３により「頭部ジェスチャ」および「視線入力」が選定されている場合は、ジャイロセンサ情報、加速度情報、方位情報、内向きカメラ１１１による撮像画像情報を用いる。また、入力方式選定部１０３により「空間認識を使用した入力」が選定されている場合は、外向きカメラ１１０による撮像画像情報を用いる。
【００６１】
（センサ部１１）
センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、および位置測位部１１６を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサは複数あってもよい。
【００６２】
外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００６３】
マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１０に出力する。
【００６４】
ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
【００６５】
加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
【００６６】
方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
【００６７】
位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global  Positioning  System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１０に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
【００６８】
（操作入力部１２）
操作入力部１２は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
【００６９】
（表示部１３）
表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
【００７０】
（スピーカ１４）
スピーカ１４は、制御部１０の制御に従って、音声信号を再生する。
【００７１】
（通信部１５）
通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
【００７２】
（記憶部１６）
記憶部１６は、上述した制御部１０が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部１６には、行動認識部１０２によるユーザ行動の認識処理に用いる各種閾値、認識アルゴリズム、認識精度スコアの算出アルゴリズム、入力方式選定処理に用いる各種閾値等が記憶されている。
【００７３】
以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１０の少なくとも一部の処理が、通信部１５を介して接続するクラウド上のサーバで行われるようにしてもよい。
【００７４】
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理装置１の動作処理について図８〜図１２を参照して具体的に説明する。
【００７５】
＜３−１．表示制御処理＞
図８は、本実施形態による表示制御処理を示すフローチャートである。図８に示すように、まず、情報処理装置１の制御部１０は、センサ部１１からセンサ情報を取得する（ステップＳ１０３）。
【００７６】
次に、行動認識部１０２は、取得したセンサ情報に基づいてユーザ行動状態の認識を行う（ステップＳ１０６）。ユーザ行動認識処理の詳細については、図９を参照して後述する。
【００７７】
一方、スコア取得部１０１は、取得したセンサ情報に基づく認識エンジン１００の処理結果から精度スコアを取得（算出）する（ステップＳ１０９）。スコア取得処理の詳細については、図１０を参照して後述する。
【００７８】
次いで、入力方式選定部１０３は、ユーザ行動認識の結果（すなわちユーザ行動状況）および認識精度のスコアに基づいて、入力方式の選定（すなわち使用する認識エンジンの決定）を行う（ステップＳ１１２）。入力方式選定処理の詳細については、図１１および図１２を参照して後述する。また、図８に示す例では、ユーザ行動状況および認識精度のスコアに基づいて入力方式を選定しているが、本実施形態はこれに限定されず、少なくともどちらか一方、若しくは上述した他のトリガを用いて選定してもよい。
【００７９】
次に、表示態様決定部１０４は、入力方式選定部１０３により選定された入力方式に応じて表示態様を決定する（ステップＳ１１５）。
【００８０】
次いで、表示情報生成部１０５は、決定された表示態様に従って表示情報の生成（ＵＩの描画処理）を行い（ステップＳ１１８）、生成された表示情報が表示制御部１０６により表示部１３に表示される（ステップＳ１２１）。
【００８１】
上述したセンサ情報の取得（ステップＳ１０３）、ユーザ行動状況の認識（ステップＳ１０６）、および認識精度のスコア取得（ステップＳ１０９）は継続的に行われ、ユーザ行動状況やスコアの変化が有った場合（ステップＳ１２４／Ｙｅｓ）、入力方式の再選定が行われる（ステップＳ１１２）。これにより、例えばユーザが歩行中、次いで自転車に乗った際、さらに自転車で移動中といった状況の変化に応じて異なる入力方式が選定されるので、入力方式によって異なる表示態様により同じ選択肢が表示され得る。行動状況に応じた選択肢の表示態様の変化の一例については、図１８を参照して後述する。
【００８２】
以上説明したステップＳ１０３〜Ｓ１２４は、表示処理（ＵＩの描画処理）が終了するまで繰り返される（ステップＳ１２７）。
【００８３】
＜３−２．ユーザ行動認識処理＞
次に、上記ステップＳ１０６に示すユーザ行動状態の認識処理の一例について図９を参照して具体的に説明する。図９は、本実施形態によるユーザ行動認識処理を示すフローチャートである。
【００８４】
図９に示すように、まず、行動認識部１０２は、センサ部１１により取得されたセンサ情報、具体的には例えば加速度情報に基づいてユーザの活動量を測定する（ステップＳ１３０）。
【００８５】
次に、測定した活動量が閾値Ｔｈ１より低い場合（ステップＳ１３３／Ｙｅｓ）、行動認識部１０２は、静止状態と認識する（ステップＳ１３６）。
【００８６】
次いで、測定した活動量が閾値Ｔｈ１より高く、かつ閾値Ｔｈ２より低い場合（ステップＳ１３９／Ｙｅｓ）、行動認識部１０２は、ゆっくり歩行状態（遅めの歩行状態）と認識する（ステップＳ１４２）。
【００８７】
次に、測定した活動量が閾値Ｔｈ２より高く、かつ閾値Ｔｈ３より低い場合（ステップＳ１４５／Ｙｅｓ）、行動認識部１０２は、早歩きまたはジョグの歩行状態と認識する（ステップＳ１４８）。
【００８８】
そして、測定した活動量が閾値Ｔｈ３より高い場合（ステップＳ１５１／Ｙｅｓ）、行動認識部１０２は、走行状態と認識する（ステップＳ１５４）。
【００８９】
以上、ユーザ行動状態の認識処理を活動量に基づいて行う場合について説明した。なお本実施形態によるユーザ行動状態の認識処理は、活動量に基づいて行う場合に限定されず、例えば位置情報に基づいて、車道か歩行者道路のいずれを移動しているかに応じて、歩行または走行か、自転車移動中かを、認識することも可能である。
【００９０】
＜３−３．スコア取得処理＞
次に、上記ステップＳ１０９に示す認識精度のスコア取得処理の一例について図１０を参照して具体的に説明する。図１０は、本実施形態によるスコア取得処理を示すフローチャートである。
【００９１】
図１０に示すように、まず、頭部姿勢認識エンジン１００ａが、ジャイロセンサ１１３または加速度センサ１１４の少なくともいずれかにより取得されたセンサ情報と、方位センサ１１５により取得されたセンサ情報とに基づいて、頭部姿勢を認識する（ステップＳ１６０）。
【００９２】
次に、スコア取得部１０１は、頭部姿勢認識エンジン１００ａによる認識処理結果の精度を示すスコアを取得（算出）する（ステップＳ１６３）。
【００９３】
また、Ｄｅｐｔｈ認識エンジン１００ｂが、外向きカメラ１１０の撮像画像に基づいてＤｅｐｔｈ認識を行うと（ステップＳ１６６）、スコア取得部１０１は、Ｄｅｐｔｈ認識エンジン１００ｂによる認識処理結果の精度を示すスコアを取得（算出）する（ステップＳ１６９）。
【００９４】
また、ＳＬＡＭ認識エンジン１００ｃが、外向きカメラ１１０の撮像画像に基づいてＳＬＡＭ認識を行うと（ステップＳ１７２）、スコア取得部１０１は、ＳＬＡＭ認識エンジン１００ｃによる認識処理結果の精度を示すスコアを取得（算出）する（ステップＳ１７５）。
【００９５】
また、視線認識エンジン１００ｄが、内向きカメラ１１１の撮像画像に基づいて視線認識を行うと（ステップＳ１７８）、スコア取得部１０１は、視線認識エンジン１００ｄによる認識処理結果の精度を示すスコアを取得（算出）する（ステップＳ１８１）。
【００９６】
また、音声認識エンジン１００ｅが、マイク１１２の収音情報に基づいて音声認識を行うと（ステップＳ１８４）、スコア取得部１０１は、音声認識エンジン１００ｅによる認識処理結果の精度を示すスコアを取得（算出）する（ステップＳ１８７）。
【００９７】
＜３−４．入力方式選定処理＞
次に、上記ステップＳ１１２に示す入力方式の選定処理の一例について図１１を参照して具体的に説明する。図１１は、本実施形態による入力方式選定処理を示すフローチャートである。
【００９８】
図１１に示すように、まず、入力方式選定部１０３は、認識されたユーザ行動状況に基づいて、使用可能な入力方式を選定する（ステップＳ２００）。例えば、入力方式選定部１０３は、静止状態（図９に示すステップＳ１３６）の場合、「空間認識を使用した入力、視線入力、および頭部ジェスチャ入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部１０３は、ゆっくり歩行状態（図９に示すステップＳ１４２）の場合、「視線入力、および頭部ジェスチャ入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部１０３は、早歩きまたはジョグ状態（図９に示すステップＳ１４８）の場合、「視線入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部１０３は、走行状態（図９に示すステップＳ１５４）の場合、いずれの入力方式も選定せず、操作不可状態とし、情報の表示または音声出力のみが行われるようにしてもよい。
【００９９】
また、入力方式選定部１０３は、認識エンジンの精度スコアに基づいて、利用可能な入力方式を選定する（ステップＳ２０３）。かかる選定については図１２を参照して後述する。
【０１００】
そして、入力方式選定部１０３は、上記各選定結果を考慮して、利用可能な入力方式を選定する（ステップＳ２０６）。
【０１０１】
図１２は、本実施形態による認識精度スコアに基づく入力方式選定処理を示すフローチャートである。図１２に示すように、まず、頭部姿勢認識エンジン１００ａのスコアが所定の閾値Ｔｈ１０を超える場合（ステップＳ２３０／Ｙｅｓ）、入力方式選定部１０３は、頭部姿勢認識を使用する入力方式の利用フラグをＯＮにする（ステップＳ２３３）。
【０１０２】
一方、頭部姿勢認識エンジン１００ａのスコアが所定の閾値Ｔｈ１０を超えない場合（ステップＳ２３０／Ｎｏ）、入力方式選定部１０３は、頭部姿勢認識を使用する入力方式の利用フラグをＯＦＦにする（ステップＳ２３６）。
【０１０３】
次いで、Ｄｅｐｔｈ認識エンジン１００ｂのスコアが所定の閾値Ｔｈ１１を超える場合（ステップＳ２３９／Ｙｅｓ）、入力方式選定部１０３は、Ｄｅｐｔｈ認識を使用する入力方式の利用フラグをＯＮにする（ステップＳ２４２）。
【０１０４】
一方、Ｄｅｐｔｈ認識エンジン１００ｂのスコアが所定の閾値Ｔｈ１１を超えない場合（ステップＳ２３９／Ｎｏ）、入力方式選定部１０３は、Ｄｅｐｔｈ認識を使用する入力方式の利用フラグをＯＦＦにする（ステップＳ２４５）。
【０１０５】
次に、ＳＬＡＭ認識エンジン１００ｃのスコアが所定の閾値Ｔｈ１２を超える場合（ステップＳ２４８／Ｙｅｓ）、入力方式選定部１０３は、ＳＬＡＭ認識を使用する入力方式の利用フラグをＯＮにする（ステップＳ２５１）。
【０１０６】
一方、ＳＬＡＭ認識エンジン１００ｃのスコアが所定の閾値Ｔｈ１２を超えない場合（ステップＳ２４８／Ｎｏ）、入力方式選定部１０３は、ＳＬＡＭ認識を使用する入力方式の利用フラグをＯＦＦにする（ステップＳ２５４）。
【０１０７】
次いで、視線認識エンジン１００ｄのスコアが所定の閾値Ｔｈ１３を超える場合（ステップＳ２５７／Ｙｅｓ）、入力方式選定部１０３は、視線認識を使用する入力方式の利用フラグをＯＮにする（ステップＳ２６０）。
【０１０８】
一方、視線認識エンジン１００ｄのスコアが所定の閾値Ｔｈ１３を超えない場合（ステップＳ２５７／Ｎｏ）、入力方式選定部１０３は、視線認識を使用する入力方式の利用フラグをＯＦＦにする（ステップＳ２６３）。
【０１０９】
続いて、音声認識エンジン１００ｅのスコアが所定の閾値Ｔｈ１４を超える場合（ステップＳ２６６／Ｙｅｓ）、入力方式選定部１０３は、音声認識を使用する入力方式の利用フラグをＯＮにする（ステップＳ２６９）。
【０１１０】
一方、音声認識エンジン１００ｅのスコアが所定の閾値Ｔｈ１４を超えない場合（ステップＳ２６６／Ｎｏ）、入力方式選定部１０３は、音声認識を使用する入力方式の利用フラグをＯＦＦにする（ステップＳ２７２）。
【０１１１】
このように、精度スコアに基づいて判断された各入力方式の利用フラグのＯＮ、ＯＦＦに応じて、入力方式選定部１０３は認識精度に応じた入力方式を選定し得る。
【０１１２】
＜＜４．表示例＞＞
続いて、本実施形態による表示例について、図１３〜図２８を参照して具体的に説明する。本実施形態による情報処理装置１は、例えば図１に示すような透過型ＨＭＤ、すなわちスマートアイグラスにより実現され、ユーザが情報処理装置１を装着した際にユーザの眼前に位置する表示部１３（レンズ部に相当）に表示情報を実空間の風景に重畳して表示（ＡＲ（Augmented  Reality）表示とも示す。）することが可能である。本明細書において、ＡＲ表示とは、観察者から見て、仮想物体が実空間に存在する現実物体のように知覚できるように表示させるものである。情報処理装置１は、観察者の周囲の現実空間のセンシング結果に基づいて、仮想物体の表示を変化させることが可能である。例えば、情報処理装置１は、観察者が視認する領域に存在する実物体のＩＤ、位置、または姿勢をセンシングして、センシング結果に対応するよう仮想物体の表示を変化させ、あたかも仮想物体が実物体に付着しているように表示させることができる。また、情報処理装置１は、光学シースルーの場合、観察者の視覚条件（視点、視線、視野、焦点、頭部の姿勢等）のセンシング結果、またはビデオシースルの場合はカメラの撮影条件（カメラ位置、姿勢、焦点、撮影範囲等）のセンシング結果に基づいて、仮想物体の表現を変化させることもできる。例えば、仮想物体に近付いた場合には近付くにつれ大きく仮想物体が表示され、仮想物体を中心に視点が動いた場合には視点の動きに応じて仮想物体が回転して見えるよう制御される。また、本実施形態による情報処理装置１が利用されるシーンとしては、例えばスポーツ、ゲーム、リクリエーション、またはコミュニケーションが想定され、ユーザがスポーツ等を行う際に、関連する様々な情報が提示され得る。また、空間認識を使用した入力や音声入力、頭部ジェスチャ、または視線入力による操作入力が可能であるため、ユーザはハンズフリーで操作入力を行うことができる。そして、本実施形態による情報処理装置１は、ユーザの行動状況に応じて自然な入力方式に自動的に切り替わることで（入力方式の選定）、より利便性を向上させることが可能となる。
【０１１３】
＜４−１．自転車ＵＩ＞
まず、一例として、図１に示す情報処理装置１を装着して自転車を利用する場合の様々な表示例について、図１３〜図２６を参照して具体的に説明する。
【０１１４】
図１３は、本実施形態による自転車ＵＩの乗車前の表示例を示す図である。情報処理装置１は、行動認識によりユーザが自転車に近付いたことを検知すると、図１３に示すように、ユーザの自転車２０（実物体）の周辺に、関連情報（本日の累積走行距離、タイヤの空気圧、および鍵表示等）と、ペースメーカー３０（画像）が表示される。この場合、ユーザが自身の自転車２０に乗るために自転車２０に近付くという自然な行動の認識（空間認識）により、情報処理装置１は自転車２０の選択を受け付ける。自転車２０が選択されたことは、例えば図１５に示す自転車２０の鍵マークを開錠するよう表示制御することで、選択決定のフィードバックを行うことが可能である。また、ユーザの自転車２０の検出は、例えば外向きカメラ１１０により撮像された撮像画像の解析結果（物体抽出）と、予め登録されたユーザの自転車画像とのパターンマッチングにより行われてもよいし、自転車に設けられた通信装置からのビーコン受信により行われてもよい。
【０１１５】
図１４は、本実施形態による自転車ＵＩの乗車時の表示例を示す図である。ユーザが自転車に乗ると、自転車に厳選されたメニューの選択肢が表示される。図１４に示す例では、ハンドルバー２１の上に、ナビゲーションとトレーニングの２つの選択肢３２、３３が表示される。この場合、例えばユーザが利用したい方のメニューを見るという自然な行為（視線認識）により、情報処理装置１はメニュー選択を受け付ける。
【０１１６】
図１５は、本実施形態による自転車ＵＩの走行時の表示例を示す図である。ユーザが「トレーニング」を選択した場合、図１５に示すように、ユーザの前方にペースメーカー３０（画像）が表示される。ユーザはペースメーカー３０を追いながら走行することで、トレーニングを行うことができる。情報処理装置１の制御部１０は、ペースメーカー３０の所定の速度（目標速度、ペース）とユーザの速度とに基づいて、ユーザに対するペースメーカー３０の仮想的な表示位置（空間におけるユーザとの距離）を継続的に調整する。ユーザは、ペースメーカー３０に付いて走ることで、図１６に示すように、ゴールに到着することができる。また、走行時のユーザ状況は、ユーザの移動そのもの（空間認識）や、ユーザがペースメーカー３０を見ているか（視線認識）によって認識され得る。ユーザがペースメーカー３０に付いて行かない、またはペースメーカー３０を見ていない場合、例えば図１７に示すように、ペースメーカー３０が停止してユーザの方を振り向く表示制御を行ってもよい。これにより、ユーザが見ていない、または付いていけない場合にペースメーカー３０が自身の速度（目標速度、ペース）でユーザの視界から消えてしまうことを防止する。ユーザがペースメーカー３０を視認したり、再度走り出すと、ペースメーカー３０も再度走り始めて、トレーニングが続行される。また、図１７に示すようにユーザの行動に応じてペースメーカー３０が停止することで、アプリケーションが正しく動いていることをユーザに知らせることもできる。
【０１１７】
続いて、自転車ＵＩにおけるユーザ行動状況に応じた入力方式の切り替えについて、図１８を参照して説明する。図１８は、本実施形態による自転車ＵＩにおけるユーザ行動状況に応じた入力方式の切り替えを説明する図である。本実施形態による入力方式の切り替えは、結果的に選択肢の表示態様の切り替えとも言える。
【０１１８】
図１８に示すように、走行状態のレベル（活動量の高さ）に応じて、入力方式が切り替わり、選択肢の表示態様が変化する。具体的には、例えば停止中の場合、「視線入力」および「手によるジェスチャ入力」が選定され、ハンドルバー２１の上に、ナビゲーションの選択肢３２とトレーニングの選択肢３３が３Ｄ表示される。これにより、ユーザは選択したい方の選択肢を見たり、または選択したい方の３Ｄ表示に手をかざす等の自然な行動（操作入力）が促される。
【０１１９】
また、低速走行から中速走行の場合、「空間認識を使用した入力」が選定され、前方にトレーニングのペースメーカー３０とナビゲーションのペースメーカー３１が選択肢（表示オブジェクト）として表示される。ユーザは選択したい方のペースメーカーに付いていくよう実際に自転車で走行することで（選択行動）、選択することができる。ここで、ユーザの選択行動について、図１９を参照して具体的に説明する。
【０１２０】
図１９は、本実施形態による自転車ＵＩにおけるユーザの選択行動について説明する図である。まず、図１９上段に示すように、自転車に乗車したユーザの前方にトレーニングのペースメーカー３０とナビゲーションのペースメーカー３１が選択肢として表示される。次いで、図１９中段に示すように、前方に表示された各ペースメーカー３０、３１が走り出し、ユーザは選択したいペースメーカーが居る方向にハンドルを切る。そして、図１９下段に示すように、選択したいペースメーカー３０に実際に付いて走ることで、ペースメーカー３１は後方に下がり、ペースメーカー３０（トレーニング）を選択することができる。このようなユーザの選択行動は、例えばＤｅｐｔｈ認識エンジン１００ｂおよびＳＬＡＭ認識エンジン１００ｃによる認識結果を用いた空間認識処理により認識され得る。なお表示されるペースメーカーは、実物大であってもよいし、シンプルなテキスト表示であってもよい。また、前方にペースメーカーが選択肢として表示される際、ユーザの選択行動に限定されず、視線入力（選択したい方のペースメーカーを注視する）や頭部ジェスチャ（選択したい方のペースメーカーに顔を向ける）といった他の選定された入力方式による操作入力を受け付けるようにしてもよい。
【０１２１】
また、前方に表示したペースメーカー（選択肢）に対する選択操作のフィードバックとして、例えば図２０に示すように、選択されているペースメーカー３０を振り向かせるよう表示制御することで、ユーザの選択操作のフィードバックを実現することも可能である。選択操作のフィードバックは、選定された入力方式（空間認識を用いた入力、視線入力、または頭部ジェスチャ等）によって異なるようにしてもよい。
【０１２２】
次いで、図１８に戻り、ユーザが高速走行からダンシング、カーブ中の場合は、誤動作を防止するために、選択肢無し（選択操作の受け付けを行わない、操作ＯＦＦ）としてもよい。
【０１２３】
このように、本実施形態では、同じ選択肢（ここでは、一例としてトレーニングとナビゲーションの選択）であっても、ユーザの行動状況（例えば停止中、走行中）に応じて異なる表示態様で表現される。
【０１２４】
続いて、走行状態に応じた選択肢の表示態様の変化の他の例について図２１を参照して説明する。図２１は、走行状態に応じて選択肢の数が増減する場合について説明する図である。図２１に示すように、例えば停止中の場合は選択肢をＮ個（例えば選択肢３４ａ、３４ｂ、３４ｃの３つ）表示し、低速走行から中速走行の場合は選択肢をＮ−１個（例えば選択肢３４ａ、３４ｂの２つ）表示するようにしてもよい。低速走行から中速走行の場合は、停止中の場合に比べて選択肢を視認することが困難な場合が想定されるため、選択肢を減らすことで、ユーザの負担を軽減する。また、低速走行から中速走行の場合は各選択肢の表示間隔を広げて表示することで、選択の誤操作や、操作のし難さを回避することを可能とする。また、図２１に示すように、ユーザが高速走行からダンシング、カーブ中の場合は、誤動作を防止するために、選択肢無し（選択操作の受け付けを行わない、操作ＯＦＦ）としてもよい。
【０１２５】
このように、本実施形態では、ユーザ行動状況に応じて、選択肢を増減させることが可能である。
【０１２６】
次に、自転車走行中における選択行動の他の例について図２２を参照して説明する。図２２は、本実施形態による選択行動の他の例について説明する図である。図２２に示すように、例えばユーザが自転車走行中に、前方の路面に選択肢３５、３６を表示してもよい。選択肢３５、３６は、それぞれ矢印と、対応するアプリケーションのアイコンを含む。ユーザは路面に表示された矢印に従って選択肢（アイコン）の上を通るよう走行することで、その選択肢を選択することが可能となる。情報処理装置１は、空間認識によりユーザがＡＲ表示された選択肢の上を走行したことを認識し得る。
【０１２７】
また、図２２に示すＵＩは、例えば目的地に到着した後に表示するようにしてもよい。例えば選択肢３５、３６が各々ソーシャルコミュニケーションに対応する場合、選択したアイコンで示されるソーシャルコミュニケーション（例えばメール、ブログ、短文投稿サイト、画像投稿サイト、電子掲示板等）が起動し、ユーザの走行情報が当該ソーシャルコミュニケーションのＷｅｂサイトに投稿される。また、データ保存に対応する選択肢が選択された場合、走行情報（トレーニングデータ等）が保存され得る。このように、画面操作等の明示的な操作を行わずに、自転車で走行するという自然な行動で選択操作を行うことが可能となる。また、路面上等、実物体に即して情報（選択肢を含む）が表示されるため、情報と実物体を同時に視認することができ、低負荷でＵＩを確認することが可能になる。
【０１２８】
次いで、認識精度に応じて情報の表示方法を切り替える場合について、図２３〜図２４を参照して説明する。図２３および図２４は、認識精度に応じた情報の表示例について説明する図である。
【０１２９】
図２３左には、空間認識精度が低い場合または空間認識できない場合における表示例を示す。この場合、例えばリアルタイムの速度、平均速度、最大速度、現在日時、タイム（トレーニングタイム）、距離、および心拍等の情報を含む情報画像４０が、ユーザの目の前の決まった位置、例えば目の前１．５ｍ先に一定時間表示される。図２３左に示す表示は、非ＡＲ表示であって、情報画像４０は、ディスプレイに対して定位する（換言すると認識対象の空間または空間に存在する物体に対して定位しない）。一方、図２３右には、空間認識精度が高い場合における表示例を示す。この場合、例えばリアルタイムの速度を示す情報画像４１が、前方の路面上にＡＲ表示される。すなわち、例えば情報画像４１は、例えば路面上に固定して（「路面」という実物体に対して定位して）表示され、ユーザが追い越すと視界から消える。
【０１３０】
図２４左には、空間認識精度が低く、ユーザ周辺（手前側）のみ空間認識できている場合における表示例を示す。この場合、例えば速度等に関する情報を含む情報画像４２が、ユーザ周辺の認識された実物体、例えばハンドルバー２１に対して定位し、ハンドルバー２１上に一定時間表示される（ＡＲ表示）。一方、図２４右には、空間認識精度が高い場合における表示例を示す。この場合、例えば前方を走る人物の名前、リアルタイム心拍数、回転数等を示す情報画像４３が、当該人物（実物体）に対応付けて（定位して）表示される（ＡＲ表示）。なお、図２３、図２４に示す各情報画像４０、４１、４２、４３は、いわゆる２Ｄ（非立体視）で表現されてもよいし、３Ｄ（立体視）で表現されてもよい。
【０１３１】
次に、入力方式の制限をユーザに通知する場合の表示例について、図２５〜図２６を参照して説明する。図２５に示すように、例えば空間認識による入力が行えない場合、「空間認識×、選択できません」といったテキストによる通知表示４５をユーザの前方に表示する。また、音声認識による入力が行えない場合、マイクのアイコンに禁止マークを重ねた通知表示４６をユーザの前方に表示してもよい。また、複数の入力方式が使えない状態の場合、例えば音声認識による入力と視線認識による入力が行えない場合は、上述した通知表示４６と、目のアイコンに禁止マークを重ねた通知表示４７をユーザの前方に表示してもよい。
【０１３２】
また、図２６に示すように、前方を走るペースメーカー３０等の仮想表示キャラクターにより、利用できない入力方式について音声やテキストでユーザに通知してもよい。図２６左に示す例では、ペースメーカー３０がテキストで「ここから先は音声認識できません」とユーザに伝える通知表示４８が表示されている。また、図２６右に示す例では、ペースメーカー３０が所定のハンドサイン４９を行うよう表示制御することで、利用できない入力方式をユーザに伝えることが可能である。ユーザは、所定のハンドサインを覚えておくことで、利用できない入力方式を把握することができる。
【０１３３】
このように、利用できない入力方式をユーザに通知することで、ユーザは入力方式の制限について明確に把握でき、利便性を向上させることが可能である。なおユーザへの通知は、利用できない入力方式に限定されず、利用可能な入力方式の通知であってもよい。
【０１３４】
＜４−２．コミュニケーションＵＩ＞
図２７および図２８は、本実施形態によるコミュニケーションＵＩの一例を示す図である。例えばユーザがリラックスした状態、またはカフェ等で休憩中の状態（画像認識等により行動認識され得る）等の場合に、情報処理装置１は、図２７上段に示すように、アバター５０、５１を目の前（例えばテーブル（実物体）の上）に表示するよう制御する。かかるアバター５０、５１は、コミュニケーションアプリケーションに対応し、例えば新着メッセージ（音声、テキスト、または画像によるメッセージ）が来ている相手ユーザの顔画像が合成され生成される。また、ユーザのリラックス状態は、例えば生体情報に基づいて行動認識され得る。生体情報としては、例えば心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、脳波、体動、体位、皮膚温度、皮膚電気抵抗、筋電位等が挙げられる。
【０１３５】
ユーザは、興味がある方のアバターを見る（視線入力）、または興味がある方のアバターの方向に頭部（顔）を向ける（頭部ジェスチャ）ことで、自然とアバターの選択を行うことができる。選択されたアバターは、ユーザの方へ近付いて来る。
【０１３６】
次いで、図２７中段に示すように、選択されたアバター５０のみとなると、図２７下段に示すように、アバター５０に対応する相手ユーザからの新着メッセージ５２が表示され、ユーザは相手ユーザからのメッセージを確認することができる。
【０１３７】
次に、図２８上段に示すように、返信の選択肢であるアイコン５３、５４がテーブル（実物体）の上に表示される。アイコン５３は、ユーザの現在地を地図データで返信するものである。また、返信のアイコン５４は、音声入力で返信するものである。ユーザは、実行したい方のアイコン（選択肢）を見る（視線入力）、または実行したい方の選択肢の方向に頭部（顔）を向ける（頭部ジェスチャ）ことで、自然と選択することができる。
【０１３８】
例えばアイコン５４に視線を向けることで選択した場合、図２８中段に示すように、アイコン５４の色や形が変化し、ユーザは当該アイコン５４を選択したことを認識することができる。そして、ユーザによる発話（音声入力）をマイク１１２により検出すると、情報処理装置１は、図２８下段に示すように、アイコン５４がアバター５０に飛んで行くアニメーションを表示し、メッセージの送信が完了したことをユーザに通知する。
【０１３９】
また、アバターの選択は、上述したような視線や頭部の動きに限定されず、ユーザが実際にアバターの方へ近付いて行く行動により行われてもよい。アバターへ近付いて行く行動は、撮像画像を用いた空間認識により認識され得る。
【０１４０】
このように、ユーザの選択行動(視線や頭部の動き、行動認識)と、ＵＩの動きを連動させて、ユーザの選択操作を自然に促すことができる。
【０１４１】
なお、表示されるアバターは、上述したように新着メッセージの相手ユーザに限定されず、例えば普段からユーザとメッセージのやり取りが多い相手ユーザや、直近にやり取りを行った相手ユーザ、ユーザのスケジュールに基づいて直近時刻に待ち合わせや電話等の約束をしている相手ユーザ等であってもよい。
【０１４２】
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１は、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることを可能とする。
【０１４３】
これにより、誤操作が少なくなり、ユーザが安心して使用することができる。
【０１４４】
また、認識精度も考慮して入力方式を動的に切り替えることで、環境の変化が生じ易い屋外や、スポーツ中等でも、変化に強いＵＩ入力を実現することができる。
【０１４５】
また、情報処理装置１がスマートアイグラスにより実現され、視線入力、頭部ジェスチャ、空間認識を使用した入力等、ハンズフリーでの操作入力を多様に準備することで、操作性を向上させることができる。
【０１４６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４７】
例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１４８】
また、図３〜図７に示す、状況に応じた入力方式の組み合わせは任意であって、図３〜図７に示す例に限定されない。状況に応じた入力方式の組み合わせは、ユーザ毎に異なってもよい。例えば活動量が高くでも誤操作の少ないユーザの場合は、活動量が高くても使用可能な入力方式を増やすようにしてもよい。
【０１４９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１５０】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの活動に関する情報に応じて１以上の操作入力方式を選定する選定部を備え、
前記選定部は；
前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、情報処理装置。
（２）
前記情報処理装置は、
前記選定された操作入力方式に応じて前記操作対象の表示態様を決定する決定部をさらに備え、
前記操作対象は；
前記第１の操作入力方式が選択された際に前記決定部で決定される第１の表示態様で表示され、
前記第２の操作入力方式が選択された際に前記決定部で決定される前記第１の表示態様とは異なる第２の表示態様で表示される、
前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記操作対象に対するユーザ操作入力を受け付ける受付部をさらに備え、
前記受付部によりユーザ操作入力を受け付けるために用いる情報は、前記選定部で選定された操作入力方式に応じて異なる、前記（２）に記載の情報処理装置。
（４）
前記操作対象は、選択の対象であり、
前記受付部は、前記ユーザの操作入力として前記操作対象を選択する操作を受け付ける、前記（３）に記載の情報処理装置。
（５）
前記情報処理装置は、
前記決定された表示態様に従って前記選択の対象の表示画像を生成する生成部をさらに備える、前記（４）に記載の情報処理装置。
（６）
前記活動状態は、前記ユーザの活動に関する情報に含まれる活動量に基づいて認識される、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記受付部は、センサにより検知された情報に基づいて前記ユーザ操作入力を受け付ける、前記（３）に記載の情報処理装置。
（８）
前記選定部は、センサにより検知された情報に基づいて認識を行う認識エンジンの精度スコアに応じて、前記操作入力方式を選定する、前記（７）に記載の情報処理装置。
（９）
前記選定部は；
前記精度スコアが閾値を下回る場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記精度スコアが閾値を上回る場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、前記（８）に記載の情報処理装置。
（１０）
前記認識エンジンは、頭部姿勢認識エンジン、Depth認識エンジン、SLAM認識エンジン、視線認識エンジン、方位認識エンジン、および音声認識エンジンの少なくともいずれかである、前記（９）に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記生成部により生成された前記選択の対象の表示画像を、表示部に表示するよう制御する表示制御部をさらに備え、
前記表示制御部による、前記選択の対象を選択するユーザ操作のフィードバック制御は、前記選定された操作入力方式に応じて異なる、前記（５）に記載の情報処理装置。
（１２）
前記情報処理装置は、頭部に装着されるウェアラブル装置であって、
装着時にユーザの眼前に位置する表示部をさらに備える、前記（１１）に記載の情報処理装置。
（１３）
前記表示部は透過型であって、
前記表示制御部は、前記生成された前記選択の対象の表示画像を、実空間の実物体に重畳して表示するよう制御する、前記（１２）に記載の情報処理装置。
（１４）
前記操作入力方式は、空間認識を使用した入力、頭部ジェスチャによる入力、視線入力、および音声入力の少なくともいずれかである、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記生成部により生成される前記選択の対象の数は、選定された操作入力方式に応じて異なる、前記（５）に記載の情報処理装置。
（１６）
プロセッサが、
ユーザの活動に関する情報に応じて１以上の操作入力方式を選定することを含み、
前記選定は；
前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、情報処理方法。
（１７）
コンピュータを、
ユーザの活動に関する情報に応じて１以上の操作入力方式を選定する選定部として機能させ、
前記選定部は；
前記ユーザの活動状態が第１の状態と決定された場合、操作対象を第１の操作で操作させるための第１の操作入力方式を選定し、
前記ユーザの活動状態が第２の状態と決定された場合、前記操作対象を第１の操作とは異なる第２の操作で操作させるための第２の操作入力方式を選定する、プログラム。
【符号の説明】
【０１５１】
１    情報処理装置
１０  制御部
１００  認識エンジン
１００ａ  頭部姿勢認識エンジン
１００ｂ  Depth認識エンジン
１００ｃ  SLAM認識エンジン
１００ｄ  視線認識エンジン
１００ｅ  音声認識エンジン
１００ｆ  位置認識エンジン
１０１  スコア取得部
１０２  行動認識部
１０３  入力方式選定部
１０４  表示態様決定部
１０５  表示情報生成部
１０６  表示制御部
１０７  操作入力受付部
１１０  カメラ
１１１  カメラ
１１２  マイク
１１３  ジャイロセンサ
１１４  加速度センサ
１１５  方位センサ
１１６  位置測位部
１２１  スコア取得部
１２３  入力方式選定部
１１  センサ部
１２  操作入力部
１３  表示部
１４  スピーカ
１５  通信部
１６  記憶部
【図１】
0006798106.tif 000002
【図２】
0006798106.tif 000003
【図３】
0006798106.tif 000004
【図４】
0006798106.tif 000005
【図５】
0006798106.tif 000006
【図６】
0006798106.tif 000007
【図７】
0006798106.tif 000008
【図８】
0006798106.tif 000009
【図９】
0006798106.tif 000010
【図１０】
0006798106.tif 000011
【図１１】
0006798106.tif 000012
【図１２】
0006798106.tif 000013
【図１３】
0006798106.tif 000014
【図１４】
0006798106.tif 000015
【図１５】
0006798106.tif 000016
【図１６】
0006798106.tif 000017
【図１７】
0006798106.tif 000018
【図１８】
0006798106.tif 000019
【図１９】
0006798106.tif 000020
【図２０】
0006798106.tif 000021
【図２１】
0006798106.tif 000022
【図２２】
0006798106.tif 000023
【図２３】
0006798106.tif 000024
【図２４】
0006798106.tif 000025
【図２５】
0006798106.tif 000026
【図２６】
0006798106.tif 000027
【図２７】
0006798106.tif 000028
【図２８】
0006798106.tif 000029