(57)【要約】      （修正有）【課題】コマンドを実行させるための入力の柔軟性を向上させることが可能な技術を提供する。【解決手段】情報処理装置は、制御部１２０において、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部１２４と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部１２５と、前記第１のコマンドが取得された場合、第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、第２のコマンドの第２の制御対象機器による実行を制御する実行制御部１２７と、を備える。【選択図】図３
2017138698.tif 000002
【特許請求の範囲】
【請求項１】
操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
を備える、情報処理装置。
【請求項２】
前記第１のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記表示オブジェクトの表示を制御する表示制御部を備える、
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、ユーザの位置に応じた領域への前記表示オブジェクトの表示を制御する、
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記表示オブジェクトの種類に応じて、前記表示オブジェクトの表示位置を異ならせる、
請求項３または４に記載の情報処理装置。
【請求項６】
前記第１のコマンド取得部は、前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、所定のコマンド決定操作が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
請求項２〜５のいずれか一項に記載の情報処理装置。
【請求項７】
前記所定のコマンド決定操作は、前記操作体が所定の位置から見て遠ざかる方向に移動することを含む、
請求項６に記載の情報処理装置。
【請求項８】
前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の速さを超えた速さで移動することを含む、
請求項７に記載の情報処理装置。
【請求項９】
前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の距離を超えた距離だけ前記所定の速さを超えた速さで移動することを含む、
請求項８に記載の情報処理装置。
【請求項１０】
前記第２のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出されない場合、前記音声認識処理結果に応じた前記第２のコマンドを取得する、
請求項１に記載の情報処理装置。
【請求項１１】
前記情報処理装置は、
前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、前記所定のコマンド決定操作が検出されない場合、かつ、前記音声認識処理結果が前記表示オブジェクトに対応することが検出された場合、前記表示オブジェクトおよび前記音声認識処理結果に応じた第３のコマンドを取得する第３のコマンド取得部を備える、
請求項２〜５のいずれか一項に記載の情報処理装置。
【請求項１２】
前記実行制御部は、前記第３のコマンドが取得された場合、前記第３のコマンドの第３の制御対象機器による実行を制御する、
請求項１１に記載の情報処理装置。
【請求項１３】
前記情報処理装置は、
撮像部によって撮像された画像に対する画像解析によって前記操作体の位置を得る画像解析部を備える、
請求項１〜１２のいずれか一項に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、
前記操作体の位置に基づいて前記第１のコマンドを認識するとともに、前記音声認識処理結果に基づいて前記第２のコマンドを認識するコマンド認識部を備える、
請求項１〜１３のいずれか一項に記載の情報処理装置。
【請求項１５】
前記情報処理装置は、
前記音情報に対する音声認識処理により前記音声認識処理結果を得る音声認識部を備える、
請求項１〜１４のいずれか一項に記載の情報処理装置。
【請求項１６】
前記操作体は、前記ユーザの手を含む、
請求項１〜１５のいずれか一項に記載の情報処理装置。
【請求項１７】
前記第１のコマンド取得部は、前記ユーザの手が開かれた状態において前記ユーザの手が移動された場合には、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
請求項１６に記載の情報処理装置。
【請求項１８】
前記第１のコマンド取得部は、前記ユーザの手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態において前記ユーザの手が移動された場合には、現在表示されているページの次のページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
請求項１６または１７に記載の情報処理装置。
【請求項１９】
コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、
を含む、情報処理方法。
【請求項２０】
コンピュータを、
操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
を備える情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、２種類の入力を用いて所望の動作を実行する情報処理装置が存在する（例えば、特許文献１参照）。かかる情報処理装置においては、２種類の入力として、音情報の入力と操作体の位置の入力とが用いられる。そして、かかる情報処理装置においては、音情報から音声が認識され、画像から操作体の位置が認識され、音声と操作体の位置との組み合わせにより、制御対象機器に所望の動作を実行させるためのコマンドが生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０３８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、音情報の入力によって実行されるのが適しているコマンドもあれば、操作体の位置の入力によって実行されるのが適しているコマンドもある。そこで、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【０００５】
本開示によれば、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える、情報処理装置が提供される。
【０００６】
本開示によれば、コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、を含む、情報処理方法が提供される。
【０００７】
本開示によれば、コンピュータを、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の一実施形態に係る通信システムの構成例を示す図である。
【図２】同実施形態に係る通信システムの機能構成例を示すブロック図である。
【図３】制御部の詳細な機能構成例を示すブロック図である。
【図４】テレビジョン装置の電源を入れる動作の例を説明するための図である。
【図５】テレビジョン装置の電源を入れる動作の例を説明するための図である。
【図６】レコーダに記録されている番組を再生する動作の例を説明するための図である。
【図７】レコーダに記録されている番組を再生する動作の例を説明するための図である。
【図８】レコーダに記録されている番組を再生する動作の例を説明するための図である。
【図９】レコーダに記録されている番組を再生する動作の例を説明するための図である。
【図１０】レコーダに記録されている番組を再生する動作の例を説明するための図である。
【図１１】空調機を制御する動作の例を説明するための図である。
【図１２】空調機を制御する動作の例を説明するための図である。
【図１３】空調機を制御する動作の例を説明するための図である。
【図１４】空調機を制御する動作の例を説明するための図である。
【図１５】制御対象機器を制御する動作の例を説明するための図である。
【図１６】制御対象機器を制御する動作の例を説明するための図である。
【図１７】制御対象機器を制御する動作の例を説明するための図である。
【図１８】天気予報の表示を制御する動作の例を説明するための図である。
【図１９】天気予報の表示を制御する動作の例を説明するための図である。
【図２０】天気予報の表示を制御する動作の例を説明するための図である。
【図２１】天気予報の表示を制御する動作の例を説明するための図である。
【図２２】天気予報の表示を制御する動作の例を説明するための図である。
【図２３】天気予報の表示を制御する動作の例を説明するための図である。
【図２４】金閣寺の写真の表示を制御する動作の例を説明するための図である。
【図２５】金閣寺の写真の表示を制御する動作の例を説明するための図である。
【図２６】金閣寺の写真の表示を制御する動作の例を説明するための図である。
【図２７】予定表の表示を制御する動作の例を説明するための図である。
【図２８】予定表の表示を制御する動作の例を説明するための図である。
【図２９】予定表の表示を制御する動作の例を説明するための図である。
【図３０Ａ】情報処理装置の動作の流れを示すフローチャートである。
【図３０Ｂ】情報処理装置の動作の流れを示すフローチャートである。
【図３１】情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム構成例
１．２．機能構成例
１．３．通信システムの機能詳細
１．４．ハードウェア構成例
２．むすび
【００１３】
＜１．本開示の実施形態＞
［１．１．システム構成例］
まず、図面を参照しながら本開示の一実施形態に係る通信システムの構成例について説明する。図１は、本開示の一実施形態に係る通信システムの構成例を示す図である。図１に示したように、本実施形態に係る通信システムは、情報処理装置１０および制御対象機器２０（制御対象機器２０−１〜２０−４）を備える。情報処理装置１０は、音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）を有している。
【００１４】
情報処理装置１０と制御対象機器２０とは、通信ネットワークを介して通信を行うことが可能である。また、情報処理装置１０において、音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）は、情報処理装置１０における同一の面上に設けられているが、これらが設けられる位置は限定されない（例えば、これらは情報処理装置１０における異なる面上に設けられていてもよい）。
【００１５】
なお、図１には、制御対象機器２０の例として、制御対象機器（テレビジョン装置）２０−１、制御対象機器（レコーダ）２０−２、制御対象機器（空調機）２０−３および制御対象機器（コーヒーメーカ）２０−４が示されているが、制御対象機器２０の種類および数は限定されない。例えば、制御対象機器２０は、外部からコマンドを受け付けて、そのコマンドを実行することが可能な機器であればよい。
【００１６】
また、図１には、表示部１６１の例として、２つのプロジェクタが示されているが、表示部１６１の種類および数も限定されない。例えば、表示部１６１は、ユーザ８０に視認可能な表示を行うことが可能なディスプレイであればよい。また、本実施形態においては、第１の表示部１６１−１が比較的高い位置（例えば、壁、テレビジョン装置など）に表示を行うのに対し、第２の表示部１６１−２が比較的低い位置（例えば、ユーザの手元など）に表示を行う例を説明するが、表示部１６１が表示を行う位置も限定されない。
【００１７】
また、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。すなわち、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）は、集音部１５１によって集音された音のうち、主にユーザ８０の発話を示すのに対し、音（ｓｏｕｎｄ）は、ユーザ８０の発話の他、物音などを含む。
【００１８】
以上、本実施形態に係る通信システムの構成例について説明した。
【００１９】
［１．２．機能構成例］
続いて、本実施形態に係る通信システムの機能構成例について説明する。図２は、本実施形態に係る通信システムの機能構成例を示すブロック図である。図２に示したように、通信システムは、情報処理装置１０、制御対象機器２０、外部ネットワーク３０および第３の記憶部３３０を備える。
【００２０】
外部ネットワーク３０は、例えば、インターネットにより構成される。第３の記憶部３３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。制御対象機器２０は、上記したように、空調機、テレビジョン装置、レコーダおよびコーヒーメーカであってもよい。また、図２に示すように、制御対象機器２０は、第２の記憶部２３０を備えていてよい。第２の記憶部２３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。
【００２１】
情報処理装置１０は、上記した音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）の他、通信部１４０、制御部１２０および第１の記憶部１３０を備える。
【００２２】
音出力部１１１は、音を出力する機能を有する。例えば、音出力部１１１は、スピーカを含んでおり、スピーカによって音を出力する。音出力部１１１に含まれるスピーカの数は１以上であれば特に限定されない。そして、音出力部１１１に含まれる１以上のスピーカそれぞれが設けられる位置も特に限定されない。なお、音出力部１１１は、音情報を出力する機能を有すれば、スピーカ以外の形態の音出力装置を含んでもよい。
【００２３】
集音部１５１は、集音によって音情報を得る機能を有する。例えば、集音部１５１は、マイクロフォンを含んでおり、マイクロフォンによって音情報を集音する。集音部１５１に含まれるマイクロフォンの数は１以上であれば特に限定されない。そして、集音部１５１に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。なお、集音部１５１は、音情報を集音する機能を有すれば、マイクロフォン以外の形態の集音装置を含んでもよい。
【００２４】
撮像部１１２は、撮像により画像を入力する機能を有する。例えば、撮像部１１２はカメラを含んでおり、カメラによって撮像された画像を入力する。撮像部１１２に含まれるカメラの数は１以上であれば特に限定されない。そして、撮像部１１２に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。
【００２５】
距離検出部１１３は、ユーザ８０までの距離を検出する機能を有する。例えば、距離検出部１１３は測距センサを含んでおり、測距センサによって検出されたユーザ８０までの距離を取得する。測距センサが設けられる位置は特に限定されない。また、測距センサの種類は特に限定されない。例えば、距離センサは、赤外線距離センサであってもよいし、超音波距離センサであってもよい。
【００２６】
通信部１４０は、外部ネットワーク３０を介して第３の記憶部３３０からのデータの取得および第３の記憶部３３０へのデータの書き込みを行う機能を有する。例えば、通信部１４０は、通信インターフェースにより構成される。なお、通信部１４０は、第３の記憶部３３０の他に、第３の記憶部３３０とは異なる装置との間で外部ネットワーク３０を介して通信が可能であってもよい。
【００２７】
第１の記憶部１３０は、制御部１２０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする。また、第１の記憶部１３０は、制御部１２０による演算のためにデータを一時的に記憶する。第１の記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。
【００２８】
表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）は、画面を表示する機能を有する。例えば、表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）は、図１に示したようにプロジェクタであってもよいし、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。しかし、表示部１６１（第１の表示部１６１−１および第２の表示部１６１−２）は、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。
【００２９】
制御部１２０は、情報処理装置１０の各部の制御を実行する。図３に示したように、制御部１２０は、画像解析部１２１、音声認識部１２２、コマンド認識部１２３、第１のコマンド取得部１２４、第２のコマンド取得部１２５、第３のコマンド取得部１２６、実行制御部１２７および表示制御部１２８を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１２０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
【００３０】
以上、本実施形態に係る通信システムの機能構成例について説明した。
【００３１】
［１．３．通信システムの機能詳細］
続いて、通信システムの機能詳細について説明する。ここで、制御対象機器２０によって実行されるコマンドとして、音情報の入力によって実行されるのが適しているコマンドもあれば、操作体（以下、「ユーザ８０の手」として主に説明する。）の位置の入力によって実行されるのが適しているコマンドもある。
【００３２】
具体的に、テレビジョン装置の音量を上げるためのコマンド、空調機の電源を入れるためのコマンドなどの単純なコマンド（ユーザ８０による選択自由度がより低いコマンド）は、ユーザ８０の手の位置の入力によって実行されるのが適している。単純なコマンドがユーザ８０の手の位置の入力によって実行される場合には、各コマンドに対応する表示オブジェクト（以下、「ボタン」とも言う。）の数が少なくて済むからというのが一つの原因として挙げられる。
【００３３】
一方、検索キーワードの入力、番組名の入力などの複雑なコマンド（ユーザ８０による選択自由度がより高いコマンド）は、音情報の入力によって実行されるのが適している。複雑なコマンドがユーザ８０の手の位置の入力によって実行される場合には、各コマンドに対応するボタンの数が多くなってしまうというのが一つの原因として挙げられる。
【００３４】
そこで、本実施形態においては、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術を主に提案する。
【００３５】
具体的には、画像解析部１２１は、撮像部１１２によって撮像された画像に対する画像解析によってユーザ８０の手の位置を得る。また、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果を得る。そして、コマンド認識部１２３は、ユーザ８０の手の位置に基づいてコマンド（第１のコマンド）を認識するとともに、音声認識処理結果に基づいてコマンド（第２のコマンド）を認識する。第１のコマンド取得部１２４は、第１のコマンドを取得し、第２のコマンド取得部１２５は、第２のコマンドを取得する。
【００３６】
実行制御部１２７は、第１のコマンド取得部１２４によって第１のコマンドが取得された場合、第１のコマンドの制御対象機器２０による実行を制御する。一方、実行制御部１２７は、第２のコマンド取得部１２５によって第２のコマンドが取得された場合、第２のコマンドの制御対象機器２０による実行を制御する。かかる構成により、コマンドを実行させるための入力の柔軟性を向上させることが可能となる。
【００３７】
以下、具体例を参照する。図４および図５は、テレビジョン装置（制御対象機器２０−１）の電源を入れる動作の例を説明するための図である。まず、ユーザ８０はテレビジョン装置（制御対象機器２０−１）を観たいと考えた場合、図４に示すように、「ＴＶのコントローラ」と発話する。ユーザ８０がこのように発話すると、情報処理装置１０の集音部１５１は、ユーザ８０の発話を含む音情報を集音し、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果「ＴＶのコントローラ」を得る。ここで、音声とコマンドとはあらかじめ関連付けられた情報として登録されている。そのため、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「ＴＶのコントローラ」からコマンド「ＴＶのコントローラの表示」を認識する。
【００３８】
そして、第２のコマンド取得部１２５は、コマンド「ＴＶのコントローラの表示」を取得し、表示制御部１２８は、第２のコマンド取得部１２５によってコマンド「ＴＶのコントローラの表示」が取得されたため、コマンド「ＴＶのコントローラの表示」を制御する。図４には、ＴＶのコントローラが、コマンド受付画面３０−１として表示されている。コマンド受付画面３０−１には、各コマンドに対応するボタンが含まれている。
【００３９】
このとき、図４に示したように、表示制御部１２８は、ユーザ８０の位置に応じた領域へのコマンド受付画面３０−１の表示を制御するのがよい。そうすれば、ユーザ８０は、実行させたいと考えるコマンドに対応するボタンを押下しやすくなる。ユーザ８０の位置に応じた領域は特に限定されないが、ユーザ８０の手の届く範囲内であればよい。
【００４０】
あるいは、ＴＶにコマンドを実行させる場合には、ユーザ８０がＴＶからあまり目を離したくないと考えている場合もあり得る。したがって、表示制御部１２８は、制御対象機器２０−１の位置に応じた領域（例えば、制御対象機器２０−１から所定の範囲内）へのコマンド受付画面３０−１の表示を制御してもよい。そうすれば、ＴＶからあまり目を離さなくて済むようになる。
【００４１】
このように、表示制御部１２８は、コマンド受付画面３０−１の種類に応じて、コマンド受付画面３０−１の表示位置を異ならせることも可能である。しかし、コマンド受付画面３０−１がユーザ８０の手の届く範囲外にコマンド受付画面３０−１が表示されてしまう場合には、コマンド受付画面３０−１に対してジェスチャにより行う必要が生じる。
【００４２】
なお、コマンド受付画面３０−１は、あらかじめ第１の記憶部１３０に記憶されていてもよいが、制御対象機器（ＴＶ）２０−１の第２の記憶部２３０から情報処理装置１０にダウンロードされてもよいし、外部ネットワーク３０を介して外部サーバ（第３の記憶部３３０）から情報処理装置１０にダウンロードされてもよい。
【００４３】
コマンド受付画面３０−１が表示されると、ボタン押下による入力が可能となる。続いて、図５に示すように、ユーザ８０がコマンド受付画面３０−１における電源ボタンを押下する。コマンド認識部１２３は、ユーザ８０の手の位置に基づいてコマンドを認識する。例えば、コマンド認識部１２３は、ユーザ８０の手の位置との間で所定の関係を満たすボタンの位置が検出された場合、そのボタンに対応するコマンドを認識する。
【００４４】
本実施形態では、一例として、コマンド認識部１２３が、ユーザ８０の手が重なったボタンが検出された場合、そのボタンに対応するコマンドを認識する場合を主に説明する。ここでは、ユーザ８０の人差し指が重なったボタンとして電源ボタンが検出され、電源ボタンに対応するコマンド「電源ＯＮ」が認識される。そして、第１のコマンド取得部１２４は、コマンド「電源ＯＮ」を取得する。また、図５に示すように、実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「電源ＯＮ」が取得されると、制御対象機器（ＴＶ）２０−１の電源が投入されるように制御対象機器（ＴＶ）２０−１を制御する。
【００４５】
なお、ここでは、ユーザ８０の手が重なったボタンが検出されることのみを契機に、そのボタンに対応するコマンドが認識される例を示した。しかし、コマンド認識部１２３は、ユーザ８０の手が重なったボタンが検出された場合、所定のコマンド決定操作が検出された場合、そのボタンに対応するコマンドを認識してもよい。ここで、コマンド決定操作は限定されないが、ユーザ８０の手が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に移動することを含んでもよい。ユーザ８０の手の移動は、距離検出部１１３によって検出されればよい。
【００４６】
あるいは、コマンド決定操作は、ユーザ８０の手が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に所定の速さを超えた速さで移動することを含んでもよい。あるいは、コマンド決定操作は、ユーザ８０が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に所定の距離を超えた距離だけ所定の速さを超えた速さで移動することを含んでもよい。
【００４７】
図６〜図１０は、レコーダ（制御対象機器２０−２）に記録されている番組を再生する動作の例を説明するための図である。まず、ユーザ８０はレコーダ（制御対象機器２０−２）に記録されている番組リストを観たいと考えた場合、図６に示すように、「レコーダのコントローラ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「レコーダのコントローラの表示」を制御する。図６には、レコーダのコントローラが、コマンド受付画面３０−２として表示されている。
【００４８】
コマンド受付画面３０−２が表示されると、ボタン押下による入力が可能となる。図７に示すように、ユーザ８０がコマンド受付画面３０−２における番組リスト表示ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして番組リスト表示ボタンを検出し、番組リスト表示ボタンに対応するコマンド「番組リスト表示」を認識する。そして、第１のコマンド取得部１２４は、コマンド「番組リスト表示」を取得する。
【００４９】
実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「番組リスト表示」が取得されると、制御対象機器（レコーダ）２０−２に記録されている番組リストが制御対象機器（ＴＶ）２０−１に表示されるように制御対象機器（レコーダ）２０−２を制御する。図７を参照すると、番組リストが制御対象機器（ＴＶ）２０−１に表示されている。
【００５０】
ここで、ユーザ８０が番組Ｐ１の詳細を観たいと考えた場合、図８に示すように、「番組Ｐ１」と発話する。ユーザ８０がこのように発話すると、情報処理装置１０の集音部１５１は、ユーザ８０の発話を含む音情報を集音し、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果「番組Ｐ１」を得る。コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「番組Ｐ１」からコマンド「番組Ｐ１の詳細表示」を認識する。
【００５１】
そして、第２のコマンド取得部１２５は、コマンド「番組Ｐ１の詳細表示」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「番組Ｐ１の詳細表示」が取得されたため、コマンド「番組Ｐ１の詳細表示」が実行されるように制御対象機器（レコーダ）２０−２を制御する。図８を参照すると、制御対象機器（レコーダ）２０−２による制御に従って、制御対象機器（ＴＶ）２０−１に番組Ｐ１の詳細が表示されている。
【００５２】
コマンド認識部１２３によるコマンド認識の優先度は特に限定されない。すなわち、ユーザ８０の手と重なるボタンに対応するコマンドの認識と、音情報から音声認識処理された音声認識処理結果に対応するコマンドの認識とは、どちらが先行されてもよい。例えば、コマンド認識部１２３は、ユーザ８０の手と重なるボタンが検出されない場合、音声認識処理結果に対応するコマンドを認識してもよい。第２のコマンド取得部１２５は、かかるコマンドを取得する。
【００５３】
この後、表示された番組リストＰ１のページを切り替えたいとユーザ８０が考えたとする。そのとき、所定のジェスチャによってページ切り替えが可能であってよい。具体的には、図９に示すように、コマンド認識部１２３は、ユーザ８０の手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態においてユーザ８０の手が移動された場合に、現在表示されているページの次のページに表示を切り替えるためのコマンドを認識してもよい。図９に示された例では、このようなコマンドが認識され、第１のコマンド取得部１２４によって取得され、実行制御部１２７によって次ページへの切り替えが実行制御されている。
【００５４】
そして、ユーザ８０は、番組リストＰ１から再生対象の番組を決定するために、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを再生対象の番組まで移動させてから、所定の音声（図１０に示すように、「決定」など）を発すればよい。コマンド認識部１２３は、所定の音声が発せられると、ポインタが示す番組「コンテンツＣ５」と、音声「決定」とに対応するコマンド「コンテンツＣ５の再生」を認識し、実行制御部１２７は「コンテンツＣ５の再生」の実行を制御する。
【００５５】
なお、コマンド認識部１２３によるコマンド認識の優先度は特に限定されない。しかし、例えば、コマンド認識部１２３は、ポインタと重なる番組が検出された場合、かつ、コマンド決定操作が検出されない場合、かつ、音声認識処理結果が番組に対応することが検出された場合、番組および音声認識処理結果に応じたコマンドを認識してもよい。第３のコマンド取得部１２６は、かかるコマンドを取得し、実行制御部１２７は、かかるコマンドの制御対象機器２０による実行を制御する。
【００５６】
図１１〜図１４は、空調機（制御対象機器２０−３）を制御する動作の例を説明するための図である。まず、ユーザ８０は空調機（制御対象機器２０−３）を制御したいと考えた場合、図１１に示すように、「空調機のコントローラ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「空調機のコントローラの表示」を制御する。図１１には、空調機のコントローラが、コマンド受付画面３０−３Ａとして表示されている。
【００５７】
コマンド受付画面３０−３Ａが表示されると、ボタン押下による入力が可能となる。図１２に示すように、ユーザ８０がコマンド受付画面３０−３Ａにおける電源ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして電源ボタンを検出し、電源ボタンに対応するコマンド「電源ＯＮ」を認識する。そして、第１のコマンド取得部１２４は、コマンド「電源ＯＮ」を取得する。
【００５８】
実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「電源ＯＮ」が取得されると、空調機（制御対象機器２０−３）の電源が投入されるように空調機（制御対象機器２０−３）を制御する。図１２を参照すると、空調機（制御対象機器２０−３）の電源が投入されて、空調機（制御対象機器２０−３）から風が出てきている様子が示されている。表示内容は、図１３に示すように、コマンド受付画面３０−３Ａからコマンド受付画面３０−３Ｂに切り替えられる。
【００５９】
コマンド受付画面３０−３Ｂにおいて、ボタン押下による入力が引き続き可能である。図１３に示すように、ユーザ８０がコマンド受付画面３０−３Ｂにおける気流強ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして気流強ボタンを検出し、気流強ボタンに対応するコマンド「気流強」を認識する。そして、第１のコマンド取得部１２４は、コマンド「気流強」を取得する。
【００６０】
実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「気流強」が取得されると、空調機（制御対象機器２０−３）の気流が強くなるように空調機（制御対象機器２０−３）を制御する。図１３を参照すると、空調機（制御対象機器２０−３）の気流が強くされて、空調機（制御対象機器２０−３）から強い風が出てきている様子が示されている。図１４に示すように、コマンド受付画面３０−３Ｂが表示されていた状態から、特に何も表示されない状態に切り替えられる。
【００６１】
ここで、ユーザ８０が加湿モードにモードを切り替えたいと考えた場合、図１４に示すように、「加湿」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「加湿」からコマンド「加湿モードへのモード切り替え」を認識する。
【００６２】
そして、第２のコマンド取得部１２５は、コマンド「加湿モードへのモード切り替え」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「加湿モードへのモード切り替え」が取得されたため、コマンド「加湿モードへのモード切り替え」が実行されるように制御対象機器（空調機）２０−３を制御する。図１４を参照すると、制御対象機器（空調機）２０−３のモードが加湿モードに切り替わっている。
【００６３】
図１５〜図１７は、制御対象機器（コーヒーメーカ）２０−４を制御する動作の例を説明するための図である。まず、ユーザ８０は制御対象機器（コーヒーメーカ）２０−４を利用したいと考えた場合、図１５に示すように、「コーヒーメーカ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「コーヒーのリスト表示」を制御する。図１５には、コーヒーのリストが、コマンド受付画面３０−４として表示されている。
【００６４】
コマンド受付画面３０−４が表示されると、ボタン押下による入力が可能となる。図１６に示すように、ユーザ８０が制御対象機器（コーヒーメーカ）２０−４にカップＣｕを置き、コマンド受付画面３０−４におけるカプチーノを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとしてカプチーノボタンを検出し、カプチーノボタンに対応するコマンド「カプチーノを入れる」を認識する。そして、第１のコマンド取得部１２４は、コマンド「カプチーノを入れる」を取得する。
【００６５】
実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「カプチーノを入れる」が取得されると、カプチーノをカップＣｕに入れるように制御対象機器（コーヒーメーカ）２０−４を制御する。図１６を参照すると、制御対象機器（コーヒーメーカ）２０−４にカップＣｕが置かれ、カップＣｕにカプチーノが入れられた様子が示されている。
【００６６】
ここで、図１７に示すように、ユーザ８０が制御対象機器（コーヒーメーカ）２０−４にカップＣｕを置き、コマンド受付画面３０−４におけるカプチーノを押下する代わりに、「カプチーノ」と発話してもよい。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「カプチーノ」からコマンド「カプチーノを入れる」を認識する。
【００６７】
そして、第２のコマンド取得部１２５は、コマンド「カプチーノを入れる」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「カプチーノを入れる」が取得されたため、コマンド「カプチーノを入れる」が実行されるように制御対象機器（コーヒーメーカ）２０−４を制御する。図１７を参照すると、制御対象機器（コーヒーメーカ）２０−４にカップＣｕが置かれ、カップＣｕにカプチーノが入れられた様子が示されている。
【００６８】
図１８〜図２３は、天気予報の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は天気予報を閲覧したいと考えた場合、図１８に示すように、「天気予報」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「現在地の天気予報の表示」を制御する。図１８には、現在地の天気予報が、コマンド受付画面３０−５Ａとして表示されている。なお、現在地の天気予報は、外部ネットワーク３０を介して図示しないサーバから取得されてよい。
【００６９】
なお、天気予報などのように細かい情報は、大きな画面に表示されるのが見やすさの観点からよいと考えられる。したがって、図１８に示すように、天気予報が制御対象機器（ＴＶ）２０−１の画面に表示されてよい。このとき、図１８に示すように、情報処理装置１０が自律的に制御対象機器（ＴＶ）２０−１の方に向きを変えるようにしてよい。そうすれば、ユーザ８０も制御対象機器（ＴＶ）２０−１に天気予報が表示されることを感覚的により容易に把握しやすくなる。
【００７０】
続いて、ユーザ８０は現在地（東京）の週間天気を閲覧したいと考えた場合、図１８に示すように、「週間天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「現在地の週間天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図１９を参照すると、制御対象機器（図示しないサーバ）から取得された東京の週間天気がコマンド受付画面３０−５Ｂとして表示されている様子が示されている。
【００７１】
続いて、ユーザ８０は大阪の週間天気を閲覧したいと考えた場合、図２０に示すように、「大阪の週間天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「大阪の週間天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２０を参照すると、制御対象機器（図示しないサーバ）から取得された大阪の週間天気がコマンド受付画面３０−５Ｂとして表示されている様子が示されている。
【００７２】
続いて、ユーザ８０はメッシュ天気を閲覧したいと考えた場合、図２１に示すように、「メッシュ天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「メッシュ天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２１を参照すると、制御対象機器（図示しないサーバ）から取得されたメッシュ天気がコマンド受付画面３０−５Ｃとして表示されている様子が示されている。
【００７３】
続いて、ユーザ８０は熊本の天気変化を閲覧したいと考えた場合、図２２に示すように、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを熊本まで移動させてから、所定の決定操作（図２２に示すように、手の平を画面に向けて押す動作など）をすればよい。このように操作すると、実行制御部１２７は、コマンド「熊本の天気変化の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２３を参照すると、制御対象機器（図示しないサーバ）から取得された熊本の天気変化がコマンド受付画面３０−５Ｄとして表示されている様子が示されている。
【００７４】
図２４〜図２６は、金閣寺の写真の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は金閣寺の写真を閲覧したいと考えた場合、図２４に示すように、「金閣寺の写真」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「金閣寺の写真の表示」を制御する。図２４には、金閣寺の写真のサムネイル画像が、コマンド受付画面３０−６Ａとして表示されている。なお、金閣寺の写真は、外部ネットワーク３０を介して図示しないサーバから取得されてよい。
【００７５】
続いて、ユーザ８０は左下のサムネイル画像の拡大画像を閲覧したいと考えた場合、図２５に示すように、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを左下のサムネイル画像まで移動させてから、所定の決定操作（図２５に示すように、手の平を画面に向けて押す動作など）をすればよい。このように操作すると、実行制御部１２７は、コマンド「拡大画像の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２６を参照すると、制御対象機器（図示しないサーバ）から取得された拡大画像がコマンド受付画面３０−６Ａとして表示されている様子が示されている。
【００７６】
図２７〜図２９は、予定表の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は予定表を閲覧したいと考えた場合、図２７に示すように、「予定表」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「予定表の表示」を制御する。図２７には、予定表が、コマンド受付画面３０−７Ａとして表示されている。なお、予定表は、あらかじめ第１の記憶部１３０に記憶されていてよい。
【００７７】
続いて、ユーザ８０は予定表の中における今月２５日の予定表を閲覧したいと考えた場合、図２８に示すように、「２５日の予定」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「今月２５日の予定表の表示」が実行されるように第１の記憶部１３０を制御する。図２８を参照すると、第１の記憶部１３０から取得された今月２５日の予定表がコマンド受付画面３０−７Ｂとして表示されている様子が示されている。
【００７８】
続いて、ユーザ８０は予定表のトップページに戻りたいと考えた場合、図２９に示すように、所定のジェスチャ（例えば、手を開いた状態において手を移動させる操作など）をすればよい。このように操作すると、コマンド認識部１２３は、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを認識し、第１のコマンド取得部１２４は、かかるコマンドを取得し、実行制御部１２７は、かかるコマンド「トップページへの遷移」が実行されるように第１の記憶部１３０を制御する。図２９を参照すると、予定表のトップページがコマンド受付画面３０−７Ａとして表示されている様子が示されている。
【００７９】
続いて、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図３０Ａおよび図３０Ｂは、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。まず、画像解析部１２１は、撮像部１１２によって撮像された画像に基づいて、ユーザ８０の位置を検出する（Ｓ１１）。続いて、表示制御部１２８は、表示部１６１による表示位置をユーザの位置に基づいて移動させる（Ｓ１２）。続いて、表示制御部１２８は、ユーザの発話に基づいてコマンド受付画面を表示部１６１に表示させる（Ｓ１３）。
【００８０】
続いて、コマンド認識部１２３は、画像解析部１２１による解析結果を参照し、ユーザ８０の手が撮像されていない場合には（Ｓ１４において「Ｎｏ」）、Ｓ２３に動作を移行させる。一方、コマンド認識部１２３は、画像解析部１２１による解析結果を参照し、ユーザ８０の手が撮像されている場合（Ｓ１４において「Ｙｅｓ」）、Ｓ１５に動作を移行させる。続いて、コマンド認識部１２３は、有効位置（ボタンの位置など）にユーザ８０の手がない場合には（Ｓ１５において「Ｎｏ」）、Ｓ２３に動作を移行させる。一方、コマンド認識部１２３は、有効位置（ボタンの位置など）にユーザ８０の手がある場合には（Ｓ１５において「Ｙｅｓ」）、Ｓ１６に動作を移行させる。
【００８１】
続いて、コマンド認識部１２３は、距離検出部１１３によって検出されたユーザ８０までの距離を参照して、ユーザ８０の手が奥方向に移動していない場合には（Ｓ１６において「Ｎｏ」）、Ｓ１９に動作を移行させる。一方、コマンド認識部１２３は、距離検出部１１３によって検出されたユーザ８０までの距離を参照して、ユーザ８０の手が奥方向に移動した場合には（Ｓ１６において「Ｙｅｓ」）、Ｓ１７に動作を移行させる。
【００８２】
続いて、コマンド認識部１２３は、所定の速さを超える速さによって所定の距離を超える距離だけユーザ８０の手が奥方向に移動していない場合には（Ｓ１７において「Ｎｏ」）、Ｓ１９に動作を移行させる。一方、実行制御部１２７は、所定の速さを超える速さによって所定の距離を超える距離だけユーザ８０の手が奥方向に移動した場合には（Ｓ１７において「Ｙｅｓ」）、ユーザ８０の手によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ１８）。
【００８３】
続いて、音声認識部１２２は、ユーザ８０による発話がない場合には（Ｓ１９において「Ｎｏ」）、Ｓ１４に動作を移行させるが、ユーザ８０による発話があった場合には（Ｓ１９において「Ｙｅｓ」）、集音部１５１によって集音された音情報に対して音声認識処理（これ、削除、録画、再生など）を行い（Ｓ２０）、Ｓ２１に動作を移行させる。
【００８４】
続いて、実行制御部１２７は、音声が手によって指示される表示オブジェクト（ボタンなど）に対応する場合には（Ｓ２１において「Ｙｅｓ」）、手および音声によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ２２）。一方、実行制御部１２７は、音声が手によって指示される表示オブジェクト（ボタンなど）に対応しない場合には（Ｓ２１において「Ｙｅｓ」）、Ｓ２３に動作を移行させる。
【００８５】
続いて、音声認識部１２２は、ユーザ８０による発話がない場合には（Ｓ２３において「Ｎｏ」）、Ｓ１４に動作を移行させるが、ユーザ８０による発話があった場合には（Ｓ２３において「Ｙｅｓ」）、集音部１５１によって集音された音情報に対して音声認識処理（キャンセル、電源ＯＮ、次のページに進むなど）を行い（Ｓ２４）、音声によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ２５）。
【００８６】
［１．４．ハードウェア構成例］
次に、図３１を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図３１は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
【００８７】
図３１に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
【００８８】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【００８９】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
【００９０】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
【００９１】
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【００９２】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【００９３】
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
【００９４】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【００９５】
撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００９６】
センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【００９７】
＜２．むすび＞
以上説明したように、本開示の実施形態によれば、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える、情報処理装置が提供される。かかる構成によれば、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供されることが可能となる。
【００９８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９９】
例えば、上記では、第１の表示部１６１−１が比較的高い位置（例えば、壁、テレビジョン装置など）に表示を行うのに対し、第２の表示部１６１−２が比較的低い位置（例えば、ユーザの手元など）に表示を行う例を説明した。しかし、第１の表示部１６１−１および第２の表示部１６１−２それぞれによる表示位置は特に限定されない。例えば、情報処理装置１０が車両の中に持ち込まれた場合、第１の表示部１６１−１および第２の表示部１６１−２の少なくとも何れか一方は、車両のダッシュボード、車両の天井面、車両のモニタなどに表示することも可能である。
【０１００】
また、表示位置に優先順位を付けてもよい。例えば、ユーザ８０の手の位置に応じた領域（例えば、テーブル面）が乱雑である場合に、第２の表示部１６１−２がそのままユーザ８０の手の位置に応じた領域を表示位置としてしまうと、視認しづらい表示が行われてしまう可能性がある。かかる場合には、第１の表示部１６１−１が、ユーザ８０の手の位置に応じた領域の代わりに、壁面などに表示を行うようにしてもよい。
【０１０１】
また、第１の表示部１６１−１および第２の表示部１６１−２の少なくともいずれか一方は、ユーザ８０による視認性を向上させるため、表示位置の色に合わせて表示色を変えるようにしてもよい。
【０１０２】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１２０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１０３】
なお、上述した情報処理装置１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像解析部１２１、音声認識部１２２およびコマンド認識部１２３などは、外部ネットワーク３０を介して接続された図示しないサーバなどに設けられてもよい。この場合には、制御部１２０が当該サーバに外部ネットワーク３０を介して接続されたクライアントに相当し得る。画像解析部１２１、音声認識部１２２およびコマンド認識部１２３などは、別々のサーバに設けられていてもよい。
【０１０４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０１０５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
を備える、情報処理装置。
（２）
前記第１のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記表示オブジェクトの表示を制御する表示制御部を備える、
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、ユーザの位置に応じた領域への前記表示オブジェクトの表示を制御する、
前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記表示オブジェクトの種類に応じて、前記表示オブジェクトの表示位置を異ならせる、
前記（３）または（４）に記載の情報処理装置。
（６）
前記第１のコマンド取得部は、前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、所定のコマンド決定操作が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記所定のコマンド決定操作は、前記操作体が所定の位置から見て遠ざかる方向に移動することを含む、
前記（６）に記載の情報処理装置。
（８）
前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の速さを超えた速さで移動することを含む、
前記（７）に記載の情報処理装置。
（９）
前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の距離を超えた距離だけ前記所定の速さを超えた速さで移動することを含む、
前記（８）に記載の情報処理装置。
（１０）
前記第２のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出されない場合、前記音声認識処理結果に応じた前記第２のコマンドを取得する、
前記（１）に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、前記所定のコマンド決定操作が検出されない場合、かつ、前記音声認識処理結果が前記表示オブジェクトに対応することが検出された場合、前記表示オブジェクトおよび前記音声認識処理結果に応じた第３のコマンドを取得する第３のコマンド取得部を備える、
前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（１２）
前記実行制御部は、前記第３のコマンドが取得された場合、前記第３のコマンドの第３の制御対象機器による実行を制御する、
前記（１１）に記載の情報処理装置。
（１３）
前記情報処理装置は、
撮像部によって撮像された画像に対する画像解析によって前記操作体の位置を得る画像解析部を備える、
前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記情報処理装置は、
前記操作体の位置に基づいて前記第１のコマンドを認識するとともに、前記音声認識処理結果に基づいて前記第２のコマンドを認識するコマンド認識部を備える、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記情報処理装置は、
前記音情報に対する音声認識処理により前記音声認識処理結果を得る音声認識部を備える、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記操作体は、前記ユーザの手を含む、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記第１のコマンド取得部は、前記ユーザの手が開かれた状態において前記ユーザの手が移動された場合には、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
前記（１６）に記載の情報処理装置。
（１８）
前記第１のコマンド取得部は、前記ユーザの手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態において前記ユーザの手が移動された場合には、現在表示されているページの次のページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
前記（１６）または（１７）に記載の情報処理装置。
（１９）
コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、
を含む、情報処理方法。
（２０）
コンピュータを、
操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
を備える情報処理装置として機能させるためのプログラム。
【符号の説明】
【０１０６】
１０    情報処理装置
２０    制御対象機器
３０    外部ネットワーク
８０    ユーザ
１１１  音出力部
１１２  撮像部
１１３  距離検出部
１２０  制御部
１２１  画像解析部
１２２  音声認識部
１２３  コマンド認識部
１２４  第１のコマンド取得部
１２５  第２のコマンド取得部
１２６  第３のコマンド取得部
１２７  実行制御部
１２８  表示制御部
１３０  第１の記憶部
１４０  通信部
１５１  集音部
１６１  表示部
２３０  第２の記憶部
３３０  第３の記憶部
【図１】
2017138698.tif 000003
【図２】
2017138698.tif 000004
【図３】
2017138698.tif 000005
【図４】
2017138698.tif 000006
【図５】
2017138698.tif 000007
【図６】
2017138698.tif 000008
【図７】
2017138698.tif 000009
【図８】
2017138698.tif 000010
【図９】
2017138698.tif 000011
【図１０】
2017138698.tif 000012
【図１１】
2017138698.tif 000013
【図１２】
2017138698.tif 000014
【図１３】
2017138698.tif 000015
【図１４】
2017138698.tif 000016
【図１５】
2017138698.tif 000017
【図１６】
2017138698.tif 000018
【図１７】
2017138698.tif 000019
【図１８】
2017138698.tif 000020
【図１９】
2017138698.tif 000021
【図２０】
2017138698.tif 000022
【図２１】
2017138698.tif 000023
【図２２】
2017138698.tif 000024
【図２３】
2017138698.tif 000025
【図２４】
2017138698.tif 000026
【図２５】
2017138698.tif 000027
【図２６】
2017138698.tif 000028
【図２７】
2017138698.tif 000029
【図２８】
2017138698.tif 000030
【図２９】
2017138698.tif 000031
【図３０Ａ】
2017138698.tif 000032
【図３０Ｂ】
2017138698.tif 000033
【図３１】
2017138698.tif 000034