(57)【要約】【課題】ソフトウェアからの要求に対応する音声を出力し、当該音声を聞いたユーザが行ったジェスチャを認識することでソフトウェアへの入力を行う情報処理システムにおいて、２以上のソフトウェアへの入力をより適切に実現することを可能にする。【解決手段】２以上のソフトウェアからの要求に関する情報を受け付け可能である受付部と、前記要求に対応する音声の出力を制御する音声制御部と、前記要求に対応する音声に対してユーザが行ったジェスチャを認識するジェスチャ認識部と、前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出する入力処理部と、を備える、情報処理装置が提供される。【選択図】図３
2019176441.tif 000002
【特許請求の範囲】
【請求項１】
２以上のソフトウェアからの要求に関する情報を受け付け可能である受付部と、
前記要求に対応する音声の出力を制御する音声制御部と、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識するジェスチャ認識部と、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出する入力処理部と、を備える、
情報処理装置。
【請求項２】
前記要求は、２以上の項目から１または２以上の項目を選択することに関する要求、１または２以上の項目の状態を変更することに関する要求、または連続値から一つの値を選択することに関する要求を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記音声制御部は、前記項目の選択の有無または前記項目の状態に応じて前記音声の出力を制御する、
請求項２に記載の情報処理装置。
【請求項４】
前記音声制御部は、選択された項目または選択されていない項目をまとめて前記音声として出力させるか、同一の状態を有する項目をまとめて前記音声として出力させる、
請求項３に記載の情報処理装置。
【請求項５】
前記音声制御部は、前記連続値において選択されている値、および前記連続値における最大値または最小値に応じて前記音声の出力を制御する、
請求項４に記載の情報処理装置。
【請求項６】
前記連続値が選択される場合、前記ジェスチャにおける前記ユーザの体の部位の変位と前記連続値における各値とが対応する、
請求項２に記載の情報処理装置。
【請求項７】
前記入力処理部は、前記アルゴリズムに基づいて、前記ジェスチャだけでなく前記ジェスチャと入力装置への入力操作の組合せを解析することで前記ユーザの入力に関する情報を算出する、
請求項１に記載の情報処理装置。
【請求項８】
前記ユーザからの入力に基づいて前記アルゴリズムを変更するアルゴリズム変更部をさらに備える、
請求項１に記載の情報処理装置。
【請求項９】
前記ユーザによって行われるジェスチャ、または前記ジェスチャと入力装置への入力操作の組合せを認識し、前記入力処理部による前記ユーザの入力に関する情報の算出処理に使用されるものとして新たに登録する登録部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１０】
前記受付部は、前記２以上のソフトウェアから前記要求を受け付ける外部装置から前記要求に関する情報を受け付け可能であり、
前記入力処理部は、前記要求に対する前記ユーザの入力に関する情報を前記外部装置へ提供する、
請求項１に記載の情報処理装置。
【請求項１１】
２以上のソフトウェアからの要求に関する情報を受け付け可能であり、
前記要求に対応する音声の出力を制御することと、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、を有する、
コンピュータにより実行される情報処理方法。
【請求項１２】
２以上のソフトウェアからの要求に関する情報を受け付け可能であり、
前記要求に対応する音声の出力を制御することと、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、ユーザは様々な方法によってソフトウェア（例えば、アプリケーション等）に対して入力を行うことができる。例えば、ユーザが行ったジェスチャに基づいてソフトウェアに対して入力を行う技術が開発されている。【０００３】
例えば、以下の特許文献１には、ソフトウェアからの要求に対応する音声を出力し、当該音声を聞いたユーザが行ったジェスチャを認識することでソフトウェアへの入力を行う情報処理システムにおいて、ユーザがジェスチャを行ったときに、必要に応じて当該ジェスチャに基づく入力を取り消すことができる技術が開示されている。これによって、特許文献１に係る技術は、誤ったジェスチャによってユーザが意図しない入力が行われることを防ぐことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２０７８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている技術等によっては、２以上のソフトウェアへの入力を適切に実現することができない場合があった。例えば、ジェスチャによって入力可能なソフトウェアが増加すると、それぞれのソフトウェアにおいて個別にジェスチャが定義される場合が多い。すると、同一のジェスチャによって実現される入力の内容がソフトウェア毎に異なるため、ユーザは、それぞれのソフトウェアにおいて定義されたジェスチャを理解した上で、入力対象であるソフトウェアに応じてジェスチャを行わなければならない。【０００６】
本開示は、上記事情に鑑みてなされたものであり、ソフトウェアからの要求に対応する音声を出力し、当該音声を聞いたユーザが行ったジェスチャを認識することでソフトウェアへの入力を行う情報処理システムにおいて、２以上のソフトウェアへの入力をより適切に実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供する。
【課題を解決するための手段】
【０００７】
本開示によれば、２以上のソフトウェアからの要求に関する情報を受け付け可能である受付部と、前記要求に対応する音声の出力を制御する音声制御部と、前記要求に対応する音声に対してユーザが行ったジェスチャを認識するジェスチャ認識部と、前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出する入力処理部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、２以上のソフトウェアからの要求に関する情報を受け付け可能であり、前記要求に対応する音声の出力を制御することと、前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、を有する、コンピュータにより実行される情報処理方法が提供される。【０００９】
また、本開示によれば、２以上のソフトウェアからの要求に関する情報を受け付け可能であり、前記要求に対応する音声の出力を制御することと、前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、をコンピュータに実現させるためのプログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る情報処理システムの構成例を示すブロック図である。
【図２】本実施形態に係る各装置によって行われる、入力に関する処理の流れの例を示すシーケンス図である。
【図３】本実施形態に係る第１の装置の機能構成例を示すブロック図である。
【図４】本実施形態に係る第２の装置の機能構成例を示すブロック図である。
【図５】ジェスチャと入力内容との関係の例を示す表である。
【図６】第１の装置の処理およびユーザの動作の流れの例を示すシーケンス図である。
【図７】入力のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）が設けられた場合において、図６に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。
【図８】ジェスチャと入力内容との関係の例を示す表である。
【図９】第１の装置の処理およびユーザの動作の流れの例を示すシーケンス図である。
【図１０】入力のためのＧＵＩが設けられた場合において、図９に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である
【図１１】ジェスチャと入力内容との関係の例を示す表である。
【図１２】第１の装置の処理およびユーザの動作の流れの例を示すシーケンス図である。
【図１３】入力のためのＧＵＩが設けられた場合において、図１２に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。
【図１４】ジェスチャと入力内容との関係の例を示す表である。
【図１５】第１の装置の処理およびユーザの動作の流れの例を示すシーケンス図である。
【図１６】入力のためのＧＵＩが設けられた場合において、図１５に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。
【図１７】ソフトウェアと、ソフトウェアに含まれるコンポーネントとの関係の例を示す表である。
【図１８】コンポーネント「RadioButton」についてのアルゴリズムの変更に用いられるＧＵＩの具体例を示す図である。
【図１９】コンポーネント「RadioButton」についてのアルゴリズムの変更に用いられるＧＵＩの具体例を示す図である。
【図２０】新たなジェスチャの登録に用いられるＧＵＩの具体例を示す図である。
【図２１】新たなジェスチャの登録に用いられるＧＵＩの具体例を示す図である。
【図２２】新たなジェスチャの登録に用いられるＧＵＩの具体例を示す図である。
【図２３】本実施形態が自動販売機システムに適用されることで、ジェスチャによって決済等が実現される場合の処理の例を示すフローチャートである。
【図２４】本実施形態が自動販売機システムに適用されることで、ジェスチャによって決済等が実現される場合の処理の例を示すフローチャートである。
【図２５】本実施形態が自動車や宿泊施設の貸し出しシステムに適用されることで、ジェスチャによって自動車や宿泊施設の開錠等が実現される場合の処理の例を示すフローチャートである。
【図２６】本実施形態に係る第１の装置または第２の装置を具現する情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概要
２．システム構成例
３．装置の機能構成例
４．入力例
５．アルゴリズムの変更等
６．実施例
７．装置のハードウェア構成例
８．むすび
【００１３】
＜１．概要＞
まず、本開示の概要について説明する。
【００１４】
ボイスアシスタントの発達により、ユーザが装置と対話することによって様々な目的を実現できるようになってきた。しかし、ユーザが声を発することができない状況においては、ユーザは、ボイスアシスタントを用いて入力を行うことができないため、例えば、チャット型のアシスタントを用いたり、スマートフォン等のモバイル装置に提供されているＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を用いたりして入力を行っていた。この場合ユーザは、例えばスマートフォン等のモバイル装置を取出して入力操作を行わなければならず、また、移動しながら入力操作を行う等の危険な行為が誘発されていた。
【００１５】
そこで近年、上記の特許文献１のように、ユーザが行ったジェスチャに基づいてソフトウェアに対して入力を行う技術が開発されている。しかし、特許文献１に開示されている技術等によっては、２以上のソフトウェアへの入力を適切に実現することができない場合があった。例えば、ジェスチャによって入力可能なソフトウェアが増加すると、それぞれのソフトウェアにおいて個別にジェスチャが定義される場合が多い。すると、同一のジェスチャによって実現される入力の内容がソフトウェア毎に異なるため、ユーザは、それぞれのソフトウェアにおいて定義されたジェスチャを理解した上で、入力対象であるソフトウェアに応じてジェスチャを行わなければならない。
【００１６】
ジェスチャによる入力が行われる前に、ジェスチャによる入力の方法を音声ガイドによってユーザに説明することも可能であるが、説明に相当時間を要する場合が多く、また、ジェスチャによる入力の方法を音声によって詳細に説明することが困難な場合もある。
【００１７】
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置は、２以上のソフトウェアからの要求に関する情報を受け付け可能であり、要求に対応する音声を聞いたユーザが行ったジェスチャを認識し、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて当該ジェスチャを解析することで、要求に対するユーザの入力に関する情報を算出する。
【００１８】
これによって、ソフトウェアからの要求に対応する音声を出力し、当該音声を聞いたユーザが行ったジェスチャを認識することでソフトウェアへの入力を行う情報処理システムにおいて、本開示は、２以上のソフトウェアへの入力をより適切に実現することができる。より具体的には、２以上のソフトウェアについて、ユーザが容易に理解できる共通ルールを上記のアルゴリズムに反映させることで、ユーザは、共通ルールさえ理解しておけば容易に２以上のソフトウェアへ入力を行うことができる。以降では、本開示の一実施形態について詳細に説明していく。
【００１９】
＜２．システム構成例＞
上記では、本開示の概要について説明した。続いて、図１を参照して、本開示の一実施形態に係る情報処理システムの構成例について説明する。図１は、本実施形態に係る情報処理システムの構成例を示すブロック図である。
【００２０】
図１に示すように、本実施形態に係る情報処理システムは、第１の装置１００と、第２の装置２００と、２以上の第３の装置３００（図１の例では、第３の装置３００ａ〜第３の装置３００ｃ）と、を備える。そして、第１の装置１００および第２の装置２００はネットワーク４００ａに接続され、第２の装置２００と２以上の第３の装置３００のそれぞれは、ネットワーク４００ｂによって接続されている。
【００２１】
第３の装置３００は、当該情報処理システムにおいて、入力の対象となるソフトウェアが実行される情報処理装置である。例えば、第３の装置３００は、ユーザが操作しているスマートフォン等のモバイル装置や各種サーバ等であり、第３の装置３００は、各種ソフトウェアを実行することでユーザに対して各種サービスを提供する。なお、第３の装置３００の種類はこれらに限定されない。また、本実施形態に係る情報処理システムには、２以上の第３の装置３００が設けられるところ、第３の装置３００の台数は特に限定されない（例えば、第３の装置３００は１台であってもよい）。第３の装置３００は、ソフトウェアの処理において、ユーザによる入力を要求する要求情報を第２の装置２００へ送信する。その後、第２の装置２００および第１の装置１００にて入力に関する処理が行われ、第３の装置３００は、入力に関する情報を含む入力情報を第２の装置２００から受信する。これによって、第３の装置３００は、入力情報に基づいてソフトウェアに関する処理を実行することができる。
【００２２】
ここで、第３の装置３００が実行するソフトウェアの処理における要求には、２以上の項目から１または２以上の項目を選択することに関する要求、１または２以上の項目の状態を変更することに関する要求、または連続値から一つの値を選択することに関する要求等が含まれる（なお、これらに限定されない）。
【００２３】
第２の装置２００は、第１の装置１００と共に、ソフトウェアへの入力に関する処理を行う情報処理装置である。例えば、第２の装置２００は、ユーザが操作しているスマートフォン等のモバイル装置、各種サーバ、またはユーザに成り代ってユーザのために各種処理を行い種々の便宜を図る、いわば代理人または秘書としての機能を擬人的に行うエージェント装置等である。なお、第２の装置２００の種類はこれらに限定されない。第２の装置２００は、第１の装置１００と第３の装置３００とのやり取りを仲介する。より具体的には、第２の装置２００は、第３の装置３００から要求情報を受信すると、当該要求情報を解析することで第１の装置１００による音声出力に用いられる音声情報を生成し当該音声情報を第１の装置１００へ送信する。例えば、要求情報には、要求の内容を表すテキスト情報が含まれており、第２の装置２００は、当該テキスト情報をＴＴＳ（Ｔｅｘｔ  ｔｏ  Ｓｐｅｅｃｈ）により音声情報に変換する。なお、音声情報の生成方法はこれに限定されない。その後、第１の装置１００にて音声出力、ジェスチャの認識および解析が行われ、第２の装置２００は、ジェスチャの解析結果を第１の装置１００から受信する。そして、第２の装置２００は、ジェスチャの解析結果に基づいてユーザによる入力の内容を認識し、入力情報として第３の装置３００へ送信する。
【００２４】
第１の装置１００は、第２の装置２００と共に、ソフトウェアへの入力に関する処理、特に音声出力、ジェスチャの認識および解析を行う情報処理装置である。例えば、第１の装置１００は、ユーザが装着している装置（例えば、イヤホン型もしくはメガネ型等のウェアラブル装置、ヘッドホン、ヘッドマウントディスプレイ等）、またはカメラによる人認識機能を備えたエージェント装置等（例えば、スマートスピーカ等）である。なお、第１の装置１００の種類はこれらに限定されない。第１の装置１００は、上記で説明した「本開示に係る情報処理装置」として機能する。すなわち、第１の装置１００は、２以上のソフトウェアからの要求に関する情報を受け付け可能であり、要求に対応する音声を聞いたユーザが行ったジェスチャを認識し、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいてジェスチャを解析することで、要求に対するユーザの入力に関する情報を解析結果として算出する。そして、第１の装置１００は、当該解析結果を第２の装置２００へ送信する。
【００２５】
ここで、「２以上のソフトウェアからの要求に関する情報」とは、２以上の第３の装置３００それぞれで実行されるソフトウェアからの要求情報に基づいて生成された情報（本実施形態では、要求情報に基づいて第２の装置２００によって生成された音声情報）を指してもよいし、要求情報自体を指してもよい。また、「２以上のソフトウェアからの要求に関する情報を受け付け可能」とは、現に要求に関する情報を受け付けているソフトウェアの数が２以上でなければならないことを意味するものではなく、要求に関する情報を受け付けることが可能なソフトウェアの数が２以上であればよい。また、「アルゴリズム」とは、ジェスチャを解析しユーザの入力に関する情報を算出する処理に使用される方法やロジックを指す。また、「ジェスチャ」とは、ユーザの体の動作全般を指す。例えば、首を上下左右に振る、腕を上げる、指を曲げる等の動作は全てジェスチャに含まれる。第１の装置１００は、例えば自装置に備えられる各種センサ（例えば、加速度センサやジャイロセンサなどを含む慣性センサ等）によって取得されたセンサ情報に基づいて、ユーザによって行われたジェスチャを認識する。さらに、「ユーザの入力に関する情報」とは、ユーザの入力を示す情報だけでなく、ユーザの入力に関する何らかの情報であればよい。例えば、ユーザの入力に関する情報とは、ユーザの入力を示す情報（例えば、「選択肢Ａ、選択肢Ｂ、選択肢Ｃから１つを選択してください」という要求に対して「選択肢Ｂを選択する」という入力を示す情報等）だけでなく、認識されたジェスチャに対応する情報等（例えば、「首を上下に振る」というジェスチャに対応する番号「２」等）であってもよい。なお、ユーザの入力に関する情報の内容はこれらに限定されない。
【００２６】
上記の第１の装置１００、第２の装置２００、および第３の装置３００によって実現される処理の具体例を説明する。第３の装置３００から第２の装置２００へ行われる典型的な要求としては、例えば、第３の装置３００が引数としたテキストのリストから一つを選択することに関する要求が挙げられる。第２の装置２００は、そのテキストを解釈し、ユーザへの適切な注意喚起音または指示文言等を追加した上で、ＴＴＳにより生成した音声情報を第１の装置１００へ提供する。提供される音声情報には、先のリストを一つずつ順番に読み上げることを指示する情報が含まれる。第１の装置１００は、リストを読み上げる際に、ユーザによって行われたジェスチャを認識することで入力に関する情報を出力する。そして、第２の装置２００は、ジェスチャ認識の結果として第１の装置１００から提供された入力に関する情報と、その時点での音声出力の内容に基づいて、ユーザがリスト中のどの項目に対してジェスチャを行ったのかを認識することで、リストから選択された項目を認識する。第２の装置２００は、この認識結果を、要求元の第３の装置３００に返すことで、第３の装置３００は、当該戻り値に基づいてソフトウェアに関する処理を実行することができる。
【００２７】
ネットワーク４００は、上記の装置間を所定の通信によって接続するネットワークである。なお、ネットワーク４００に用いられる通信方式および回線の種類等は特に限定されない。例えば、ネットワーク４００は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）等の専用回線網で実現されてもよい。また、ネットワーク４００は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等で実現されてもよい。さらに、ネットワーク４００は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信網で実現されてもよい。また、ネットワーク４００ａおよびネットワーク４００ｂの通信方式および回線の種類は互いに異なっていてもよい。
【００２８】
続いて、図２を参照して、上記の各装置によって行われる処理の流れの例について説明する。図２は、本実施形態に係る各装置によって行われる、入力に関する処理の流れの例を示すシーケンス図である。
【００２９】
ステップＳ１０００では、２以上の第３の装置３００のうちのいずれかが、ユーザによる入力を要求する要求情報を第２の装置２００へ送信する。その後、第２の装置２００は、ステップＳ１００４にて要求情報を解析し、ステップＳ１００８にて要求情報に含まれるテキスト情報を用いてＴＴＳ等の処理を行うことによって音声情報を生成する。ステップＳ１０１２では、第２の装置２００が音声情報等を第１の装置１００へ送信する。より具体的には、第２の装置２００は、音声情報、および入力の対象となるコンポーネント（例えば、ラジオボタンやチェックボックス等）を示す情報を第１の装置１００へ送信する。なお、第２の装置２００が音声情報と併せて送信する情報はコンポーネントを示す情報に限定されない。
【００３０】
ステップＳ１０１６では、第１の装置１００が音声情報を用いて音声を出力し、ユーザによるジェスチャを待機する。ステップＳ１０２０では、第１の装置１００が、例えば自装置に備えられる各種センサによって取得されたセンサ情報に基づいて、ユーザによって行われたジェスチャを認識する。ステップＳ１０２４では、第１の装置１００が、ジェスチャを解析することで、ユーザの入力に関する情報を解析結果として算出する。例えば、第１の装置１００は、入力の対象となるコンポーネント毎に各ジェスチャに対応する情報を把握している。そして、第１の装置１００は、第２の装置２００から通知された、入力の対象となるコンポーネントについて、認識されたジェスチャに対応する情報（例えば、「首を上下に振る」というジェスチャに対応する番号「２」等）を解析結果として算出する。ステップＳ１０２８では、第１の装置１００が解析結果を第２の装置２００へ送信する。
【００３１】
ステップＳ１０３２では、第２の装置２００が、解析結果に基づいてユーザによる入力の内容を認識する。例えば第２の装置２００は、解析結果として提供された、ジェスチャに対応する情報が番号「２」である場合、番号「２」が意味する内容を認識する。具体的には、第２の装置２００は、番号「２」が意味する内容として、２以上の項目から１または２以上の項目を選択すること、１または２以上の項目の状態を変更すること等を認識する。または、第２の装置２００が事前に連続値から一つを選ぶような要求を行い、第１の装置１００が2.0を返した場合、第２の装置２００は、2.0という連続値の選択に対応した動作を行う。ステップＳ１０３６では、第２の装置２００が、ユーザによる入力の内容を入力情報として第３の装置３００へ送信する。
【００３２】
以上の一連の処理によって、第３の装置３００は、ユーザによる入力の内容を認識することができ、当該入力の内容に基づいてソフトウェアに関する処理を実行することができる。また、第１の装置１００が、２以上のソフトウェアについて統一的に規定されたアルゴリズムを用いてジェスチャを解析することによって、ユーザは、当該アルゴリズムにおける共通ルールさえ理解しておけば容易に２以上のソフトウェアへ入力を行うことができる。また、図２に示したように、各装置間で送受信される情報の内容が規定されることによって、各装置の種類に左右されることなくユーザによる入力が実現される。例えば、第３の装置３００は、第１の装置１００や第２の装置２００の種類に左右されることなく、ユーザからの入力を受けることができる。
【００３３】
以上、本実施形態に係る情報処理システムの構成例および各装置の処理例について説明した。なお、図１を参照して説明した上記の構成、および図２を参照して説明した上記の処理はあくまで一例であり、本実施形態に係る情報処理システムの構成および各装置の処理は係る例に限定されない。例えば、各装置の機能は、それぞれ別の装置によって実現されてもよい。例えば、第１の装置１００の機能の全部または一部は、第２の装置２００によって実現されてもよいし、逆に第２の装置２００の機能の全部または一部は、第１の装置１００によって実現されてもよい。本実施形態に係る情報処理システムの構成および各装置の処理は、仕様や運用に応じて柔軟に変形可能である。
【００３４】
＜３．装置の機能構成例＞
上記では、本実施形態に係る情報処理システムの構成例および各装置の処理例について説明した。続いて、本実施形態に係る各装置の機能構成例について説明する。
【００３５】
（３．１．第１の装置１００の機能構成例）
まず、図３を参照して、本実施形態に係る第１の装置１００の機能構成例について説明する。図３は、本実施形態に係る第１の装置１００の機能構成例を示すブロック図である。図３に示すように、第１の装置１００は、制御部１１０と、通信部１２０と、音声出力部１３０と、センサ部１４０と、記憶部１５０と、を備える。また、制御部１１０は、受付部１１１と、音声制御部１１２と、ジェスチャ認識部１１３と、入力処理部１１４と、アルゴリズム変更部１１５と、登録部１１６と、を備える。
【００３６】
制御部１１０は、第１の装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１１０は、制御情報を生成し、当該制御情報を各機能構成に提供することによって、各機能構成の起動や停止等を制御することができる。なお、制御部１１０の機能は特に限定されない。例えば、制御部１１０は、各種サーバ、汎用コンピュータ、ＰＣ（Personal Computer）、またはタブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ（Operating System）に関する処理等）を制御してもよい。
【００３７】
受付部１１１は、２以上のソフトウェアからの要求に関する情報を受け付け可能な機能構成である。より厳密には、受付部１１１は、２以上のソフトウェアから要求を受け付ける第２の装置２００（外部装置）から、要求に関する情報（音声情報等）を受け付け可能な機能構成である。
【００３８】
音声制御部１１２は、音声出力部１３０による音声の出力を制御する機能構成である。より具体的には、音声制御部１１２は、第２の装置２００から提供された音声情報に基づいて音声出力部１３０による音声の出力を制御することで、ソフトウェアからの要求に対する入力をユーザに促す。そして、音声を聞いたユーザが入力のためのジェスチャを行った場合、音声制御部１１２は、入力内容を確認させるため（または、入力内容を報告するため）の音声を音声出力部１３０に出力させる。
【００３９】
なお、音声制御部１１２は、第２の装置２００から提供された音声情報をそのまま用いて音声出力を制御するのではなく、音声出力の態様を適宜変更してもよい。例えば、音声制御部１１２は、ユーザが行ったジェスチャ等に基づいて音声出力の態様を適宜変更してもよい。より具体的には、「首を右に１回振る」というジェスチャで、要求に関する情報（例えば、選択肢となる２以上の各項目）がユーザに提示される場合において、例えば「首を右に１回振る」というジェスチャをユーザが所定の速さ以上の速度で行ったり、別のジェスチャ（例えば、「首を左に１回振る」等）を行ったりすると、音声制御部１１２は、音声を速く出力したり、各項目の音声出力をスキップしたりしてもよい。これによって、音声制御部１１２は、ユーザ所望の態様で音声出力を実現することができる。音声制御部１１２による音声出力の制御の具体例については後段にて詳述する。
【００４０】
ジェスチャ認識部１１３は、要求に対応する音声を聞いたユーザが行ったジェスチャを認識する機能構成である。例えば、ジェスチャ認識部１１３は、センサ部１４０に備えられる慣性センサ等によって取得されたセンサ情報に基づいて第１の装置１００の位置および姿勢を算出することでジェスチャを認識する。
【００４１】
なお、ジェスチャ認識部１１３がジェスチャの認識処理に使用するセンサの種類は特に限定されない。例えば、ジェスチャ認識部１１３は、イメージセンサ（換言すると、カメラ）を使用し、イメージセンサによって出力された撮像画像を解析することでジェスチャを認識してもよい。また、ジェスチャ認識部１１３は、センサ部１４０以外に備えられた各種センサによって取得されたセンサ情報に基づいてジェスチャを認識してもよい。例えば、慣性センサを備える複数の外部装置がユーザの体の関節部分等に装着されており、ジェスチャ認識部１１３は、当該慣性センサによって取得されたセンサ情報に基づいて、外部装置の各装着部分の位置および姿勢を算出することによってジェスチャを認識してもよい。また、ジェスチャ認識部１１３は、当該外部装置の各装着部分の位置および姿勢に基づいてスケルトン情報（例えば、体の部位の情報と、部位間を結ぶ線分であるボーンの情報を含む）を算出することによってジェスチャを認識してもよい。また、ジェスチャ認識部１１３は、ジェスチャが行われる速さ、ジェスチャにおける各部位の向きや高さ、ジェスチャが行われる部位等に応じて各ジェスチャを区別してもよい。例えば、ジェスチャ認識部１１３は、ジェスチャが行われる速さが所定値より速い場合と遅い場合、ジェスチャにおける手足の向きや高さが異なる場合、またはジェスチャが左の手足で行われる場合と右の手足で行われる場合等において、各ジェスチャをそれぞれ別のものとして認識してもよい。
【００４２】
入力処理部１１４は、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいてジェスチャを解析することで、ソフトウェアからの要求に対するユーザの入力に関する情報を算出する機能構成である。例えば、入力処理部１１４は、認識されたジェスチャに対応する情報（例えば、「首を上下に振る」というジェスチャに対応する番号「２」等）を解析結果として算出する。なお上記のように、ユーザの入力に関する情報の内容はこれに限定されない。そして、入力処理部１１４は、ユーザの入力に関する情報を解析結果として第２の装置２００（外部装置）へ提供する。
【００４３】
なお、ユーザによって行われる入力操作はジェスチャ単独でなくてもよい。例えば、ユーザは、各種入力装置（例えば、ボタン、各種センサ、マイクロフォン、マウス、キーボード、タッチパネル、スイッチ、またはレバー等）への入力とジェスチャを組み合わせることで入力を行えてもよい。例えば、ユーザは、ボタンを押下してからジェスチャを行ったり、近接センサに対して手をかざしてからジェスチャを行ったり、マイクロフォンに対して何らかの音声を発してからジェスチャを行ったりすることで入力を行えてもよい。この場合、入力処理部１１４は、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて、ジェスチャだけでなく、ジェスチャと入力装置への入力操作の組合せを解析することで、ユーザの入力に関する情報を算出する。
【００４４】
アルゴリズム変更部１１５は、入力に関する処理に用いられるアルゴリズムを変更する機能構成である。アルゴリズム変更部１１５によって、ユーザは、当該アルゴリズムを所望のアルゴリズムに変更することができる。詳細については後述する。
【００４５】
登録部１１６は、ユーザによって行われるジェスチャを認識し、入力処理部１１４によるユーザの入力に関する情報の算出処理に使用されるものとして新たに登録する機能構成である。登録部１１６によって、ユーザは、入力に用いるジェスチャとして所望のジェスチャを新たに登録することができる。詳細については後述する。
【００４６】
通信部１２０は、外部装置と通信する機能構成である。例えば、通信部１２０は、第２の装置２００から音声情報等を受信する。そして、入力処理部１１４によって入力に関する情報の算出が行われた場合、通信部１２０は、当該入力に関する情報を解析結果として第２の装置２００へ送信する。なお、通信部１２０が通信する情報および通信するケースはこれらに限定されない。
【００４７】
音声出力部１３０は、音声制御部１１２による制御に基づいて音声を出力する機能構成である。例えば、音声出力部１３０は、スピーカや広帯域アクチュエータ（可聴域の振動を出力可能なアクチュエータ）等のような音声出力機構を備え、音声制御部１１２による制御に基づいてソフトウェアからの要求に対応する音声を出力する。なお、音声出力部１３０に備えられる音声出力機構の種類や方式等は特に限定されない。
【００４８】
センサ部１４０は、ジェスチャ認識部１１３によるジェスチャの認識処理に使用されるセンサを備える機能構成である。センサ部１４０は、例えば上記のように、加速度センサやジャイロセンサを含む慣性センサ等を備えるところ、センサ部１４０に備えられるセンサの種類は必ずしもこれに限定されない。
【００４９】
記憶部１５０は、各種情報を記憶する構成である。例えば、記憶部１５０は、受付部１１１によって受け付けられた、ソフトウェアからの要求に関する情報（例えば、音声情報等）、入力処理部１１４の解析結果等を記憶する。また、記憶部１５０は、第１の装置１００の処理に使用されるプログラム（２以上のソフトウェアについて統一的に規定されたアルゴリズムが反映されたプログラム等）やパラメータ等を記憶する。なお、記憶部１５０が記憶する情報はこれらに限定されない。
【００５０】
以上、第１の装置１００の機能構成例について説明した。なお、図３を用いて説明した上記の機能構成はあくまで一例であり、第１の装置１００の機能構成は係る例に限定されない。より具体的には、第１の装置１００は、図３に示す機能構成の一部を備えていなくてもよいし、図３に示していない機能構成を備えていてもよい。また、図３に示す機能構成が外部装置に備えられ、第１の装置１００は当該外部装置と通信連携することによって上記で説明した各機能を実現してもよい。例えば、音声出力部１３０が第１の装置１００に備えられておらず、音声制御部１１２は外部装置に備えられたスピーカ等を制御することで音声を出力させてもよい。
【００５１】
（３．２．第２の装置２００の機能構成例）
続いて、図４を参照して、本実施形態に係る第２の装置２００の機能構成例について説明する。図４は、本実施形態に係る第２の装置２００の機能構成例を示すブロック図である。図４に示すように、第２の装置２００は、制御部２１０と、通信部２２０と、記憶部２３０と、を備える。制御部２１０は、音声制御部２１１と、入力認識部２１２と、を備える。
【００５２】
制御部２１０は、第２の装置２００が行う処理全般を統括的に制御する機能構成である。例えば、制御部２１０は、制御情報を生成し、当該制御情報を各機能構成に提供することによって、各機能構成の起動や停止等を制御することができる。なお、制御部２１０の機能は特に限定されない。例えば、制御部２１０は、各種サーバ、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等において一般的に行われる処理（例えば、ＯＳに関する処理等）を制御してもよい。
【００５３】
音声制御部２１１は、第１の装置１００による音声の出力を制御する機能構成である。例えば、第３の装置３００から提供される要求情報には要求を示すテキスト情報が含まれており、音声制御部２１１は、当該テキスト情報をＴＴＳ等により音声情報に変換する。そして、音声制御部２１１は、通信部２２０を介して音声情報を第１の装置１００へ送信することで、第１の装置１００による音声の出力を制御する。
【００５４】
入力認識部２１２は、第１の装置１００から提供される、ジェスチャの解析結果に基づいてユーザによる入力の内容を認識する機能構成である。例えば、入力認識部２１２は、ジェスチャの解析結果がジェスチャに対応する情報（例えば、「首を上下に振る」というジェスチャに対応する番号「２」等）である場合、当該情報が意味する内容を認識する。具体的には、入力認識部２１２は、ジェスチャに対応する情報が意味する内容として、２以上の項目から１または２以上の項目を選択すること、１または２以上の項目の状態を変更すること等を認識する。または、第２の装置２００が事前に連続値から一つを選ぶような要求を行い、第１の装置１００が2.0を返す場合、入力認識部２１２は、2.0という連続値の選択に対応した動作を行う。なお、入力認識部２１２が認識する入力の内容はこれらに限定されない。そして、入力認識部２１２は、ユーザによる入力の内容を入力情報として出力する。
【００５５】
通信部２２０は、外部装置と通信する機能構成である。例えば、通信部２２０は、要求情報を第３の装置３００から受信し、当該要求情報に基づいて生成された音声情報を第１の装置１００へ送信する。また、第１の装置１００によってジェスチャが解析された後に、通信部２２０は、解析結果を第１の装置１００から受信し、当該解析結果に基づいて出力された入力情報を第３の装置３００へ送信する。なお、通信部２２０が通信する情報および通信するケースはこれらに限定されない。
【００５６】
記憶部２３０は、各種情報を記憶する構成である。例えば、記憶部２３０は、第３の装置３００から提供された要求情報、第１の装置１００から提供された解析結果、または入力認識部２１２によって出力された入力情報等を記憶する。また、記憶部２３０は、第２の装置２００の処理に使用されるプログラムやパラメータ等を記憶する。なお、記憶部２３０が記憶する情報はこれらに限定されない。
【００５７】
以上、第２の装置２００の機能構成例について説明した。なお、図４を用いて説明した上記の機能構成はあくまで一例であり、第２の装置２００の機能構成は係る例に限定されない。より具体的には、第２の装置２００は、図４に示す機能構成の一部を備えていなくてもよいし、図４に示していない機能構成を備えていてもよい。また、図４に示す機能構成が外部装置に備えられ、第２の装置２００は当該外部装置と通信連携することによって上記で説明した各機能を実現してもよい。
【００５８】
ここで、第３の装置３００は、ユーザによる入力を要求する要求情報を生成し、当該要求情報を第２の装置２００へ送信する機能構成、および第２の装置２００から提供される入力情報に基づいてソフトウェアに関する処理を実行する機能構成を備えるところ、これらの機能構成については説明を省略する。
【００５９】
＜４．入力例＞
上記では、本実施形態に係る各装置の機能構成例について説明した。続いて、本実施形態によって実現される入力の具体例について説明する。
【００６０】
（４．１．項目の選択に関する入力１）
まず、図５〜図７を参照して、２以上の項目から１項目を選択することに関する入力（または、１項目の状態を変更することに関する入力）の具体例について説明する。より具体的には、ユーザによって２以上の項目から１項目が選択され、選択と同時に決定される場合の入力（または、ユーザによって１項目の状態が変更され、変更と同時に決定される場合の入力）の具体例について説明する。
【００６１】
図５は、ジェスチャと入力内容との関係の例を示す表である。より具体的には、「首を右に１回振る」が「項目送り」に対応し、「首を左に１回振る」が「項目戻し」に対応し、「うなずく」が「決定（次のメニューへ移動）」に対応し、「首を左右に振る」が「前のメニューへ移動」に対応する場合を想定する。ユーザが図５に示すジェスチャを行った場合、第１の装置１００および第２の装置２００が相互に連携することによって、第２の装置２００の入力認識部２１２は、ジェスチャに対応する入力内容を認識することができる。なお、ジェスチャと入力内容との関係は図５の例に限定されない。
【００６２】
図６は、第１の装置１００の処理およびユーザの動作の流れの例を示すシーケンス図である。なお、図６は、主に第１の装置１００とユーザとのやり取りを説明するための図であるため、第２の装置２００および第３の装置３００の処理が省略されている点に留意されたい（後段で説明する図９、図１２、図１５についても同様）。
【００６３】
図６のステップＳ１１００にて、第１の装置１００の音声制御部１１２が音声出力部１３０を制御することで「うなずくことで選択してください。♪California  ♪Texas  ♪Hawaii  ・・・」という音声を出力させたとする（なお、「♪」は効果音の出力を表している）。なお、ジェスチャ「うなずく」が「決定（次のメニューへ移動）」に対応していることがユーザに認識されている場合には、「うなずくことで」という部分の音声は省略されてもよい。ステップＳ１１０４では、ユーザが「Hawaii」の直後にジェスチャ「うなずく」を実施する。
【００６４】
その後、第１の装置１００のジェスチャ認識部１１３が当該ジェスチャを認識し、入力処理部１１４がジェスチャを解析し解析結果を第２の装置２００へ提供し、第２の装置２００の入力認識部２１２が解析結果に基づいて入力内容を認識する。そして、第２の装置２００の音声制御部２１１と、第１の装置１００の音声制御部１１２が互いに連携することによって、入力内容を確認させるための音声を第１の装置１００の音声出力部１３０に出力させる。例えば、第２の装置２００の音声制御部２１１が入力内容の確認のための音声情報を生成し、第１の装置１００の音声制御部１１２が当該音声情報を用いて音声出力部１３０を制御することで、入力内容を報告するための音声を出力させる。例えば、ステップＳ１１０８では、第１の装置１００の音声出力部１３０が「Hawaiiの選択を決定しました。」という音声を出力する。
【００６５】
図７は、入力のためのＧＵＩが設けられた場合において、図６に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。図６のステップＳ１１０４にて、ユーザが「Hawaii」の直後にジェスチャ「うなずく」を実施することで、図７に示すように、２以上の項目から「Hawaii」という項目が選択され、選択と同時に決定される。なお、図７に示すような、入力のためのＧＵＩは必ずしも設けられなくてもよい。また、ＧＵＩを用いた入力途中でＧＵＩの画面が消された場合などにおいては、入力方法が上記のように音声出力とジェスチャを用いた方法に切り替えられてもよい。逆に、音声出力とジェスチャを用いた入力途中でＧＵＩの画面が立ち上げられた場合などにおいては、入力方法がＧＵＩを用いた方法に切り替えられてもよい。
【００６６】
以上が、ユーザによって、２以上の項目から１項目が選択され、選択と同時に決定される場合の入力（または、ユーザによって、１項目の状態が変更され、変更と同時に決定される場合の入力）の具体例である。
【００６７】
ここで、第１の装置１００は、各項目を選択する際のジェスチャにおいて、ユーザの体の部位が動かされる方向を指定してもよい。例えば、第１の装置１００は、「Californiaは右方向に」、「Texasは左方向に」等のような音声を出力することで、ジェスチャにおいてユーザの体の部位が動かされる方向（例えば、首を振るジェスチャにおいて首を振る方向）を指定してもよい。上記で説明した図６の例では、各項目が読み上げられた後に所定長の空白期間（例えば、１〜３秒程度の空白期間。以降、当該空白期間のような、入力のための期間を「入力期間」と呼称する）が設けられ、ユーザは入力期間内にジェスチャを行うことによって入力を行う必要がある。一方で、第１の装置１００が、ジェスチャにおいて体の部位が動かされる方向を指定することによって、入力期間をより長くすることができる。より具体的には、ある項目の入力に関する音声（例えば、「Californiaは右方向に」）が出力された後であり、別の項目の入力に関する音声（例えば、「Texasは左方向に」）が出力されている状況であっても、各音声で指定された方向が重複しない限り、ユーザは、所望の項目に対応する方向にジェスチャを行うことで当該項目を選択することができる（例えば、右方向に首を振るというジェスチャを行うことによってCaliforniaを選択することができる）。すなわち、第１の装置１００は、指定する方向の数を増やすほど各項目の入力期間をより長くすることができる。
【００６８】
なお、ジェスチャにおける方向の指定方法は、「左方向に」等のように音声で方向を明示する方法だけに限定されない。例えば、第１の装置１００がヘッドホンである場合、第１の装置１００は、ジェスチャにおいて指定する方向の耳側から各項目の音声を出力してもよい。より具体的には、ヘッドホンの右耳側から音声が出力された項目については右方向に所定のジェスチャ（例えば、右方向に首を振るというジェスチャ）が行われることによって選択が行われ、左耳側から音声が出力された項目については左方向に所定のジェスチャが行われることによって選択が行われてもよい。また、第１の装置１００は、各項目を音像で出力し、ジェスチャにおいて指定する方向に当該音像を定位させてもよい。
【００６９】
（４．２．項目の選択に関する入力２）
続いて、図８〜図１０を参照して、２以上の項目から１項目を選択することに関する入力（または、１項目の状態を変更することに関する入力）の具体例について説明する。より具体的には、ユーザによって２以上の項目から１項目が選択され、その選択が別の入力によって決定される場合の入力（または、ユーザによって１項目の状態が変更され、その変更が別の入力によって決定される場合の入力）の具体例について説明する。
【００７０】
図８は、ジェスチャと入力内容との関係の例を示す表である。より具体的には、「首を右に１回振る」および「首を左に１回振る」が「選択」に対応し、「うなずく」が「決定（次のメニューへ移動）」に対応し、「首を左右に振る」が「前のメニューへ移動」に対応する場合を想定する。なお、ジェスチャと入力内容との関係は図８の例に限定されない。
【００７１】
図９は、第１の装置１００の処理およびユーザの動作の流れの例を示すシーケンス図である。ステップＳ１２００にて、第１の装置１００の音声制御部１１２が音声出力部１３０を制御することで「首を右または左に１回振ることで１つを選択してください。♪Radio1  ♪ Radio2  ・・・」という音声を出力させたとする。なお、ジェスチャ「首を右に１回振る」またはジェスチャ「首を左に１回振る」が「選択」に対応していることがユーザに認識されている場合には、「首を右または左に１回振ることで」という部分の音声は省略されてもよい。ステップＳ１２０４では、ユーザが「Radio2」の直後にジェスチャ「首を右に１回振る」を実施する。
【００７２】
その後、第２の装置２００の入力認識部２１２によって入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を確認させるための音声を音声出力部１３０に出力させる。このとき、音声制御部１１２は、項目の選択の有無（または、項目の状態）に応じて音声の出力を制御する。例えば、音声制御部１１２は、選択された項目または選択されていない項目をまとめて音声として音声出力部１３０に出力させる（または、同一の状態を有する項目をまとめて音声として音声出力部１３０に出力させる）。例えば、ステップＳ１２０８にて、音声制御部１１２が音声出力部１３０を制御することで「選択中♪Radio2  未選択♪Radio1  ♪Radio3」という音声を出力させる。ここで、例えば「♪Radio1未選択  ♪Radio2選択中  ♪Radio3未選択」等のように各項目の選択有無が順に音声出力される場合、ユーザは混乱して各項目の選択有無を認識しにくく、かつ、音声出力に要する時間がより長くなる。これに対して上記のように選択された項目や選択されていない項目（または、同一の状態を有する項目）がまとめて音声出力される場合、ユーザは混乱することなく各項目の選択有無（または、各項目の状態）を認識することができ、かつ、音声出力に要する時間がより短くなる。なお、項目の選択の有無（または、項目の状態）に応じた音声出力の制御方法は上記に限定されない。例えば、第１の装置１００がヘッドホンである場合、音声制御部１１２は、項目の選択の有無（または、項目の状態）に応じて、音声を右耳側から出力させるか左耳側から出力させるかを制御してもよい。また、音声制御部１１２は、各項目を音像で出力し、項目の選択の有無（または、項目の状態）に応じて当該音像を定位させる位置を制御してもよい。また、音声制御部１１２は、項目の選択の有無（または、項目の状態）に応じて音質を制御してもよい。
【００７３】
ステップＳ１２１２では、ユーザがジェスチャ「うなずく」を実施する。その後、第２の装置２００の入力認識部２１２によって入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を報告するための音声を音声出力部１３０に出力させる。例えば、ステップＳ１２１６では、第１の装置１００の音声制御部１１２が音声出力部１３０を制御することで「Radio2の選択を決定しました。」という音声を出力させる。
【００７４】
図１０は、入力のためのＧＵＩが設けられた場合において、図９に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。図９のステップＳ１２０４にてユーザが「Radio2」の直後にジェスチャ「首を右に１回振る」を実施し、ステップＳ１２１２にて、ユーザがジェスチャ「うなずく」を実施することで、図１０に示すように、２以上の項目から「Radio2」という項目が選択され、その選択が決定される。
【００７５】
以上が、ユーザによって２以上の項目から１項目が選択され、その選択が別の入力によって決定される場合の入力（または、ユーザによって１項目の状態が変更され、その変更が別の入力によって決定される場合の入力）の具体例である。例えば、ユーザがメールの送信先を選択し決定する場合などのように、より慎重な作業が求められる場合等に特に有用である。なお、この入力例においても、第１の装置１００は、ジェスチャにおいてユーザの体の部位が動かされる方向を指定してもよい。
【００７６】
（４．３．項目の選択に関する入力３）
続いて、図１１〜図１３を参照して、２以上の項目から２以上の項目を選択することに関する入力（または、２以上の項目の状態を変更することに関する入力）の具体例について説明する。より具体的には、ユーザによって２以上の項目から２以上の項目が選択され、その選択が別の入力によって決定される場合の入力（または、ユーザによって２以上の項目の状態が変更され、その変更が別の入力によって決定される場合の入力）の具体例について説明する。
【００７７】
図１１は、ジェスチャと入力内容との関係の例を示す表である。より具体的には、「首を右に１回振る」および「首を左に１回振る」が「選択の切り替え」に対応し（図１１の例では、選択状態を「ｏｎ」と表記し、非選択状態を「ｏｆｆ」と表記している）、「うなずく」が「決定（次のメニューへ移動）」に対応し、「首を左右に振る」が「前のメニューへ移動」に対応する場合を想定する。なお、ジェスチャと入力内容との関係は図１１の例に限定されない。例えば、「首を右に１回振る」が「選択」に対応し、「首を左に１回振る」が「非選択」に対応していてもよい。
【００７８】
図１２は、第１の装置１００の処理およびユーザの動作の流れの例を示すシーケンス図である。ステップＳ１３００にて、第１の装置１００の音声制御部１１２が音声出力部１３０を制御することで「首を右または左に１回振ることで選択してください。♪Football  ・・・」という音声を出力させたとする。なお、ジェスチャ「首を右に１回振る」またはジェスチャ「首を左に１回振る」が「選択の切り替え」に対応していることがユーザに認識されている場合には、「首を右または左に１回振ることで」という部分の音声は省略されてもよい。ステップＳ１３０４では、ユーザが「Football」の直後にジェスチャ「首を右に１回振る」を実施する。
【００７９】
ステップＳ１３０８では、音声制御部１１２が音声出力部１３０を制御することで「♪Basketball  ・・・」という音声を出力させ、ステップＳ１３１２では、ユーザが「Basketball」の直後にジェスチャ「首を右に１回振る」を実施する。このように、各項目について音声が出力され、選択の切り替えのためのジェスチャが実施されていく。
【００８０】
全ての項目について音声の出力およびジェスチャの実施が終了した場合、第２の装置２００の入力認識部２１２により入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を確認させるための音声を音声出力部１３０に出力させる。より具体的には、音声制御部１１２は、項目の選択の有無（または、項目の状態）に応じて音声の出力を制御する。例えば、ステップＳ１３１６にて、音声制御部１１２が音声出力部１３０を制御することで「選択中♪Football  Basketball  Golf  未選択♪Baseball  Hockey  Tennis」という音声を出力させる。これによって、ユーザは混乱することなく各項目の選択有無（または、各項目の状態）を認識することができ、かつ、音声出力に要する時間がより短くなる。なお、項目の選択の有無（または、項目の状態）に応じた音声出力の制御方法は上記に限定されない。
【００８１】
ステップＳ１３２０では、ユーザがジェスチャ「うなずく」を実施する。その後、第２の装置２００の入力認識部２１２により入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を報告するための音声を音声出力部１３０に出力させる。例えば、ステップＳ１３２４では、音声制御部１１２が音声出力部１３０を制御することで「Football  Basketball  Golfの選択を決定しました。」という音声を出力させる。
【００８２】
図１３は、入力のためのＧＵＩが設けられた場合において、図１２に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。図１２のステップＳ１３０４やステップＳ１３１２等にてユーザがジェスチャ「首を右に１回振る」を実施することで項目を選択し、ステップＳ１３２０にてユーザがジェスチャ「うなずく」を実施することで選択を決定した結果、図１３に示すように「Football」、「Basketball」、「Golf」という３項目が選択され、その選択が決定される。
【００８３】
以上が、ユーザによって２以上の項目から２以上の項目が選択され、その選択が別の入力によって決定される場合の入力（または、ユーザによって２以上の項目の状態が変更され、その変更が別の入力によって決定される場合の入力）の具体例である。なお、この入力例においても、第１の装置１００は、ジェスチャにおいてユーザの体の部位が動かされる方向を指定してもよい。
【００８４】
（４．４．連続値からの値の選択に関する入力）
続いて、図１４〜図１６を参照して、連続値（例えば、音量などのアナログ値等）から一つの値を選択することに関する入力の具体例について説明する。より具体的には、ユーザによって連続値から一つの値が選択され、その選択が別の入力によって決定される場合の入力の具体例について説明する。
【００８５】
図１４は、ジェスチャと入力内容との関係の例を示す表である。より具体的には、「首の向きを左右に変える」が「選択」に対応する場合を想定する。より具体的には、首の向きと連続値における各値が対応付けられており、例えば、首がユーザの左側の所定方向（以降、「第１の方向」と呼称する）に向いている場合、連続値における最小値が選択され、首がユーザの右側の所定方向（以降、「第２の方向」と呼称する）に向いている場合、連続値における最大値が選択され、首が第１の方向と第２の方向の中間の方向（以降、「第３の方向」と呼称する）に向いている場合、連続値における中間値が選択される（これは、ジェスチャにおけるユーザの体の部位の変位と連続値における各値とが対応することを意味する）。また、「うなずく」が「決定（次のメニューへ移動）」に対応し、「首を左右に振る」が「前のメニューへ移動」に対応する場合を想定する。なお、ジェスチャと入力内容との関係は図１４の例に限定されない。
【００８６】
図１５は、第１の装置１００の処理およびユーザの動作の流れの例を示すシーケンス図である。ステップＳ１４００にて、第１の装置１００の音声制御部１１２が音声出力部１３０を制御することで「音量を選択してください。首の向きを左右に変えると選択できます。」という音声を出力させたとする。なお、ジェスチャ「首の向きを左右に変える」が「選択」に対応していることがユーザに認識されている場合には、「首の向きを左右に変えると選択できます。」という部分の音声は省略されてもよい。ステップＳ１４０４では、ユーザがジェスチャ「首の向きを左右に変える」を実施する。
【００８７】
その後、第２の装置２００の入力認識部２１２によって入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を確認させるための音声を音声出力部１３０に出力させる。このとき、連続値全体の中での選択された値の大きさをユーザが適切に認識できるように、音声制御部１１２は、連続値において選択された値、および連続値における最大値または最小値に応じて音声の出力を制御してもよい。例えば、選択可能な音量（連続値）の最大値が１０である場合、ステップＳ１４０８にて、音声制御部１１２は、ユーザの首の向きに応じて「１，１０」、「２，１０」・・・「５，１０」等のように、選択された値と連続値における最大値とを順に音声出力させてもよい。これによって、ＧＵＩが設けられない場合（またはＧＵＩを使用することができない場合）であっても、ユーザは、連続値全体の中での選択された値の大きさを適切に認識することができる。
【００８８】
ステップＳ１４１２では、ユーザが所望の値として音量５を選択した状態でジェスチャ「うなずく」を実施する。その後、第２の装置２００の入力認識部２１２により入力内容が認識され、第１の装置１００の音声制御部１１２は、入力内容を報告するための音声を音声出力部１３０に出力させる。例えば、ステップＳ１４１６では、音声制御部１１２が音声出力部１３０を制御することで「音量を５に決定しました。」という音声を出力させる。
【００８９】
なお図１５では、連続値が「音量」である場合を一例として説明したところ、もちろん、連続値はこれに限定されない。例えば、連続値が「音程」である場合、音声制御部１１２は、ユーザの首の向きに応じて「ド，ソ」、「ミ，ソ」、「ソ，ソ」等のように、選択された値と選択可能な音程の最大値とを順に音声出力させてもよい。また、連続値において選択された値、および連続値における最大値または最小値に応じた音声出力の制御方法は図１５の例に限定されない。例えば、連続値が「音量」である場合、音声制御部１１２は、所定の効果音を、選択された音量と、音量の最大値とで順に音声出力させてもよい。また、連続値が「音程」である場合、音声制御部１１２は、所定の効果音を、選択された音程と、音程の最大値とで順に音声出力させてもよい。
【００９０】
図１６は、入力のためのＧＵＩが設けられた場合において、図１５に示した一連の処理によって入力が行われた後のＧＵＩのイメージ図である。図１５のステップＳ１４０４にてユーザがジェスチャ「首の向きを左右に変える」を実施することで音量５を選択し、ステップＳ１４１２にてユーザがジェスチャ「うなずく」を実施することで選択を決定した結果、図１６に示すように音量５が選択され、その選択が決定される。以上が、ユーザによって連続値から一つの値が選択され、その選択が別の入力によって決定される場合の入力の具体例である。
【００９１】
（４．５．その他の入力）
上記で説明してきた入力では、例えば図５に示したように、ジェスチャと入力内容との関係が予め規定されていた。しかし、予め規定されていないジェスチャによる入力が求められる場合がある。例えば、ソフトウェアに新たな機能が追加された場合、この新たな機能については、予め規定されていないジェスチャによる入力が求められる場合がある。
【００９２】
この場合、ソフトウェアを実行する第３の装置３００は、入力のためのジェスチャを指定する情報を要求情報に含めてもよい。そして、第１の装置１００は、例えば「Hawaii行きの航空券を購入する場合には、２回うなずいてください。」等のように、要求の内容（Hawaii行きの航空券の購入有無を確認する要求）を音声出力する際に、入力のためのジェスチャ（２回うなずく）を指定してもよい。そして、第１の装置１００は、指定されたジェスチャがユーザによって行われたか否かを判定し、その結果を第２の装置２００へ提供することで、予め規定されていないジェスチャによる入力を実現する。なお、この場合、指定されるジェスチャの認識処理に使用される情報（例えば、ジェスチャに関するセンサ情報のパターン等）が第１の装置１００へ別途提供されてもよい。
【００９３】
＜５．アルゴリズムの変更等＞
上記では、本実施形態によって実現される入力の具体例について説明した。続いて、入力に関する処理に用いられるアルゴリズムの変更等について説明する。上記のとおり、本実施形態においては２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて入力に関する処理が行われるところ、当該アルゴリズムはユーザによって適宜変更されてもよい。
【００９４】
例えば、図１７に示すように、ソフトウェアＡおよびソフトウェアＢが存在し、ソフトウェアＡには「RadioButton（ラジオボタン）」および「CheckBox（チェックボックス）」がコンポーネントとして含まれており、ソフトウェアＢには「RadioButton」がコンポーネントとして含まれているとする。すなわち、「RadioButton」がソフトウェアＡおよびソフトウェアＢに共通するコンポーネントである。このとき、ユーザは、ソフトウェアＡおよびソフトウェアＢに共通するコンポーネント「RadioButton」についてアルゴリズムを一括して変更することができる。
【００９５】
図１８および図１９は、「RadioButton」についてのアルゴリズムの変更に用いられるＧＵＩの具体例を示す図である。ユーザは、スマートフォン等の様々な情報処理装置を用いて、当該ＧＵＩを使用しながらアルゴリズムの変更を行うことができる（以降、スマートフォン等の様々な情報処理装置を「設定変更用装置」と呼称する）。
【００９６】
図１８には、「RadioButton」に対応するＧＵＩ１０と、選択方法を設定するためのチェックボックス１１と、変更後のアルゴリズムをテストするためのテストボタン１２と、アルゴリズムの変更を決定するための決定ボタン１３が表示されている。まず、ユーザは、図１８に示すように、チェックボックス１１にチェックを入れることで「RadioButton」について所望の選択方法を設定する。図１８の例では、選択方法のうちジェスチャ「うなずく」にチェックが入れられている。
【００９７】
その後、ユーザがテストボタン１２を押下すると、ＧＵＩ１０を用いて所定のテストが行われる。より具体的には、設定変更用装置が、設定変更の内容（例えば、変更対象であるコンポーネントを示す情報、および変更されたジェスチャに関する情報等）およびテストに用いられる音声情報を第１の装置１００へ送信する。第１の装置１００の音声制御部１１２は当該音声情報を用いて音声出力部１３０を制御することによって、図１９に示すように、ＧＵＩ１０の項目「Radio1」、「Radio2」、「Radio3」を順に音声として出力させる。ユーザが先ほど設定したジェスチャ「うなずく」を実施すると、ジェスチャ認識部１１３が当該ジェスチャを認識し、入力処理部１１４が設定変更の内容を反映したアルゴリズムに基づいて当該ジェスチャを解析する。その後、第１の装置１００が解析結果を設定変更用装置へ送信することで、設定変更用装置はＧＵＩ１０をジェスチャに連動させて変更することができる。以上によって、変更後のアルゴリズムのテストが実現される。
【００９８】
その後、ユーザが決定ボタン１３を押下すると、アルゴリズムの変更が決定される。より具体的には、設定変更用装置が、設定変更の内容（例えば、変更対象であるコンポーネントを示す情報、および変更されたジェスチャに関する情報等）を第１の装置１００へ送信し、第１の装置１００のアルゴリズム変更部１１５は、設定変更の内容をアルゴリズムに反映する。このようにユーザは、一度の設定操作で、ソフトウェアＡおよびソフトウェアＢに共通するコンポーネント「RadioButton」についてのアルゴリズムを一括して変更することができる。なお、複数のソフトウェアが共通するコンポーネントを有している場合であっても、アルゴリズムの変更が一部のソフトウェアのみについて行われてもよい。
【００９９】
さらに、ユーザは、入力のために行われるジェスチャとして新たなジェスチャを登録できてもよい。例えば、図２０に示すように、新たなジェスチャを登録するためのジェスチャ登録ボタン１４がＧＵＩに設けられてもよい。ユーザがジェスチャ登録ボタン１４を押下すると、例えば図２１に示すような、ジェスチャの開始ボタン１５が設けられたＧＵＩが表示される。ユーザは、ジェスチャの開始ボタン１５を押下した後、所定長の期間内に（例えば、３〜５秒程度の期間内に）、新たに登録したいジェスチャを行う。より具体的には、設定変更用装置は、ジェスチャの開始ボタン１５が押下されたことを通知する所定の信号を第１の装置１００へ送信し、第１の装置１００の登録部１１６は、所定の信号の受信タイミングから所定長の期間内にユーザによって実施された新たなジェスチャを、センサ部１４０に取得されたセンサ情報を解析することで認識し、当該新たなジェスチャを、入力のために行われるジェスチャとして登録する。
【０１００】
その後、例えば図２２に示すように「登録された新たなジェスチャ」がチェックボックス１１に追加される。そしてユーザが、「登録された新たなジェスチャ」にチェックを入れた状態でテストボタン１２を押下することで、ＧＵＩ１０を用いて所定のテストが行われる。テストの際に第１の装置１００および設定変更用装置によって行われる処理の内容は、図１９を参照して説明したものと同様であるため説明を省略する。以上によって、ユーザは、入力のために行われるジェスチャとして新たなジェスチャを登録することができる。
【０１０１】
なお、ユーザによって登録される対象は、ジェスチャ単独でなくてもよい。例えば、ユーザは、各種入力装置（例えば、ボタン、各種センサ、マイクロフォン、マウス、キーボード、タッチパネル、スイッチ、またはレバー等）への入力操作と組み合わせてジェスチャを登録できてもよい。例えば、ユーザは、ボタンを押下してからジェスチャを行ったり、近接センサに対して手をかざしてからジェスチャを行ったり、マイクロフォンに対して何らかの音声を発してからジェスチャを行ったりする入力操作を登録できてもよい。この場合、入力処理部１１４は、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて、ジェスチャだけでなく、ジェスチャと入力装置への入力操作の組合せを解析することで、ユーザの入力に関する情報を算出する。
【０１０２】
＜６．実施例＞
上記では、入力に関する処理に用いられるアルゴリズムの変更等について説明した。続いて、本実施形態に係る実施例について説明する。
【０１０３】
まず、図２３および図２４を参照して、本実施形態が自動販売機システムに適用されることで、ジェスチャによって決済等が実現される場合の例について説明する。より具体的に説明すると、従来、ユーザが自動販売機で決済を行うためには、例えば、決済可能な電子マネー機能が搭載された装置を自動販売機の所定箇所にかざす等の作業が必要であった。一方、本実施形態を自動販売機システムに適用することによって、ユーザは、電子マネー機能が搭載された装置等を用いることなく決済等を実現することができる。なお、以降の実施例では、第１の装置１００が第２の装置２００の機能も実現するとする（図１を参照して説明したように、各装置が実現する機能の内容は仕様や運用に応じて柔軟に変形可能であるため）。そして、第１の装置１００がイヤホン型のウェアラブル装置であり、第３の装置３００が自動販売機であるとする。
【０１０４】
ステップＳ１５００では、ユーザが第３の装置３００（自動販売機）の商品選択ボタンを押下し、第３の装置３００は当該ボタンが押下されたことを検出する。ステップＳ１５０４では、第３の装置３００が、自装置の前面に向けて配置されているカメラを用いて、商品選択ボタンを押下したユーザの顔画像を取得する。ステップＳ１５０８では、第３の装置３００が、取得した顔画像、および自装置を識別可能な装置ＩＤを、所定の通信方式を用いて周囲の通信可能な装置（第１の装置１００を含む）へ送信する。
【０１０５】
第１の装置１００の記憶部１５０はユーザの顔画像を予め記憶しており、ステップＳ１５１２にて、制御部１１０は、当該顔画像と第３の装置３００から提供された顔画像とを比較することで、それらの類似度に基づいてユーザ認証を行う。これによって、商品選択ボタンを押下したユーザによって装着されている第１の装置１００のみがユーザ認証に成功する。ステップＳ１５１６では、ユーザ認証に成功した第１の装置１００が認証成功通知を第３の装置３００へ送信する。ここで例えば、第３の装置３００がビーコン等を用いる通信のみによって決済を実現しようとすると、ビーコン等の到達範囲内に位置する他のユーザも決済候補になってしまうため、決済を行うべきユーザ（商品を購入するユーザ）を適切に特定することができない。一方、上記の方法で顔画像を用いてユーザ認証が行われることによって、第３の装置３００は、決済を行うべきユーザ（商品を購入するユーザ）を適切に特定することができる。なお、ユーザ認証に用いられる情報は顔画像だけに限定されず、例えば各種生体情報（例えば、指紋情報や虹彩情報等）が用いられてもよい。
【０１０６】
ステップＳ１５２０では、第３の装置３００が、商品に関する様々な要求情報（例えば、商品であるコーヒーへのミルクや砂糖の追加の有無、コーヒーの濃さ等を確認する要求情報）を第１の装置１００へ送信する。ステップＳ１５２４では、第１の装置１００が要求情報を解析する。ステップＳ１５２８では、第１の装置１００が、要求情報に含まれるテキスト情報を用いてＴＴＳ等の処理を行うことによって音声情報を生成する。ステップＳ１５３２では、第１の装置１００が音声情報を用いて音声を出力し、ユーザによるジェスチャを待機する。例えば、第１の装置１００は、「ミルク（または、砂糖）を追加しますか？」、「コーヒーの濃さを選択してください。」等の音声を出力し、ユーザによるジェスチャを待機する。ステップＳ１５３６では、第１の装置１００が、センサ部１４０等によって取得されたセンサ情報に基づいて、ユーザによるジェスチャを認識する。ステップＳ１５４０では、第１の装置１００がジェスチャを解析することで、要求に対するユーザの入力に関する情報を解析結果として算出する。ステップＳ１５４４では、第１の装置１００が、解析結果に基づいてユーザによる入力の内容を認識する。ステップＳ１５４８では、第１の装置１００が、ユーザによる入力の内容を入力情報として第３の装置３００へ送信する。
【０１０７】
ステップＳ１５５２では、第３の装置３００が、決済に関する要求情報を第１の装置１００へ送信する。その後、ステップＳ１５５６〜ステップＳ１５８０では、上記のステップＳ１５２４〜ステップＳ１５４８と同様の処理が行われる。なおステップＳ１５６４では、第１の装置１００は「決済方法を選択してください。」等の音声を出力し、その後、ジェスチャによる入力が行われる。このように決済に関する音声が出力されることで、仮に誤ってユーザ認証が行われたとしても、商品の購入者ではない別人に対して決済処理が行われることが防止される（決済に関する音声が出力されたユーザが、決済を拒否するジェスチャを行えばよいため）。
【０１０８】
ステップＳ１５８４では、第３の装置３００が、第１の装置１００から提供された入力情報に基づいて決済処理を行う。例えば、第３の装置３００は、ジェスチャによって指定された決済方法に基づいて電子マネーによる決済処理やクレジット決済処理等を行う。決済処理に成功した場合、ステップＳ１５８８にて、第３の装置３００は、商品をユーザに提供することで一連の処理が終了する。上記の一連の処理によって、ユーザは、電子マネー機能が搭載された装置等を取出すことなく、商品の選択や決済などを実現することができる。
【０１０９】
なお、上記の実施例において、ユーザが頻繁に行う選択パターン（例えば、商品であるコーヒーへのミルクや砂糖の追加の有無、コーヒーの濃さ等）が記録されることによって、「いつもの選択でよいですか？」等の確認が行われ、入力処理が短縮化されてもよい。また、上記の処理における所定の通信方式に可視光通信等が用いられることで、通信の成功確率を向上させることができる。より具体的に説明すると、第１の装置１００として、イヤホン型のウェアラブル装置やヘッドマウントディスプレイが用いられる場合、これらの装置は常に外部に露出されている可能性が高いため、可視光通信用の受光部が隠れ通信が遮断される可能性が低い。また、上記の実施例において顔画像によるユーザ認証が行われる際に、ユーザがマスクや眼鏡を装着することで、予め記憶されている顔画像との類似度が低くなり、ユーザ認証が失敗することも考えられる。この場合、様々なタイミング（例えば、スマートフォンのロック解除のタイミング等）で取得された複数の顔画像を予め蓄積しておきユーザ認証に使用することで、ユーザ認証の成功確率を向上させることができる。
【０１１０】
また、本実施形態の適用対象は自動販売機システムに限定されない。例えば、本実施形態は、自動車や宿泊施設の貸し出しシステムにも適用可能である。図２５を参照して、より具体的に説明する。図２５は、本実施形態が自動車や宿泊施設の貸し出しシステムに適用されることで、ジェスチャによって自動車や宿泊施設の開錠等が実現される場合のフローチャートである。なお、この実施例においては、第１の装置１００がイヤホン型のウェアラブル装置であり、第３の装置３００が自動車や宿泊施設のドアに備えられた、開錠を行う装置であるとする。
【０１１１】
ステップＳ１６００では、ユーザが第３の装置３００に備えられた所定のボタンを押下し、第３の装置３００は当該ボタンが押下されたことを検出する。ステップＳ１６０４では、第３の装置３００が、自装置の前面に向けて配置されているカメラを用いて、商品選択ボタンを押下したユーザの顔画像を取得する。ステップＳ１６０８では、第３の装置３００が、取得した顔画像、および自動車や宿泊施設を識別可能なＩＤを、所定の通信方式を用いて周囲の通信可能な装置（第１の装置１００を含む）へ送信する。
【０１１２】
第１の装置１００の記憶部１５０はユーザの顔画像を予め記憶しており、ステップＳ１６１２にて、制御部１１０は、当該顔画像と第３の装置３００から提供された顔画像とを比較することで、それらの類似度に基づいてユーザ認証を行う。これによって、所定のボタンを押下したユーザによって装着されている第１の装置１００のみがユーザ認証に成功する。ステップＳ１６１６では、ユーザ認証に成功した第１の装置１００が認証成功通知を第３の装置３００へ送信する。これによって、第３の装置３００は、所定のボタンを押下したユーザ（自動車や宿泊施設を利用しようとするユーザ）を適切に特定することができる。そして例えば、第３の装置３００は、特定したユーザと、事前に登録された利用予定者とを比較すること等によって、特定したユーザが利用予定者であるか否かを適切に判定することができる。なお、ユーザ認証に用いられる情報は顔画像だけに限定されず、例えば各種生体情報（例えば、指紋情報や虹彩情報等）が用いられてもよい。
【０１１３】
ステップＳ１６２０では、第３の装置３００が、様々な要求情報（例えば、開錠の要否等を確認する要求情報）を第１の装置１００へ送信する。その後、ステップＳ１６２４〜ステップＳ１６４８では、図２３のステップＳ１５２４〜ステップＳ１５４８と同様の処理が行われる。なおステップＳ１６３２では、第１の装置１００は「開錠をしますか？」等の音声を出力し、その後、ジェスチャによる入力が行われる。
【０１１４】
ステップＳ１６５２では、第３の装置３００が、第１の装置１００から提供された入力情報に基づいて自動車や宿泊施設を開錠することで一連の処理が終了する。上記の一連の処理によって、ユーザは、所定の鍵や装置等を用いることなく、自動車や宿泊施設を開錠することができる。なお、本実施形態の適用対象は、自動車や宿泊施設の貸し出しシステムにも限定されない。
【０１１５】
＜７．装置のハードウェア構成例＞
上記では、本実施形態に係る実施例について説明した。続いて、図２６を参照して、上記で説明してきた本実施形態に係る第１の装置１００または第２の装置２００のハードウェア構成例について説明する。図２６は、本実施形態に係る第１の装置１００または第２の装置２００を具現する情報処理装置９００のハードウェア構成例を示すブロック図である。本実施形態に係る第１の装置１００または第２の装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１１６】
図２６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
【０１１７】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、第１の装置１００の制御部１１０、または第２の装置２００の制御部２１０を具現し得る。
【０１１８】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１９】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１２０】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、第１の装置１００の音声出力部１３０を具現し得る。
【０１２１】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、第１の装置１００の記憶部１５０、または第２の装置２００の記憶部２３０を具現し得る。
【０１２２】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１２３】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１２４】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、第１の装置１００の通信部１２０、または第２の装置２００の通信部２２０を具現し得る。
【０１２５】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、感圧センサ、地磁気センサ、光センサ、音センサ、または測距センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等の、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、第１の装置１００のセンサ部１４０を具現し得る。
【０１２６】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。ネットワーク９２０は、例えば、ネットワーク４００ａまたはネットワーク４００ｂを具現し得る。
【０１２７】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２８】
なお、上記のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２９】
＜８．むすび＞
以上で説明してきたように、本開示に係る情報処理装置（第１の装置１００）は、２以上のソフトウェアからの要求に関する情報を受け付け可能であり、要求に対応する音声を聞いたユーザが行ったジェスチャを認識し、２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて当該ジェスチャを解析することで、要求に対するユーザの入力に関する情報を算出する。
【０１３０】
このように、本開示に係る情報処理装置（第１の装置１００）が、２以上のソフトウェアについて統一的に規定されたアルゴリズムを用いてジェスチャを解析することによって、ユーザは、当該アルゴリズムにおける共通ルールさえ理解しておけば容易に２以上のソフトウェアへ入力を行うことができる。また、図２に示したように、各装置間で送受信される情報の内容が規定されることによって、各装置の種類に左右されることなくユーザによる入力が実現される。例えば、第３の装置３００は、第１の装置１００や第２の装置２００の種類に左右されることなく、ユーザからの入力を受けることができる。
【０１３１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
２以上のソフトウェアからの要求に関する情報を受け付け可能である受付部と、
前記要求に対応する音声の出力を制御する音声制御部と、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識するジェスチャ認識部と、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出する入力処理部と、を備える、
情報処理装置。
（２）
前記要求は、２以上の項目から１または２以上の項目を選択することに関する要求、１または２以上の項目の状態を変更することに関する要求、または連続値から一つの値を選択することに関する要求を含む、
前記（１）に記載の情報処理装置。
（３）
前記音声制御部は、前記項目の選択の有無または前記項目の状態に応じて前記音声の出力を制御する、
前記（２）に記載の情報処理装置。
（４）
前記音声制御部は、選択された項目または選択されていない項目をまとめて前記音声として出力させるか、同一の状態を有する項目をまとめて前記音声として出力させる、
前記（３）に記載の情報処理装置。
（５）
前記音声制御部は、前記連続値において選択されている値、および前記連続値における最大値または最小値に応じて前記音声の出力を制御する、
前記（４）に記載の情報処理装置。
（６）
前記連続値が選択される場合、前記ジェスチャにおける前記ユーザの体の部位の変位と前記連続値における各値とが対応する、
前記（２）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記入力処理部は、前記アルゴリズムに基づいて、前記ジェスチャだけでなく前記ジェスチャと入力装置への入力操作の組合せを解析することで前記ユーザの入力に関する情報を算出する、
前記（１）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記ユーザからの入力に基づいて前記アルゴリズムを変更するアルゴリズム変更部をさらに備える、
前記（１）から（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザによって行われるジェスチャ、または前記ジェスチャと入力装置への入力操作の組合せを認識し、前記入力処理部による前記ユーザの入力に関する情報の算出処理に使用されるものとして新たに登録する登録部をさらに備える、
前記（１）から（８）のいずれか１項に記載の情報処理装置。
（１０）
前記受付部は、前記２以上のソフトウェアから前記要求を受け付ける外部装置から前記要求に関する情報を受け付け可能であり、
前記入力処理部は、前記要求に対する前記ユーザの入力に関する情報を前記外部装置へ提供する、
前記（１）から（９）のいずれか１項に記載の情報処理装置。
（１１）
２以上のソフトウェアからの要求に関する情報を受け付け可能であり、
前記要求に対応する音声の出力を制御することと、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、を有する、
コンピュータにより実行される情報処理方法。
（１２）
２以上のソフトウェアからの要求に関する情報を受け付け可能であり、
前記要求に対応する音声の出力を制御することと、
前記要求に対応する音声に対してユーザが行ったジェスチャを認識することと、
前記２以上のソフトウェアについて統一的に規定されたアルゴリズムに基づいて前記ジェスチャを解析することで、前記要求に対する前記ユーザの入力に関する情報を算出することと、
をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１３４】
１００    第１の装置
１１０    制御部
１１１    受付部
１１２    音声制御部
１１３    ジェスチャ認識部
１１４    入力処理部
１１５    アルゴリズム変更部
１１６    登録部
１２０    通信部
１３０    音声出力部
１４０    センサ部
１５０    記憶部
２００    第２の装置
２１０    制御部
２１１    音声制御部
２１２    入力認識部
２２０    通信部
２３０    記憶部
３００ａ、３００ｂ、３００ｃ    第３の装置
４００ａ、４００ｂ    ネットワーク
【図１】
2019176441.tif 000003
【図２】
2019176441.tif 000004
【図３】
2019176441.tif 000005
【図４】
2019176441.tif 000006
【図５】
2019176441.tif 000007
【図６】
2019176441.tif 000008
【図７】
2019176441.tif 000009
【図８】
2019176441.tif 000010
【図９】
2019176441.tif 000011
【図１０】
2019176441.tif 000012
【図１１】
2019176441.tif 000013
【図１２】
2019176441.tif 000014
【図１３】
2019176441.tif 000015
【図１４】
2019176441.tif 000016
【図１５】
2019176441.tif 000017
【図１６】
2019176441.tif 000018
【図１７】
2019176441.tif 000019
【図１８】
2019176441.tif 000020
【図１９】
2019176441.tif 000021
【図２０】
2019176441.tif 000022
【図２１】
2019176441.tif 000023
【図２２】
2019176441.tif 000024
【図２３】
2019176441.tif 000025
【図２４】
2019176441.tif 000026
【図２５】
2019176441.tif 000027
【図２６】
2019176441.tif 000028
【国際調査報告】
2019176441.tif 000029
2019176441.tif 000030
2019176441.tif 000031
2019176441.tif 000032