(57)【要約】ユーザの言動の特性に起因する装置の処理の誤発火を効率的に防止するために、ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、を備え、前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置。
2020031367.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、  を備え、  前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置。
【請求項２】
前記候補言動は、前記行動ログから抽出された複数の前記所定の言動のうち、抽出された回数が所定の回数より少ない前記所定の言動である、請求項１に記載の情報処理装置。
【請求項３】
前記トリガは、前記ユーザとエージェント機能との間のインタラクションを開始する起動トリガを含む、請求項１に記載の情報処理装置。
【請求項４】
前記通知制御部は、複数の前記所定の言動の組み合わせから成る前記候補言動を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項５】
複数の前記所定の言動の組み合わせから成る前記候補言動は、前記行動ログから抽出された複数の前記所定の言動に関し、全ての前記所定の言動が所定の回数以上認識された場合に、前記トリガとして適していると推定される、請求項４に記載の情報処理装置。
【請求項６】
前記通知制御部は、推定された複数の前記候補言動のうち、いずれの前記候補言動を前記トリガとして適用するかの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項７】
前記通知制御部は、推定された前記候補言動を、複数の前記所定の処理のうち、いずれの前記所定の処理の実行に係る前記トリガとして適用するかの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項８】
前記通知制御部は、前記ユーザの所定の状況に応じて、推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項９】
前記候補言動に係る情報は、少なくとも前記候補言動の種別を含む、請求項１に記載の情報処理装置。
【請求項１０】
前記候補言動に係る情報は、少なくとも前記候補言動の大きさを含む、請求項１に記載の情報処理装置。
【請求項１１】
前記通知制御部は、前記トリガとして適用された前記言動の誤発火が推定された場合に、前記トリガに係る言動の大きさを変更するか否かを、前記ユーザに対し通知させる、請求項１０に記載の情報処理装置。
【請求項１２】
前記候補言動に係る情報は、少なくとも前記候補言動の回数を含む、請求項１に記載の情報処理装置。
【請求項１３】
前記通知制御部は、前記トリガとして適用された前記言動の誤発火が推定された場合に、前記トリガに係る言動の回数を変更するか否かを、前記ユーザに対し通知させる、請求項１２に記載の情報処理装置。
【請求項１４】
前記候補言動は、少なくとも１のジェスチャを含み、  前記通知制御部は、前記ジェスチャの実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項１５】
前記候補言動は、少なくとも１の発話を含み、  前記通知制御部は、前記発話の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、請求項１に記載の情報処理装置。
【請求項１６】
前記所定の処理は、ウェアラブル装置により実行される、請求項１に記載の情報処理装置。
【請求項１７】
前記所定の処理は、ヒアラブル装置により実行される、請求項１に記載の情報処理装置。
【請求項１８】
前記行動ログから認識された複数の前記所定の言動のうち、前記所定の処理の実行に係る前記トリガとして適している前記候補言動を推定する推定部、  をさらに備え、  前記推定部は、前記候補言動を、前記行動ログから抽出され得る前記言動の回数に基づいて推定する、請求項１に記載の情報処理装置。
【請求項１９】
プロセッサが、  ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させることと、  前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させることと、  を含み、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理方法。
【請求項２０】
コンピュータを、  ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、  を備え、  前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】  近年、ジェスチャや発話を用いて操作を行うことが可能な装置が普及している。また、上記のような装置を利用するユーザの利便性を高めるための技術が開発されている。特許文献１では、操作に用いるジェスチャに関する姿勢の変化量をユーザに示すことで、ジェスチャ操作を容易にする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２１４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  しかし、特許文献１に開示される装置の場合、ユーザの行動の癖などが、操作に用いるジェスチャと類似する場合、ユーザが意図しないタイミングで、ジェスチャが認識され装置の処理の誤発火が起こる可能性がある。【０００５】  そこで、本開示では、ユーザの言動の特性に起因する装置の処理の誤発火を効率的に防止することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００６】  本開示によれば、ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、を備え、前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置が提供される。【０００７】  本開示によれば、プロセッサが、ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させることと、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させることと、を含み、前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理方法が提供される。【０００８】  本開示によれば、コンピュータを、ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、を備え、前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】  以上説明したように本開示によれば、ユーザの言動の特性に起因する装置の処理の誤発火を効率的に防止することが可能である。【００１０】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】ジェスチャによる機器の操作の一例について説明するための図である。
【図２】起動ジェスチャよる装置の操作の一例について説明するための図である。
【図３】本実施形態に係る通知制御の概要について説明するための図である。
【図４】本実施形態に係る情報処理端末１０の基本構造を示す図である。
【図５】耳穴開放型の情報処理端末１０がユーザの耳に音波を出力する様子が示されている。
【図６】本実施形態に係る情報処理システムの構成例を示すブロック図である。
【図７】本実施形態に係る情報処理端末１０の機能構成例を示すブロック図である。
【図８】本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。
【図９】本実施形態に係るトリガとして適していると複数のジェスチャが推定された場合の一例を示す図である。
【図１０】本実施形態に係る候補言動を複数の処理のうち、いずれの処理に割り当てるかを問い合わせる場合の一例を示す図である。
【図１１】本実施形態に係るトリガとして適用部２５０が適用したジェスチャの大きさ変更の通知をする場合の一例を示す図である。
【図１２】本実施形態に係るトリガとして適用部２５０が適用したジェスチャの回数変更の通知をする場合の一例を示す図である。
【図１３】本実施形態に係るトリガとして適用された言動の組み合わせに係る情報を通知する場合の一例を示す図である。
【図１４】本実施形態に係るユーザの状況に応じて処理の実行に係るトリガとして適用部２５０が適用したジェスチャに係る情報を通知する場合の一例を示す図である。
【図１５】本実施形態に係る通知の一例について説明するための図である。
【図１６】本実施形態に係るトリガとして適した候補言動を推定し、適用する流れの一例を示すフローチャートである。
【図１７】本実施形態に係るジェスチャ処理における制御の流れの一例を示すフローチャートである。
【図１８】本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】  なお、説明は以下の順序で行うものとする。  １．実施形態    １．１．概要    １．２．情報処理端末１０の一例    １．３．システム構成例    １．４．情報処理端末１０の機能構成例    １．５．情報処理サーバ２０の機能構成例    １．６．適用に係る問い合わせ通知の具体例    １．７．制御の流れ  ２．ハードウェア構成例  ３．まとめ
【００１４】  ＜１．実施形態＞  ＜＜１．１．概要＞＞  まず、本開示の一実施形態の概要について説明する。上述したように、近年では、ジェスチャや発話を用いて操作を行うことが可能な装置が普及している。ユーザは、上記のような装置に対し、例えば、頷き、首振りなどの所定のジェスチャを行うことや、起動ワード（Ｗａｋｅ  ｕｐ  ｗｏｒｄ）を発話することにより、種々の処理を実行させることができる。
【００１５】  また、ジェスチャや発話を用いて操作を行う装置の一例としては、ウェアラブル装置が挙げられる。ウェアラブル装置には、例えば、ユーザの頭部に装着され、視覚情報や音声情報を提供するヘッドマウントディスプレイが挙げられる。
【００１６】  一方、近年では、ウェアラブル装置の一種として、ユーザの耳に装着されるヒアラブル装置などの、表示装置を有しない端末も普及している。ヒアラブル装置の場合、ユーザは、例えば、発話、機器操作（ボタン押下、タッチ操作など）やジェスチャにより、装置の操作を行うことができる。
【００１７】  しかし、発話による操作制御は、例えば公共の場所などにおいては、周囲への迷惑となり得ることや、心理的な抵抗感があることなどが原因で、困難な場合も多い。また、他の端末を用いる操作、例えばヒアラブル装置と連携するスマートフォンなどの端末に対するタッチ操作、は煩雑になる。また、ヒアラブル装置は、視覚的に確認ができる情報が少なく、ヘッドマウントディスプレイなどの表示装置を有するウェアラブル装置と比べて、装置の操作の幅が狭くなり得る。そのため、他の操作方法と比べてジェスチャを用いて装置の操作を行う方が、ユーザにとって利便性が高い。
【００１８】  図１は、ジェスチャによる機器の操作の一例について説明するための図である。図１には、情報処理端末１０を装着し、ジェスチャを実行しているユーザＵが示されている。この際、ユーザＵは、ジェスチャを行うことで、各々のジェスチャに対応する所定の処理を情報処理端末１０に実行させることが可能である。ここで、所定の処理とは、情報処理端末１０に備わった機能の実行、例えば「音楽再生」、「次の曲へスキップ」、「電話をかける」など、をいう。例えば、ユーザＵがうなずくと、情報処理端末１０は音楽再生処理もしくは停止処理を実行する。また、ユーザＵが右を向くと、情報処理端末１０は現在再生中の音楽から次の曲へのスキップ処理を実行する。また、ユーザＵが左を向くと、情報処理端末１０は現在再生中の音楽から前の曲へ戻る処理を実行する。
【００１９】  図２は、起動ジェスチャよる装置の操作の一例について説明するための図である。図２には、情報処理端末１０を装着し、起動ジェスチャを実行するユーザＵが示されている。ここで、起動ジェスチャとは、情報処理端末１０を介してエージェント機能との間のインタラクションを開始する起動トリガとして適用されたジェスチャをいう。図２に示す一例の場合、ユーザＵは、起動ジェスチャの一例として、首をかしげる動作を行っている。ここで、ユーザＵによる起動ジェスチャが認識された場合、エージェント機能が起動し、ユーザＵと当該エージェント機能との間のインタラクションが開始する。この際、情報処理端末１０は、当該インタラクションが開始したことをユーザＵに対し通知するためのシステム発話ＳＯ１を実行する。
【００２０】  図１および図２で示したように、ジェスチャを用いて操作を行うことが可能な装置では、種々のジェスチャが、各々の処理を実行させるトリガとして割り当てられる。
【００２１】  しかしながら、上記のようなジェスチャに類似する行動は、日常生活においても発生し得るため、例えば、ユーザのジェスチャの癖などが、処理のトリガとして用いられるジェスチャと類似する場合、ユーザが意図しないタイミングで、装置の処理が誤発火（誤発生）してしまう場合がある。例えば、首をかしげるジェスチャで操作を行う装置を、首をかしげるジェスチャの癖があるユーザが利用する場合、他のユーザよりも誤発火が多くなってしまう。ここで、誤発火とは、ユーザが意図しないイベント処理が発生してしまうことをいう。
【００２２】  本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、ユーザの言動による装置の処理の誤発火を防止することが可能である。このために、本開示の一実施形態に係る情報処理装置は、ユーザの行動ログから抽出された複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、ユーザに対し通知させる機能を有する。また、本実施形態に係る情報処理装置は、行動ログから推定された候補言動の実行を、当該トリガとして適用するか否かの問い合わせを、ユーザに対しさらに通知させることと、候補言動は、行動ログから認識された所定の言動の回数に基づいて推定されること、を特徴の一つとする。
【００２３】  図３は、本実施形態に係る通知制御の概要について説明するための図である。図３上段には、ユーザＵの行動ログを蓄積した行動ログ蓄積部２３０、および上記の行動ログから抽出された、所定の言動の回数を示す認識結果Ｒが示されている。
【００２４】  ここで、所定の言動とは、あらかじめ定められた言動であり、処理の実行に係るトリガとして実用的な言動をいう。また、当該行動ログは、例えばユーザＵの１日分の行動履歴が蓄積された行動ログでもよい。
【００２５】  図３上段において、後述する情報処理サーバ２０は、ユーザＵの行動ログから抽出された複数の言動に基づいて、処理の実行に係るトリガとして適した候補言動を推定する。具体的には、情報処理サーバ２０は、当該行動ログから抽出された認識結果Ｒに含まれる所定の動作や発話の回数に基づいて、当該候補言動を推定する。
【００２６】  図３上段に示す一例の場合、例えば、認識結果Ｒには、それぞれ「うなずく」動作が５回、「首をかしげる」動作が１回、「首を横に振る」動作が４回認識されたことがわかる。この際、情報処理サーバ２０は、上記３種類の動作のうち、抽出された回数が最も少ない動作である「首をかしげる」動作を、処理の実行に係るトリガとして適していると推定してもよい。この際、抽出された回数が最も少ない動作を当該トリガとすることで、ユーザが意図しないタイミングで、当該動作が認識され装置の処理の誤発火が起こる可能性が、最も低くなる。
【００２７】  図３下段には、所定の言動を所定の処理の実行に係るトリガとして適用するか否かの問い合わせを、ユーザＵに通知するためのシステム発話ＳＯ２を実行する情報処理端末１０を装着したユーザＵが示されている。ここで、情報処理端末１０は、上記の認識結果Ｒに基づいて、処理の実行に係るトリガとして適していると情報処理サーバ２０が推定した候補言動を、当該トリガとして適用するか否かの問い合わせをユーザＵに対し通知することができる。
【００２８】  図３下段に示す一例の場合、本実施形態に係る情報処理端末１０は、「首をかしげる」ジェスチャを起動ジェスチャとして適用するか否かの問い合わせを通知するシステム発話ＳＯ２を実行していている。
【００２９】  このように、本実施形態に係る情報処理端末１０および情報処理サーバ２０によれば、ユーザの言動の特性に基づいて、処理の実行に係るトリガとして適している候補言動に係る情報をユーザに対し通知することができる。係る機能によれば、ユーザが処理の実行を意図しない場面において、当該処理が実行される、すなわち誤発火が発生する、ことを効率的に防止することができる。また、各々のユーザに自身の行動の癖を知らせることで、候補言動をトリガとして適用することで、今後誤発火が起こる可能性が低くなることをユーザに把握させることなどが可能となる。
【００３０】  ここで、本実施形態に係る情報処理端末１０は、上記の候補言動が処理の実行に係るトリガとして適用された場合、当該候補言動に係る情報をユーザＵに対し通知してもよい。図３の一例においては、本実施形態に係る情報処理端末１０は、起動ジェスチャとして適していると推定部２４０が推定した「首をかしげる」動作に係る情報をユーザＵに対し通知し、実行するように促してもよい。
【００３１】  ＜＜１．２．情報処理端末１０の一例＞＞  次に、本実施形態に係る情報処理端末１０の一例について説明する。本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、ユーザに対し通知する情報処理装置である。図４は、本実施形態に係る情報処理端末１０の基本構造を示す図である。なお、図４には、本実施形態に係る情報処理端末１０がヒアラブル装置である場合の基本構造の一例が示されている。
【００３２】  図４を参照すると、本実施形態に係る情報処理端末１０は、音響を発生する音響発生部６１０、音響発生部６１０により発せられる音響を一端６２１から取り込む音導部６２０、音導部６２０を他端６２２付近で保持する保持部６３０を備える。音導部６２０は、例えば、内径が１〜５ミリメートルの中空の管材からなり、その両端はともに開放端であってよい。また、音導部６２０の一端６２１は、音響発生部６１０からの発生音の音響入力孔であり、他端６２２は音響出力孔として機能する。したがって、一端６２１が音響発生部６１０に取り付けられることで、音導部６２０は片側開放状態となっている。
【００３３】  また、保持部６３０は、外耳道の入り口付近（例えば、珠間切痕）と係合して、音導部６２０の他端６２２の音響出力孔が外耳道の奥側を向くように、音導部６２０を他端６２２付近で支持する。音導部６２０の少なくとも他端６２２付近の外径は、耳穴の内径よりもはるかに小さくなるように形成されている。したがって、音導部６２０の他端６２２が保持部６３０によって外耳道の入り口付近で保持されている状態でも、ユーザの耳穴を塞ぐことはない。すなわち、耳穴は開放されている。情報処理端末１０は、一般的なイヤホンとは異なり、「耳穴開放型」ということができる。
【００３４】  また、保持部６３０は、音導部６２０を保持した状態でも、外耳道入口（耳穴）を外界に開放する開口部６３１を備えている。図４に示す一例では、保持部６３０はリング状の構造体であり、内側の一部において音導部６２０の他端６２２付近と連結しているので、リング状構造体のそれ以外の部分はすべて開口部６３１となる。なお、保持部６３０は、リング状構造に限定されるものではなく、中空構造を備えていれば、音導部６２０の他端６２２を支持できる任意の形状でよい。
【００３５】  管状の音導部６２０は、音響発生部６１０により発せられる音響をその一端６２１から管内に取り込むと、空気振動を伝搬して、保持部６３０によって外耳道入口付近に保持された他端６２２から外耳道にむけて放出して、鼓膜に伝える。
【００３６】  上述したように、音導部６２０の他端６２２付近を保持する保持部６３０は、外耳道の入口（耳穴）を外界に開放する開口部６３１を備えている。したがって、情報処理端末１０を装着している状態でも、ユーザの耳穴を塞ぐことはない。ユーザは、情報処理端末１０を装着して音響発生部６１０から出力される音響を聴取している間も、開口部６３１を介して周囲音を十分に聴取することができる。
【００３７】  また、本実施形態に係る情報処理端末１０は、耳穴を開放しているが、音響発生部６１０からの発生音（再生音）の外部への漏れを防止することができる。なぜならば、音導部６２０の他端６２２が外耳道の入口付近で奥を向くように取り付けられ、発生音の空気振動を鼓膜の近くで放射することから、出力を小さくしても十分な音質を得ることができるからである。
【００３８】  また、音導部６２０の他端６２２から放射される空気振動の指向性も音漏れの防止に寄与する。図５には、耳穴開放型の情報処理端末１０がユーザの耳に音波を出力する様子が示されている。図５に示すように、音導部６２０の他端６２２から外耳道の内部に向けて空気振動が放射される。外耳道７００は、外耳道入口７０１から始まり鼓膜７０２の内側で終了する穴であり、一般的におよそ２５〜３０ミリメートルの長さがある。外耳道７００は、筒状をした閉空間である。このため、音導部６２０の他端６２２から外耳道７００の奥に向かって放射された空気振動は、参照番号７１１で示すように、指向性を以って鼓膜７０２まで伝搬する。また、空気振動は、外耳道７００内では音圧が上がることから、とりわけ低域の感度（ゲイン）が向上する。他方、外耳道７００の外側すなわち外界は開空間である。このため、音導部６２０の他端６２２から外耳道７００の外に放射された空気振動は、参照番号７１２で示すように、外界では指向性がなく、急峻に減衰する。
【００３９】  再び図４を参照しながら説明する。管状の音導部６２０は、中間部分に耳介の背面側から正面側に折り返す屈曲形状を有している。この屈曲部分は、開閉構造を有するピンチ部６２３となっており、ピンチ力を発生して耳垂を挟持することができる。
【００４０】  また、音導部６２０は、外耳道の入口付近に配設される他端６２２と、屈曲するピンチ部６２３の間に、変形部６２４をさらに有している。変形部６２４は、過度な外力が作用すると変形して、音導部６２０の他端６２２が必要以上に外耳道の奥に入り込まないようにする機能を有する。
【００４１】  以下、本実施形態に係る情報処理装置が有する特徴と当該特徴が奏する効果について詳細に説明する。なお、以下においては、情報の通知を行う情報処理端末１０がヒアラブル装置である場合を主な例として説明するが、本実施形態に係る情報処理端末１０は係る例に限定されない。本実施形態に係る情報処理端末１０は、ユーザに対し候補言動に係る情報を通知させる種々の装置であり得る。
【００４２】  ＜＜１．３．システム構成例＞＞  次に、本開示の一実施形態に係る情報処理システムの構成例について説明する。図６は、本実施形態に係る情報処理システムの構成例を示すブロック図である。当該情報処理システムは、情報処理端末１０、情報処理サーバ２０を備える。また、上記の各構成は、互いに情報通信が行えるように、ネットワーク３０を介して接続される。
【００４３】  （情報処理端末１０）  本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、ユーザに対し通知する情報処理装置である。本実施形態に係る情報処理端末１０は、例えば、図４および図５を用いて説明したような、ヒアラブル装置であってもよい。一方、本実施形態に係る情報処理端末１０は係る例に限定されない。本実施形態に係る情報処理端末１０は、例えば、ヘッドマウントディスプレイのようなウェアラブル装置、据え置き型または自律移動型の専用装置であってもよい。本実施形態に係る情報処理端末１０は、ユーザのジェスチャや発話に基づいて、処理を実行する種々の装置であり得る。
【００４４】  また、本実施形態に係る情報処理端末１０は、各種センサ、例えば加速度センサ、を用いてユーザの行動や周囲の環境に係るセンサ情報を収集する機能を有する。情報処理端末１０が収集するセンサ情報は、情報処理サーバ２０に蓄積され、処理の実行に係るトリガとして適している候補言動の推定に用いられる。
【００４５】  （情報処理サーバ２０）  本実施形態に係る情報処理サーバ２０は、センサ情報から所定の言動を認識し、ユーザの行動ログとして蓄積する。また、本実施形態に係る情報処理サーバ２０は、行動ログに記憶される所定の言動の回数に基づいて、処理の実行に係るトリガとして適している候補言動を推定し、当該候補言動に係る情報をユーザに対し通知させる。この際、本実施形態に係る情報処理サーバ２０は、上記行動ログから推定した候補言動の実行を、トリガとして適用するか否かの問い合わせを、ユーザに対し通知させること、を特徴の一つとする。本実施形態に係る情報処理サーバ２０が有する機能の詳細については別途後述する。
【００４６】  （ネットワーク３０）  ネットワーク３０は、情報処理システムが備える各構成を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００４７】  以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図６を用いて説明したシステム構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０および情報処理サーバ２０が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【００４８】  ＜＜１．４．情報処理端末１０の機能構成例＞＞  次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図７は、本実施形態に係る情報処理端末１０の機能構成例を示すブロック図である。図７を参照すると、本実施形態に係る情報処理端末１０は、サーバ通信部１１０、表示部１２０、音声出力部１３０、撮像部１４０、音声入力部１５０、センサ部１６０、および制御部１８０を備える。
【００４９】  （サーバ通信部１１０）  本実施形態に係るサーバ通信部１１０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う機能を有する。具体的には、サーバ通信部１１０は、音声入力部１５０が収集した音情報や、センサ部１６０が収集したセンサ情報を情報処理サーバ２０に送信する。また、サーバ通信部１１０は、情報処理サーバ２０から、処理の実行に係るトリガとして適していると、後述する推定部２４０が推定した候補言動に係る情報などを受信する。
【００５０】  （表示部１２０）  本実施形態に係る表示部１２０は、制御部１８０の制御下で、画像やテキストなどの視覚情報を出力する機能を有する。本実施形態に係る表示部１２０は、視覚情報を提示する表示デバイスなどを備える。上記の表示デバイスには、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、タッチパネルなどが挙げられる。また、本実施形態に係る表示部１２０は、必ずしも情報処理端末１０に備えられていなくてもよい。例えば、情報処理端末１０は、ネットワーク３０を介して、スマートフォンを表示部１２０として利用してもよい。
【００５１】  （音声出力部１３０）  本実施形態に係る音声出力部１３０は、音声発話を含む種々の音を出力する機能を有する。本実施形態に係る音声出力部１３０は、情報処理サーバ２０による制御に基づいて、ユーザに対し候補言動に係る情報を通知する通知部ともいえる。このために、本実施形態に係る音声出力部１３０は、スピーカやアンプなどの音声出力装置を備える。
【００５２】  （撮像部１４０）  本実施形態に係る撮像部１４０は、ユーザや周囲環境の動画像を撮像する機能を有する。撮像部１４０が撮像した画像情報は、情報処理サーバ２０によるユーザの行動認識や状態認識、周囲環境の認識に用いられる。本実施形態に係る撮像部１４０は、画像を撮像することが可能な撮像装置を備える。なお、上記の画像には、動画像のほか静止画像が含まれる。
【００５３】  （音声入力部１５０）  本実施形態に係る音声入力部１５０は、ユーザによる発話や、情報処理端末１０の周囲で発生する周囲音などの音情報を収集する機能を有する。音声入力部１５０が収集する音情報は、情報処理サーバ２０による音声認識や周囲環境の認識などに用いられる。本実施形態に係る音声入力部１５０は、音情報を収集するためのマイクロフォンを備える。
【００５４】  （センサ部１６０）  本実施形態に係るセンサ部１６０は、ユーザの行動や周囲環境に係るセンサ情報を、各種センサを用いて収集する機能を有する。後述する認識部２２０は、センサ部１６０が収集したセンサ情報に基づいて、所定の動作を認識する。センサ部１６０は、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）信号受信装置などを備える。
【００５５】  （制御部１８０）  本実施形態に係る制御部１８０は、情報処理端末１０が備える各構成を制御する機能を有する。制御部１８０は、例えば、各構成の起動や停止を制御する。また、制御部１８０は、サーバ通信部１１０が受信した情報処理サーバ２０により生成される制御信号を表示部１２０や音声出力部１３０に入力する。また、本実施形態に係る制御部１８０は、後述する情報処理サーバ２０の通知制御部２６０と同等の機能を有してもよい。
【００５６】  以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図７を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。例えば、上述したように、本実施形態に係る制御部１８０は、情報処理サーバ２０の通知制御部２６０と同等の機能を有してもよい。本実施形態に係る情報処理端末１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００５７】  ＜＜１．５．情報処理サーバ２０の機能構成例＞＞  次に、本実施形態に係る情報処理サーバ２０の機能構成例について説明する。図８は、本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。図８を参照すると、本実施形態に係る情報処理サーバ２０は、通信部２１０、認識部２２０、行動ログ蓄積部２３０、推定部２４０、適用部２５０、通知制御部２６０、および処理制御部２７０を備える。
【００５８】  （通信部２１０）  本実施形態に係る通信部２１０は、ネットワーク３０を介して情報処理端末１０との情報通信を行う機能を有する。例えば、通信部２１０は、情報処理端末１０からセンサ情報や音情報を受信し、後述する推定部２４０が処理の実行に係るトリガとして適していると推定した候補言動に係る情報を情報処理端末１０に送信する。
【００５９】  （認識部２２０）  本実施形態に係る認識部２２０は、情報処理端末１０が収集したセンサ情報に基づいてユーザの言動を認識する機能、すなわちジェスチャ認識機能および音声認識機能、を有する。認識部２２０は、通信部２１０から受信したセンサ情報や音情報から所定の言動を認識し、当該言動に係る情報を行動ログ蓄積部２３０へ送信する。なお、認識部２２０は、収集された加速度情報、角速度情報、音声や画像などに基づいて、種々の言動や周囲環境を認識することが可能である。
【００６０】  （行動ログ蓄積部２３０）  本実施形態に係る行動ログ蓄積部２３０は、認識部２２０が認識したユーザの言動に関する行動ログを蓄積する。また、本実施形態に係る行動ログ蓄積部２３０は、情報処理端末１０に対するユーザの操作履歴（特に、認識部２２０が認識したジェスチャ、および当該ジェスチャに対応する操作の履歴）を蓄積する。当該行動ログおよび当該操作履歴は、推定部２４０により、候補言動の推定に用いられる。
【００６１】  （推定部２４０）  本実施形態に係る推定部２４０は、行動ログ蓄積部２３０に蓄積されたユーザの行動ログから複数の所定の言動を抽出し、当該複数の所定の言動の回数に基づいて、処理の実行に係るトリガとして適している候補言動を推定する。本実施形態に係る推定部２４０は、例えば、当該複数の所定の言動のうち、認識部２２０が認識した回数が最も少ない言動を当該トリガとして適している候補言動と推定してもよい。
【００６２】  なお、推定部２４０は、処理の種別や特性に応じて、候補言動を推定してもよい。具体的には、推定部２４０は、当該処理の重要度に応じて、誤発火する可能性が異なるジェスチャを推定してもよい。より具体的には、推定部２４０は、複数の処理のうち、ユーザＵによる使用頻度が高い処理に係るトリガとして、誤発火の可能性がより低いジェスチャを優先的に候補言動として推定してもよい。
【００６３】  （適用部２５０）  本実施形態に係る適用部２５０は、推定部２４０が推定した候補言動を処理の実行に係るトリガとして適用する機能を有する。本実施形態に係る適用部２５０は、例えば、音楽再生処理のトリガとして適していると推定部２４０が推定した首を振るジェスチャを、ユーザの承認に基づいて、音楽再生処理のトリガとして適用する。
【００６４】  （通知制御部２６０）  本実施形態に係る通知制御部２６０は、処理の実行に係るトリガとして適していると推定部２４０が推定した候補言動に係る情報を、ユーザに対し通知させる機能を有する。本実施形態に係る通知制御部２６０が有する上記の機能によれば、処理の誤発火の可能性がより低いと推定される言動に係る情報をユーザに対し通知することが可能となる。ここで、抽出され得る言動は、抽出された回数が０回の言動を含む。
【００６５】  ここで、処理の実行に係るトリガとして適用部２５０が適用した言動に係る情報には、種別、大きさ、速さ、回数、ジェスチャの保持時間を含んでもよい。また、言動の大きさとは、例えばジェスチャを実行する際のユーザＵの姿勢の変化量、をいう。また、言動の回数とは、例えばジェスチャを繰り返し実行する回数、をいう。また、トリガとして適用部２５０が適用した言動の大きさとは、当該トリガをユーザＵが実行したと認識部２２０が認識する閾値、例えばジェスチャを実行する際のユーザＵの姿勢の変化量の閾値、をいう。また、候補言動に係る情報とは、候補言動として推定部２４０が推定した言動に係る情報、をいう。
【００６６】  また、通知制御部２６０は、例えば、認識部２２０が認識した言動の速さと、トリガとして適用部２５０が適用した言動の速さとの差をユーザＵに対し通知させてもよい。
【００６７】  ここで、処理の実行に係るトリガとして適用部２５０が適用した言動に係る情報には、種別、大きさ、速さ、回数、ジェスチャの保持時間を含んでもよい。また、通知制御部２６０は、例えば、認識部２２０が認識した言動の速さと、トリガとして適用部２５０が適用した言動の速さとの差をユーザＵに対し通知させてもよい。
【００６８】  また、本実施形態に係る通知制御部２６０は、上記の候補言動の実行を、処理の実行に係るトリガとして適用するか否かの問い合わせを、ユーザに対し通知してよい。係る機能によれば、各々のユーザは、処理の誤発火の可能性が低い言動を用いて装置を操作することが可能となる。
【００６９】  （処理制御部２７０）  本実施形態に係る処理制御部２７０は、認識部２２０が認識したユーザの言動に基づいて、当該言動に対応する処理を情報処理端末１０に実行させる。
【００７０】  以上、本実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図８を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。例えば、情報処理サーバ２０は、必ずしも図８に示す構成のすべてを備えなくてもよい。認識部２２０、行動ログ蓄積部２３０、推定部２４０、適用部２５０、および処理制御部２７０は、情報処理サーバ２０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００７１】  ＜＜１．６．適用に係る問い合わせ通知の具体例＞＞  次に、本実施形態に係る情報処理サーバ２０の制御または動作について具体例を挙げながら詳細に説明する。上記では、主に推定された候補言動が１種類の場合について説明してきた。しかし、本実施形態に係る推定部２４０によれば、候補言動は、複数推定されてもよい。例えば、図９は、本実施形態に係るトリガとして適していると複数のジェスチャが推定された場合の一例を示す図である。図９には、情報処理端末１０を装着し、表示部１２０を所持しているユーザＵが示されている。ここで、本実施形態に係る通知制御部２６０は、処理の実行に係るトリガとして適していると推定部２４０が推定した複数の候補言動のうち、いずれの候補言動をトリガとして適用するかの問い合わせを、ユーザＵに対し情報処理端末１０やスマートフォンにより実現される表示部１２０を介して通知することができる。
【００７２】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、推定された複数の候補言動の種別、およびいずれの候補言動を適用するかを問い合わせる音声を、音声出力部１３０に出力させる。また、本実施形態に係る通知制御部２６０は、当該候補言動に係る情報を表示部１２０に表示させてもよい。
【００７３】  図９に示す一例においては、本実施形態に係る通知制御部２６０は、トリガとして適用する候補言動の選択を促すシステム発話ＳＯ３を音声出力部１３０に出力させている。また、通知制御部２６０は、システム発話ＳＯ３の一例として「うなずく」、「首をかしげる」、「首を横に振る」ジェスチャに係る情報、例えば当該ジェスチャの文字情報やイラスト、を表示部１２０に表示させている。
【００７４】  このように、本実施形態に係る通知制御部２６０によれば、ユーザは、各々の状況や趣向に合わせて、処理の実行に係るトリガとして適用する候補言動を選択することができる。
【００７５】  なお、推定部２４０は、複数の抽出された言動の回数が同程度である場合に、当該複数の抽出された言動を、処理の実行に係るトリガとして適していると推定してよい。
【００７６】  上記では、主に処理の実行に係るトリガとして適していると推定された候補言動を、割り当てる処理が、１種類提示される場合について説明してきた。しかし、割り当てる処理は、複数提示されてもよい。例えば、図１０は、本実施形態に係る候補言動を複数の処理のうち、いずれの処理に割り当てるかを問い合わせる場合の一例を示す図である。図１０には、情報処理端末１０を装着し、表示部１２０を所持しているユーザＵが示されている。ここで、本実施形態に係る通知制御部２６０は、処理の実行に係るトリガとして適していると推定部２４０が推定した候補言動を、当該複数の処理のうち、いずれの処理の実行に係るトリガとして適用するかの問い合わせを、ユーザＵに対し情報処理端末１０や表示部１２０を介して通知することができる。
【００７７】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、候補言動の種別や、処理の名称などの情報を通知する音声を、音声出力部１３０に出力させる。また、通知制御部２６０は、いずれの処理に係るトリガとして当該候補言動を適用するかの問い合わせる音声を、音声出力部１３０に出力させる。また、通知制御部２６０は、上記のような情報を表示部１２０に表示させることにより、通知してもよい。
【００７８】  図１０に示す一例においては、本実施形態に係る通知制御部２６０は、候補言動をいずれの処理のトリガとして適用するように促すためのシステム発話ＳＯ４を情報処理端末１０に実行させている。また、通知制御部２６０は、「うなずく」ジェスチャの文字情報やイラスト、並びに処理の名称、「音楽再生」、「音楽停止」、「次の曲へスキップ」、を表示部１２０に表示させている。
【００７９】  このように、本実施形態に係る通知制御部２６０によれば、ユーザは、各々の状況や趣向に応じて、候補言動をトリガとして適用する処理を選択することができる。
【００８０】  上記では、主に候補言動を処理の実行に係るトリガとして、適用するまでの場合について説明してきた。一方で、候補言動を処理の実行に係るトリガとして適用した後、当該処理の誤発火が多い場合は、当該言動の大きさを変更してよい。なお、上述した操作履歴は、ジェスチャに対応する操作が誤発火であるか否かの情報を含んでもよく、当該誤発火の情報に基づいて、処理の実行に係るトリガとして適用部２５０が適用した言動の大きさを変更してもよい。なお、誤発火の情報は、例えば、当該言動が実行した後のユーザによる当該処理の取り消し操作の操作履歴を、推定部２４０が行動ログから抽出することで取得される。
【００８１】  例えば、図１１は、本実施形態に係るトリガとして適用部２５０が適用したジェスチャの大きさ変更の通知をする場合の一例を示す図である。図１１には、情報処理端末１０を装着し、表示部１２０を所持しているユーザＵが示されている。ここで、本実施形態に係る通知制御部２６０は、言動による処理の誤発火を、推定部２４０が推定した場合に、当該トリガに係る言動の大きさを変更するか否かの問い合わせを、ユーザＵに対し情報処理端末１０や表示部１２０を介して通知させることができる。
【００８２】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、処理の実行に係るトリガとして適用部２５０が適用した言動に係る情報や当該言動の大きさを変更するか否かを問い合わせる音声を、音声出力部１３０に出力させる。ここで、本実施形態に係る通知制御部２６０は、当該トリガとして適用された言動の種別や大きさ、を表示部１２０に表示させることにより通知してもよい。
【００８３】  図１１に示す一例においては、本実施形態に係る通知制御部２６０は、上記大きさを変更するか否かの問い合わせを通知するためのシステム発話ＳＯ５を情報処理端末１０に実行させている。また、通知制御部２６０は、当該トリガとして適用部２５０が適用したジェスチャに係る情報、例えば、当該トリガとして適用部２５０が適用した「うなずく」ジェスチャに関して、現在適用されている大きさおよび推奨する大きさを、表示部１２０に表示させている。
【００８４】  このように、本実施形態に係る通知制御部２６０によれば、各々のユーザは、トリガとして適用するトリガの種別を変更しない場合でも、処理の誤発火を防止することができる。係る機能によれば、各々のユーザは、トリガとして適用する言動の大きさを変更する場合、種別を変更する場合と比べて、操作感が大きく変わることが無いため、ユーザは使用感を変えること無く、装置の操作を行うことが可能となる。
【００８５】  また、上述した誤発火の情報に基づいて、処理の実行に係るトリガとして適用部２５０が適用した言動の回数を変更してよい。例えば、図１２は、本実施形態に係るトリガとして適用部２５０が適用したジェスチャの回数変更の通知をする場合の一例を示す図である。図１２には、情報処理端末１０を装着し、表示部１２０を所持しているユーザＵが示されている。ここで、本実施形態に係る通知制御部２６０は、処理に係るトリガとして適用部２５０が適用した前記言動の誤発火を、推定部２４０が推定した場合に、当該トリガに係る言動の回数を変更するか否かの問い合わせを、ユーザＵに対し情報処理端末１０や表示部１２０を介して通知させることができる。
【００８６】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、当該トリガとして適用部２５０が適用した言動に係る情報、例えばジェスチャの種別や回数、や当該言動の回数を変更するか否かの問い合わせる音声を、音声出力部１３０に出力させる。ここで、本実施形態に係る通知制御部２６０は、当該トリガとして適用された言動に係る情報、例えばジェスチャの種別や回数、を表示部１２０に表示させることにより通知してもよい。
【００８７】  図１２に示す一例においては、本実施形態に係る通知制御部２６０は、上記回数を変更するか否かの問い合わせを通知するためのシステム発話ＳＯ６を情報処理端末１０に実行させている。また、通知制御部２６０は、トリガとして適用部２５０が適用したジェスチャに係る情報、例えば、トリガとして適用部２５０が適用した「うなずく」ジェスチャに関して、現在適用されている回数および推奨する回数を、表示部１２０に表示させている。
【００８８】  このように、本実施形態に係る通知制御部２６０によれば、各々のユーザは、トリガとして適用する言動の種別を変更しない場合でも、処理の誤発火を防止することができる。係る機能によれば、各々のユーザは、当該言動の回数を変更する場合、種別を変更する場合と比べて、操作感が大きく変わることが無いため、ユーザは使用感を変えること無く、装置の操作を行うことが可能となる。
【００８９】  上記では、主に推定部２４０が、単一の言動を処理の実行に係るトリガとして適していると推定する場合について説明してきた。しかし、候補言動は、複数の言動が組み合わせであってよい。例えば、図１３は、本実施形態に係るトリガとして適用された言動の組み合わせに係る情報を通知する場合の一例を示す図である。図１３上段には、情報処理端末１０を装着し、表示部１２０を所持しているユーザＵが示されている。また、図１３下段には、首を横に振るジェスチャを実行しているユーザＵが示されている。
【００９０】  図１３の上段において、本実施形態に係る通知制御部２６０は、処理の実行に係るトリガとして適用部２５０が適用した言動の組み合わせのうち、第一の言動に係る情報を通知している。ここで、第一の言動とは、当該言動の組み合わせのうち、１番目に実行するように適用部２５０が適用した言動をいう。以下具体的に説明する。本実施形態に係る通知制御部２６０は、当該第一の言動に係る種別の案内を通知する音声を、音声出力部１３０に出力させる。ここで、本実施形態に係る通知制御部２６０は、当該第一の言動の種別や当該種別に対応するイラスト、を表示部１２０に表示させることにより、通知してもよい。
【００９１】  図１３の上段の一例において、本実施形態に係る通知制御部２６０は、ユーザＵが１番目に実行すべき「首を横に振る」動作に係る情報をユーザＵに通知するためのシステム発話ＳＯ７を情報処理端末１０に実行させている。また、通知制御部２６０は、「首を横に振る」動作に係る情報、例えば当該動作の種別やイラスト、を表示部１２０に表示させている。
【００９２】  また、図１３の下段において、本実施形態に係る通知制御部２６０は、所処理の実行に係るトリガとして適用部２５０が適用した言動の組み合わせのうち、第二の言動に係る情報を通知している。ここで、第二の言動とは、当該言動の組み合わせのうち、２番目に実行するように適用部２５０が適用した言動をいう。以下具体的に説明する。本実施形態に係る通知制御部２６０は、第一の言動を認識部２２０が認識した場合、当該第二の言動に係る種別の案内を通知する音声を、音声出力部１３０に出力させる。ここで、本実施形態に係る通知制御部２６０は、当該第二の言動に係る情報、例えばジェスチャの種別やイラスト、を表示部１２０に表示させることにより、通知してもよい。
【００９３】  図１３の下段の一例において、本実施形態に係る通知制御部２６０は、「首を横に振る」ジェスチャを認識部２２０が認識した場合、ユーザＵが２番目に実行すべきジェスチャに係る情報をユーザＵに通知するためのシステム発話ＳＯ８を情報処理端末１０に実行させる。また、通知制御部２６０は、「うなづく」ジェスチャに係る情報、例えば当該ジェスチャの種別やイラスト、を表示部１２０に表示させている。
【００９４】  このように、本実施形態に係る通知制御部２６０によれば、ユーザは、トリガとして適用された言動の組み合わせのうち、次に実行すべき言動に係る情報を把握することができる。係る機能によれば、ユーザは、当該言動の組み合わせによる装置の操作を容易に習得することが可能となる。
【００９５】  上記では、主にユーザが特別な行動を行っていない場合の、推定部２４０の推定の場合について説明してきた。しかし、候補言動は、ユーザの所定の状況に応じて推定されてもよい。例えば、図１４は、本実施形態に係るユーザの状況に応じて処理の実行に係るトリガとして適用部２５０が適用したジェスチャに係る情報を通知する場合の一例を示す図である。図１４には、情報処理端末１０を装着し、走っているユーザＵが示されている。本実施形態に係る通知制御部２６０は、本実施形態に係る認識部２２０が認識したユーザＵの所定の状況に応じて、本実施形態に係る通知制御部２６０は、当該状況において処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、ユーザＵに対し情報処理端末１０を介して通知することができる。
【００９６】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、当該候補言動に係る情報の案内を通知する音声を、音声出力部１３０に出力させる。図１４に示す一例の場合、ユーザＵが走っている状況において、推定部２４０は、起動ジェスチャとして「うなずく」ジェスチャのみを用いた場合、誤発火が多くなると推定した。故に、情報処理端末１０は、起動ジェスチャとして適していると推定部２４０が推定した「首を横に振る」ジェスチャと「うなずく」ジェスチャの組み合わせを当該起動ジェスチャとして適用したことをユーザＵに通知している。
【００９７】  また、本実施形態に係る通知制御部２６０は、ユーザＵの所定の状況に応じて、行動ログから推定された候補言動の実行を、処理の実行に係るトリガとして適用するか否かの問い合わせを、ユーザＵに対し通知させてもよい。
【００９８】  このように、本実施形態に係る通知制御部２６０によれば、ユーザは、所定の状況に応じて、処理の実行に係るトリガとして適用する言動を変更することができる。係る機能によれば、各々の状況下で、処理の誤発火をより効果的に防止することが可能となる。
【００９９】  上記では、処理の実行に係るトリガとして、動作を用いた例を述べたが、候補言動は、所定のフレーズの発話も含む。例えば、図１５は、本実施形態に係る通知の一例について説明するための図である。図１５には、情報処理端末１０を装着したユーザＵが示されている。ここで、情報処理端末１０は、処理の実行に係るトリガとして適していると推定部２４０が推定したフレーズの発話を、当該トリガとして適用するか否かの問い合わせをユーザＵに対し通知することができる。
【０１００】  以下具体的に説明する。本実施形態に係る通知制御部２６０は、当該フレーズの発話に係る情報、および当該フレーズの発話を適用するか否かのメッセージを通知する音声を、音声出力部１３０に出力させる。ここで、通知制御部２６０は、当該フレーズの発話に係る情報を表示部１２０に表示させてもよい。
【０１０１】  図１５に示す一例の場合、本実施形態に係る通知制御部２６０は、「次の曲」と発話することを、音楽再生に係るスキップ処理のトリガとして適用するか否かの問い合わせを、通知するためのシステム発話ＳＯ１０を情報処理端末１０に実行させている。
【０１０２】  このように、本実施形態に係る情報処理端末１０および情報処理サーバ２０によれば、ユーザの言動の特性に基づいて、処理の実行に係るトリガとして適している候補言動に係る情報をユーザに対し通知することができる。係る機能によれば、ユーザが処理の実行を意図しない場面において、当該処理が実行される、すなわち誤発火が発生する、ことを効率的に防止すること、および各々のユーザに自身の行動の癖を知らせることで、今後誤発火が起こる可能性が低くなることをユーザに対し把握させること、が可能となる。
【０１０３】  ＜＜１．７．制御の流れ＞＞  次に、本実施形態に係る情報処理サーバ２０による候補言動に係る動作の流れについて詳細に説明する。図１６は、本実施形態に係るトリガとして適した候補言動を推定し、適用する流れの一例を示すフローチャートである。
【０１０４】  図１６を参照すると、まず、情報処理サーバ２０の推定部２４０が、行動ログ蓄積部２３０に蓄積された行動ログから、所定の言動に係る情報を、認識結果Ｒとして抽出する（Ｓ１００１）。
【０１０５】  次に、推定部２４０は、認識結果Ｒに基づいて、所定の言動のうち、認識部２２０が認識した回数が、所定の回数以下である所定の言動が存在するか否かを判定する（Ｓ１００２）。認識部２２０が認識した回数が、所定の回数以下である所定の言動が存在する場合（Ｓ１００２：ＹＥＳ）、当該所定の言動を、処理の実行に係るトリガとして適した候補言動を推定する（Ｓ１００３）。なお、候補言動と推定された所定の言動が複数種類存在する場合は、複数の当該候補言動のうち、例えば、推定部２４０は、認識部２２０が認識した回数が最も少ない候補言動を、当該トリガとして適している候補言動と推定してもよい（Ｓ１００３）。
【０１０６】  一方、認識部２２０が認識した回数が、所定の回数以下である所定の言動が存在しない場合（Ｓ１００２：ＮＯ）、推定部２４０は、認識部２２０が認識した所定の言動に係る回数および当該所定の言動の組み合わせに基づいて、認識部２２０が認識した回数が、所定の回数以下である、所定の言動の組み合わせが存在するか否かを判定する（Ｓ１００４）。ここで、認識部２２０が認識した回数が、所定の回数以下である、所定の言動の組み合わせが存在する場合（Ｓ１００４：ＹＥＳ）、当該所定の言動の組み合わせをトリガとして適した候補言動として推定する（Ｓ１００６）。なお、当該トリガとして適していると推定された所定の言動の組み合わせが複数種類存在する場合は、推定部２４０は、複数の当該所定の言動の組み合わせのうち、認識部２２０が認識した回数が、最も少ない当該所定の言動の組み合わせを、候補言動として推定してもよい（Ｓ１００６）。
【０１０７】  一方、認識部２２０が認識した回数が所定の回数以下である、所定の言動の組み合わせが存在しない場合（Ｓ１００４：ＮＯ）、推定部２４０は、当該トリガとして適していると推定される、所定の言動および所定の言動の組み合わせは存在しないと判定し（Ｓ１００５）、情報処理サーバ２０は、動作を終了する。なお、この際、推定部２４０は、機器操作、例えばボタン押下やタッチ操作などが当該トリガとして適していると推定してもよい（Ｓ１００５）。
【０１０８】  ステップＳ１００３またはステップＳ１００６の実行後、通知制御部２６０は、推定部２４０が推定した、所定の言動または所定の言動の組み合わせを、処理の実行に係るトリガとして適用するか否かの問い合わせをユーザに対し通知する（Ｓ１００７）。次に、情報処理サーバ２０は、情報処理端末１０を介してユーザから当該問い合わせに対しての応答を受信する（Ｓ１００８）。
【０１０９】  次に、情報処理サーバ２０は、ユーザから受信した応答の内容を判定する（Ｓ１００９）。ここで、応答の内容が、問い合わせに対する承認である場合（Ｓ１００９：ＹＥＳ）、適用部２５０は、ステップＳ１００３またはＳ１００６において推定された候補言動を、処理の実行に係るトリガとして適用し（Ｓ１０１０）、情報処理サーバ２０は、動作を終了する。一方、応答の内容が、候補言動をトリガとして適用しない要求である場合は（Ｓ１００９：ＮＯ）、情報処理サーバ２０は、動作は終了する。
【０１１０】  次に、本実施形態に係る言動の処理における制御の流れの一例について詳細に説明する。図１７は、本実施形態に係るジェスチャ処理における制御の流れの一例を示すフローチャートである。
【０１１１】  図１７を参照すると、まず、認識部２２０は、通信部２１０を介してセンサ部１６０が収集したセンサ情報を受信し、所定の言動を認識する（Ｓ１１０１）。
【０１１２】  次に、認識部２２０は、ステップＳ１１０１で認識された所定の言動が、ジェスチャであるか否かを判定する（Ｓ１１０２）。当該所定の言動がジェスチャである場合（Ｓ１１０２：ＹＥＳ）、当該ジェスチャが、処理の実行に係るトリガとして適用部２５０が適用したジェスチャであるか否かを判定する（Ｓ１１０３）。ここで、当該所定の言動がジェスチャでない場合（Ｓ１１０２：ＮＯ）、情報処理サーバ２０はステップＳ１１０１へ復帰する。
【０１１３】  一方、認識されたジェスチャが、トリガとして適用部２５０が適用したジェスチャである場合（Ｓ１１０３：ＹＥＳ）、処理制御部２７０は当該ジェスチャに対応する処理の実行を制御し、情報処理サーバ２０は動作を終了する。一方、認識されたジェスチャが、トリガとして適用部２５０が適用したジェスチャでない場合（Ｓ１１０３：ＮＯ）、情報処理サーバ２０はステップＳ１１０１へ復帰する。
【０１１４】  ＜２．ハードウェア構成例＞  次に、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例について説明する。図１８は、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１８を参照すると、情報処理サーバ２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１１５】  （プロセッサ８７１）  プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１１６】  （ＲＯＭ８７２、ＲＡＭ８７３）  ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１１７】  （ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）  プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１１８】  （入力装置８７８）  入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１１９】  （出力装置８７９）  出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１２０】  （ストレージ８８０）  ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１２１】  （ドライブ８８１）  ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１２２】  （リムーバブル記録媒体９０１）リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１２３】  （接続ポート８８２）  接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１２４】  （外部接続機器９０２）  外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１２５】  （通信装置８８３）  通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１２６】  ＜３．まとめ＞  以上説明したように、本開示の一実施形態に係る情報処理端末１０および情報処理サーバ２０は、各々のユーザにとって、処理の誤発火の可能性がより低くなると推定された言動に係る情報をユーザに対し通知する機能を有する。また、この際、情報処理端末１０および情報処理サーバ２０は、当該言動を処理の実行に係るトリガとして適用するか否かの問い合わせを、ユーザに対し通知することを特徴の一つとする。係る構成によれば、ユーザの言動の特性に起因する装置の処理の誤発火を効率的に防止することが可能である。
【０１２７】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２８】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２９】  また、本明細書の情報処理サーバ２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１３０】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、  を備え、  前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置。（２）  前記候補言動は、前記行動ログから抽出された複数の前記所定の言動のうち、抽出された回数が所定の回数より少ない前記所定の言動である、前記（１）に記載の情報処理装置。（３）  前記トリガは、前記ユーザとエージェント機能との間のインタラクションを開始する起動トリガを含む、前記（１）または（２）に記載の情報処理装置。（４）  前記通知制御部は、複数の前記所定の言動の組み合わせから成る前記候補言動を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（３）のいずれかに記載の情報処理装置。（５）  複数の前記所定の言動の組み合わせから成る前記候補言動は、前記行動ログから抽出された複数の前記所定の言動に関し、全ての前記所定の言動が所定の回数以上認識された場合に、前記トリガとして適していると推定される、前記（４）に記載の情報処理装置。（６）  前記通知制御部は、推定された複数の前記候補言動のうち、いずれの前記候補言動を前記トリガとして適用するかの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（５）のいずれかに記載の情報処理装置。（７）  前記通知制御部は、推定された前記候補言動を、複数の前記所定の処理のうち、いずれの前記所定の処理の実行に係る前記トリガとして適用するかの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（６）のいずれかに記載の情報処理装置。（８）  前記通知制御部は、前記ユーザの所定の状況に応じて、推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（７）のいずれかに記載の情報処理装置。（９）  前記候補言動に係る情報は、少なくとも前記候補言動の種別を含む、前記（１）〜（８）のいずれかに記載の情報処理装置。（１０）  前記候補言動に係る情報は、少なくとも前記候補言動の大きさを含む、前記（１）〜（９）のいずれかに記載の情報処理装置。（１１）  前記通知制御部は、前記トリガとして適用された前記言動の誤発火が推定された場合に、前記トリガに係る言動の大きさを変更するか否かを、前記ユーザに対し通知させる、前記（１０）に記載の情報処理装置。（１２）  前記候補言動に係る情報は、少なくとも前記候補言動の回数を含む、前記（１）〜（１１）のいずれかに記載の情報処理装置。（１３）  前記通知制御部は、前記トリガとして適用された前記言動の誤発火が推定された場合に、前記トリガに係る言動の回数を変更するか否かを、前記ユーザに対し通知させる、前記（１２）に記載の情報処理装置。（１４）  前記候補言動は、少なくとも１のジェスチャを含み、  前記通知制���部は、前記ジェスチャの実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（１３）のいずれかに記載の情報処理装置。（１５）  前記候補言動は、少なくとも１の発話を含み、  前記通知制御部は、前記発話の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対し通知させる、前記（１）〜（１４）のいずれかに記載の情報処理装置。（１６）  前記所定の処理は、ウェアラブル装置により実行される、前記（１）〜（１５）のいずれかに記載の情報処理装置。（１７）  前記所定の処理は、ヒアラブル装置により実行される、前記（１）〜（１６）のいずれかに記載の情報処理装置。（１８）  前記行動ログから認識された複数の前記所定の言動のうち、前記所定の処理の実行に係る前記トリガとして適している前記候補言動を推定する推定部、  をさらに備え、  前記推定部は、前記候補言動を、前記行動ログから抽出され得る前記言動の回数に基づいて推定する、前記（１）〜（１７）のいずれかに記載の情報処理装置。（１９）  プロセッサが、  ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させることと、  前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させることと、  を含み、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理方法。（２０）  コンピュータを、  ユーザの行動ログから抽出され得る複数の言動のうち、所定の処理の実行に係るトリガとして適していると推定された候補言動に係る情報を、前記ユーザに対し通知させる通知制御部、  を備え、  前記通知制御部は、前記行動ログから推定された前記候補言動の実行を、前記トリガとして適用するか否かの問い合わせを、前記ユーザに対しさらに通知させ、  前記候補言動は、前記行動ログから抽出された前記言動の回数に基づいて推定される、情報処理装置、として機能させるためのプログラム。
【符号の説明】
【０１３１】  １０      情報処理端末  １１０    サーバ通信部  １２０    表示部  １３０    音声出力部  １４０    撮像部  １５０    音声入力部  １６０    センサ部  １８０    制御部  ２０      情報処理サーバ  ２１０    通信部  ２２０    認識部  ２３０    行動ログ蓄積部  ２４０    推定部  ２５０    適用部  ２６０    通知制御部  ２７０    処理制御部  ３０      ネットワーク
【図１】
2020031367.tif 000003
【図２】
2020031367.tif 000004
【図３】
2020031367.tif 000005
【図４】
2020031367.tif 000006
【図５】
2020031367.tif 000007
【図６】
2020031367.tif 000008
【図７】
2020031367.tif 000009
【図８】
2020031367.tif 000010
【図９】
2020031367.tif 000011
【図１０】
2020031367.tif 000012
【図１１】
2020031367.tif 000013
【図１２】
2020031367.tif 000014
【図１３】
2020031367.tif 000015
【図１４】
2020031367.tif 000016
【図１５】
2020031367.tif 000017
【図１６】
2020031367.tif 000018
【図１７】
2020031367.tif 000019
【図１８】
2020031367.tif 000020
【国際調査報告】
2020031367.tif 000021
2020031367.tif 000022
2020031367.tif 000023
2020031367.tif 000024