(57)【要約】  装置による挙動の是正に対し、より有効な情報を効率的に収集する。収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御する出力制御部と、出力された前記再現シーンに対し判定者が入力したフィードバックを受信する通信部と、を備える、情報処理装置が提供される。また、装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信する通信部と、前記再現シーンを再生する再生部と、を備え、前記通信部は、判定者が前記再現シーンに対して入力したフィードバックを送信する、情報処理装置が提供される。
2019017027.tif 000002
【特許請求の範囲】
【請求項１】
収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御する出力制御部と、  出力された前記再現シーンに対し判定者が入力したフィードバックを受信する通信部と、  を備える、情報処理装置。
【請求項２】
前記出力制御部は、前記コンテキスト情報を反映した前記再現シーンの出力を制御する、請求項１に記載の情報処理装置。
【請求項３】
前記動作履歴は、妥当性が低いと判定された前記装置による挙動に関する履歴を含む、請求項１に記載の情報処理装置。
【請求項４】
前記動作履歴は、前記装置が低信頼度の下に実行した挙動に関する履歴を含む、請求項１に記載の情報処理装置。
【請求項５】
前記出力制御部は、前記装置の挙動と前記装置の利用者の挙動とを含む前記再現シーンの出力を制御する、請求項１に記載の情報処理装置。
【請求項６】
前記出力制御部は、前記再現シーンに対する前記コンテキスト情報の反映有無または程度を設定するインタフェースを前記判定者に提供する、請求項１に記載の情報処理装置。
【請求項７】
前記出力制御部は、前記フィードバックと共に前記インタフェースに設定された前記コンテキスト情報の反映有無または程度に係る情報を収集する、請求項６に記載の情報処理装置。
【請求項８】
前記コンテキスト情報は、少なくとも前記装置が実行した挙動の利用者に係る利用者コンテキストに関する情報を含む、請求項１に記載の情報処理装置。
【請求項９】
前記利用者コンテキストは、前記利用者の行動、状態、または属性のうち少なくともいずれかを含む、請求項８に記載の情報処理装置。
【請求項１０】
前記出力制御部は、前記利用者コンテキストを再現した前記再現シーンの出力を制御する、請求項９に記載の情報処理装置。
【請求項１１】
前記動作履歴は、前記装置と前記装置の利用者との対話に関する履歴であり、  前記出力制御部は、前記対話に係る前記再現シーンの出力を制御する、請求項１に記載の情報処理装置。
【請求項１２】
前記コンテキスト情報は、前記対話に係る時系列情報を含み、  前記出力制御部は、前記時系列情報を反映した前記再現シーンの出力を制御する、請求項１１のいずれかに記載の情報処理装置。
【請求項１３】
前記対話は、前記利用者による発話と前記装置による音声発話とを含む音声対話である、請求項１１に記載の情報処理装置。
【請求項１４】
前記出力制御部は、前記装置による挙動または前記コンテキスト情報の少なくとも一部を同一粒度の別内容に変換した前記再現シーンを出力させる、請求項１に記載の情報処理装置。
【請求項１５】
前記動作履歴は、前記装置と前記装置の利用者との対話に関する履歴であり、  前記出力制御部は、前記利用者と前記判定者とが異なる場合、前記対話の一部を同一粒度の別内容に変換した前記再現シーンを出力させる、請求項１に記載の情報処理装置。
【請求項１６】
前記出力制御部は、ユーザ属性に基づいて選定した前記判定者が用いる端末に前記再現シーンを出力させる、請求項１に記載の情報処理装置。
【請求項１７】
前記出力制御部は、前記装置による挙動の妥当性または信頼度を判定する、請求項１に記載の情報処理装置。
【請求項１８】
装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信する通信部と、  前記再現シーンを再生する再生部と、  を備え、  前記通信部は、判定者が前記再現シーンに対して入力したフィードバックを送信する、情報処理装置。
【請求項１９】
プロセッサが、収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御することと、  出力された前記再現シーンに対し判定者が入力したフィードバックを受信することと、  を含む、情報処理方法。
【請求項２０】
プロセッサが、装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信することと、  前記再現シーンを再生することと、  判定者が前記再現シーンに対して入力したフィードバックを送信することと、  を含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】  近年、状況や条件に基づいた判断を行い、自らが実行する挙動を決定する装置が普及している。上記のような装置には、例えば、ユーザからの問い合わせに対し応答を行う対話装置や、環境状態に応じた動作を行う自動運転車などの自律型装置が挙げられる。また、上記のような装置が実行した挙動の妥当性を評価する技術が開発されている。例えば、特許文献１には、ユーザの音声入力に対する応答の妥当性を評価する対話装置が開示されている
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  しかし、特許文献１に記載の技術は、ユーザの発話に含まれる肯定的表現や否定的表現に基づいて応答の妥当性を評価するに留まっている。このため、特許文献１に記載の対話装置では、正しい応答やより適した応答が存在する場合であっても、当該応答を具体的に特定することが困難である。【０００５】  そこで、本開示では、装置による挙動の是正に対し、より有効な情報を効率的に収集することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
【課題を解決するための手段】
【０００６】  本開示によれば、収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御する出力制御部と、出力された前記再現シーンに対し判定者が入力したフィードバックを受信する通信部と、を備える、情報処理装置が提供される。【０００７】  また、本開示によれば、装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信する通信部と、前記再現シーンを再生する再生部と、を備え、前記通信部は、判定者が前記再現シーンに対して入力したフィードバックを送信する、情報処理装置が提供される。【０００８】  また、本開示によれば、プロセッサが、収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御することと、出力された前記再現シーンに対し判定者が入力したフィードバックを受信することと、を含む、情報処理方法が提供される。【０００９】  また、本開示によれば、プロセッサが、装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信することと、前記再現シーンを再生することと、判定者が前記再現シーンに対して入力したフィードバックを送信することと、を含む、情報処理方法が提供される。
【発明の効果】
【００１０】  以上説明したように本開示によれば、装置による挙動の是正に対し、より有効な情報を効率的に収集することが可能となる。【００１１】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の第１の実施形態に係る再現シーンの出力と判定者によるフィードバック入力の概要について説明するための図である。
【図２】同実施形態に係る再現シーンの出力と判定者によるフィードバック入力の概要について説明するための図である。
【図３】同実施形態に係る情報処理システムのシステム構成例を示すブロック図である。
【図４】同実施形態に係る情報処理端末の機能構成例を示すブロック図である。
【図５】同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。
【図６】同実施形態に係る出力制御部による妥当性の判定に基づく事例の収集について説明するための図である。
【図７】同実施形態に係る利用者による明示的な入力に基づく事例の収集について説明するための図である。
【図８】同実施形態に係る再現シーンとコンテキスト情報の反映有無を設定するユーザインタフェースについて説明するための図である。
【図９】同実施形態に係る出力制御部によるコンテキスト情報の加工について説明するための図である。
【図１０】同実施形態に係る情報処理サーバによる事例収集の流れを示すフローチャートである。
【図１１】同実施形態に係る情報処理サーバによる再現シーンの出力制御とフィードバック収集の流れを示すフローチャートである。
【図１２Ａ】本開示の第２の実施形態に係る情報処理端末の挙動について説明するための図である。
【図１２Ｂ】同実施形態に係る情報処理端末の挙動について説明するための図である。
【図１３】本開示の第３の実施形態に係る情報処理端末の動作について説明するための図である。
【図１４】本開示の一実施形態に係るハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１３】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】  なお、説明は以下の順序で行うものとする。  １．概要  ２．第１の実施形態    ２．１．概要    ２．２．システム構成例    ２．３．情報処理端末１０の機能構成例    ２．４．情報処理サーバ２０の機能構成例    ２．５．事例の収集    ２．６．再現シーンの出力制御    ２．７．判定者の選定    ２．８．処理の流れ  ３．第２の実施形態  ４．第３の実施形態  ５．ハードウェア構成例  ６．まとめ
【００１５】  ＜１．概要＞  上述したように、近年においては、状況や条件に基づいた判断を行い、自らが実行する挙動を決定する装置が普及している。上記のような装置は、例えば、利用者による入力や、利用者の行動や状態、周囲環境などに基づく判断を行い、当該利用者に対し何らかのアクションを提供することができる。
【００１６】  しかし、装置が実行する挙動は常に正しいとは限らず、ときには装置が利用者が期待する挙動とは異なる挙動を実行してしまう場面も散見する。このような事態を防止し、また装置による挙動の精度を向上させるためには、装置が妥当性の低い挙動を実行した事例を収集、解析し、装置が正しい挙動を実行できるように、判定や制御に係るアルゴリズムを修正することが求められる。
【００１７】  しかし、装置が利用者の期待に沿わない挙動を行った場合であっても、当該利用者が装置の開発者に対し情報を提供することは稀であり、装置を改善するに十分な事例を収集することが困難であるのが現状である。
【００１８】  また、事例が十分に収集できた場合であっても、開発者が事例の一つひとつを解析し、装置による正しい挙動を指すデータ、すなわち正解ラベルを付与するには、膨大な時間と人員コストが必要とされる。
【００１９】  本開示に係る技術思想は、上記の点に着目して発想されたものであり、装置による挙動の是正に対し、より有効な情報を効率的に収集することが可能とする。このために、本開示の一実施形態に係る情報処理方法は、収集した事例に係る再現シーンを判定者に提示し、再現シーンを視聴した判定者に装置の挙動に係るフィードバックを入力させることを特徴の一つとする。
【００２０】  以下、上記の特徴を実現するシステム構成および機能について、詳細に説明する。なお、本開示に係る技術思想は、以下に述べる実施形態で挙げる例に限定されず、自らが実行する挙動を決定する種々の装置に広く適用され得る。
【００２１】  ＜２．第１の実施形態＞  ＜＜２．１．概要＞＞  まず、本開示の第１の実施形態について説明する。本開示の第１の実施形態では、情報処理サーバ２０が、利用者との対話を行う情報処理端末１０が実行した挙動に対するフィードバックを収集する場合を例に挙げて説明する。本実施形態に係る情報処理端末１０は、例えば、音声により利用者との対話を実現する音声対話装置であってもよい。
【００２２】  まず、本実施形態に係る再現シーンの出力と判定者によるフィードバックの入力について概要を説明する。本実施形態に係る情報処理サーバ２０は、収集された装置の動作履歴に基づいて、当該装置がコンテキスト情報に基づいて実行した挙動に係るシーンの出力を制御する機能を有する。より具体的には、本実施形態に係る情報処理サーバ２０は、収集された動作履歴、すなわち事例に係る再現シーンを生成し、当該再生シーンを判定者が用いる情報処理端末１０に再生させてよい。
【００２３】  また、本実施形態に係る情報処理サーバ２０は、情報処理端末１０が再生した再現シーンに対し判定者が入力したフィードバックを受信する機能を有する。ここで、上記のフィードバックとは、情報処理端末１０が実行すべき正しい挙動に関する情報を指す。すなわち、本実施形態に係る情報処理サーバ２０は、再現シーンを視聴した判定者に、情報処理端末１０が実行すべき挙動は何であったか、を判定させ、その答えを得ることができる。
【００２４】  図１および図２は、本実施系形態に係る再現シーンの出力と判定者によるフィードバック入力の概要について説明するための図である。図１には、情報処理サーバ２０が、妥当性が低いと判定された情報処理端末１０の挙動に関する履歴に基づいて生成した再現シーンＲＰ１が示されている。
【００２５】  情報処理サーバ２０は、再現シーンＲＰ１を判定者が用いる情報処理端末１０の表示部１１０に表示させる。この際、情報処理サーバ２０は、情報処理端末１０が実行した挙動に係るコンテキスト情報を再現シーンＲＰ１に反映させることを特徴の一つとする。上記のコンテキスト情報は、情報処理端末１０が挙動を実行する際の判断に用いた種々の情報である。図１に示す再現シーンＲＰ１の場合、情報処理サーバ２０は、情報処理端末１０の音声発話と、情報処理端末１０の利用者の発話とを、装置アバターＡＡおよび利用者アバターＡＵによりそれぞれ再現している。
【００２６】  図１に示す一例では、利用者の発話ＡＯ１による問い合わせに対し、情報処理端末１０が音声発話ＳＯ１による応答を行ったのち、利用者が発話ＡＯ２によるさらなる問い合わせに対し情報処理端末１０が適切な挙動を行えなかった場合の事例が、装置アバターＡＡおよび利用者アバターＡＵにより再現されている。
【００２７】  この際、再現シーンＲＰ１を視聴した判定者Ｕは、情報処理端末１０が行うべきだった正しい挙動に関するフィードバックを情報処理端末１０に入力する。図１に示す一例の場合、判定者Ｕは、発話によるフィードバックＦＢ１を行っている。情報処理端末１０は、判定者Ｕに入力されたフィードバックを情報処理サーバ２０に送信する。
【００２８】  また、図２には、情報処理サーバ２０が、情報処理端末１０が低信頼度の下に実行した挙動に関する履歴に基づいて生成した再現シーンＲＰ２が示されている。例えば、音声対話装置などの情報処理端末１０は、利用者の発話に基づいて、回答となる音声発話の出力やアプリケーションの起動などを行うが、この際、情報処理端末１０は、実行する挙動の正しさに係る信頼度が低い場合であっても、当該挙動を実行する場合がある。
【００２９】  図２に示す再現シーンＲＰ２には、情報処理端末１０が、利用者の発話ＡＯ２に対し動画再生を実行した事例が、利用者アバターＡＵおよび装置アバターＡＡを用いて再現されている。当該事例の場合、情報処理端末１０は、利用者の発話ＡＯ２に対する正しい挙動が不明確な状態、すなわち低信頼度の下に、動画再生を行っている。
【００３０】  この際、再現シーンＲＰ２を視聴した判定者Ｕは、情報処理端末１０が低信頼度の下に実行した動画再生が本当に正しいか否かを判定し、フィードバックを入力する。図２に示す一例の場合、判定者Ｕは、発話によるフィードバックＦＢ２を行っている。
【００３１】  このように、本実施形態に係る情報処理サーバ２０は、種々の事例に係る再現シーンを生成し、利用者にフィードバックを仰ぐことができる。なお、上記の事例は、上述した妥当性や信頼度が低い挙動に係る事例に限定されない。本実施形態に係る情報処理サーバ２０は、実際には妥当性が高い挙動であっても、より適切な挙動を実現するために、当該挙動に係る再現シーンを生成し、利用者にフィードバックを求めることができる。
【００３２】  また、本実施形態に妥当性には、例えば、発話、応答、文脈、環境などに基づいて判定される。発話に係る妥当性は、例えば、構文的な誤り、意味的な誤り、発話として機能しない不適切発話などに基づいて判定される。また、応答に係る妥当性は、例えば、情報の過不足、前発話との矛盾、対を形成しない応答、意図の曖昧さ、解釈の誤りなどに基づいて判定される。また、文脈に係る妥当性は、例えば、繰り返し、文脈との矛盾、文脈からの飛躍、内容の曖昧さ、展開の無視などに基づいて判定される。また、環境に係る妥当性は、例えば、受け入れがたい断定、一般常識との矛盾、社会規範から外れる発話などに基づいて判定される。
【００３３】  以上説明したように、本実施形態に係る情報処理サーバ２０は、情報処理端末１０が実行した挙動に係る種々の再現シーンを生成し、判定者に提示することができる。また、本実施形態に係る情報処理サーバ２０は、再現シーンを視聴した判定者から挙動に係るフィードバックを収集することができる。本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、情報処理端末１０の挙動に係る正解ラベルを生成するためのフィードバックを効率的に収集し、コストを大幅に低減することが可能となる。
【００３４】  ＜＜２．２．システム構成例＞＞  まず、本実施形態に係る情報処理システムのシステム構成例について説明する。図３は、本実施形態に係る情報処理システムのシステム構成例を示すブロック図である。図３を参照すると、本実施形態に係る情報処理システムは、複数の情報処理端末１０と情報処理サーバ２０とを備える。また、情報処理端末１０と情報処理サーバ２０とは、互いに通信が行えるようにネットワーク３０を介して接続される。
【００３５】  （情報処理端末１０）  本実施形態に係る情報処理端末１０は、コンテキスト情報に基づいて何らかの挙動を実行する情報処理装置である。本実施形態の場合、情報処理端末１０は、利用者の発話、行動、状態、また周囲環境などのコンテキスト情報に基づいて、利用者との音声対話を行う音声対話装置であってよい。
【００３６】  また、本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、判定者に対し再現シーンを提示する機能を有する。また本実施形態に係る情報処理端末１０は、判定者が入力したフィードバックを情報処理サーバ２０に送信する。
【００３７】  本実施形態に係る情報処理端末１０は、例えば、携帯電話、スマートフォン、タブレット、ウェアラブル装置、汎用コンピュータ、据え置き型または自律移動型の専用装置などであってもよい。
【００３８】  なお、本実施形態に係る情報処理端末１０は、音声対話機能と、再現シーンの出力およびフィードバックの収集に係る機能と、の両方を必ずしも備えなくてもよい。上記の２つの機能は、それぞれ異なる情報処理端末１０が担ってもよい。
【００３９】  （情報処理サーバ２０）  本実施形態に係る情報処理サーバ２０は、収集された事例に基づいて再現シーンを生成し、当該再現シーンを情報処理端末１０に出力させる情報処理装置である。この際、本実施形態に係る情報処理サーバ２０は、情報処理端末１０が挙動を実行する際に用いたコンテキスト情報を反映した再現シーンを生成することを特徴の一つとする。
【００４０】  また、本実施形態に係る情報処理サーバ２０は、再現シーンを視聴した判定者が入力したフィードバックを情報処理端末１０から受信し、当該フィードバックに基づいて情報処理端末１０の挙動に係る正解ラベルを事例と共に保存する機能を有する。
【００４１】  （ネットワーク３０）  ネットワーク３０は、情報処理端末１０と情報処理サーバ２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００４２】  以上、本実施形態に係る情報処理システムのシステム構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０および情報処理サーバ２０が有する機能は、単一の装置により実現されてもよい。また、図３には、情報処理サーバ２０が３台の情報処理端末１０ａ〜１０ｃと接続される場合を例に示したが、本実施形態に係る情報処理端末１０の数は係る例に限定されない。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【００４３】  ＜＜２．３．情報処理端末１０の機能構成例＞＞  次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図４は、本実施形態に係る情報処理端末１０の機能構成例を示すブロック図である。図４を参照すると、本実施形態に係る情報処理端末１０は、表示部１１０、音声出力部１２０、入力部１３０、撮像部１４０、センサ部１５０、制御部１６０、およびサーバ通信部１７０を備える。
【００４４】  （表示部１１０）  本実施形態に係る表示部１１０は、画像やテキストなどの視覚情報を出力する機能を有する。本実施形態に係る表示部１１０は、情報処理サーバ２０による制御に基づいて、挙動の再現シーンに係る視覚情報を出力することができる。
【００４５】  このために、本実施形態に係る表示部１１０は、視覚情報を表示する表示デバイスなどを備える。上記の表示デバイスには、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、タッチパネルなどが挙げられる。
【００４６】  （音声出力部１２０）  本実施形態に係る音声出力部１２０は、音声発話などを含む音情報を出力する機能を有する。本実施形態に係る音声出力部１２０は、例えば、情報処理サーバ２０による制御に基づいて、再現シーンに係る音情報を出力する。このために、本実施形態に係る音声出力部１２０は、スピーカやアンプなどの音声出力装置を備える。
【００４７】  （入力部１３０）  本実施形態に係る入力部１３０は、ユーザによる種々の入力を検出する機能を有する。入力部１３０は、例えば、発話や入力デバイスによるユーザの問い合わせやフィードバックを検出する。このために、本実施形態に係る入力部１３０は、音情報を収集するためのマイクロフォンや、キーボード、タッチパネル、ボタンなどの種々の入力デバイスを備える。
【００４８】  （撮像部１４０）  本実施形態に係る撮像部１４０は、ユーザや周囲の環境を含む画像を撮像する機能を有する。撮像部１４０が撮像した画像は、情報処理サーバ２０によるユーザ認識、ユーザ状態、周囲環境の認識などに用いられる。本実施形態に係る撮像部１４０は、画像を撮像することが可能な撮像装置を備える。なお、上記の画像には、静止画像のほか動画像が含まれる。
【００４９】  （センサ部１５０）  本実施形態に係るセンサ部１５０は、周囲環境やユーザの行動、状態に関する種々のセンサ情報を収集する機能を有する。センサ部１５０が収集したセンサ情報は、情報処理サーバ２０による周囲環境の認識やユーザの行動認識、状態認識に用いられる。センサ部１５０は、例えば、照度センサを含む光センサ、加速度センサ、ジャイロセンサ、地磁気センサ、熱センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）信号受信装置などを備える。
【００５０】  （制御部１６０）  本実施形態に係る制御部１６０は、情報処理端末１０が備える各構成を制御する機能を有する。制御部１６０は、例えば、各構成の起動や停止を制御する。また、制御部１６０は、情報処理サーバ２０により生成される制御信号を表示部１１０や音声出力部１２０に入力することができる
【００５１】  （サーバ通信部１７０）  本実施形態に係るサーバ通信部１７０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う機能を有する。具体的には、サーバ通信部１７０は、入力部１３０が収集した入力情報、撮像部１４０が撮像した画像情報、センサ部１５０が収集したセンサ情報を情報処理サーバ２０に送信する。また、サーバ通信部１７０は、情報処理サーバ２０から再現シーンに係る情報を受信する。
【００５２】  以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０は、図４に示す構成のすべてを必ずしも備えなくてもよい。情報処理端末１０は、音声出力部１２０、撮像部１４０、センサ部１５０などを備えない構成をとることもできる。本実施形態に係る情報処理端末１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００５３】  ＜＜２．４．情報処理サーバ２０の機能構成例＞＞  次に、本実施形態に係る情報処理サーバ２０の機能構成例について説明する。図５は、本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。図５を参照すると、本実施形態に係る情報処理サーバ２０は、認識部２１０、出力制御部２２０、音声合成部２３０、反映部２４０、記憶部２５０、および端末通信部２６０を備える。また、記憶部２５０は、ユーザＤＢ２５２、事例ＤＢ２５４、およびラベル付き挙動ＤＢ２５６を備える。
【００５４】  （認識部２１０）  本実施形態に係る認識部２１０は、情報処理端末１０が収集した情報に基づいて、種々の認識を行う機能を有する。認識部２１０は、例えば、情報処理端末１０が収集した利用者の発話に基づく音声認識を実行する。
【００５５】  また、本実施形態に係る認識部２１０は、情報処理端末１０が収集した音情報、画像情報、センサ情報などに基づいて、ユーザの行動や状態、周囲の環境などを認識する。本実施形態に係る認識部２１０による認識の結果は、コンテキスト情報として用いられる。
【００５６】  （出力制御部２２０）  本実施形態に係る出力制御部２２０は、情報処理端末１０の動作履歴に基づいて、再現シーンを生成し、当該再生シーンの出力を制御する機能を有する。この際、本実施形態に係る出力制御部２２０は、挙動が実行される際の判断に用いられたコンテキスト情報を反映した再現シーンを生成する。出力制御部２２０は、例えば、視覚情報や聴覚情報を含む再現シーンを生成し、情報処理端末１０に出力させることができる。
【００５７】  上記のコンテキスト情報には、例えば、利用者コンテキストに関する情報を含む。本実施形態に係る利用者コンテキストには、発話や入力行為を含む利用者の行動、状態、属性などが含まれる。本実施形態に係る出力制御部２２０は、利用者コンテキストを再現した再現シーンの生成することが可能である。
【００５８】  また、上記のコンテキスト情報には、種々の環境状態が含まれる。本実施形態に係るコンテキスト情報は、例えば、時間、気温、天気、騒音レベル、周囲に存在する他者や物体の状態などが含まれ得る。
【００５９】  また、本実施形態に係る出力制御部２２０は、コンテキスト情報に基づいて情報処理端末１０の挙動を制御する機能を有してもよい。出力制御部２２０は、例えば、認識部２１０による音声認識の結果などに基づいて、利用者に対する音声応答や各種のアプリケーションの起動を情報処理端末１０に実行させる。
【００６０】  さらには、本実施形態に係る出力制御部２２０は、妥当性の低い挙動や、低信頼度下で実行された挙動を検出し、事例として保存する機能を有してよい。出力制御部２２０は、例えば、情報処理端末１０に実行させた挙動に対する利用者の反応に基づいて、当該挙動の妥当性を判定し、挙動とコンテキスト情報とを対応づけて事例ＤＢ２５４に記憶させることができる。また、出力制御部２２０は、情報処理端末１０に実行させる挙動の信頼度が低い場合にも同様に、当該挙動とコンテキスト情報とを対応付けて事例ＤＢ２５４に記憶させる。
【００６１】  （音声合成部２３０）  本実施形態に係る音声合成部２３０は、出力制御部２２０による制御に基づいて、情報処理端末１０により出力される人工音声を合成する機能を有する。
【００６２】  （反映部２４０）  本実施形態に係る反映部２４０は、情報処理端末１０が収集した判定者のフィードバックに基づいて正解ラベルを生成し、正解ラベルと対象となる挙動、コンテキスト情報を対応づけてラベル付き挙動ＤＢ２５６に記憶させる機能を有する。本実施形態に係る反映部２４０は、例えば、フィードバックに対する自然言語処理の結果に基づいて正解ラベルを生成してもよい。また、フィードバックが例えば選択式などにより送信された場合については、反映部２４０は、判定者の選択に選択した正解ラベルをそのまま挙動と対応付けて挙動ＤＢ２５６に記憶させてもよい。
【００６３】  （記憶部２５０）  本実施形態に係る記憶部２５０は、ユーザＤＢ２５２、事例ＤＢ２５４、およびラベル付き挙動ＤＢ２５６を備える。
【００６４】  （（ユーザＤＢ２５２））  本実施形態に係るユーザＤＢ２５２は、ユーザに関する種々の情報を記憶する。ここで、上記のユーザには、情報処理端末１０を利用する利用者と、再現シーンに対するフィードバクを入力する判定者が含まれる。ユーザＤＢ２５２は、例えば、ユーザの性別、年齢、背景文化、嗜好、傾向などの情報を記憶してもよい。
【００６５】  （（事例ＤＢ２５４））  本実施形態に係る事例ＤＢ２５４は、妥当性の低い挙動や、低信頼度下で実行された挙動に係る事例を蓄積する。本実施形態に係る事例ＤＢ２５４は、上記のような挙動と、当該挙動の実行判定に用いられたコンテキスト情報とを対応付けて記憶する。なお、事例ＤＢ２５４が蓄積する事例は、出力制御部２２０により検出された事例であってもよいし、利用者からの明示的入力に基づいて収集された事例であってもよい。また、事例ＤＢ２５４は、開発者による解析に基づいて発掘された事例を蓄積してもよい。
【００６６】  （端末通信部２６０）  本実施形態に係る端末通信部２６０は、ネットワーク３０を介して、情報処理端末１０との情報通信を行う機能を有する。具体的には、端末通信部２６０は、情報処理端末１０から発話などの音情報や入力情報、画像情報、センサ情報、再現シーンに対するフィードバックを受信する。また、端末通信部２６０は、出力制御部２２０が生成した再現シーンや制御信号、音声合成部２３０が合成した人工音声などを情報処理端末１０に送信する。
【００６７】  以上、本実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図５を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。例えば、情報処理サーバ２０は、必ずしも図５に示す構成のすべてを備えなくてもよい。認識部２１０、音声合成部２３０、および記憶部２５０は、情報処理サーバ２０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００６８】  ＜＜２．５．事例の収集＞＞  次に、本実施形態に係る事例の収集について説明する。上述したように、本実施形態に係る情報処理サーバ２０は、情報処理端末１０が実行した挙動に係る種々の事例を蓄積し、当該事例に係る再現シーンを生成することができる。
【００６９】  この際、本実施形態に係る出力制御部２２０は、例えば、利用者が入力した発話やテキストなどに基づいて、情報処理端末１０の挙動の妥当性を判定し、事例の収集を行ってもよい。図６は、出力制御部２２０による妥当性の判定に基づく事例の収集について説明するための図である。図６には、利用者と情報処理端末１０による対話の流れが、利用者による入力ＵＩ１１〜１３および情報処理端末１０による出力ＳＯ１１〜ＳＯ１２により示されている
【００７０】  図６に示す一例では、まず、利用者による週末の予定を問い合わせる入力ＵＩ１１に対し、情報処理端末１０が、鎌倉でのランチの予定に関する出力ＳＯ１１を行っている。
【００７１】  次に、利用者による天気を問う入力ＵＩ１２を行っている。これに対し、情報処理端末１０は、入力ＵＩ１２に欠落している場所と時間の情報をデフォルトの設定に基づいて補完し、利用者の現在の所在地における今日の天気に関する出力ＳＯ１２を行っている。
【００７２】  しかし、入力ＵＩ１３を参照すると、利用者は、入力ＵＩ１１および出力ＳＯ１２に係る対話の流れから、週末の鎌倉の天気を問うことを意図していたことがわかる。このように、対話においては、過去に発言された内容などの時系列情報がコンテキストとなる状況が多く見受けられる。
【００７３】  この際、本実施形態に係る出力制御部２２０は、利用者の入力ＵＩ１３に含まれる否定的表現Ｃ１や、場所や時間などの詳細情報を付加した再質問Ｃ２などに基づいて、情報処理端末１０による出力ＳＯ１２の妥当性が低かったと判定することができる。この場合、出力制御部２２０は、出力ＳＯ１２と、時系列情報である入力ＵＩ１１および１２、出力ＳＯ１１とを対応付けて事例ＤＢ２５４に記録させることができる。
【００７４】  また、本実施形態に係る事例は、利用者による明示的な入力に基づいて収集されてもよい。図７は、本実施形態に係る利用者による明示的な入力に基づく事例の収集について説明するための図である。
【００７５】  図７には、利用者と情報処理端末１０との対話履歴を参照するユーザインタフェースの一例が示されている。なお、図７に示す一例では、利用者と情報処理端末１０との対話が時系列にソートされて示され、また、内容（話題、タスク）や時間などの要因に基づいてグループｇ１〜ｇ４にグルーピングされている。なお、上記のグルーピングに係る設定は、利用者が自由に設定できてもよい。
【００７６】  また、利用者は、例えば、スワイプやタップを行うことで、グループｇ１〜ｇ４や、グループ内における目的の出力を選択することができる。図７に示す一例の場合、利用者は、時系列のコンテキスト情報が考慮されていない出力ＳＯ２１を選択し、表示されるウィンドウｗ１に対して妥当性の低い挙動を指摘する明示的な入力を行っている。
【００７７】  この際、出力制御部２２０は、例えば、ウィンドウｗ１に挙動の誤りに係る選択肢ＯＰや自由入力フィールドＦを表示させることで、より詳細な情報を入力するように利用者を促すことができる。なお、図７に示す選択肢ＯＰにおけるアプリ誤りとは、実行するアプリケーションが期待に沿わなかったことを示す選択肢である。また、実行引数誤りとは、図７に示す一例のように、アプリケーションが参照すべき場所や時間などの引数が誤っていたことを示す選択肢である。
【００７８】  以上説明したように、本実施形態に係る情報処理サーバ２０によれば、妥当性の低い挙動に係る事例を効率的に収集し蓄積することが可能となる。なお、図６および図７を用いて説明した収集の手法はあくまで一例であり、本実施形態に係る事例の収集手法は係る例に限定されない。
【００７９】  本実施形態に係る事例は、例えば、開発者などによる情報処理端末１０の動作履歴の解析に基づいて収集されてもよい。
【００８０】  また、本実施形態に係る出力制御部２２０は、図６に示した一例のほか、例えば、以下のような場合に、挙動の信頼度が低いと判定し、事例の収集を行うことができる。
【００８１】  例えば、ノイズなどの影響により音声認識のスコアが低い場合には、認識内容に誤りがあり、利用者の意図が汲み取れていない可能性がある。このため、出力制御部２２０は、認識部２１０による音声認識のスコアが低い場合、挙動の信頼度が低いと判定してもよい。
【００８２】  また、利用者による入力が曖昧な場合、出力制御部２２０は、起動すべきアプリケーションを絞り切れない場面もある。この際、出力制御部２２０は、「どのアプリケーションを起動しますか？」、と利用者に指示を仰ぐ場合もあるが、よりスコアの高いアプリケーションを起動する場合ある。このため、出力制御部２２０は、起動すべきアプリケーションを特定できない場合、挙動の信頼度が低いと判定してよい。
【００８３】  ＜＜２．６．再現シーンの出力制御＞＞  次に、本実施形態に係る出力制御部２２０による再現シーンの出力制御について詳細に説明する。上述したように、本実施形態に収集した種々の事例に基づく再現シーンを生成し、当該再生シーンを情報処理端末１０に出力させることができる。この際、本実施形態に係る出力制御部２２０は、挙動の実行に際し用いられたコンテキスト情報を反映した再現シーンを生成することを特徴の一つとする。
【００８４】  なお、本実施形態に係るコンテキスト情報には、入力行為や発話を含む利用者の行動、状態、属性、また周囲環境の状態などに関する情報が含まれる。また、コンテキスト情報には、上述したように、情報処理端末１０と利用者との対話に係る時系列情報などが含まれる。
【００８５】  本実施形態に係る出力制御部２２０は、例えば、利用者による発話と情報処理端末による音声発話とを含む音声対話の再現シーンを、時系列情報やその他のコンテキスト情報を反映して生成することができる。
【００８６】  また、本実施形態に係る出力制御部２２０は、生成した再現シーンと共に、当該再現シーンに対するコンテキスト情報の反映有無を設定するユーザインタフェースを判定者に提供してもよい。
【００８７】  図８は、本実施形態に係る再現シーンとコンテキスト情報の反映有無を設定するユーザインタフェースについて説明するための図である。図８には、情報処理端末１０の表示部１１０に表示される再現シーンＲＰ３とコンテキスト情報の反映有無を設定するユーザインタフェースＣＩとが示されている。
【００８８】  この際、再現シーンＲＰ３を視聴する判定者は、ユーザインタフェースＣＩが含む各項目を操作することで、各項目に対応するコンテキスト情報の再現シーンＲＰ３に対する反映有無や程度など切り替えることができる。
【００８９】  例えば、判定者は、再現シーンＲＰ３に反映させる利用者（利用者アバターＡＵ）の設定を行うことができる。判定者は、対話に参加した利用者の数などを設定できてよい。例えば、対話に参加した利用者が複数いる場合、利用者Ａと情報処理端末１０との対話のみでは、正しい挙動が特定できない場面も想定される。
【００９０】  例えば、正しい挙動を特定するためのコンテキストが、事前に行われた利用者Ｂと情報処理端末１０との対話である可能性も存在する。この際、判定者は、利用者Ｂが行った発話や情報処理端末１０が利用者Ｂに対し出力した音声発話を再現シーンＲＰ３に反映させることで、正しい挙動を判定し、フィードバックを行うことが可能となる。なお、図８に示す一例では、ユーザインタフェースＣＩにおいて設定された条件に基づいて、出力制御部２２０が、利用者Ａおよび利用者Ｂに対応する利用者アバターＡＵおよびＡＵ２を再現シーンＲＰ３に反映させている。
【００９１】  また、例えば、判定者は、再シーンＲＰ３の長さを指定することができる。前述したように、対話においては、過去の対話などの時系列情報がコンテキストとなる場面も多い。このため、判定者は、再現シーンＲＰ３の長さを調整することで、正しい挙動を判定し、フィードバックを行うことができる。
【００９２】  また、例えば、判定者は、再現シーンＲＰ３に係る画像情報の有無を設定できてもよい。利用者と情報処理端末１０との対話が音声対話である場合、再現シーンＲＰ３は必ずしも画像情報を伴わなくてもよく、音声やテキスト情報のみによって再現されてもよい。このため、例えば、判定者は、初めに再生された音声のみの再現シーンＲＰ３では、正しい挙動を判定できない場合にのみ、視覚情報を出力させることも可能である。
【００９３】  また、例えば、再現シーンＲＰ３には、出力制御部２２０が再現しきれていないコンテキストが存在する場合も想定される。このため、判定者は、実際の録音音声や録画映像を再現シーンＲＰ３として再生させることも可能である。この場合、判定者は、再現シーンＲＰ３に再現されていないコンテキストを発掘し、フィードバックを行うことも可能となる。
【００９４】  また、例えば、判定者は、利用者の視線や表情などの状態に関するコンテキストの反映有無を設定できてもよい。上記のような利用者の状態は、情報処理端末１０による正しい挙動を特定するためのコンテキストとなり得る。図８に示す一例の場合、ユーザインタフェースＣＩにおいて設定された条件に基づいて、出力制御部２２０が、利用者Ａに対応する利用者アバターＡＵの視線を再現シーンＲＰ３に反映している。
【００９５】  以上説明したように、本実施形態に係る出力制御部２２０は、再現シーンと共にコンテキスト情報の反映有無や程度を設定するユーザインタフェースを判定者に提供することが可能である。本実施形態に係る出力制御部２２０が有する上記の機能によれば、判定者が再現シーンに係る情報量を適宜調整することが可能となり、また、埋没されたコンテキストを特定することが可能となる。
【００９６】  なお、本実施形態に係る再現シーンやコンテキスト情報は、図８を用いて説明した上記の例に限定されない。本実施形態に係る出力制御部２２０は、例えば、情報処理端末１０の視線から見た再現シーンを生成することもできる。この場合、判定者は、利用者の表情の微細な変化などをコンテキストとして取得することが可能となる。
【００９７】  また、本実施形態に係るコンテキスト情報には、例えば、利用者のスケジュールなどが含まれてもよい。例えば、利用者と情報処理端末１０との対話の前後の利用者のスケジュールは、正しいコンテキストを特定するためのコンテキストとなり得る場合がある。このため、出力制御部２２０は、スケジューラなどから取得した利用者のスケジュールを反映した再現シーンを生成し、判定者に提供してもよい。
【００９８】  また、本実施形態に係る出力制御部２２０は、まず、反映するコンテキスト情報をある程度絞った状態で生成した再現シーンを判定者に提示してもよい。この場合、判定者が正しい挙動の特定するために追加したコンテキスト情報を特定することが可能となる。
【００９９】  一方で、本実施形態に係る出力制御部２２０は、反映し得るコンテキスト情報をすべて反映した状態で再現シーンを判定者に提示してもよい。この場合、判定者が削ったコンテキスト情報が正しい挙動の特定には用いられなかったことを特定することが可能である。
【０１００】  なお、再現シーンを視聴した判定者は、例えば、予め容易された選択肢を選択したり、発話やキーボード操作などによる自由入力によって、正しい挙動に関するフィードバックを入力することができる。この際、本実施形態に係る反映部２４０は、上記のフィードバックから生成した正解ラベルと、フィードバックを行った際のユーザインタフェースＣＩの設定、すなわち正しい挙動の特定に用いられたコンテキスト情報とを対応付けてラベル付き挙動ＤＢ２５６に記憶させる。
【０１０１】  続いて、出力制御部２２０によるコンテキスト情報を加工した再現シーンの生成について説明する。本実施形態に係る情報処理方法では、蓄積された事例に係る再現シーンを条件に基づいて選定した判定者に提示し、フィードバックを得ることを特徴の一つとする。このため、本実施形態では、利用者と判定者が同一人物ではない場合も多い。
【０１０２】  この際、利用者による入力内容や、利用者の状態、属性などに関するコンテキスト情報をそのまま再現シーンに用いると、利用者の個人情報が判定者に伝わってしまう可能性も考えられる。
【０１０３】  また、入力内容が個人情報に関連しない場合であっても、利用者や判定者の属性が異なる場合には、汎用的に用いることが困難な場合がある。なお、上記の属性には、例えば、利用者の性別、年齢、背景文化、所在地、知識レベルなどが想定される。
【０１０４】  このため、本実施形態に係る出力制御部２２０は、利用者と判定者が異なる場合には、コンテキスト情報の一部を加工した再現シーンを生成し、判定者に提供してよい。この際、出力制御部は、コンテキスト情報の一部を同一粒度の別内容に変換した再現シーンを生成することができる。
【０１０５】  図９は、本実施形態に係る出力制御部２２０によるコンテキスト情報の加工について説明するための図である。図９の左下には、利用者Ｕが行った発話ＵＯ３が示されている。ここで、発話ＵＯ３は、ニューヨークの明日の天気に関する問い合わせであってよい。
【０１０６】  この際、本実施形態に係る認識部２１０は、情報処理端末１０が収集した発話ＵＯ３に係る情報に基づいて、発話意図のシンボル化を行う。図９の左上には、認識部２１０によりシンボル化された発話ＵＯ３に対応するシンボルＳ１が示されている。ここで、シンボルＳ１では、発話ＵＯ３のドメインが天気情報の要求であること、また当該要求に係るスロット（パラメータ）である場所と日付がそれぞれニューヨークと明日であることが定義され得る。
【０１０７】  この際、本実施形態に係る出力制御部２２０は、例えば、場所や日付などのスロットを、同一粒度の別内容に変換することができる。図９に示す一例の場合、出力制御部２２０は、場所をベルリン、日付を明後日にそれぞれ変更したシンボルＳ２を生成している。
【０１０８】  続いて、出力制御部２２０は、生成したシンボルＳ２に基づいて、利用者Ｕに対応する利用者アバターＡＵに発話させる音声発話ＡＯ３を生成する。なお、図９に示す一例の場合、出力制御部２２０は、シンボルＳ２で変更した場所の情報に対応する言語を用いて音声発話ＡＯ３を生成している。このように、本実施形態に係る出力制御部２２０は、スロットの他、言語や語順などを加工してもよい。また、出力制御部２２０は、発話ＵＯ３の一部を削除したり、新たな内容を付加した音声発話ＡＯ３を生成することもできる。
【０１０９】  また、本実施形態に係る出力制御部２２０は、利用者Ｕに係る属性などの一部を変更した利用者アバターＡＵを生成してもよい。例えば、利用者Ｕが２０代後半の男性であり、妻と一人の娘と暮らしている場合、出力制御部２２０は、利用者アバターＡＵの設定を、３０台前半の男性であり、妻と二人の娘と暮らしている、と変更してもよい。なお、出力制御部２２０は、上記のような利用者コンテキストを例えば、テキスト情報により再現シーンに組み込むことができる。
【０１１０】  以上説明したように、本実施形態に係る出力制御部２２０は、コンテキスト情報の一部を同一粒度の別内容に変換した再現シーンを生成することができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、利用者の個人情報を保護すると共に、より汎用的な内容に事例を変更することなどが可能となる。
【０１１１】  ＜＜２．７．判定者の選定＞＞  次に、本実施形態に係る判定者の選別について説明する。本実施形態に係る出力制御部２２０は、種々の条件に基づいて再現シーンを提供する判定者を選定することができる。
【０１１２】  一般的に、製品に対するフィードバックを入力する行為は、ユーザにとって負荷が高いことから、フィードバックを効率的に収集するためには、フィードバックに対し意欲の高いユーザを選定することが重要となる。
【０１１３】  このため、本実施形態に係る出力制御部２２０は、フィードバックに係るユーザスコアに基づいて、フィードバックを要求する判定者を選定してよい。ここで、上記のユーザスコアは、フィードバック入力に対するユーザの意欲の高さの指標であってよい。
【０１１４】  ユーザスコアは、例えば、過去にフィードバックを入力した実績や、フィードバックに対し快諾をしてくれた実績に基づいて算出されてもよい。また、ユーザスコアは、好奇心の強い子供のユーザや、システムの利用時間が長いユーザで高く算出されてもよい。
【０１１５】  また、ユーザスコアは動的に算出されてもよい。ユーザスコアは、例えば、ユーザが対話直後である場合、また当該対話の内容が蓄積された事例に近い場合に高く算出されてもよい。また、ユーザスコアは、ユーザに直近の予定がない場合や、リラックスした状態である場合に高く算出されてもよい。
【０１１６】  また、本実施形態に係るユーザスコアは、ユーザ属性に基づいて算出されてもよい。本実施形態に係るユーザスコアは、例えば、利用者に近い属性を有するユーザほど高く算出されてよい。この場合、出力制御部２２０は、利用者と類似する傾向を有すると想定される判定者を選定することができ、より精度の高いフィードバックを収集することが可能となる。
【０１１７】  また、本実施形態に係るユーザスコアは、情報処理端末１０のキャラクタ設定に近い属性を有するユーザほど高く算出されてよい。近年における対話装置では、対話を行うキャラクタに性別や年齢、正確などの設定が与えられることも少なくない。このため、本実施形態に係る出力制御部２２０が、当該キャラクタと類似する傾向を有すると想定される判定者を選定することで、情報処理端末１０が行うべき挙動に関し、より精度の高いフィードバックを収集することが可能となる。
【０１１８】  ＜＜２．８．処理の流れ＞＞  次に、本実施形態に係る情報処理サーバ２０による処理の流れについて詳細に説明する。まず、情報処理サーバ２０による事例収集の流れについて説明する。図１０は、本実施形態に係る情報処理サーバ２０による事例収集の流れを示すフローチャートである。
【０１１９】  図１０を参照すると、まず、出力制御部２２０による制御に基づいて、利用者と情報処理端末１０との対話が開始される（Ｓ１１０１）。
【０１２０】  ステップＳ１１０１において対話が開始されたのち、出力制御部２２０は、情報処理端末１０に出力させる音声発話に関し、妥当性や信頼度を継続してチェックする（Ｓ１１０２）。この際、出力制御部２２０は、上述したように、利用者の発話内容や、音声認識結果などに基づいて、上記のチェックを行ってよい。また、出力制御部２２０は、利用者の表情や行動などのコンテキストに基づいて、妥当性を判断することもできる。
【０１２１】  ここで、妥当性や信頼度が閾値を下回った場合（Ｓ１１０２：ＹＥＳ）、出力制御部２２０は、挙動およびコンテキスト情報を対応付けて事例ＤＢ２５４に記憶させる（Ｓ１１０５）。
【０１２２】  一方、妥当性や信頼度が閾値を下回らない場合（Ｓ１１０２：ＮＯ）には、出力制御部２２０は、情報処理端末１０による対話を終了させる（Ｓ１１０３）。
【０１２３】  また、出力制御部２２０は、ステップＳ１１０３において対話が終了したのち、再度、挙動に係る妥当性や信頼度のチェックを行ってもよい（Ｓ１１０４）。
【０１２４】  ここで、妥当性や信頼度が閾値を下回る挙動が検出された場合（Ｓ１１０２：ＹＥＳ）、出力制御部２２０は、ステップＳ１１０５に移行し、挙動およびコンテキスト情報を対応付けて事例ＤＢ２５４に記憶させる。
【０１２５】  以上、本実施形態に係る情報処理サーバ２０による事例収集の流れについて説明した。なお、図１０を用いた上記の説明では、情報処理サーバ２０が対話においてリアルタイムに事例を収集する場合を例に述べた。一方、上述したように、本実施形態に係る情報処理サーバは、利用者による明示的な入力や開発者などによる解析結果に基づいて、事例を蓄積することも可能である。
【０１２６】  続いて、本実施形態に係る情報処理サーバ２０による再現シーンの出力制御とフィードバック収集の流れについて説明する。図１１は、本実施形態に係る情報処理サーバ２０による再現シーンの出力制御とフィードバック収集の流れを示すフローチャートである。
【０１２７】  図１１を参照すると、まず、出力制御部２２０は、再現を行う事例を選択する（Ｓ１２０１）。この際、出力制御部２２０は、利用者が明示的に入力した事例や、より長い対話に係る事例を選択してもよい。また、出力制御部２２０は、例えば、より利用されるアプリケーション、事例が多く蓄積されているアプリケーションに関する事例を選択してもよい。
【０１２８】  次に、出力制御部２２０は、ユーザスコアに基づいて、フィードバックを要求する判定者を選定する（Ｓ１２０２）。
【０１２９】  次に、出力制御部２２０は、ステップＳ１２０１で選択した事例と、ステップＳ１２０２において選定した判定者の情報に基づいて、コンテキスト情報の加工を行う（Ｓ１２０３）。
【０１３０】  次に、出力制御部２２０は、ステップＳ１２０３において加工したコンテキスト情報に基づいて再現シーンを生成し、当該再現シーンを情報処理端末１０に出力させる（１２０４）。
【０１３１】  ここで、ステップＳ１２０４において出力された再現シーンに対し判定者からのフィードバックがあったか場合（Ｓ１２０５：ＹＥＳ）、反映部２４０は、フィードバックから正解ラベルを生成しコンテキスト情報と共にラベル付き挙動ＤＢ２５６に記憶させる。
【０１３２】  また、反映部２４０は、ステップＳ１２０５におけるフィードバックの有無に基づいて、判定者に係るユーザスコアを更新する（Ｓ１２０６）。
【０１３３】  ＜３．第２の実施形態＞  次に、本実施形態に係る第２の実施形態について説明する。本実施形態に係る第２の実施形態では、情報処理端末１０が、情報処理サーバ２０による制御に基づいて、利用者の嗜好や状態に基づいて音楽再生を行う機能を有する場合の例について説明する。
【０１３４】  なお、以下における説明においては、第１の実施系形態との差異について中心に説明し、第１の実施形態と共通する機能や特徴については、詳細な説明を省略する。
【０１３５】  図１２Ａおよび図１２Ｂは、第２の実施形態に係る情報処理端末１０の挙動について説明するための図である。上述したように、本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、利用者の嗜好や状態に基づいて音楽再生を行う機能を有する。本実施形態に係る出力制御部２２０は、例えば、ユーザＤＢ２５２に記憶される利用者の情報や、認識部２１０が認識した利用者の状態などに基づいて、再生する音楽を決定し、情報処理端末１０に出力させることができる。
【０１３６】  図１２Ａには、出力制御部２２０がユーザＤＢ２５２に記憶される利用者の嗜好に基づいて、楽曲Ｍ１を情報処理端末１０に出力させる場合の例が示されている。出力制御部２２０は、例えば、認識部２１０が情報処理端末１０の近くに利用者Ｕ１を検出したことに基づいて、楽曲Ｍ１を出力させることができる。ここで、楽曲Ｍ１は、例えば、ロックなどのテンポの激しい曲であってもよい。
【０１３７】  一方、図１２Ｂには、利用者が他の人物と一緒にリラックスしている際に、出力制御部２２０が情報処理端末１０に音楽再生を実行させる場合の例が示されている。図１２Ｂに示す一例の場合、出力制御部２２０は、図１２Ａに示した場合と同様に、利用者Ｕ１の嗜好に基づいて楽曲Ｍ１を出力させている。
【０１３８】  しかし、図１２Ｂに示す一例の場合、利用者Ｕ１は、実際には、他の人物と共に楽しむことができる、ゆったりとしたテンポの楽曲を望んでいる。すなわち、図１２Ｂに示す一例は、情報処理端末１０が妥当性の低い挙動を行っている場合を示している。
【０１３９】  この際、本実施形態に係る出力制御部２２０は、例えば、認識された利用者Ｕ１の表情や発話などに基づいて、情報処理端末１０が実行した挙動の妥当性が低いことを判定し、当該挙動とコンテキスト情報とを対応付けて事例ＤＢ２５４に記憶させる。なお、図１２Ｂに示す一例の場合、コンテキスト情報には、他の人物の存在、リラックスした利用者Ｕ１の状態、または食事などの利用者Ｕ１の行動が含まれる。
【０１４０】  また、出力制御部２２０は、事例の収集後、第１の実施形態と同様に、事例に係る再現シーンを生成し、判定者にフィードバックを要求することができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、利用者の状態や周囲環境の状態などのコンテキスト情報に基づく情報処理端末１０の挙動に対するフィードバックを効率的に収集することが可能となる。
【０１４１】  ＜４．第３の実施形態＞  次に、本実施形態に係る第３の実施形態について説明する。本実施形態に係る第３の実施形態では、情報処理端末１０が、情報処理サーバ２０による制御に基づいて、仮想オブジェクトの表示を行う場合の例について説明する。
【０１４２】  なお、以下における説明においては、第１の実施系形態および第２の実施形態との差異について中心に説明し、第１の実施形態および第２の実施形態と共通する機能や特徴については、詳細な説明を省略する。
【０１４３】  図１３は、第３の実施形態に係る情報処理端末１０の動作について説明するための図である。上述したように、本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、仮想オブジェクトの表示を行う機能を有する。情報処理端末１０は、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術やＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）技術などを用いて仮想オブジェクトＶＯ１を利用者Ｕ２の視野ＦＶに表示させる。
【０１４４】  この際、本実施形態に係る出力制御部２２０は、例えば、利用者Ｕ２のジェスチャなどに基づいて、仮想オブジェクトＶＯ１の挙動を制御してよい。図１３に示す一例の場合、出力制御部２２０は、認識部２１０が認識した、利用者Ｕ２による手のひらを下に向けて手首や指の関節を動かすジェスチャに基づいて、仮想オブジェクトＶＯ１が利用者Ｕ２の方向へ近づくよう制御を行っている。
【０１４５】  しかし、図１３に示す一例の場合、利用者Ｕ２に係る背景文化では、上記のジェスチャは、対象が自身からより離れた位置に移動することを指示する動作であり、利用者Ｕ２は、実際には、仮想オブジェクトＶＯ１が自身から遠ざかることを望んでいる。すなわち、図１３に示す一例は、情報処理端末１０が妥当性の低い挙動を行っている場合を示している。
【０１４６】  この際、本実施形態に係る出力制御部２２０は、例えば、認識された利用者Ｕ１の表情や発話などに基づいて、情報処理端末１０が実行した挙動の妥当性が低いことを判定し、当該挙動とコンテキスト情報とを対応付けて事例ＤＢ２５４に記憶させる。なお、図１３に示す一例の場合、コンテキスト情報には、利用者Ｕ２によるジェスチャや、利用者Ｕ２に係る背景文化の情報などが含まれる。
【０１４７】  また、出力制御部２２０は、事例の収集後、第１の実施形態や第２の実施形態と同様に、事例に係る再現シーンを生成し、判定者にフィードバックを要求することができる。この際、本実施形態に係る出力制御部２２０は、利用者Ｕ３と同一または類似する背景文化を有するユーザを判定者として選定してよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、利用者の行動や属性などのコンテキスト情報に基づく情報処理端末１０の挙動に対するフィードバックを効率的に収集することが可能となる。
【０１４８】  ＜５．ハードウェア構成例＞  次に、本開示の一実施形態に係る情報処理端末１０および情報処理サーバ２０に共通するハードウェア構成例について説明する。図１４は、本開示の一実施形態に係る情報処理端末１０および情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１４を参照すると、情報処理端末１０および情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１４９】  （ＣＰＵ８７１）  ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１５０】  （ＲＯＭ８７２、ＲＡＭ８７３）  ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１５１】  （ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）  ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
【０１５２】  （入力装置８７８）  入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１５３】  （出力装置８７９）  出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１５４】  （ストレージ８８０）  ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１５５】  （ドライブ８８１）  ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１５６】  （リムーバブル記録媒体９０１）リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１５７】  （接続ポート８８２）  接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１５８】  （外部接続機器９０２）  外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１５９】  （通信装置８８３）  通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１６０】  ＜６．まとめ＞  以上説明したように、本開示の一実施形態に係る情報処理サーバ２０は、収集された事例に基づいて、情報処理端末１０がコンテキスト情報に基づいて実行した挙動に係る再現シーンを生成し、当該再現シーンの出力を制御することができる。また、本開示の一実施形態に係る情報処理サーバ２０は、出力された再現シーンに対し判定者が入力したフィードバックを受信し保存することができる。係る構成によれば、装置による挙動の是正に対し、より有効な情報を効率的に収集することが可能となる。
【０１６１】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６２】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１６３】  また、本明細書の情報処理サーバ２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１６４】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御する出力制御部と、  出力された前記再現シーンに対し判定者が入力したフィードバックを受信する通信部と、  を備える、情報処理装置。（２）  前記出力制御部は、前記コンテキスト情報を反映した前記再現シーンの出力を制御する、前記（１）に記載の情報処理装置。（３）  前記動作履歴は、妥当性が低いと判定された前記装置による挙動に関する履歴を含む、前記（１）または（２）に記載の情報処理装置。（４）  前記動作履歴は、前記装置が低信頼度の下に実行した挙動に関する履歴を含む、前記（１）〜（３）のいずれかに記載の情報処理装置。（５）  前記出力制御部は、前記装置の挙動と前記装置の利用者の挙動とを含む前記再現シーンの出力を制御する、前記（１）〜（４）のいずれかに記載の情報処理装置。（６）  前記出力制御部は、前記再現シーンに対する前記コンテキスト情報の反映有無または程度を設定するインタフェースを前記判定者に提供する、前記（１）〜（５）のいずれかに記載の情報処理装置。（７）  前記出力制御部は、前記フィードバックと共に前記インタフェースに設定された前記コンテキスト情報の反映有無または程度に係る情報を収集する、前記（６）に記載の情報処理装置。（８）  前記コンテキスト情報は、少なくとも前記装置が実行した挙動の利用者に係る利用者コンテキストに関する情報を含む、前記（１）〜（７）のいずれかに記載の情報処理装置。（９）  前記利用者コンテキストは、前記利用者の行動、状態、または属性のうち少なくともいずれかを含む、前記（８）に記載の情報処理装置。（１０）  前記出力制御部は、前記利用者コンテキストを再現した前記再現シーンの出力を制御する、前記（９）に記載の情報処理装置。（１１）  前記動作履歴は、前記装置と前記装置の利用者との対話に関する履歴であり、  前記出力制御部は、前記対話に係る前記再現シーンの出力を制御する、前記（１）〜（１０）のいずれかに記載の情報処理装置。（１２）  前記コンテキスト情報は、前記対話に係る時系列情報を含み、  前記出力制御部は、前記時系列情報を反映した前記再現シーンの出力を制御する、前記（１１）のいずれかに記載の情報処理装置。（１３）  前記対話は、前記利用者による発話と前記装置による音声発話とを含む音声対話である、前記（１１）または（１２）に記載の情報処理装置。（１４）  前記出力制御部は、前記装置による挙動または前記コンテキスト情報の少なくとも一部を同一粒度の別内容に変換した前記再現シーンを出力させる、前記（１）〜（１３）のいずれかに記載の情報処理装置。（１５）  前記動作履歴は、前記装置と前記装置の利用者との対話に関する履歴であり、  前記出力制御部は、前記利用者と前記判定者とが異なる場合、前記対話の一部を同一粒度の別内容に変換した前記再現シーンを出力させる、前記（１）〜（１４）のいずれかに記載の情報処理装置。（１６）  前記出力制御部は、ユーザ属性に基づいて選定した前記判定者が用いる端末に前記再現シーンを出力させる、前記（１）〜（１５）のいずれか���記載の情報処理装置。（１７）  前記出力制御部は、前記装置による挙動の妥当性または信頼度を判定する、前記（１）〜（１６）のいずれかに記載の情報処理装置。（１８）  装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信する通信部と、  前記再現シーンを再生する再生部と、  を備え、  前記通信部は、判定者が前記再現シーンに対して入力したフィードバックを送信する、情報処理装置。（１９）  プロセッサが、収集された装置の動作履歴に基づいて、前記装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの出力を制御することと、  出力された前記再現シーンに対し判定者が入力したフィードバックを受信することと、  を含む、情報処理方法。（２０）  プロセッサが、装置がコンテキスト情報に基づいて実行した挙動に係る再現シーンの情報を受信することと、  前記再現シーンを再生することと、  判定者が前記再現シーンに対して入力したフィードバックを送信することと、  を含む、情報処理方法。
【符号の説明】
【０１６５】  １０      情報処理端末  １１０    表示部  １２０    音声出力部  １３０    入力部  １４０    撮像部  １５０    センサ部  １６０    制御部  １７０    サーバ通信部  ２０      情報処理サーバ  ２１０    認識部  ２２０    出力制御部  ２３０    音声合成部  ２４０    反映部  ２５０    記憶部  ２５２    ユーザＤＢ  ２５４    事例ＤＢ  ２５６    ラベル付き挙動ＤＢ  ２６０    端末通信部
【図１】
2019017027.tif 000003
【図２】
2019017027.tif 000004
【図３】
2019017027.tif 000005
【図４】
2019017027.tif 000006
【図５】
2019017027.tif 000007
【図６】
2019017027.tif 000008
【図７】
2019017027.tif 000009
【図８】
2019017027.tif 000010
【図９】
2019017027.tif 000011
【図１０】
2019017027.tif 000012
【図１１】
2019017027.tif 000013
【図１２Ａ】
2019017027.tif 000014
【図１２Ｂ】
2019017027.tif 000015
【図１３】
2019017027.tif 000016
【図１４】
2019017027.tif 000017
【国際調査報告】
2019017027.tif 000018
2019017027.tif 000019
2019017027.tif 000020