(57)【要約】  コンピュータ実装システムであり、その中で、情報は、自動化された（すなわち、人間以外の、コンピュータ化された）インタフェースを使用してユーザから取得され、このインタフェースは、ユーザから受信したフィードバックに基づいて、質問を動的に適合させるように構成される。自動化されたインタフェースは、（ｉ）ユーザからのフィードバック情報から情報（例えば、意味、感情など）を抽出し、それを使用してさらなる質問についての方向性を決定するためのエージェント、及び（ｉｉ）ユーザへのさらなる質問を表現する方法を制御するためのエージェントを含むことができる。インタフェースは、フィードバック情報を受信するためにネットワークを介してクライアントデバイスと通信可能に接続されるフィードバック収集マネージャとしての実施形態であることができ、フィードバック収集マネージャは、クエリトピックを生成するように設定されるＡＩベースのトピックジェネレータモジュール、及びこの生成されたクエリトピックを使用してクライアントデバイスとのインタラクティブ情報交換を指示するための自動インタラクティブ質問ジェネレータを含む。
2021533489.tif 000002
【特許請求の範囲】
【請求項１】
ユーザフィードバックを収集するためのコンピュータ実装システムであって、前記システムは、
ユーザからのフィードバック情報を収集して通信するように設定されるクライアントデバイスと、
前記フィードバック情報を受信するためにネットワークを介して前記クライアントデバイスと通信可能に接続されるフィードバック収集マネージャと、
を含み、
前記フィードバック収集マネージャは、
前記クライアントデバイスから受信するフィードバック情報を使用してクエリトピックを生成するように設定されるＡＩベースのトピックジェネレータモジュールと、
前記生成されたクエリトピックを使用して前記クライアントデバイスとのインタラクティブ情報交換を指示するための自動インタラクティブ質問ジェネレータと、
を含む、前記システム。
【請求項２】
前記クライアントデバイスによって収集される前記フィードバック情報は、前記自動インタラクティブ質問ジェネレータからの質問に応答して受信する回答データ、及び前記回答データを提供するときに前記ユーザから収集される行動データを含む、請求項１に記載のシステム。
【請求項３】
前記回答データは音声である、請求項２に記載のシステム。
【請求項４】
前記行動データは、前記ユーザについての情動状態データを含む、請求項２または３に記載のシステム。
【請求項５】
前記クライアントデバイスによって収集される前記フィードバック情報は、前記ユーザの顔画像を含み、前記情動状態データは、前記顔画像から抽出される、請求項４に記載のシステム。
【請求項６】
前記フィードバック収集マネージャは、前記回答データを提供するときに前記ユーザから収集される前記行動データに基づいて、前記回答データに関連する感情を検出するように構成され、前記自動インタラクティブ質問ジェネレータは、前記クライアントデバイスとの前記インタラクティブ情報交換に、前記検出された感情、及び前記生成されたクエリトピックの両方を使用するように構成される、請求項２から５のいずれか１項に記載のシステム。
【請求項７】
前記自動インタラクティブ質問ジェネレータは、前記ユーザとのインタラクティブな対話に従事するように構成される自然会話モジュールを含む、いずれかの先行請求項に記載のシステム。
【請求項８】
前記行動データは、前記ユーザについての生理学的データを含む、請求項２から７のいずれか１項に記載のシステム。
【請求項９】
前記ユーザフィードバックは、刺激への前記ユーザの曝露に関連し、前記クライアントデバイスは、前記刺激への前記ユーザの曝露中に前記ユーザから行動応答データを収集するようにさらに設定される、いずれかの先行請求項に記載のシステム。
【請求項１０】
前記クライアントデバイスによって通信される前記フィードバック情報は、前記行動応答データを含む、請求項９に記載のシステム。
【請求項１１】
前記フィードバック収集マネージャは、複数のクライアントデバイスから異なるユーザに関連するフィードバック情報を受信するように構成される、いずれかの先行請求項に記載のシステム。
【請求項１２】
前記ＡＩベースのトピックジェネレータモジュールは、トピックリポジトリ、及び前記トピックリポジトリに結合されるトピック決定エージェントを含み、
前記ＡＩベースのトピックジェネレータモジュールは、
前記フィードバック情報から入力データを抽出し、
前記入力データを前記トピック決定エージェントに適用して、前記クエリトピックを示す出力データを生成する、
ように設定される、いずれかの先行請求項に記載のシステム。
【請求項１３】
前記トピックリポジトリは、ワールドモデルを含み、前記ワールドモデルから前記トピック決定エージェントは、前記入力データに基づいて新しいクエリトピックを出力するように構成される、請求項１２に記載のシステム。
【請求項１４】
前記トピックリポジトリは、以前に受信したフィードバックデータのデータベースを含み、前記データベースから前記トピック決定エージェントは、前記入力データに基づいて関連したクエリトピックを出力するように構成される、請求項１２または１３に記載のシステム。
【請求項１５】
前記トピック決定エージェントは、前記出力データを目的と比較し、前記比較に基づいて前記クエリトピックを選択するように構成される、請求項１２から１４のいずれか１項に記載のシステム。
【請求項１６】
前記トピック決定エージェントは、機械学習アルゴリズムを含み、前記機械学習アルゴリズムは、教師あり学習から得られるモデル、敵対的ネットワークモデル、及び強化トレーニングから得られるモデルのうちのいずれか１つを含む、請求項１２から１５のいずれか１項に記載のシステム。
【請求項１７】
前記フィードバック収集マネージャは、スタータートピックリポジトリを含み、前記自動インタラクティブ質問ジェネレータは、前記スタータートピックリポジトリからのスタータートピックを使用して前記インタラクティブ情報交換を開始するように構成される、いずれかの先行請求項に記載のシステム。
【請求項１８】
前記スタータートピックは、前記ユーザが曝露される刺激に基づいて選択される、請求項１７に記載のシステム。
【請求項１９】
前記スタータートピックは、前記刺激への前記ユーザの曝露中に収集される、前記ユーザからの行動応答データに基づいて選択される、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザフィードバックを収集するコンピュータ実装システム及び方法に関する。特に、本発明は、人工知能（ＡＩ）ベースのエンティティがユーザから収集される情報に基づいてフィードバック収集プロセスを推進する、ウェブベースのインタラクティブ情報交換に関する。
【背景技術】
【０００２】
広告、ミュージックビデオ、映画などのような、ある特定の種類のメディアコンテンツは、消費者の情動状態における変化を誘発することを目標としている。広告の場合、この情動状態における変化を売上高の伸びなどの業績に変換することが望ましい場合がある。例えば、テレビコマーシャルは、テレビコマーシャルに関連する製品の売上高を伸ばすことを期待している場合がある。公開前にメディアコンテンツの有効性を評価することができることが求められている。
【０００３】
自己申告フィードバックとも称されるアクティブフィードバックは、ビデオコマーシャルなどのメディアコンテンツの性能を決定する、または予測する試みに使用されることがある。アクティブユーザフィードバックの場合、ユーザはメディアコンテンツを消費した後、口頭または書面でフィードバックを提供する。例えば、ユーザは、手動で、または音声認識ツールを使用して自動化された方法などで、質問票に記入したり、分析のために記録できる音声フィードバックを提供したりする場合がある。フィードバックには、メディアコンテンツの消費中に経験した情動状態を示すものが含まれる場合がある。アンケートベースのフィードバックは、通常、処理及び比較を容易にするために高度に構造化されている。例えば、アンケートは、明確で柔軟性のない質問経路をマッピングする階層型または決定木型の構造を有することができる。
【０００４】
ユーザの行動特性または生理学的特性を示すデータを収集することなどによる、受動的な方式で情動状態データを測定することができることも知られている。一例では、顔の反応は、経験した情動状態の受動的指標として使用されることができる。ウェブカメラによるビデオ取得は、メディアコンテンツがユーザによって消費されるときに画像フレームをキャプチャすることにより、顔の反応を監視するために使用できる。したがって、情動状態は、ビデオ画像を処理することにより、ウェブカメラを使用してキャプチャすることができる。
【０００５】
生理学的パラメータは、経験した情動状態の良い指標にもなり得る。多くの生理学的パラメータは意識的に制御できない、すなわち、消費者は生理学的パラメータに影響を与えない。測定されることができる生理学的パラメータの例は、音声分析、心拍数、心拍変動、皮膚電位（覚醒状態を示すことができる）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号を含む。
【０００６】
ユーザの行動特性は、さまざまな形で現れる可能性がある。本明細書における「行動データ」または「行動情報」とは、ユーザの応答の視覚的側面を指してよい。例えば、行動情報には、顔の反応、頭部と体のジェスチャまたは姿勢、視線追跡が含まれてよい。実際には、情動状態情報を取得するために、行動データ、生理学的データ、及び自己申告データを含む生データ入力の組み合わせを使用することが望ましい場合がある。上記のソースの２つまたは３つからの生データの組み合わせは、「誤った」指標を特定するのに役立つ場合がある。例えば、３つのソースすべてから得られた情動状態データが重複または一致している場合、取得された信号の信頼性が高まる。信号に不一致がある場合、誤った読み取りを示している可能性がある。
【発明の概要】
【０００７】
最も一般的には、本発明は、ユーザから受信したフィードバックに基づいて、質問を動的に適合させるように構成される、自動化された（人間以外の、コンピュータ化された）インタフェースを使用してユーザから情報を取得するシステムを提案する。自動化されたインタフェースは、（ｉ）ユーザからのフィードバック情報から情報（例えば、意味、感情など）を抽出し、それを使用してさらなる質問についての方向性を決定するためのエージェント、及び（ｉｉ）ユーザへのさらなる質問を表現する方法を制御するためのエージェントを含むことができる。
【０００８】
本発明の一態様によれば、ユーザフィードバックを収集するためのコンピュータ実装システムが提供されることができ、このシステムは、ユーザからのフィードバック情報を収集して通信するように設定されるクライアントデバイス、及びネットワークを介してクライアントデバイスと通信可能に接続されてフィードバック情報を受信するフィードバック収集マネージャを含み、このフィードバック収集マネージャは、クライアントデバイスから受信するフィードバック情報を使用してクエリトピックを生成するように設定されるＡＩベースのトピックジェネレータモジュール、及び生成されたクエリトピックを使用してクライアントデバイスとのインタラクティブ情報交換を指示するための自動インタラクティブ質問ジェネレータを含む。
【０００９】
フィードバック収集マネージャは、ネットワークを介してクライアントデバイスと接続される、コンピューティングデバイス（例えば、サーバなど）内の１つ以上のプロセッサ上で実行するコンピュータ実装エンティティであることができる。クライアントデバイスは、インタフェース情報交換に従事するためにネットワーク通信が可能な任意のコンピューティングデバイスであることができる。例えば、クライアントデバイスは、コンピュータ（例えば、デスクトップ、ラップトップ、タブレット）、スマートフォン、または他のネットワーク対応の通信プラットフォームであることができる。
【００１０】
本発明は、フィードバック情報に異なるタイプのデータを利用するその能力において特に有利であることができる。特に、ユーザによって提供される実際の回答データ、例えば、質問に応答して提供される単語またはテキストに加えて、フィードバック情報は、ユーザからの行動または生理学的データを含むことができ、これは、次に、ユーザの情動状態を決定する、または理解するために使用されることができる。
【００１１】
したがって、クライアントデバイスによって収集されるフィードバック情報は、自動インタラクティブ質問ジェネレータからの質問に応答して受信する回答データ、及びこの回答データを提供するときにユーザから収集される行動データを含むことができる。この回答データは音声であることができる、すなわち、インタラクティブ情報交換は、自動インタラクティブ質問ジェネレータが音声フォーマットで質問を配信するための自然言語合成モジュールを含む対話であることができる。フィードバック収集マネージャは、ユーザから受信する音声回答からフィードバック情報を抽出するための音声認識モジュールを含むことができる。音声認識モジュールは、オーディオデータをパースして、回答データの情報コンテンツを示す単語を識別することができる。さらに、音声認識モジュールは、ユーザの気分を示すことができるペーシング及びポーズなど、ユーザの音声の他の特性を検出するように機能することができる。
【００１２】
本発明は、音声交換に限定される必要はない。例えば、代替に、または追加で、この交換は、テキストベースの要素、例えば、ウェブチャットなどを含むことができる。
【００１３】
行動データは、ユーザについての情動状態データを含むことができる。例えば、クライアントデバイスによって収集されるフィードバック情報は、ユーザの顔画像を含むことができる。情動状態データは、任意の既知の方法で顔画像から抽出されることができる。追加で、または代替に、行動データは、ユーザの注意力を示すことができる。例えば、収集された行動データは、複数のユーザからの注意力ラベル付き行動データを使用して以前にトレーニングされた注意力モデルに提供されることができる。ユーザの注意力は、インタラクティブ情報交換の継続時間を決定するためにフィードバック収集マネージャによって使用されることができる。
【００１４】
フィードバック収集マネージャは、回答データを提供するときにユーザから収集される行動データ及び／または回答データに基づいて、回答データに関連する感情、情動または気分を検出するように構成されることができる。自動インタラクティブ質問ジェネレータは、クライアントデバイスとのインタラクティブ情報交換において、検出された感情または気分、及び生成されたクエリトピックの両方を使用するように構成されることができる。感情は、ユーザの態度、または意見の強さを示すことができる。一例では、感情または気分は、検出された快度、すなわち、ユーザのポジティブ／ネガティブな態度の尺度であることができる。ポジティブな快度は喜びなどのポジティブな情動を示すことができ、ネガティブな快度は悲しみなどのネガティブな情動を示すことができる。感情は、気持ちの強さを示す大きさの測定値とともに使用される２進法のポジティブ／ネガティブの指標であることができる。感情または気分は、任意の既知の方法で検出されることができる。自動インタラクティブ質問ジェネレータは、検出された感情または気分を使用して、後続の質問に対するトーンまたはスタイルを選択することができる。
【００１５】
行動データは、ユーザについての生理学的データを含むことができる。生理学的データは、例えば、運動状態データと組み合わせて、ユーザの感情を決定するのを助けるために使用されることができる。
【００１６】
ユーザフィードバックは、刺激へのユーザの曝露に関連することができ、クライアントデバイスは、刺激へのユーザの曝露中にユーザから行動応答データを収集するようにさらに設定される。刺激は、ユーザが関与する任意のインタラクションであることができる。一例では、刺激は、メディアコンテンツ、例えば、ビデオ、広告、音楽などの消費であることができる。ただし、その刺激は、刺激に対するフィードバックが望ましい、いずれかのマンマシンインタラクションによって作成される。行動応答データは、刺激に曝露されている間、ユーザについての情動状態情報を取得するために使用されることができる。行動応答データは、情動状態情報が抽出される顔画像を含むことができる。
【００１７】
クライアントデバイスによって通信されるフィードバック情報は、行動応答データを含むことができる。したがって、刺激に対するユーザの応答を使用して、クエリトピックを生成することができる。行動応答データは、クエリトピックを生成するためにユーザの回答データを比較することができる別の側面を効果的に表すことができる。
【００１８】
フィードバック収集マネージャは、複数のクライアントデバイスから異なるユーザに関連するフィードバック情報を受信するように構成されることができる。フィードバック情報は、一般的な刺激、または関連する刺激もしくは関連しない刺激の範囲に関することができる。フィードバック情報は、ユーザの反応へのインサイトを得ることができるフィードバックデータリポジトリを提供するために、集約される、またはその他の方法で組み合わされることができる。フィードバックマネージャは、フィードバックデータリポジトリを拡大する、または検証するという目的を有することができる。いくつかの例では、フィードバックデータリポジトリは、所与の刺激に関連することができる、または所定のユーザグループからのフィードバックを表すことができる。フィードバック収集マネージャは、フィードバックデータリポジトリに、インタラクティブ情報交換から取得される回答データ及びいずれかの関連した情動状態情報を投入するように構成されることができる。
【００１９】
ＡＩベースのトピックジェネレータモジュールは、トピックリポジトリ、及びこのトピックリポジトリに結合されるトピック決定エージェントを含むことができる。ＡＩベースのトピックジェネレータモジュールは、フィードバック情報から入力データを抽出し、入力データをトピック決定エージェントに適用して、クエリトピックを示す出力データを生成するように設定されることができる。入力データは、ベクトル、または行列などの他の多次元データ構造に似ている場合がある。これは、上記に考察されるフィードバック情報のいずれかの、またはすべての部分に対応する、またはこれらの部分を示す成分を含むことができる。入力データは、トピック決定エージェントによって定義される多次元空間にクエリを行うことができるベクトルまたは行列に似ている場合がある。
【００２０】
トピックリポジトリは、入力データに基づいて新しいクエリトピックを出力するようにトピック決定エージェントが構成されるワールドモデルを含むことができる。ワールドモデルは、ニュースウェブサイトまたはオンライン百科事典などの外部の汎用データソースを使用して機械学習アルゴリズムをトレーニングすることによって作成されることができる。したがって、ワールドモデルは、刺激または受信したフィードバックデータに存在しない発明の主題との関係を生成することができる場合がある。したがって、トピックジェネレータモジュールは、刺激の情報コンテンツを越えてインタラクティブ情報交換の範囲を押し進めることができる「好奇心」の要素が提供されることができる。
【００２１】
追加で、または代替に、トピックリポジトリは、入力データに基づいて関連したクエリトピックを出力するようにトピック決定エージェントが構成される、以前に受信したフィードバックデータのデータベースを含むことができる。上記に考察されるように、以前に受信したフィードバックデータは、同じ、または関連した刺激に関する場合もあれば、受信したすべてのフィードバックデータのリポジトリを構成する場合もある。したがって、この場合には、トピック決定エージェントは、以前のフィードバックデータに関連する新しいクエリトピックを提供することができる場合がある。例えば、新しいクエリトピックは、所与の回答データが以前に受信したフィードバックデータにマッチングするかどうかを検証すること、及び／またはいずれかの曖昧性を探索する、または解決することである場合がある。
【００２２】
重要なことには、トピックリポジトリ（以前に受信したフィードバックデータのワールドモデル及び／またはデータベース）は、新しいクエリトピックを形成することができるコンテンツに関連する行動データ（特に情動状態情報）を含むことができる。トピックリポジトリは、情動状態情報が入力データによってクエリを行うことができる多次元空間における追加の次元を提供するようにトレーニングされることができる。この方法では、インタラクティブ情報交換の方向性は、これまで不可能であった方法で行動（情動状態）データを考慮することができる。
【００２３】
トピックリポジトリ（以前に受信したフィードバックデータのワールドモデル及び／またはデータベース）は、受信したフィードバックデータを使用して更新されることができる。この更新は定期的に、またはリアルタイムに実行されることができる。したがって、トピックリポジトリは、それ自体をリフレッシュすることができることによって、トピックリポジトリが関与するインタラクティブ情報交換から学習する。
【００２４】
トピック決定エージェントは、それ自体が、適切な関連した情報を識別するようにトレーニングされる機械学習アルゴリズムを含むことができる。トピック決定エージェントは、次のクエリトピックを決定するために、１つ以上の目的に対して関連した情報（出力データ）を判断するように構成されることができる。この判断は、インタラクティブ情報交換を終了するべきかどうかの決定を含むことができる。終了の決定は、判断に、または目的が達成されたかどうかに基づくことができる。追加で、または代替に、終了の決定は、特にインタラクティブ情報交換に関するユーザの注意力またはエンゲージメントという点では、ユーザから収集される行動データを使用することができる。
【００２５】
目的は２つの目標のうちの１つを含むことができる。第一タイプの目的は、ユーザからの新しい情報を探求することを目標にしていることができる。この場合には、アルゴリズムは、フィードバックプロセスから独立するコンテンツを含むワールドモデルへのアクセスを提供することにより、「好奇心旺盛」になることができる。したがって、このタイプの目的は、回答データ中の情報を最大化することを目標にしていることができる。第二タイプの目的は、例えば、特定の対象または標的（例えば、ブランド名）についてのデータを集約することにより、以前に受信したフィードバックを検証しようとする、または探索しようとすることができる。２つのタイプの目的は、組み合わせて有利に使用されることができる。例えば、映画または物語に関連してフィードバックが求められるシナリオでは、第一タイプの目的は、その「好奇心」を通じて、映画または物語の中のある特定のキャラクターがある特定の情動にリンクされたことを識別することができる。次に、第二タイプの目的は、他のユーザからのフィードバック収集中に、キャラクターと情動との間のリンクがユーザグループ全体ではどの程度一般的であるかを判定するために使用されることができる。
【００２６】
機械学習アルゴリズムは、教師あり学習から得られるモデル、敵対的ネットワークモデル、及び強化トレーニングから得られるモデルのいずれか１つを含むことができる。
【００２７】
フィードバック収集マネージャは、インタラクティブ情報交換のための複数の可能な開始点を格納するスタータートピックリポジトリを含むことができる。自動インタラクティブ質問ジェネレータは、スタータートピックリポジトリからのスタータートピックを使用してインタラクティブ情報交換を開始するように構成されることができる。フィードバック収集マネージャは、ユーザが曝露される刺激に基づいて、または刺激へのユーザの曝露中に収集されるユーザからの行動応答データに基づいて、スタータートピックを選択するように構成されることができる。
【００２８】
添付の図面を参照しながら以下に本発明の実施形態を詳細に記載する。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態である人工知能（ＡＩ）強化型フィードバック収集システムの概略図である。
【図２】図１のシステムに使用されるフィードバック収集マネージャの概略図である。
【図３】図２のフィードバック収集マネージャに使用されるトピックジェネレータモジュールの動作を示す概略図である。
【図４】本発明の一実施形態であるフィードバック収集方法を示す流れ図である。
【発明を実施するための形態】
【００３０】
本発明の実施形態は、ある特定の刺激、例えば、ビデオ、広告、歌などのメディアコンテンツの消費に応答して、ユーザからフィードバックデータを収集するシステム及び方法に関する。刺激は、あらゆる種類のヒューマンコンピュータインタラクションであることができる。本発明は、刺激、またはアクションのパフォーマンスに対する情報が求められる任意のシナリオに適用可能であることができる。
【００３１】
図１は、本発明の一実施形態であるフィードバック収集システム１００の概略図である。システム１００は、ネットワーク化されたコンピューティング環境で提供され、複数の処理エンティティが１つ以上のネットワークを介して通信可能に接続される。ただし、本発明は、このアレンジメントに限定される必要はない。例えば、このシステムは、単一のコンピューティングデバイス（例えば、ＰＣ、ラップトップ、タブレットコンピュータ、スマートフォンなど）によって提供されることができる。
【００３２】
この例でのシステム１００は、３つの主要な要素、（ｉ）メディアコンテンツをユーザ環境に供給するためのコンテンツプロバイダ、（ｉｉ）ユーザ入力（行動データ、フィードバック回答データなど）を収集して通信する手段を備えるユーザ環境、及び（ｉｉｉ）ユーザ環境からフィードバックを取得するためにネットワークを介して通信することができるコンピュータ実装フィードバック収集を提供する。
【００３３】
システム１００は、ユーザ環境１０１に関連付けられる、すなわち、所与のユーザに属する、または関連付けられる、１つ以上のクライアントデバイス１０２を含む。クライアントデバイス１０２は、ユーザがネットワークを介して通信することができるように設定され、さらにメディアコンテンツを、例えば、スピーカーまたはヘッドホン及び／またはディスプレイ１０４を介して、再生するように設定されることができる。また、クライアントデバイス１０２は、ウェブカメラ１０６、マイクロフォンなどのような行動データキャプチャ装置を含む、またはそれらに接続されることができる。例示的なクライアントデバイス１０２は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含む。
【００３４】
また、システム１００は、生理学的情報を収集するためにウェアラブルデバイス１０５などの１つ以上のクライアントセンサユニットを含むことができる。測定されることができる生理学的パラメータの例は、音声分析、心拍数、心拍変動、皮膚電位（覚醒状態を示すことができる）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号を含む。
【００３５】
クライアントデバイス１０２は、例えば、コンテンツプロバイダサーバ１１０から、消費されるメディアコンテンツ１１２を受信することができるように、ネットワーク１０８を介して通信可能に接続される。このメディアコンテンツは、ユーザに提示される刺激の一例であり、その後、この刺激に関するフィードバックは、システムによって収集されることができる。ただし、本発明はこのフィードバックに限定される必要はない。特に、刺激は、図１に示されるネットワーク化された環境外に提供されることができる。例えば、それは、放送メディアまたはいずれかの他の外部イベントであることができる。
【００３６】
システム１００は、ユーザ環境１０１とフィードバック収集マネージャ１２０との間でネットワーク１０８を介して双方向フィードバック収集インタラクション１１４を可能にするように設定される。本発明によれば、フィードバック収集マネージャ１２０は、完全にコンピュータ上に実装されるため、フィードバックを収集する通常の動作中にいかなる人間の介入も必要としないことができる。フィードバック収集マネージャ１２０は、図２に関してより詳細に考察される。複数のユーザがネットワークを介して通信し、例えば、１つ以上のコンテンツプロバイダ１１０からコンテンツを受信すること、及び１つ以上のフィードバック収集マネージャ１２０とインタラクトすることができるように、システムがスケーラブルであることが理解されることができる。
【００３７】
フィードバック収集プロセス中に、フィードバック収集マネージャ１２０は、インタラクティブ情報交換を推進し、このインタラクティブ情報交換では、質問及び回答データ１２２は、フィードバック収集マネージャ１２０とユーザ環境１０１との間で交換される。インタラクティブ情報交換は、適切なリアルタイムのウェブベースのフォーラムを介して配信される動的なアンケートであることができる。好ましくは、インタラクティブ情報交換は、音声交換であり、この音声交換では、ユーザは、音声質問を聞き、音声を使用して返答する。ただし、他のタイプの交換、例えば、ウェブチャットなどのテキストベースの交換が可能である。フィードバック収集マネージャ１２０は、情報探求エージェント１２４を含むことができ、この情報探求エージェントは、ユーザとの対話に従事するためのコンピュータベースのエンティティであることができる。この情報探求エージェント１２４は、ＧｏｏｇｌｅのＤｕｐｌｅｘシステムなどのＡＩベースの自然言語エージェントであることができる。この例では、情報探求エージェント１２４は、ユーザ環境から受信する情報を使用してインタラクティブセッションをもたらすように設定される。
【００３８】
フィードバック収集マネージャ１２０は、情報探求エージェント１２４をある特定のトピック、または関心のある領域に関する質問に向ける機械学習技術を利用することができる。例えば、情報探求エージェント１２４またはフィードバックマネージャは、１つ以上の高レベルの目的が提供される、またはこれらの目的によって設定されることができる。高レベルの目的は、ユーザとのインタラクションのために設定されることができ、そして既知のイベントまたは刺激に対する、ある特定の情報を探求することを目標とすることができる。以下に説明されるように、フィードバック収集マネージャ１２０は、ユーザ環境から取得される情報をトピックジェネレータモジュールに入力して、出力をもたらすことができ、この出力を情報探求エージェント１２４は、ユーザとのインタラクティブ情報交換を推進するために、すなわち、質問及び回答データ１２２中の質問の基礎を形成する１つ以上のトピックを提供するために使用することができる。
【００３９】
情報探求エージェント１２４は、目的（複数可）の達成（例えば、受信した回答データ内の情報の量または質に基づいて）と、インタラクティブ情報交換の継続時間との間の均衡をとる方法でインタラクティブ情報交換を指示するように構成されることができる。これは、コスト（ユーザ時間及びシステムリソースの観点から）と、情報の最大化及び／または検証との間の均衡であることができる。ただし、他の要因が考慮されることができる。特に、インタラクティブ情報交換に関与するユーザの注意力または他の測定値を使用して、この交換をいつ終了することができるかを決定することができる。例えば、ユーザが低レベルの注意力を有することが検出される場合、情報探求エージェント１２４は、目的（複数可）を達成するためにさらなる回答データを取得することが本来であれば望ましい場合でも、インタラクティブ情報交換を終了するように設定されることができる。
【００４０】
一例では、トピックジェネレータモジュールは、トピック決定エージェントを含むことができ、このトピック決定エージェントは、機械学習ワールドモデルに、すなわち、広範囲の外部データ（例えば、ニュースレポート、ウィキページ、または単語と語句との間の関係を導出するために使用されることができる情報を提供する他のデータソース）でトレーニングされるアルゴリズムに基づく。組み合わせでは、高レベルの目的（複数可）及びユーザ入力を、ワールドモデル、及び／または既知の刺激に関連する情報と組み合わせて使用して、ユーザとのインタラクティブ情報交換を推進することができる。
【００４１】
トピック決定エージェントは、教師あり学習アルゴリズムであることができ、この教師あり学習アルゴリズムは、実際のヒューマンベースのフィードバックインタラクション（例えば、従来のアンケート）を含むトレーニングデータから取得され、このトレーニングデータ中の他のユーザデータ（例えば、行動データ）は、刺激への曝露中に、及び／またはフィードバック収集中に収集される。知られているように、情動状態データを行動データから取得することができる。この種の行動データを含むトレーニングデータは、上記に考察されるワールドモデルに含まれることができる。
【００４２】
別の例では、トピック決定エージェントは、敵対的ネットワークに基づくことができ、この敵対的ネットワークでは、候補トピックは、１つのネットワークによって生成され、別のネットワークによって評価される。さらなる一例では、トピック決定エージェントは、例えば、フィードバックから特定の何かを学習するという目的で、強化学習に基づくことができる。
【００４３】
トピック決定エージェントは、規定されたトピックのリストへのアクセスを有することができることにより、動的アンケートに利用可能な質問の手段は、規定されたトピック内に制限される。ローカルモデルまたはトピックリポジトリとして、すなわち、規定されたトピックに関連する情報の相互に関連したスレッドを含む、規定されたトピックのリストを構成することができることにより、ローカルモデルは、クエリトピックを決定することを支援するために入力データに相関する、またはマッチングする情報のスレッドを返すことができる。このようなアンケートは、グローバルテンプレートの下で機能すると見なされることができるが、トピックの特定の順序、及び一連の質問は、ユーザごとに異なることができる。しかしながら、他の例では、トピック決定エージェントは、収集されたフィードバックに基づいて新しいトピックの生成及び探索を可能にすることができる。新しいトピックの生成は、トピック決定エージェントの基本的な目的、及び上記に考察されるワールドモデルに基づいて推進されることができる。上述されるように、ローカルモデルまたはトピックリポジトリは、インタラクティブ情報交換に従事した複数のユーザからのフィードバック情報（すなわち、情動状態情報を含むクエリトピック及び回答データ）も含むことができる。
【００４４】
これらの目的は、さまざまなタイプのものであることができる。例えば、１つの目的は、以前に受信したフィードバック中の情報の検証を求めることであることができる。別の例では、目的は、ある特定の標的（例えば、ブランド名、商品、映画のキャラクターなどのようなアイテム）に対する情報を求めることであることができる。複数の目的がある場合、フィードバック収集マネージャ１２０は、後続のクエリトピックに使用される目的に優先順位を付けるように動作する目的マネージャを含むことができる。優先順位付けは、所与の目的に相関する、またはその他の方法で所与の目的に関連付けられるクエリトピックを支持する重み付けを適用することによって行われることができる。この重み付けは、インタラクティブ情報交換の過程で動的に更新されることができる。例えば、ある特定の目的の達成度を高める回答データが取得される場合、その目的に向けた重み付けは減少することができるので、後続のクエリトピックは他の目的を探索する可能性がより高い。目的の優先順位付けは、他の方法で、例えば、生成器及び識別器に異なる目的が使用される敵対的生成ネットワークなどの敵対的ネットワークの使用を通じて達成されることができる。
【００４５】
この例では、クライアントデバイス１０２は、フィードバック収集マネージャ１２０による使用のために、ネットワークを介して行動情報及び／または生理学的データを送信するように構成される。送信される行動情報及び／または生理学的データは、刺激への曝露中に収集されることができることにより、フィードバック収集マネージャ１２０は、その刺激に対するユーザの応答に関するいくつかの初期情報を提供される。追加で、または代替に、送信される行動情報及び／または生理学的データは、情報探求エージェント１２４とのインタラクティブ情報交換中にリアルタイムで収集されることができる。この場合、行動情報及び／または生理学的データを使用して、一連の質問、すなわち、トピック決定エージェントによるトピックの生成に影響を与えることができる。
【００４６】
本明細書における「行動データ」または「行動情報」への言及は、ユーザの応答の視覚的側面を指すことができる。例えば、行動情報は、顔の反応、頭部と体のジェスチャまたは姿勢、及び視線追跡を含んでよい。
【００４７】
この例では、フィードバック収集マネージャ１２０に送信される情報は、例えば、刺激への曝露中にユーザにキャプチャされるビデオまたは画像セットの形式で、ユーザの顔の反応１１６を含むことができる。ユーザの顔特徴、例えば、口、目、眉などを画像フレームが示し、各顔特徴が複数の顔ランドマークを含む場合に、行動データは、各画像フレームについての顔ランドマークの位置、形状、配向、シェーディングなどを示す情報を含むことができる。
【００４８】
画像データは、それぞれのクライアントデバイス１０２上で処理されることができる、または処理のためにネットワーク１０８を介してフィードバック収集マネージャ１２０にストリーミングされることができる。
【００４９】
顔特徴は、選択された複数の顔ランドマークの位置、形状、配向、シェーディングなどを示す記述子データポイントを提供することができる。各顔特徴の記述子データポイントは、複数の顔ランドマークを示す情報を符号化することができる。各顔特徴の記述子データポイントは、各フレーム、例えば、時系列の画像フレームからの各画像フレームに関連付けられてよい。各顔特徴の記述子データポイントは、多次元データポイントであってよく、多次元データポイントの各成分は、各顔ランドマークを示す。
【００５０】
情動状態情報は、生データ入力から、抽出された記述子データポイントから、またはこれら２つの組み合わせから直接、取得されてよい。例えば、複数の顔ランドマークは、ユーザの情動を特徴付けることができる情報を含むように選択されることができる。一例では、情動状態データは、１つの画像内の、または一連の画像にわたる、１つ以上の顔特徴の記述子データポイントに分類器を適用することによって決定されることができる。一部の例では、深層学習技術を利用して、生データ入力から情動状態データを生成することができる。
【００５１】
ユーザの情動状態は、怒り、嫌悪感、恐怖、幸福、悲しみ、及び驚きから選択される１つ以上の情動状態を含んでよい。
【００５２】
また、情報は、関連付けられたメディアコンテンツ１１２、またはフィードバック収集マネージャ１２０がユーザによって消費されたメディアコンテンツ１１２にアクセスすることを可能にするリンクもしくは他の識別子を含むことができる。
【００５３】
フィードバック収集マネージャ１２０に送信される情報は、例えば、ウェアラブルデバイス１０５によって、またはウェアラブルデバイス１０５がクライアントデバイス１０２と対にされる場合にそれらのクライアントデバイス１０２のうちの１つによって、直接送信される、生理学的データ１１８をも含むことができる。クライアントデバイス１０２は、ウェアラブルデバイスからの生データを処理するように構成されることができることにより、フィードバック収集マネージャ１２０に送信される生理学的データ１１４は、クライアントデバイス１０２によってすでに処理されたデータを含むことができる。
【００５４】
フィードバック収集マネージャによって収集されるフィードバック情報は、データストレージ１２６に格納される。フィードバックデータは、収集プロセス中に取得された行動データに関連付けられることができる。以下に考察されるように、複数のユーザからのこの種の組み合わされたフィードバック及び行動データは、格納され、トピック決定エージェントについての別のタイプの入力として利用可能にされることができる。
【００５５】
図２は、フィードバック収集マネージャ１２０の動作を示す概略図である。高レベルでは、フィードバック収集マネージャ１２０は、ユーザ環境１０１から入力データを受信し、それを処理して、トピックまたはトピックのリストを生成し、トピックまたはトピックのリストから、上記に考察される情報探求エージェント１２４などのインタラクティブ質問ジェネレータ２０８は、ユーザとのインタラクティブ情報交換における次のステージの形式でデータ２１０を生成して出力する。
【００５６】
図２に示されるように、入力データは、複数の異なるデータタイプを含むことができる。第一データタイプは、ユーザ環境１０１から受信する行動及び／または生理学的情報であることができる。フィードバック収集マネージャ１２０は、受信した行動及び／または生理学的情報から情動状態情報を抽出するように構成される行動データ分析器２０２を含むことができる。
【００５７】
第二データタイプは、回答データ２０４であり、これは、インタラクティブ情報交換中に、例えば、情報探求エージェントによって発行される質問への返答中に、ユーザから受信する情報である。フィードバック収集マネージャ１２０は、回答データにシンタックス分析及びセマンティック分析を実行して、そこから関連情報を抽出するように構成されることができる。
【００５８】
第三データタイプは、ユーザデータ２０６であり、これは、ユーザに関するプロファイル情報、例えば、人口統計学的情報及び／または地理的情報、及び／またはユーザの選好に関する情報などであることができる。
【００５９】
第四データタイプは、他のユーザからの集約データ２１４である。これは、例えば、複数のユーザにわたって得られる同様の情報を用いて、ある特定の質問に返答する際の現在のユーザの回答及び情動状態の比較を可能にするのに有用であることができる。これは、異常な返答の識別を可能にすることができ、状況によっては、質問するための新しい手段またはトピックを示すことができる。
【００６０】
さまざまなデータタイプをトピックジェネレータモジュール２０７に入力することができ、トピックジェネレータモジュール２０７は、上記に考察されるトピック決定エージェントを実行して、後続の質問のために１つ以上のトピック（例えば、主題または意図）を決定する。この情報は、適切なインタラクションを定式化するために情報探求エージェントに送られる。一例では、フィードバック収集マネージャ１２０は、回答データ２０４及び抽出された情動状態情報を使用して、感情分析を実行することができる。感情分析の結果は、適切なインタラクションの定式化を容易にするために情報探求エージェントに提供されることができる。
【００６１】
さらなる開発において、トピックジェネレータモジュールは、質問するためのトピックの決定において予測された回答をも考慮することができる。例えば、トピックジェネレータモジュールからの出力は、インタラクティブ情報交換を追求するための複数の候補手段であることができる。これらの候補手段は、一般に、（ｉ）現在のトピックに関する質問を追求すること（例えば、以前の回答を探索して、それを検証すること、またはさらなる情報を取得すること）、（ｉｉ）新しいトピックに関する質問を開くこと、または（ｉｉｉ）この交換を終了することのいずれかを含むことができる。具体的には、各候補手段は、探索される特定のトピックを含むことができる。例えば、（ｉ）の下で、連続した質問は、観察された情動状態の原因を理解しようとすること、または矛盾するデータを解決しようとすることであることができる。
【００６２】
複数の候補手段をすべて、インタラクティブ質問ジェネレータ２０８に提供することができ、このインタラクティブ質問ジェネレータは、対応する候補インタラクションを生成することができ、次に、これらの候補インタラクションを回答予測器２１２に提供する。回答予測器２１２は、質問に対するユーザの返答を予測するようにトレーニングされる機械学習モデルを含むことができる。回答予測器２１２からの出力を使用して、候補インタラクションのうちの１つを選択し、ユーザに送信することができる。追加で、または代替に、回答予測器２１２からの出力は、実際に得られた回答と比較される（例えば、トピック決定エージェントによって）ことができる。この比較により、予期しない返答を識別して探索することを可能にすることができる。
【００６３】
図３は、トピックジェネレータモジュール２０７の動作を示す概略図である。上記に考察されるトピック決定エージェント２１６は、例えば、比較器エンジン内の１つ以上のプロセッサによって実行される、複数のデータタイプを入力として受信するアルゴリズムである。上記に説明されるように、入力データは、回答データ２２６、回答データを提供している間に得られる精神状態データ２２８、予測された回答データ２３０（例えば、回答予測器２１２から）、刺激コンテンツデータ２３２（例えば、フィードバックが望まれるメディアコンテンツまたは他の刺激に関連する）、刺激に曝露されている間に得られる精神状態データ２２４、及び以前の回答データ２３４（すなわち、現在のインタラクティブ情報交換の過程を示すデータ）のいずれか１つ以上、またはすべてを含むことができる。トピック決定エージェント２１６は、トピックリポジトリまたはワールドモデル２２０に結合される。トピックリポジトリまたはワールドモデル２２０は、データプールとして効果的に機能し、このデータプール内の入力データは、目的マネージャ２１８からの１つ以上の目的を達成するのを支援する、対応するトピックを生成するために使用される。目的（複数可）は、フィードバック収集の目標（複数可）を表す。トピック決定エージェント２１６は、入力データを使用して、トピックリポジトリ／ワールドモデル２２０内の入力データと相関する出力データを取得する。トピック決定エージェント２１６は、目的マネージャ２１８からの目的（複数可）を使用して、目的の達成に適切な出力データを判断するように構成され、次に、このデータを次のクエリトピックとしてインタラクティブ質問ジェネレータにパスする。
【００６４】
上記に考察されるように、一例では、各目的は、関連した重み付けを有することができることにより、トピック決定エージェントによって実行される判断は、ある目的についての出力データを他の目的についての出力データよりも優先させることができる。目的マネージャ２１８は、受信した回答データを監視して、各目的がどの程度達成されているかを評価するように設定されることができる。目的マネージャ２１８は、例えば、不十分な回答データを受信する目的を優先するために、受信した回答データに基づいて目的の重み付けを調整することができる。目的についての重み付けは、外部入力などの他の要因によって決定されることができる。
【００６５】
一例では、トピックリポジトリ／ワールドモデル２２０は、インタラクティブ情報交換のために利用可能な手段のデータベースを含むことができる。トピックリポジトリ２２０は、静的、すなわち、トピックの固定セットであることができる、または回答データに基づいて新しい手段を含むように更新可能であることができる。トピック決定エージェント２１６は、入力データに基づいて１つ以上の関連トピックを生成するように構成される。モデルからの結果をインタラクティブ質問ジェネレータに提供する。
【００６６】
別の例では、トピックリポジトリ／ワールドモデル２２０は、トレーニングセットからのコンテンツが関連性によって配置されるワールドモデルのベクトル空間を表す。トピック決定エージェント２１６は、入力データ（すなわち、ユーザ応答データ、及び刺激に関連するデータ）を使用して、１つ以上のクエリベクトルをアセンブルするように機能することができる。トピック決定エージェントは、ワールドモデルのベクトル空間内の同様のベクトルに基づく出力トピックを生成することができる。ワールドモデルのベクトル空間は、コンテキストに応じて設定可能であることができる。例えば、必要なフィードバックが、ある特定のタイプの製品に関係したものである場合、ワールドモデルはそれらのような製品に関連する情報に限定される可能性がある。このようにして、ワールドモデルは、フィードバック収集プロセスの発明の主題またはコンテキストに合わせられることができる。
【００６７】
また、トピックリポジトリ／ワールドモデル２２０は、インタラクティブ情報交換を開始するために使用されることができる１つ以上の所定のスタータートピックを格納するリポジトリ２２２を含む。このスタータートピックは、すべてのユーザに対して同じである場合もあれば、刺激に曝露されている間にユーザについて収集される精神状態データなどに基づいて選択可能である場合もある。
【００６８】
図４は、本発明の一実施形態であるフィードバック収集方法３００を示す流れ図である。方法３００は、ユーザに刺激を与えるステップ３０２から開始する。これは、適切なユーザデバイス上での再生のために、ネットワークを介して、ビデオなどのようなメディアコンテンツを通信していることができる。
【００６９】
この方法は、刺激に曝露されている間に、例えば、メディアコンテンツの再生中に、ユーザから行動データ及び／または生理学的データを収集するステップ３０４に続く。行動データは、ウェブカメラなどによって収集される画像データ（例えば、ユーザの顔の）、及びマイクロフォンから収集されるオーディオデータを含むことができる。生理学的データは、ウェアラブルセンサを使用して取得されることができる。
【００７０】
この方法は、ユーザと、上記に考察されるフィードバック収集マネージャとの間で自動インタラクティブフィードバックセッションを開始するステップ３０６に続く。開始ステップは、ネットワーク以外のもの（例えば、電子メール、またはメッセージングアプリケーション）を介してユーザに電子メッセージを送信することによってトリガされることができる。自動インタラクティブフィードバックセッションは、ユーザとフィードバック収集マネージャとの間のメッセージ交換を含むことができる。これらのメッセージは、テキスト、オーディオデータ（例えば、音声）及びビデオデータのうちのいずれか１つ以上を含むことができる。インタラクティブフィードバックセッションは、フィードバック収集マネージャがユーザからの情報を要求する（例えば、質問をユーザに提示する）動的アンケートの形式をとることができる。
【００７１】
この方法は、フィードバックセッションへの参加中にユーザから回答データ及び行動及び／または生理学的データを収集するステップ３０８に続く。したがって、収集された行動及び／または生理学的データは、ユーザの返答を構成するテキストデータ、オーディオデータ、及び／またはビデオデータ（すなわち、回答データ）を補足することができる。この方法は、収集された回答データ及び行動データ及び／または生理学的データ（総称して「フィードバックデータ」と称される）を適切なリポジトリに格納するステップ３１２を含むことができる。
【００７２】
上記に説明されるように、フィードバック収集マネージャは、完全に自動化されており、インタラクティブ情報交換についての方向性及びトピックを決定するＡＩベースのインタラクション制御アルゴリズムに基づいて機能する。この方法は、インタラクション制御アルゴリズム（上記ではトピック決定エージェントとも称される）を使用して、インタラクティブ情報交換における後続の質問についての目標またはトピックを動的に選択するステップ３１０に続く。この方法は、前のステップで決定されたトピックに基づいて、インタラクティブフィードバックセッション中に次のメッセージを決定して送信するステップ３１４に続く。このステップは、入力目標またはトピックに基づいてメッセージコンテンツ（例えば、言語、構文及び感情）をアセンブルするように設定されるチャットボットなどによって実行されることができる。
【００７３】
関連するすべてのトピックが使い果たされていると決定すると、または他のいくつかの終了基準に基づいて、方法は、インタラクティブフィードバックセッションを終了することによって終わることができる。終了基準は、セッション継続時間、または閾値を下回るユーザエンゲージメントレベルを含むことができる。このユーザエンゲージメントレベルは、収集された行動データに基づいて決定されることができる。
【００７４】
使用に際して、本発明のフィードバック収集プロセスは、それによって、関連フィードバック情報をユーザから効率的な方法で取得することができることを提供する。このプロセスは、さまざまなタイプの回答データに応答する機械学習アルゴリズムを利用することによって、情報に基づいた（そして繰り返し可能な）方法で質問の動的ターゲティングを可能にする。これは、一貫した方法では、質問の方向性にユーザの返答が影響することを可能にする。これは、異常な返答、またはあいまいな返答の探索を許可しない、柔軟性のない固定アンケートスクリプトと比較して改善である。また、これは、構造の不足が集約及び要約を困難にして時間がかかるフリーフォームのフィードバックプロセスと比較して改善である。
【００７５】
さらに、フィードバックの収集中に行動データに対して感受性であることによって、プロセスは、関与しないユーザなどからの「役に立たない」フィードバックを効率的にフィルタリングすることを可能にすることができる。一例では、これは、インタラクティブフィードバックセッションの早期終了として現れ、ネットワークリソースを節約し、トピック決定エージェントが歪むようになるのを防ぐことができる。
【図１】
2021533489.tif 000003
【図２】
2021533489.tif 000004
【図３】
2021533489.tif 000005
【図４】
2021533489.tif 000006
【国際調査報告】
2021533489.tif 000007
2021533489.tif 000008