(57)【要約】  人間のユーザと第1の機械との間の通信セッションにおいて、人間のユーザからユーザ入力を受信することと、1つまたは複数の感情基準に基づいて、人間のユーザからのユーザ入力の感情メトリックを自律的に決定することであって、感情メトリックは人間のユーザの態度を表す、ことと、通信セッションに関連付けられる品質メトリックを自律的に決定することと、感情メトリックと品質メトリックのうちの1つまたは複数に基づいて、人間のユーザと第1の機械との間の通信セッションを自律的にランク付けすることと、人間のユーザと第1の機械との間の通信セッションにおける人間のエージェントの介入を推奨するために、ランキングに基づいて決定することとを行うためのシステムおよび方法が提供される。
2021508888.tif 000002
【特許請求の範囲】
【請求項１】
1つまたは複数のプロセッサを使用して、人間のユーザと第1の機械との間の通信セッションにおいて、前記人間のユーザからユーザ入力を受信するステップと、
前記1つまたは複数のプロセッサを使用して、1つまたは複数の感情基準に基づいて、前記人間のユーザからの前記ユーザ入力の感情メトリックを自律的に決定するステップであって、前記感情メトリックは前記人間のユーザの態度を表す、ステップと、
前記1つまたは複数のプロセッサを使用して、前記通信セッションに関連付けられる品質メトリックを自律的に決定するステップと、
前記1つまたは複数のプロセッサを使用して、前記感情メトリックと前記品質メトリックのうちの1つまたは複数に基づいて、人間のユーザと第1の機械との間の前記通信セッションを自律的にランク付けするステップと、
前記1つまたは複数のプロセッサを使用して、前記人間のユーザと前記第1の機械との間の前記通信セッションにおける人間のエージェントの介入を推奨するために、前記ランキングに基づいて決定するステップと
を備える、方法。
【請求項２】
前記第1の機械は、人工知能、または仮想アシスタント、あるいはチャットボットを含む、請求項1に記載の方法。
【請求項３】
前記ユーザ入力の前記感情メトリックは、前記通信セッションにおける一人の人間のユーザ入力、前記通信セッション中の複数の人間のユーザ入力のセット、および前記通信セッション中の感情の傾向のうちの1つまたは複数に基づいて決定される、請求項1に記載の方法。
【請求項４】
前記感情メトリックは、不快な言語の存在、絵文字の使用、句読法の使用、フォントスタイル、大文字の使用、音声分析、前記人間のユーザによる人間に対する明示的な要求、スペルミス、応答の迅速性、前記人間のユーザによる入力の繰返しのうちの1つまたは複数に基づいて決定される、請求項1に記載の方法。
【請求項５】
前記品質メトリックは、前記第1の機械によって決定された前記人間のユーザの意図に対する前記第1の機械の信頼度、および前記第1の機械によって決定された前記ユーザ入力と前記人間のユーザの前記意図に応じて決定される回答に対する前記第1の機械の信頼度のうちの1つまたは複数に関連付けられる数値である、請求項1に記載の方法。
【請求項６】
前記感情メトリック、前記品質メトリック、および前記ランキングの決定は、前記人間のユーザからの前記ユーザ入力の受信に応答して行われ、後続の入力が前記人間のユーザから受信された後に再び行われる、請求項1に記載の方法。
【請求項７】
前記ランキングに基づいて、人間のエージェントによる介入が前記通信セッションに推奨されることをグラフィカルユーザインターフェース内で視覚的に示すステップであって、前記グラフィカルユーザインターフェースは前記人間のエージェントに提示される、ステップと、
前記通信セッションへの介入を要求する前記人間のエージェントからの入力を受信するステップと
を備える、請求項1に記載の方法。
【請求項８】
前記グラフィカルユーザインターフェースは、前記通信セッションに関連付けられる第1のセッションインジケータを含む複数のセッションインジケータを含む、請求項7に記載の方法。
【請求項９】
第2の機械からの支援を要求する人間のエージェントから入力を受信するステップと、
前記第2の機械との第2の通信セッションを開始するステップと、
前記人間のユーザ、第1の機械、および人間のエージェントの入力を表示する第1の部分と、前記人間のエージェントと前記第2の機械との間の通信セッションを表示する第2の部分とを含むグラフィカルユーザインターフェースを提供するステップと
を備える、請求項1に記載の方法。
【請求項１０】
前記人間のエージェントに代わって、前記人間のエージェントによる介入を終了する要求を受信するステップであって、前記人間のエージェントによる介入を終了する前記要求を受信することに応答して、前記通信セッションは前記人間のユーザと前記第1の機械との間で継続する、ステップを
備える、請求項1に記載の方法。
【請求項１１】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されると、前記システムに、
人間のユーザと第1の機械との間の通信セッションにおいて、前記人間のユーザからユーザ入力を受信することと、
1つまたは複数の感情基準に基づいて、前記人間のユーザからの前記ユーザ入力の感情メトリックを自律的に決定することであって、前記感情メトリックは前記人間のユーザの態度を表す、ことと、
前記通信セッションに関連付けられる品質メトリックを自律的に決定することと、
前記感情メトリックと前記品質メトリックのうちの1つまたは複数に基づいて、人間のユーザと第1の機械との間の前記通信セッションを自律的にランク付けすることと、
前記人間のユーザと前記第1の機械との間の前記通信セッションにおける人間のエージェントの介入を推奨するために、前記ランキングに基づいて決定することと
を行わせる命令を記憶するメモリと
を備える、システム。
【請求項１２】
前記第1の機械は、人工知能、または仮想アシスタント、あるいはチャットボットを含む、請求項11に記載のシステム。
【請求項１３】
前記ユーザ入力の前記感情メトリックは、前記通信セッションにおける一人の人間のユーザ入力、前記通信セッション中の複数の人間のユーザ入力のセット、および前記通信セッション中の感情の傾向のうちの1つまたは複数に基づいて決定される、請求項11に記載のシステム。
【請求項１４】
前記感情メトリックは、不快な言語の存在、絵文字の使用、句読法の使用、フォントスタイル、大文字の使用、音声分析、前記人間のユーザによる人間に対する明示的な要求、スペルミス、応答の迅速性、前記人間のユーザによる入力の繰返しのうちの1つまたは複数に基づいて決定される、請求項11に記載のシステム。
【請求項１５】
前記品質メトリックは、前記第1の機械によって決定された前記人間のユーザの意図に対する前記第1の機械の信頼度、および前記第1の機械によって決定された前記ユーザ入力と前記人間のユーザの前記意図に応じて決定される回答に対する前記第1の機械の信頼度のうちの1つまたは複数に関連付けられる数値である、請求項11に記載のシステム。
【請求項１６】
前記感情メトリック、前記品質メトリック、および前記ランキングの決定は、前記人間のユーザからの前記ユーザ入力の受信に応答して行われ、後続の入力が前記人間のユーザから受信された後に再び行われる、請求項11に記載のシステム。
【請求項１７】
前記システムは、
前記ランキングに基づいて、人間のエージェントによる介入が前記通信セッションに推奨されることをグラフィカルユーザインターフェース内で視覚的に示すことであって、前記グラフィカルユーザインターフェースは前記人間のエージェントに提示される、ことと、
前記通信セッションへの介入を要求する前記人間のエージェントからの入力を受信することと
を行うようにさらに構成される、請求項11に記載のシステム。
【請求項１８】
前記グラフィカルユーザインターフェースは、前記通信セッションに関連付けられる第1のセッションインジケータを含む複数のセッションインジケータを含む、請求項17に記載のシステム。
【請求項１９】
前記システムは、
第2の機械からの支援を要求する人間のエージェントから入力を受信することと、
前記第2の機械との第2の通信セッションを開始することと、
前記人間のユーザ、第1の機械、および人間のエージェントの入力を表示する第1の部分と、前記人間のエージェントと前記第2の機械との間の通信セッションを表示する第2の部分とを含むグラフィカルユーザインターフェースを提供することと
を行うようにさらに構成される、請求項11に記載のシステム。
【請求項２０】
前記システムは、
前記人間のエージェントに代わって、前記人間のエージェントによる介入を終了する要求を受信することであって、前記人間のエージェントによる介入を終了する前記要求を受信することに応答して、前記通信セッションは前記人間のユーザと前記第1の機械との間で継続する、ことを行うようにさらに構成される、請求項11に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、米国特許法第119条(e)の下で、2017年12月29日に提出された「Session Handling Using Conversation Ranking and Augmented Agents」なる名称の米国仮特許出願第62/612,186号に基づく優先権を主張し、その全体が参照により本明細書に組み込まれる。
【背景技術】
【０００２】
第1の問題は、顧客サポートに多くのエージェントが必要な場合は特に、人間のエージェントは、賃金が高く、雇うのが難しいことである。第2の問題は、チャットボットシステムなどの人工知能(AI)が必ずしもユーザの意図を理解するとは限らず、ユーザを苛立たせる可能性があることである。これらの問題を軽減または排除するシステムが必要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示で説明する主題の革新的な一態様によれば、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されると、システムに、人間のユーザと第1の機械との間の通信セッションにおいて、人間のユーザからユーザ入力を受信することと、1つまたは複数の感情基準に基づいて、人間のユーザからのユーザ入力の感情メトリックを自律的に決定することであって、感情メトリックは人間のユーザの態度を表す、ことと、通信セッションに関連付けられる品質メトリックを自律的に決定することと、感情メトリックと品質メトリックのうちの1つまたは複数に基づいて、人間のユーザと第1の機械との間の通信セッションを自律的にランク付けすることと、人間のユーザと第1の機械との間の通信セッションにおける人間のエージェントの介入を推奨するために、ランキングに基づいて決定することとを行わせる命令を記憶するメモリとが提供される。
【０００４】
一般に、本開示で説明される主題の別の革新的な態様は、1つまたは複数のプロセッサを使用して、人間のユーザと第1の機械との間の通信セッションにおいて、人間のユーザからユーザ入力を受信するステップと、1つまたは複数のプロセッサを使用して、1つまたは複数の感情基準に基づいて、人間のユーザからのユーザ入力の感情メトリックを自律的に決定するステップであって、感情メトリックは人間のユーザの態度を表す、ステップと、1つまたは複数のプロセッサを使用して、通信セッションに関連付けられる品質メトリックを自律的に決定するステップと、1つまたは複数のプロセッサを使用して、感情メトリックと品質メトリックのうちの1つまたは複数に基づいて、人間のユーザと第1の機械との間の通信セッションを自律的にランク付けするステップと、1つまたは複数のプロセッサを使用して、人間のユーザと第1の機械との間の通信セッションにおける人間のエージェントの介入を推奨するために、ランキングに基づいて決定するステップとを含む方法において具現化され得る。
【０００５】
これらの態様のうちの1つまたは複数の他の実装形態は、対応するシステム、装置、および方法のアクションを実行するように構成され、コンピュータ記憶装置に符号化されたコンピュータプログラムを含む。
【０００６】
たとえば、機能は次のものを含む。第1の機械は、人工知能、または仮想アシスタント、あるいはチャットボットを含む。
【０００７】
たとえば、機能は次のものを含む。ユーザ入力の感情メトリックは、通信セッションにおける一人の人間のユーザ入力、通信セッション中の複数の人間のユーザ入力のセット、および通信セッション中の感情の傾向のうちの1つまたは複数に基づいて決定される。
【０００８】
たとえば、機能は次のものを含む。感情メトリックは、不快な言語の存在、絵文字の使用、句読法の使用、フォントスタイル、大文字の使用、音声分析、人間のユーザによる人間に対する明示的な要求、スペルミス、応答の迅速性、人間のユーザによる入力の繰返しのうちの1つまたは複数に基づいて決定される。
【０００９】
たとえば、機能は次のものを含む。品質メトリックは、第1の機械によって決定された人間のユーザの意図に対する第1の機械の信頼度、および第1の機械によって決定されたユーザ入力と人間のユーザの意図に応じて決定される回答に対する第1の機械の信頼度のうちの1つまたは複数に関連付けられる数値である。
【００１０】
たとえば、機能は次のものを含む。感情メトリック、品質メトリック、およびランキングの決定は、人間のユーザからのユーザ入力の受信に応答して行われ、後続の入力が人間のユーザから受信された後に再び行われる。
【００１１】
たとえば、動作はさらに以下を含む。ランキングに基づいて、人間のエージェントによる介入が通信セッションに推奨されることをグラフィカルユーザインターフェース内で視覚的に示すステップであって、グラフィカルユーザインターフェースが人間のエージェントに提示される、ステップと、通信セッションへの介入を要求する人間のエージェントからの入力を受信するステップ。
【００１２】
たとえば、機能は次のものを含む。グラフィカルユーザインターフェースは、通信セッションに関連付けられる第1のセッションインジケータを含む複数のセッションインジケータを含む。
【００１３】
たとえば、動作はさらに以下を含む。第2の機械からの支援を要求する人間のエージェントから入力を受信するステップと、第2の機械との第2の通信セッションを開始するステップと、人間のユーザ、第1の機械、および人間のエージェントの入力を表示する第1の部分と、人間のエージェントと第2の機械との間の通信セッションを表示する第2の部分とを含むグラフィカルユーザインターフェースを提供するステップ。
【００１４】
たとえば、機能は次のものを含む。人間のエージェントに代わって、人間のエージェントによる介入を終了する要求を受信するステップであって、人間のエージェントによる介入を終了する要求を受信するステップに応答して、通信セッションが人間のユーザと第1の機械との間で継続する、ステップ。
【００１５】
本明細書で説明される機能および利点は、包括的ではなく、多くの追加の機能および利点が、図面および説明を考慮して当業者に明らかになるであろう。さらに、本明細書で使用される言語は、主に可読性および説明目的のために選択されたものであり、本発明の主題の範囲を限定するものではない点に留意されたい。
【００１６】
本開示は、同様の参照番号が同様の要素を指すために使用される添付の図面の図における限定としてではなく、例として示される。
【図面の簡単な説明】
【００１７】
【図１】一実施形態によるセッション処理のための例示的なシステムを示すブロック図である。
【図２】一実施形態によるセッションサーバの例を示すブロック図である。
【図３】一実施形態によるセッションエンジンの例を示すブロック図である。
【図４】一実施形態による、会話ランキングおよび拡張エージェントを使用するセッション処理の例を示すブロック図である。
【図５】一実施形態による会話ランキングの例を示すブロック図である。
【図６】一実施形態による拡張セッション処理の例を説明する図である。
【図７】一実施形態によるシステムに関連付けられる様々な例示的なグラフである。
【図８ａ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｂ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｃ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｄ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｅ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｆ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｇ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｈ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｉ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｊ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｋ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｌ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｍ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｎ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【図８ｏ】一実施形態によるシステムによって人間のエージェントに提示される例示的なユーザインターフェースを示す図である。
【発明を実施するための形態】
【００１８】
前述のように、人間のエージェントは、顧客サポートに多くのエージェントが必要な場合は特に、賃金が高く、雇うのが難しい。さらに、チャットボットシステムなどのAIは、必ずしもユーザ(たとえば、顧客)の意図を理解するとは限らず、ユーザを苛立たせる可能性がある。したがって、本明細書で説明するシステムおよび方法は、チャットボットなどのAIを活用するものの、人間の介入を可能にし、それによって、セッションのスループットの向上、人間のエージェントの一人あたり/シフトあたりのセッションの増加、顧客満足度の向上、エージェント満足度の向上、会社にとっての運用コストの削減、および顧客へのサービス時間の延長のうちの1つまたは複数をもたらす。
【００１９】
図1は、一実施形態によるセッション処理のための例示的なシステム100を示すブロック図である。図示されたシステム100は、互いに対話するためにネットワーク102を介して通信可能に結合されたクライアントデバイス106a…106nおよびセッションハンドラサーバ122を含む。たとえば、クライアントデバイス106a…106nは、信号線104a…104nを介してそれぞれネットワーク102に結合され得、線110a…110nによって示されるように、ユーザ112a…112n(個別におよび集合的にユーザ112とも呼ばれる)によってアクセスされ得る。セッションハンドラサーバ122は、信号線120を介してネットワーク102に結合され得る。参照番号における用語「a」および「n」の使用は、その用語を有するそれらの要素の任意の数がシステム100に含まれ得ることを示す。
【００２０】
ネットワーク102は、任意の数のネットワークおよび/またはネットワークタイプを含み得る。たとえば、ネットワーク102は、これらに限定されないが、1つまたは複数のローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、仮想プライベートネットワーク(VPN)、モバイルネットワーク(たとえば、セルラーネットワーク)、ワイヤレスワイドエリアネットワーク(WWAN)、Wi-Fiネットワーク、WiMAX(登録商標)ネットワーク、Bluetooth(登録商標)通信ネットワーク、ピアツーピアネットワーク、複数のデバイスが通信する他の相互接続されたデータパス、それらの様々な組合せなどを含み得る。ネットワーク102によって送信されるデータは、ネットワーク102に結合された指定されたコンピューティングデバイスにルーティングされるパケット化されたデータ(たとえば、インターネットプロトコル(IP)データパケット)を含み得る。いくつかの実装形態では、ネットワーク102は、システム100のコンピューティングデバイスを相互接続するワイヤードおよびワイヤレス(たとえば、地上または衛星ベースのトランシーバ)ネットワーキングソフトウェアおよび/またはハードウェアの組合せを含み得る。たとえば、ネットワーク102は、データパケットのヘッダに含まれる情報に基づいて、データパケットを様々なコンピューティングデバイスにルーティングするパケット交換デバイスを含み得る。
【００２１】
ネットワーク102を介して交換されるデータは、ハイパーテキストマークアップ言語(HTML)、拡張マークアップ言語(XML)、JavaScriptオブジェクト表記(JSON)、カンマ区切り値(CSV)、Javaデータベース接続(JDBC)、オープンデータベース接続(ODBC)を含む技術および/またはフォーマットを使用して表すことができる。さらに、すべてまたは一部のリンクは、暗号化技術、たとえば、セキュアソケットレイヤ(SSL)、セキュアHTTP(HTTPS)、および/または仮想プライベートネットワーク(VPN)、またはインターネットプロトコルセキュリティ(IPsec)を使用して暗号化することができる。別の実施形態では、エンティティは、上記の技術の代わりに、またはそれに加えて、カスタムおよび/または専用のデータ通信技術を使用することができる。実施形態に応じて、ネットワーク102は、他のネットワークへのリンクも含むことができる。さらに、ネットワーク102を介して交換されるデータは圧縮されてもよい。
【００２２】
クライアントデバイス106a…106n(個別におよび集合的にクライアントデバイス106とも呼ばれる)は、データ処理および通信機能を有するコンピューティングデバイスである。図1は2つのクライアントデバイス106を示しているが、本明細書は、1つまたは複数のクライアントデバイス106を有する任意のシステムアーキテクチャに適用される。いくつかの実施形態では、クライアントデバイス106は、プロセッサ(たとえば、仮想、物理など)、メモリ、電源、ネットワークインターフェース、および/またはディスプレイ、グラフィックプロセッサ、ワイヤレストランシーバ、キーボード、スピーカ、カメラ、センサ、ファームウェア、オペレーティングシステム、ドライバ、様々な物理接続インターフェース(USB、HDMI（登録商標）など)などの他のソフトウェアおよび/またはハードウェアコンポーネントを含み得る。クライアントデバイス106a…106nは、ワイヤレスおよび/またはワイヤード接続を使用して、ネットワーク102を介して相互に、およびシステム100の他のエンティティに結合し、通信し得る。一実施形態では、ユーザ112aは顧客であり得、それぞれのクライアントデバイス106を使用して、以下に記載されるように、セッションハンドラサーバ122を通じて、人間の顧客サービスエージェントであるユーザ112nと対話し得る。
【００２３】
クライアントデバイス106の例は、これらに限定されないが、自動車、ロボット、携帯電話(たとえば、フィーチャフォン、スマートフォンなど)、タブレット、ラップトップ、デスクトップ、ネットブック、サーバアプライアンス、サーバ、仮想機械、TV、セットトップボックス、メディアストリーミングデバイス、ポータブルメディアプレーヤ、ナビゲーションデバイス、携帯情報端末などを含み得る。図1には2つ以上のクライアントデバイス106が示されているが、システム100は、任意の数のクライアントデバイス106を含み得る。さらに、クライアントデバイス106a…106nは、同じまたは異なるタイプのコンピューティングデバイスであり得る。たとえば、一実施形態では、クライアントデバイス106aは自動車であり、クライアントデバイス106nは携帯電話である。
【００２４】
図1に示されるシステム100は、一実施形態による例示的なシステムを表すものであり、様々な異なるシステム環境および構成が企図され、本開示の範囲内である点を理解されたい。たとえば、様々な機能をサーバからクライアントに、またはその逆に移動することができ、いくつかの実装形態は、追加のまたはより少ないコンピューティングデバイス、サーバ、および/またはネットワークを含み得、様々な機能のクライアントまたはサーバ側を実装し得る。さらに、システム100の様々なエンティティは、単一のコンピューティングデバイスまたはシステムに統合されてもよく、追加のコンピューティングデバイスまたはシステム間で分割されてもよい。さらに、システム100は、(たとえば、VOIPを介した)口頭/音声入力、および/または要求を可能にし得る自動音声認識(ASR)機能(図示せず)、ならびにトレーナ、エージェント、顧客、またはエンドユーザへのシステムによる口頭の出力を可能にし得るテキスト読上げ(TTS)機能を含み得る。しかしながら、入力ではテキストを使用し得、システムはテキストを介して出力を提供し得ることを認識されるべきである。
【００２５】
図2は、一実施形態による例示的なセッションハンドラサーバ122のブロック図である。図示されるように、セッションハンドラサーバ122は、プロセッサ202、メモリ204、通信ユニット208、および記憶装置241を含み得、これらは通信バス206によって通信可能に結合され得る。図2に示されるセッションハンドラサーバ122は、例として提供されており、本開示の範囲から逸脱することなしに、他の形態を取り得、追加またはより少ないコンポーネントを含み得ることを理解されたい。たとえば、図示されていないが、セッションハンドラサーバ122は、入力および出力デバイス(たとえば、ディスプレイ、キーボード、マウス、タッチスクリーン、スピーカなど)、様々なオペレーティングシステム、センサ、追加のプロセッサ、および他の物理構成を含み得る。さらに、図2に示され、本明細書で説明されるコンピュータアーキテクチャは、(たとえば、セッションエンジン124を省略することによって)クライアントデバイス106を含む様々な修正を加えたシステム100内の複数のエンティティに適用できることを理解されたい。
【００２６】
プロセッサ202は、本明細書に記載された特徴および機能を提供するために様々な入力、論理、および/または数学演算を実行することによってソフトウェア命令を実行するために、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、またはいくつかの他のプロセッサアレイ、あるいはこれらのいくつかの組合せを備える。プロセッサ202は、様々な入力/出力、論理的および/または数学演算を実行することによって、コード、ルーチン、およびソフトウェア命令を実行し得る。プロセッサ202は、たとえば、複雑な命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、および/または命令セットの組合せを実装するアーキテクチャを含む、データ信号を処理するための様々なコンピューティングアーキテクチャを有する。プロセッサ202は、物理的および/または仮想的であり得、単一のコアあるいは複数の処理ユニットおよび/またはコアを含み得る。いくつかの実装形態では、プロセッサ202は、電子ディスプレイ信号を生成してディスプレイデバイス(図示せず)に提供し、画像の表示をサポートし、画像をキャプチャして送信し、様々なタイプの特徴抽出およびサンプリングなどを含む複雑なタスクを実行することが可能であり得る。いくつかの実装形態では、プロセッサ202は、そこからデータおよび命令にアクセスし、そこにデータを記憶するために、バス206を介してメモリ204に結合され得る。バス206は、プロセッサ202を、たとえば、メモリ204、通信ユニット208、および記憶装置241を含むセッションハンドラサーバ122の他のコンポーネントに結合し得る。
【００２７】
メモリ204は、セッションハンドラサーバ122の他のコンポーネントへデータを記憶し、セッションハンドラサーバ122の他のコンポーネントへのアクセスを提供し得る。いくつかの実装形態では、メモリ204は、プロセッサ202によって実行され得る命令および/またはデータを記憶し得る。たとえば、図示されるように、メモリ204は、セッションエンジン124などのうちの1つまたは複数のエンジンを記憶し得る。メモリ204はまた、たとえば、オペレーティングシステム、ハードウェアドライバ、ソフトウェアアプリケーション、データベースなどを含む他の命令およびデータを記憶し得る。メモリ204は、プロセッサ202およびセッションハンドラサーバ122の他のコンポーネントとの通信のためにバス206に結合され得る。
【００２８】
メモリ204は、プロセッサ202によってまたはそれに関連して処理するための命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを含み、記憶し、通信し、伝播し、または転送することができる任意の装置またはデバイスであり得る、非一時的コンピュータ使用可能(たとえば、読取り、書込み可能など)媒体を含む。いくつかの実装形態では、メモリ204は、揮発性メモリおよび不揮発性メモリのうちの1つまたは複数を含み得る。たとえば、メモリ204は、これらに限定されないが、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、ディスクリートメモリデバイス(たとえば、PROM、FPROM、ROM)、ハードディスクドライブ、光ディスクドライブ(CD、DVD、Blue-ray(商標)など)のうちの1つまたは複数を含み得る。メモリ204は単一のデバイスであってもよく、複数のタイプのデバイスおよび構成を含んでもよい点を理解されたい。
【００２９】
バス206は、セッションハンドラサーバ122のコンポーネント間、またはコンピューティングデバイス106/122間でデータを転送するための通信バス、ネットワーク102またはその一部を含むネットワークバスシステム、プロセッサメッシュ、それらの組合せなどを含むことができる。いくつかの実装形態では、セッションエンジン124、そのサブコンポーネント、およびセッションハンドラサーバ122で動作する様々なソフトウェア(たとえば、オペレーティングシステム、デバイスドライバなど)は、バス206に関連付けて実装されたソフトウェア通信メカニズムを介して協働および通信することができる。ソフトウェア通信メカニズムは、たとえば、プロセス間通信、ローカル関数またはプロシージャコール、リモートプロシージャコール、オブジェクトブローカ(CORBAなど)、ソフトウェアモジュール間のダイレクトソケット通信(TCP/IPソケットなど)、UDPブロードキャストおよび受信、HTTP接続などを含むおよび/または容易にすることができる。さらに、通信の一部またはすべてを安全にすることができる(SSL、HTTPSなど)。
【００３０】
通信ユニット208は、ネットワーク102とのワイヤードおよび/またはワイヤレス接続のための1つまたは複数のインターフェースデバイス(I/F)を含み得る。たとえば、通信ユニット208は、これらに限定されないが、CATタイプのインターフェース、モバイルネットワーク103との通信用の無線トランシーバ(4G、3G、2Gなど)を使用して信号を送受信するためのワイヤレストランシーバ、およびWi-Fi(商標)および近接(たとえばBluetooth(登録商標)、NFCなど)接続用の無線トランシーバ、USBインターフェース、それらの様々な組合せなどを含み得る。いくつかの実装形態では、通信ユニット208は、プロセッサ202をネットワーク102にリンクすることができ、ネットワーク102は、次に、他の処理システムに結合され得る。通信ユニット208は、たとえば、本明細書の他の場所で論じられているものを含む様々な標準ネットワーク通信プロトコルを使用して、ネットワーク102およびシステム100の他のエンティティへの他の接続を提供することができる。
【００３１】
記憶装置241は、データを記憶しデータへのアクセスを提供するための情報源である。いくつかの実装形態では、記憶装置241は、データを受信しデータへのアクセスを提供するために、バス206を介してコンピューティングデバイスのコンポーネント202、204、および208に結合され得る。データの例は、これらに限定されないが、顧客情報、チャットボットによって使用されるデータおよびリポジトリなどを含む。
【００３２】
記憶装置241は、セッションハンドラサーバ122および/または、セッションハンドラサーバ122とは別個であるが、それに結合されるか、またはアクセス可能である記憶システムに含まれ得る。記憶装置241は、データを記憶するための1つまたは複数の非一時的コンピュータ可読媒体を含むことができる。いくつかの実装形態では、記憶装置241は、メモリ204に組み込まれてもよく、それとは別個であってもよい。いくつかの実装形態では、記憶装置241は、セッションハンドラサーバ122上で動作可能なデータベース管理システム(DBMS)を含み得る。たとえば、DBMSは、構造化クエリ言語(SQL)DBMS、NoSQL DBMS、それらの様々な組合せなどを含み得る。場合によっては、DBMSは行と列で構成される多次元テーブルにデータを記憶し、プログラム操作を使用してデータの行を操作、すなわち挿入、クエリ、更新、および/または削除し得る。
【００３３】
上述のように、セッションハンドラサーバ122は、他のおよび/またはより少ないコンポーネントを含み得る。他のコンポーネントの例は、ディスプレイ、入力デバイス、センサなど(図示せず)を含み得る。一実施形態では、コンピューティングデバイスはディスプレイを含む。ディスプレイは、たとえば、有機発光ダイオード(OLED)ディスプレイ、液晶ディスプレイ(LCD)などを含む、任意のディスプレイデバイス、モニタ、またはスクリーンを含み得る。いくつかの実装形態では、ディスプレイは、スタイラス、ユーザ112の1本または複数の指などからの入力を受信することができるタッチスクリーンディスプレイであり得る。たとえば、ディスプレイは、ディスプレイ表面との複数の接触点を検出および解釈することができる容量性タッチスクリーンディスプレイであり得る。
【００３４】
入力デバイス(図示せず)は、セッションハンドラサーバ122に情報を入力するための任意のデバイスを含み得る。いくつかの実装形態では、入力デバイスは、1つまたは複数の周辺デバイスを含み得る。たとえば、入力デバイスは、キーボード(たとえば、QWERTYキーボード、または他の言語のキーボード)、ポインティングデバイス(たとえば、マウスまたはタッチパッド)、マイク、画像/ビデオキャプチャデバイス(たとえば、カメラ)などを含み得る。
【００３５】
一実施形態では、クライアントデバイスは、セッションハンドラサーバ122と同様のコンポーネント202/204/206/208/241を含み得る。一実施形態では、クライアントデバイス106および/またはセッションハンドラサーバ122は、音声入力を受信するためのマイクと、テキスト読上げ(TTS)を容易にするためのスピーカを含む。いくつかの実装形態では、入力デバイスは、ユーザ112の1本または複数の指から入力を受信することができるタッチスクリーンディスプレイを含み得る。たとえば、ユーザ112は、キーボード領域のディスプレイに接触するために指を使うことによって、タッチスクリーンディスプレイ上に表示されるエミュレートされた(すなわち、仮想またはソフト)キーボードと対話することができる。
【００３６】
例示的なセッションエンジン124
次に図3を参照すると、一実施形態による例示的なセッションエンジン124のブロック図が示されている。図示される実施形態では、セッションエンジン124は、AIエンジン322、会話ランキングエンジン324、エージェントエンジン326、コーチエンジン328、スーパーバイザエンジン330、エラーエンジン332、およびUIエンジン334を含む。
【００３７】
図3のエンジン322/324/326/328/330/332/334は、プロセッサ202との、およびエンジンに応じて、セッションエンジン124またはシステム100の他のコンポーネントとの協働および通信に適合されている。いくつかの実施形態では、エンジンは、たとえば、メモリ204に記憶され、プロセッサ202によってアクセス可能かつ実行可能な、プロセッサ202によって実行可能な命令のセットであり得る。
【００３８】
AIエンジン322は、1つまたは複数の人間の言語(たとえば、英語、フランス語など)で1つまたは複数のセッションにAI機能を提供する。一実施形態では、AIエンジン322は、セッションを作成し、セッションにおいて顧客の質問に答える。実施形態に応じて、セッションは、テキストベース(たとえば、インスタントメッセンジャーチャットベース、または電子メールベース)または音声ベース(たとえば、電話)であり得る。実施形態に応じて、顧客は、人間のユーザ(たとえば、クライアントデバイス106aを介してシステムと対話するユーザ112a)または機械ユーザ(たとえば、クライアントデバイス106a、またはそのいくつかのコンポーネント)であり得る。
【００３９】
一部の実施形態では、AIエンジン322は、顧客の意図(すなわち、質問)を決定するために自動音声認識および自然言語処理を使用し、適切な応答を決定するために機械学習を使用して導出されたアルゴリズムを使用する。いくつかの実施形態では、AIエンジン322は、最も高い信頼度のある意図に基づいて顧客の意図を決定する。たとえば、AIエンジン322は、自然言語処理を使用して、最も可能性の高い意図が顧客の現在の残高を確認することと、顧客の信用限度を確認することとであると決定し、統計的に生成され得る、より高い信頼度を有する意図を選択する。また、たとえば、AIエンジン322は、統計的に生成され得る、より高い信頼度を有する応答を決定および選択する(たとえば、AIエンジン322は、プライマリカード保有者に信用限度を提供することを選択し、許可されたユーザの信用限度を提供しないことを選択する)。
【００４０】
いくつかの実施形態では、顧客が顧客サービスに到達しようとすると、AIエンジン322によってセッションが開始され、AIエンジン322(本明細書ではチャットボットと呼ばれることもある)は、たとえば、顧客の質問に答えることによって、または顧客によって所望されるアクションを実行することによって、セッションを処理しようとする。
【００４１】
いくつかの実施形態では、2つ以上のAIエンジン322がある。実施形態に応じて、同じAIエンジン322の異なるインスタンス(すなわち、同じチャットボットの複数のインスタンス)または異なるAIエンジン322(すなわち、異なるチャットボット、たとえば、Samsung顧客サービスチャットボット、およびWells Fargo顧客サービスチャットボット)があり得る。
【００４２】
示される実装形態では、セッションハンドラサーバ122は、AIエンジン322のインスタンスを含む。実施形態に応じて、AIエンジン322は、搭載、非搭載、またはそれらの組合せであり得る。たとえば、一実施形態では、AIエンジン322は、クライアントデバイス106に搭載されている。別の例では、一実施形態では、AIエンジン322は、セッションハンドラサーバ122上(または、別個のAIサーバ(図示せず)上)に搭載されていない。さらに別の例では、AIエンジン322は、AIエンジン322によってクライアントデバイス106(図示せず)とセッションハンドラサーバ122の両方で動作する。
【００４３】
実施形態および状況に応じて、セッションは、機械(たとえば、AI、チャットボット、デジタルアシスタントなど)と人間(たとえば、顧客)の間、または2人の人間(たとえば、顧客と人間の顧客サービスエージェントとの間)の間であり得る。
【００４４】
AIエンジン322は確実なものではないことは認識されるべきである。たとえば、AIエンジン322は、ユーザの意図を誤認する可能性があり、および/または回答を提供できない可能性がある。したがって、顧客とAIエンジン322(たとえば、AI、チャットボット、デジタルアシスタント)との間のセッションが顧客にとって役に立たなくなり欲求不満の原因となる可能性がある状況があり、これは技術的問題である。会話ランキングエンジン324は、セッションに介入する可能性がある人間(たとえば、顧客サービスエージェント)の注意を引くことができる問題のあるセッションの(たとえば、ランク付けを介して)機械識別のための基準を提供することによって、少なくとも部分的に技術的解決策を提供し得る。
【００４５】
会話ランキングエンジン324は、1つまたは複数のセッションを監視し、1つまたは複数のセッションをランク付けする。いくつかの実施形態では、会話ランキングエンジン324は、他の進行中のセッションに対してセッションをランク付けする。いくつかの実施形態では、会話ランキングエンジン324は、進行中のセッションおよび履歴セッションを含むセッションに対してセッションをランク付けする。いくつかの実施形態では、セッションに割り当てられたランクは、本明細書では「エージェント」と呼ばれることもある人間のエージェントが介入して、ユーザと機械(たとえば、チャットボット)との間のセッションにおける機械(たとえば、チャットボット)の役割を引き継ぐことが望ましいかどうかを示す。
【００４６】
一実施形態では、会話ランキングエンジン324は、AIエンジン322の回答の質およびセッションの感情のうちの1つまたは複数に基づいてセッションをランク付けする。一実施形態では、会話の「質」は、以下のうちの1つまたは複数を使用して会話ランキングエンジン324によって決定され得、これは本明細書では「質的基準」と呼ばれ得る。
●ユーザ(たとえば、顧客)の意図におけるAIエンジン322の信頼度。たとえば、AIエンジン322が、顧客が尋ねていると信じているものの精度に自信がない場合、会話ランキングエンジン324は、ユーザ(たとえば、顧客サービスエージェント)による介入を支持して、ランキングに影響を与え得る。これは、セッションの経過にわたる平均(たとえば、セッション全体の平均信頼度)またはセッションの一部(たとえば、一連の低信頼度の意図があり、これは低信頼度の意図のしきい値数を満たし、人間のエージェントの介入を支持して主張し、したがって、会話ランキングエンジン324はそれに応じてランキングを調整する)に基づく場合がある。信頼度を計算するために上述したように、異なるタイプのアルゴリズムに基づいて、システム100は、信頼度をパーセンテージまたは他の数値として提供し得る。最終的な信頼度スコアに基づいて、予想される意図をアクティブにするか(たとえば、信頼度が80%を超える場合)、より多くの精度を要求するためにユーザと機械の間にダイアログ(すなわち、予想される意図をよりよく識別するためのフォローアップの質問)を作成するかを決定する。信頼度が第1のしきい値を満たす場合(たとえば、信頼度の精度が60〜79.9%の場合)、システム100は、人間(たとえば、エージェント)によるセッション処理を自動的にアクティブ化し得、別のしきい値が満たされる場合(たとえば、信頼度の精度が60%未満の場合)システム100は、人間(たとえば、エージェント)によって引き継がれるために待機リストにセッションを入力する。提供されたしきい値は単なる例であり、本明細書の開示から逸脱することなしに他のしきい値が使用され得る点に留意されたい。一実施形態では、しきい値は、定義され得るシステム100内のパラメータであり得る。
●AIエンジンの322の答えの信頼度。たとえば、AIエンジン322が回答の精度に自信がない場合、それはユーザによる介入を支持してランキングに影響を与え得る。異なるタイプのアルゴリズムに基づいて、システム100は、信頼度をパーセンテージまたは他の数値として提供し得る。いくつかの実施形態では、AIエンジンの回答の信頼度は、セッションの経過にわたる平均に基づく。あるいは、AIエンジンの回答の信頼度はセッションの一部に基づく場合がある(たとえば、一連の低信頼度の回答があり、これは低信頼度の回答のしきい値数を満たし、人間のエージェントの介入を支持して主張し、したがって、会話ランキングエンジン324はそれに応じてランキングを調整する)。
●会話の継続性、たとえば、会話がループ内で止まっているか、顧客が何度も同じことを言っているかどうか。たとえば、会話ランキングエンジン324は、セッション内の会話がループしているかどうかを決定し、そのセッションのそのランクを調整する。別の例では、会話ランキングエンジン324は、ユーザ(たとえば、顧客)が何度も同じことを言っているかどうかを決定し、セッションのランクを調整する。
●会話の終了時などに受信したフィードバック。たとえば、提供されたサービスが役に立たなかったことを示すセッション終了時の調査への応答は、人間が介入すべきであることを示し得、会話ランキングエンジン324は、セッションランキングを決定する際にそのようなフィードバックを使用する。
●検出された意図にエラーが検出された。
【００４７】
いくつかの実施形態では、会話をランク付けするために、会話ランキングエンジン324単独で、または(実施形態に応じて)感情メトリックと組み合わせて使用される品質メトリックを生成するために、前述の質的基準のうちの1つまたは複数が使用される。
【００４８】
一実施形態では、会話の「感情」は、各対話の機械ベースの感情分析を使用して、会話ランキングエンジン324によって評価され得る。一実施形態では、感情分析は、たとえば話し手、書き手、または他の対象者の態度を決定するために感情的状態および主観的情報を体系的に識別、抽出、および研究するための、自然言語処理、テキスト分析、計算言語学、およびバイオメトリクス(たとえば、音声)の使用を指す。実施形態に応じて、態度は、(評価理論におけるような)判断または評価、感情的状態(すなわち、著者または話者の感情的状態)、または意図された感情的コミュニケーション(すなわち、著者または対話者によって意図される感情的効果)のうちの1つまたは複数であり得る。実施形態に応じて、会話ランキングエンジン324は、セッションの「感情」を評価し、セッションをランク付けするために、「感情基準」と呼ばれることがある以下の1つまたは複数を使用する。
●会話の予測またはダイアログの雰囲気として役立つ可能性がある、会話/セッションにおけるすべての対話に対する平均(たとえば、算術または調和)感情分析。
●会話の感情分析傾向、たとえば、肯定的(positive)から否定的(negative)、中立的(neutral)から否定的(negative)、その逆など。
●攻撃的な言語の使用、たとえば、攻撃のN-gram辞書に基づくキーワード検出を使用すること。
●会話の傾向のバランスをとる可能性のある絵文字の検出(たとえば、ウインク、舌を突出す、または笑顔の絵文字は、普通なら攻撃的である用語の使用は、ふざけてまたは冗談で使用されていることを示し得る)。
●句読点(たとえば、感嘆符の使用は怒りや欲求不満を示し得る)。
●フォントスタイル(たとえば、太字、下線、または斜体の使用は、怒りや欲求不満を示し得る)。
●大文字の使用(たとえば、すべて大文字を使用すると、怒りや欲求不満を示し得る)。
●迅速な応答(たとえば、即時の回答は緊急性を示し得る)
●顧客サービスエージェント(人間)への明示的な要求。
●音声分析(たとえば、顧客の声におけるストレス、緊急性、怒り、欲求不満などを検出するため)。
●発話、単語、トークン、またはそれらの組合せの数。
●コンテキスト履歴。
●スペルミス。
【００４９】
いくつかの実施形態では、会話をランク付けするために、会話ランキングエンジン324単独で、または(実施形態に応じて)感情メトリックと組み合わせて使用される感情メトリックを生成するために、前述の感情基準のうちの1つまたは複数が使用される。
【００５０】
会話ランキングエンジン324は、(たとえば、決定されたメトリックに基づいて)セッションのランクを決定するために、質的基準および感情基準のうちの1つまたは複数を(たとえば、感情分析を介して)使用する。たとえば、会話ランキングエンジン324は、セッションのランクを決定するために使用される値を決定するために、質的基準および感情基準を使用する。セッションのランクを決定するために使用される値は、実施形態によって異なる場合がある。たとえば、この値は、質的基準と感情基準を使用して計算された加重平均であり得る。いくつかの実施形態では、各基準が割り当てられる重みは動的であり得る(たとえば、ユーザのチームによって設定され得、時間とともに変化し得、機械学習などを使用して割り当てられ得る)。
【００５１】
実施形態に応じて、会話ランキングエンジン324によって割り当てられたランクは、形が異なり得る。たとえば、いくつかの実施形態では、会話ランキングエンジン324は、(たとえば、エージェント介入を必要とする可能性が最も高いから可能性が最も低い順、またはエージェント介入を必要とする可能性が最も低いから可能性が最も高い順に)数値ランクを割り当て得る。別の例では、いくつかの実施形態では、会話ランキングエンジン324は、カテゴリランク(たとえば、肯定的(positive)、否定的(negative)、および中立的(neutral)、ここでは否定的(negative)ランクのセッションがエージェントの介入を必要とする可能性が高い場合)を割り当て得る。
【００５２】
エージェントエンジン326は、エージェントが、システム100内のセッション、またはシステム100内のセッションのサブセットを監視することと、セッション(たとえば、会話ランキングエンジン324によって割り当てられたランクに基づいて会話がうまくいかないセッション)に介入することとを可能にする。一実施形態では、エージェントエンジン326は、進行中のセッションの視覚化を可能にするユーザインターフェースをエージェントに提供するためのグラフィック情報を生成することと、(たとえば、会話ランキングエンジン324によって割り当てられたランクに基づいて)エージェントが介入するべきセッションを決定し視覚化するためにエージェントが使用し得る情報をランク付けすることとを行う。一実施形態による例示的なユーザインターフェースは、図8a〜図8oを参照して以下で説明される。
【００５３】
いくつかの実施形態では、いったんエージェントがセッションに介入すると、エージェントは顧客の質問に回答したり、顧客によって要求されたアクションを実行したり(たとえば、アカウントを開く、アイテムを注文するなど)、または顧客にサービスを提供する他のアクションを実行したりし得る。エージェントエンジン326は、エージェントが、彼/彼女が介入したセッションを終了することを可能にする。一実施形態では、エージェントのセッションの終了は、セッションを終了させないが、エージェントのセッションへの参加を終了させ、たとえば、セッションは、顧客およびチャットボットと継続し得る。
【００５４】
コーチエンジン328は、人間のエージェントを支援およびサポートするように設計されたAIエンジン322である。たとえば、コーチエンジン328は、セッションに介入した、またはエージェントが有し得る質問(たとえば、要求されたアクションを実行する方法、またはそのアクションが有料かどうか)に答えたエージェントに、情報(たとえば、顧客の現在の残高)および/または提案(たとえば、顧客の行動のパターンに基づいて定期送金を設定するため)を提供し得る。一実施形態では、コーチエンジン328は、エージェントの質問に回答する知識がないと決定し得るが、個人(たとえば、専門知識を持つスーパーバイザまたはエージェント)がその情報を持っていると決定し得、(たとえば、スーパーバイザエンジン330を使用するサイドバーウィンドウを介して)エージェントをその個人に紹介し得る。
【００５５】
スーパーバイザエンジン330は、個人(たとえば、スーパーバイザ、より上級のエージェント、またはスペシャリスト、あるいは他のエージェント)とエージェントが、サイドバー(たとえば、個別のチャットウィンドウまたは電話を介するサイド会話)において対話することを可能にし、それによって、エージェントは顧客をよりよく支援し得る。
【００５６】
エラーエンジン332は、エージェントがシステム100におけるエラーを識別することを可能にする。エラーの例は、チャットボットからの不正な回答、対話の感情の不正な識別などを含み得る。一実施形態では、エラーエンジン332は、エラーをアクティブ化する前に明確化を生成すること、顧客の質問を再定式化すること、顧客クエリの最終的な意味を定義するために詳細を尋ねること、または前述のいくつかの組合せを行う機能を含む。
【００５７】
一実施形態では、エラーエンジン332は、機械のトレーナがトレーニング中のエラーを識別し、エラーを修正するか、そうでなければAI/チャットボットのトレーニングを改善するために役立つ一組のツール(図示せず)を含む。一実施形態では、エラーエンジン332は、予測におけるエラーの発生源を識別すること、潜在的なエラーを識別すること、エラーの発生源(たとえば、エラーが意図の誤認に起因し得ることおよび/または複数の意図は類似しており、チャットボットによる識別に混乱を引き起こす可能性があること)を示すこと、過剰適合を減らすために意図に関連付けられる例のプロンプト(たとえば、文)を削除するようにトレーナに促すこと、(たとえば、少ない種類の意図を表示することによって)意図のための追加のおよび/または様々なプロンプトを提供するようにユーザに促すこと、トレーナによる評価および分類のために低い率で意図と一致する文を識別すること、のうちの1つまたは複数を実行し得る。
【００５８】
いくつかの実施形態では、識別されたエラーは、AIエンジン322および/または会話ランキングエンジン324を改善(たとえば、トレーニング)するために使用されるので、AIエンジン322は時間とともに改善し、将来より良い回答を提供し得、および/または会話ランキングエンジン324は、将来問題のあるセッション/会話をより適切に識別し得る。
【００５９】
例示的な方法
図4および図5は、図1〜図3を参照して上述したシステムによって実行される方法400および500を示している。
【００６０】
図4を参照すると、一実施形態による、会話ランキングおよび拡張エージェントを使用するセッション処理のための例示的な方法400が示されている。ブロック402において、AIエンジン322はセッションを作成する。ブロック404において、会話ランキングエンジン324は、品質および/または感情のランキングに基づいて、AIチャットボットとのセッションに問題があると決定する。ブロック406において、エージェントエンジン326は、エージェントに警告し、ブロック408において、エージェントは、エージェントエンジン326を介してセッションに介入する。ブロック410において、エージェントエンジン326は、セッションをAIエンジン322に戻す。
【００６１】
図5を参照すると、一実施形態による会話ランキングのための例示的な方法500が示されている。ブロック502において、会話ランキングエンジン324は感情を監視し、ブロック504において、セッションの品質を監視する。ブロック506において、会話ランキングエンジン324は、たとえば、他の進行中のセッションおよび/または以前のセッションに関連して会話をランク付けする。ブロック508において、会話ランキングエンジン324は、ランク付けされた会話をエージェントに提示する。
【００６２】
一実施形態では、ランクは加重平均を用いる。たとえば、一実施形態では、パラメータごとの精度、たとえば、感情分析、文および/または会話ごとの単語の分布、同じエージェントの会話全体に関する会話における発話の数など。実施形態に応じて、精度の計算は、人工ニューラルネットワークまたは単純な線形代数計算、たとえば、ベクトル距離によるものであり得る。一実施形態では、次いで、パラメータのうちの1つまたは複数がパーセンテージとして正規化される。一実施形態では、パラメータは、会話の平均精度を計算するための重みを受信する。いくつかの実施形態では、重みは、システム100内のパラメータとして定義することができ、または別のタイプの人工ニューラルネットワークは、回帰を通じて、パラメータの最良の重み分布がシステム100のトレーニングを担当するチームによって定義された少数の重みに基づくものを定義するようにトレーニングされる。
【００６３】
本方法は単なる例であり、他の方法が企図され、本開示の範囲内である点に留意されたい。たとえば、本方法はより多くの、異なる、またはより少ないブロックを含み得、ブロックは、順序が異なっていてもよく、並行して実行されてもよい(たとえば、ブロック502および504は、順次であってもよく、並行であってもよい)。
【００６４】
例示的な説明およびUI
図6は、一実施形態による拡張セッション処理の例を説明する図である。図6の図示された実施形態では、セッションは、コールセンタ時間外(すなわち、図示された例では、午後6時から午前8時まで)ではAIによって排他的に処理される。コールセンタの時間中は、AIと拡張エージェントがセッションを処理する。本明細書の拡張エージェント、システム、および方法を使用すると、所与の数のエージェントが単独で処理できるよりも多くの呼出しにサービスを提供するためにAIを活用し、AIとのうまくいかないセッションを識別することによって顧客体験を向上させ、人間のエージェントが介入できるようになることが認識されるべきである。
【００６５】
図7は、一実施形態によるシステムに関連付けられる様々な例示的なグラフである。たとえば、左上のグラフは、その日の毎時の会話/セッションの棒グラフを含み、線がオーバーレイされて、その日の会話の「平均肯定性」を示している。右側の列は、3つの会話と、会話の進行に伴うそれらの会話における感情を示している。より具体的には、Conv 1は、肯定的(positive)な傾向があり、(会話ランキングエンジン324によって決定されるように)現在肯定的(positive)である会話を示している。Conv 2は、否定的(negatively)な傾向があるが(会話ランキングエンジン324によって決定されるように)現在は中立的(neutral)である会話を示している。Conv 3は、否定的(negatively)な傾向があり、(会話ランキングエンジン324によって決定されるように)現在否定的(negative)である会話を示している。Conv 1〜3の各会話において、各顧客との対話(すなわち、顧客が言った、またはタイプした内容の入力)に肯定的(positive)、中立的(neutral)、または否定的(negative)な感情が割り当てられる。一実施形態では、これらの感情は会話ランキングエンジン324によって割り当てられ、会話をランク付けするために使用される。
【００６６】
図8a〜図8oは、図1〜3を参照して上述したシステムの一実施形態による、人間のエージェントに提示される例示的なユーザインターフェースである。図8aでは、140個のセッションが進行中であることを示す「すべて(All)」タブ802が選択されている。一実施形態では、グリッド804は、それらのセッションの各々に対する視覚的インジケータを含む。セッションの視覚的インジケータは、1つまたは複数の基準に基づいて、他のセッションに関連付けられる他の視覚的インジケータと比較してグリッド内に配置され得る。たとえば、グリッド内のインジケータは、ランキングに基づいて配置され得る(たとえば、うまくいっていないと決定された会話が、UIの上部の近くなどの近隣に配置されるようにする)。別の例では、グリッド内のインジケータは、時期に基づいて配置され得る(たとえば、セッションが、バー810において最も古いものから新しいものへと順序付けられるようにする)。別の例では、グリッド内のインジケータは、エージェントが介入したか、または介入しているかに基づいて(たとえば、そのようなセッションに関連付けられるインジケータがバー810内で互いに近接して配置されるように)配置され得る。別の例では、グリッド内のインジケータは、(たとえば、SMSに関連付けられるセッションが視覚的にグループ化され、電話に関連付けられるセッションが視覚的にグループ化され、電子メールに関連付けられるセッションが視覚的にグループ化されるように)チャネルに基づいて配置され得る。
【００６７】
一実施形態では、視覚的インジケータは、(会話ランキングエンジン324によって決定されるように)セッションが進んでいる方法に基づいて変化する。たとえば、セッションのランクを示すために、会話ランキングエンジン324によって異なる色が割り当てられ得る。セッションのランクは、会話ランキングエンジン324によって決定されるように、セッションが順調(肯定的(positive))、不調(否定的(negative))、中立的(neutral)のいずれであるかを示す。セッションは、会話ランキングエンジン324によって待機中(waiting)であるとして示され得る(たとえば、チャットボットとの対話の全体または一部をバイパスして、顧客から人間のエージェントが要求されたことを示す)。ユーザインターフェースは、どのチャットボットがセッションを処理しているかを視覚的に示し得る。一実施形態では、本明細書に示される視覚的インジケータは、現在のランキングを含むステータス(たとえば、ランキングが否定的(negative)になると色が変わる)、エージェントが介入したかどうか(たとえば、手が付いたアイコンは、実施形態に応じて、現在または過去のセッションへの人間のエージェントの介入を示す)に基づいて、デザインが異なる場合がある。
【００６８】
図8bでは、グリッドのセッション要素806が選択されており、これは、セッション要素806上にXとして示されている視覚的な区別によって示されている。セッション要素806の選択に応答して、UIの部分808は、そのセッションに関連付けられる会話を表示するために、エージェントエンジン326によって更新される。バー810は、会話における各顧客対話が会話ランキングエンジン324によって(たとえば、感情分析を使用して)どのようにランク付けされたかを示す。バー810内のインジケータおよび/または部分808における吹出しの色は、たとえば、会話ランキングエンジン324によって決定されるような関連付けられる対話の感情に基づいて、色分けされ得る。「注文するために助けが必要です(I NEED HELP TO Place an order)」は、会話のランキングエンジン324によって決定されるように「中立的(neutral)」であり、一部は大文字の使用により、また顧客が以前に言ったことと同じであるためおそらく肯定的(positive)ではなく、「aaaah!!!!」は、感嘆符と「Ah」が持っている欲求不満の兆候のため、おそらく否定的(negative)である。人間のエージェントは、「引き継ぐ(TAKE OVER)」812グラフィカル要素を選択することによって、介入することを決定し得る。
【００６９】
図8cでは、「引き継ぐ(TAKE OVER)」812グラフィック要素が選択されており、部分808は、人間のエージェントが自己紹介し、ユーザが注文およびドライブシャフトセンタサポートの支援を要求したことを示している。図8cはまた、このUIが「自分のもの(Mine)」タブ814の下にあり、エージェントが現在5つのセッションに参加していることを示している。
【００７０】
図8dでは、「終了(END)」816のグラフィカル要素がエージェントによって選択され(たとえば、顧客の質問(図示せず)に回答した後)、セッションがボットに戻され、エージェントに確認を求めることを示すウィンドウ818が表示される。
【００７１】
図8eでは、「ユーザ情報(User Information)」タブが選択されている。このタブは、ユーザアカウント情報(たとえば、ログイン名(Login)、名前(Name)、およびアカウント番号(Account #))と、顧客とのセッションのログを含む。
【００７２】
図8fでは、セッション822はエージェントによって選択されており、ウィンドウ824はそのセッションの会話/コンテンツを示している。
【００７３】
図8gでは、「ボット(Bot)」タブ826が選択されている。UIは3つのボットを表示しており、そのうちの1つ、OSCARが選択されている。実施形態に応じて、ボットは同じ会社内の異なる部門または異なる会社に完全に関連付けられ得る(たとえば、エージェントが、複数の会社または大企業の部門に代わって顧客サービスコールを受けるコールセンタに勤務する場合)。
【００７４】
図8hは、うまくいっていない(すなわち、会話ランキングエンジン324によって決定されるように否定的(negative)である)、およびエージェントによる検討のために選択されたセッションを示している。エージェントは、「引き継ぐ(TAKE OVER)」812グラフィック要素およびコーチ要素828を選択する。続いて、図8iがエージェントに提示され、コーチサイドバー830を含み、図示される実施形態では、エージェントをサポートおよび支援するためのチャットボットが利用可能である。図示されるように、コーチチャットボットは、顧客であるピーター(Peter)についての追加情報、最近の要求、現在の残高を提供し、図8jでは、ピーターの行動パターンと、ピーターに提供する推奨サービス(定期送金)を提供している。図8kでは、エージェントはコーチチャットボットに料金と制限について尋ねている。コーチチャットボットは料金に関して回答することができたが、制限に関しての回答を有していなかったため、エージェントに対して、制限に関する答えを潜在的に知っている可能性がある個人である「Max Apple」を特定し、Max Appleに質問し、エージェントに回答を提供した。コーチボットは、Maxをサイドバー830の会話に含めることも提案し、エージェントの要求に応じてこれを行った。図8i〜図8kの図示された実施形態では、セッションへのチャットボットの貢献は、視覚的インジケータ(すなわち、テキストの吹出し内のロボットアイコン)を使用して識別され、セッションへのエージェントの貢献は、別の視覚的インジケータ(すなわち、後者のテキストの吹出し内の人のアイコン)。を使用して識別される。これらの視覚的インジケータは単なる例であり、本明細書の開示から逸脱することなしに他のインジケータが使用され得ることを認識されたい。
【００７５】
図8l〜図8nは、エラーの識別を示している。図8lでは、ユーザは、対話に関連付けられる要素832を選択し得る。それに応答して、図8mに示されるように、ウィンドウ834が表示され、ユーザは、エラーのタイプ(たとえば、感情またはその他)を示す要素を選択し得る。いくつかの実施形態では、追加のインターフェースは、ユーザが間違いを訂正するか、または正しい感情が何であるかを示すことを可能にし得、会話ランキングエンジン324のランキングアルゴリズムをトレーニングするために使用され得る。図8nでは、要素836がエージェントによって選択され、ウィンドウ838が表示され、そこでユーザはエラーのタイプ(たとえば、ボットの回答が正しくないか、またはその他)を示す要素を選択し得る。いくつかの実施形態では、追加のインターフェースは、ユーザが正しい回答を提供することを可能にし得、チャットボットがより機能的になるようにAIエンジン322をトレーニングするために、これが使用され得る。
【００７６】
図8oは、セッション内の対話と関連付けられる感情を示すバー810の異なる表現を示しており、これにより、バー810内の各ブロック間のスペースが減少し、各ブロックは(たとえば、会話ランキングエンジンによって決定されるように)セッションへの顧客入力に関連付けられ、入力に関連付けられた感情に従って色分けされる。
【００７７】
図8a〜図8oには示されていないが、付録CのUIのうちのいくつかは、ソースチャネルを識別するインジケータ(たとえば、通信/会話がSkype、Facebook、電話、電子メールなどを使用するかどうか)を含む。
【００７８】
他の考慮事項
上記の記述では、説明の目的で、本開示の完全な理解を提供するために、多くの特定の詳細が述べられている。しかしながら、本明細書に記載されている技術は、これらの特定の詳細なしで実施できることを理解されたい。さらに、様々なシステム、デバイス、および構造は、説明が不明瞭にならないようにするために、ブロック図形式で示されている。たとえば、様々な実装形態は、特定のハードウェア、ソフトウェア、およびユーザインターフェースを有するものとして説明されている。しかしながら、本開示は、データおよびコマンドを受信することができる任意のタイプのコンピューティングデバイス、ならびにサービスを提供する任意の周辺デバイスに適用される。
【００７９】
本明細書における「一実施形態」または「ある実施形態」または「一実装形態」または「ある実装形態」への言及は、実施形態または実装形態に関連して説明された特定の特徴、構造、または特性が、一実施形態または実装形態の少なくとも1つに含まれることを意味する。本明細書の様々な場所における「一実施形態では」または「一実装形態では」という句の出現は、必ずしもすべてが同じ実施形態または実装形態を指しているわけではない。
【００８０】
場合によっては、コンピュータメモリ内のデータビットに対する動作のアルゴリズムおよび記号表現に関して、様々な実装形態が本明細書において提示され得る。アルゴリズムはここにあり、一般に、所望の結果につながる自己矛盾のない動作のセットであると考えられている。動作は、物理量の物理的な操作を必要とする動作である。通常、必須ではないが、これらの量は、記憶、転送、結合、比較、およびその他の操作が可能な電気信号または磁気信号の形式をとる。これらの信号をビット、値、要素、記号、文字、用語、数値などと呼ぶことは、主に一般的な使用の理由から、時々便利であることが証明されている。
【００８１】
しかしながら、これらの用語および同様の用語はすべて適切な物理量に関連付けられ、これらの量に適用される便利なラベルにすぎないことを心に留めておくべきである。以下の議論から明らかであると特に明記されていない限り、本開示全体を通じて、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などを含む用語を利用する議論は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作および変換して、コンピュータシステムのメモリまたはレジスタ、あるいは他のそのような情報を記憶、伝送、または表示する装置内の物理量として同様に表される他のデータに操作および変換するコンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことが理解される。
【００８２】
本明細書で説明される様々な実装形態は、本明細書の動作を実行するための装置に関連し得る。この装置は、目的のために特別に構築されてもよく、またはコンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを備えてもよい。そのようなコンピュータプログラムは、フロッピーディスク、光ディスク、CD ROM、および磁気ディスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードまたは光カード、不揮発性メモリを備えたUSBキーを含むフラッシュメモリ、あるいは、それぞれがコンピュータシステムバスに結合された、電子命令を記憶するために適したあらゆるタイプの媒体を含む任意のタイプのディスクを含むが、これらに限定されない、コンピュータ可読記憶媒体に記憶することができる。
【００８３】
本明細書で説明する技術は、完全にハードウェアの実装形態、完全にソフトウェアの実装形態、またはハードウェア要素とソフトウェア要素の両方を含む実装形態の形式をとることができる。たとえば、技術は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアにおいて実装され得る。
【００８４】
さらに、この技術は、コンピュータまたは任意の命令実行システムによって、またはそれらに関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形式をとることができる。この説明の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含み、記憶し、通信し、伝播し、または移送することができる任意の非一時的記憶装置であり得る。
【００８５】
プログラムコードを記憶および/または実行するために適したデータ処理システムは、システムバスを通じてメモリ要素に直接または間接的に結合された少なくとも1つのプロセッサを含み得る。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、大容量記憶、および実行中に大容量記憶からコードを取得され得る回数を減らすために少なくともいくつかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力/出力、すなわちI/Oデバイス(キーボード、ディスプレイ、ポインティングデバイスなどを含むが、これらに限定されない)は、直接または介入するI/Oコントローラを介してシステムに結合することができる。
【００８６】
データ処理システムが、介入するプライベートネットワークおよび/またはパブリックネットワークを通じて他のデータ処理システム、記憶装置、リモートプリンタなどに結合できるように、ネットワークアダプタがシステムに結合され得る。ワイヤレス(たとえば、Wi-Fi(商標))トランシーバ、イーサネットアダプタ、モデムは、ネットワークアダプタのほんの一例である。プライベートネットワークとパブリックネットワークは、任意の数の構成および/またはトポロジを有し得る。データは、たとえば、様々なインターネット層、トランスポート層、またはアプリケーション層プロトコルを含む様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信され得る。たとえば、データは、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、伝送制御プロトコル(TCP)、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(HTTPS)、HTTPを介した動的適応ストリーミング(DASH)、リアルタイムストリーミングプロトコル(RTSP)、リアルタイム転送プロトコル(RTP)およびリアルタイム転送制御プロトコル(RTCP)、ボイスオーバインターネットプロトコル(VOIP)、ファイル転送プロトコル(FTP)、ウェブソケット(WS)、ワイヤレスアクセスプロトコル(WAP)、様々なメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAVなど)、または他の知られているプロトコルを使用するネットワークを介して送信され得る。
【００８７】
最後に、本明細書に提示されている構造、アルゴリズム、および/またはインターフェースは、任意の特定のコンピュータまたは他の装置に本質的に関連しているわけではない。本明細書の教示に従って、様々な汎用システムがプログラムと共に使用され得、または方法ブロックを実行するためのより専門的な装置を構築することが好都合であることが判明し得る。これらの様々なシステムの構造は、上記の説明から明らかになるだろう。さらに、本明細書は特定のプログラミング言語を参照して記述されていない。本明細書で説明されるような本明細書の教示を実装するために、様々なプログラミング言語が使用され得ることが理解されよう。
【００８８】
前述の説明は、例示および説明の目的で提示されてきた。網羅的であること、または本明細書を開示された正確な形式に限定することは意図されていない。上記の教示に照らして、多くの修正および変更が可能である。本開示の範囲は、この詳細な説明によってではなく、本出願の特許請求の範囲によって限定されることが意図されている。理解されるべきであるように、本明細書は、その精神または本質的な特性から逸脱することなしに、他の特定の形態で具体化され得る。同様に、モジュール、ルーチン、機能、属性、方法論、および他の態様の特定の命名および分割は、必須または重要ではなく、本明細書またはその機能を実装するメカニズムは、異なる名前、分割、および/またはフォーマットを有し得る。さらに、本開示のエンジン、モジュール、ルーチン、機能、属性、方法論、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、または前述の任意の組合せとして実装することができる。また、本明細書のコンポーネント、たとえばモジュールであるがソフトウェアとして実装されている場合は常に、コンポーネントは、スタンドアロンプログラムとして、より大きなプログラムの一部として、複数の個別のプログラムとして、静的または動的にリンクされたライブラリとして、カーネルロード可能なモジュールとして、デバイスドライバとして、および/または現在または将来知られる任意の他の方法で実装することができる。さらに、本開示は、任意の特定のプログラミング言語、または任意の特定のオペレーティングシステムまたは環境における実装形態に決して限定されない。したがって、本開示は、以下の特許請求の範囲に記載される主題の範囲を例示することを意図しており、限定することを意図していない。
【符号の説明】
【００８９】
100  システム
102  ネットワーク
104a…104n  信号線
106  クライアントデバイス
106a…106n  クライアントデバイス
110a…110n  線
112  ユーザ
112a…112n  ユーザ
120  信号線
122  セッションハンドラサーバ
124  セッションエンジン
202  プロセッサ
204  メモリ
206  通信バス
208  通信ユニット
241  記憶装置
322  AIエンジン
324  会話ランキングエンジン
326  エージェントエンジン
328  コーチエンジン
330  スーパーバイザエンジン
332  エラーエンジン
334  UIエンジン
400  方法
500  方法
802  タブ
804  グリッド
806  セッション要素
808  部分
810  バー
812  引き継ぐ
814  タブ
816  終了
818  ウィンドウ
822  セッション
824  ウィンドウ
826  「ボット」タブ
830  コーチサイドバー
834  ウィンドウ
836  要素
838  ウィンドウ
【図１】
2021508888.tif 000003
【図２】
2021508888.tif 000004
【図３】
2021508888.tif 000005
【図４】
2021508888.tif 000006
【図５】
2021508888.tif 000007
【図６】
2021508888.tif 000008
【図７】
2021508888.tif 000009
【図８ａ】
2021508888.tif 000010
【図８ｂ】
2021508888.tif 000011
【図８ｃ】
2021508888.tif 000012
【図８ｄ】
2021508888.tif 000013
【図８ｅ】
2021508888.tif 000014
【図８ｆ】
2021508888.tif 000015
【図８ｇ】
2021508888.tif 000016
【図８ｈ】
2021508888.tif 000017
【図８ｉ】
2021508888.tif 000018
【図８ｊ】
2021508888.tif 000019
【図８ｋ】
2021508888.tif 000020
【図８ｌ】
2021508888.tif 000021
【図８ｍ】
2021508888.tif 000022
【図８ｎ】
2021508888.tif 000023
【図８ｏ】
2021508888.tif 000024
【手続補正書】
【提出日】令和2年6月30日(2020.6.30)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2021508888.tif 000025
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2021508888.tif 000026
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図８ａ
【補正方法】変更
【補正の内容】
【図８ａ】
2021508888.tif 000027
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図８ｂ
【補正方法】変更
【補正の内容】
【図８ｂ】
2021508888.tif 000028
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図８ｃ
【補正方法】変更
【補正の内容】
【図８ｃ】
2021508888.tif 000029
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８ｄ
【補正方法】変更
【補正の内容】
【図８ｄ】
2021508888.tif 000030
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図８ｅ
【補正方法】変更
【補正の内容】
【図８ｅ】
2021508888.tif 000031
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図８ｆ
【補正方法】変更
【補正の内容】
【図８ｆ】
2021508888.tif 000032
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図８ｇ
【補正方法】変更
【補正の内容】
【図８ｇ】
2021508888.tif 000033
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図８ｈ
【補正方法】変更
【補正の内容】
【図８ｈ】
2021508888.tif 000034
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図８ｉ
【補正方法】変更
【補正の内容】
【図８ｉ】
2021508888.tif 000035
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図８ｊ
【補正方法】変更
【補正の内容】
【図８ｊ】
2021508888.tif 000036
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図８ｋ
【補正方法】変更
【補正の内容】
【図８ｋ】
2021508888.tif 000037
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図８ｌ
【補正方法】変更
【補正の内容】
【図８ｌ】
2021508888.tif 000038
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図８ｍ
【補正方法】変更
【補正の内容】
【図８ｍ】
2021508888.tif 000039
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図８ｎ
【補正方法】変更
【補正の内容】
【図８ｎ】
2021508888.tif 000040
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図８ｏ
【補正方法】変更
【補正の内容】
【図８ｏ】
2021508888.tif 000041
【国際調査報告】
2021508888.tif 000042
2021508888.tif 000043
2021508888.tif 000044