(57)【要約】      （修正有）【課題】人間と言葉で対話する対話システムを提供する。【解決手段】ユーザからの音声信号またはテキスト信号データを受け取ること、状態追跡部モデルを使用して入力データに基づいてシステム状態を更新すること、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、識別子モデルを使用して更新されたシステム状態情報の一部に基づいて１つまたは複数の関連するカテゴリを識別すること、記憶された情報から情報のセットを定義すること、記憶された情報は、関連すると識別されなかったカテゴリを除外する、関連するカテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える減少されたシステム状態を生成すること、ポリシーモデルを使用して、減少されたシステム状態および情報のセットに基づいて、アクションを決定すること、決定したアクションで指定された情報を出力部で出力すること、を備える。【選択図】図２
2018132754.tif 000002
【特許請求の範囲】
【請求項１】
ユーザから発生した音声信号またはテキスト信号に関するデータを受け取るための入力部と、
アクションによって指定された情報を出力するための出力部と、
プロセッサとを備え、前記プロセッサが、
ｉ）状態追跡部モデルを使用して前記入力データに基づいてシステム状態を更新し、ここにおいて、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
ｉｉ）識別子モデルを使用して、前記更新されたシステム状態情報の少なくとも一部に基づいて、１つまたは複数の関連するカテゴリを識別し、
ｉｉｉ）記憶された情報から情報のセットを定義し、前記記憶された情報が、複数のアクション関数とカテゴリとを備え、前記情報のセットが、関連すると識別されなかったカテゴリを除外する、
ｉｖ）前記関連するカテゴリの各々に関する前記複数の可能な値のうちの１つまたは複数に関連付けられた前記確率値を備える、減少されたシステム状態を生成し、
ｖ）ポリシーモデルを使用して、前記減少されたシステム状態および前記情報のセットに基づいて、アクションを決定し、
ｖｉ）前記決定されたアクションによって指定された情報を前記出力部において出力する
ように構成される、対話システム。
【請求項２】
前記記憶された情報および前記複数のカテゴリが、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのものであり、ここにおいて、あらかじめ定義されたドメインが特定の対話話題に対応し、ここにおいて、前記あらかじめ定義されたドメイン固有オントロジーが、前記特定の対話話題に関する前記複数のカテゴリとアクションとを備え、ここにおいて、前記関連するカテゴリが、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、前記情報のセットが、異なるあらかじめ定義されたドメイン固有オントロジーからのアクションを備える、請求項１に記載の対話システム。
【請求項３】
前記ポリシーモデルが、オントロジーに依存しないパラメータとともに入力として動作するように構成され、ステップｉｖ）が、
１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関して前記減少されたシステム状態をパラメータ化すること
をさらに備える、請求項２に記載の対話システム。
【請求項４】
ステップｉｉｉ）が、
１つまたは複数のオントロジーに依存しないパラメータの第２のセットに関して前記情報のセットをパラメータ化すること
をさらに備える、請求項３に記載の対話システム。
【請求項５】
前記アクションが、
関連するカテゴリと組み合わされたアクション関数、または
アクション関数
を備える、請求項１から４のいずれかに記載の対話システム。
【請求項６】
前記出力部が、音声信号を出力するための出力部であり、ここにおいて、ステップｖｉ）が、
前記アクションに基づいてテキストを生成することと、
前記テキストを音声に変換し、前記音声信号を前記出力部において出力することと
を備える、請求項１から５のいずれかに記載の対話システム。
【請求項７】
前記入力部が、音声信号を受け取るためのものであり、ここにおいて、ステップｉ）が、
前記入力音声信号から、関連付けられた確率を用いて自動音声認識仮説を生成すること
をさらに備える、請求項１から６のいずれかに記載の対話システム。
【請求項８】
ステップｉｉ）が、前記更新されたシステム状態情報の前記少なくとも一部を前記識別子モデルに入力することを備え、このことにより、前記更新されたシステム状態に基づいて各カテゴリが関連する確率を取得し、前記関連するカテゴリを、閾値よりも高い確率を有するカテゴリであると識別する、請求項１から７のいずれかに記載の対話システム。
【請求項９】
前記入力されたシステム状態情報が、前記更新されたシステム状態からの各カテゴリに関する最高確率に対応する前記可能な値と、前記対応する確率とを備え、他の可能な値と、対応する確率とを含まない、請求項８に記載の対話システム。
【請求項１０】
対話中の各新しい入力信号に対する前記更新されたシステム状態が、ある時間の期間にわたって記憶され、ここにおいて、ステップｉｉ）が、１つまたは複数の以前の入力信号からの前記更新されたシステム状態情報の前記少なくとも一部を前記識別子モデルに入力することを備える、請求項８または９に記載の対話システム。
【請求項１１】
前記カテゴリがスロットである、請求項１から１０のいずれかに記載の対話システム。
【請求項１２】
ｉ）が、複数の状態追跡部モデルを使用して前記入力データに基づいて複数のシステム状態を更新することを備え、ここにおいて、各システム状態が、あらかじめ定義されたドメインに関連付けられた複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備える、請求項１から１１のいずれかに記載の対話システム。
【請求項１３】
ユーザから発生した音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡部モデルを使用して前記入力データに基づいてシステム状態を更新することと、ここにおいて、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
識別子モデルを使用して前記更新されたシステム状態情報の少なくとも一部に基づいて１つまたは複数の関連するカテゴリを識別することと、
記憶された情報から情報のセットを定義することと、前記記憶された情報は、複数のアクション関数とカテゴリとを備え、前記情報のセットは、関連すると識別されなかったカテゴリを除外する、
前記関連するカテゴリの各々に関する前記複数の可能な値のうちの１つまたは複数に関連付けられた前記確率値を備える、減少されたシステム状態を生成することと、
ポリシーモデルを使用して、前記減少されたシステム状態および前記情報のセットに基づいて、アクションを決定することと、
前記決定されたアクションによって指定された情報を前記出力部において出力することと
を備える対話方法。
【請求項１４】
対話システムを適合させる方法であって、
複数の対話に関するシステム状態を取得することと、各システム状態が対話中の音声信号またはテキスト信号に基づき、ここにおいて、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
入力システム状態情報の少なくとも一部に基づいて１つまたは複数の関連するカテゴリを識別するために識別子モデルを学習することと
を備える方法。
【請求項１５】
前記システム状態がデータのコーパスから取得され、前記学習が、各発話に対応するあらかじめ定義されたドメインを示す前記データに関連付けられたラベルを使用して実行される、請求項１４に記載の方法。
【請求項１６】
前記識別子モデルおよびポリシーモデルが、人間またはシミュレートされた人間との対話を入力するために前記識別子モデルと前記ポリシーモデルとを繰り返し使用し、各対話に関する性能インジケータを提供することによって一緒に学習され、ここにおいて、前記方法が、
対話中の音声信号またはテキスト信号に関するデータを受け取ることと、ここにおいて、システム状態を取得することが、状態追跡部モデルを使用して前記入力データに基づいてシステム状態を更新することを備える、
前記識別子モデルを使用して前記更新されたシステム状態情報の少なくとも一部に基づいて１つまたは複数の関連するカテゴリを識別することと、
記憶された情報から情報のセットを定義することと、前記記憶された情報が、複数のアクション関数とカテゴリとを備え、前記情報のセットが、関連すると識別されなかったカテゴリを除外する、
前記関連するカテゴリの各々に関する前記複数の可能な値のうちの１つまたは複数に関連付けられた前記確率値を備える、減少されたシステム状態を生成することと、
ポリシーモデルを使用して、前記減少されたシステム状態および前記情報のセットに基づいて、アクションを決定することと、
前記決定されたアクションによって指定された情報を前記出力部において出力することと、
前記性能インジケータを増加させるように前記ポリシーモデルと前記識別子モデルとを適合させることと
をさらに備える、請求項１４に記載の方法。
【請求項１７】
前記識別子モデル、前記状態追跡部モデル、および前記ポリシーモデルが一緒に学習され、ここにおいて、前記方法が、
前記性能インジケータを増加させるように前記状態追跡部モデルを適合させること
をさらに備える、請求項１６に記載の方法。
【請求項１８】
人間またはシミュレートされた人間との対話を入力することを繰り返し、各対話に関する性能インジケータを提供することによってポリシーモデルを学習することをさらに備え、ここにおいて、各対話が一連のテキスト信号または音声信号を備え、ここにおいて、前記方法が、
対話において音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡部モデルを使用して前記入力データに基づいてシステム状態を更新することと、ここにおいて、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる
１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関して前記システム状態をパラメータ化することと、
前記システム状態に関する前記パラメータ値および記憶されたオントロジー情報に基づいてアクションを決定することと、ここにおいて、前記記憶されたオントロジー情報が、１つまたは複数のオントロジーに依存しないパラメータの第２のセットに関してパラメータ化される、
前記決定されたアクションによって指定された情報を前記出力部において出力することと、
前記性能インジケータを増加させるように前記ポリシーモデルを適合させることと、
前記対話中に存在するカテゴリごとに、最大可能性能インジケータに対する、達成される前記性能インジケータの比の累積的移動平均をカテゴリ重要性の推定値として決定することと、ここにおいて、前記重要性が、前記パラメータの第２のセットのうちの１つとして使用される、
をさらに備える、請求項１４に記載の方法。
【請求項１９】
人間またはシミュレートされた人間との対話を入力することを繰り返し、各対話に関する性能インジケータを提供することによってポリシーモデルを学習することをさらに備え、ここにおいて、各対話が一連のテキスト信号または音声信号を備え、ここにおいて、前記方法が、
対話において音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡部モデルを使用して前記入力データに基づいてシステム状態を更新することと、ここにおいて、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関して前記システム状態をパラメータ化することと、
前記システム状態に関する前記パラメータ値および記憶されたオントロジー情報に基づいてアクションを決定することと、ここにおいて、前記記憶されたオントロジー情報が、１つまたは複数のオントロジーに依存しないパラメータの第２のセットに関してパラメータ化される、
前記決定されたアクションによって指定された情報を前記出力部において出力することと、
前記性能インジケータを増加させるように前記ポリシーモデルを適合させることと、
前記対話内のカテゴリごとに、前記対話内の相対位置の累積的移動平均をカテゴリ優先順位の推定値と決定することと、ここにおいて、前記優先順位が、前記パラメータの第２のセットのうちの１つとして使用される、
をさらに備える、請求項１４または１７に記載の方法。
【請求項２０】
請求項１３から１９のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ可読コードを備える搬送媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対話システム、対話方法、および対話システムを適合させる方法に関する。
【背景技術】
【０００２】
対話システム、たとえば音声対話システム（ＳＤＳ）は、たとえば、自動化されたコールセンター、支援技術、音声駆動型の対話型モバイルアプリケーション、ウェアラブルデバイスおよびヒューマンロボットインタラクション用音声インターフェースを含む多くの適用例において使用されており、人間と対話すること、たとえば、人間と言葉で対話することが意図されている。
【０００３】
対話システムは、あらかじめ定義されたドメイン固有オントロジーと、特定のあらかじめ定義されたドメイン内で機能するように学習（トレーニング）されたポリシーモデルとを使用し得る。マルチドメイン対話システムは、入力に最も厳密に合致するあらかじめ定義されたドメインを識別するために話題追跡部を使用して、あらかじめ定義されたドメインオントロジーと、対応する対話ポリシーとを切り換え得る。
【０００４】
複数のドメインにわたって動作可能であるが、学習と、メンテナンスと、そのようなシステムに必要とされる人間設計入力とを減少させる対話システムを作製することが絶えず必要とされている。
【０００５】
次に、非限定的な構成によるシステムおよび方法が、添付の図を参照しながら説明される。
【図面の簡単な説明】
【０００６】
【図１（ａ）】音声対話システムの概略図。
【図１（ｂ）】例示的な対話システムアーキテクチャの概要を示す図。
【図２】対話システムによって実行される例示的な方法を示す流れ図。
【図３】対話システムによって実行されるサブドメイン作成の例示的な方法を示す流れ図。
【図４】対話システムのための例示的なアーキテクチャの概略図。
【図５】識別子モデルを学習する例示的な方法の流れ図。
【図６】ポリシーモデルを学習するための例示的な方法を示す図。
【図７】第１のオントロジーを用いて第１のドメインにおいてポリシーモデルを学習し、そのポリシーを、エンドユーザオントロジーを用いてエンドユーザドメインに移すためのさらなる方法を概略的に示す図。
【図８】あらかじめ定義されたドメインを使用し、連続サブドメインを使用する、図３に関連して説明される方法を使用することによって達成される対話成功率を示す学習曲線を示すグラフ。
【発明を実施するための形態】
【０００７】
ユーザから発生した音声信号またはテキスト信号に関するデータを受け取るための入力部と、
アクションによって指定された情報を出力するための出力部と、
プロセッサとを備え、プロセッサが、
ｉ）状態追跡部モデルを使用して入力データに基づいてシステム状態を更新し、ここにおいて、システム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとる（ｔａｋｅ  ｏｎ）ことができる、
ｉｉ）識別子モデルを使用して、更新されたシステム状態情報の少なくとも一部に基づいて、１つまたは複数の関連するカテゴリを識別し、
ｉｉｉ）記憶された情報から情報のセットを定義し、記憶された情報は、複数のアクション関数とカテゴリとを備え、情報のセットは、関連すると識別されなかったカテゴリを除外する、
ｉｖ）関連するカテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える、減少されたシステム状態を生成し、
ｖ）ポリシーモデルを使用して、減少されたシステム状態および情報のセットに基づいて、アクションを決定し、
ｖｉ）決定されたアクションによって指定された情報を出力部において出力する
ように構成される、対話システムが提供される。
【０００８】
記憶された情報および複数のカテゴリは、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのものであり、ここにおいて、あらかじめ定義されたドメインは特定の対話話題に対応し、ここにおいて、あらかじめ定義されたドメイン固有オントロジーは、特定の対話話題に関する複数のカテゴリとアクションとを備え、ここにおいて、関連するカテゴリは、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、情報のセットは、異なるあらかじめ定義されたドメイン固有オントロジーからのアクションを備える。
【０００９】
ポリシーモデルは、入力としてオントロジーに依存しないパラメータとともに動作するように構成されてよく、ステップｉｖ）は、１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関して減少されたシステム状態をパラメータ化することをさらに備えてもよい。ステップｉｉｉ）は、１つまたは複数のオントロジーに依存しないパラメータの第２のセットに関して前記情報のセットをパラメータ化することをさらに備える。
【００１０】
第１のセットと第２のセットは、同じであってもよいし、異なってもよい。パラメータの第１のセットおよび／または第２のセットは、スロットが、値と、スロット重要性の尺度と、スロット優先順位の尺度と、対話について説明するスロットまたは特徴の記述特性とを有するとき、潜在的な影響のうちの１つまたは複数を備えてもよい。
【００１１】
各スロットに関する重要性値は、達成される性能インジケータと最大可能性能インジケータとの比の累積的移動平均をカテゴリ重要性の推定値として決定することによって連続的に更新されてもよい。達成される性能インジケータは、システムによって推定されてもよいし、ユーザによって入力されてもよい。最大性能インジケータは、記憶された値であってもよい。
【００１２】
各スロットに関する優先順位値は、対話内の相対位置の累積的移動平均をカテゴリ優先順位の推定値と決定することによって連続的に更新されてよく、ここにおいて、優先順位は、パラメータの第２のセットのうちの１つとして使用される。
【００１３】
アクションは、アクション関数入力と組み合わされたアクション関数を備える。アクションのリストは、記憶された情報のセットから生成されて、ポリシーモデルに入力されてもよい。アクション関数入力は、たとえば、関連するカテゴリであってもよいし、ヌル値であってもよい。
【００１４】
対話システムは、音声対話システムであってもよい。入力部は、音声信号を受け取るように構成されてよく、ここにおいて、ステップｉ）は、入力音声信号から、関連付けられた確率を用いて自動音声認識仮説を生成することをさらに備える。出力部は、音声信号を出力するように構成されてよく、ここにおいて、ステップｖｉ）は、アクションに基づいてテキストを生成することと、テキストを音声に変換し、出力部において音声信号を出力することとを備える。
【００１５】
ステップｉｉ）は、更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備えてよく、このことにより、各カテゴリが関連する確率を更新されたシステム状態に基づいて取得し、関連カテゴリを閾値よりも高い確率を有するカテゴリであると識別する。
【００１６】
入力されるシステム状態情報は、更新されたシステム状態からの各カテゴリに関する最高確率に対応する可能な値と、対応する確率とを備えてよく、他の可能な値と、対応する確率とを含まない。
【００１７】
対話中の各新しい入力信号に対する更新されたシステム状態は、ある時間の期間にわたって記憶されてよく、ここにおいて、ステップｉｉ）は、１つまたは複数の以前の入力信号からの更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備える。入力は、固定されたウィンドウサイズによって定義されるいくつかの以前のターンに関するシステム状態の連結を備えてもよい。各システム状態は、忘却係数によって乗算されてよく、そのサイズは、窓におけるターンごとに減少する。
【００１８】
カテゴリは、スロットであってもよい。システムは、情報取り出しシステムであってもよい。
【００１９】
ステップｉ）は、複数の状態追跡部モデルを使用して入力データに基づいて複数のシステム状態を更新することを備えてよく、ここにおいて、各システム状態は、あらかじめ定義されたドメインに関連付けられた複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備える。
【００２０】
ユーザから発生した音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡部モデルを使用して入力データに基づいてシステム状態を更新することと、ここにおいて、システム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
識別子モデルを使用して更新されたシステム状態情報の少なくとも一部に基づいて１つまたは複数の関連するカテゴリを識別することと、
記憶された情報から情報のセットを定義することと、記憶された情報は、複数のアクション関数とカテゴリとを備え、情報のセットは、関連すると識別されなかったカテゴリを除外する、
関連するカテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える、減少されたシステム状態を生成することと、
ポリシーモデルを使用して、減少されたシステム状態および情報のセットに基づいて、アクションを決定することと、
決定されたアクションによって指定された情報を出力部において出力することと
を備える対話方法も提供される。
【００２１】
対話システムを適合させる方法であって、
複数の対話に関するシステム状態を取得することと、各システム状態が対話中の音声信号またはテキスト信号に基づき、ここにおいて、システム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
入力システム状態情報の少なくとも一部に基づいて１つまたは複数の関連するカテゴリを識別するために識別子モデルを学習することと
を備える方法も提供される。
【００２２】
システム状態は、データのコーパスから取得されてよく、学習は、各発話に対応するあらかじめ定義されたドメインを示すデータに関連付けられたラベルを使用して実行されてもよい。
【００２３】
ポリシーモデルはまた、人間またはシミュレートされた人間との対話を入力することを繰り返し、各対話に関する性能インジケータを提供することによって学習され、ここにおいて、各対話は一連のテキスト信号または音声信号を備え、ここにおいて、方法は、
対話において音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡部モデルを使用して入力データに基づいてシステム状態を更新することと、ここにおいて、システム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、ここにおいて、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
システム状態および記憶されたオントロジー情報に基づいてアクションを決定することと、記憶された情報は、複数のアクション関数とカテゴリとを備える、
決定されたアクションによって指定された情報を出力部において出力することと、
前記性能インジケータを増加させるように前記ポリシーモデルを適合させることと
をさらに備える。
【００２４】
次いで、ポリシーモデルおよび識別子モデルは、対話システムにおいて使用可能である。
【００２５】
代替として、識別子モデルおよびポリシーモデルは、人間またはシミュレートされた人間との対話を入力するために識別子モデルとポリシーモデルとを繰り返し使用し、各対話に関する性能インジケータを提供することによって一緒に学習され、ここにおいて、方法は、
対話中の音声信号またはテキスト信号に関するデータを受け取ることと、ここにおいて、システム状態を取得することは、状態追跡部モデルを使用して入力データに基づいてシステム状態を更新することを備える、
識別子モデルを使用して、更新されたシステム状態情報の少なくとも一部に基づいて、１つまたは複数の関連するカテゴリを識別することと、
記憶された情報から情報のセットを定義することと、記憶された情報は、複数のアクション関数とカテゴリとを備え、情報のセットは、関連すると識別されなかったカテゴリを除外する、
関連するカテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える、減少されたシステム状態を生成することと、
ポリシーモデルを使用して、減少されたシステム状態および情報のセットに基づいて、アクションを決定することと、
決定されたアクションによって指定された情報を出力部において出力することと、
性能インジケータを増加させるようにポリシーモデルと識別子モデルとを適合させることと
をさらに備える。
【００２６】
識別子モデル、状態追跡部モデル、およびポリシーモデルは一緒に学習され、ここにおいて、方法が、性能インジケータを増加させるように状態追跡部モデルを適合させることをさらに備える。
【００２７】
ポリシーモデルは、入力としてオントロジーに依存しないパラメータとともに動作するように構成されてよく、ステップｉｖ）は、１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関して減少されたシステム状態をパラメータ化することをさらに備えてもよい。ステップｉｉｉ）は、１つまたは複数のオントロジーに依存しないパラメータの第２のセットに関して情報のセットをパラメータ化することをさらに備える。
【００２８】
第１のセットと第２のセットは、同じであってもよいし、異なってもよい。パラメータの第１のセットおよび／または第２のセットは、スロットが、値と、スロット重要性の尺度と、スロット優先順位の尺度と、対話について説明するスロットまたは特徴の記述特性とを有するとき、潜在的な影響のうちの１つまたは複数を備えてもよい。
【００２９】
各スロットに関する重要性値は、達成される性能インジケータと最大可能性能インジケータとの比の累積的移動平均をカテゴリ重要性の推定値として決定することによって連続的に更新されてもよい。達成される性能インジケータは、システムによって推定されてもよいし、ユーザによって入力されてもよい。最大性能インジケータは、記憶された値であってもよい。
【００３０】
各スロットに関する優先順位値は、対話内の相対位置の累積的移動平均をカテゴリ優先順位の推定値と決定することによって連続的に更新されてよく、ここにおいて、優先順位は、パラメータの第２のセットのうちの１つとして使用される。
【００３１】
上記で説明された方法のいずれかをコンピュータに実行させるように構成されたコンピュータ可読コードを備える搬送媒体も提供される。
【００３２】
実施形態によるいくつかの方法は、ソフトウェアによって実施可能であるので、いくつかの実施形態は、任意の適切な搬送媒体上に、汎用コンピュータに提供されるコンピュータコードを包含する。搬送媒体は、フロッピー（登録商標）ディスク、ＣＤ  ＲＯＭ、磁気デバイスもしくはプログラマブルメモリデバイス、または任意の信号、たとえば電気信号、光信号、もしくはマイクロ波信号などの任意の一時的媒体などの記憶媒体を備えることができる。搬送媒体は、非一時的なコンピュータ可読記憶媒体を備えてもよい。
【００３３】
多くのタスク指向型音声対話システムでは、オントロジーは、複数の可能な値のうちの１つ（または複数）で満たされるべき複数のスロットを指定する。次いで、ポリシーは、タスクを完了するためにスロットを値で満たすべき会話の流れを制御するように構成される。たとえば、部分観測マルコフ決定過程音声対話システム（ＰＯＭＤＰ−ＳＤＳ）では、対話における各ターンにおいて、確信度スコアを有する自動音声認識（ＡＳＲ）仮説のリスト（ＡＳＲ  ｎ−ｂｅｓｔリストと呼ばれる）が観測され、これは、意味論的表現（対話アクト）のｎ−ｂｅｓｔリストを取得するために、音声言語理解（ＳＬＵ）ユニットによって解析され得る。この後、信念状態と呼ばれる、対話状態の分布表現（ユーザの目標と、対話履歴とを備える）が、たとえばＳＬＵ出力および前のシステムアクションに基づいて対話の各ターンにおいて信念を更新する対話状態追跡モデルによって維持される。ポリシーモデル１８は、意味論的表現における次のシステムアクションを決定し、これは、次いで、自然言語生成（ＮＬＧ）モジュールによって理解され、音声合成（ＴＴＳ）部によってユーザに読まれる。ポリシーモデル１８および１つまたは複数の他の構成要素は、たとえば、ニューラルネットワークに接続されてもよいし、単一のニューラルネットワークによって置き換えられてもよい。
【００３４】
図１（ａ）は、そのようなＳＤＳ汎用アーキテクチャの一例の概要である。そのような音声対話システムは、たとえば、人間ユーザ１０からの音声をテキストに変換し（自動音声認識１２）、意味論的情報を識別および照合し（自然言語処理部１４）、システム状態を更新し（システム状態追跡部１６）、出力アクションを生成し（ポリシーモデル１８）、アクションによって指定される必要なテキストを生成し（自然言語生成部２０）、音声を合成する（音声合成部２２）ために、いくつかの構成要素を備えてもよい。代替として、ポリシーモデル１８および１つまたは複数の他の構成要素は、たとえば、単一のニューラルネットワークによって置き換えられてもよい。
【００３５】
図１（ｂ）は、対話システム１の概略図である。対話システム１は、たとえば、情報取り出し対話システムであってもよい。システム１は、プロセッサ３を備え、人間発話の表現である入力を得る。これは、人間発話の意味論的表現であってもよいし、人間発話から抽出された情報を表すデータの集まりであってもよい。それは、音声信号またはテキスト信号であってもよい。システムはまた、意味論的表現、テキスト信号もしくは音声信号、または他の出力情報、たとえば電話機のための、電話をつなぐ命令などの、デバイスに対する、タスクを実行する命令を出力してもよい。処理部は、対話マネージャであってよく、システム１によって行われるべきアクションを決定するためにポリシーを実施してもよい。
【００３６】
コンピュータプログラム５は、不揮発性メモリに記憶される。不揮発性メモリはプロセッサ３によってアクセスされ、記憶されたコンピュータプログラムコードは、プロセッサ３によって取り出され、実行される。記憶域７は、プログラム５によって使用されるデータを記憶する。
【００３７】
システム１は、入力モジュール１１をさらに備える。入力モジュール１１は、音声信号またはテキスト信号に関するデータを受け取るための入力部１５に接続される。入力部１５は、ユーザがデータを直接に入力することを可能にするインターフェース、たとえばマイクロホンまたはキーボードであってもよい。代替として、入力部１５は、外部記憶媒体またはネットワークからデータを受け取るための受信器であってもよい。表現は、意味論的復号器から受け取られてもよい。
【００３８】
システム１は、出力モジュール１３をさらに備えてもよい。出力モジュール１３に接続されているのは、出力部１７であってもよい。出力部１７は、ユーザにデータを提供するインターフェース、たとえば、スクリーン、ヘッドフォン、またはスピーカであってもよい。代替として、出力部１７は、外部記憶媒体またはネットワークにデータを送信するための送信器であってもよい。代替として、出力部１７は、別のデバイスまたはデバイスの一部に命令を提供してもよい。
【００３９】
使用に際して、システム１は、入力部１５を通して音声信号またはテキスト信号を受け取る。プログラム５は、以下の図を参照して説明される様式で、プロセッサ３上で実行される。プログラム５は、出力部１７においてテキスト信号または音声信号を出力し得る。システム１は、以下の図を参照して説明される様式で構成および適合されてもよい。
【００４０】
図２は、対話システムによって実行される例示的な方法を示す流れ図である。以下は、音声対話システムに関して説明されるが、任意の対話システム、たとえばテキストベースの対話システムが使用されてもよいことが理解されるべきである。
【００４１】
システムは、記憶域７内にオントロジー情報を記憶する。オントロジー情報は、アクション関数と、カテゴリとを備える。カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる。カテゴリは、たとえば、情報取り出しシステム内のスロットであってもよい。
【００４２】
各カテゴリは、システムが、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのオントロジー情報を記憶するように、１つまたは複数のあらかじめ定義されたドメイン固有オントロジーに対応してもよい。あらかじめ定義されたドメインは、特定の対話話題に対応する。あらかじめ定義されたドメインは、たとえば特定の基準に合致するいくつかのレストランをユーザに提供する、または購入者にとって適切なラップトップを識別する、対話のタイプおよび目的に固有であってもよい。あらかじめ定義されたドメインは、そのドメインに固有のエンティティのタイプと性質と相互関係とを備えるドメイン固有オントロジーを有してもよい。あらかじめ定義されたドメイン固有オントロジーは、特定の対話話題に関する複数のカテゴリを備えてもよい。
【００４３】
いくつかのあらかじめ定義されたドメイン固有オントロジーからの情報は、本システム内に記憶され、単一の、複数のあらかじめ定義されたドメインオントロジーであると考えられ得る。したがって、システムは、アクション関数と、カテゴリと、複数のあらかじめ定義されたドメインＤ1〜ＤNの各々に関する各カテゴリに対応する可能な値のセットとを備える、オントロジー情報を記憶する。ここで、Ｎは、あらかじめ定義されたドメインの総数を表すために使用される。１つまたは複数のあらかじめ定義されたドメインからのオントロジー情報は、いずれの段階においても、追加または除去可能である。
【００４４】
対話ターンごとに、識別子モデルは、進捗する対話システムにどのスロットが関連するかを識別する。次いで、システムは、これらのスロットに基づいて各ターンにおいて「サブドメイン」を定義し、このサブドメインは、あらかじめ定義されておらず、単一の、複数のあらかじめ定義されたドメインオントロジーの一部を備える。サブドメインは、ポリシー学習（トレーニング）およびシステム動作を効率的なものにすることを可能にする、対話ターンに関する関連するオントロジー情報を含む。
【００４５】
ステップＳ２０１では、人間発話の表現、たとえば入力音声信号または入力テキスト信号が受け取られる。発話は、ユーザとの対話の一部である。
【００４６】
入力音声信号が受け取られる場合、システムは、入力音声からテキスト信号を生成するために、自動音声認識（ＡＳＲ）モジュールを備えてもよい。
【００４７】
システムは、自然言語処理部モジュールをさらに備えてよく、自然言語処理部モジュールは、入力テキスト信号、またはＡＳＲモジュールによって生成されるテキスト信号から、関連付けられた確率を有する言語理解仮説のｎ−ｂｅｓｔリストを生成する。
【００４８】
Ｓ２０２では、システム状態は、状態追跡部モデルを使用して入力に基づいて更新される。システム状態は、対話状態と呼ばれることもある。追跡部モデルは、意図認識モデルであってもよい。テキストおよびＳ２０１において生成された関連付けられた確信度スコアが追跡部モデルに入力され、追跡部モデルは、更新されたシステム状態を出力する。状態追跡部モデルは、入力言語理解仮説を更新されたシステム状態にマップするように構成された記憶された学習されたモデルである。
【００４９】
Ｓ２０１から出力される仮説（たとえば、関連付けられた最高の確率を有する仮説のみであってもよいし、複数の仮説であってもよい）のｎ−ｂｅｓｔリストは、状態追跡部モデルに入力される。状態追跡部モデルは、仮説を仮定してスロット値に関する確率分布を導出し、この確率分布は、メモリ内に記憶されたパラメータを使用して導出される。
【００５０】
システム状態は、複数のカテゴリの各々に対する複数の可能な値の各々に関連付けられた確率値を備える。システム状態は、カテゴリのうちの１つまたは複数に関するこれらの値を更新することによって更新される。
【００５１】
カテゴリは、たとえばタスク指向型音声対話システムにおいて、スロットであってもよい。そのようなシステムでは、ポリシーは一般に、タスクを完了するために、スロットを値で満たすように会話の流れを制御するように構成される。各スロットは、２つ以上の値に関連付けられ、値は、対話管理部がスロットに関して認識することができる可能な妥当な応答である。たとえば、あらかじめ定義されたドメイン「レストラン」では、スロットは「価格」であってよく、可能な値は「低い」、「中間」、および「高い」であってもよい。
【００５２】
いくつかの場合、スロットは、可能な値「提供される」と「提供されない」とを持ち得る。たとえば、ユーザが特定のレストランを名前で探しているケースでは、恣意的なレストラン名が変数に保存され、スロットは、２つの値、すなわち、「レストラン名が提供された」と「レストラン名が提供されていない」とをとる。変数は、レストランの実際の名前を記憶するために使用される。たとえば、最初は、変数は空であり、スロットは値「名前が提供されていない」を有する。ユーザが「Ｗｏｋ−ｗｏｋレストラン」を求める場合、変数はその名前を記憶し、スロットは、「名前が提供された」という値をとる。スロットおよび値のみが（その後のステップＳ２０６において）ポリシーモデルに入力されるが、実際のレストラン名は単に、システム状態の一部として記憶される。アクションが（その後のステップＳ２０６において）ポリシーモデルによって生成されると、変数が生成されたアクションに追加され、たとえば、ｉｎｆｏｒｍ（ｎａｍｅ＝‘Ｗｏｋ−ｗｏｋ’）である。
【００５３】
状態追跡部モデルは、ＰＯＭＤＰベースのモデルであってよく、この場合のシステム状態は信念状態である。以下の例は、ＰＯＭＤＰベースの信念状態追跡部モデルを使用するシステムに関して説明されるが、他のシステム、たとえばマルコフ決定過程音声対話システム（ＭＤＰ−ＳＤＳ）が使用されてもよいことが理解されるべきである。
【００５４】
信念状態は、対話系列内のシステムの観測のうちのいくつかまたはすべてを備えてもよいし、これを表してもよく、観測は、システムへの入力である。したがって、信念状態は、対話系列内でユーザによって行われたシステムへの先行する入力のすべてを追跡してもよいし、これを備えてもよいし、によって決定されてもよい。したがって、信念状態は、完全な対話履歴と文脈とを提供し得る。
【００５５】
したがって、Ｓ２０２では、時間ｔにおいて発生する対話内の入力音声信号または入力テキスト信号に対して、信念状態が更新され、
【００５６】
【数１】
2018132754.tif 000003
を与える。時間ｔにおける信念状態
【００５７】
【数２】
2018132754.tif 000004
は、各スロットｓに対する信念のベクトルｂsを備える。スロットｓに対する信念は、スロットが各可能な値を有する確率のセットであってもよい。たとえば、スロット「価格」に対して、値および確率は、［ｅｍｐｔｙ：０．１５，ｃｈｅａｐ：０．３５，ｍｏｄｅｒａｔｅ：０．１，ｅｘｐｅｎｓｉｖｅ：０．４］であってもよい。これらの確率は、新しい入力発話に基づいて、各タイムスロットｔにおいて追跡部モデルによって更新される。信念追跡部モデルは、入力発話をスロット値にマップし、それに応じて確率を更新する、記憶された学習されたモデルである。
【００５８】
信念状態は、スロットに依存しない信念、たとえば、対話履歴に関連する信念も備えてもよい。信念状態は、複数のスロットの値、たとえば価格および所在地に対する確率分布である（ユーザが「安価なレストラン」と「町の中心部」の両方を言った確率）共同信念も備えてもよい。
【００５９】
任意選択で、複数の状態追跡部モデルがＳ２０２において使用される。上記で説明されたように、システムは、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのオントロジー情報を記憶する。システムは、複数のあらかじめ定義されたドメインに、またはあらかじめ定義されたドメインのうちの各々に対応する、複数の状態追跡部モデルを備えてもよい。各状態追跡部モデルは、特定のあらかじめ定義されたドメインに関連付けられた複数のカテゴリのうちの各々に対する複数の可能な値のうちの各々に関連付けられた確率値を備える、あらかじめ定義されたドメイン固有信念状態を更新する。したがって、時間ｔにおいて、複数の信念状態
【００６０】
【数３】
2018132754.tif 000005
が生成され、添字ｎは、あらかじめ定義されたドメインを識別するために使用される。ドメインごとに１つの追跡部モデルがある場合、この段階は、Ｎ個の信念状態という結果になる。各信念状態
【００６１】
【数４】
2018132754.tif 000006
は、別個の追跡部モデルによって生成され、別個の追跡部モデルは、特定のあらかじめ定義されたドメインのための実施の前に学習される、すなわち、別個の追跡部モデルは、そのあらかじめ定義されたドメインに関するデータを使用して学習される。信念状態
【００６２】
【数５】
2018132754.tif 000007
は、ドメインＤnからの各スロットｓに対する信念のベクトルｂsを備える。
【００６３】
次いで、単一の複合信念状態
【００６４】
【数６】
2018132754.tif 000008
は、複数の信念状態から形成される。複合信念状態は、あらかじめ定義されたドメインのすべてからの各一意のスロットに対する信念のベクトルｂsを備える。一意のスロットのみが保たれる。言い換えれば、あらかじめ定義されたドメインは、（所在地、価格などについての信念などの）重複した特徴を有してもよいので、各重複した特徴は、複合信念状態内に１回のみ含まれる。スロットが多くのドメイン固有信念状態内に存在する場合、たとえば、最高確率を有するスロットが選択され、複合信念状態に使用されてもよい。スロットが現在のターンで言及されていない場合、最新の確率が、そのスロットに使用される。
【００６５】
この複合信念状態は、特定のあらかじめ定義されたドメインに固有でないが、あらかじめ定義されたドメインのすべてに対する信念を含む。したがって、この場合、ステップＳ２０２は、２つのステップ、すなわち、あらかじめ定義されたドメインごとに信念状態を更新することと、複合信念状態を形成することとを備える。対話内で時間ｔに入力された入力音声信号または入力テキスト信号のためのＳ２０２の出力は、複数のあらかじめ定義されたドメインにわたる各一意のスロットに対する信念を備える信念状態
【００６６】
【数７】
2018132754.tif 000009
である。次いで、複数のあらかじめ定義されたドメインは、ステップＳ２０３に対しては単一のドメインオントロジーとして扱われる。
【００６７】
代替として、単一の状態追跡部モデルが使用される。この状態追跡部モデルは、複数のあらかじめ定義されたドメインに関するデータに対する実施の前に学習される。この状態追跡部モデルは、時間ｔにおける単一のグローバル信念状態
【００６８】
【数８】
2018132754.tif 000010
を出力し、このグローバル信念状態は、複数のあらかじめ定義されたドメインにわたる各一意のスロットに対する信念を備える。
【００６９】
Ｓ２０３において、１つまたは複数の関連カテゴリは、識別子モデルを使用して更新されたシステム状態情報の少なくとも一部に基づいて識別される。識別子モデルは、進捗する対話にどのカテゴリが関連するかを各対話ターンにおいて識別するように構成された記憶された学習されたモデルである。これによって、（その後のステップＳ２０４における）あらかじめ定義される必要のない、その場での「サブドメイン」の作成が可能になる。
【００７０】
任意選択で、更新されたシステム状態の少なくとも一部は、スロットごとの上位（ｔｏｐ）信念（たとえば、スロット「価格」に対してｅｘｐｅｎｓｉｖｅ＝０．４）である。この場合のシステム状態は、カテゴリごとの最高確率を有する値のみが含まれるように、「要約」されていると呼ばれる。次いで、この「要約」システム状態が識別子モデルに入力され、各カテゴリに対する他の値は識別子モデルに入力されない。したがって、要約システム状態は、複数のあらかじめ定義されたドメインにわたってのカテゴリのすべてを備えるが、各スロットに対するただ１つの値とその対応する確率値とを備える。
【００７１】
代替として、各カテゴリに対するさらなる値または可能な値のすべてが識別子モデルに入力されてもよい。
【００７２】
ステップＳ２０３は、したがって、更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備える。識別子モデルは、入力システム状態をカテゴリ関連性にマップするように構成され、入力システム状態は、上記で説明された要約システム状態であってもよい。したがって、識別子は、すべてのあらかじめ定義されたドメイン間の各一意のスロットに関する関連性スコアを出力する。任意選択で、閾値スコアよりも大きいまたはこれに等しい関連性スコアを有するスロットが関連すると決定されるように、閾値スコアが定義されてもよい。
【００７３】
任意選択で、対話内の各新しい入力信号に関する更新されたシステム状態は、ある時間の期間にわたって記憶される。言い換えれば、対話履歴が記憶される。対話全体の間の以前のシステム状態が記憶されてよく、次いで、対話が終了されると消去されてもよい。代替として、対話内の以前の状態のうちの１つまたは複数が順次（ｏｎ  ａ  ｒｏｌｌｉｎｇ  ｂａｓｉｓ）記憶される。次いで、ステップＳ２０３は、以前の入力信号のうちの１つまたは複数に関する更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備えてもよい。任意選択で、入力は、忘却係数によって乗算された、過去の信念状態の連結である。忘却係数は、たとえば、０から１の間の数であってもよい。
【００７４】
任意選択で、サイズの窓ｗが定義可能であり、過去の信念状態の連結として生成された識別子モデルへの入力は、次のように示す。
【００７５】
【数９】
2018132754.tif 000011
【００７６】
【数１０】
2018132754.tif 000012
は、２つのベクトルを連結する演算子を表す。窓ｗは、入力がどのくらい戻るかを制御する。たとえば、ｗは３に等しくてもよい。ｔは離散時間指数であり、各時間ｔは入力発話に対応する。忘却係数は、より最近の信念がより大きい影響を有することを意味する。最初に、窓全体を満たすために十分でない過去の信念が対話に利用可能であるとき、対話ごとに、入力バッファはゼロで埋め込み可能である。入力信念状態「Ｂin」は、Ｂtの特徴の数のｗ倍を有する。
【００７７】
Ｓ２０３において、識別子モデルは、記憶されたオントロジー内の一意のカテゴリのすべてから、現在のシステム状態に関する関連するカテゴリを識別する。識別された関連するカテゴリのセットは、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え得る。Ｓ２０３の出力は、関連すると識別されているカテゴリのリストである。
【００７８】
システムは、アクション関数と複数の異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリとを備える情報を記憶する。Ｓ２０４では、システムは、記憶された情報から情報のセットを定義し、情報のセットは、関連すると識別されなかったカテゴリを除外する。言い換えれば、情報のセットは、複数のアクション関数と関連するカテゴリとを備える。したがって、システムは、アクション関数とカテゴリとを備える新しいサブドメインを作成しており、カテゴリは、異なるあらかじめ定義されたドメイン固有オントロジーに関してもよい。カテゴリは、Ｓ２０３において関連すると識別されたカテゴリである。
【００７９】
その後のステップＳ２０６におけるポリシーモデルへの入力は、アクションのセットを備える。全体的なシステムアクションａは、以下の形式、すなわち、ａ（）（たとえば、ｒｅｑｍｏｒｅ（）、ｈｅｌｌｏ（）、ｔｈａｎｋｙｏｕ（）など）、ａ（ｓ）（たとえば、ｒｅｑｕｅｓｔ（ｆｏｏｄ））、ａ（ｓ＝ｖ）（たとえば、ｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ））、ａ（ｓ＝ｖ1;ｓ＝ｖ2）（たとえば、ｓｅｌｅｃｔ（ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ｆｏｏｄ＝Ｊａｐａｎｅｓｅ））、およびａ（ｓ1＝ｖ1，ｓ2＝ｖ2，…，ｓn＝ｖn）（たとえば、ｏｆｆｅｒ（ｎａｍｅ＝“Ｐｅｋｉｎｇ  Ｒｅｓｔａｕｒａｎｔ”，ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ａｒｅａ＝ｃｅｎｔｒｅ））のうちの１つをとることができる。ここで、ａは、ドメインに依存しないアクション関数たとえば“ｉｎｆｏｒｍ”などの伝達関数であり、ｓxおよびｖxはそれぞれ、スロットと値とを意味する。したがって、フルシステムアクションのうちの１つまたは複数は、スロットを備え、値情報、ならびにドメインに依存しないアクション関数を備えてもよい。
【００８０】
記憶された情報は、フルアクションの記憶されたセットを備えてもよい。情報は、複数のあらかじめ定義されたドメインからのアクションを備える。フルアクションは各々、アクション関数（たとえば、ｇｒｅｅｔ、ｉｎｆｏｒｍ、ｒｅｑｕｅｓｔ、…）を備え、１つまたは複数のカテゴリ（たとえば、ｐｒｉｃｅ、ｌｏｃａｔｉｏｎ）、または１つもしくは複数のカテゴリと１つもしくは複数の値（たとえば、ｐｒｉｃｅ＝ｈｉｇｈ）も備えてもよい。関連するカテゴリは、Ｓ２０３において現在のターンに関して識別され、それらのスロットに関連するフルシステムアクションのセットはＳ２０４において定義され（たとえば、ｇｒｅｅｔ、ｉｎｆｏｒｍ＿ｐｒｉｃｅ、ｉｎｆｏｒｍ＿ｌｏｃａｔｉｏｎ、ｒｅｑｕｅｓｔ＿ｐｒｉｃｅ、ｒｅｑｕｅｓｔ＿ｌｏｃａｔｉｏｎ）、対話ターンに対するサブドメイン情報を形成する。フルシステムアクションのセットは、Ｓ２０３において識別される関連するカテゴリのうちの１つでないカテゴリに関するカテゴリ情報またはカテゴリ情報と値情報とを備えるフルアクションを除外することによって定義される。このステップにおいて定義される情報のセットは、異なるあらかじめ定義されたドメイン固有オントロジーからのアクションを備えてもよい。２つ以上のスロットを入力としてとるアクション、たとえばａ（ｓ＝ｖ1；ｓ＝ｖ2）およびａ（ｓ1＝ｖ1，ｓ2＝ｖ2,…，ｓn＝ｖn）の場合、すべての入力スロットが関連すると決定されたもののみが、情報のセット内に含まれる。
【００８１】
ステップＳ２０４において定義される記憶された情報のセットは、Ｓ２０３において識別された関連する入力と組み合わされたアクション関数ａ（ドメインに依存しない）を備えるフルシステムアクション、ならびにアクション関数のみを備えるアクションを備えてもよい。記憶された情報のセットは、関連するフルアクションのリストを備えてもよい。
【００８２】
代替として、記憶された情報は、カテゴリおよび値とは別のアクション関数を備える。関連するカテゴリは、Ｓ２０３において現在のターンに関して識別され、情報のセットは、Ｓ２０４において、関連すると識別されなかったカテゴリ（と、関連付けられた値と）を除外することによって定義される。したがって、アクション関数は、関連する入力とは別として記憶される（関連する入力は、ヌル、または１つもしくは複数のカテゴリおよび任意選択で１つもしくは複数の値である）。この場合、フルアクションは、その後のステップＳ２０６においてポリシーモデルに入力される前に、この記憶された情報のセットから形成される。フルアクションは、単にアクション関数を情報のセット内の入力と組み合わせることによって形成される。
【００８３】
任意選択で、システムに対するフルシステムアクションの代わりに、Ｓ２０４において、いわゆる要約アクションを使用する。要約アクションは、以下の規則によって定義され得る。
（１）アクションが、そのオペランドとして１つのスロットのみをとる場合（たとえばｃｏｎｆｉｒｍ（ａｒｅａ＝…））、スロットごとの上位値のみが保持されるように、実際の値は除去され、アクションは、ａ（ｓ＝＜スロットｓにおける現在／上位値仮説＞）に要約される（たとえば、ｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ））、および
（２）アクションが、そのオペランドとしてスロットのリストをとる場合、それは、ａ（ｓ１＝＜スロットｓ１における現在／上位／共同スロット−値仮説＞，ｓ２＝＜スロットｓ２における現在／上位値仮説＞，…）として要約される。
【００８４】
言い換えれば、現在のシステム状態（決定論的状態が使用される場合、すなわち、ＭＤＰ−ＳＤＳにおいて）または上位信念（信念状態が使用される場合、すなわち、ＰＯＭＤＰ−ＳＤＳにおいて）仮説は、アクションごとに、＜＞へと置き換えられる。要約アクションを使用することによって、値は、その後のステップＳ２０６においてポリシーモデルに入力されるアクション情報から除去可能であり、アクション関数およびカテゴリのみ、たとえばｃｏｎｆｉｒｍ（ａｒｅａ）が、ポリシーモデルに入力される。次いで、Ｓ２０６におけるポリシーモデルからの出力要約アクションは、上位値においてそのスロットに置き換えること、たとえばｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ）によって、「フル」アクションに変換可能である。
【００８５】
上記で詳述されたように、フルシステムアクションは、以下の構造すなわちｃｏｍｍＦｕｎｃｔｉｏｎ（スロット１＝値１；……；スロットＮ＝値Ｎ）、たとえば、ｒｅｑｕｉｒｅ＿ｍｏｒｅ（）、ｃｏｎｆｉｒｍ（ｆｏｏｄ＝Ｉｎｄｉａｎ）、ｓｅｌｅｃｔ（ａｒｅａ＝ｓｏｕｔｈ，ａｒｅａ＝ｅａｓｔ）、またはｉｎｆｏｒｍ（ａｒｅａ＝ｎｏｒｔｈ，ｆｏｏｄ＝Ｉｎｄｉａｎ，ｐｒｉｃｅ＝ｃｈｅａｐ）を持ち得る。これらのアクションは、アクションをａ（ｓ１＝ｂtops1，ｓ２＝ｂtops2，……）と表すことによって「要約」可能であり、ここで、ｂsは、スロットｓに対するマージナル（ｍａｒｇｉｎａｌ）信念を示し、ｂtopsは状態ｓに対する上位信念である。次いで、その後のステップＳ２０６において、値情報はポリシーモデルに入力されない。任意選択で、１つのスロットを持つ（または、スロットを持たない）要約アクションのみが使用されてもよい。
【００８６】
この抽象化の後、要約アクションは、（１つまたは複数のスロットｓに応じてそれらのアクションに関する）ａsとして定義可能であり、これは、アクション関数ａと、１つまたは複数のスロット（値を持たない）と、ａ（引数を持たない、またはその引数として共同仮説をとらない、すなわち、特定のスロットに関連しないアクションに関する）とを備える。関連すると識別されなかった任意のスロットに応じた要約アクションａs（１つまたは複数のスロットｓに応じたアクション）は、Ｓ２０４において生成されるサブドメイン内に含まれない。
【００８７】
上記でフルアクションの場合について説明されたように、記憶された情報のセットは、関連する要約アクションのリストを備えてよく、またはアクション関数は、関連する入力（１つまたは複数のカテゴリ）とは別として記憶されてもよい。後者の場合、要約アクションは、次いで、その後のステップＳ２０６においてポリシーモデルに入力される前、この情報から形成される。
【００８８】
フルシステムアクションは、最初に形成され、次いで要約されてよく、または要約アクション情報は、Ｓ２０４において直接的に定義されてもよい。この場合、Ｓ２０３において識別されるアクション関数およびスロットは、Ｓ２０４において定義される情報のセット内に含まれる。Ｓ２０３において関連すると識別されないスロットは除外される。値は含まれない。上記のように、記憶された情報のセットは、関連する要約アクションのリストを備えてよく、またはアクション関数は、関連する入力（カテゴリ）とは別個に記憶されてよく、その場合、要約アクションは、次いで、その後のステップＳ２０６においてポリシーモデルに入力される前に、この情報から形成される。
【００８９】
Ｓ２０５では、減少されたシステム状態が生成される。減少されたシステム状態は、Ｓ２０３において識別された関連カテゴリの各々に対する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える。減少されたシステム状態は、Ｓ２０３において関連すると識別されなかったカテゴリに関連付けられた確率値を備えない。したがって、システム状態は、より少ないカテゴリを備えることがある、すなわち、対話ターンに関連するカテゴリのみが含まれるので、システム状態は減少される。任意選択で、減少されたシステム状態は、各カテゴリのみに関する最高確率値に対応する可能な値を備える。減少されるシステム状態は、関連すると識別されなかったカテゴリのいずれかに関する複数の可能な値のいずれかに関連付けられた確率値を備えない。
【００９０】
共同信念は、すべての対応するスロットがＳ２０３において関連すると選択されている場合、減少された信念状態内に含まれ得る。
【００９１】
Ｓ２０６では、アクションが、Ｓ２０５において生成された減少されたシステム状態とＳ２０４において定義された情報のセットとをポリシーモデルに入力することによって、決定される。情報のセットは、アクション関数および入力から形成されるアクションを備える。入力は、たとえば、ヌルであってもよいし、Ｓ２０３において関連すると識別されたカテゴリであってもよい。入力システム状態は関連するカテゴリのみを備え、サブドメイン内のアクションのみが考慮されるので、ポリシー動作は効率的である。システムは、単一のマルチドメイン対話ポリシーモデルを使用してもよい。
【００９２】
ポリシーモデルは、入力システム状態および記憶されたサブドメインオントロジー情報に基づいてアクションを出力するために実施の前に学習され、記憶されたオントロジー情報はアクションのリストを備える。ポリシーは、アクションが行われ得る確率分布を定義することによって、これを行うことがある。ＰＯＭＤＰシステムでは、要約信念状態は、スロット−値ペアとして表される。対話ポリシーモデルは、最大予想報酬を有するアクションが次いで実施中に各対話ターンにおいて選択されるように、信念状態Ｂにおいて実行されるシステムアクションａに対する予想長期報酬を推定することによって、実施の前に最適化される。ポリシーモデルの学習は、後で説明される。
【００９３】
ポリシーは通信関数レベルで動作し、入力信念状態Ｂに関して対話成功に導くために最高確率を有するスロットとアクションの組み合わせ（ともに要約アクションを定義する）を返す。ポリシーモデルは、前回のユーザ入力またはシステムアクションにおいて言及されたスロットを調べ、そこから、どのスロットに焦点が合っている（in focus）かを決定する規則、たとえば「焦点の合ったスロット」規則を適用し得る。たとえば、システムが「安いレストランが必要ですか？」と言い、ユーザが「はい」と答えた場合、焦点の合ったスロット規則は、「はい」がどのスロットを指すかを決定する方策を提供する。
【００９４】
要約アクションが使用されるとき、ポリシーモデルは、Ｓ２０６において要約アクションを選択し、これは、次いで、現在の信念状態（と、場合によってはドメインオントロジーと）を調べることによって、フルシステムアクション空間にマップ可能である。フルシステムアクションは、ここで、含まれる値、たとえば上記で説明されたｃｏｍｍＦｕｎｃｔｉｏｎ（スロット１＝値１；……；スロットＮ＝値Ｎ）を有するアクションを指すために使用される。言い換えれば、信念内のそれぞれの上位仮説を対応するスロットに置き換えることによって、要約アクションをフルアクションに一意にマップすることができる。したがって、要約アクション「ｃｏｎｆｉｒｍ（ａｒｅａ）」がポリシーモデルから出力される場合、これは、スロット「ａｒｅａ」に関する上位信念をアクションに入力することによってフルアクションに変換され、「ｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ）」を与える。
【００９５】
Ｓ２０６では、決定されたアクションによって指定される情報は、出力部において出力される。これは、たとえば、テキスト信号であってもよいし、テキスト信号から生成された音声信号であってもよい。
【００９６】
図３は、サブドメイン作成ステップをより詳細に示す。Ｓ３０１では、信念状態追跡が実行される。これは、システム状態更新の一例であり、上記で説明されたＳ２０２に対応する。Ｓ３０２では、現在および過去の信念状態が抽出され、これらはＳ３０３において識別子モデルに入力される。モデルは、関連するスロットを識別し、これらをＳ３０４において出力する。ステップＳ３０２からＳ３０３は、上記で説明されたＳ２０３に相当する。次いで、Ｓ３０５において、関連するスロットが、記憶されたオントロジー（複数のあらかじめ定義されたドメインからのスロットと、アクション関数とを備える）からサブドメインを生成するために使用される。これは、図２ではＳ２０４に相当する。情報のセットは、記憶された情報を使用して定義され、情報のセットは、アクション関数と、関連するカテゴリとを備える。これは、Ｓ３０５において、新しいサブドメインとして出力される。このプロセスは、対話ターンごとに、すなわちユーザの発話の後に、繰り返される。
【００９７】
したがって、あらゆる対話ターンにおいて、スロット識別子モデルは、複数のあらかじめ定義されたドメインにわたる一意の特徴を備える信念状態を入力として受け取る。特徴は、たとえば、スロットのための値の分布（たとえば、ｐｒｉｃｅ：［ｅｍｐｔｙ：０．１５，ｃｈｅａｐ：０．３５，ｍｏｄｅｒａｔｅ：０．１，ｅｘｐｅｎｓｉｖｅ：０．４］）とすることができる。簡略化するために、スロットごとの上位信念（たとえば、ｐｒｉｃｅ：［ｅｘｐｅｎｓｉｖｅ：０．４］）のみがとられてもよい。
【００９８】
スロット識別子の出力は、現在の対話ターンに関連するスロットのセットである。これらのスロットは、実行時にサブドメインを作成し、それを現在の対話ターンに使用するために使用される。
【００９９】
任意選択で、識別子モデルはディープニューラルネットワーク（ＤＮＮ）である。学習中に、ＤＮＮは、入力信念状態を関連するスロットにマップすることを学習する。代替として、異なるように学習された他の分類器／モデルが使用可能である。識別子の学習は、以下でさらに詳細に説明される。
【０１００】
任意選択で、実施中に、統計学的識別子モデルは学習せず（すなわち、統計学的識別子モデルは、その内部重みを更新しない）、信念状態を関連するスロットにマップするのみである。次いで、これらのスロットは、現在の対話ターンに対する新しいサブドメインを生成するために使用される。代替として、識別子モデルは、実施中に引き続き更新してもよい。
【０１０１】
図４は、例示的なシステムアーキテクチャの概略図を示す。図４に示されるシステムでは、使用されるポリシーモデルはドメインに依存しないポリシーモデルであり、減少された信念状態およびオントロジー情報のセットは、ポリシーモデルに入力される前にパラメータ化される。ポリシーモデルはドメインに依存せず、したがって、たとえば、あらかじめ定義されたドメインのうちの１つとともに学習され得るが、システム内のあらかじめ定義されたドメインのすべてから形成されたサブドメインとともに使用され得る。そのようなポリシーモデルの代替として、あらかじめ定義されたドメインのすべてに対して学習された大規模なポリシーモデルが使用されてもよい。
【０１０２】
ブロック４０１では、音声言語ユニット（ＳＬＵ）が、入力音声発話をテキストに変換するために使用される。このステップにおいて、言語理解仮説のｎ−ｂｅｓｔリストが生成され得る。
【０１０３】
これは、次いで、Ｓ４０２において複数の信念追跡部に入力される。各信念追跡部は、あらかじめ定義されたドメインＤnに対応し、ここで、ｎは１からＮになる。各信念追跡部から出力された信念状態は、次いで、Ｎ個のあらかじめ定義されたドメインすべてに対応する単一の信念状態を与えるために組み合わされる。この段階は、図２ではステップＳ２０２に相当する。
【０１０４】
信念状態は、サブドメイン作成部４０３に入力される。信念状態情報のすべてが使用され得るとは限らず、たとえば、スロットごとの最高確率に対応する値のみが入力され得る。サブドメイン作成部４０３は、関連するスロットを識別する統計学的識別子モデルを備える。サブドメイン作成部４０３は、次いで、これらの関連するスロットに適用可能なアクション情報を定義する。これは、図２ではＳ２０３およびＳ２０４に相当する。この情報は、図４では「現在のドメイン」と示される。「現在のドメイン」情報は、複数のあらかじめ定義されたドメインに関するグローバルオントロジー情報を使用して定義され、現在のサブドメインに関する情報である。
【０１０５】
次いで、サブドメイン作成部４０３内の統計モデルによって関連すると識別されたスロットを備える減少された信念状態が生成される。これは、図２ではＳ２０５に相当する。
【０１０６】
減少されたシステム状態は、ポリシーモデルに入力される前に、ドメインに依存しないパラメータ化（ＤＩＰ：domain independent parameterisation）モジュール４０４によってパラメータ化される。オントロジー情報の選択されたセットも、ＤＩＰモジュール４０４によってパラメータ化される。
【０１０７】
ＤＩＰは、以下でさらに詳細に説明される。この場合、ポリシーモデルは、パラメータ化されたシステム状態入力およびパラメータ化されたオントロジーとともに動作するように構成される。
【０１０８】
ＤＩＰが使用されるとき、Ｓ２０５は、オントロジーに依存しないパラメータに関する減少されたシステム状態をパラメータ化することをさらに備え、Ｓ２０４は、オントロジーに依存しないパラメータに関する情報のセットをパラメータ化することをさらに備える。オントロジーに依存しないパラメータによって、任意のあらかじめ定義されたドメインに関するいかなる情報にも依存しないパラメータが意味される。これらは、たとえば、ユーザが挨拶をしたかどうか、または項目がユーザに提供されたか（一般に、ドメインに関係ない）についての情報であってもよい。ドメインに依存しないパラメータのさらなる例が、以下で説明される。減少されたシステム状態と記憶された情報の定義されたセットの両方が、各対話ターンにおいてパラメータ化され得る。パラメータ化は、減少された信念状態およびオントロジー情報のサブドメインが生成されると、それらは、次いで、１つまたは複数の記憶された会話関数を使用してドメインに依存しないパラメータに変換されるように、それらの関数に従って実行される。
【０１０９】
任意選択で、パラメータ値のうちの１つまたは複数はメモリ内に記憶され、したがって、オントロジー情報および信念状態情報に関するパラメータ値のうちのいくつかは、対話ターンごとに生成される必要はない。たとえば、特定のスロット値に合致するデータベース内の項目の数などの、対話の進捗とともに変化しない情報（たとえば、高いレストランがいくつあるか）は、特定のスロットに関連付けられて記憶されてもよい。
【０１１０】
システム状態をパラメータ化することは、パラメータに関して各スロットを定義することを備え、これは、スロットをオントロジーに依存しないパラメータに変換することと、オントロジーに依存しないパラメータに関するスロットを表すこととを含み得る。このステップでは、信念状態における特定のスロットに対するパラメータのための適切な値が決定され、これは、ポリシーモデルに対して、入力として使用されてもよいし、入力の一部として使用されてもよい。信念状態−アクション空間は、いかなるドメイン情報にも依存しない特徴空間にマップされる。したがって、信念状態の代わりに、ポリシーは、単一の、または複数の、オントロジーに依存しないパラメータを受け取り、これとともに動作するように構成される。
【０１１１】
Ｓ２０４において定義されたオントロジー情報のセットをパラメータ化することは、パラメータに関して各スロットを定義することも備え、これは、スロットをオントロジーに依存しないパラメータに変換することと、オントロジーに依存しないパラメータに関するスロットを表すこととを含み得る。
【０１１２】
使用されるポリシーモデルは、ドメインに依存しない。したがって、ポリシーは、異なるオントロジーを有する複数の異なるドメインとともに、特に入力発話ごとに生成される各新しいサブドメインとともに効果的に機能することが可能である。状態パラメータ化部４０４が、ドメイン作成部とポリシーモデルとの間で動作する。状態パラメータ化部４０４は、ポリシーモデルに関する入力として使用可能である、またはそれによって操作可能であるように、オントロジーに依存しないパラメータに関する、Ｓ２０５において生成される減少されたシステム状態を定義する。オントロジーパラメータ化部も、ドメイン作成部とドメインに依存しないポリシーモデルとの間で効果的に動作する。オントロジーパラメータ化部は、オントロジーに依存しないパラメータに関するスロットを定義することによって、オントロジーに依存しないパラメータに関するＳ２０４において定義されるアクション情報を備える情報のセットを定義する。オントロジーに依存しないパラメータの定義およびパラメータに関するスロットを定義するための関数は、システム内に記憶され得る。
【０１１３】
パラメータ化部４０４が、ポリシー４０５に入力される前にサブドメインオントロジーのスロットをドメインに依存しないパラメータに効果的に翻訳し、システム状態のスロットをドメインに依存しないパラメータに翻訳するので、ポリシーはもはや、ドメイン依存する必要はない。ポリシー４０５は、オントロジー固有スロットではなく、ドメインに依存しないパラメータを入力として使用するので、ポリシー４０５は、ドメインに依存しない。これは、同じポリシー４０５が複数の異なるオントロジーとともに使用可能であることを意味する。したがって、ポリシーは、特に単一のあらかじめ定義されたドメインオントロジーに関して最適化される必要はない。言い換えれば、第１のオントロジーに関して最適化されたポリシーは、特に第２のオントロジーに対してポリシーを最適化しなければならないのではなく、第２のオントロジーとともに使用可能である。
【０１１４】
次に、スロットをパラメータに変換するために使用されるパラメータおよび関数が説明される。
【０１１５】
一般に、オントロジーに依存しないパラメータは数値パラメータであり得る。パラメータは、数、ベクトル、または分布であってもよい。オントロジーに依存しないパラメータは、特定のオントロジーに依存しないパラメータを表す、級数、数列、または数の行列であってもよい。オントロジーに依存しないパラメータは、定義または式を備えてもよい。パラメータが、エンティティによって決定されると言われる場合、そのエンティティは、パラメータ化されたポリシーに入力として入力するためのパラメータ−量を決定するために、オペランドとして使用されてもよい。パラメータがエンティティによって決定されると言われる場合、そのエンティティは、パラメータを決定するうえでの唯一のオペランドまたは影響因子でないことがあることが理解されるべきである。したがって、「によって決定される」は、によってもっぱら決定されることを必ずしも意味するとは限らない。パラメータがエンティティによって決定されると言われる場合、そのパラメータは、エンティティに依存してもよいし、これに比例してもよいし、これに反比例してもよいし、これに関連してもよい。
【０１１６】
パラメータに関して定義されるスロットまたは信念状態は、パラメータ−量または複数のパラメータ−量を備え得る。たとえば、パラメータは、スロットがとることができる可能な値の数すなわちＭによって決定されてもよい。パラメータは、Ｍをオペランドとして使用する式であってもよい。スロットに適用されるとき、Ｍは、値を生じさせるために使用される。この値はパラメータ−量であってよく、パラメータ−量は、数、ベクトル、または分布であってもよい。パラメータ化されたポリシーは、その入力としてパラメータ−量とともに動作するように構成され得る。
【０１１７】
オントロジーに依存しないパラメータは、オントロジーに依存しない空間を介して、１つのオントロジーのスロットが異なるオントロジーのスロットと効果的に比較されることを可能にするように定義され得る。オントロジーに依存しないパラメータは、複数の異なるオントロジーに属する複数の異なるスロットに関して測定、計算、決定、または推定可能であるスロットの性質であってもよい。
【０１１８】
オントロジーに依存しないパラメータとともに動作するように構成されたポリシーは、それとともに機能しているオントロジーに固有でないまたは依存しない入力に基づいてＳＤＳの挙動を定義することを可能にし得る。パラメータ化されたポリシーは、パラメータに対して動作するように構成されたポリシーであってもよい。パラメータ化されたポリシーは、パラメータに関して定義されるスロットおよび／または信念状態の表現を入力として受け取るように構成され得る。したがって、特定のパラメータ値は、あるパラメータまたは各パラメータに対して（および、任意選択で、各スロットに対して）決定され得、パラメータ化されたポリシーは、これらの特定のパラメータ値とともに動作するように構成され得る。
【０１１９】
パラメータ化されたポリシーは、入力としてオントロジーに依存しないパラメータとともに動作するように構成されるが、パラメータ化されたポリシーは、入力として複数のパラメータとともに動作するように構成されてもよいことが理解されるべきである。オントロジーまたは信念状態のスロットはそれぞれ、複数のオントロジーに依存しないパラメータに関して定義され得る。
【０１２０】
そのようなパラメータを使用することによって、固定サイズのドメインに依存しない空間と、この空間に対して学習されたポリシーは、任意のドメインに、特に入力発話ごとに生成されたサブドメインに使用可能である。したがって、システムは、対話中に各ターンにおいて生成される各サブドメインに対して、同じ単一ポリシーを使用する。ポリシーモデルは、一般的な情報探索問題を効果的に解決する。これは、たとえば、「ｉｎｆｏｒｍ（ｆｏｏｄ）」というアクションを起こす代わりに、ポリシーモデルが、最大信念とＸよりも大きい重要性とを有するスロット」（ここで、重要性は後で説明され、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの尺度である）に対して「ｉｎｆｏｒｍ（ｓｌｏｔ）というタイプのアクションをとり、出力することを意味する。システムは、各サブドメインに対するそれぞれのオントロジーを利用できるので、システムは、ドメインに依存しない空間からのその出力されたアクションを各ドメイン固有空間に戻してマップすることができる。
【０１２１】
パラメータは、情報探索対話におけるスロットの一般的な特性であってよく、たとえば、
−  スロットが値を有するときの検索結果に対する潜在的な影響（たとえば、データベースＤＢ内に、３３％の安価なレストラン、３３％の適度な価格のレストラン、および３３％の高価なレストランがあり、「ｐｒｉｃｅ」というスロットが特定の値（たとえば、安価）を有する場合、効果的に、関連する項目の数が２／３減少される。他の値、たとえば所在地または食物タイプは、より少ない弁別力を有してもよい。これは、たとえば、どのスロットの値が対話においてより早く要求するべきかに影響を与え得る。）
−  重要性：エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの尺度。処理部は、この重要性を決定するように構成されてもよい。または、それは、学習の間にユーザによって定義され、学習されてもよく、連続的であってもよいし、２値（任意選択または必須）であってもよい。
−  優先順位：検索結果に対するユーザの知覚した潜在的な影響の尺度。処理部は、この優先順位を決定するように構成されてもよい。または、それは、学習の間にユーザによって定義され、学習されてよく、連続的であってもよいし、２値であってもよい。
−  記述的特性（たとえば、許容可能な値の数、データベース（ＤＢ）内のそれらの値の分布）
−  対話について説明する特徴（たとえば、前回のユーザアクト）
のうちの１つまたは複数であってもよい。
【０１２２】
たとえば、オントロジーに依存しないパラメータは、スロットがユーザによって要求または参照される、対話内の可能性のある位置によって決定されてもよい。オントロジーに依存しないパラメータは、それぞれのスロットに対する値分布のエントロピーに比例してもよいし、これに反比例してもよい。それぞれのスロットに対する値分布のエントロピーは、オントロジーに依存しないパラメータを決定するために、複数のエントロピー範囲ビンのうちの１つに割り当てられてもよい。オントロジーに依存しないパラメータは、各スロットが、基礎タスクを完了することにどのようにして関連するかによって決定されてもよいし、これに関連してもよい。オントロジーに依存しないパラメータが決定されるデータは、選択された場合に閾値数に等しいまたはこれを下回る結果の数をもたらすであろうスロットに関する値の割合であってもよい。
【０１２３】
オントロジーに依存しないパラメータのいくつかのさらなるより具体例が以下で説明され、Ｖsは、スロットｓがとることができる値のセットを示し、｜Ｖs｜はＶsのサイズである。ｈ＝（ｓ1＝ｖ1∧ｓ2＝ｖ2…ｓn＝ｖn）は、スロット−値ペアのセットからなるユーザ目標仮説である。ＤＢ（ｈ）は、ｈを満たす記憶されたデータベース（ＤＢ）内の候補のセットを示す。データベースＤＢは、項目（レストランなど）を備える。これらは候補である。候補は、たとえば、名前、住所、食物タイプ、電話番号などを有するインドレストランであってもよい。したがって、ＤＢは、列がスロットを表し、行が特定のスロット値を有する特定の項目である、データベースである。さらに、
【０１２４】
【数１１】
2018132754.tif 000013
は、ｘよりも小さいおよびこれに等しい最大の整数と定義される。
【０１２５】
以下の量のうちの１つまたは複数は、パラメータ化に使用可能である。
・値の数
○たとえば、連続的パラメータ１／｜Ｖs｜（ここで、正規化された量が、数値安定性の目的で、すべてのパラメータに類似の値範囲を持たせるために使用されてもよい）
○たとえば、｜Ｖs｜＝８であるスロットが、次のパラメータ：［０，０，１，０，０，０］が割り振られるように、ｍｉｎ｛ｉｎｔ［ｌｏｇ2（｜Ｖs｜）］，６｝に従って６つの２値ビンのうちの１つを割り振る、たとえば、
【０１２６】
【数１２】
2018132754.tif 000014
によって示される、｜Ｖs｜をＮ個のビンにマップする離散的パラメータ。ここで、「ｉｎｔ」は、最も近い整数を発見する関数を指す。これは、カテゴリ／ビンがとることができる値の数により、スロットをカテゴリ／ビンにグループ化する。
・重要性。たとえば、２つのパラメータがそれぞれ、対話においてスロットが生じる可能性がどのくらいであるか、生じない可能性がどのくらいであるかについて説明する
○たとえば、タスクを完了するまたはユーザの基準を十分に満たすためにスロットが満たされなければならないかどうかの２値標識（０＝いいえ、１＝はい）
○たとえば、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの連続的尺度。ここで、処理部は、この重要性を決定するように構成されてもよい。
・優先順位
○たとえば、スロットが、たとえば、｛［１，０，０］，［０，１，０］，［０，０，１］｝にマップされる｛１，２，３｝のスケールとして対話内で扱われるべき第１の属性、第２の属性、およびこれらより後の属性である可能性がどれくらいかをそれぞれ示す３つのパラメータ
○たとえば、検索結果に対するユーザの知覚した潜在的な影響の連続的尺度。ここで処理部は、この優先順位を決定するように構成されてもよい。
・ＤＢ内の値分布
○たとえば、ＤＢ（ｓ＝ｖ）が、属性ｓ＝ｖを有するデータベース内のエンティティのセットを示し、｜ＤＢ（ｓ＝ｖ）｜と｜ＤＢ｜がそれぞれ、上記のセットのサイズとデータベースのサイズとを示す場合、値分布は、離散分布（正規化されたヒストグラム）を生じさせるためにスロットｓの各可能な値ｖに対して｜ＤＢ（ｓ＝ｖ）｜／｜ＤＢ｜を計算することによって計算されてよく、次いで、エントロピーは、この正規化されたヒストグラムに対して算出されてもよい。
・たとえば、現在の上位ユーザ目標仮説ｈ＊とあらかじめ定義された閾値τを考えての、ＤＢ検索に対する潜在的な貢献
○充填ｓが、合致するＤＢ結果の数をτよりも下に減少させる可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，｜ＤＢ（ｈ＊∧ｓ＝ｖ）｜≦τ｝｜／｜Ｖs｜（スロットの値が、データベース内で取得された結果において、閾値数よりも下になる割合）
○充填ｓが、合致するＤＢレコードの数をτよりも下に減少させない可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，｜ＤＢ（ｈ＊∧ｓ＝ｖ）｜＞τ｝｜／｜Ｖs｜（スロットの値が、データベース内で取得された結果において、閾値数よりも上になる割合）
○充填（ｆｉｌｌｉｎｇ）ｓが、合致するレコードがＤＢ内で発見されないという結果をもたらす可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，ＤＢ（ｈ＊∧ｓ＝ｖ）＝φ｝｜／｜Ｖs｜（スロットの値が、取得された結果において、データベース内でユーザの基準を満たす結果がないという結果を招く割合）
言い換えれば、システムが、それらのスロットに対する制約をまだ観測していないことを信じるとき、このパラメータは、信念における現在の上位仮説がヌルであるスロットに対して非ゼロであるにすぎないことに留意されたい。
【０１２７】
ポリシーは、各スロットまたは信念状態に対して複数のオントロジーに依存しないパラメータを受け取るように構成されてもよい。したがって、スロットまたは信念状態は、複数のオントロジーに依存しないパラメータに関して定義され得る。スロットまたは信念状態は、５、１０、または１１以上のオントロジーに依存しないパラメータに関して定義されてもよい。スロットまたは信念状態は、上記のオントロジーに依存しないパラメータのすべてに関して定義されてもよい。
【０１２８】
サブドメインオントロジーのスロットを定義するためのオントロジーに依存しないパラメータの第１のセット、すなわちＳ２０４において定義された情報のセットと、減少されたシステム状態を定義するためのオントロジーに依存しないパラメータの第２のセットがあり得る。第１のセットは、第２のセットと異なってもよいし、同じであってもよい。第１のセットと第２のセットは、相互に排他的であってもよい。
【０１２９】
特に、減少されたシステム状態のパラメータ化は、以下でより詳細に説明される関数Ψ（ｂ，ｓ）によって説明され得る。
【０１３０】
システム状態を定義するためのオントロジーに依存しないパラメータは、システム状態における最大確率（すなわち、上位仮説に対応する確率）によって決定され得る。システム状態を定義するためのオントロジーに依存しないパラメータは、分布のエントロピーによって決定され得る。システム状態を定義するためのオントロジーに依存しないパラメータは、上位２つの仮説間の確率差によって決定され得る（例示的な実装形態では、この値は、間隔サイズ０．２を有する５つのビンに離散化され得る）。システム状態を定義するためのオントロジーに依存しないパラメータは、非ゼロの率、たとえば、非ゼロの確率を有するシステム状態内の要素の割合によって決定され得る。
【０１３１】
ＰＯＭＤＰベースのシステムにおいて信念状態をパラメータ化する具体的な例が、以下で説明される。
【０１３２】
信念状態は一般に、ドメインに依存し、すなわち、Ｓ２０５において生成される信念状態は、サブドメインの各関連するスロットに対するマージナル（すなわち、スロットごとの（ｓｌｏｔ−ｗｉｓｅ））信念を備える（この信念状態は、他のドメインに依存しない情報、たとえば対話履歴も備えてもよい）。以前に説明されたように、フル信念状態ｂは、対話履歴、通信方法などのドメインに依存しない要因に関するものである３つの部分、すなわち、共同信念ｂjoint、スロットごとの信念のセット｛ｂs｝、および他の信念ｂoにおいて表され得る。各ｂは、ここでは、離散分布（非負の正規化されたベクトル）である。さらに、各々はスロットがユーザによって要求されている確率を示す（たとえば、ユーザ「このラップトップはいくらか？」の場合、「価格」というスロットが要求されている）（一次元の）値のセットがあり得る。ｂｒsは、スロットｓが要求されていることに関する信念確率を示す。
【０１３３】
ｂoは、ドメインに依存せず、したがって、このステップではパラメータ化されない。
【０１３４】
離散分布
【０１３５】
【数１３】
2018132754.tif 000015
を仮定すると、その次元に関係なく、少数の一般的なオントロジーに依存しないパラメータは、それを定義するために使用可能である。これらのパラメータは、任意の離散分布に適用可能である。以下は、例示的なパラメータである。
（１）
【０１３６】
【数１４】
2018132754.tif 000016
における最大確率（すなわち、上位仮説に対応する確率）
（２）  分布のエントロピー
（３）  上位２つの仮説間の確率差（一実装形態では、この値は、間隔サイズ０．２を有する５つのビンに離散化された）
（４）  非ゼロ率：非ゼロ確率を有する、
【０１３７】
【数１５】
2018132754.tif 000017
における要素の割合
システム状態パラメータ化ステップは、上記のパラメータ化のリスト（１）から（４）のうちの１つまたは複数をｂjointに適用し、共同信念に対するドメインに依存しないパラメータベクトルを提供する。
【０１３８】
他のドメインに依存した構成要素は、ｂs（およびｂｒs）である。アクションａを実行するべきかどうかを決定するとき、システムは、他のスロットの場合はどうかに関係なく、グローバルパラメータ（共同信念パラメータおよび上記の他のパラメータ）とともに、ａが依存するスロットｓ（ｓは、ａから一意に導出可能である）を考慮しさえすればよい場合、あらゆるａは、その一意的に対応するｂs（およびｂｒs）に対する依存のみを有する。次いで、上記のパラメータ化（１）から（４）のうちの１つまたは複数は、ｂsに適用可能である（ｂｒsは、その数がパラメータ化されなくても単に追加パラメータとして使用可能であるような、単なる数である）。
【０１３９】
次いで、取得されるパラメータは、全体的な信念状態パラメータ化がオントロジーに依存しないように、共同信念パラメータおよび「他の」パラメータに連結可能である。信念状態パラメータ化部は、信念状態のパラメータ定義を提供するために、上記のステップを行う。これは、ポリシー４０５に対する入力として使用可能である。信念状態のこのパラメータ定義は、対話状態追跡部が信念状態を更新するたびに更新される。しかしながら、パラメータのうちのいくつかは記憶されてもよい。
【０１４０】
含まれ得る「他の」パラメータとしては、
（１）  ４つの通信方法すなわち「ｂｙｃｏｎｓｔｒａｉｎｔ」、「ｂｙｎａｍｅ」、「ｂｙａｌｔｅｒｎａｔｉｖｅｓ」、「ｆｉｎｉｓｈｅｄ」に対する信念確率、および
（２）  現在のターンにおいて観測されるユーザ通信関数に対するマージされた確信度スコア
のうちの１つまたは複数があり得る。
【０１４１】
たとえば、通知可能スロットｓごとに、ψ（ｂ，ｓ）は、上位マージナル仮説の確率
【０１４２】
【数１６】
2018132754.tif 000018
と、ｂsのエントロピーと、上位２つのマージナル仮説間の確率差（間隔サイズ０．２を有して５つのビンに離散化された）と、非ゼロ率（｜｛ｖ：ｖ∈Ｖs，ｂs（ｖ）＞０｝｜／｜Ｖs｜）とを抽出する。さらに、スロットが要求可能である場合、それがユーザによって要求されている確率は、臨時パラメータとして使用される。類似のパラメータ化手順（「要求される」確率を除く）は、共同信念にも適用され、取得されるパラメータは、すべての通信関数に使用される。基礎タスク（ＤＢ検索）の性質を得るために、２つの追加パラメータ、すなわち、インジケータ
【０１４３】
【数１７】
2018132754.tif 000019
と、前者が偽である場合は実数値パラメータ
【０１４４】
【数１８】
2018132754.tif 000020
が共同信念に対して定義される。ここで、τは、上記で紹介されたようにスロットパラメータ化に使用される同じあらかじめ定義された閾値である。関数ψ（ｂ，ｓ）、学習および実施中にシステム状態をパラメータ化するために使用される。
【０１４５】
任意選択で、信念の異なる態様が異なるタイプのアクションにとって重要である場合があるので、アクション関数によって異なるψ関数が存在することがある。たとえば、入力信念状態は、各々が異なるアクション関数に対応する複数の異なるパラメータ化関数を使用してパラメータ化されてもよい。以下で説明されるように、特定のアクション関数を備えるアクションごとのＱ値は、アクションに対応するパラメータ化関数を用いてパラメータ化された信念状態に対して生成される。次いで、最高Ｑ値に対応するアクションが選択される。通信方法に対する信念と現在のターンにおけるユーザ対話アクトタイプ（通信関数）のマージナル確信度スコアとを含む、すべてのアクションタイプに適用される、いくつかのスロットに依存しないパラメータもある。
【０１４６】
任意選択で、パラメータのうちのいくつかはフル確率分布に関連することがあるので、パラメータ化は、フル信念状態に対して実行される。
【０１４７】
信念要約部において用いられる方法とは異なり、信念パラメータ化部は、オントロジーに依存しないパラメータに関する信念状態を定義する。しかしながら、信念パラメータ化部はまた、フル信念状態を低次元形式に変換し、したがって、フル信念状態からの次元の数を減少させ得る。信念パラメータ化部の出力は、オントロジーおよびドメインに依存しない。次いで、オントロジーに依存しないパラメータに関して定義される信念状態は、ポリシー４０５のための入力として使用可能である。
【０１４８】
オントロジーパラメータ化部は、ドメインに依存しないパラメータに関する、Ｓ２０４において識別されるサブドメインオントロジーのスロットを定義する。これは、システム状態の変換とは別に行われてもよい。これらのドメインに依存しないパラメータはオントロジーに固有ではなく、そのため、複数のオントロジーとともに、したがってサブドメインとともに使用可能である。オントロジー情報は、対話中の各ターンにおいてパラメータ化されてもよいし、または代替として、パラメータのいくつかもしくはすべてが記憶されてもよい。
【０１４９】
オントロジー情報は、アクションを備える。上記で説明されたように、ＳＤＳシステムにおけるアクションは、２つの部分、すなわち通信関数ａ（たとえば、ｉｎｆｏｒｍ、ｄｅｎｙ、ｃｏｎｆｉｒｍなど）と（任意選択で）スロット−値ペアｓ，ｖのリスト（たとえば、ｆｏｏｄ＝Ｃｈｉｎｅｓｅ、ｐｒｉｃｅｒａｎｇｅ＝ｅｘｐｅｎｓｉｖｅなど）を備えてもよい。要約アクションは、上記で説明されており、単に、マスタアクションａを形成する意味論的表現であり、いくつかのあらかじめ定義された規則に基づいてマスタアクションにマップ可能である。
【０１５０】
したがって、マスタアクションａはａsと書き直されてよく、ここで、ｓは、要約されたときａが依存するスロットを示す。ここで、ｓは、ａから完全に導出され、ヌルであってもよい（ａの要約アクションがまさしくａであるとき）。一般性を失うことなく、アクション関数ａはドメインに依存しないと仮定することができる。スロットｓは、ドメイン固有であり（オントロジーによって定義される）、したがって、要約アクションａsはドメインに依存する。
【０１５１】
各要約アクションａsは、
【０１５２】
【数１９】
2018132754.tif 000021
として、ドメインで一般的な方策においてパラメータ化可能である。
【０１５３】
記憶されたオントロジースロットをパラメータ化するための例示的な関数
【０１５４】
【数２０】
2018132754.tif 000022
が、以下で説明される。信念状態に関して、異なる関数
【０１５５】
【数２１】
2018132754.tif 000023
が、各アクション関数ａに使用されてもよい。
【０１５６】
オントロジーに依存しない多数のパラメータが、オントロジーのスロットを定義するために使用可能であり、そのうちの以下が例である。
・値の数
○たとえば、連続的パラメータ１／｜Ｖs｜（ここで、正規化された量が、数値安定性の目的で、すべてのパラメータに類似の値範囲を持たせるために使用されてもよい）。
【０１５７】
○たとえば、｜Ｖs｜＝８であるスロットが、次のパラメータ：［０，０，１，０，０，０］が割り振られるように、ｍｉｎ｛ｉｎｔ［ｌｏｇ2（｜Ｖs｜）］，６｝に従って６つの２値ビンのうちの１つを割り振る、たとえば、
【０１５８】
【数２２】
2018132754.tif 000024
によって示される、｜Ｖs｜をＮ個のビンにマップする離散的パラメータ。
・重要性。たとえば、２つのパラメータがそれぞれ、対話においてスロットが生じる可能性がどのくらいであるか、生じない可能性がどのくらいであるかについて説明する。
【０１５９】
○たとえば、タスクを完了するまたはユーザの基準を十分に満たすためにスロットが満たされなければならないかどうかの２値標識（０＝いいえ、１＝はい）。
【０１６０】
○たとえば、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの連続的尺度。ここで、処理部は、この重要性を決定するように構成されてもよい。
・優先順位
○たとえば、スロットが、たとえば、｛［１，０，０］，［０，１，０］，［０，０，１］｝にマップされる｛１，２，３｝のスケールとして対話内で扱われるべき第１の属性、第２の属性、およびこれらより後の属性である可能性がどれくらいかをそれぞれ示す３つのパラメータ
○たとえば、検索結果に対するユーザの知覚した潜在的な影響の連続的尺度。ここで処理部は、この優先順位を決定するように構成されてもよい。
・ＤＢ内の値分布
○たとえば、ＤＢ（ｓ＝ｖ）が、属性ｓ＝ｖを有するデータベース内のエンティティのセットを示し、｜ＤＢ（ｓ＝ｖ）｜と｜ＤＢ｜がそれぞれ、上記のセットのサイズとデータベースのサイズとを示す場合、値分布は、離散分布（正規化されたヒストグラム）を生じさせるためにスロットｓの各可能な値ｖに対して｜ＤＢ（ｓ＝ｖ）｜／｜ＤＢ｜を計算することによって計算されてよく、次いで、エントロピーは、この正規化されたヒストグラムに対して算出されてもよい。
・たとえば、現在の上位ユーザ目標仮説ｈ＊とあらかじめ定義された閾値τを考えての、ＤＢ検索に対する潜在的な貢献
○充填ｓが、合致するＤＢ結果の数をτよりも下に減少させる可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，｜ＤＢ（ｈ＊∧ｓ＝ｖ）｜≦τ｝｜／｜Ｖs｜（スロットの値が、データベース内で取得された結果において、閾値数よりも下になる割合）
○充填ｓが、合致するＤＢレコードの数をτよりも下に減少させない可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，｜ＤＢ（ｈ＊∧ｓ＝ｖ）｜＞τ｝｜／｜Ｖs｜（スロットの値が、データベース内で取得された結果において、閾値数よりも上になる割合）
○充填ｓが、合致するレコードがＤＢ内で発見されないという結果をもたらす可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖs，ＤＢ（ｈ＊∧ｓ＝ｖ）＝φ｝｜／｜Ｖs｜（スロットの値が、取得された結果において、データベース内でユーザの基準を満たす結果がないという結果を招く割合）
言い換えれば、システムが、それらのスロットに対する制約をまだ観測していないことを信じるとき、このパラメータは、信念における現在の上位仮説がヌルであるスロットに対して非ゼロであるにすぎないことに留意されたい。
【０１６１】
たとえば、上記のパラメータのうちの任意の１つまたは複数が使用されてもよいし、上記のパラメータのどれも使用されなくてもよい。
【０１６２】
たとえば、基礎タスクが、システムが適切な候補（たとえば、会場、製品など）を発見するためにデータベース（ＤＢ）検索を実行できるように、各スロットに対するユーザの制約を取得することである場合、スロットパラメータは、スロットが満たされている場合、検索結果を改良する（適切な候補の数を減少させる）ためのこのスロットの可能性について説明し得る。別の例では、タスクが、システムコマンド（たとえば、リマインダの設定またはルートの立案）を実行するために必要な情報と任意選択の情報とを収集することである場合、各スロットの値の数は無制限が可能であれば、スロットパラメータは、スロットが必須かそれとも任意選択かを示し得る。さらに、スロットは、対話中に人々に異なるように対処させるいくつかの特定の特性を有してもよい。たとえば、ラップトップを購入するとき、バッテリ定格よりも価格について最初に話す可能性が高い。したがって、各スロットの優先順位を示すパラメータも、自然な対話をもたらすために必要である。パラメータの例示的なリストは、上記で提供されている。
【０１６３】
オントロジー情報のサブドメインをパラメータ化するための方法は、以下の通りであってもよい。オントロジーに依存しないようにされることになるオントロジーのスロットは、オントロジーに依存しないパラメータに関して定義される。これは、問題のスロットに関する上記で列挙されたパラメータを計算することを備えてもよい。オントロジーに依存しないパラメータは、上記のリストによるものであってもよいし、他のオントロジーに依存しないパラメータであってもよい。このようにして、オントロジーのあらゆるスロットは、オントロジーに依存しないパラメータにおいて定義される。スロットのうちのいくつかは、上記のパラメータのリストにおいて説明されたように、値を計算することによって、オントロジーに依存しないパラメータに関して定義される。
【０１６４】
上記で説明された重要性パラメータおよび優先順位パラメータは、たとえば、ユーザによる学習中に２進値が手動で割り当てられてもよい。
【０１６５】
代替として、一方または両方は、たとえば、ドメイン内の人間対人間の例示的な対話（たとえば、ウィザードオブオズ手法による実験から収集された）から、自動的に推定されてもよい。重要性および優先順位の値は、学習段階中に学習可能であり、実施中に更新されてもよい。代替として、重要性および優先順位の値は、実施中に直接的に学習されてもよい。
【０１６６】
したがって、重要性および／または優先順位は、以下のように、サブドメインごとにオントロジー情報のスロットに対して決定されてもよい。
【０１６７】
対話中にユーザによって言及された（および値を有する）スロットごとに、達成された報酬と可能な最大報酬との比の累積的移動平均が、スロット重要性の推定値として決定される。したがって、カテゴリごとに、達成された性能インジケータと可能な最大性能インジケータとの比の累積的移動平均が、カテゴリ重要性の推定値として決定される。
【０１６８】
同じスロットの場合、スロット優先順位は、スロットがユーザによって言及されたときの対話エピソード中の相対位置（すなわち、ターン番号）の累積的移動平均を計算することによって決定される。
【０１６９】
実施中に値を学習または更新するとき、システムは、時間が進むにつれて潜在的な変化に適合することが可能である。
【０１７０】
具体的には、特徴は、次のように推定される。
【０１７１】
【数２３】
2018132754.tif 000025
ここで、ＩsおよびＰsはそれぞれ、スロットｓに関する重要性および優先順位の推定値、ｒtは対話ｔにおける報酬、Ｒmax＝ｍａｘ｛Ｒ（ｓ，ａ｝、Ｒmin＝ｍｉｎ｛Ｒ（ｓ，ａ）｝、ＮはＰまたはＩが更新された回数、ｐｏｓtsは対話ｔ中にスロットがユーザによって言及されたターン番号である。他の場所では、ｔは、対話中のターンを指すために使用されているが、上記の式では、ｔは、特定の対話を指すために使用される。上記の式におけるＮは、複数の対話にわたってスロットの重要性（または優先順位）が更新された合計回数を指す。Ｒ値は、手動で定義され得る報酬関数によって決定される。報酬関数は、ポリシーモデルを学習するために使用される報酬関数であってもよい。この関数は、対話ｔに対する報酬ｒtを提供する。ＲminおよびＲmaxは、関数Ｒが割り当てできる可能な最小値／最大値である。最大値および最小値は、報酬関数または人間による格付けを通じて決定可能である。たとえば、報酬関数は、１００の値を成功に割り当て得る。そのとき、これは最大値であり、０は最小値である。代替として、人間が、５が最大で０が最小であるように、スケール０〜５で対話を格付けすることを求められることがある。
【０１７２】
次いで、減少されたシステム状態および情報のセットは、ポリシーモデル４０５に入力され、ポリシーモデル４０５は、パラメータ化されたアクションを出力する。
【０１７３】
ＤＩＰベースのモデルが使用される場合、パラメータ化されたアクションが最初に、ドメインに依存するアクションに変換される。ポリシーモデルからの出力は、通信関数（たとえば「ｓｅｌｅｃｔ」）とスロット（たとえば、５つの値と高い重要性とを有するスロット）について説明する１つまたは複数のパラメータ値とを備えるアクションである。次いで、これは、パラメータ値を元のスロット（たとえばｒｅｓｔａｕｒａｎｔ）に変換することによって、ドメインに依存する要約アクションに変換される。次いで、要約アクションが、そのスロットに対応する値（たとえば、Ｊａｐａｎｅｓｅ）を追加することによって、フルアクションに変換される。要約アクションの場合、値は、現在の信念状態における最高確率を有する値である。フル要約アクション（たとえば「ｓｅｌｅｃｔ（ｒｅｓｔａｕｒａｎｔ＝Ｊａｐａｎｅｓｅ）」）は、次いで、出力を生じさせるために使用される。
【０１７４】
代替として、ポリシーモデルは、パラメータ化された入力をとってもよいが、ドメインに依存するアクションを出力してもよい。たとえば、ニューラルネットワークベースのポリシーモデルは、以下の様式で動作し得る。対話ターンごとに、適切なアクションを選択するために、ポリシーモデルは、パラメータ化された入力信念状態を仮定して、アクションにわたって反復する。この場合、オントロジー情報は、ポリシーモデルによってリアルタイムでパラメータ化され、オントロジー情報の入力されたセット内のアクションごとに、ポリシーモデルは、信念およびスロットを仮定してＤＩＰ特徴を計算し、Ｑ値の推定値を生成する。しかしながら、Ｑ値は、（パラメータではなく）ドメインに依存したアクションにマップされる。次いで、最高Ｑ値を有するアクション（アクション関数と入力（たとえばスロット）とを備える）が選択される。
【０１７５】
出力は、テキストの形式であってもよい。システムは、出力されることになる音声にテキストを変換する自然言語生成部（ＮＬＧ）４０６を備えてもよい。
【０１７６】
識別子モデルは、ＳＤＳへの現在の入力（たとえば、信念状態、履歴）を考えて、現在の対話ターンにおいてアクティブであるべきスロットのセットを出力するように構成される。これらは、次いで、サブドメインを定義するために使用される。図４に示されるシステムは、モデルによって生成された任意のサブドメインに対して動作可能な単一の対話ポリシーを学習するために、ＤＩＰを使用する。これによって、システムは、サブドメイン間で移動し、サブドメインにわたるすべての利用可能な知識を利用することができる。
【０１７７】
図５は、識別子モデルを学習する例示的な方法の流れ図を示す。この方法では、状態追跡部モデル、識別子モデル、およびポリシーモデルは別個に学習される。
【０１７８】
Ｓ５０１では、システム状態が、複数の対話に関して取得される。この例で使用されるシステム状態は、信念状態である。
【０１７９】
複数の対話を備える学習コーパスが、識別子モデルを学習するために使用される。このコーパスは、たとえば、ラベルされた学習データコーパスである。モデルは、各対話からの各発話に対応するシステム状態を入力として順にとる。
【０１８０】
このコーパスは、たとえば、対話中の発話に対応する複数のシステム状態を備えてもよい。
【０１８１】
代替として、コーパスは、対話中の発話に対応するテキスト信号を備えてよく、その場合、学習の方法は、データからシステム状態を抽出するステップを備える。システム状態は、１つまたは複数の、記憶された、すでに学習された追跡部モデルを使用して抽出される。この例における追跡部モデルは、したがって、識別子モデルを学習するステップの前に学習され、学習された追跡部モデルは、次いで、識別子モデルを学習する際に使用される。追跡部は、特定のあらかじめ定義されたドメインごとに学習されてもよい。代替として、一般的な信念追跡部が学習されてもよい。これは、その後、あらかじめ定義されたドメインが追加または削除されるたびに再学習される必要があるであろう。使用され得る例示的な追跡部モデルは、「Ｗｏｒｄ−ｂａｓｅｄ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｗｉｔｈ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ」、Ｈｅｎｄｅｒｓｏｎ、Ｔｈｏｍｓｏｎ、Ｙｏｕｎｇ、ＳＩＧＤｉａｌ  ２０１４に記載されている。
【０１８２】
同様に、コーパスが音声信号を備える場合、学習する方法は、あらかじめ学習された音声言語ユニットを使用してテキスト信号を抽出し、次いで、そのテキスト信号に対応するシステム状態を抽出することを備える。
【０１８３】
ラベルは、対話中の発話ごとに、関連するあらかじめ定義されたドメインを識別し得る。しかしながら、モデルは、学習において使用されるあらかじめ定義されたドメインを越えて一般化することができる。識別子モデルは、あらかじめ定義されたドメインからの例のみを見るが、入力と関連するスロットとの相関を学習することによって、新しいドメインに一般化することができる。
【０１８４】
各システム状態は、Ｓ５０２において、統計モデルに順に入力される。以前に実施段階に関して説明されたように、前のシステム状態も識別子モデルへの各入力に含まれてもよい。同様に、以前に実施段階に関して説明されたように、各カテゴリに対する最高確率を有する値のみが入力システム状態に含まれてもよい。
【０１８５】
次いで、モデルは、入力システム状態から複数の関連するカテゴリを識別し、Ｓ５０３において、関連するスロットが出力される。次いで、Ｓ５０４において、これらのカテゴリに基づいて、サブドメインが生成される。関連するスロットのセットが識別されると、サブドメイン生成部は、利用可能なアクション関数ならびに利用可能な項目のデータベースについて説明するオントロジーを調べ、Ｓ５０４において識別された関連するスロットを使用して新しいサブドメインを定義する。ここで、「項目」は、データベース内のエンティティ、たとえば、スロット、値、特定のレストラン名などを指す。これは、実施段階中に説明されたものと同じ様式で行われる。このプロセスは、対話ターンごとに繰り返される。
【０１８６】
現在のドメインを示すラベルは、この識別の成功を決定するために使用され、モデルが学習することを可能にする。したがって、統計モデルは、入力としてバッファを、正解データ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）として、現在のあらかじめ定義されたドメインを受け取り、信念を関連するスロットにマップするために学習する。
【０１８７】
したがって、データ駆動型方法は、この集合的知識のどの部分が、対話が進捗するのに関連するかを各対話ターンにおいて識別できるモデルを学習するために使用される。
【０１８８】
次いで、ポリシーモデルは、識別子モデルとは別個に学習される。ポリシーモデルは、入力信念状態を出力アクションにマップするように学習される。識別されたサブドメインに対して実施中に次いで動作する単一のポリシーモデルの学習の例示的な方法が以下で説明され、ここでは、ＤＩＰが使用される。ポリシーモデルは、記憶されたデータのコーパスを用いて学習されてもよいし、人間またはシミュレートされたユーザとともに学習されてもよい。
【０１８９】
同じポリシーモデルおよび同じパラメータ化が新しいオントロジーに使用されるならば、そのようなポリシーが、データ駆動型アプローチを使用して１つのドメイン内で最適化されると、取得されるポリシー（すなわち、学習されたモデルパラメータ）は、異なるオントロジーを有する異なるドメイン内のポリシーに予備知識（または、数学的な事前分布）を提供する。したがって、ポリシーモデルは、たとえば、単一のあらかじめ定義されたドメインに対して学習され得るが、次いで、複数のドメインからの情報を備える記憶されたオントロジーを有する上記で説明されたシステム内で使用され得、ここで、関連するサブドメインは、各対話ターンにおいて選択される。ポリシーモデルと識別子モデルは、たとえば、別個に、並行して学習されてもよい。
【０１９０】
この場合、新しいあらかじめ定義されたドメインがシステムに追加される場合、ポリシーモデルは、再学習される必要はない。しかしながら、信念状態追跡部は、再学習される必要がある場合がある、または、新しいあらかじめ定義されたドメインに対応する追加の学習された信念状態追跡部が追加される必要がある場合がある。識別子モデルも再学習される必要がある場合がある。
【０１９１】
複数のドメインからの情報を備える記憶されたオントロジーは、エンドユーザオントロジーと呼ばれることがあり、エンドユーザオントロジーは、対話管理部が機能することが意図されるオントロジーであってもよい。しかしながら、パラメータ化されたポリシーは、たとえば、単一のあらかじめ定義されたドメインに対応し得る第１のオントロジーを使用して最適化されてもよい。
【０１９２】
第１のオントロジーは、エンドユーザオントロジーと異なってもよい。パラメータ化されたポリシーは、エンドユーザオントロジーとともに使用される前にポリシーに関して最適化され得る。ポリシーは、エンドユーザオントロジーを用いて実施または展開される前に最適化され得る。パラメータ化されたポリシーは、パラメータを入力として使用し、パラメータは、異なるオントロジーのスロットが客観的にマップまたは比較され得るパラメータ「空間」を定義するために使用され得る。したがって、それによって、第１のオントロジーに関して最適化されたポリシーは、エンドユーザオントロジーに関しても最適化され得る。エンドユーザオントロジーは、複数のあらかじめ定義されたドメインを備えるグローバルオントロジーまたは任意の単一のあらかじめ定義されたドメインオントロジーのいずれかであってもよい。任意選択で、識別子は、関連するスロットを識別し、使用されるドメインを、各ターンにおいてエンドユーザオントロジーとして定義するために使用可能である。
【０１９３】
第１のオントロジーに関してポリシーを最適化するために、第１のオントロジーのスロットは、パラメータ化されたポリシーへの入力として使用されるのに適しているように、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。第１のオントロジーのスロットの各々は、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。これは、上記で実装形態に関して説明された様式と同じように行われてもよい。上記で説明されたように、オントロジー情報に関するパラメータのうちのいくつかが記憶されてもよい。パラメータのうちのいくつかまたはすべては、対話ターンごとに生成されてもよい。
【０１９４】
最適化プロセスは、人間またはシミュレートされた人間との対話を入力するためにポリシーモデルを繰り返し使用することを備えてもよい。上記で説明されたように、本物の人間またはシミュレートされた人間との対話と組み合わせて、またはこれに応答して、ポリシーは、性能インジケータを増加させるように適合され得る。対話ポリシー最適化は、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように、システム状態または信念状態で実行されるシステムアクションに対する予想長期報酬を推定することが目指されてもよい。ポリシーモデルは、たとえば、ディープニューラルネットワークベースのポリシーモデルであってもよい。
【０１９５】
対話はテキスト信号を備えてよく、その場合、学習の方法は、データからシステム状態を抽出するステップを備える。システム状態は、記憶された、すでに学習された１つまたは複数の追跡部モデルを使用して抽出される。この例における追跡部モデルは、したがって、ポリシーモデルを学習するステップの前に学習され、学習された追跡部モデルは、次いで、ポリシーモデルを学習する際に使用される。同様に、データが音声信号を備える場合、学習する方法は、あらかじめ学習された音声言語ユニットを使用してテキスト信号を抽出し、次いで、そのテキスト信号に対応するシステム状態を抽出することを備える。
【０１９６】
各抽出されたシステム状態は、次いで、統計モデルに入力される。以前に実施段階に関して説明されたように、前のシステム状態も識別子モデルへの各入力に含まれてもよい。同様に、以前に実施段階に関して説明されたように、各カテゴリに対する最高確率を有する値のみが入力システム状態に含まれてもよい。
【０１９７】
各入力システム状態が、パラメータ化されたポリシーへの入力として使用されるに適しているように、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義される。第１のオントロジーのスロットの各々は、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。これは、上記で実施に関して説明された様式と同じように行われてもよい。
【０１９８】
ポリシーを最適化することは、特定のドメインおよびオントロジーに対する特定の性能インジケータを最大化すること、または初期値に対して性能インジケータを増加させることを備えてもよい。ポリシーの最適化は、成功率または平均報酬を増加させるようにポリシーを適合させることを備えてもよい。最適化は、平均、または上記のインジケータの組み合わせが最大化されるようにポリシーを適合させることを備えてもよい。最適化プロセスは、関数近似手順であってもよい。
【０１９９】
上記で説明されたように、ＳＤＳシステムにおけるアクションは、２つの部分、すなわち通信関数ａ（たとえば、ｉｎｆｏｒｍ、ｄｅｎｙ、ｃｏｎｆｉｒｍなど）と、（任意選択で）スロット−値ペアｓ，ｖのリスト（たとえば、ｆｏｏｄ＝Ｃｈｉｎｅｓｅ、ｐｒｉｃｅｒａｎｇｅ＝ｅｘｐｅｎｓｉｖｅなど）とを備えてもよい。対話ポリシー最適化は、強化学習（ＲＬ）を介して解決可能であり、強化学習（ＲＬ）では、学習中の目標は、各ｂおよびａに対して、信念状態ｂにおけるアクションａを実行するシステムの予想累積報酬を反映して、量Ｑ（ｂ，ａ）を推定することである。報酬関数は、現在の状態と行われるアクションとを仮定して、報酬ｒを割り当てる。報酬関数は、対話中の各ターンにおいて現在の状態およびアクションを仮定して、報酬ｒを割り当てることができる。代替的に、これは、（たとえば、人間入力からの）各対話の終了時における報酬値Ｒを決定し、次いで、対話に対するこの最終的な値Ｒから対話の各ターンに対する（すなわち、そのターンにおける状態および行われるアクションに対応する）報酬ｒを決定することによって行われてもよい。Ｑは、状態ｂとアクションａとを仮定して、将来の報酬の期待値（累積されたｒ）を推定する。Ｑの値は、Ｑ学習更新規則を使用して、ｒ値に基づいて更新されてもよい。
【０２００】
【数２４】
2018132754.tif 000026
が仮定される場合、関数近似が使用されてよく、ここで、θは学習するべきモデルパラメータ、φ（．）は（ｂ，ａ）をパラメータベクトルにマップするパラメータ関数である。ｆは、パラメータθを有する関数である。たとえば、ｆ（φ（ｂ，ａ））＝θ＊（φ（ｂ，ａ））＋ｚ、ここで、θおよびｚは、ｆ（φ（ｂ，ａ））＝Ｑ（ｂ，ａ）であるように最適化するパラメータである。より一般的には、ｆは、φに重みθを乗じる関数である。
【０２０１】
学習中に、Ｑは、各ｂおよびａの組み合わせに対して推定される。Ｑ値を生成するために使用されるパラメータは学習され、記憶される。実施中に、入力システム状態に関するＱ値が、これらのパラメータから生成される。学習中および実施中に、入力状態ｂに対して最高Ｑを有するアクションａが選択される。パラメータは、実施中に引き続き更新されてもよい。
【０２０２】
Ｑ（ｂ，ａ）を算出するために、ｋｅｒｎｅｌ方法が使用される場合、次元削減に要約信念を使用するか、フル信念を適用するか、のいずれかが可能である。どちらの場合も、アクションａは、追跡可能な算出を達成するために、要約アクションであってもよい。要約アクションは、上記で説明されており、単に、マスタアクションａを形成する意味論的表現であり、いくつかのあらかじめ定義された規則に基づいてマスタアクションにマップ可能である。要約アクションは、たとえば、アクション関数と、ヌルであってもよいし単一のカテゴリであってもよいアクション関数入力とを備え得る。
【０２０３】
したがって、マスタアクションａはａsと書き直されてよく、ここで、ｓは、要約されたときａが依存するスロットを示す。ここで、ｓは、ａから完全に導出され、ヌルであってもよい（ａの要約アクションがまさしくａであるとき）。次いで、以下の形式のφが使用可能である。
【０２０４】
【数２５】
2018132754.tif 000027
ここで、δはクロネッカーのデルタ、ψ（．）は信念状態をパラメータ化する関数であり、上記で説明されている。
【０２０５】
【数２６】
2018132754.tif 000028
はテンソル積である。一般性を失うことなく、通信関数ａはドメインに依存しないと仮定することができる。しかしながら、スロットｓはドメイン固有である（オントロジーによって定義される）ので、ａsとｂの両方はドメインに依存する。
【０２０６】
ψ（ｂ）をドメインに依存しないようにすることは、上記で説明されており、ここで、ｂは、｛ｂjoint，ｂo｝∪｛ｂs｝s∈Sと表される個々の信念ベクトルのセットを備え、ここで、ｂoは任意のスロットに依存しない信念状態の部分（たとえば、通信方法に対する信念、対話履歴など）を示し、Ｓはドメインオントロジーにおいて定義された（通知可能な）スロットのセットを表す。パラメータ関数
【０２０７】
【数２７】
2018132754.tif 000029
を構築し、
【０２０８】
【数２８】
2018132754.tif 000030
と仮定することが可能であり、ここで、
【０２０９】
【数２９】
2018132754.tif 000031
は、２つのベクトルを連結する演算子を表す。この後、そのオペランドｂxをパラメータ化するための各ψxにおける機構は、ドメインに依存しなくてもよいので、結果として生じる全体的なパラメータベクトルはドメイン専用（ｄｏｍａｉｎ−ｇｅｎｅｒａｌ）である。信念状態をパラメータ化するための例示的な関数ψ（ｂ，ｓ）は、上記で説明されている。
【０２１０】
要約アクションａsは、ここで、ドメインに依存するのみの要素である。各スロットｓは、
【０２１１】
【数３０】
2018132754.tif 000032
を定義することによって、ドメインで一般的な方策においてパラメータ化可能であり、全体的なパラメータ関数φに依存したドメインは除去される。任意選択で、パラメータ関数
【０２１２】
【数３１】
2018132754.tif 000033
およびψaは、異なるパラメータ化が各ａに適用可能であるように、ａとともに変化してもよい。ψaは、オントロジー情報をパラメータ化し、上記で説明されている。
【０２１３】
したがって、記憶されたオントロジー内の各スロットは、
【０２１４】
【数３２】
2018132754.tif 000034
を使用してパラメータ化され、信念状態における各スロットは、モデルに入力される前に、ψaを使用してパラメータ化される。記憶されたオントロジー情報とシステム状態とをパラメータ化するための例示的な関数
【０２１５】
【数３３】
2018132754.tif 000035
およびψaは、上記で説明されている。
【０２１６】
ポリシー学習、すなわちポリシーの最適化とは、各アクションａに対してパラメータθａ（たとえば、線型モデルの場合、重みベクトル）を割り当てることである。この特定の説明では、ａはフルアクションを示すために使用され、ａ（ｓ）は、ａから一意に導出される要約アクションを示し、ここで、ａはアクションタイプ（形式的に、通信関数と呼ばれ、たとえば「ｉｎｆｏｒｍ」、「ｒｅｑｕｅｓｔ」、「ｃｏｎｆｉｒｍ」など）、ｓはａが依存するスロットである（ｓは、ａがスロット−値引数を持たない場合はヌルであってよく、または、ａは共同信念に依存し、したがって、特定のスロットに依存しない）。重みが学習されると、同じパラメータ化関数
【０２１７】
【数３４】
2018132754.tif 000036
およびψa、実施中にオントロジーと信念状態とをそれぞれパラメータ化するために使用される。
【０２１８】
ＤＩＰが使用されない場合、別個のθa,sが、（ａ，ｓ）の各妥当な組み合わせに関して学習および記憶される。しかし、ＤＩＰが使用される場合、スロットｓは、ポリシーモデルの入力としてパラメータ化されるので、各通信関数に対するポリシーモデルパラメータ（重み）θaを学習および記憶することのみが必要とされる。言い換えれば、同じａを有するが異なるｓを有するすべてのａ（ｓ）は、同じポリシーモデルパラメータ（重み）θaを共有する。したがって、ＤＩＰを使用するポリシー最適化技法の出力は、異なるデータ構造（より少数のモデルパラメータ）を有する。
【０２１９】
最適化中に、ポリシーモデルは、人間またはシミュレートされたユーザと対話し、重みθaの決定を可能にするフィードバックを受け取ってもよい。対話は、たとえば、単一のあらかじめ定義されたドメインまたは複数のあらかじめ定義されたドメインに関する対話を備えてもよい。システム状態追跡部は、入力発話をシステム状態にマップし、システム状態は、次いで、関数ψ（ｂ，ｓ）を使用して、オントロジーに依存しないパラメータに変換される。アクション関数とスロットとを備える記憶されたオントロジーも、関数
【０２２０】
【数３５】
2018132754.tif 000037
を使用して、オントロジーに依存しないパラメータに変換される。これらは、要約アクションを生成するために使用され、要約アクションは、発話ごとにシステム状態とともにポリシーモデルに入力され、ポリシーモデルは、通信関数とスロットを定義する１つまたは複数のオントロジーに依存しないパラメータ値とを備える要約アクションを出力する。次いで、オントロジーに依存しないパラメータ値が元のスロットにマップされ、元のスロットは、出力要約アクションを形成するために通信関数と組み合わされ、次いで、出力要約アクションは、信念状態における上位値をスロットに追加することによってフルアクションに変換され得る。代替として、上記で説明されたように、ポリシーモデルは、パラメータ化された入力をとってもよいが、ドメインに依存するアクションを出力してもよい。対話の成功に関するフィードバックは、要約アクションに関連付けられた重みθaを更新するために使用される。
【０２２１】
図６は、非適合ポリシーに関する値に対する成功率または平均報酬のうちの少なくとも１つを増加させるために特定のオントロジーに対してパラメータ化されたポリシーを最適化するための例示的な方法を示す。非適合ポリシーは、最適化されていない（すなわち、最適化手順を通っていない）ポリシーである。代替として、ポリシーは、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように最適化されてよく、アクションは、特定の時点において何をするべきかに関して対話管理部によってなされる選択肢である。適合は通常、人間ユーザまたは人間ユーザをシミュレートするコンピュータのいずれかとのポリシーの反復的な使用に応答して、これと組み合わせて行われる。図６に関して説明される方法は、ＧＰ−ＳＡＲＳＡとしても知られている、パラメータ化されたポリシーを最適化するためにガウス過程時間差（ＧＰＴＤ）学習を使用する。
【０２２２】
上記で説明されたように、図６のパラメータ化されたポリシーは、特定のオントロジーに関して最適化される。このオントロジーは、必ずしもポリシーが最終的にそれとともに使用されるオントロジーであるとは限らない。
【０２２３】
ポリシーが最適化可能なオントロジーを、オントロジーに依存しないポリシーとともに使用するために、オントロジーの各スロットは、上記で説明されたように、オントロジーに依存しないパラメータに関して定義される。これは、各対話ターンにおいて行われてもよいし、パラメータのいくつかが、学習中に使用するために最初に生成され、記憶されてもよい。スロットが、オントロジーに依存しないパラメータに関して定義されると、オントロジーは、ポリシーを最適化するために、ポリシーとともに使用可能である。
【０２２４】
ステップ９０では、ｎ個の異なるパラメータ化されたポリシーが最初に提供される。パラメータ化されたポリシーは、入力としてオントロジーに依存しないパラメータを受け取るように構成される。この段階におけるパラメータ化されたポリシーは、最適化されていない。
【０２２５】
次いで、ステップ９２では、パラメータ化されたポリシーの各々（１からｎ）が最適化される。ポリシーは、たとえば、ＧＰ−ＳＡＲＳＡを使用して最適化されてもよい。ポリシーはすべて、同じオントロジーを有する同じドメインによって最適化されてもよいし、これに関して最適化されてもよいし、異なるオントロジーを有する異なるドメインによって最適化されてもよい。ポリシーはドメインに依存しないので、ポリシーが使用可能なオントロジー（「エンドユーザ」オントロジー）が、ポリシーが最適化されたオントロジーと異なる場合、ポリシーは問題ではない。オントロジーに依存しないポリシーを最適化するために使用されるために、ｍ個のオントロジーの各々は、最適化が着手可能になる前に、スロットの各々を、オントロジーに依存しないパラメータに関して定義させなければならない。パラメータは、上記で論じられたパラメータであってもよい。
【０２２６】
各オントロジーが、最適化されるべきそれぞれのポリシーとの使用に適するようになると、最適化されたポリシーの各々は、エンドユーザオントロジー（ポリシーが最終的に実施されることになるオントロジー）とともに使用される９４。次いで、エンドユーザオントロジーに対する「最も最適な」ポリシーが決定される９６。たとえば、最も最適なポリシーは、ここでは、最も高い平均報酬を有するポリシーである。代替として、最も最適なポリシーは、最高タスク成功率または２つの値の平均を有するポリシーであってもよい。次いで、最も最適なポリシーが、エンドユーザオントロジーとともに使用されるために選択される９８。エンドユーザオントロジーは、複数のあらかじめ定義されたドメインを備えるグローバルオントロジーまたは任意の単一のあらかじめ定義されたドメインオントロジーのいずれかであってもよい。任意選択で、識別子は、関連するスロットを識別し、使用されるドメインを、各ターンにおいてエンドユーザオントロジーとして定義するために使用可能である。
【０２２７】
エンドユーザオントロジーとともにパラメータ化されたポリシーを使用するために、エンドユーザオントロジーがパラメータ化される１００。これは、ターンごとに、または最初に、上記で説明されたように行われてもよい。エンドユーザオントロジーがパラメータ化されると、ポリシーがエンドユーザオントロジーに適用される１０２。任意選択で、次いで、１０４では、エンドユーザオントロジーに適用されるポリシーが改良される。図６において選択されたポリシーを改良するためのプロセスは、ポリシーを最適化するために使用されるプロセスと同じプロセスである。当然、選択されたポリシーを改良するために、選択されたポリシーは、さらなる、関連のないオントロジーではなく、エンドユーザオントロジーとともに繰り返し使用される。エンドユーザオントロジーに適用されるポリシーはすでに最適化されているので、改良プロセス１０４の開始時におけるポリシーは、最適化されたポリシーである。したがって、最適化プロセスのための適合と比較されると、比較的少量の適合が必要とされる。
【０２２８】
図７は、第１のオントロジーを用いて第１のドメインにおいてポリシーを最適化し、そのポリシーを、エンドユーザオントロジーを用いてエンドユーザドメインに移すためのさらなる方法を概略的に示す。初期ＳＤＳが、オントロジーに依存しないポリシーとともに展開される１１０。このポリシーは、第１のオントロジーとともに第１のドメイン内で展開される。第１のオントロジーのスロットは、ポリシーとともに使用可能であるように、オントロジーに依存しないパラメータにおいて定義されている。上記で論じられたように、例示的な対話が収集され１１２、ポリシーが最適化される１１４。次いで、最適化されたポリシーが、第１のオントロジーとともにドメイン内でＳＤＳの一部として展開可能である１１６。展開されると、反復ループ１３０が、ポリシーをさらに最適化する１１４ために、さらなる例示的な対話を収集し得る１１２。
【０２２９】
ポリシーが最適化されると、ポリシーは、１つまたは複数の「良好な」ポリシーのセットの一部として保持され得る１１８。次いで、１つまたは複数の良好なポリシーは、評価されるエンドユーザオントロジーおよびそれらの性能とともに新しいドメイン内で実施可能である１２０。複数の「良好な」ポリシーがある場合、エンドユーザオントロジーにとって最も最適なものが選択可能である。次いで、選択されたポリシー、すなわち唯一の「良好な」ポリシーが、エンドユーザオントロジーとともに展開される１２２。任意選択で、１２４において、さらなる例示的な対話が収集されてよく、１２６では、ポリシーは、データ駆動型アプローチを使用してさらに改良されてもよい。
【０２３０】
次いで、１２８では、改良されたＳＤＳが展開される。
【０２３１】
一般に、対話ポリシー最適化は、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように、（ＭＤＰ−ＳＤＳでは）システム状態または（ＰＯＭＤＰ−ＳＤＳでは）信念状態で実行されるシステムアクションに対する予想長期報酬を推定することが目指される。
【０２３２】
ポリシーモデルが学習されると、ポリシーモデルは、学習された状態追跡部モデル、識別子モデル、および必要とされる他の任意のさらなるモデル、たとえば音声合成モデル、自動音声認識モデル、自然言語生成モデルなどとともに、ＳＤＳにおいて実施可能である。
【０２３３】
ポリシーモデルは、より小さなサブドメインに対して動作する、すなわち、入力システム状態は関連するカテゴリのみを備え、適用可能なアクションのみが考えられるので、ポリシー動作は、学習であり、効率的であり、対話の話題を追跡する必要はない。
【０２３４】
上記の説明は、さまざまなモデルを別々に学習する方法に関する。しかしながら、他のモデルのうちの１つまたは複数とともに識別子モデルを学習することも可能である。たとえば、識別子モデルは、ポリシーモデルとともに学習されてもよい。この場合、ラベルされたデータを、識別子モデルを学習するために使用する代わりに、上記でポリシーモデルに関して説明されたいくつかの種類のフィードバックも、識別子モデルを学習するために使用され得る。
【０２３５】
任意選択で、これは、接続されたＤＮＮを使用し、識別子モデルとポリシーモデルとを共同で最適化することによって行われる。この場合、識別子モデルおよびポリシーモデルは接続されたＤＮＮであり、または、１つの大規模なＤＮＮであってもよい。システム状態追跡部モデルはまた、識別子モデルおよびポリシーモデルとともに学習されてもよい。これらのモデルを学習することは、成功率または平均報酬を増加させるようにモデルを適合させることを備えてよく、たとえば、上記のインジケータの平均または組み合わせが最大化されるようにモデルを適合させることを備えてもよい。
【０２３６】
識別子とポリシーモデルは、同時に同じ入力音声に対して学習され、ポリシーモデルの入力は、識別子の出力に依存する。
【０２３７】
モデルは、対話の品質についてのフィードバックを受け取り、それを、システム状態、関連するスロット、およびアクションの選択を査定するために使用する。時間がたつにつれて、モデルは、良好な予測を行うことを学習し、それは、フィードバック／品質尺度の向上につながる。
【０２３８】
したがって、識別子モデルは、ＤＮＮポリシーモデルとともに学習される。学習の方法は、両方のモデルを共同で学習することを備え、識別子に関する正解データを有する代わりに、対話成功の全体的な尺度が、スロット選択がどれくらい良好であったかを測定するために使用される。
【０２３９】
図８は、あらかじめ定義されたドメイン（実線）と連続したサブドメイン（破線）を使用する図４に関して説明された方法とを使用することによって達成される対話成功率を示す学習曲線を示す。２つのドメインすなわち東芝ラップトップおよび東芝外部ハードドライブが使用された。９つのスロットすなわち「ｄｉｓｃｏｕｒｓｅＡｃｔ」、「ｂａｔｔｅｒｙｒａｔｉｎｇ」、「ｄｒｉｖｅｒａｎｇｅ」、「ｆａｍｉｌｙ」、「ｉｓｆｏｒｂｕｓｉｎｅｓｓｃｏｍｐｕｔｉｎｇ」、「ｐｒｉｃｅｒａｎｇｅ」、「ｗｅｉｇｈｔｒａｎｇｅ」「ｃａｐａｃｉｔｙ」、「ｋｉｎｄ」および９つのアクション関数すなわち「ｈｅｌｌｏ」、「ｂｙｅ」、「ｉｎｆｏｒｍ」、「ｃｏｎｆｉｒｍ」、「ｓｅｌｅｃｔ」、「ｒｅｑｕｅｓｔ」、「ｒｅｑｍｏｒｅ」、「ｒｅｐｅａｔ」、「ｒｅｓｔａｒｔ」がある。
【０２４０】
上記で説明された方法によって、サブドメイン間の遷移および関連する対話状態情報の交換が可能になり、したがって、マルチドメインＳＤＳとしてシステムを展開するために必要とされる開発時間および労力、ならびにそれを維持および拡張するために必要とされる時間および労力は小さい。
【０２４１】
システム状態およびドメイン固有オントロジーは、たとえばタスク指向型音声対話システムに関する表現に使用されてもよいスロット−値ペアとして表されてもよい。
【０２４２】
上記で説明されたシステムおよび方法は、音声対話システムに対して、サブドメインをリアルタイムで動作させることを生成する。システムは、現在の対話ターンに関連するオントロジーの特徴を自動的に識別するように構成される。システムは、リアルタイムでサブドメインを作成し、それがユーザに応答することを可能にする。サブドメインを切り換えるとき、関連する対話状態情報が共有可能であり、対話ポリシーの効率的な学習をもたらす。
【０２４３】
特定の構成が説明されてきたが、これらの構成は、単に例として提示されているにすぎず、本発明の範囲を制限することが意図されるものではない。実際には、本明細書で説明される方法およびシステムは、さまざまな他の形で実施されてもよい。そのうえ、本明細書で説明される方法および装置の形をしたさまざまな省略、置き換え、および変更が行われてもよい。
【図１（ａ）】
2018132754.tif 000038
【図１（ｂ）】
2018132754.tif 000039
【図２】
2018132754.tif 000040
【図３】
2018132754.tif 000041
【図４】
2018132754.tif 000042
【図５】
2018132754.tif 000043
【図６】
2018132754.tif 000044
【図７】
2018132754.tif 000045
【図８】
2018132754.tif 000046
【外国語明細書】
2018132754000001.pdf