(57)【特許請求の範囲】
【請求項１】
以前のシステム動作ならびに以前の観測結果および現在の観測結果を受信するステップと、
以前の観測結果および現在の観測結果から現在のユーザー動作を推論し、以前のシステム動作、現在のユーザー動作、ならびに以前のユーザー状態に基づいて現在のユーザー状態を推論するステップと、
前記ユーザー状態、前記システム動作、前記ユーザー動作、および前記観測結果に基づいて特徴量を抽出するステップと、
前記特徴量を組み込んだ対数線形モデルを評価するための報酬関数を用いて規定された期待報酬を目的関数として、全ての以前のシステム動作および全ての観測結果に基づいて前記期待報酬を最大にするシステム動作を求めるステップと
を含み、それぞれのステップは、プロセッサにおいて実行される、対話マネージャー。
【請求項２】
確率モデルが、各時間ステップｔにおいて、２つの観測可能変数である前記システム動作ａｔおよび前記観測結果ｏｔと、２つの潜在変数である前記ユーザー動作ｕｔおよび前記ユーザー状態ｓｔとを含む４つの変数を有する、
請求項１に記載の対話マネージャー。
【請求項３】
添え字のコロンを用いてシーケンスを例えば下式
【数１】
0006297144.tif 000036
で表すと、持続時間Ｔの対話セッションが、４つの変数シーケンス
【数２】
0006297144.tif 000037
によって表される
請求項２に記載の対話マネージャー。
【請求項４】
前記対話セッションは、以下の結合確率分布に対応するファクターグラフによって表され、
【数３】
0006297144.tif 000038
ここで、Ｚθは、正規化定数であり、φｆおよびφｇは、前記特徴量であり、θｆおよびθｇは、それぞれ対応するモデルパラメーターのベクトルである
請求項３に記載の対話マネージャー。
【請求項５】
前記観測結果は、発話された単語またはテキストである
請求項１に記載の対話マネージャー。
【請求項６】
Ｓ、Ｕ、Ａ、およびＯは、それぞれ前記変数ｓｔ、ｕｔ、ａｔ、およびｏｔの全ての可能な値の集合である変数空間を表す
請求項３に記載の対話マネージャー。
【請求項７】
プロダクションルールの集合を含む文脈自由文法（ＣＦＧ）を用いて、前記変数空間Ｓ、Ｕ、およびＡを定義するステップ
をさらに含む、請求項６に記載の対話マネージャー。
【請求項８】
各変数空間は、前記ＣＦＧによって生成することができる全ての可能なパース木の集合として定義される、請求項７に記載の対話マネージャー。
【請求項９】
前記対話マネージャーのプランニング部分は、全ての以前のシステム動作ａ０：τ−１および以前の観測結果ｏ１：τを所与として最適なシステム動作ａτを求める
請求項３に記載の対話マネージャー。
【請求項１０】
報酬関数ｒ（ｓｔ、ａｔ）を用いて、目的関数
【数４】
0006297144.tif 000039
を最大にして、前記期待報酬を求めるステップ
をさらに含む、請求項３に記載の対話マネージャー。
【請求項１１】
前記目的関数に関する変分下限を最適化するステップ
をさらに含む、請求項１０に記載の対話マネージャー。
【請求項１２】
前記目的関数は、勾配降下を用いて最適化される
請求項１０に記載の対話マネージャー。
【請求項１３】
前記目的関数は、粒子確率確率伝搬を用いて最適化される
請求項１０に記載の対話マネージャー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、テキスト処理および音声処理に関し、より詳細には、対話マネージャーに関する。
【背景技術】
【０００２】
対話マネージャーは、音声対話またはテキスト対話のいずれかを用いて特定のタスクを達成するシステムである。対話は、ユーザーの番とシステムの番とを交互に繰り返す。対話は、ユーザー動作およびシステム動作のシーケンスを含むことができる。ユーザー動作は、システムから隠蔽される。システムは、観測結果からユーザー動作を求める。ユーザーは、同様にシステムから隠蔽される変化する状態を有する。システムは、ユーザーの音声またはテキストに基づいて以前のシステム動作および観測結果を所与として、プランニングを用いて、次のシステム動作を決定する。プランニングについては、以下で説明する。
【０００３】
対話マネージャーは、ルールベースとすることもできるし、統計的枠組み、例えば、部分観測可能マルコフ決定過程（ＰＯＭＤＰ）を用いることもできる。ＰＯＭＤＰ対話システムでは、対話は、確率変数の集合によって表される。各順番において、対話は、ユーザーが言ったことを表す観測変数と、これまでの対話の進行を表す隠れ状態変数と、選択されたシステム動作とを含む。ＰＯＭＤＰモデルは、以前の状態およびシステム動作を所与とする現在の状態の条件付き確率と、現在の状態および以前のシステム動作を所与とする観測結果の条件付き確率との２つの確率的依存関係を定義する。
【０００４】
報酬関数は、順番ごとに、その順番の状態および選択された動作の関数としての適合度基準を指定する。報酬関数が与えられると、現在の時刻における状態分布について知られるものを所与として、最適なシステム動作を提供する方策を求めることが可能である。この方策は、その後、対話の最中にシステム動作を生成するのに用いることができる。報酬を最大にするようにシステム動作を選択することは、プランニングと呼ばれる。
【０００５】
動作するシステムを得るには、ＰＯＭＤＰにおいて確率を定義するモデルパラメーターを推定する必要がある。この推定は、学習と呼ばれる。パラメーターは、通常、報酬関数を用いるのではなく、最尤（ＭＬ）基準を用いて推定される。例えば、最尤動的ベイジアンネットワーク（ＤＢＮ）を用いることができる。それらの手法に関する主な問題は、プランニングおよび学習が、異なる基準を用いて別々に独立して最適化されるということである。加えて、プランニングおよび学習は、難しい最適化問題であることで有名である。なぜならば、推論が、実際の問題を扱うのに十分大きな変数空間では処理しにくいからである。
【発明の概要】
【０００６】
本発明の実施の形態は、統計的な対話の枠組みに基づくテキストおよび音声の対話システムを提供する。従来の手法において用いられる生成モデルとは対照的に、本発明は、識別モデルを用いて、対数線形モデルの枠組みに基づくシステム動作、観測結果、および他の情報の間の関係を表す。その後、対話マネージャーは、確率伝搬（ＢＰ）手順を用いて期待報酬を直接最適化することによって、以前の観測結果およびシステム動作のシーケンスを所与とする適切なシステム動作を出力する。
【０００７】
本発明は、対数線形モデルを用いるので、対話中に取得される様々な特徴量をモデルに組み込むことができる。確率伝搬手順に基づいて、対話データを用いることによって対数線形モデル内のパラメーターを統計的にトレーニングし、精緻化されたシステム動作を用いて性能を改善することができる。
【０００８】
実施の形態は、一貫した最適化基準の利点を有すると同時に、最適化するのに、より効率的なコヒーレントなシステムを提供する。対話システムは、対数線形確率分布を用いてモデル化される。このため、本発明は、対数線形対話マネージャーを提供する。
【０００９】
対数線形分布は、条件付き確率場（ＣＲＦ）の導入以後、シーケンスをモデル化するのに用いられてきた。一般の対数線形モデルは、全ての分布族を表すことができるとは限らないが、特徴関数のそれらの柔軟な使用によって、モデルは、幅広い確率モデル族を表すことが可能になる。モデルは、マルコフ連鎖であるので、効率的な手順を最適化に利用することができる。特に、実施の形態は、時間軸に沿った報酬の合計を最適化する。
【００１０】
可能な状態、ユーザー動作、およびシステム動作の空間を表すために、文脈自由文法（ＣＦＧ）が用いられる。これらのそれぞれは、対話システムの領域に関係したセマンティック表現のグラフに基づいている。
【００１１】
確率変数は、単純な多項式ではなく、ＣＦＧによって生成されたパース木の空間内の値を取る。これによって、幅広い範囲の特徴量の抽出を可能にするリッチな構造が提供される。対数線形モデルに本来的な特徴量の柔軟な使用によって、これらの特徴量は、特殊な場合として従来のルールベースの対話システムのように正確に対話システムを挙動させるように設計することができる。これは、対話システムのルールを指示関数特徴量として実施するとともに、対数線形確率分布がこれらのルールに対応するように、パラメーターを初期化することによって行われる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態による対話マネージャーのプランニング部分のフロー図である。
【図２】本発明の実施の形態による対話マネージャーの学習部分のフロー図である。
【図３】本発明の実施の形態による一例示のパース木を示す図である。
【図４】本発明の実施の形態による一例示の状態のパース木を示す図である。
【図５】図４のパース木の例示のプロダクションルールのブロック図である。
【発明を実施するための形態】
【００１３】
プランニング
図１および図２に示すように、本発明の実施の形態は、対数線形対話マネージャーを提供する。このシステムは、プランニング部分１００および学習部分２００を備える。これらの２つの部分の方法は、当該技術分野において知られているように、バスによってメモリおよび入力／出力インターフェースに接続されたプロセッサ１５０および２５０において実行することができる。プロセッサ１５０および２５０は、組み合わせることができる。
【００１４】
システムモデル
本発明者らの確率モデルは、各時間ステップｔにおいて４つの変数を有する。２つは、システム動作ａｔ１０２および観測結果ｏｔ１０１の観測可能変数である。他の２つは、ユーザー動作ｕｔ２０１および状態ｓｔの推論される潜在変数である。
【００１５】
対話の各ステップは、次のように進む。時刻ｔ−１までの以前のシステム動作および以前の観測結果の全てに基づいて、システムは、クエリａｔ−１を用いてユーザーに入力を促す。ユーザーによる応答は、ｏｔによって表される。１つの実施の形態では、ｏｔは、ユーザーによって発話された単語のシーケンスである。ただし、応答は、タイプ入力されたテキストとすることもできるし、応答は、他の手段によってシステムに入力することもできることが理解される。
【００１６】
応答の意味は、観測結果から推論することができるユーザー動作ｕｔによって表される。新たな状態ｓｔは、システム動作ａｔ−１およびユーザー動作ｕｔ、ならびに以前の状態ｓｔ−１に基づいて推論することができる。本発明者らのシステムでは、状態ｓｔは、ユーザーの意図を表すが、一般に、状態は、追加の状況情報も含むことができる。
【００１７】
添え字のコロンを用いてシーケンス、例えば、
【数１】
0006297144.tif 000002
を表すと、持続時間Ｔの対話セッションは、以下の４つの変数シーケンスによって表される。
【００１８】
【数２】
0006297144.tif 000003
【００１９】
図３は、ファクターグラフによって表される対話セッションのモデルを示している。このファクターグラフは、本発明者らの対数線形モデルの場合、変数にわたる以下の結合確率分布に対応する。
【００２０】
【数３】
0006297144.tif 000004
【００２１】
ここで、Ｚθは、正規化定数であり、φｆおよびφｇは、特徴関数のベクトルであり、θｆおよびθｇは、それぞれ対応するモデルパラメーターのベクトルである。
【００２２】
時刻ｔ＝Ｔにおいて、ｓｔ＋１およびｕｔ＋１は、ファクターグラフのファクターｆＴに示すように未定義である。時刻ｔ＝Ｔにおいて、φｆを、その最初の２つの入力のみの関数として定義する。表記を簡単にするために、以下のベクトルも定義する。
【００２３】
【数４】
0006297144.tif 000005
【００２４】
これによって、式（１）を、以下のようにより簡潔に書き換えることが可能になる。
【００２５】
【数５】
0006297144.tif 000006
【００２６】
ここで、
【数６】
0006297144.tif 000007
は、ｐ（ｓ０：Ｔ，ａ０：Ｔ，ｕ１：Ｔ，ｏ１：Ｔ）の分配関数である。
【００２７】
変数空間
Ｓ、Ｕ、Ａ、およびＯを、変数空間、すなわち、それぞれ変数ｓｔ、ｕｔ、ａｔ、およびｏｔの全ての可能な値の集合を表すものとする。各観測結果ｏ∈Ｏは、波形、音響特徴量、認識されたテキスト、および／または言語的特徴量とすることができる。ｏ∈Ｏを用いて入力シーケンスを表し、変数空間Ｏを、語彙集合Ｖ内の単語の全てのシーケンスの集合として定義することにする。
【００２８】
変数空間Ｓ、Ｕ、およびＡのそれぞれを、プロダクションルールの集合を含む文脈自由文法（ＣＦＧ）を用いて定義することにする。各変数空間は、そのＣＦＧによって生成することができる全ての可能なパース木の集合として定義される。
【００２９】
図５は、変数空間Ｓを定義するＣＦＧにおけるプロダクションルールのうちのいくつかを示している。Ｓにおける各パース木は、状態ｓｔの可能な値である。図５は、図４に太字体で示されたプロダクションルールを用いて生成されたＳ内の１つのパース木である状態ｓｔの１つの可能な値を示している。図４において、終端は、引用符で囲まれる一方、非終端は、引用符で囲まれない。変数＄ＡＤＤＲＥＳＳ＄は、他のプロダクションルールを用いてさらに拡張することもできるし、自由変数として存続することもできる。
【００３０】
特徴量
図３のファクターグラフおよび式（１）に見て取ることができるように、本発明者らのモデルには２つのタイプのファクターが存在する。第１のものは、ｆで示され、以前の状態および現在の状態、システム動作、ならびにユーザー動作の間の統計的依存関係をモデル化するものである。第２のものは、ｇで示され、観測された単語のシーケンスとそれらのセマンティック解釈との間の依存関係をモデル化するものである。空間がＣＦＧを用いて定義される変数の場合、各変数値（各パース木）は、アクティブなプロダクションルールの集合として扱われる。例えば、図５のパース木において、アクティブなプロダクションルールは、図４のプロダクションルールでは太字体で示されている。
【００３１】
ＧＳ、ＧＵ、およびＧＡは、それぞれＳ（状態）、Ｕ（ユーザー動作）、およびＡ(システム動作）の変数空間を定義するＣＦＧによるプロダクションルールの集合であると仮定する。ファクターｇについて、ユーザー動作における各プロダクションルールは、関連付けられた単語のシーケンスの言語モデルと関連付けられる。具体的には、ユーザー動作ｕｔおよび観測結果ｏｔが与えられると、
【数７】
0006297144.tif 000008
の形態の特徴量が得られる。この特徴量は、特定のプロダクションルールｋ∈ＧＵがユーザー動作ｕｔのパース木においてアクティブであり、かつ、特定のバイグラムｗｉ−１ｗｉが観測結果ｏｔの単語シーケンスに存在する場合に限り１に等しい指示関数を示す。
【００３２】
木のルートの近くに現われるプロダクションルールの言語モデルは、発話の一般的クラスをモデル化するのに対して、木のリーフの近くに現われるプロダクションルールは、より特殊化されている。ファクターｆについて、同時に生起するプロダクションルールを考えることができる。例えば、２つの特定のプロダクションルールｋ，ｋ’∈ＧＳに関係する特徴量
【数８】
0006297144.tif 000009
は、ｋが状態ｓｔ−１においてアクティブであり、かつ、ｋ’が状態ｓｔにおいてアクティブである場合に限り、１に等しい。対話システムに通常見られる別のタイプの特徴タイプは、
【数９】
0006297144.tif 000010
であり、これは、プロダクションルールｊ∈ＧＡがシステム動作ａｔ−１においてアクティブであることも必要とする。この特徴量は、特定のシステム動作が特定の状態遷移を誘発する傾向があることを示す。
【００３３】
プランニングおよび学習
対話マネージャーが解決する必要がある２つの基本問題は、プランニング１００および学習２００である。本発明者らのモデルを評価する報酬関数ｒ：Ｓ×Ａ→Ｒ＋が存在するものと仮定する。次に、この報酬関数の観点からプランニングおよび学習を説明することにする。
【００３４】
プランニング
時刻τにおけるプランニングは、全ての以前のシステム動作ａ０：τ−１および観測結果ｏ１：τを所与として最適なシステム動作ａτを求めるという問題である。対話は、持続時間Ｔを有するものと仮定する。期待報酬Ｅを最大にするａτを求めるプランニング問題を、以下のような目的関数として定義することにする。
【００３５】
【数１０】
0006297144.tif 000011
【００３６】
この期待値は、所与としない全ての変数、すなわち、全ての状態、全てのユーザー動作、ならびに全ての今後のシステム動作および観測結果にわたって得られる。
【００３７】
目的関数は、各動作ａτを仮定し、その動作を所与として積和手順を用いて期待報酬を求め、そして、期待報酬を最大にした動作を選択することによって、正確に最適化することができる。
【００３８】
しかしながら、実施を容易にするとともに高速にするために、上記の代わりに、イェンセン（Ｊｅｎｓｅｎ）の不等式から得られる以下の目的関数の変分下限が最適化される。
【００３９】
【数１１】
0006297144.tif 000012
【００４０】
ここで、γｔは、Σｔγｔ＝１となるような変分パラメーターである。γｔは、期待値最大化（ＥＭ）手順を用いて最適化することができるが、計算をさらに簡単にするために、γｔ＝１／（Ｔ＋１）とすることにする。
【００４１】
この積形式は、報酬を時間と因数分解することができるという優れた特性を有する。換言すれば、式（６）は、以下の式に拡張することができる。
【００４２】
【数１２】
0006297144.tif 000013
【００４３】
ここで、Ｚ’は、ａ０：τ−１，ｏ１：τを所与とするｐの分配関数である。この時、最適なａτは、報酬用の追加の項を有するグラフモデル上で従来の積和手順によって求めることができる。
【００４４】
先ず、グラフモデルの双方の端部から時刻τまでの信念（ｂｅｌｉｅｆ）が収集され、式（６）を最大にするａτが求められる。確率伝搬（ｂｅｌｉｅｆ  ｐｒｏｐａｇａｔｉｏｎ：信念伝搬）を明示的に詳しく記載するならば、確率伝搬は、前方後方手順となる。例えば、ファクターノードｆｔから変数ノードｓｔ＋１への前方メッセージ
【数１３】
0006297144.tif 000014
は、時刻ｔからｔ＋１までの（正規化されていない）確率分布
【数１４】
0006297144.tif 000015
を用いた、メッセージ
【数１５】
0006297144.tif 000016
と、
【数１６】
0006297144.tif 000017
と、
【数１７】
0006297144.tif 000018
にわたる以下の総和によって求められる。
【００４５】
【数１８】
0006297144.tif 000019
【００４６】
ここで、
【数１９】
0006297144.tif 000020
は、変数ノードａｔからファクターノードｆｔへのメッセージである。ａｔのいずれの事前分布も仮定しない場合には、一様分布を含む任意の分布を用いることができる。
【数２０】
0006297144.tif 000021
は、変数ノードｓｔからファクターノードｆｔへのメッセージである。
【数２１】
0006297144.tif 000022
は、以前のステップから再帰的に求められる。
【００４７】
変数ノードｕｔ＋１からファクターノードｆｔへのメッセージは、
【数２２】
0006297144.tif 000023
である。このメッセージは、以下の式のように分布から求められる。
【００４８】
【数２３】
0006297144.tif 000024
【００４９】
このため、メッセージ
【数２４】
0006297144.tif 000025
を求めるのに、シーケンス
【数２５】
0006297144.tif 000026
の全てにわたる総和を行うことが回避される。他のメッセージも、確率伝搬方法に基づいてシーケンスにわたる総和を計算することなく、効率的に求めることができる。
【００５０】
積和手順を用いた今後の動作にわたる平均化は、従来のＰＯＭＤＰ最適化と異なることに留意されたい。従来のＰＯＭＤＰ最適化は、今後のシステム動作にわたる報酬を最大にしようとするものである。ａｔに対しては最大積手順を用いる一方、他の変数には積和を用いて、今後のシステム動作にわたる最大化を達成することも可能である。しかしながら、このモデル自体、今後の動作にわたる予測分布を提供する確率的方策を含む。
【００５１】
学習
学習部分２００は、最適な動作を求める代わりに最適なモデルパラメーターを求めることを対象としていることを除いて、プランニングと同様である。換言すれば、本発明者らは、期待報酬
【数２６】
0006297144.tif 000027
が、全てのシステム動作ａ０：Ｔおよび全ての観測結果ｏ１：Ｔを所与して最大にされるようなθ１０３を見つけたい。この場合も、期待値は、所与としない全ての変数、すなわち、全ての状態および全てのユーザー動作にわたって得られる。プランニング部分と同様に、ここでも、式（８）の変分下限を用いることができる。
【００５２】
勾配降下を用いて、学習目的が最適化される。一般に、任意の効用関数ｖ（ｘ）および対数線形モデルに基づく形態の確率分布
【数２７】
0006297144.tif 000028
について、期待効用の導関数は、以下の式となる。
【００５３】
【数２８】
0006297144.tif 000029
【００５４】
θにおける各パラメーターθｉについて、この導関数は、対応する特徴量φｉと効用との間の共分散であることに留意されたい。このため、効用と正に相関する特徴量に対応するパラメーターは増加する一方、その対応する特徴量が効用と負に相関するパラメーターは減少する。
【００５５】
これを本発明者らのモデルに適用すると、以下の式が得られる。
【００５６】
【数２９】
0006297144.tif 000030
【００５７】
ここで、期待値は、ｐ（ｓ０：Ｔ，ｕ１：Ｔ｜ａ０：Ｔ，ｏ１：Ｔ）を用いて求められる。一般的な場合、これらの量を求めることは困難な場合がある。本発明者らは、粒子確率伝搬を用いる。
【００５８】
粒子確率伝搬
変数空間は、無視するには大きすぎるので、粒子確率伝搬を用いて、上記問題を解くことにする。
【００５９】
ファクターノードｆｔから変数ノードｓｔ＋１に渡るメッセージ
【数３０】
0006297144.tif 000031
を、ｓｔ、ａｔ、およびｕｔ＋１を過小評価する下式によって検討することにする。
【００６０】
【数３１】
0006297144.tif 000032
【００６１】
重点サンプリングを用いて上記和を書き直すと、期待値が求められる、あるサンプリング分布πｔ（ａ）、πｔ（ｕ）、πｔ（ｓ）について、以下の式が得られる。
【００６２】
【数３２】
0006297144.tif 000033
【００６３】
次に、サンプル
【数３３】
0006297144.tif 000034
にわたり、和を用いて上記期待値を近似することができる。
【００６４】
【数３４】
0006297144.tif 000035
【図１】
0006297144.tif 000040
【図２】
0006297144.tif 000041
【図３】
0006297144.tif 000042
【図４】
0006297144.tif 000043
【図５】
0006297144.tif 000044