(57)【特許請求の範囲】
【請求項１】
発話を処理する方法であって、
単語シーケンスとして複数の当事者から発話を取得するステップであって、各発話は各当事者の関連付けられたアイデンティティを有する、ステップと、
前記単語シーケンス及びアイデンティティを特徴に変換するステップと、
ニューラルネットワーク（ＮＮ）の入力層において各特徴を受信するステップと、
前記ＮＮの射影層において、各特徴の次元を低減して、次元が低減された特徴を生成するステップと、
前記次元が低減された特徴を処理して、前記ＮＮの隠れ層を通じて前記特徴を伝播するステップと
を含み、
前記単語シーケンスの特徴は、前記アイデンティティの特徴に基づいて前記各当事者に依拠した前記隠れ層を通じて伝播され、概念タグを含む意味論的情報は、各発話の終了時に出力され、前記概念タグはシンボルのみを表し、前記意味論的情報は、シンボル及び構造化情報を含み、
前記ステップはプロセッサにおいて実行される、方法。
【請求項２】
前記ＮＮは、リカレントＮＮ（ＲＮＮ）であるか、又は該ＮＮの隠れ層においてリカレント接続を有する、該隠れ層における長期短期記憶（ＬＳＴＭ）を有するＲＮＮである、請求項１に記載の方法。
【請求項３】
前記発話は音声によるものであり、前記方法は、
前記発話を、自動音声認識システム（ＡＳＲ）における前記単語シーケンスに変換することを更に含む、請求項１に記載の方法。
【請求項４】
前記発話は、前記単語シーケンスを形成するテキストである、請求項１に記載の方法。
【請求項５】
前記ＮＮは、前記複数の当事者間の対話全体の共有コンテキスト履歴を有する、当事者に依拠したニューラルネットワークである、請求項１に記載の方法。
【請求項６】
前記ＮＮの異なる層を通じて当事者に依拠した表現が用いられる、請求項１に記載の方法。
【請求項７】
前記ＬＳＴＭは、コンテキスト情報を保持及び忘却する当事者ゲートとのリカレント接続を含む、請求項２に記載の方法。
【請求項８】
前記ＬＳＴＭは、前記当事者ゲートを用いて任意の長さの時間の値を記憶するセルを含む、請求項７に記載の方法。
【請求項９】
前記単語シーケンス内の単語及び特徴は連続して処理され、前記特徴は、意味論的属性、構文属性、及びタスク指向属性を含む、請求項１に記載の方法。
【請求項１０】
前記アイデンティティは、当事者によって行われる役割を示し、
前記発話は、前記複数の当事者の前記役割の観点で特徴付けられる、請求項１に記載の方法。
【請求項１１】
前記当事者ゲートは、前記複数の当事者のうちのいずれの当事者がアクティブであるかを制御する、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、対話処理に関し、より詳細には、音声による発話及びテキストによる発話を含む対話のための自然言語理解（ＮＬＵ）の方法及びシステムに関する。
【背景技術】
【０００２】
例えば、音声言語理解（ＳＬＵ）を行うことができる自然言語理解（ＮＬＵ）の方法及びシステムがコンピューター化された対話システムにおいて用いられ、発話の意図が推定される。本明細書において広義に定義されるとき、「音声による」発話は、音声又はテキストの形態をとることができる。発話が音声によるものである場合、発話は、例えば、自動音声認識（ＡＳＲ）システムから得ることができる。発話がテキストである場合、発話は、例えば、テキスト処理システム又はキーボード入力から得ることができる。
【０００３】
従来の意図推定方法は、フレーズマッチングに基づく、又は、各発話のバッグオブワード（ＢｏＷ：Bag of Word）特徴を入力として用いる、ブースティング、サポートベクトルマシン（ＳＶＭ）、及びロジスティック回帰（ＬＲ）等の分類法に基づくことができる。一方、ＢｏＷ特徴は、例えば、単語シーケンスにおける単語順序の欠落に起因して、このシーケンスによって表される意味論的情報を示す十分な能力を有しない。
【０００４】
各発話における単語シーケンスの履歴を検討するために、ＢｏＷ特徴の代わりに１−ｏｆ−Ｎコーディングを用いて、リカレントニューラルネットワーク（ＲＮＮ）を発話分類のために適用することができる。さらに、長期短期記憶（ＬＳＴＭ：Long Short-Term Memory）ＲＮＮは、長期コンテキストの学習を改善するように設計されたＲＮＮの形態をとり、コンテキストに依存した問題について効力を発揮することができる。これらの手法は、発話間のコンテキストを考慮することなく発話を分類する。さらに、意図を正確に理解するには、対話全体の発話のシーケンスのより広いコンテキストを考慮することが必須である。ＲＮＮ及びＬＳＴＭを用いる従来技術のモデルのうちのいくつかは、単一の発話内の単語シーケンスコンテキストを用い、対話全体の発話のシーケンスのより広いコンテキストも検討する。
【０００５】
さらに、各発話は、エージェント及びクライアントのようなタスクに合わせた役割、業務に応じた用語及び表現、性別に応じた言語、対話の参加者間の関係等の、当事者に依拠した特徴のコンテキストの観点で異なる表現を有する。一方、従来の方法は、異なる役割に起因したそのような当事者に依拠した特徴を考慮しない。
【発明の概要】
【０００６】
本発明の実施形態は、発話を処理する方法及びシステムを提供する。発話は、自動音声認識（ＡＳＲ）システム又はテキストから取得される。発話は、役割Ａの発話及び役割Ｂの発話等の、各当事者の関連付けられたアイデンティティを有する。単語シーケンス及びアイデンティティ等の、発話に対応する情報は、特徴に変換される。各特徴は、ニューラルネットワーク（ＮＮ）の入力層において受信される。ＮＮの射影層において、各特徴の次元は低減され、次元が低減された特徴が生成される。次元が低減された特徴は処理され、ここで、特徴は、隠れ層を通じて伝播される。リカレントニューラルネットワーク（ＲＮＮ）の場合、隠れ層は、リカレント接続を有し、長期短期記憶（ＬＳＴＭ）をＲＮＮの隠れ層に適用することができる。次に、ＮＮの出力層において、ラベルの事後確率が求められる。
【図面の簡単な説明】
【０００７】
【図１Ａ】２者の当事者間の対話全体の共有コンテキスト履歴を有する当事者に依拠したニューラルネットの概略図である。
【図１Ｂ】単一のニューラルネットワークの異なる層を通じた当事者に依拠した表現の概略図である。
【図１Ｃ】本発明の実施形態による、２つの並列の隠れ長期短期記憶（ＬＳＴＭ）層を有するリカレントニューラルネットワークの形態をとる、コンテキスト検知音声言語理解（ＳＬＵ）の方法及びシステムの概略図である。
【図２】本発明の実施形態による、隠れ層内のＬＳＴＭセルの組の概略図である。
【図３】本発明の実施形態による、コンテキスト検知ＳＬＵの伝播プロセスの概略図である。
【図４】本発明の実施形態による、２つの並列なＬＳＴＭ層の詳細の概略図である。
【図５】本発明の実施形態による、役割に依拠したＳＬＵの時間プロセスの概略図である。
【発明を実施するための形態】
【０００８】
本発明の実施形態は、言語理解、例えば、音声言語理解（ＳＬＵ）のための方法及びシステムを提供する。本方法は、対話における発話の意図を推定することができる。本明細書において広義に定義されるとき、発話は、音声又はテキストの形態をとることができる。発話が音声によるものである場合、発話は、例えば自動音声認識（ＡＳＲ）システムから得ることができる。発話がテキストである場合、発話は、例えば、テキスト処理システム又はキーボード入力から得ることができる。
【０００９】
ＮＮを用いたコンテキスト検知ＳＬＵ
図１Ａは、それぞれ、左側において役割Ａ１０１、右側において役割Ｂ１０２について、２者の当事者間の対話全体の共有コンテキスト履歴を有する当事者に依拠したニューラルネットワーク１００を示す。本発明のこの実施形態は、対話にわたる長期コンテキストを有するか又は有しない当事者に依拠した表現を考慮する、２つのニューラルネットワーク（ＮＮ）を用いる。
【００１０】
図１Ｂは、単一のニューラルネットワーク１００の異なる層を通じた、当事者に依拠した表現を示す。図において用いられる変数は、以下で詳細に説明される。
【００１１】
図１Ｃは、代替的な形式のＲＮＮ１００を概略的に示す。ここで、入力層１１０は、ＡＳＲ１０５から入力単語ベクトル１１１を受信する。単語ベクトルは、クライアント１０１及びエージェント１０２から取得された発話に対応する。通常、クライアント及びエージェントは、それぞれの役割Ａ及びＢの間に順番に発話を行う。
【００１２】
方法及びネットワークは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実施することができる。
【００１３】
慣例により、各ネットワークは、底部の入力層１１０及び上部の出力層１４０と共に示される。入力層１１０は、複数の当事者による発話に対応する入力単語ベクトル１１１を受信する。発話は、各当事者の関連アイデンティティを有する。アイデンティティは、当事者によって行われる役割に関係する。単語ベクトルは、役割Ａ１０１、例えばクライアント当事者、及び役割Ｂ１０２、例えばエージェント当事者について取得された発話に対応する。通常、当事者は、対話中に役割ごとの発話を順番に生成する。
【００１４】
射影層１２０は、単語ベクトルの次元を低減して、次元が低減された単語ベクトルを生成する。リカレント隠れ層１３０は、コンテキスト情報を保持及び忘却することができる、当事者ゲート１３１とのリカレント接続を有する長期短期記憶（ＬＳＴＭ）として構築される。ＬＳＴＭ層は、発話のためのアクティベーションベクトルを生成する。出力層１４０は、アクティベーションベクトルに基づいて出力ラベル１４１の事後確率を推定する。
【００１５】
複数の当事者の対話における意図を正確に理解するために、各発話における当事者に依拠した表現、及びダイアログの順番のシーケンスのコンテキストにおける各発話の機能についても考慮することが重要である。
【００１６】
対話全体のコンテキスト、及び各発話の当事者に依拠した表現の双方を考慮するために、図１Ａに示す、当事者間の、当事者に依拠したニューラル及びネットワークの共有コンテキスト履歴、又は図１Ｂに示すような、当事者に依拠した異なる層により促進された単一のニューラルネットワークのいずれかを通じて、当事者に依拠したコンテキスト検知表現をモデル化する、ニューラルネットワーク（ＮＮ）に基づいた効率的なＮＬＵ手法を提供する。
【００１７】
各単語は、意味論的情報、構文情報、タスク指向情報等の追加の属性の特徴を用いるか又は用いない、ＢｏＷ又は１−ｏｆ−Ｎコーディング等の単語ベクトル表現を用いてＮＮに順次入力される。単語シーケンスの特徴は、当事者に依拠した隠れ層のうちの１つを通じて伝播され、概念タグ等の意味論的情報が各発話の最後に出力される。概念タグはシンボルのみを表す。意味論的情報は、シンボル、及び／又はグラフ等の構造化情報とすることができる。
【００１８】
ＲＮＮの場合、対話を通じてコンテキスト情報を伝播するために、発話のためのＲＮＮのアクティベーションベクトルは、対話全体のコンテキストを考慮するために、次の発話のためのＲＮＮへの入力としての役割を果たす。実施形態は、コンテキスト検知モデルのＲＮＮ層をトレーニングし、当事者に依拠した表現を考慮して単語シーケンスから意味論的情報のシーケンスを予測する。
【００１９】
対話コーパスにおける発話は、エージェント又はクライアント等の役割の観点で各当事者について特徴付けられる。当事者に依拠した発話を厳密にモデル化するために、図１Ａに示すような、当事者間の対話全体の共有コンテキスト履歴である、当事者に依拠した複数のニューラルネットワークを提供する。さらに、図１Ｂに示される、当事者に依拠した異なる層により促進された単一のニューラルネットワークを提供する。
【００２０】
当事者に依拠した異なる特徴は、当事者に依拠した隠れ層間で切り替えることによってモデル化される。これらのモデルにおいて、各発話の単語は一度に１つずつ入力され、各発話の終了時に意味論的情報が出力される。ＲＮＮの場合、当事者に依拠した隠れ層は、各発話内のコンテキスト、及び対話内のコンテキストの双方を共同で表す。他のＮＮにおいて、当事者に依拠した隠れ層は、各当事者の発話の特性のみを表す。
【００２１】
図２に示すように、従来のＲＮＮのようにネットワークユニットを用いる代わりに、隠れ層１３０における１組のＬＳＴＭセル２００を用いる。ＬＳＴＭセルは、ゲートを用いて任意の長さの時間について値を記憶することができる。ＬＳＴＭセルは、入力ゲート２１０と、忘却ゲート２２０と、出力ゲート２３０とを含み、それらはそれぞれ、入力が記憶するのに十分重大であるとき、入力を忘却するとき、及び入力が出力に寄与するときを判断する。
【００２２】
Ｍ個の発話のシーケンスは、ｕ１，．．．，ｕτ，．．．，ｕＭである。各発話ｕｍは、単語シーケンス
【数１】
0006469309.tif 000002
及び概念タグａτを含む。ＡＳＲから受信された入力単語ベクトルｘτ，ｔ１１１は、
【数２】
0006469309.tif 000003
である。ここで、語彙Ｖにおける単語ｗτ，ｔは、関数ＯｎｅＨｏｔ（ｗ）、すなわち、ｘτ，ｔ∈｛０，１｝｜Ｖ｜を用いて１−ｏｆ−Ｎコーディングによって変換される。
【００２３】
入力ベクトルは、射影層１２０によって下式のＤ次元ベクトルに射影される。
【数３】
0006469309.tif 000004
次にこれは、リカレント隠れ層１３０に供給される。ここで、Ｗｐｒは、射影行列であり、ｂｐｒはバイアスベクトルである。
【００２４】
隠れ層１３０において、アクティベーションベクトルｈτ，ｔは、以下の式に従ってＬＳＴＭセルを用いて求められる。
【数４】
0006469309.tif 000005
ここで、σ（）は、エレメント単位のシグモイド関数であり、ｉτ，ｔ，ｆτ，ｔ，ｏτ，ｔ及びｃτ，ｔは、それぞれ、τ番目の発話におけるｔ番目の入力単語のための入力ゲート２１０、忘却ゲート２２０、出力ゲート２３０及びセルアクティベーションベクトルである。
【００２５】
重み行列Ｗｚｚ及びバイアスベクトルｂｚは、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、Ｗｈｉは、隠れ入力ゲート行列であり、Ｗｘｏは、入力−出力ゲート行列である。
【００２６】
出力ベクトル１４１は、各発話の終了時に以下のように求められる。
【数５】
0006469309.tif 000006
ここで、ＷＨＯは、変換行列であり、ｂＯは、入力ベクトルを隠れベクトルに従って異なるカテゴリに分類するためのバイアスベクトルである。Ｓｏｆｔｍａｘ（）は、ラベルセットＬについて、分類結果をラベル確率、すなわちｙτ∈［０，１］｜Ｌ｜に変換する、下式で示される、要素単位のソフトマックス関数である。
【数６】
0006469309.tif 000007
ここで、ｙτ［ａ］は、ラベルａについてｙτの成分を示す。これは、ラベルの確率
【数７】
0006469309.tif 000008
に対応する。
【００２７】
前の発話からコンテキスト情報を継承するために、各発話の開始時の隠れベクトル及びセルアクティベーションベクトルは、以下のとおりである。
【数８】
0006469309.tif 000009
ここで、図２に示すように、τ＞１及びｈ１，０＝ｃ１，０＝０である。
【００２８】
図３は、本発明のコンテキスト検知ＳＬＵの伝播プロセスを示す。単語ｗｉ，ｊは、ＬＳＴＭ層１３０に順次入力され、出力されるラベル１４１は、発話の終了時の発話概念に対応する。ここで、シンボルＥＯＳは「センテンス終了」を表す。
【００２９】
従来技術と対照的に、本発明のモデルは、対話の開始から終了までのコンテキスト全体を考慮する。したがって、ラベル確率は、センテンスレベルの意図及びダイアログレベルのコンテキストを用いて推測することができる。対照的に、従来のモデルは、各発話を独立して考慮するのみである。
【００３０】
役割に依拠したＬＳＴＭ層
ＬＳＴＭ層は、概念タグで注釈を付けられた人間間の対話コーパスを用いてトレーニングすることができる。概念タグは、例えば、以下の表１に示すようなホテル予約のためのクライアント及びエージェントの意図を表す。列は、左から右に、話者、例えば、エージェント及びクライアント、発話、及び概念タグを示す。発話は、エージェント及びクライアントの各役割によって特徴付けられる。
【表１】
0006469309.tif 000010
【００３１】
図４に示すように、クライアント（Ａ）の発話及びエージェント（Ｂ）の発話を表す２つの並列なＬＳＴＭ層３１０及び３２０がモデルに組み込まれる。役割ゲート３１１及び３２１は、いずれの役割がアクティブであるか、すなわちクライアント又はエージェントのいずれがアクティブであるかを制御する。
【００３２】
２つのＬＳＴＭ層は、話者の役割に依拠して、異なるパラメーターを有する。このため、クライアント発話のための入力ベクトル１１１は、層３１０によって処理され、層３２０はエージェント発話を処理する。所与の発話のためのアクティブな役割は、役割変数Ｒによって制御される。これを用いて、各ＬＳＴＭ層に対し出力をゲート制御する。
【００３３】
次に、ゲート制御された出力が、リカレントＬＳＴＭ層から出力層１４０に渡される。このため、リカレントＬＳＴＭ入力は、前のフレームにおいてアクティブであった、役割に依拠した層からの出力を受信し、役割間の遷移を可能にする。
【００３４】
トレーニングフェーズにおける誤差信号は、対応する層を通じて後方伝播される。各話者の役割は、対話中に変化せず、各発話の話者は未知である。一方、モデル構造は、役割を動的に推測する可能性を残したままにする。したがって、出力層におけるアクティベーションを以下のように求めることができる。
【数９】
0006469309.tif 000011
ここで、
【数１０】
0006469309.tif 000012
は、役割ＲのＬＳＴＭ層によって与えられる隠れアクティベーションベクトルであり、
【数１１】
0006469309.tif 000013
は、クロネッカーのデルタであり、すなわち、τ番目の発話の役割であるＲτが、役割Ｒに等しい場合、Ｒは１であり、そうでない場合、Ｒは０である。各発話の開始時に、役割に依拠した層の隠れアクティベーションベクトル及びセルアクティベーションベクトルは、以下となる。
【数１２】
0006469309.tif 000014
【００３５】
図５は、役割に依拠したＳＬＵの時間プロセスを示す。所与の役割における発話ごとに、その役割のためのＬＳＴＭ層のみがアクティブであり、隠れアクティベーション及びセルメモリは、対話の順番にわたって伝播される。図は、クライアント発話（役割Ａ）及びエージェント発話（役割Ｂ）を示す。このアーキテクチャを用いて、各対話の長いコンテキストを考慮して双方のＬＳＴＭ層をトレーニングすることができ、モデルは役割に依拠した概念ラベルを正確に予測することができる。
【００３６】
発明の効果
本発明は、役割ベースのＬＳＴＭ層を用いて効果的なコンテキスト検知ＳＬＵを提供する。対話全体にわたって長期特性を求めるために、各概念タグの結果として生じる単語シーケンスを用いて意図を表すＬＳＴＭを実施した。ＳＬＵのための対話全体のコンテキスト情報をインポートする性能、及び話者の役割に基づくＬＳＴＭ層の有効性を評価した。役割に依拠した層を用いたコンテキスト検知ＬＳＴＭは、発話ベースの手法よりも性能が優れており、ＳＬＵベースラインを１１．６％及び８．０％（絶対パーセント）だけ改善する。
【図１Ａ】
0006469309.tif 000015
【図１Ｂ】
0006469309.tif 000016
【図１Ｃ】
0006469309.tif 000017
【図２】
0006469309.tif 000018
【図３】
0006469309.tif 000019
【図４】
0006469309.tif 000020
【図５】
0006469309.tif 000021