(57)【要約】  方法は、トレーニングデータに対してパラメータを有するニューラルネットワークをトレーニングするステップを含み、ニューラルネットワークは、入力状態を受信しかつ、決定のセット内の決定ごとにそれぞれのスコアを生成するように入力状態を処理する。本方法は、トレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含むトレーニングデータを受信するステップを含む。本方法は、ニューラルネットワークのパラメータのトレーニングされた値を決定するために、トレーニングデータに対してニューラルネットワークをトレーニングするステップを含む。ニューラルネットワークをトレーニングするステップは、トレーニングテキストシーケンスごとに、トレーニングテキストシーケンスについての決定シーケンス候補のビームを維持するステップと、一度に1つの決定を追加することによって各決定シーケンス候補を更新するステップと、ゴールド決定シーケンスのプレフィックスと一致するゴールド決定シーケンス候補がビームからドロップしたと判定するステップと、それに応答して、目的関数を最適化するために勾配降下の反復を実行するステップとを含む。
2019513267.tif 000002
【特許請求の範囲】
【請求項１】
トレーニングデータに対してパラメータを有するニューラルネットワークをトレーニングする方法であって、
前記ニューラルネットワークが、入力状態を受信し、かつ決定のセット内の決定ごとにそれぞれのスコアを生成するように前記入力状態を処理するように構成され、前記方法が、
第1のトレーニングデータを受信するステップであって、前記第1のトレーニングデータが、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む、ステップと、
前記ニューラルネットワークの前記パラメータの第1の値から前記ニューラルネットワークの前記パラメータのトレーニングされた値を決定するために、前記第1のトレーニングデータに対して前記ニューラルネットワークをトレーニングするステップであって、前記第1のトレーニングデータ内のトレーニングテキストシーケンスごとに、
前記トレーニングテキストシーケンスについての所定の数の予測される決定シーケンス候補のビームを維持するステップと、
前記ニューラルネットワークの前記パラメータの現在の値に従って、前記ニューラルネットワークによって生成されたスコアを使用してそれぞれの予測される決定シーケンス候補に一度に1つの決定を追加することによって、前記ビーム内のそれぞれの予測される決定シーケンス候補を更新するステップと、
前記予測される決定シーケンス候補の各々に決定が追加されるたびに、前記トレーニングテキストシーケンスに対応する前記ゴールド決定シーケンスのプレフィックスと一致する予測されるゴールド決定シーケンス候補が前記ビームからドロップしたと判定するステップと、
前記予測されるゴールド決定シーケンス候補がビームからドロップしたとの判定に応答して、前記予測されるゴールド決定シーケンス候補および前記現在ビーム内にある前記予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行するステップと
を含む、ステップと
を含む、方法。
【請求項２】
第2のトレーニングデータを受信するステップであって、前記第2のトレーニングデータが、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む、ステップと、
トレーニングテキストシーケンスごとに、前記トレーニングテキストシーケンスに対応する前記ゴールド決定シーケンスにおける決定のために前記ニューラルネットワークによって生成されたスコアと、前記ゴールド決定シーケンスにおける前記決定のために生成された前記スコアの局所正規化とに依存する目的関数を最適化することによって、前記ニューラルネットワークの前記パラメータの初期値から前記ニューラルネットワークの前記パラメータの前記第1の値を決定するために、前記第2のトレーニングデータに対して前記ニューラルネットワークを事前トレーニングするステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記ニューラルネットワークが、グローバルに正規化されたニューラルネットワークである、請求項1または2に記載の方法。
【請求項４】
前記決定のセットが、依存構文解析の可能な構文解析要素のセットであり、前記ゴールド決定シーケンスが、前記対応するトレーニングテキストシーケンスの依存構文解析である、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記決定のセットが、可能な品詞タグのセットであり、前記ゴールド決定シーケンスが、前記対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの品詞タグを含むシーケンスである、請求項1から3のいずれか一項に記載の方法。
【請求項６】
前記決定のセットが、前記単語が前記入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、前記単語が前記圧縮表現に含まれるべきでないことを示すドロップラベルとを含み、前記ゴールド決定シーケンスが、前記対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである、請求項1から3のいずれか一項に記載の方法。
【請求項７】
前記予測されるシーケンス候補が確定された後に前記予測されるゴールド決定シーケンス候補が前記ビームからドロップしていない場合、前記ゴールド決定シーケンスおよび前記確定された予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から7のいずれか一項に記載の方法の前記動作を実行させる命令で符号化される、1つまたは複数のコンピュータ可読記憶媒体。
【請求項９】
1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から7のいずれか一項に記載の方法の前記動作を実行させる命令を記憶する1つまたは複数の記憶デバイスとを備える、システム。
【請求項１０】
入力テキストシーケンスについての決定シーケンスを生成するためのシステムであって、前記決定シーケンスが複数の出力決定を含み、前記システムが、
ニューラルネットワークであって、
入力状態を受信し、
決定のセット内の決定ごとにそれぞれのスコアを生成するように前記入力状態を処理する
ように構成されるニューラルネットワークと、
サブシステムであって、
前記入力テキストシーケンスについての所定の数の決定シーケンス候補のビームを維持し、
前記決定シーケンスにおける各出力決定について、
現在前記ビーム内にある決定シーケンス候補ごとに、
前記決定シーケンス候補を表す状態を入力として前記ニューラルネットワークに提供し、かつ前記ニューラルネットワークから複数の新しい決定シーケンス候補ごとにそれぞれのスコアを取得することであり、各それぞれの新しい決定シーケンス候補が、前記現在の決定シーケンス候補に追加された許容された決定のセットからのそれぞれの許容された決定を有する、提供かつ取得することと、
前記ニューラルネットワークから取得された前記スコアに従って最も高いスコアを有する所定の数の新しい決定シーケンス候補のみを含むように前記ビームを更新することと、
前記更新されたビーム内の新しい決定シーケンス候補ごとに、前記新しい決定シーケンス候補を表すそれぞれの状態を生成することと
を行い、
前記決定シーケンスにおける最後の出力決定の後、前記ビーム内の前記決定シーケンス候補から前記入力テキストシーケンスの前記決定シーケンスとして最も高いスコアを有する決定シーケンス候補を選択する
ように構成されるサブシステムと
を備える、システム。
【請求項１１】
前記決定のセットが、依存構文解析の可能な構文解析要素のセットであり、前記決定シーケンスが、前記テキストシーケンスの依存構文解析である、請求項10に記載のシステム。
【請求項１２】
前記決定のセットが、可能な品詞タグのセットであり、前記決定シーケンスが、前記テキストシーケンス内の単語ごとのそれぞれの品詞タグを含むシーケンスである、請求項10に記載のシステム。
【請求項１３】
前記決定のセットが、単語が前記入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、前記単語が前記圧縮表現に含まれるべきでないことを示すドロップラベルとを含み、前記決定シーケンスが、前記テキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである、請求項10に記載のシステム。
【請求項１４】
1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項10から13のいずれか一項に記載のシステムを実行させる命令で符号化される、1つまたは複数のコンピュータ可読記憶媒体。
【請求項１５】
コンピューティング装置によって実行されると、前記コンピューティング装置に、請求項1から7のいずれか一項に記載の方法を実行させる機械可読命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2016年3月18日に出願された米国仮出願第62/310,491号の優先権を主張する。先行出願の開示は、本出願の一部とみなされ、参照により本開示に組み込まれる。
【０００２】
本明細書は、ニューラルネットワークを使用した自然言語処理に関する。
【背景技術】
【０００３】
ニューラルネットワークは、非線形ユニットの1つまたは複数の層を使用して受信された入力の出力を予測する機械学習モデルである。いくつかのニューラルネットワークは、出力層に加えて、1つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち次の隠れ層または出力層への入力として使用される。ネットワークの各層は、パラメータのそれぞれのセットの現在の値に従って受信された入力から出力を生成する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書は、グローバルに正規化されたニューラルネットワークを使用して決定シーケンスを生成するようにテキストシーケンスを処理する、1つまたは複数の場所にある1つまたは複数のコンピュータ上のコンピュータプログラムとして実装されるシステムについて説明する。
【０００５】
一般に、本明細書に記載される主題の1つの発明的態様は、ニューラルネットワークが、入力状態を受信し、決定のセット内の決定ごとにそれぞれのスコアを生成するように入力状態を処理するように構成される、トレーニングデータに対してパラメータを有するニューラルネットワークをトレーニングする方法に具現化することができる。本方法は、第1のトレーニングデータを受信するアクションを含み、第1のトレーニングデータが、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む。本方法は、ニューラルネットワークのパラメータの第1の値からニューラルネットワークのパラメータのトレーニングされた値を決定するために第1のトレーニングデータに対してニューラルネットワークをトレーニングするアクションを含む。ニューラルネットワークをトレーニングすることは、第1のトレーニングデータ内のトレーニングテキストシーケンスごとに、トレーニングテキストシーケンスについての所定の数の予測される決定シーケンス候補のビームを維持することと、ニューラルネットワークのパラメータの現在の値に従って、ニューラルネットワークによって生成されたスコアを使用してそれぞれの予測される決定シーケンス候補に一度に1つの決定を追加することによって、ビーム内のそれぞれの予測される決定シーケンス候補を更新することと、予測される決定シーケンス候補の各々に決定が追加されるたびに、トレーニングテキストシーケンスに対応するゴールド決定シーケンスのプレフィックスと一致する予測されるゴールド決定シーケンス候補がビームからドロップしたと判定することと、予測されるゴールド決定シーケンス候補がビームからドロップしたとの判定に応答して、予測されるゴールド決定シーケンス候補および現在ビーム内にある予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行することとを含む。
【０００６】
上記および他の実施形態は各々、以下の特徴のうちの1つまたは複数を単独でまたは組み合わせて、オプションで含むことができる。本方法は、第2のトレーニングデータを受信するアクションであり、第2のトレーニングデータが、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む、アクションと、トレーニングテキストシーケンスごとに、トレーニングテキストシーケンスに対応するゴールド決定シーケンスにおける決定のためにニューラルネットワークによって生成されたスコアと、ゴールド決定シーケンスにおける決定のために生成されたスコアの局所正規化(local normalization)とに依存する目的関数を最適化することによって、ニューラルネットワークのパラメータの初期値からニューラルネットワークのパラメータの第1の値を決定するために第2のトレーニングデータに対してニューラルネットワークを事前トレーニングするアクションとを含むことができる。ニューラルネットワークは、グローバルに正規化されたニューラルネットワークとすることができる。決定のセットは、依存構文解析(dependency parse)の可能な構文解析要素のセットとすることができ、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンスの依存構文解析とすることができる。決定のセットは、可能な品詞タグ(part of speech tag)のセットとすることができ、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの品詞タグを含むシーケンスとすることができる。決定のセットは、単語が入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、単語が圧縮表現に含まれるべきでないことを示すドロップラベルとを含むことができ、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである。予測されるシーケンス候補が確定された後に予測されるゴールド決定シーケンス候補がビームからドロップしていない場合、方法は、ゴールド決定シーケンス、および確定された予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行するアクションをさらに含むことができる。
【０００７】
本明細書に記載される主題の別の発明的態様は、1つまたは複数のコンピュータによって実行されると、1つまたは複数のコンピュータに、上述した方法の動作を実行させる命令で符号化された1つまたは複数のコンピュータ可読記憶媒体に具現化することができる。
【０００８】
本明細書に記載される主題の別の発明的態様は、1つまたは複数のコンピュータと、1つまたは複数のコンピュータによって実行されると、1つまたは複数のコンピュータに、上述した方法の動作を実行させる命令を記憶する1つまたは複数の記憶デバイスとを含むシステムに具現化することができる。
【０００９】
本明細書に記載される主題の別の発明的態様は、入力テキストシーケンスについての決定シーケンスを生成するためのシステムに具現化することができ、決定シーケンスが複数の出力決定を含む。本システムは、入力状態を受信し、決定のセット内の決定ごとにそれぞれのスコアを生成するように入力状態を処理するように構成されるニューラルネットワークを含む。システムは、入力テキストシーケンスについての所定の数の決定シーケンス候補のビームを維持するように構成されるサブシステムをさらに含む。決定シーケンスにおける各出力決定について、サブシステムは、以下の動作を繰り返し実行するように構成される。現在ビーム内にある決定シーケンス候補ごとに、サブシステムは、決定シーケンス候補を表す状態を入力としてニューラルネットワークに提供し、ニューラルネットワークから複数の新しい決定シーケンス候補ごとにそれぞれのスコアを取得し、それぞれの新しい決定シーケンス候補が、現在の決定シーケンス候補に追加された許容された決定のセットからのそれぞれの許容された決定を有し、ニューラルネットワークから取得されたスコアに従って最も高いスコアを有する所定の数の新しい決定シーケンス候補のみを含むようにビームを更新し、更新されたビーム内の決定シーケンス候補ごとに、新しい決定シーケンス候補を表すそれぞれの状態を生成する。決定シーケンスにおける最後の出力決定の後、サブシステムは、ビーム内の決定シーケンス候補から入力テキストシーケンスの決定シーケンスとして最も高いスコアを有する決定シーケンス候補を選択する。
【００１０】
上記および他の実施形態は各々、以下の特徴のうちの1つまたは複数を単独でまたは組み合わせて、オプションで含むことができる。決定のセットは、依存構文解析の可能な構文解析要素のセットとすることができ、決定シーケンスは、テキストシーケンスの依存構文解析とすることができる。決定のセットは、可能な品詞タグのセットとすることができ、決定シーケンスは、テキストシーケンス内の単語ごとのそれぞれの品詞タグを含むシーケンスである。決定のセットは、単語が入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、単語が圧縮表現に含まれるべきでないことを示すドロップラベルとを含むことができ、決定シーケンスは、テキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである。
【００１１】
本明細書に記載される主題の別の発明的態様は、1つまたは複数のコンピュータによって実行されると、1つまたは複数のコンピュータに、上述した第1のシステムを実施させる命令で符号化された1つまたは複数のコンピュータ可読記憶媒体に具現化することができる。
【００１２】
本明細書に記載される主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するように実施することができる。本明細書に記載されているようなグローバルに正規化されたニューラルネットワークは、既存のニューラルネットワークモデルよりも効果的かつ費用効率的に、品詞タグ付け、依存構文解析、文章圧縮などの自然言語処理タスクにおいて良好な結果を達成するために使用できる。たとえば、グローバルに正規化されたニューラルネットワークは、遷移システム上で動作するフィードフォワードニューラルネットワークとすることができ、計算コストの一部で既存のニューラルネットワークモデル(たとえば、再帰モデル)と同等またはそれより良い精度を達成するために使用することができる。さらに、グローバルに正規化されたニューラルネットワークは、多くの既存のニューラルネットワークモデルに適用されるラベルバイアス問題を回避することができる。
【００１３】
本明細書の主題の1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載されている。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】ニューラルネットワークを含む例示的な機械学習システムのブロック図である。
【図２】ニューラルネットワークを使用して入力テキストシーケンスから決定シーケンスを生成するための例示的プロセスのフロー図である。
【図３】トレーニングデータに対してニューラルネットワークをトレーニングするための例示的なプロセスのフロー図である。
【図４】トレーニングデータ内の各トレーニングテキストシーケンスに対してニューラルネットワークをトレーニングするための例示的なプロセスのフロー図である。
【発明を実施するための形態】
【００１５】
様々な図面における同様の参照番号および名称は同様の要素を示す。
【００１６】
図1は、例示的な機械学習システム102のブロック図である。機械学習システム102は、以下に説明するシステム、構成要素、および技法を実装することができる、1つまたは複数の場所にある1つまたは複数のコンピュータ上にコンピュータプログラムとして実装されるシステムの一例である。
【００１７】
機械学習システム102は、遷移システム104およびニューラルネットワーク112を含み、入力テキストシーケンス108を受信し、入力テキストシーケンス108についての決定シーケンス116を生成するために入力テキストシーケンス108を処理するように構成される。入力テキストシーケンス108は、たとえばセンテンス、センテンスフラグメント、または別のマルチワードシーケンスなどの特定の自然言語における単語のシーケンス、また場合により句読点である。
【００１８】
決定シーケンスは一連の決定である。たとえば、シーケンス内の決定は、入力テキストシーケンス内の単語の品詞タグであってもよい。
【００１９】
別の例として、決定は、入力テキストシーケンス内の単語の保持ラベルまたはドロップラベルであってもよい。保持ラベルは、単語が入力テキストシーケンスの圧縮表現に含まれるべきことを示し、ドロップラベルは、単語が圧縮表現に含まれるべきでないことを示す。
【００２０】
別の例として、決定は、依存構文解析の構文解析要素であってもよく、したがって、決定シーケンスは入力テキストシーケンスの依存構文解析である。一般に、依存構文解析は、文脈自由文法によるテキストシーケンスの構文構造を表す。決定シーケンスは、深さ優先のトラバーサル順序で依存構文解析をトラバースすることによって生成されてもよい依存構文解析の線形化表現であってもよい。
【００２１】
一般に、ニューラルネットワーク112は、入力状態を受信し、トレーニングプロセス中に目的関数を最小限に抑えるようにトレーニングされていることによって、決定のセット内の決定ごとにそれぞれのスコアを生成するように入力状態を処理するように構成されるニューラルネットワークである。入力状態は、現在の決定シーケンスの符号化である。いくつかの場合には、ニューラルネットワークはまた、テキストシーケンスを入力として受信し、決定スコアを生成するようにテキストシーケンスおよび状態を処理する。他の場合には、状態はまた、現在の決定シーケンスに加えてテキストシーケンスを符号化する。
【００２２】
いくつかの場合には、目的関数は、条件付き確率分布関数の積によって表される。各条件付き確率分布関数は、過去の決定が与えられた場合の次の決定の確率を表す。各条件付き確率分布関数は、条件付きスコアのセットによって表される。条件付きスコアは1.0よりも大きくすることができ、したがって、有効な条件付き確率分布関数を有するように、局所正規化項によって正規化される。条件付き確率分布関数ごとに1つの局所正規化項が存在する。具体的には、これらの場合、目的関数は次のように定義される。
【数１】
2019513267.tif 000003
ここで、PL(d1:n)は、x1:nとして示される入力テキストシーケンスが与えられた場合のd1:nの決定のシーケンスの確率であり、
P(dj|d1:j-1;θ)は、前の決定シーケンスd1:j-1、モデルパラメータを含むベクトルθ、および入力テキストシーケンスx1:nが与えられた場合の決定シーケンスdjに対する条件付き確率分布であり、
ρ(d1:j-1,dj;θ)は、前の決定シーケンスd1:j-1、モデルパラメータを含むベクトルθ、および入力テキストシーケンスx1:nが与えられた場合の決定シーケンスdjに対する条件付きスコアであり、
ZL(d1:j-1;θ)は、局所正規化項である。
【００２３】
何らかの他の場合では、目的関数は、決定シーケンス全体の結合確率分布関数によって表される。これらの他の場合には、目的関数は、条件付き確率場(CRF)目的関数と呼ぶことができる。結合確率分布関数は、スコアのセットとして表される。これらのスコアは1.0よりも大きくすることができ、したがって、有効な結合確率分布関数を有するように、グローバル正規化項(global normalization term)によって正規化される。グローバル正規化項は、決定シーケンス内のすべての決定によって共有される。より具体的には、これらの他の場合において、CRF目的関数は以下のように定義される。
【数２】
2019513267.tif 000004
ここで、PG(d1:n)は、入力テキストシーケンスx1:nが与えられた場合のd1:nの決定のシーケンスの結合確率分布であり、
ρ(d1:j-1,dj;θ)は、前の決定シーケンスd1:j-1、モデルパラメータを含むベクトルθ、および入力テキストシーケンスx1:nが与えられた場合の決定シーケンスdjに対する結合スコアであり、
ZG(θ)は、グローバル正規化項であり、
Dnは、長さnのすべての許容された決定シーケンスのセットである。
【００２４】
これらの他の場合では、ニューラルネットワーク112は、CRF目的関数を最大にするように構成されているので、グローバルに正規化されたニューラルネットワークと呼ばれる。グローバル正規化項を維持することによって、ニューラルネットワーク112は、既存のニューラルネットワークが呈するラベルバイアス問題を回避することができる。より具体的には、多くの場合、ニューラルネットワークは、以前の誤った決定を除外する後の情報が利用可能になったときに以前の決定を修正することが可能であると予想される。ラベルバイアスの問題は、局所的に正規化されたネットワークなどの一部の既存のニューラルネットワークが有する以前の決定を修正する能力が弱いことを意味する。
【００２５】
遷移システム104は、特別な開始状態、状態のセット内の状態ごとの許容された決定のセット、ならびに各状態および状態ごとの許容された決定のセットからの決定を新しい状態にマッピングする遷移関数を含む状態のセットを維持する。
【００２６】
特に、状態は、現在決定シーケンスにある決定の履歴の全体を符号化する。いくつかの場合には、各状態には一意の決定シーケンスによってのみ到達できる。したがって、これらの場合、決定シーケンスおよび状態は互換的に使用することができる。状態は決定の履歴の全体を符号化するので、特別な開始状態は空であり、状態のサイズは時間とともに拡大する。たとえば、品詞タグ付けでは、「ジョンは医者である」というセンテンスを考察する。特別な開始状態は"Empty"である。特別な開始状態が現在の状態であるとき、現在の状態についての許容された決定のセットは、{Noun, Verb}であってもよい。したがって、現在の状態の次の状態について、2つの可能な状態"Empty, Noun"および"Empty, Verb"が存在する。遷移システム104は、許容された決定のセットから次の決定を決定することができる。たとえば、遷移システム104は、次の決定がNounであると決定する。そのとき、次の状態は"Empty, Noun"である。遷移システム104は、現在の状態、および現在の状態について決定された次の決定を新しい状態、たとえば第1の状態"Empty, Noun"にマッピングするために遷移関数を使用することができる。遷移システム104は、その後の状態を生成するためにこのプロセスを繰り返し実行することができ、たとえば第2の状態を"Empty, Noun, Verb"とすることができ、第3の状態を"Empty, Noun, Verb, Article"とすることができ、第4の状態を"Empty, Noun, Verb, Article, Noun"とすることができる。この意思決定プロセスについて、図2〜図4を参照して以下により詳細に説明する。
【００２７】
入力テキストシーケンス108の処理中、遷移システム104は、入力テキストシーケンス108についての所定の数の決定シーケンス候補のビーム106を維持する。遷移システム104は、入力テキストシーケンス108を受信し、受信された入力テキストシーケンス108に基づいて(たとえば、入力テキストシーケンス内の最初の単語などの単語に基づいて)遷移システム104の特別な開始状態を定義するように構成される。
【００２８】
一般に、入力テキストシーケンス108の処理中および決定シーケンスの現在の状態の間、遷移システム104は、ニューラルネットワーク112への入力状態110として新しい状態を生成するために遷移関数を現在の状態に適用する。ニューラルネットワーク112は、入力状態110についてのそれぞれのスコア114を生成するように入力状態110を処理するように構成される。次いで、遷移システム104は、ニューラルネットワーク112によって生成されたスコアを使用してビーム106を更新するように構成される。決定シーケンス候補が確定された後、遷移システム104は、入力テキストシーケンス108についての決定シーケンス116としてビーム106内の決定シーケンス候補のうちの1つを選択するように構成される。入力テキストシーケンス108についての決定シーケンス116を生成するプロセスは、図2を参照して以下でより詳細に説明される。
【００２９】
図2は、入力テキストシーケンスから決定シーケンスを生成するための例示的プロセス200のフロー図である。便宜上、プロセス200は、1つまたは複数の場所に位置する1つまたは複数のコンピュータのシステムによって実行されるものとして説明する。たとえば、本明細書に従って適切にプログラムされた図1の機械学習システム102のような機械学習システムは、プロセス200を実行することができる。
【００３０】
システムは、たとえば複数の単語を含むセンテンスなどの入力テキストシーケンスを取得する(ステップ202)。
【００３１】
システムは、取得された入力テキストシーケンスについての決定シーケンス候補のビームを維持する(ステップ204)。
【００３２】
入力テキストシーケンスについての決定シーケンスを生成する一部として、システムは、決定シーケンスにおける各出力決定についてステップ206〜210を繰り返し実行する。
【００３３】
現在ビーム内にある決定シーケンス候補ごとに、システムは、決定シーケンス候補を表す状態を入力としてニューラルネットワーク(たとえば、図1のニューラルネットワーク112)に提供し、ニューラルネットワークから複数の新しい決定シーケンス候補ごとにそれぞれのスコアを取得し、それぞれの新しい決定シーケンス候補は、現在の決定シーケンス候補に追加された許容された決定のセット内のそれぞれの許容された決定を有する(ステップ206)。すなわち、システムは、決定シーケンス候補の現在の状態についての許容された決定を決定し、許容された決定ごとにそれぞれのスコアを取得するためにニューラルネットワークを使用する。
【００３４】
システムは、ニューラルネットワークから取得されたスコアに従って最も高いスコアを有する所定の数の新しい決定シーケンス候補のみを含むようにビームを更新する(ステップ208)。すなわち、システムは、ビーム内のシーケンスを所定の数の新しい決定シーケンス候補で置き換える。
【００３５】
システムは、ビーム内の新しい決定シーケンス候補ごとにそれぞれの新しい状態を生成する(ステップ210)。特に、所与の決定シーケンス候補に所与の決定を追加することによって生成された新しい決定シーケンス候補が与えられると、システムは、所与の決定シーケンス候補についての現在の状態に遷移関数を適用することによって新しい状態を生成し、所与の決定シーケンス候補に追加された所与の決定は、新しい決定シーケンスを生成する。
【００３６】
システムは、ビーム内の決定シーケンス候補が確定されるまでステップ206〜210を引き続き繰り返す。特に、システムは、入力シーケンスに基づいて決定シーケンスに含まれるべき決定の数を決定し、決定シーケンス候補が決定された数の決定を含むとき、決定シーケンス候補が確定されると決定する。たとえば、決定が品詞タグであるとき、決定シーケンスは、入力シーケンス内にある単語と同じ数の決定を含む。別の例として、決定が保持ラベルまたはドロップラベルであるときも、決定シーケンスは、入力シーケンス内にある単語と同じ数の決定を含む。別の例として、決定が構文解析要素であるとき、決定シーケンスは、入力シーケンス内にある単語の数の2倍などの入力シーケンス内の単語の数の倍数を含む。
【００３７】
ビーム内の決定シーケンス候補が確定された後、システムは、入力テキストシーケンスについての決定シーケンスとして最も高いスコアを有するビーム内の決定シーケンス候補から選択する(ステップ212)。
【００３８】
図3は、トレーニングデータに対してニューラルネットワークをトレーニングするための例示的なプロセス300のフロー図である。便宜上、プロセス300は、1つまたは複数の場所に位置する1つまたは複数のコンピュータのシステムによって実行されるものとして説明する。たとえば、本明細書に従って適切にプログラムされた図1の機械学習システム102のような機械学習システムは、プロセス300を実行することができる。
【００３９】
ニューラルネットワークをトレーニングするために、システムは、トレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む第1のトレーニングデータを受信する(ステップ302)。一般に、ゴールド決定シーケンスは、複数の決定を含むシーケンスであり、各決定は可能な決定のセットから選択される。
【００４０】
いくつかの場合には、決定のセットは、依存構文解析の可能な構文解析要素のセットである。これらの場合、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンスの依存構文解析である。
【００４１】
いくつかの場合には、決定のセットは、可能な品詞タグのセットである。これらの場合、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの品詞タグを含むシーケンスである。
【００４２】
他のいくつかの場合には、決定のセットは、単語が入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、単語が圧縮表現に含まれるべきでないことを示すドロップラベルとを含む。これらの他の場合では、ゴールド決定シーケンスは、対応するトレーニングテキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである。
【００４３】
オプションで、システムは、最初に追加のトレーニングデータを取得し、追加のトレーニングデータに対してニューラルネットワークを事前トレーニングすることができる(ステップ304)。特に、システムは、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む第2のトレーニングデータを受信することができる。第2のトレーニングデータは、第2のトレーニングデータと同じであっても異なっていてもよい。
【００４４】
システムは、トレーニングテキストシーケンスごとに、トレーニングテキストシーケンスに対応するゴールド決定シーケンスにおける決定のためにニューラルネットワークによって生成されたスコアと、ゴールド決定シーケンスにおける決定のために生成されたスコアの局所正規化とに依存する目的関数を最適化することによって、ニューラルネットワークのパラメータの初期値からニューラルネットワークのパラメータの第1の値を決定するために第2のトレーニングデータに対してニューラルネットワークを事前トレーニングすることができる(ステップ304)。特に、いくつかの場合には、システムは、たとえば上記の関数(1)などのニューラルネットワークを局所的に正規化する目的関数を使用して第2のトレーニングデータの負の対数尤度に対して勾配降下を実行することができる。
【００４５】
次いで、システムは、ニューラルネットワークのパラメータの第1の値からニューラルネットワークのパラメータのトレーニングされた値を決定するために第1のトレーニングデータに対してニューラルネットワークをトレーニングする(ステップ306)。特に、システムは、第1のトレーニングデータ内のトレーニングテキストシーケンスの各々に対してトレーニングプロセスを実行する。所与のトレーニングテキストシーケンスに対してトレーニングプロセスを実行することについて、図4を参照して以下で詳細に説明する。
【００４６】
図4は、第1のトレーニングデータ内のトレーニングテキストシーケンスに対してニューラルネットワークをトレーニングするための例示的なトレーニングプロセス400のフロー図である。便宜上、プロセス400は、1つまたは複数の場所に位置する1つまたは複数のコンピュータのシステムによって実行されるものとしても説明する。たとえば、本明細書に従って適切にプログラムされた図1の機械学習システム102などの機械学習システムは、図1のシステムは、トレーニングプロセス400を実行することができる。
【００４７】
システムは、トレーニングテキストシーケンスについての所定の数の予測される決定シーケンス候補のビームを維持する(ステップ402)。
【００４８】
次いで、システムは、図2を参照しながら上記で説明したように、ニューラルネットワークのパラメータの現在の値に従って、ニューラルネットワークによって生成されたスコアを使用してそれぞれの予測される決定シーケンス候補に一度に1つの決定を追加することによって、ビーム内のそれぞれの予測される決定シーケンス候補を更新する(ステップ404)。
【００４９】
予測される決定シーケンス候補の各々に決定が追加されるたびに、システムは、トレーニングテキストシーケンスに対応するゴールド決定シーケンスのプレフィックスと一致する予測されるゴールド決定シーケンス候補がビームからドロップしたかどうかを判定する(ステップ406)。すなわち、ゴールド決定シーケンスは、現在のタイムステップの後に切り捨てられ、現在ビーム内にある予測される決定シーケンス候補と比較される。一致がある場合、ゴールド決定シーケンスはビームからドロップしていない。一致がない場合、ゴールド決定シーケンスはビームからドロップしている。
【００５０】
予測されるゴールド決定シーケンス候補がビームからドロップしたとの判定に応答して、システムは、予測されるゴールド決定シーケンス候補および現在ビーム内にある予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行する(ステップ408)。勾配降下ステップは、以下の目的に対して行われる。
【数３】
2019513267.tif 000005
ここで、ρ(d*1:i-1,d*i;θ)は、前のゴールド決定シーケンス候補d*1:i-1、モデルパラメータを含むベクトルθ、および入力テキストシーケンスxが与えられた場合のゴールド決定シーケンス候補d*iに対する結合スコアであり、
ρ(d'1:i-1,d'i;θ)は、ビーム内の前の決定シーケンス候補d'1:i-1、モデルパラメータを含むベクトルθ、および入力テキストシーケンスxが与えられた場合のビーム内の決定シーケンス候補d'iに対する結合スコアであり、
Bjは、ゴールド決定シーケンス候補がドロップされたときのビーム内のすべての決定シーケンス候補のセットであり、
d*1:jは、現在のトレーニングテキストシーケンスに対応するゴールド決定シーケンスのプレフィックスである。
【００５１】
次いで、システムは、予測されるシーケンス候補が確定されたかどうかを判定する(ステップ410)。予測されるシーケンス候補が確定された場合、システムはトレーニングシーケンスに対するニューラルネットワークのトレーニングを停止する(ステップ412)。予測されるシーケンス候補が確定されていない場合、システムは、予測されるゴールド決定シーケンス候補を含むようにビームをリセットする。次いで、ビーム内のそれぞれの予測される決定シーケンス候補を更新するために、システムはステップ404に戻る。
【００５２】
予測されるゴールド決定シーケンス候補がビームからドロップしていないとの判定に応答して、システムは、次いで予測されるシーケンス候補が確定されたかどうかを判定する(ステップ414)。
【００５３】
予測シーケンス候補が確定され、予測されるゴールド決定シーケンス候補が依然としてビームにある場合、システムは、ゴールド決定シーケンスおよび確定された予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行する(ステップ416)。すなわち、予測されるゴールド決定シーケンス候補がプロセス全体を通じてビーム内に残っているとき、勾配降下ステップは、プロセスの終了時にビーム内に残っている決定シーケンス候補のすべてのセットおよびプレフィックスの代わりに、ゴールド決定シーケンス全体を使用して上記の式(3)に示したのと同じ目的に対して行われる。次いで、システムは、トレーニングシーケンスに対するニューラルネットワークのトレーニングを停止する(ステップ412)。
【００５４】
予測されるシーケンス候補が確定されていない場合、システムはステップ404に戻り、ビーム内のそれぞれの予測される決定シーケンス候補を更新する。
【００５５】
1つまたは複数のコンピュータのシステムが特定の動作またはアクションを実行するように構成されていることは、システムが、動作中、システムに動作またはアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをインストールしていることを意味する。1つまたは複数のコンピュータプログラムが特定の動作またはアクションを実行するように構成されていることは、1つまたは複数のプログラムが、データ処理装置によって実行されると、装置に動作またはアクションを実行させる命令を含むことを意味する。
【００５６】
本明細書に記載された主題および機能的動作の実施形態は、本明細書に開示される構造およびそれらの構造的均等物、またはそれらの1つもしくは複数の組合せを含めて、デジタル電子回路、有形に実施されたコンピュータソフトウェアまたはファームウェア、コンピュータハードウェアに実装することができる。本明細書に記載される主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行される、またはデータ処理装置の動作を制御するための有形の非一時的プログラムキャリア上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装することができる。代替的に、または追加として、プログラム命令は、人工的に生成された伝搬信号、たとえばデータ処理装置によって実行するための適切な受信機装置への送信のために情報を符号化するために生成された機械で生成された電気、光学、または電磁信号上で符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはそれらの1つもしくは複数の組合せとすることができる。しかしながら、コンピュータ記憶媒体は、伝搬された信号ではない。
【００５７】
「データ処理装置」という用語は、たとえばプログラム可能プロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイスおよび機械を包含する。本装置は、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの専用論理回路を含むことができる。本装置はまた、ハードウェアに加えて、当該のコンピュータプログラムの実行環境を生成するコード、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの1つまたは複数の組合せを構成するコードを含むことができる。
【００５８】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも呼ばれ、または記載されてもよい)は、コンパイルもしくはインタープリタ型言語、または宣言型もしくは手続き型言語を含む、任意の形式のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境での使用に適した他のユニットとして含む、任意の形式で展開できる。コンピュータプログラムは、必要ではないが、ファイルシステム内のファイルに対応してもよい。プログラムは、当該のプログラム専用の単一のファイル、あるいは1つもしくは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイルなどの複数のコーディネートされたファイルに、たとえばマークアップ言語文書に記憶された1つまたは複数のスクリプトなどの他のプログラムまたはデータを保持するファイルの一部に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに位置するか、もしくは複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。
【００５９】
本明細書で使用する「エンジン」または「ソフトウェアエンジン」は、入力とは異なる出力を提供するソフトウェア実装の入出力システムを指す。エンジンは、ライブラリ、プラットフォーム、ソフトウェア開発キット("SDK")、またはオブジェクトなどの機能の符号化ブロックとすることができる。各エンジンは、1つまたは複数のプロセッサおよびコンピュータ可読媒体を含むサーバ、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、音楽プレーヤ、電子書籍、ラップトップもしくはデスクトップコンピュータ、PDA、スマートフォン、または他の固定もしくはポータブルデバイスなど任意の適切なタイプのコンピューティングデバイス上に実装することができる。さらに、2つ以上のエンジンが、同じコンピューティングデバイス上に、または異なるコンピューティングデバイス上に実装されてもよい。
【００６０】
本明細書で記述されたプロセスおよび論理フローは、入力データ上で動作しかつ出力を生成することによって機能を実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実行することができる。プロセスおよび論理フローはまた、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの専用論理回路によっても実行することができ、装置を専用論理回路として実装することができる。
【００６１】
コンピュータプログラムの実行に適したコンピュータは、一例として、汎用もしくは専用マイクロプロセッサ、もしくはその両方、または他の種類の中央処理装置を含み、それに基づくことができる。一般に、中央処理装置は、読取り専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行または実行するための中央処理装置、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、たとえば磁気、光磁気ディスク、または光ディスクなどのデータを記憶するための1つまたは複数の大容量記憶デバイスを含み、あるいは1つまたは複数の大容量記憶デバイスからデータを受信する、それにデータを転送する、またはその両方のために動作可能に結合される。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、たとえばほんのいくつかの例を挙げれば、携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルストレージデバイス(たとえば、ユニバーサルシリアルバス(USB))フラッシュドライブ中に組み込むことができる。
【００６２】
コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、一例として、たとえばEPROM、EEPROM、およびフラッシュメモリデバイスなどの半導体メモリデバイス、たとえば内部ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスクを含むすべての形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路によって補うことができ、またはそれに組み込むことができる。
【００６３】
ユーザとの対話を提供するために、本明細書に記載される主題の実施形態は、ユーザに情報を表示するための、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタなどのディスプレイデバイス、ならびにキーボードおよび、ユーザがコンピュータに入力を提供することができる、たとえばマウスまたはトラックボールなどのポインティングデバイスを有するコンピュータ上に実装することができる。他の種類のデバイスを使用してユーザとの対話を提供することもでき、たとえばユーザに提供されるフィードバックは、たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックなどの任意の形態の感覚フィードバックとすることができ、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。さらに、コンピュータは、たとえばウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによってなどのユーザによって使用されるデバイスとの間でドキュメントを送受信することによって、ユーザと対話することができる。
【００６４】
本明細書に記載される主題の実施形態は、たとえばデータサーバとしてのバックエンド構成要素を含む、またはアプリケーションサーバなどのミドルウェア構成要素を含む、またはたとえばグラフィカルユーザインタフェースを有するクライアントコンピュータ、またはユーザが本明細書に記載された主題の実装と対話することができるウェブブラウザを有するクライアントコンピュータなどのフロントエンド構成要素を含む、または1つもしくは複数のそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実装することができる。システムの構成要素は、たとえば通信ネットワークなどの任意の形式または媒体のデジタルデータ通信によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク("LAN")およびワイドエリアネットワーク("WAN")、たとえばインターネットがある。
【００６５】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは、一般に互いに遠隔であり、典型的には通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【００６６】
本明細書は、多くの具体的な実装の詳細を含むが、これらは、任意の発明の範囲または特許請求される可能性のある範囲に対する限定ではなく、むしろ特定の発明の特定の実施形態に固有であってもよい特徴の説明として解釈されるものとする。別個の実施形態の文脈において本明細書で説明されるいくつかの特徴は、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態の文脈で記載されている様々な特徴は、複数の実施形態で別々にまたは任意の適切な部分組合せで実装することもできる。さらに、特徴は、いくつかの組合せで作用するものとして上述されており、当初はそのように請求されているが、いくつかの場合には、請求された組合せからの1つまたは複数の特徴を、組合せから切り取ることができ、請求された組合せは、部分組合せ、または部分組合せの変形を対象としてもよい。
【００６７】
同様に、動作が特定の順序で図面に示されているが、これは、そのような動作が、示された特定の順序で、または順番に実行されること、あるいは望ましい結果を達成するために、図示されたすべての動作が実行されることを必要とするものと理解されないものとする。いくつかの状況では、マルチタスキングおよび並列処理が有利である場合がある。さらに、上述した実施形態における様々なシステムモジュールおよび構成要素の分離は、すべての実施形態においてそのような分離を必要とするものと理解されないものとし、記述されたプログラム構成要素およびシステムが、一般に単一のソフトウェア製品に一緒に組み入れられ、または複数のソフトウェア製品にパッケージ化することができることを理解されたい。
【００６８】
主題の特定の実施形態が記載されている。他の実施形態は、以下の特許請求の範囲内にある。たとえば、特許請求の範囲に列挙されたアクションは、異なる順序で実行され、依然として望ましい結果を達成することができる。一例として、添付の図面に示されるプロセスは、望ましい結果を達成するために、示された特定の順序または逐次的な順序を必ずしも必要としない。いくつかの実装形態では、マルチタスキングおよび並列処理が有利である場合がある。
【符号の説明】
【００６９】
102  機械学習システム
104  遷移システム
106  ビーム
108  入力テキストシーケンス
110  入力状態
112  ニューラルネットワーク
114  スコア
116  決定シーケンス
200  プロセス
300  プロセス
400  トレーニングプロセス
【図１】
2019513267.tif 000006
【図２】
2019513267.tif 000007
【図３】
2019513267.tif 000008
【図４】
2019513267.tif 000009
【手続補正書】
【提出日】平成30年11月12日(2018.11.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
トレーニングデータに対してパラメータを有するニューラルネットワークをトレーニングする方法であって、
前記ニューラルネットワークが、入力状態を受信し、かつ決定のセット内の決定ごとにそれぞれのスコアを生成するように前記入力状態を処理するように構成され、前記方法が、
第1のトレーニングデータを受信するステップであって、前記第1のトレーニングデータが、複数の事前トレーニングテキストシーケンスと、事前トレーニングテキストシーケンスごとに、対応する事前トレーニングゴールド決定シーケンスとを含む、ステップと、
事前トレーニングテキストシーケンスごとに、前記事前トレーニングテキストシーケンスに対応する前記事前トレーニングゴールド決定シーケンスにおける決定のために前記ニューラルネットワークによって生成されたスコアと、前記事前トレーニングテキストシーケンスに対応する前記事前トレーニングゴールド決定シーケンスにおける決定のために前記ニューラルネットワークによって生成されたスコアの局所正規化とに依存する目的関数を最適化することによって、前記ニューラルネットワークの前記パラメータの初期値から前記ニューラルネットワークのパラメータの第1の値を決定するために、前記第1のトレーニングデータに対して前記ニューラルネットワークを事前トレーニングするステップと、
第2のトレーニングデータを受信するステップであって、前記第2のトレーニングデータが、複数のトレーニングテキストシーケンスと、トレーニングテキストシーケンスごとに、対応するゴールド決定シーケンスとを含む、ステップと、
前記ニューラルネットワークの前記パラメータの前記第1の値から前記ニューラルネットワークの前記パラメータのトレーニングされた値を決定するために、前記第2のトレーニングデータに対して前記ニューラルネットワークをトレーニングするステップであって、前記第2のトレーニングデータ内のトレーニングテキストシーケンスごとに、
前記トレーニングテキストシーケンスについての所定の数の予測される決定シーケンス候補のビームを維持するステップと、
前記ニューラルネットワークの前記パラメータの現在の値に従って、前記ニューラルネットワークによって生成されたスコアを使用してそれぞれの予測される決定シーケンス候補に一度に1つの決定を追加することによって、前記ビーム内のそれぞれの予測される決定シーケンス候補を更新するステップと、
前記予測される決定シーケンス候補の各々に決定が追加されるたびに、前記トレーニングテキストシーケンスに対応する前記ゴールド決定シーケンスのプレフィックスと一致する予測されるゴールド決定シーケンス候補が前記ビームからドロップしたかどうかを判定するステップと、
前記予測されるゴールド決定シーケンス候補がビームからドロップしたとの判定に応答して、前記予測されるゴールド決定シーケンス候補および現在前記ビーム内にある前記予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行するステップと
を含み、
前記決定のセットが、単語が前記トレーニングテキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、前記単語が前記圧縮表現に含まれるべきでないことを示すドロップラベルとを含み、前記ゴールド決定シーケンスが、前記トレーニングテキストシーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである、
方法。
【請求項２】
前記ニューラルネットワークが、グローバルに正規化されたニューラルネットワークである、請求項1に記載の方法。
【請求項３】
前記予測されるシーケンス候補が確定された後に前記予測されるゴールド決定シーケンス候補が前記ビームからドロップしていない場合、前記ゴールド決定シーケンスおよび前記確定された予測されるシーケンス候補に依存する目的関数を最適化するために勾配降下の反復を実行するステップをさらに含む、請求項1または2に記載の方法。
【請求項４】
1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から3のいずれか一項に記載の方法を実行させる命令で符号化される、1つまたは複数のコンピュータ可読記憶媒体。
【請求項５】
1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から3のいずれか一項に記載の方法を実行させる命令を記憶する1つまたは複数の記憶デバイスとを備える、システム。
【請求項６】
入力テキストシーケンスについての決定シーケンスを生成するためのシステムであって、前記決定シーケンスが複数の出力決定を含み、前記システムが、
複数のパラメータを有するニューラルネットワークであって、
入力状態を受信し、
決定のセット内の決定ごとにそれぞれのスコアを生成するように前記入力状態を処理する
ように構成されるニューラルネットワークと、
サブシステムであって、
前記入力テキストシーケンスについての所定の数の決定シーケンス候補のビームを維持し、
前記決定シーケンスにおける各出力決定について、
現在前記ビーム内にある決定シーケンス候補ごとに、
前記決定シーケンス候補を表す状態を入力として前記ニューラルネットワークに提供し、かつ前記ニューラルネットワークから複数の新しい決定シーケンス候補ごとにそれぞれのスコアを取得することであって、それぞれの新しい決定シーケンス候補が、前記現在の決定シーケンス候補に追加された許容された決定のセットからのそれぞれの許容された決定を有する、提供かつ取得することと、
前記ニューラルネットワークから取得された前記スコアに従って最も高いスコアを有する所定の数の新しい決定シーケンス候補のみを含むように前記ビームを更新することと、
前記更新されたビーム内の新しい決定シーケンス候補ごとに、前記新しい決定シーケンス候補を表すそれぞれの状態を生成することと
を行い、
前記決定シーケンスにおける最後の出力決定の後、前記ビーム内の前記決定シーケンス候補から、前記入力テキストシーケンスの前記決定シーケンスとして最も高いスコアを有する決定シーケンス候補を選択する
ように構成される、サブシステムと
を備え、
事前トレーニングテキストシーケンスごとに、前記事前トレーニングテキストシーケンスに対応する事前トレーニングゴールド決定シーケンスにおける決定のために前記ニューラルネットワークによって生成されたスコアと、前記事前トレーニングテキストシーケンスに対応する前記事前トレーニングゴールド決定シーケンスにおける決定のために前記ニューラルネットワークによって生成されたスコアの局所正規化とに依存する目的関数を最適化することによって、前記ニューラルネットワークの前記パラメータの初期値から前記ニューラルネットワークのパラメータの第1の値を決定するために、複数の事前トレーニングテキストシーケンスと、事前トレーニングテキストシーケンスごとに、対応する前記事前トレーニングゴールド決定シーケンスとを含む第1のトレーニングデータに対して前記ニューラルネットワークが事前トレーニングされ、
前記決定のセットが、単語が前記入力テキストシーケンスの圧縮表現に含まれるべきことを示す保持ラベルと、前記単語が前記圧縮表現に含まれるべきでないことを示すドロップラベルとを含み、前記決定シーケンスが、前記入力シーケンス内の単語ごとのそれぞれの保持ラベルまたはドロップラベルを含むシーケンスである、
システム。
【請求項７】
1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項6に記載のシステムを実行させる命令で符号化される、1つまたは複数のコンピュータ可読記憶媒体。
【請求項８】
コンピューティング装置によって実行されると、前記コンピューティング装置に、請求項1から3のいずれか一項に記載の方法を実行させる機械可読命令を備える、コンピュータプログラム。
【国際調査報告】
2019513267.tif 000010