(57)【特許請求の範囲】
【請求項１】
複数の並列プロセッサ上で動作し、質問に基づいてドキュメントを解析し前記ドキュメントに基づいて前記質問に応答する相互注目質問応答システムであって、
ドキュメントワード埋め込み及び前のドキュメント文脈エンコーディングを複数の長短期記憶（略称ＬＳＴＭ）ゲートを通じて再帰的に処理し、ドキュメント文脈エンコーディングを作成するドキュメントエンコーダＬＳＴＭと、
質問ワード埋め込み及び前の質問文脈エンコーディングを前記ＬＳＴＭゲートを通じて再帰的に処理し、質問文脈エンコーディングを作成する質問エンコーダＬＳＴＭと、
ドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定する隠れ状態比較器と、
ドキュメント対質問ワードベースでソフトマックス関数を使用して生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記ドキュメント文脈エンコーディングの凸結合としてドキュメント文脈サマリを作成するドキュメントエンコーディングミキサと、
質問対ドキュメントワードベースでソフトマックス関数を使用して生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記質問文脈エンコーディングの凸結合として質問文脈サマリを作成する質問エンコーディングミキサと、
前記質問対ドキュメントワードベースでソフトマックス関数を使用して生成された前記指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記ドキュメント文脈サマリの凸結合として再注目ドキュメント文脈サマリを作成する再注目器と、
連結された入力及び前のドキュメント相互注目エンコーディングを複数のＬＳＴＭゲートを通じてフォワード及びリバース方向において再帰的に処理し、ドキュメント相互注目エンコーディングを作成する相互注目エンコーダ双方向ＬＳＴＭであり、前記連結された入力は、前記再注目ドキュメント文脈サマリ、前記質問文脈サマリ、及び前記ドキュメント文脈エンコーディングを含む、相互注目エンコーダ双方向ＬＳＴＭと、
前記ドキュメント相互注目エンコーディングと前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとデコーダＬＳＴＭの現在のデコーダ隠れ状態との結合をハイウェイマックスアウトネットワークを通じて反復的に処理して潜在的開始位置と次いで潜在的終了位置とについて前記ドキュメント相互注目エンコーディングをスコア付けするデコーダと、
を含み、前記デコーダは、
前記ハイウェイマックスアウトネットワークにより作成された潜在的スコアの中から選択し、現在推定された開始及び終了位置を生成するａｒｇｍａｘモジュール、及び、
終了条件に達すると、前記質問に応答するドキュメントフレーズを出力する出力生成器であり、前記ドキュメントフレーズは前記現在推定された開始及び終了位置に及びその範囲内におけるドキュメントワードを含む、出力生成器、
をさらに含む、相互注目質問応答システム。
【請求項２】
前のデコーダ隠れ状態と前に推定された開始及び終了位置における前記ドキュメント注目エンコーディングとに基づいて前記現在のデコーダ隠れ状態をさらに作成する前記デコーダＬＳＴＭ、をさらに含む請求項１に記載の相互注目質問応答システム。
【請求項３】
前記現在のデコーダ隠れ状態と前に推定された開始及び終了位置における前記ドキュメント注目エンコーディングとを非線形射影に射影する線形層と、
スコア付けされる各位置を前記非線形射影と結合し、各結合を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第１のマックスアウト層と、
スコア付けされる各位置について、前記第１のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第２のマックスアウト層と、
スコア付けされる各位置について、前記第１及び第２のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第３のマックスアウト層と、
を通じて、前記ドキュメント内の位置について前記ドキュメント相互注目エンコーディングをさらに処理する前記ハイウェイマックスアウトネットワーク、をさらに含む請求項１乃至２のうちいずれか１項に記載の相互注目質問応答システム。
【請求項４】
前記終了条件は、前記現在推定された開始及び終了位置が前記前に推定された開始及び終了位置に一致したとき達せられる、請求項１乃至３のうちいずれか１項に記載の相互注目質問応答システム。
【請求項５】
前記終了条件は、最大の反復数が達せられたとき達せられる、請求項１乃至４のうちいずれか１項に記載の相互注目質問応答システム。
【請求項６】
訓練例を通じてのすべての反復にわたり開始及び終了位置の推定における累積損失を最小化することにより、前記ドキュメントエンコーダＬＳＴＭと前記質問エンコーダＬＳＴＭと前記相互注目エンコーダ双方向ＬＳＴＭと前記デコーダＬＳＴＭと前記ハイウェイマックスアウトネットワークとを訓練する訓練器、をさらに含む請求項１乃至５のうちいずれか１項に記載の相互注目質問応答システム。
【請求項７】
前記累積損失は、逆伝播に基づくソフトマックス交差エントロピーを使用して前記訓練器により決定される、請求項６に記載の相互注目質問応答システム。
【請求項８】
前記ドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間の前記ペアごと言語類似度スコアは、前記隠れ状態比較器により適用されるドット積又は双線形積を使用して決定される、請求項１乃至６のうちいずれか１項に記載の相互注目質問応答システム。
【請求項９】
前記ａｒｇｍａｘモジュールによる前記潜在的スコアのうち最大のスコアの選択に基づいて前記現在推定された開始及び終了位置をさらに生成する前記デコーダ、をさらに含む請求項１乃至６及び８のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１０】
前記連結された入力をフォワード方向においてさらに処理し、フォワード出力を作成し、前記連結された入力をバックワード方向においてさらに処理し、リバース出力を作成し、前記フォワード及びリバース出力をさらに連結して前記ドキュメント相互注目エンコーディングを作成する前記相互注目エンコーダ双方向ＬＳＴＭ、をさらに含む請求項１乃至６及び８乃至９のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１１】
複数の並列プロセッサ上で動作し、質問に基づいてドキュメントを解析し前記ドキュメントに基づいて前記質問に応答する相互注目質問応答システムであって、
ドキュメントエンコーダ長短期記憶（略称ＬＳＴＭ）及び質問エンコーダＬＳＴＭにより再帰的に作成されるドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定する隠れ状態比較器と、
ドキュメント対質問ワードごと言語類似度スコアを使用して前記ドキュメント文脈エンコーディングに注目し、前記質問文脈エンコーディングを条件としたドキュメント文脈サマリを作成するドキュメントエンコーディングミキサと、
質問対ドキュメントワードごと言語類似度スコアを使用して前記質問文脈エンコーディングに注目し、前記ドキュメント文脈エンコーディングを条件とした質問文脈サマリを作成する質問エンコーディングミキサと、
前記質問対ドキュメントワードごと言語類似度スコアを使用して前記ドキュメント文脈サマリに注目し、前記質問文脈エンコーディングを再度条件とした再注目ドキュメント文脈サマリを作成する再注目器と、
前記再注目ドキュメント文脈サマリと前記質問文脈サマリと前記ドキュメント文脈エンコーディングとの連結を再帰的及び双方向に処理し、ドキュメント相互注目エンコーディングを作成する相互注目エンコーダＬＳＴＭと、
デコーダＬＳＴＭ及びハイウェイマックスアウトネットワークを使用して前記ドキュメント相互注目エンコーディングを反復的に処理し、前記質問に応答するドキュメントフレーズを出力するデコーダと、
を含む相互注目質問応答システム。
【請求項１２】
ドキュメントワード埋め込み及び前のドキュメント文脈エンコーディングを複数のＬＳＴＭゲートを通じてさらに再帰的に処理し、前記ドキュメント文脈エンコーディングを作成する前記ドキュメントエンコーダＬＳＴＭと、質問ワード埋め込み及び前の質問文脈エンコーディングを前記ＬＳＴＭゲートを通じてさらに再帰的に処理し、前記質問文脈エンコーディングを作成する前記質問エンコーダＬＳＴＭと、をさらに含む請求項１１に記載の相互注目質問応答システム。
【請求項１３】
ドキュメント対質問ワードベースで生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記ドキュメント文脈エンコーディングの凸結合として前記ドキュメント文脈サマリをさらに作成する前記ドキュメントエンコーディングミキサ、をさらに含み、質問対ドキュメントワードベースで生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記質問文脈エンコーディングの凸結合として前記質問文脈サマリをさらに作成する前記質問エンコーディングミキサ、をさらに含み、前記質問対ドキュメントワードベースで生成された前記指数関数的に正規化されたスコアシーケンスによりスケーリングされた前記ドキュメント文脈サマリの凸結合として前記再注目ドキュメント文脈サマリをさらに作成する前記再注目器、をさらに含む請求項１１乃至１２のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１４】
前記再注目ドキュメント文脈サマリと前記質問文脈サマリと前記ドキュメント文脈エンコーディングとの対応する要素を連結する連結器、をさらに含む請求項１１乃至１３のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１５】
前記相互注目エンコーダＬＳＴＭは、前記連結をフォワード方向においてさらに処理し、フォワード出力を作成し、前記連結をバックワード方向においてさらに処理し、リバース出力を作成し、前記フォワード及びリバース出力をさらに連結し、前記ドキュメント相互注目エンコーディングを作成する、請求項１１乃至１４のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１６】
前記ドキュメント相互注目エンコーディングと前に推定された開始及び終了位置におけるドキュメント注目エンコーディングと前記デコーダＬＳＴＭの現在のデコーダ隠れ状態との結合を前記ハイウェイマックスアウトネットワークを通じて反復的に処理して潜在的開始位置と次いで潜在的終了位置とについて前記ドキュメント相互注目エンコーディングをスコア付けする前記デコーダ、をさらに含み、前記デコーダは、
前記ハイウェイマックスアウトネットワークにより作成された潜在的スコアの中から選択し、現在推定された開始及び終了位置を生成するａｒｇｍａｘモジュール、及び、
終了条件に達すると、前記現在推定された開始及び終了位置に及びその範囲内におけるドキュメントワードを含む前記ドキュメントフレーズを出力する出力生成器
をさらに含む、請求項１１乃至１５のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１７】
前のデコーダ隠れ状態と前に推定された開始及び終了位置における前記ドキュメント注目エンコーディングとに基づいて前記現在のデコーダ隠れ状態をさらに作成する前記デコーダＬＳＴＭ、をさらに含む請求項１６に記載の相互注目質問応答システム。
【請求項１８】
前記現在のデコーダ隠れ状態と前に推定された開始及び終了位置における前記ドキュメント注目エンコーディングとを非線形射影に射影する線形層と、
スコア付けされる各位置を前記非線形射影と結合し、各結合を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第１のマックスアウト層と、
スコア付けされる各位置について、前記第１のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第２のマックスアウト層と、
スコア付けされる各位置について、前記第１及び第２のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して前記線形モデルのうち１つから最大出力を選択する第３のマックスアウト層と、
を通じて、前記ドキュメント内の位置について前記ドキュメント相互注目エンコーディングをさらに処理する前記ハイウェイマックスアウトネットワーク、をさらに含む請求項１６乃至１７のうちいずれか１項に記載の相互注目質問応答システム。
【請求項１９】
前記終了条件は、前記現在推定された開始及び終了位置が前記前に推定された開始及び終了位置に一致したとき達せられる、請求項１６乃至１８のうちいずれか１項に記載の相互注目質問応答システム。
【請求項２０】
前記終了条件は、最大の反復数が達せられたとき達せられる、請求項１６乃至１９のうちいずれか１項に記載の相互注目質問応答システム。
【請求項２１】
訓練例を通じてのすべての反復にわたり開始及び終了位置の推定における累積損失を最小化することにより、前記ドキュメントエンコーダＬＳＴＭと前記質問エンコーダＬＳＴＭと前記相互注目エンコーダＬＳＴＭと前記デコーダＬＳＴＭと前記ハイウェイマックスアウトネットワークとを訓練する訓練器、をさらに含む請求項１６乃至２０のうちいずれか１項に記載の相互注目質問応答システム。
【請求項２２】
前記累積損失は、逆伝播に基づくソフトマックス交差エントロピーを使用して前記訓練器により決定される、請求項２１に記載の相互注目質問応答システム。
【請求項２３】
前記ドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間の前記ペアごと言語類似度スコアは、前記隠れ状態比較器によりドット積を使用して決定される、請求項１６乃至２２のうちいずれか１項に記載の相互注目質問応答システム。
【請求項２４】
前記ａｒｇｍａｘモジュールの、前記潜在的スコアのうち最大のスコアの選択に基づいて、前記現在推定された開始及び終了位置をさらに生成する前記デコーダ、をさらに含む請求項１６乃至２３のうちいずれか１項に記載の相互注目質問応答システム。
【請求項２５】
質問に基づいてドキュメントを相互注目的に解析し前記ドキュメントに基づいて前記質問に応答する、コンピュータにより実現される方法であって、
隠れ状態比較器により、ドキュメントエンコーダ長短期記憶（略称ＬＳＴＭ）及び質問エンコーダＬＳＴＭにより再帰的に作成されるドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定するステップと、
ドキュメントエンコーディングミキサにより、ドキュメント対質問ワードごと言語類似度スコアを使用して前記ドキュメント文脈エンコーディングに注目し、前記質問文脈エンコーディングを条件としたドキュメント文脈サマリを作成するステップと、
質問エンコーディングミキサにより、質問対ドキュメントワードごと言語類似度スコアを使用して前記質問文脈エンコーディングに注目し、前記ドキュメント文脈エンコーディングを条件とした質問文脈サマリを作成するステップと、
再注目器により、質問対ドキュメントワードごと言語類似度スコアを使用して前記ドキュメント文脈サマリに注目し、前記質問文脈エンコーディングを再度条件とした再注目ドキュメント文脈サマリを作成するステップと、
相互注目エンコーダＬＳＴＭにより、前記再注目ドキュメント文脈サマリと前記質問文脈サマリと前記ドキュメント文脈エンコーディングとの連結を再帰的及び双方向に処理し、ドキュメント相互注目エンコーディングを作成するステップと、
デコーダにより、デコーダＬＳＴＭ及びハイウェイマックスアウトネットワークを使用して前記ドキュメント相互注目エンコーディングを反復的に処理し、前記質問に応答するドキュメントフレーズを出力するステップと、
を含む方法。
【請求項２６】
質問に基づいてドキュメントを相互注目的に解析し前記ドキュメントに基づいて前記質問に応答するコンピュータプログラム命令を記憶させた非一時的コンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、複数の並列処理コア上で実行されたときに、
ドキュメントエンコーダ長短期記憶（略称ＬＳＴＭ）及び質問エンコーダＬＳＴＭにより再帰的に作成されるドキュメント文脈エンコーディング及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定するステップと、
ドキュメント対質問ワードごと言語類似度スコアを使用して前記ドキュメント文脈エンコーディングに注目し、前記質問文脈エンコーディングを条件としたドキュメント文脈サマリを作成するステップと、
質問対ドキュメントワードごと言語類似度スコアを使用して前記質問文脈エンコーディングに注目し、前記ドキュメント文脈エンコーディングを条件とした質問文脈サマリを作成するステップと、
質問対ドキュメントワードごと言語類似度スコアを使用して前記ドキュメント文脈サマリに注目し、前記質問文脈エンコーディングを再度条件とした再注目ドキュメント文脈サマリを作成するステップと、
前記再注目ドキュメント文脈サマリと前記質問文脈サマリと前記ドキュメント文脈エンコーディングとの連結を再帰的及び双方向に処理し、ドキュメント相互注目エンコーディングを作成するステップと、
デコーダＬＳＴＭ及びハイウェイマックスアウトネットワークを使用して前記ドキュメント相互注目エンコーディングを反復的に処理し、前記質問に応答するドキュメントフレーズを出力するステップと、
を含む方法を実現する、媒体。
【請求項２７】
複数の並列プロセッサ上で動作する、ドキュメントに基づいて質問に応答する相互注目質問応答システムであって、
ワードのシーケンスについての文脈エンコーディングを発行し、前記ドキュメント内のワードの第１のシーケンスに適用され、前記質問内のワードの第２のシーケンスに適用され、前記ドキュメントについての文脈エンコーディングの第１のシーケンスを生成し、前記質問についての文脈エンコーディングの第２のシーケンスを生成するエンコーダ長短期記憶（略称ＬＳＴＭ）と、
前記第１及び第２のシーケンス内の前記文脈エンコーディング間の言語類似度を決定し、ペアごと言語類似度スコアを生成する隠れ状態比較器と、
１つの文脈エンコーディングについての、別の文脈エンコーディングのワードを条件とした文脈サマリシーケンスを発行し、前記ペアごと言語類似度スコアを使用して前記質問についての前記文脈エンコーディングの第２のシーケンスを条件とした前記ドキュメントについての前記文脈エンコーディングの第１のシーケンスに適用されて、質問ワードを条件とした前記ドキュメントの第１の文脈サマリシーケンスを生成し、前記ペアごと言語類似度スコアを使用して前記ドキュメントについての前記文脈エンコーディングの第１のシーケンスを条件とした前記質問についての前記文脈エンコーディングの第２のシーケンスに適用されて、ドキュメントワードを条件とした前記質問の第２の文脈サマリシーケンスを生成し、前記ペアごと言語類似度スコアを使用して前記ドキュメントについての前記文脈エンコーディングの第１のシーケンスを条件とした前記ドキュメントの前記第１の文脈サマリシーケンスに再適用されて、前記ドキュメントの第３の再注目文脈サマリシーケンスを生成するエンコーディングミキサと、
連結された入力及び前のドキュメント相互注目エンコーディングをフォワード及びリバース方向において再帰的に処理してドキュメント相互注目エンコーディングを作成する相互注目エンコーダ双方向ＬＳＴＭであり、前記連結された入力は、前記ドキュメントの前記第３の再注目文脈サマリシーケンスと前記質問の前記第２の文脈サマリシーケンスと前記ドキュメントの前記文脈エンコーディングの第１のシーケンスとを含む、相互注目エンコーダ双方向ＬＳＴＭと、
前記ドキュメント相互注目エンコーディングと前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとデコーダＬＳＴＭの現在のデコーダ隠れ状態との結合をハイウェイマックスアウトネットワークを通じて反復的に処理して潜在的開始位置と次いで潜在的終了位置とについて前記ドキュメント相互注目エンコーディングをスコア付けし、前記ハイウェイマックスアウトネットワークにより作成された潜在的スコアの中から選択して現在推定された開始及び終了位置を生成し、終了条件に達すると、前記質問に応答し且つ前記現在推定された開始及び終了位置に及びその範囲内におけるドキュメントワードを含むドキュメントフレーズを出力するデコーダと、
を含む相互注目質問応答システム。
【発明の詳細な説明】
【技術分野】
【０００１】
［他の出願の相互参照］
本出願は、2016年11月4日に出願された米国仮特許出願第62/417,332号「DYNAMIC  COATTENTION  NETWORKS  FOR  QUESTION  ANSWERING」（Atty.  Docket  No.  SALE  1179-1/1945PROV）の利益を主張する。この優先仮出願はすべての目的に対しここで参照により援用される。
【０００２】
本出願は、2016年11月4日に出願された米国仮特許出願第62/418,060号「DYNAMIC  COATTENTION  NETWORKS  FOR  QUESTION  ANSWERING」（Atty.  Docket  No.  SALE  1179-2/1945PROV2）の利益を主張する。この優先仮出願はすべての目的に対しここで参照により援用される。
【０００３】
本出願は、2017年1月31日に出願された米国非仮特許出願第15/421,193号「DYNAMIC  COATTENTION  NETWORK  FOR  QUESTION  ANSWERING」（Atty.  Docket  No.  SALE  1179-3/1945US）の利益を主張する。この優先非仮出願はすべての目的に対しここで参照により援用される。
【０００４】
［開示される技術の分野］
開示される技術はディープニューラルネットワークを使用する自然言語処理（ＮＬＰ）に一般に関し、詳細には機械理解及び質問応答のためのエンドツーエンドニューラルネットワークアーキテクチャに関する。
【背景技術】
【０００５】
本セクションで論じられる対象事項は、単に本セクションにおけるその言及の結果として従来技術であると仮定されるべきでない。同様に、本セクションで言及され又は背景技術として提供された対象事項に関連づけられる問題は、従来技術において前に認識されたことがあると仮定されるべきでない。本セクションにおける対象事項は異なる手法を表すに過ぎず、該手法これら自体もまた請求される技術の実装に対応し得る。
【０００６】
質問応答に関し、いくつかのディープラーニングモデルが提案されている。しかしながらこれらは、その単一パスの性質に起因して、誤った応答に対応する極大値から回復する方法を有さない。この問題に対処するために、開示される技術は、質問応答のためのいわゆる「動的相互注目ネットワーク（dynamic  coattention  network、ＤＣＮ）」を提供する。ＤＣＮは、最初、質問及びドキュメントの相互依存表現を融合して双方の関連部分に焦点を当てる。次いで、ＤＣＮは、潜在的な応答スパンにわたり反復する。この反復的手順は、ＤＣＮが誤った応答に対応する初期極大値から回復することを可能にする。
【０００７】
スタンフォード質問応答データセット（Stanford  Question  Answering  Dataset、ＳＱｕＡＤ）データセット上で、単一のＤＣＮモデルが、７１．０％Ｆ１スコアから７５．９％Ｆ１スコアまで前の最高水準より優れ、アンサンブルＤＣＮモデルが、７８．１％Ｆ１スコアから８０．４％Ｆ１スコアまで前の最高水準より優れている。
【図面の簡単な説明】
【０００８】
図面において、同様の参照符号は異なる図を通して同様の部分を一般に参照する。また、図面は必ずしも縮尺どおりでなく、代わりに、開示される技術の原理を例示することに重点が一般に置かれる。以下の説明において、開示される技術の様々な実装が以下の図面を参照して説明される。
【図１】ドキュメントを読み出して理解し、それに基づいて質問に応答する動的相互注目ネットワーク（ＤＣＮ）の態様を示す。
【図２】エンコーダニューラルネットワークを使用してドキュメント及び質問文脈エンコーディングを生成する一実装を示す。
【図３】図２のドキュメント及び質問文脈エンコーディング間の言語類似度を決定するアフィニティ行列を生成する隠れ状態比較器の一実装を表す。
【図４】図３のアフィニティ行列をドキュメントごとに正規化することによりドキュメント対質問注目重みを生成する一実装である。
【図５】図２のドキュメント文脈エンコーディングを図４のドキュメント対質問注目重みと結合することによりドキュメントの文脈サマリを作成する一実装を示す。
【図６】図３のアフィニティ行列を質問ごとに正規化することにより質問対ドキュメント注目重みを生成する一実装である。
【図７】図２の質問文脈エンコーディングを図６の質問対ドキュメント注目重みと結合することにより質問の文脈サマリを作成する一実装を示す。
【図８】図５のドキュメントの文脈サマリを図６の質問対ドキュメント注目重みと結合することによりドキュメントの改善文脈サマリを作成する一実装を表す。
【図９】図８のドキュメントの改善文脈サマリを図７の質問の文脈サマリと連結することによりドキュメントの相互依存表現を作成する一実装である。
【図１０】図９のドキュメントの相互依存表現を図２のドキュメント文脈エンコーディングと連結することによりドキュメントの改善相互依存表現を作成する一実装を示す。
【図１１】図１０のドキュメントの改善相互依存表現を使用して双方向ドキュメントごと相互注目エンコーディングを生成する双方向相互注目エンコーダの一実装を示す。
【図１２】質問に返答するドキュメント内のフレーズの開始及び終了位置を反復的に予測するデコーダニューラルネットワークの一実装を表す。
【図１３】開始ハイウェイマックスアウトネットワークの一実装である。
【図１４】終了ハイウェイマックスアウトネットワークの一実装である。
【図１５】デコーダニューラルネットワークにより生成される開始及び終了条件付き分布の例である。
【図１６】デコーダニューラルネットワークにより生成される開始及び終了条件付き分布の例である。
【図１７】デコーダニューラルネットワークにより生成される開始及び終了条件付き分布の例である。
【図１８】動的相互注目ネットワーク（ＤＣＮ）を実装するために使用できる、前に説明されたコンポーネントのモジュールを示す。
【図１９】ＤＣＮを実装するために使用できるコンピュータシステムの簡略ブロック図である。
【発明を実施するための形態】
【０００９】
以下の議論は、当業者が開示される技術を創作及び使用できるように提示され、特定の用途及びその要件の文脈において提供される。開示の実装に対する様々な変更が当業者に容易に明らかになり、本明細書で定義される一般的原理は、開示される技術の主旨及び範囲から逸脱することなく他の実装及び用途に適用され得る。ゆえに、開示される技術は図示される実装に限定されることは意図されず、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるべきである。
【００１０】
議論は以下のとおり編成される。まず、開示される技術の概観を提供する導入が提示される。次いで、開示される技術のエンコーダ及びその機能性が論じられる。次に、相互注目機構が論じられ、開示される技術のデコーダ及びその機能性が後に続く。最後、ＳＱｕＡＤデータセットに対しての開示される技術の性能を示すいくつかの実験結果が提供される。
【００１１】
［導入］
質問応答（Question  answering、ＱＡ）は、自然言語理解及び世界知識の双方を必要とする自然言語処理（natural  language  processing、ＮＬＰ）において重要なタスクである。従前のＱＡデータセットは、人間の注釈に起因して品質が高く、しかしサイズが小さい傾向がある。ゆえに、これらは、ディープニューラルネットワークなどのデータ集中的な表現モデルを訓練することを許容しない。
【００１２】
この問題に対処するために、研究者は半自動化手法を通じて大規模データセットを開発した。それらのより小さい、手動注釈された相対物と比較して、これらＱＡデータセットはさらなる表現モデルの訓練を可能にする。しかしながら、これらは、質問に応答するために必要とされる推理のタイプにおいて、より自然な、人間により注釈されたデータセットと異なることが示されている。
【００１３】
近年リリースされたスタンフォード質問応答データセット（Stanford  Question  Answering  Dataset、ＳＱｕＡＤ）は、すべての従前の手動注釈されたデータセットより大きい規模であり、自然ＱＡタスクにおいて最高に達する様々な特質を有する。ＳＱｕＡＤは、Ｗｉｋｉｐｅｄｉａ記事のセットに対してクラウドワーカーにより提出された質問からなる。ＳＱｕＡＤは、５３６個の記事に対して１０７，７８５個の質問応答ペアを含む。ＳＱｕＡＤは、応答が参照ドキュメント内のスパン又はフレーズであるという望ましい特質を有する。これは、応答を参照ドキュメント内のすべての可能なスパンの空間に制約する。
【００１４】
開示される技術は、「動的相互注目ネットワーク（dynamic  coattention  network、ＤＣＮ）」と本明細書において呼ばれる、質問応答のためのエンドツーエンドニューラルネットワークに関する。大まかに説明すると、ＤＣＮは、いわゆる「相互注目エンコーディング（coattention  encoding）」において質問とドキュメントとの間の相互作用を捕捉するエンコーダニューラルネットワーク及び相互注目エンコーダ（coattentive  encoder）を含む。ＤＣＮは、質問に返答するドキュメント内のフレーズの開始及び終了位置を推定するために相互注目エンコーディングを処理するデコーダニューラルネットワーク及びハイウェイマックスアウトネットワーク（highway  maxout  networks）を含む。
【００１５】
ＤＣＮは、ドキュメントに関する質問に自動的に応答する。文脈なしにドキュメントの単一の静的な表現を生成する代わりに、ＤＣＮは、質問に依存して別様にドキュメントを解釈する。すなわち、同じドキュメントを所与として、ＤＣＮは、質問（例えば、「どのチームがスーパーボウル５０においてＮＦＣを代表したか？」、「誰が第４クォーターでタッチダウンを得点したか？」）に依存して異なる理解を構築する。この条件付き解釈に基づいて、ＤＣＮは複数の応答を反復的に予測し、それが最初に誤誘導された予測を調整することを可能にする。
【００１６】
単一のモデル実装において、ＤＣＮは、７１．０％Ｆ１スコアを有する従前の最高水準と比較して、ＳＱｕＡＤデータセットに対して７５．９％のＦ１スコアを達成する。アンサンブルモデル実装において、ＤＣＮは、７８．１％Ｆ１スコアを有する従前の最高水準と比較して、ＳＱｕＡＤデータセットに対して８０．４％のＦ１スコアを達成する。
【００１７】
［動的相互注目ネットワーク］
図１は、ドキュメント１０２ａを読み出して理解し、それに基づいて質問１０４ａに応答する動的相互注目ネットワーク（ＤＣＮ）１００の態様を示す。ドキュメント１０２ａは、ドキュメントデータベース１０２に記憶されている。質問１０４ａは、質問データベース１０４に記憶されている。ＤＣＮ１００は、２つのタイプのコンポーネント、すなわち、エンコーディングコンポーネント（すなわち、エンコーダ）とデコーディングコンポーネント（すなわち、デコーダ）とを含む。ＤＣＮ１００のエンコーディングコンポーネントは、埋め込み器１０６、エンコーダニューラルネットワーク１０８、隠れ状態比較器１１０、指数関数的正規化器（exponential  normalizer）１１２、エンコーディングミキサ１１４、及び相互注目エンコーダ１１６を含む。ＤＣＮ１００のデコーディングコンポーネントは、デコーダニューラルネットワーク１１８、開始ハイウェイマックスアウトネットワーク１２０、及び終了ハイウェイマックスアウトネットワーク１２２を含む。
【００１８】
図１におけるコンポーネントは、ハードウェア又はソフトウェアにおいて実現でき、図１に示されるのと正確に同じブロックで分割される必要はない。コンポーネントのいくつかが、異なるプロセッサ又はコンピュータ上で実現され、あるいは複数の異なるプロセッサ又はコンピュータ間で分散されてもよい。さらに、コンポーネントのいくつかが、達成される機能に影響することなく、組み合わせられ、並列に、又は図１に示されるシーケンスと異なるシーケンスで動作し得ることが十分理解されるであろう。さらに、本明細書で使用されるとき、用語「コンポーネント」は「サブコンポーネント」を含んでよく、サブコンポーネントはそれら自体、コンポーネントを構成すると本明細書において考えられてよい。例えば、埋め込み器１０６、エンコーダニューラルネットワーク１０８、隠れ状態比較器１１０、指数関数的正規化器１１２、エンコーディングミキサ１１４、及び相互注目エンコーダ１１６は、エンコーディングコンポーネントのサブコンポーネントであると本明細書において考えられてもよい。同様に、デコーダニューラルネットワーク１１８、開始ハイウェイマックスアウトネットワーク１２０、及び終了ハイウェイマックスアウトネットワーク１２２は、デコーディングコンポーネントのサブコンポーネントであると本明細書において考えられてもよい。さらに、エンコーディングコンポーネント及びデコーディングコンポーネントは、ＤＣＮコンポーネントのサブコンポーネントであると本明細書において考えられてもよい。さらに、図１におけるブロックは、方法におけるフローチャートステップと考えられてもよい。コンポーネント又はサブコンポーネントもまた、必ずしもすべてのそのコードをメモリに連続して配置させる必要はない。コードのいくつかの部分がコードの他の部分から分離され、他のコンポーネント若しくはサブコンポーネント又は他の機能からのコードが間に配置されてよい。
【００１９】
［埋め込み］
埋め込み器１０６は、ドキュメント１０２ａ及び質問１０４ａ内の各ワードを、「埋め込み空間（embedding  space）」と本明細書において呼ばれる高次元ベクトル空間にマッピングする。一実装において、埋め込み器１０６は、埋め込み行列
【数１】
0006873236.tif 000002
を使用してドキュメント１０２ａ内のｍ個のワードに対応するｌ次元ワードベクトルｘ１Ｄ，ｘ２Ｄ，．．．，ｘｍＤのシーケンス２０２を作成し、ここで、ｖは語彙のサイズを表す。シーケンス２０２は、「ドキュメント埋め込み（document  embedding）」と本明細書において呼ばれる。同じ埋め込み行列
【数２】
0006873236.tif 000003
を使用し、埋め込み器１０６は、質問１０４ａ内のｎ個のワードに対応するｌ次元ワードベクトルｘ１Ｑ，ｘ２Ｑ，．．．，ｘｎＱのシーケンス２０４をさらに作成する。シーケンス２０４は「質問埋め込み（question  embedding）」と本明細書において呼ばれる。埋め込みのこれらステップは、ＤＣＮ１００の埋め込み器１０６により具現化される。
【００２０】
埋め込み行列
【数３】
0006873236.tif 000004
を共有することにより、ドキュメント１０２ａ及び質問１０４ａの双方が埋め込み空間の学習に関係し、互いからの恩恵を受ける。別の実装において、埋め込み器１０６は、ドキュメント１０２ａ及び質問１０４ａ内のあらゆるワードをワンホット（one-hot）表現に最初変換し、次いで、これらを共有された埋め込み行列
【数４】
0006873236.tif 000005
を使用して連続的表現に変換する。さらに別の実装において、埋め込み器１０６は、ＧｌｏＶｅ及びｗｏｒｄ２ｖｅｃのような事前訓練されたワード埋め込みモデルを使用してワード埋め込みを初期化して、ドキュメント１０２ａ及び質問１０４ａ内の各ワードの固定のワード埋め込みを取得する。他の実装において、埋め込み器１０６は、キャラクタ埋め込み及び／又はフレーズ埋め込みを作成する。
【００２１】
［文脈エンコーディング］
エンコーダニューラルネットワーク１０８は、文脈情報をドキュメント１０２ａ及び質問１０４ａ内の各ワードの表現に組み込むリカレントニューラルネットワーク（recurrent  neural  network、ＲＮＮ）である。一実装において、エンコーダニューラルネットワーク１０８は、以下に示されるように、ドキュメント１０２ａと質問１０４ａとを別個に処理する標準の１方向の長短期記憶（Long  Short-Term  Memory、ＬＳＴＭ）ニューラルネットワークである。
【数５】
0006873236.tif 000006
【００２２】
一例示的なＬＳＴＭニューラルネットワークが、http://arxiv.org/abs/1308.0850v5において入手可能な「Generating  sequences  with  recurrent  neural  networks」、Alex  Graves、においてより詳細に説明されている。他の実装において、エンコーダニューラルネットワーク１０８は、ゲート付きリカレントユニット（Gated  Recurrent  Unit、ＧＲＵ）ニューラルネットワークである。
【００２３】
ドキュメントエンコーディング行列
【数６】
0006873236.tif 000007
と、質問エンコーディング行列
【数７】
0006873236.tif 000008
とは、ドキュメント１０２ａ及び質問１０４ａの隠れ状態表現を生成し、ここで、ｌは隠れ状態ベクトルの次元数である。いくつかの実装において、ポインタセンチネルベクトル（pointer  sentinel  vectors）
【数８】
0006873236.tif 000009
と、
【数９】
0006873236.tif 000010
とが使用され、これらは、エンコーダニューラルネットワーク１０８が入力の中のいかなる特定のワードにも注目しないことを可能にする。ドキュメントエンコーディング空間及び質問エンコーディング空間の間のばらつきを許容するために、非線形射影層（non-linear  projection  layer）が質問エンコーディングに適用される。ゆえに、質問の最終的な表現は、
【数１０】
0006873236.tif 000011
になる。
【００２４】
エンコーディング行列を使用し、エンコーダニューラルネットワーク１０８は、ドキュメント埋め込み２０２に基づいてドキュメント１０２ａについての隠れ状態ベクトルｈ１Ｄ，ｈ２Ｄ，．．．，ｈｍＤを含む文脈エンコーディング２１２を作成し、質問埋め込み２０４に基づいて質問１０４ａについての隠れ状態ベクトルｈ１Ｑ，ｈ２Ｑ，．．．，ｈｎＱを含む文脈エンコーディング２１４を作成する。ドキュメント１０２ａの文脈エンコーディング２１２は、「ドキュメントエンコーディング（document  encoding）」と本明細書において呼ばれる。ドキュメント文脈エンコーディングを生成するステップは、エンコーダニューラルネットワーク１０８のドキュメントエンコーダＬＳＴＭ１８０２により具現化される。質問１０４ａの文脈エンコーディング２１４は「質問エンコーディング（question  encoding）」と本明細書において呼ばれる。質問文脈エンコーディングを生成するステップは、エンコーダニューラルネットワーク１０８の質問エンコーダＬＳＴＭ１８０４により具現化される。ｉ番目の隠れ状態ベクトルｈｉＤ（例えば、ｈ４Ｄ）は、ドキュメント１０２ａのｉ番目のワード埋め込み（例えば、ｘ４Ｄ）を、ドキュメント１０２ａの先行するワード埋め込み（例えば、ｘ１Ｄ、ｘ２Ｄ、ｘ３Ｄ）の隠れ状態ベクトル（例えば、ｈ１Ｄ、ｈ２Ｄ、ｈ３Ｄ）からのいくらかの文脈情報と共に表す。同様に、ｉ番目の隠れ状態ベクトルｈｉＱ（例えば、ｈ３Ｑ）は、質問１０４ａのｉ番目のワード埋め込み（例えば、ｘ３Ｄ）を、質問１０４ａの先行するワード埋め込み（例えば、ｘ１Ｑ、ｘ２Ｑ）の隠れ状態ベクトル（例えば、ｈ１Ｑ、ｈ２Ｑ）からのいくらかの文脈情報と共に表す。
【００２５】
［相互注目機構］
相互注目機構は、ドキュメント１０２ａ及び質問１０４ａに同時に注目し、双方の注目文脈を最終的に融合する。隠れ状態比較器１１０は、ドット積を使用してドキュメントエンコーディング２１２及び質問エンコーディング２１４を比較し、以下に示されるように、ドキュメントごと及び質問ごとの次元を有するアフィニティ行列３０２を出力する。
【数１１】
0006873236.tif 000012
ここで、Ｌｍｎは、ｍ番目のドキュメントワードとｎ番目の質問ワードとの間の言語類似度を示す。言語類似度埋め込みを算出するステップは、ＤＣＮ１００の隠れ状態比較器１１０により具現化される。
【００２６】
アフィニティ行列３０２は、ドキュメントワード及び質問ワードのすべてのペアに対応する、ドキュメント対質問（document-to-question）アフィニティスコア及び質問対ドキュメント（question-to-document）アフィニティスコアを識別する。ドキュメント対質問アフィニティスコアは、どの質問ワードが各ドキュメントワードに最も関連があるかを表す。質問対ドキュメントアフィニティスコアは、どのドキュメントワードが質問ワードのうち１つに最も近い類似度を有し、ゆえに質問に応答するのに重要であるかを表す。アフィニティ行列３０２において、ドキュメント１０２ａ内のあらゆるワードについてのドキュメント対質問アフィニティスコアが、その文脈エンコーディングと質問エンコーディング２１４とのドット積として識別される。アフィニティ行列３０２の転置行列において、質問１０４ａ内のあらゆるワードについての質問対ドキュメントアフィニティスコアが、その文脈エンコーディングとドキュメントエンコーディング２１２とのドット積として識別される。
【００２７】
指数関数的正規化器１１２は、行ごとソフトマックス関数４０２をドキュメント対質問アフィニティスコアに適用することによりアフィニティ行列３０２をドキュメントごとに正規化して、ドキュメント対質問注目重み（γ）４０４を生成する。指数関数的正規化器１１２はさらに、列ごとソフトマックス関数６０２を質問対ドキュメントアフィニティスコアに適用することによりアフィニティ行列３０２を質問ごとに正規化して、質問対ドキュメント注目重み（μ）６０４を生成する。指数関数的に正規化するステップは、ＤＣＮ１００の指数関数的正規化器１１２により具現化される。指数関数的に正規化されたドキュメント対質問注目重み（γ）４０４及び指数関数的に正規化された質問対ドキュメント注目重み（μ）６０４は、ドキュメントワード及び質問ワードのすべてのペア間のアフィニティスコアにより算出された言語類似度をエンコードする注目スカラである。アフィニティ行列３０２内の各列に沿ったドキュメントごと注目スカラＡＱは、合計して１（unity）になる（例えば、γ１１乃至γ１ｍ）。アフィニティ行列３０２内の各行に沿った質問ごと注目スカラＡＤは、合計して１（unity）になる（例えば、μ１１乃至μ１ｎ）。注目スカラは以下のように算出される。
【数１２】
0006873236.tif 000013
ここで、ＬＴは、アフィニティ行列３０２の転置行列を表す。
【００２８】
エンコーディングミキサ１１４は、ドキュメント対質問注目重み（γ）４０４に依存してドキュメントエンコーディング２１２の加重和を算出する。すなわち、ドキュメントエンコーディング２１２は、アフィニティ行列３０２内のドキュメント対質問注目重み（γ）４０４の各列を要素ごとに乗算される。各々のドキュメントごと注目スカラ（例えば、γ１１  ４１４）にドキュメントエンコーディング２１２内の対応する隠れ状態ベクトル（例えば、ｈ１Ｄ  ２１６）を乗算することにより、エンコーディングミキサ１１４は、質問に関してドキュメント１０２ａの文脈サマリ（例えばＣ１Ｄ  ５１２）を計算することにおける各ドキュメントワードの関与の度合いを決定する。ゆえに、ドキュメント１０２ａの各文脈サマリベクトルＣ１Ｄ，Ｃ２Ｄ，．．．，ＣｎＤは、質問１０４ａに関してドキュメント１０２ａ内の最も重要なワードの加重和を示す。ドキュメントの文脈サマリを作成するステップは、エンコーディングミキサ１１４のドキュメントエンコーディングミキサ１８０６により具現化される。
【００２９】
同様に、エンコーディングミキサ１１４は、質問対ドキュメント注目重み（μ）６０４
に依存して質問エンコーディング２１４の加重和を算出する。すなわち、質問エンコーディング２１４は、アフィニティ行列３０２内の質問対ドキュメント注目重み（μ）６０４の各行を要素ごとに乗算される。各々の質問ごと注目スカラ（例えば、μ１１  ６１４）に質問エンコーディング２１４内の対応する隠れ状態ベクトル（例えば、ｈ１Ｑ  ２１８）を乗算することにより、エンコーディングミキサ１１４は、ドキュメント１０２ａに関して質問１０４ａの文脈サマリ（例えば、Ｃ１Ｑ  ７１２）を計算することにおける各質問ワードの関与の度合いを決定する。ゆえに、質問１０４ａの各文脈サマリベクトルＣ１Ｑ，Ｃ２Ｑ，．．．，ＣｍＱは、ドキュメント１０２ａに関して質問１０４ａ内の最も重要なワードの加重和を示す。質問の文脈サマリを作成するステップは、エンコーディングミキサ１１４の質問エンコーディングミキサ１８０８により具現化される。
【００３０】
次いで、エンコーディングミキサ１１４は、質問対ドキュメント注目重み（μ）６０４に依存してドキュメント１０２ａの文脈サマリＣ１Ｄ，Ｃ２Ｄ，．．．，ＣｎＤの加重和を算出する。すなわち、アフィニティ行列３０２内の質問対ドキュメント注目重み（μ）６０４の各行は、ドキュメント１０２ａの文脈サマリＣ１Ｄ，Ｃ２Ｄ，．．．，ＣｎＤの各々を要素ごとに乗算される。各々の質問ごと注目スカラ（例えば、μ１１  ６１４）にドキュメント１０２ａの対応する文脈サマリ（例えば、Ｃ１Ｄ  ５１２）を乗算することにより、エンコーディングミキサ１１４は、質問１０４ａに関してドキュメント１０２ａの改善した文脈サマリ（例えば、Ｘ１Ｄ  ８１２）を計算することにおける各文脈サマリの関与の度合いを決定する。ゆえに、ドキュメント１０２ａの、各々の改善文脈サマリベクトルＸ１Ｄ，Ｘ２Ｄ，．．．，ＸｍＤは、質問１０４ａに関してドキュメント１０２ａの最も重要な文脈サマリの加重和を示す。ドキュメントの改善した文脈サマリを作成するステップは、エンコーディングミキサ１１４の再注目器（reattender）１８１０により具現化される。
【００３１】
次いで、エンコーディングミキサ１１４は、ドキュメント１０２ａの改善文脈サマリＸ１Ｄ，Ｘ２Ｄ，．．．，ＸｍＤを質問１０４ａの文脈サマリＣ１Ｑ，Ｃ２Ｑ，．．．，ＣｍＱと連結し（concatenates）て、ドキュメント１０２ａと質問１０４ａとの相互依存表現を相互注目文脈Ｙ＝Ｙ１Ｄ，Ｙ２Ｄ，．．．，ＹｍＤ  ９０２として作成し、ここで、各々の相互注目文脈ベクトルは２ｌ個の次元数を有する。次に、より前の要約により引き起こされた情報損失を低減するために、エンコーディングミキサ１１４は、相互注目文脈Ｙ  ９０２（例えば、Ｙ１Ｄ  ９１２）をドキュメントエンコーディング２１２（例えば、ｈ１Ｄ  ２１６）と要素ごとに連結して、改善相互注目文脈Ｚ１Ｄ，Ｚ２Ｄ，．．．，ＺｍＤ  １００２を生成し、ここで、各々の改善相互注目文脈ベクトルは３ｌ個の次元数を有する。改善相互注目文脈Ｚ  １００２は、次いで、相互注目エンコーダ１１６に入力として提供される。双方向ドキュメントごと相互注目エンコーディングを生成するステップは、ＤＣＮ１００の連結器１８１２及び相互注目エンコーダ１１６により具現化される。
【００３２】
相互注目エンコーダ１１６は、改善相互注目文脈Ｚ  １００２の要素間の時間的相互作用を、要素をフォワード及びリバース方向において評価することと相互注目エンコーディングＵ  １１０２を生成することとにより融合する、双方向ＬＳＴＭである。相互注目エンコーディングＵ  １１０２内の各要素（例えば、Ｕｔ  １１０２ｔ）は、質問１０４ａに関してエンコードされた対応するドキュメントワードを表す。相互注目エンコーディングＵ  １１０２は、以下のように定義される。
【数１３】
0006873236.tif 000014
ここで、相互注目エンコーディング
【数１４】
0006873236.tif 000015
であり、どれが最良の可能な応答であり得るか選択のための基礎を提供する。
【００３３】
［デコーディング］
ＳＱｕＡＤの性質に起因して、応答スパンを生成する直感的な方法は、スパンの開始及び終了点を予測することによる。しかしながら、質問・ドキュメントペアを所与として、ドキュメント内にいくつかの直感的応答スパンが存在し、各々が極大値に対応する可能性がある。この問題に対処するために、ＤＣＮ１００は、反復的手法を使用して、ドキュメント内の応答スパンの開始及び終了点を予測することにより応答スパンを選択する。この反復的手順は、ＤＣＮ１００が、誤った応答スパンに対応する初期極大値から回復することを可能にする。
【００３４】
図１２は、デコーダニューラルネットワーク１１８の例示を提供し、デコーダニューラルネットワーク１１８は、その状態がＬＳＴＭに基づく連続モデルにより維持される状態機械と同様である。各反復の間、デコーダニューラルネットワーク１１８は、その状態を開始及び終了位置の現在の推定に対応する相互注目エンコーディングを考慮して更新し、開始ハイウェイマックスアウトネットワーク１２０及び終了ハイウェイマックスアウトネットワーク１２２のような多層ニューラルネットワークを介して開始及び終了位置の新しい推定を生成する。
【００３５】
ｈｉ、ｓｉ、及びｅｉが、反復ｉの間のデコーダニューラルネットワーク１１８の隠れ状態、開始位置の推定、及び終了位置の推定を表すとする。次いで、デコーダニューラルネットワーク１１８の状態更新は、
【数１５】
0006873236.tif 000016
として記述され、ここで、
【数１６】
0006873236.tif 000017
及び、
【数１７】
0006873236.tif 000018
は、相互注目エンコーディングＵ  １１０２内の開始及び終了位置の前の推定に対応する表現である。
【００３６】
現在の隠れ状態ｈｉと、前の開始位置
【数１８】
0006873236.tif 000019
と、前の終了位置
【数１９】
0006873236.tif 000020
とを所与として、ＤＣＮ１００は、現在の開始位置及び終了位置を以下のように推定する。
【数２０】
0006873236.tif 000021
ここで、αｔ及びβｔは、ドキュメント１０２ａ内のｔ番目のワードに対応する開始スコア及び終了スコアをあらわす。ドキュメント内の潜在的開始及び終了位置についてドキュメントごと相互注目エンコーディングから生成されたスコアの中から選択して現在推定された開始及び終了位置を生成することは、デコーダニューラルネットワーク１１８のａｒｇｍａｘモジュール１８１６により具現化される。
【００３７】
開始スコアαｔは、開始ハイウェイマックスアウトネットワーク１２０を使用して以下のように計算される。
【数２１】
0006873236.tif 000022
【００３８】
終了スコアβｔは、終了ハイウェイマックスアウトネットワーク１２２を使用して以下のように計算される。
【数２２】
0006873236.tif 000023
【００３９】
上記式において、ｕｔは、ドキュメント１０２ａ内のｔ番目のワードに対応する相互注目エンコーディングである。
【００４０】
ハイウェイマックスアウトネットワーク１２０及び１２２の双方が、入力として、多層パーセプトロン（例えば、１３０２、１４０２）を通じて現在の隠れ状態ｈｉ、前の開始位置
【数２３】
0006873236.tif 000024
及び前の終了位置
【数２４】
0006873236.tif 000025
の非線形射影ｒを取得する。次いで、ネットワーク１２０及び１２２の第１のマックスアウト層（例えば、１３０４、１４０４）が、スコア付けされる各位置ｕｔを非線形射影と結合し、４つ以上の線形モデルを通じて各結合を処理し、線形モデルの１つから最大出力ｍｔ（１）を選択する。次いで、ネットワーク１２０及び１２２の第２のマックスアウト層（例えば、１３０６、１４０６）が、スコア付けされる各位置ｕｔについて、４つ以上の線形モデルを通じて第１のマックスアウト層の出力を処理し、線形モデルの１つから最大出力ｍｔ（２）を選択する。次いで、第３のマックスアウト層（例えば、１３０８、１４０８）が、スコア付けされる各位置ｕｔについて、４つ以上の線形モデルを通じて第１及び第２のマックスアウト層の出力を処理し、線形モデルの１つから最大出力
【数２５】
0006873236.tif 000026
を選択する。
【００４１】
ハイウェイマックスアウトネットワーク１２０及び１２２の処理は、以下のように記述される。
【数２６】
0006873236.tif 000027
ここで、
【数２７】
0006873236.tif 000028
は、パラメータ
【数２８】
0006873236.tif 000029
を有する現在の状態の非線形射影であり、ｍｔ（ｌ）は、パラメータ
【数２９】
0006873236.tif 000030
及び
【数３０】
0006873236.tif 000031
を有する第１のマックスアウト層の出力であり、ｍｔ（２）は、パラメータ
【数３１】
0006873236.tif 000032
及び
【数３２】
0006873236.tif 000033
を有する第２のマックスアウト層の出力である。ｍｔ（１）及びｍｔ（２）は、最終マックスアウト層に供給され、該マックスアウト層は、パラメータ
【数３３】
0006873236.tif 000034
及び
【数３４】
0006873236.tif 000035
を有する。ｐは、各マックスアウト層のプーリングサイズである。ｍａｘ演算は、テンソルの第１の次元にわたり最大値を計算する。さらに、第１のマックスアウト層の出力と最後のマックスアウト層との間にハイウェイ接続が存在する。
【００４２】
実装において、ハイウェイマックスアウトネットワーク１２０及び１２２は、同じアーキテクチャを共有するが異なるパラメータ及びハイパーパラメータである。質問に返答するドキュメント内のフレーズの現在推定された開始及び終了位置を出力するステップは、デコーダニューラルネットワーク１１８の出力生成器１８１８により具現化される。
【００４３】
ＤＣＮ１００を訓練するために、開始及び終了点の累積的ソフトマックス交差エントロピーがすべての反復にわたり最小化される。反復的手順は、開始位置の推定と終了位置の推定との双方がもはや変化しないとき、又は最大の反復数が達せられたとき、停止する。訓練するステップは、ＤＣＮ１００の訓練器１８２０により具現化される。
【００４４】
開示される技術の他の実装が、指数関数的正規化器と異なる、該正規化器に追加で、及び／又は該正規化器と組み合わせで正規化器を使用することを含む。いくつかの例が、シグモイドに基づく正規化器（例えば、マルチクラスシグモイド、区分ランプ）、双曲線正接に基づく正規化器、正規化線形ユニット（rectified  linear  unit、ＲｅＬＵ）に基づく正規化器、識別に基づく正規化器、ロジスティックに基づく正規化器、正弦に基づく正規化器、余弦に基づく正規化器、ユニット和（unit  sum）に基づく正規化器、及びステップに基づく正規化器を含む。他の例が、階層ソフトマックス（hierarchical  softmax）、差別化ソフトマックス（differentiated  softmax）、重点サンプリング（importance  sampling）、雑音対比推定（noise  contrastive  estimation）、ネガティブサンプリング（negative  sampling）、ゲート付きソフトマックス（gated  softmax）、球形ソフトマックス（spherical  softmax）、テイラーソフトマックス（Taylor  softmax）、及びスパースマックス（sparsemax）を含む。さらに他の実装において、任意の他の従来の又は将来開発される正規化器が使用されてよい。
【００４５】
［実験結果］
図１５〜１７は、デコーダニューラルネットワーク１１８により生成された開始及び終了条件付き分布の例である。図１５〜１７において、奇数（青）行は開始分布を表し、偶数（赤）行は終了分布を表す。ｉはデコーダニューラルネットワーク１１８の反復数を示す。より高い確率質量がより暗い領域で示されている。最も高い確率質量を有するワードに対応するオフセットが右手側に示されている。予測されたスパンが赤で下線を引かれ、グラウンドトルース応答スパンが緑で下線を引かれている。
【００４６】
例えば、図１５における質問１は、モデルが誤った開始点と正しい終了点とを最初に示唆する例を示す。後続の反復において、ＤＣＮ１００は開始点を調整し、最終的に反復３において正しい開始点に到着する。同様に、モデルは終了点についての確率質量を正しいワードに徐々にシフトする。
【００４７】
図１６における質問２は、開始及び終了双方の推定が最初誤っている例を示す。次いで、デコーダニューラルネットワーク１１８の反復的性質が、ＤＣＮ１００が誤った応答に対応する初期極大値を逃れることを可能にする間、ＤＣＮ１００は次の反復において正しい応答に落ち着く。図１７における質問３は、ＤＣＮ１００がいくつかの反復にもかかわらず複数の極大値間で判断することができない場合を示す。すなわち、ＤＣＮ１００は、応答「charged  particle  beam」と「particle  beam  weapons」との間で無限に交互に繰り返す。
【００４８】
［具体的な実装］
質問に基づいてドキュメントを相互注目的に（coattentively）解析し、ドキュメントに基づいて質問に応答するシステム、方法、及び製造品を我々は説明する。実装の１つ以上の特徴が、基本の実装と組み合わせられてよい。相互排他的でない実装は、結合可能であることが教示される。実装の１つ以上の特徴が、他の実装と組み合わせられてよい。本開示は、これらの選択肢をユーザに周期的に注意する。これらの選択肢を繰り返す記載の、いくつかの実装からの省略は、前のセクションにおいて教示された組み合わせを制限するものとみなされるべきでない。これらの記載は、以後参照により以下の実装の各々にここで援用される。
【００４９】
図１８は、動的相互注目ネットワーク（ＤＣＮ）１００（「相互注目質問応答システム（coattentive  question  answering  system）」とも本明細書において呼ばれる）を実現するために使用できる前述されたコンポーネントのモジュールを示す。ＤＣＮ１００の前述されたモジュール又はコンポーネント、例えば埋め込み器１０６、エンコーダニューラルネットワーク１０８、隠れ状態比較器１１０、指数関数的正規化器１１２、エンコーディングミキサ１１４、相互注目エンコーダ１１６、デコーダニューラルネットワーク１１８、開始ハイウェイマックスアウトネットワーク１２０、及び終了ハイウェイマックスアウトネットワーク１２２などは、代わりに、その動作の原理又はＤＣＮ１００を変更することなくより小さいモジュール化されたモジュール又はコンポーネントを使用して説明できる。
【００５０】
図１８におけるモジュールは、ハードウェア又はソフトウェアにおいて実現でき、図１８に示されるのと正確に同じブロックで分割される必要はない。モジュールのいくつかが、異なるプロセッサ又はコンピュータ上で実現され、あるいは複数の異なるプロセッサ又はコンピュータ間で分散されてもよい。さらに、モジュールのいくつかが、達成される機能に影響することなく、組み合わせられ、並列に、又は図１８に示されるシーケンスと異なるシーケンスで動作し得ることが十分理解されるであろう。さらに、本明細書で使用されるとき、用語「モジュール」は「サブモジュール」を含んでよく、サブモジュールはそれら自体、モジュールを構成すると本明細書において考えられてよい。例えば、ドキュメントエンコーダＬＳＴＭ１８０２及び質問エンコーダＬＳＴＭ１８０４は、エンコーダニューラルネットワーク１０８（「エンコーダＬＳＴＭ」又は「エンコーダ」とも本明細書において呼ばれる）のサブモジュールであると本明細書において考えられてよい。一実装において、ドキュメントエンコーダＬＳＴＭ１８０２及び質問エンコーダＬＳＴＭ１８０４は２つの別個のＬＳＴＭでないが、ドキュメントとドキュメントに基づく質問とに別個に適用される同じ単一のＬＳＴＭである。いくつかの実装において、こうした同じ単一のＬＳＴＭが、ドキュメントとドキュメントに基づく質問との同時エンコーディングのために、ドキュメントエンコーダＬＳＴＭ１８０２及び質問エンコーダＬＳＴＭ１８０４を形成するように複製されてよい。別の例において、ドキュメントエンコーディングミキサ１８０６、質問エンコーディングミキサ１８０８、及び再注目器１８１０が、エンコーディングミキサ１１４のサブモジュールであると本明細書において考えられてよい。別の例において、デコーダＬＳＴＭ、ａｒｇｍａｘモジュール１８１６、及び出力生成器１８１８が、デコーダニューラルネットワーク１１８（「デコーダ」とも本明細書において呼ばれる）のサブモジュールであると本明細書において考えられてよい。モジュールとして指定される、図１８におけるブロックは、方法におけるフローチャートステップと考えられてもよい。モジュールもまた、必ずしもすべてのそのコードをメモリに連続して配置させる必要はない。コードのいくつかの部分がコードの他の部分から分離され、他のモジュール又は他の機能からのコードが間に配置されてよい。
【００５１】
一実装において、開示される技術は、相互注目質問応答システム（「動的相互注目ネットワーク（ＤＣＮ）１００」とも本明細書において呼ばれる）を含む。システムは、多数の並列プロセッサ上で動作する。システムは、質問に基づいてドキュメントを解析し、ドキュメントに基づいて質問に応答する。
【００５２】
システムは、ドキュメントワード埋め込み及び前のドキュメント文脈エンコーディングを複数の長短期記憶（略称ＬＳＴＭ）ゲートを通じて再帰的に（recurrently）処理し、ドキュメント文脈エンコーディングを作成する、ドキュメントエンコーダＬＳＴＭ１８０２を含む。
【００５３】
システムは、質問ワード埋め込み及び前の質問文脈エンコーディングをＬＳＴＭゲートを通じて再帰的に処理し、質問文脈エンコーディングを作成する、質問エンコーダＬＳＴＭ１８０４を含む。
【００５４】
システムは、ドキュメント及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定する隠れ状態比較器を含む。いくつかの実装において、ドキュメント及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアは、隠れ状態比較器により適用されるドット積又は双線形積を使用して決定されてよい。
【００５５】
システムは、ドキュメント対質問ワードベースで生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされたドキュメント文脈エンコーディングの凸結合としてドキュメント文脈サマリを作成するドキュメントエンコーディングミキサ１８０６を含む。
【００５６】
システムは、質問対ドキュメントワードベースで生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされた質問文脈エンコーディングの凸結合として質問文脈サマリを作成する質問エンコーディングミキサ１８０８を含む。
【００５７】
システムは、質問対ドキュメントワードベースで生成された指数関数的に正規化されたスコアシーケンスによりスケーリングされたドキュメント文脈サマリの凸結合として再注目（reattended）ドキュメント文脈サマリを作成する再注目器１８１０を含む。
【００５８】
システムは、連結された入力及び前のドキュメント相互注目エンコーディングを複数のＬＳＴＭゲートを通じてフォワード及びリバース方向において再帰的に処理し、ドキュメント相互注目エンコーディングを作成する、相互注目エンコーダ双方向ＬＳＴＭ（「相互注目エンコーダ１１６」とも本明細書において呼ばれる）を含む。いくつかの実装において、連結された入力は、再注目ドキュメント文脈サマリ、質問文脈サマリ、及びドキュメント文脈エンコーディングを含む。システムは、再注目ドキュメント文脈サマリと質問文脈サマリとドキュメント文脈エンコーディングとの対応する要素を連結する連結器１８１２をさらに含む。
【００５９】
システムは、ドキュメント相互注目エンコーディングと前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとデコーダＬＳＴＭ１８１４の現在のデコーダ隠れ状態との結合をハイウェイマックスアウトネットワーク（例えば、開始ハイウェイマックスアウトネットワーク１２０及び／又は終了ハイウェイマックスアウトネットワーク１２２）を通じて反復的に処理して、潜在的開始位置と次いで潜在的終了位置とについてドキュメント相互注目エンコーディングをスコア付けする、デコーダ（「デコーダニューラルネットワーク１１８」とも本明細書において呼ばれる）を含む。
【００６０】
デコーダは、ハイウェイマックスアウトネットワークにより作成された潜在的スコアの中から選択し、現在推定された開始及び終了位置を生成する、ａｒｇｍａｘモジュール１８１６をさらに含む。デコーダは、終了条件に達すると質問に応答するドキュメントフレーズを出力する出力生成器１８１８をさらに含む。ドキュメントフレーズは、現在推定された開始及び終了位置に及びその範囲内におけるドキュメントワードを含む。
【００６１】
このシステムの実装及び開示される他のシステムは、以下の特徴のうち１つ以上を任意選択で含む。システムは、開示される方法と関連して説明される特徴を含んでもよい。簡潔さのために、システムの特徴の代替的な組み合わせは個々に列挙されない。システム、方法、及び製造品に適用可能な特徴は、基本の特徴の各法定分類セットについて繰り返されない。本セクションにおいて識別される特徴が他の法定分類における基本の特徴と如何に容易に組み合わせられ得るかを読み手は理解するであろう。
【００６２】
システムは、前のデコーダ隠れ状態と前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとに基づいて現在のデコーダ隠れ状態をさらに作成するデコーダＬＳＴＭ１８１４をさらに含む。
【００６３】
システムは、現在のデコーダ隠れ状態と前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとを非線形射影に射影する線形層と、スコア付けされる各位置を非線形射影と結合し、各結合を４つ以上の線形モデルを通じて処理して線形モデルのうち１つから最大出力を選択する第１のマックスアウト層と、スコア付けされる各位置について、第１のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して線形モデルのうち１つから最大出力を選択する第２のマックスアウト層と、スコア付けされる各位置について、第１及び第２のマックスアウト層の出力を４つ以上の線形モデルを通じて処理して線形モデルのうち１つから最大出力を選択する第３のマックスアウト層とを通じて、ドキュメント内の位置についてドキュメント相互注目エンコーディングをさらに処理するハイウェイマックスアウトネットワークをさらに含む。
【００６４】
いくつかの実装において、終了条件は、現在推定された開始及び終了位置が前に推定された開始及び終了位置に一致したとき達せられてよい。他の実装において、終了条件は、最大の反復数が達せられたとき達せられてよい。
【００６５】
システムは、訓練例（training  examples）を通じてのすべての反復にわたり開始及び終了位置の推定における累積損失を最小化することにより、ドキュメントエンコーダＬＳＴＭ１８０２、質問エンコーダＬＳＴＭ１８０４、相互注目エンコーダ双方向ＬＳＴＭ、デコーダＬＳＴＭ１８１４、及びハイウェイマックスアウトネットワークを訓練する訓練器１８２０をさらに含む。いくつかの実装において、累積損失は、逆伝播に基づくソフトマックス交差エントロピーを使用して訓練器により決定されてよい。
【００６６】
システムは、ａｒｇｍａｘモジュール１８１６による潜在的スコアのうち最大のスコアの選択に基づいて現在推定された開始及び終了位置をさらに生成するデコーダをさらに含む。
【００６７】
システムは、連結された入力をフォワード方向においてさらに処理してフォワード出力を作成し、連結された入力をバックワード方向においてさらに処理してリバース出力を作成し、フォワード及びリバース出力をさらに連結してドキュメント相互注目エンコーディングを作成する、相互注目エンコーダ双方向ＬＳＴＭをさらに含む。
【００６８】
他の実装が、上記で説明されたシステムの動作を実行するようプロセッサにより実行可能な命令を記憶した非一時的コンピュータ読取可能記憶媒体を含んでよい。
【００６９】
別の実装において、開示される技術は、相互注目質問応答システム（「動的相互注目ネットワーク（ＤＣＮ）１００」とも本明細書において呼ばれる）を含む。システムは、多数の並列プロセッサ上で動作する。システムは、質問に基づいてドキュメントを解析し、ドキュメントに基づいて質問に応答する。
【００７０】
システムは、ドキュメントエンコーダ長短期記憶（略称ＬＳＴＭ）１８０２及び質問エンコーダＬＳＴＭ１８０４により再帰的に作成されたドキュメント及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定する隠れ状態比較器１１０を含む。いくつかの実装において、ドキュメント及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアは、隠れ状態比較器により適用されるドット積又は双線形積を使用して決定されてよい。
【００７１】
システムは、ドキュメント対質問ワードごと言語類似度スコアを使用してドキュメント文脈エンコーディングに注目し、質問文脈エンコーディングを条件としたドキュメント文脈サマリを作成する、ドキュメントエンコーディングミキサ１８０６を含む。
【００７２】
システムは、質問対ドキュメントワードごと言語類似度スコアを使用して質問文脈エンコーディングに注目し、ドキュメント文脈エンコーディングを条件とした質問文脈サマリを作成する、質問エンコーディングミキサ１８０８を含む。
【００７３】
システムは、質問対ドキュメントワードごと言語類似度スコアを使用してドキュメント文脈サマリに注目し、質問文脈エンコーディングを再度条件とした再注目ドキュメント文脈サマリを作成する、再注目器１８１０を含む。
【００７４】
システムは、再注目ドキュメント文脈サマリと質問文脈サマリとドキュメント文脈エンコーディングとの連結を再帰的及び双方向に処理し、ドキュメント相互注目エンコーディングを作成する、相互注目エンコーダ双方向ＬＳＴＭ（「相互注目エンコーダ１１６」とも本明細書において呼ばれる）を含む。
【００７５】
システムは、デコーダＬＳＴＭ１８１４及びハイウェイマックスアウトネットワーク（例えば、開始ハイウェイマックスアウトネットワーク１２０及び／又は終了ハイウェイマックスアウトネットワーク１２２）を使用してドキュメント相互注目エンコーディングを反復的に処理し、質問に応答するドキュメントフレーズを出力する、デコーダ（「デコーダニューラルネットワーク１１８」とも本明細書において呼ばれる）を含む。
【００７６】
第１のシステムの実装についてこの具体的な実装のセクション内で論じられる特徴の各々は、このシステムの実装に等しく適用される。上記で示されたように、すべてのシステムの特徴はここで繰り返されず、参照により繰り返されるとみなされるべきである。
【００７７】
他の実装が、上記で説明されたシステムの動作を実行するようプロセッサにより実行可能な命令を記憶した非一時的コンピュータ読取可能記憶媒体を含んでよい。
【００７８】
さらに別の実装において、開示される技術は、質問に基づいてドキュメントを相互注目的に解析し、ドキュメントに基づいて質問に応答する方法を提示する。
【００７９】
方法は、ドキュメントエンコーダ長短期記憶（略称ＬＳＴＭ）１８０２及び質問エンコーダＬＳＴＭ１８０４により再帰的に作成されたドキュメント及び質問文脈エンコーディングのペア間のペアごと言語類似度スコアを決定するステップを含む。
【００８０】
方法は、ドキュメント対質問ワードごと言語類似度スコアを使用してドキュメント文脈エンコーディングに注目し、質問文脈エンコーディングを条件としたドキュメント文脈サマリを作成するステップを含む。
【００８１】
方法は、質問対ドキュメントワードごと言語類似度スコアを使用して質問文脈エンコーディングに注目し、ドキュメント文脈エンコーディングを条件とした質問文脈サマリを作成するステップを含む。
【００８２】
方法は、質問対ドキュメントワードごと言語類似度スコアを使用してドキュメント文脈サマリに注目し、質問文脈エンコーディングを再度条件とした再注目ドキュメント文脈サマリを作成するステップを含む。
【００８３】
方法は、再注目ドキュメント文脈サマリと質問文脈サマリとドキュメント文脈エンコーディングとの連結を再帰的及び双方向に処理し、ドキュメント相互注目エンコーディングを作成するステップを含む。
【００８４】
方法は、デコーダＬＳＴＭ１８１４及びハイウェイマックスアウトネットワーク（例えば、開始ハイウェイマックスアウトネットワーク１２０及び／又は終了ハイウェイマックスアウトネットワーク１２２）を使用してドキュメント相互注目エンコーディングを反復的に処理し、質問に応答するドキュメントフレーズを出力するステップを含む。
【００８５】
第１のシステムの実装についてこの具体的な実装のセクション内で論じられる特徴の各々は、この方法の実装に等しく適用される。上記で示されたように、すべてのシステムの特徴はここで繰り返されず、参照により繰り返されるとみなされるべきである。
【００８６】
他の実装が、上記で説明された方法を実行するようプロセッサにより実行可能な命令を記憶した非一時的コンピュータ読取可能記憶媒体（ＣＲＭ）を含んでよい。さらに別の実装が、メモリと、メモリに記憶され上記で説明された方法を実行するための命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含んでよい。
【００８７】
一実装において、開示される技術は、相互注目質問応答システム（「動的相互注目ネットワーク（ＤＣＮ）１００」とも本明細書において呼ばれる）を含む。システムは、多数の並列プロセッサ上で動作する。システムは、ドキュメントに基づいて質問に応答する。
【００８８】
システムは、ワードのシーケンスについての文脈エンコーディングを発行するエンコーダ長短期記憶（略称ＬＳＴＭ）（「エンコーダニューラルネットワーク１０８」とも本明細書において呼ばれる）を含む。ドキュメント内のワードの第１のシーケンスに適用されたとき、エンコーダＬＳＴＭは、ドキュメントについての文脈エンコーディングの第１のシーケンスを生成する。質問内のワードの第２のシーケンスに適用されたとき、エンコーダＬＳＴＭは、質問についての文脈エンコーディングの第２のシーケンスに適用されるドキュメントについての文脈エンコーディングの第１のシーケンスを生成する。
【００８９】
システムは、第１及び第２のシーケンス内の文脈エンコーディング間の言語類似度を決定し、ペアごと言語類似度スコアを生成する、隠れ状態比較器１１０を含む。
【００９０】
システムは、１つの文脈エンコーディングについての、別の文脈エンコーディングのワードを条件とした文脈サマリシーケンスを発行する、エンコーディングミキサ１１４を含む。類似度スコアを使用して質問についての文脈エンコーディングの第２のシーケンスを条件としたドキュメントについての文脈エンコーディングの第１のシーケンスに適用されたとき、エンコーディングミキサ１１４は、質問ワードを条件としたドキュメントの第１の文脈サマリシーケンスを生成する。類似度スコアを使用してドキュメントについての文脈エンコーディングの第１のシーケンスを条件とした質問についての文脈エンコーディングの第２のシーケンスに適用されたとき、エンコーディングミキサ１１４は、ドキュメントワードを条件とした質問の第２の文脈サマリシーケンスを生成する。類似度スコアを使用してドキュメントについての文脈エンコーディングの第１のシーケンスを条件としたドキュメントの第１の文脈サマリシーケンスに再適用されたとき、エンコーディングミキサ１１４は、ドキュメントの第３の再注目文脈サマリシーケンスを生成する。
【００９１】
システムは、連結された入力及び前のドキュメント相互注目エンコーディングをフォワード及びリバース方向において再帰的に処理してドキュメント相互注目エンコーディングを作成する相互注目エンコーダ双方向ＬＳＴＭ（「相互注目エンコーダ１１６」とも本明細書において呼ばれる）を含む。連結された入力は、ドキュメントの第３の再注目文脈サマリシーケンス、質問の第２の文脈サマリシーケンス、及びドキュメントについての文脈エンコーディングの第１のシーケンスを含む。
【００９２】
システムは、ドキュメント相互注目エンコーディングと前に推定された開始及び終了位置におけるドキュメント注目エンコーディングとデコーダＬＳＴＭ１８１４の現在のデコーダ隠れ状態との結合をハイウェイマックスアウトネットワーク（例えば、開始ハイウェイマックスアウトネットワーク１２０及び／又は終了ハイウェイマックスアウトネットワーク１２２）を通じて反復的に処理して、潜在的開始位置と次いで潜在的終了位置とについてドキュメント相互注目エンコーディングをスコア付けする、デコーダ（「デコーダニューラルネットワーク１１８」とも本明細書において呼ばれる）を含む。デコーダは、ハイウェイマックスアウトネットワークにより作成された潜在的スコアの中から選択して、現在推定された開始及び終了位置を生成する。終了条件に達すると、デコーダは、質問に応答し且つ現在推定された開始及び終了位置に及びその範囲内におけるドキュメントワードを含む、ドキュメントフレーズを出力する。
【００９３】
開示される技術の方法の実装が、ドキュメントを読み出して理解しそれに基づいて質問に応答するためにマシンにより使用されるモデルを構築するステップを含む。ドキュメントを読み出して理解しドキュメントに基づいて質問に応答するこれらのステップは、動的相互注目ネットワーク（ＤＣＮ）１００の相互注目質問応答システムにおいて具現化される。
【００９４】
方法は、ドキュメント及び質問をワード埋め込み空間に埋め込むステップを含む。埋め込むこれらのステップは、ＤＣＮ１００の埋め込み器１０６により具現化される。
【００９５】
方法は、ドキュメント埋め込み及び質問埋め込みをエンコーダＬＳＴＭに提供してドキュメント文脈エンコーディング及び質問文脈エンコーディングを生成するステップを含む。ドキュメント文脈エンコーディングを生成するステップは、エンコーダニューラルネットワーク１０８のドキュメントエンコーダＬＳＴＭ１８０２により具現化される。質問文脈エンコーディングを生成するステップは、エンコーダニューラルネットワーク１０８の質問エンコーダＬＳＴＭ１８０４により具現化される。
【００９６】
方法は、ドキュメント及び質問の文脈エンコーディング間の言語類似度を算出してドキュメントごと及び質問ごとの次元を有するアフィニティ行列を生成するステップを含む。言語類似度埋め込みを算出するステップは、ＤＣＮ１００の隠れ状態比較器１１０により具現化される。
【００９７】
方法は、アフィニティ行列をドキュメントごと及び質問ごとに指数関数的に正規化してそれぞれのドキュメント対質問注目重み及び質問対ドキュメント注目重みを生成するステップを含む。指数関数的に正規化するステップは、ＤＣＮ１００の指数関数的正規化器１１２により具現化される。
【００９８】
方法は、ドキュメント文脈エンコーディングをドキュメント対質問注目重みと結合し、質問対ドキュメント注目重みとさらに結合して、ドキュメントの文脈サマリを作成するステップを含む。ドキュメントの文脈サマリを作成するステップは、エンコーディングミキサ１１４のドキュメントエンコーディングミキサ１８０６により具現化される。ドキュメントの改善文脈サマリを作成するステップは、エンコーディングミキサ１１４の再注目器１８１０により具現化される。
【００９９】
方法は、質問文脈エンコーディングを質問対ドキュメント注目重みと結合して質問の文脈サマリを作成するステップを含む。質問の文脈サマリを作成するステップは、エンコーディングミキサ１１４の質問エンコーディングミキサ１８０８により具現化される。
【０１００】
方法は、ドキュメント及び質問の文脈サマリとドキュメント文脈エンコーディングとを双方向ＬＳＴＭに提供して双方向ドキュメントごと相互注目エンコーディングを生成するステップを含む。双方向ドキュメントごと相互注目エンコーディングを生成するステップは、ＤＣＮ１００の連結器１８１２及び相互注目エンコーダ１１６により具現化される。
【０１０１】
この方法の実装及び開示される他の方法は、以下の特徴のうち１つ以上を任意選択で含む。方法は、開示される方法と関連して説明される特徴を含んでもよい。簡潔さのために、方法の特徴の代替的な組み合わせは個々に列挙されない。方法、システム、及び製造品に適用可能な特徴は、基本の特徴の各法定分類セットについて繰り返されない。本セクションにおいて識別される特徴が他の法定分類における基本の特徴と如何に容易に組み合わせられ得るかを読み手は理解するであろう。
【０１０２】
方法は、１つ以上の反復において双方向ドキュメントごと相互注目エンコーディングを解析してドキュメントごと隠れ状態を作成するステップをさらに含む。これは、第２の及び後続の反復の間、前に生成されたドキュメントごと隠れ状態並びに推定された開始及び終了位置についての直前の反復からの結果を考慮に入れる、デコーダＬＳＴＭ１８１４を使用することをさらに含む。方法は、別個の開始スコア付け及び終了スコア付け関数を適用することにより潜在的開始位置と次いで潜在的終了位置とをスコア付けするステップをさらに含む。方法は、ドキュメント内の潜在的開始及び終了位置についてドキュメントごと相互注目エンコーディングから生成されたスコアの中から選択して現在推定された開始及び終了位置を生成するステップをさらに含む。ドキュメント内の潜在的開始及び終了位置についてドキュメントごと相互注目エンコーディングから生成されたスコアの中から選択して現在推定された開始及び終了位置を生成するステップは、デコーダニューラルネットワーク１１８のａｒｇｍａｘモジュール１８１６により具現化される。
【０１０３】
方法は、終了条件に達すると、質問に返答するドキュメント内のフレーズの現在推定された開始及び終了位置を出力するステップをさらに含む。質問に返答するドキュメント内のフレーズの現在推定された開始及び終了位置を出力するステップは、デコーダニューラルネットワーク１１８の出力生成器１８１８により具現化される。
【０１０４】
終了条件は、フレーズの現在推定された開始及び終了位置が前に推定された開始及び終了位置に一致したとき達せられてよい。終了条件は、最大の反復数が達せられたとき達せられてよい。
【０１０５】
別個のスコア付け関数は双方、直前の反復からのドキュメントごと隠れ状態と推定された開始及び終了位置とを非線形射影に射影する線形層と、スコア付けされる各位置を非線形射影と結合し、各結合を４つ以上の線形モデルを通じて処理し、線形モデルのうち１つから最大出力を選択する第１のマックスアウト層と、スコア付けされる各位置について、第１のマックスアウト層の出力を４つ以上の線形モデルを通じて処理し、線形モデルのうち１つから最大出力を選択する第２のマックスアウト層と、スコア付けされる各位置について、第１及び第２のマックスアウト層の出力を４つ以上の線形モデルを通じて処理し、線形モデルのうち１つから最大出力を選択する第３のマックスアウト層とを通じて、ドキュメント内の位置についてドキュメントごと相互注目エンコーディングを処理する、別個に訓練されたハイウェイマックスアウトネットワークに適用される。
【０１０６】
方法は、訓練例を通じてのすべての反復にわたり開始及び終了位置の推定における累積損失を最小化することにより、エンコーダＬＳＴＭ、双方向ＬＳＴＭ、デコーダＬＳＴＭ、及びハイウェイマックスアウトネットワークを訓練するステップをさらに含む。累積損失は、ソフトマックス交差エントロピーを使用して決定されてよい。訓練するステップは、ＤＣＮ１００の訓練器１８２０により具現化される。
【０１０７】
第１のシステムの実装についてこの具体的な実装のセクション内で論じられる特徴の各々は、この方法の実装に等しく適用される。上記で示されたように、すべてのシステムの特徴はここで繰り返されず、参照により繰り返されるとみなされるべきである。
【０１０８】
他の実装が、上記で説明された方法を実行するようプロセッサにより実行可能な命令を記憶した非一時的コンピュータ読取可能記憶媒体（ＣＲＭ）を含んでよい。さらに別の実装が、メモリと、メモリに記憶され上記で説明された方法を実行するための命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含んでよい。
【０１０９】
開示される技術のシステム実装は、ニューラルネットワークシステムを含む。
【０１１０】
ニューラルネットワークシステムは、ドキュメント及び質問の文脈エンコーディングを作成するエンコーダニューラルネットワークを含む。
【０１１１】
ニューラルネットワークシステムは、ドキュメント文脈エンコーディング及び質問文脈エンコーディング内の位置間の言語類似度解析を使用してアフィニティ行列を作成する隠れ状態比較器を含む。
【０１１２】
ニューラルネットワークシステムは、アフィニティ行列をドキュメントごと及び質問ごとに正規化してそれぞれのドキュメント対質問注目重み及び質問対ドキュメント注目重みを生成する指数関数的正規化器を含む。
【０１１３】
ニューラルネットワークシステムは、ドキュメント文脈エンコーディングをドキュメント対質問注目重みと結合し、質問対ドキュメント注目重みとさらに結合してドキュメントの文脈サマリを作成し、質問文脈エンコーディングを質問対ドキュメント注目重みと結合して質問の文脈サマリを作成する、エンコーディングミキサを含む。
【０１１４】
ニューラルネットワークシステムは、ドキュメント及び質問の文脈サマリとドキュメント文脈エンコーディングとを入力として取得してドキュメントごと相互注目エンコーディングを生成する相互注目エンコーダを含む。
【０１１５】
ニューラルネットワークシステムは、ドキュメントごと相互注目エンコーディングを解析してドキュメントごと隠れ状態を作成するデコーダニューラルネットワークを含む。デコーダニューラルネットワークは、第２の及び後続の反復の間、前に生成されたドキュメントごと隠れ状態並びに推定された開始及び終了位置についての直前の反復からの結果を考慮に入れる、デコーダＬＳＴＭをさらに使用する。デコーダニューラルネットワークは、別個の開始スコア付け及び終了スコア付け関数を適用することにより、潜在的開始位置と次いで潜在的終了位置とをスコア付けする。デコーダニューラルネットワークは、ドキュメント内の潜在的開始及び終了位置についてドキュメントごと相互注目エンコーディングから生成されたスコアの中から選択して、現在推定された開始及び終了位置を生成する。デコーダニューラルネットワークは、終了条件に達すると、質問に返答するドキュメント内のフレーズの現在推定された開始及び終了位置を出力する。
【０１１６】
前の方法及びシステムの実装についてこの具体的な実装のセクション内で論じられる特徴の各々は、このシステムの実装に等しく適用される。上記で示されたように、すべての方法及びシステムの特徴はここで繰り返されず、参照により繰り返されるとみなされるべきである。
【０１１７】
他の実装が、上記で説明されたシステムの動作を実行するようプロセッサにより実行可能な命令を記憶した非一時的コンピュータ読取可能記憶媒体を含んでよい。
【０１１８】
［コンピュータシステム］
図１９は、動的相互注目ネットワーク（ＤＣＮ）１００を実現するために使用できるコンピュータシステム１９００の簡略ブロック図である。コンピュータシステム１９００は、バスサブシステム１９２２を介して複数の周辺デバイスと通信する少なくとも１つの中央処理ユニット（ＣＰＵ）１９２４を含む。これらの周辺デバイスは、例えばメモリデバイス及びファイルストレージサブシステム１９１８を含むストレージサブシステム１９１０、ユーザインターフェース入力デバイス１９２０、ユーザインターフェース出力デバイス１９２８、及びネットワークインターフェースサブシステム１９２６を含んでよい。入力及び出力デバイスは、コンピュータシステム１９００とのユーザ相互作用を可能にする。ネットワークインターフェースサブシステム１９２６は、他のコンピュータシステム内の対応するインターフェースデバイスへのインターフェースを含む、外部ネットワークへのインターフェースを提供する。
【０１１９】
一実装において、ＤＣＮ１００は、ストレージサブシステム１９１０に、及びユーザインターフェース入力デバイス１９２０に通信可能にリンクされる。
【０１２０】
ユーザインターフェース入力デバイス１９２０は、キーボードと、マウス、トラックボール、タッチパッド、又はグラフィックスタブレットなどのポインティングデバイスと、スキャナと、ディスプレイに組み込まれたタッチスクリーンと、音声認識システム及びマイクロフォンなどのオーディオ入力デバイスと、他タイプの入力デバイスとを含んでよい。一般に、用語「入力デバイス」の使用は、情報をコンピュータシステム１９００に入力するためのすべての可能なタイプの装置及び方法を含むことが意図される。
【０１２１】
ユーザインターフェース出力デバイス１９２８は、ディスプレイサブシステム、プリンタ、ファックスマシン、又はオーディオ出力デバイスなどの非視覚的ディスプレイを含んでよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などのフラットパネルデバイス、投影デバイス、又は可視イメージを作り出す何らかの他の機構を含んでよい。ディスプレイサブシステムは、オーディオ出力デバイスなどの非視覚的ディスプレイを提供してもよい。一般に、用語「出力デバイス」の使用は、情報をコンピュータシステム１９００からユーザに又は別のマシン若しくはコンピュータシステムに対して出力するためのすべての可能なタイプの装置及び方法を含むことが意図される。
【０１２２】
ストレージサブシステム１９１０は、本明細書で説明されるモジュール及び方法のいくつか又はすべての機能性を提供するプログラミング及びデータ構造を記憶する。これらのソフトウェアモジュールは、ディープラーニングプロセッサ１９３０により一般に実行される。
【０１２３】
ディープラーニングプロセッサ１９３０は、グラフィックス処理ユニット（ＧＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。ディープラーニングプロセッサ１９３０は、Ｇｏｏｇｌｅ（登録商標）  Ｃｌｏｕｄ  ＰｌａｔｆｏｒｍＴＭ、Ｘｉｌｉｎｘ（登録商標）ＴＭ、及びＣｉｒｒａｓｃａｌｅＴＭなどのディープラーニングクラウドプラットフォームによりホストされてよい。ディープラーニングプロセッサ１９３０の例は、Ｇｏｏｇｌｅのテンソル処理ユニット（Tensor  Processing  Unit、ＴＰＵ）ＴＭ、ＧＸ４  Ｒａｃｋｍｏｕｎｔ  ＳｅｒｉｅｓＴＭ、ＧＸ８  Ｒａｃｋｍｏｕｎｔ  ＳｅｒｉｅｓＴＭ、ＮＶＩＤＩＡ（登録商標）  ＤＧＸ‐１ＴＭのようなラックマウントソリューション、Ｍｉｃｒｏｓｏｆｔ（登録商標）のＳｔｒａｔｉｘ  Ｖ  ＦＰＧＡＴＭ、Ｇｒａｐｈｃｏｒｅのインテリジェントプロセッサユニット（Intelligent  Processor  Unit、ＩＰＵ）ＴＭ、Ｑｕａｌｃｏｍｍ（登録商標）のＳｎａｐｄｒａｇｏｎ（登録商標）プロセッサＴＭを有するＺｅｒｏｔｈ  ＰｌａｔｆｏｒｍＴＭ、ＮＶＩＤＩＡのＶｏｌｔａＴＭ、ＮＶＩＤＩＡのＤＲＩＶＥ  ＰＸＴＭ、ＮＶＩＤＩＡのＪＥＴＳＯＮ  ＴＸ１／ＴＸ２  ＭＯＤＵＬＥＴＭ、Ｉｎｔｅｌ（登録商標）のＮｉｒｖａｎａＴＭ、Ｍｏｖｉｄｉｕｓ  ＶＰＵＴＭ、Ｆｕｊｉｔｓｕ（登録商標）  ＤＰＩＴＭ、ＡＲＭのＤｙｎａｍｉｃＩＱＴＭ、ＩＢＭ  ＴｒｕｅＮｏｒｔｈＴＭなどを含む。
【０１２４】
ストレージサブシステム１９１０において使用されるメモリサブシステム１９１２は、プログラム実行の間の命令及びデータの記憶のためのメインランダムアクセスメモリ（ＲＡＭ）１９１４と固定の命令が記憶される読取専用メモリ（ＲＯＭ）１９１６とを含む、複数のメモリを含んでよい。ファイルストレージサブシステム１９１８は、プログラム及びデータファイルのための永続的ストレージを提供してよく、ハードディスクドライブ、関連づけられた取外し可能媒体を有するフロッピーディスクドライブ、ＣＤ‐ＲＯＭドライブ、光学ドライブ、又は取外し可能媒体カートリッジを含んでよい。特定の実装の機能性を実現するモジュールが、ストレージサブシステム１９１０に、又はプロセッサによりアクセス可能な他のマシンに、ファイルストレージサブシステム１９１８により記憶されてよい。
【０１２５】
バスサブシステム１９２２は、コンピュータシステム１９００の様々なコンポーネント及びサブシステムに意図されたように互いに通信させる機構を提供する。バスサブシステム１９２２は単一のバスとして概略的に示されているが、バスサブシステムの代替的な実装が複数のバスを使用してよい。
【０１２６】
コンピュータシステム１９００はそれ自体、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、テレビジョン、メインフレーム、サーバファーム、緩くネットワーク化されたコンピュータの広く分散されたセット、又は任意の他のデータ処理システム若しくはユーザデバイスを含む、様々なタイプのものであってよい。コンピュータ及びネットワークの常に変化する性質に起因して、図１９に表されるコンピュータシステム１９００の説明は、本発明の好適な実施例を示す目的で単に具体的な例として意図されている。図１９に表されるコンピュータシステムより多くの又は少ないコンポーネントを有する、コンピュータシステム１９００の多くの他の構成が可能である。
【０１２７】
前述の説明は、開示される技術の創作及び使用を可能にするよう提示されている。開示の実装に対する様々な変更が明らかになり、本明細書で定義される一般的原理は、開示される技術の主旨及び範囲から逸脱することなく他の実装及び用途に適用され得る。ゆえに、開示される技術は、図示される実装に限定されることは意図されず、本明細書で開示される原理及び特徴に一致する最も広い範囲を与えられるべきである。開示される技術の範囲は、別記の特許請求の範囲により定義される。
【０１２８】
0006873236.tif 000036
0006873236.tif 000037
0006873236.tif 000038
0006873236.tif 000039
0006873236.tif 000040
0006873236.tif 000041
0006873236.tif 000042
0006873236.tif 000043
0006873236.tif 000044
0006873236.tif 000045
0006873236.tif 000046
0006873236.tif 000047
【図１】
0006873236.tif 000048
【図２】
0006873236.tif 000049
【図３】
0006873236.tif 000050
【図４】
0006873236.tif 000051
【図５】
0006873236.tif 000052
【図６】
0006873236.tif 000053
【図７】
0006873236.tif 000054
【図８】
0006873236.tif 000055
【図９】
0006873236.tif 000056
【図１０】
0006873236.tif 000057
【図１１】
0006873236.tif 000058
【図１２】
0006873236.tif 000059
【図１３】
0006873236.tif 000060
【図１４】
0006873236.tif 000061
【図１５】
0006873236.tif 000062
【図１６】
0006873236.tif 000063
【図１７】
0006873236.tif 000064
【図１８】
0006873236.tif 000065
【図１９】
0006873236.tif 000066