【手続補正書】
【提出日】令和2年4月15日(2020.4.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
1つまたは複数のコンピュータと、命令を格納する1つまたは複数のストレージデバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されるとき、前記1つまたは複数のコンピュータに、入力順に複数の入力位置の各々においてそれぞれのネットワーク入力を有する入力シーケンスを、出力順に複数の出力位置の各々においてそれぞれのネットワーク出力を有する出力シーケンスに変換するためのシーケンス変換ニューラルネットワークを実施させ、前記シーケンス変換ニューラルネットワークは、
前記入力シーケンスを受信し、前記入力シーケンス内の前記ネットワーク入力の各々のそれぞれエンコードされた表現を生成するように構成され、1つまたは複数のエンコーダサブネットワークのシーケンスを備えるエンコーダニューラルネットワークであって、各エンコーダサブネットワークは、前記複数の入力位置の各々についてそれぞれのエンコーダサブネットワーク入力を受信し、前記複数の入力位置の各々についてそれぞれのサブネットワーク出力を生成するように構成され、各エンコーダサブネットワークは、
前記複数の入力位置の各々についてサブネットワーク入力を受信するように構成されるエンコーダセルフアテンションサブレイヤであって、入力順に各特定の入力位置について、
前記複数の入力位置において前記エンコーダサブネットワーク入力にわたりセルフアテンションメカニズムを適用して、前記特定の入力位置についてそれぞれの出力を生成するように構成されるエンコーダセルフアテンションサブレイヤを備え、セルフアテンションメカニズムを適用することは、前記特定の入力位置において前記サブネットワーク入力からクエリを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出されたキーを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出された値を決定することと、前記決定されたクエリ、キー、および値を使用して、前記特定の入力位置について前記それぞれの出力を生成することとを含む、エンコーダニューラルネットワークと、
前記エンコードされた表現を受信し、前記出力シーケンスを生成するように構成されたデコーダニューラルネットワークとを備えるシステム。
【請求項２】
前記エンコーダニューラルネットワークは、
前記入力シーケンス内の各ネットワーク入力について、
前記ネットワーク入力を前記ネットワーク入力の埋め込み表現にマップし、
前記ネットワーク入力の前記埋め込み表現を、入力順に前記ネットワーク入力の前記入力位置の位置埋め込みと結合して前記ネットワーク入力の結合された埋め込み表現を生成して、
前記ネットワーク入力の前記結合された埋め込み表現を、エンコーダサブネットワークの前記シーケンス内の第1のエンコーダサブネットワークに対する前記エンコーダサブネットワーク入力として提供するように構成された埋め込みレイヤをさらに備える請求項1に記載のシステム。
【請求項３】
前記ネットワーク入力の前記それぞれエンコードされた表現は、前記シーケンス内の最後のエンコーダサブネットワークにより生成されたエンコーダサブネットワーク出力である請求項1に記載のシステム。
【請求項４】
1つまたは複数のエンコーダサブネットワークの前記シーケンスが少なくとも2つのエンコーダサブネットワークを含み、前記シーケンス内の第1のエンコーダサブネットワーク以外の各エンコーダサブネットワークについて、前記エンコーダサブネットワーク入力は、前記シーケンス内の先行するエンコーダサブネットワークのエンコーダサブネットワーク出力である請求項1に記載のシステム。
【請求項５】
前記エンコーダサブネットワークの少なくとも1つは、
各入力位置について、
前記入力位置において入力を受信し、
前記入力位置において変換のシーケンスを前記入力に適用して、前記入力位置に対する出力を生成するように構成される位置ごとのフィードフォワードレイヤをさらに備える請求項1に記載のシステム。
【請求項６】
前記シーケンスは、活性化関数によって分離される2つの学習された線形変換を備える請求項5に記載のシステム。
【請求項７】
前記少なくとも1つのエンコーダサブネットワークは、
前記位置ごとのフィードフォワードレイヤの前記出力を前記位置ごとのフィードフォワードレイヤへの前記入力と結合してエンコーダ位置ごとの残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記エンコーダ位置ごとの残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項5に記載のシステム。
【請求項８】
各エンコーダサブネットワークは、
前記エンコーダセルフアテンションサブレイヤの出力を前記エンコーダセルフアテンションサブレイヤへの入力と結合してエンコーダセルフアテンション残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記エンコーダセルフアテンション残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項1に記載のシステム。
【請求項９】
各エンコーダセルフアテンションサブレイヤは、複数のエンコーダセルフアテンションレイヤを備える請求項1に記載のシステム。
【請求項１０】
各エンコーダセルフアテンションレイヤは、
学習されたクエリ線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれのクエリを生成し、
学習されたキー線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれのキーを生成し、
学習された値線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれの値を生成するように構成され、
各入力位置について、
前記入力位置の前記クエリと前記複数の入力位置について生成された前記キーとの間に比較関数を適用することにより、前記入力位置についてそれぞれ入力位置固有の重みを決定し、
前記入力位置の初期エンコーダセルフアテンション出力を、前記複数の入力位置の対応する入力位置固有の重みにより加重された値の加重合計を決定することにより、決定するように構成され、前記値が前記複数の入力位置について生成される、請求項9に記載のシステム。
【請求項１１】
前記エンコーダセルフアテンションサブレイヤは、各入力位置について、前記エンコーダセルフアテンションサブレイヤにより生成された前記入力位置の前記初期エンコーダセルフアテンション出力を結合して、前記エンコーダセルフアテンションサブレイヤの出力を生成するように構成される請求項10に記載のシステム。
【請求項１２】
前記エンコーダセルフアテンションレイヤは、並行して動作する請求項9に記載のシステム。
【請求項１３】
前記デコーダニューラルネットワークは、複数の生成時間ステップの各々において、前記エンコードされた表現、および前記出力順に前記出力位置に先行する出力位置におけるネットワーク出力に条件付けられた前記生成時間ステップに対応する出力位置においてネットワーク出力を生成することにより、前記出力シーケンスを自己回帰の方法で生成する請求項1に記載のシステム。
【請求項１４】
前記デコーダニューラルネットワークは、デコーダサブネットワークのシーケンスを備え、各デコーダサブネットワークは、各生成時間ステップにおいて、前記対応する出力位置に先行する前記複数の出力位置の各々についてそれぞれのデコーダサブネットワーク入力を受信し、前記対応する出力位置に先行する前記複数の出力位置の各々についてそれぞれのデコーダサブネットワーク出力を生成するように構成される請求項13に記載のシステム。
【請求項１５】
前記デコーダニューラルネットワークは、
各生成時間ステップにおいて
前記出力順に前記対応する出力位置に先行する出力位置において各ネットワーク出力について、
前記ネットワーク出力を前記ネットワーク出力の埋め込み表現にマップし、
前記ネットワーク出力の前記埋め込み表現を、出力順に前記ネットワーク出力の前記対応する出力位置の位置埋め込みと結合して前記ネットワーク出力の結合された埋め込み表現を生成し、
前記ネットワーク出力の前記結合された埋め込み表現を、デコーダサブネットワークの前記シーケンス内の第1のデコーダサブネットワークへの入力として提供するように構成された埋め込みレイヤをさらに備える請求項14に記載のシステム。
【請求項１６】
前記デコーダサブネットワークの少なくとも1つは、
各生成時間ステップにおいて
前記対応する出力位置に先行する各特定の出力位置について
前記特定の出力位置において入力を受信し、
前記特定の出力位置において変換のシーケンスを前記入力に適用して、前記特定の出力位置について出力を生成するように構成される位置ごとのフィードフォワードレイヤを備える請求項14に記載のシステム。
【請求項１７】
前記シーケンスは、活性化関数によって分離される2つの学習された線形変換を備える請求項16に記載のシステム。
【請求項１８】
前記少なくとも1つのデコーダサブネットワークは、
前記位置ごとのフィードフォワードレイヤの前記出力を前記位置ごとのフィードフォワードレイヤへの前記入力と結合して残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項16に記載のシステム。
【請求項１９】
各デコーダサブネットワークは、
各生成時間ステップにおいて、
前記対応する出力位置に先行する各特定の出力位置について入力を受信し、前記特定の出力位置の各々について、
前記特定の出力位置の前記入力から導き出された1つまたは複数のクエリを使用して前記入力位置において前記エンコードされた表現にわたりアテンションメカニズムを適用して、前記特定の出力位置に対する更新された表現を生成するように構成されるエンコーダ-デコーダアテンションサブレイヤを備える請求項14に記載のシステム。
【請求項２０】
各エンコーダ-デコーダアテンションサブレイヤは、複数のエンコーダ-デコーダアテンションレイヤを備え、各エンコーダ-デコーダアテンションレイヤは、各生成時間ステップにおいて、
学習されたクエリ線形変換を前記対応する出力位置に先行する各特定の出力位置において入力に適用して、各特定の出力位置に対してそれぞれのクエリを生成し、
学習されたキー線形変換を各入力位置において各エンコードされた表現に適用して、各入力位置に対してそれぞれのキーを生成し、
学習された値線形変換を各入力位置において各エンコードされた表現に適用して、各入力位置に対してそれぞれの値を生成し、
前記対応する出力位置に先行する各特定の出力位置について
前記特定の出力位置の前記クエリと前記キーの間に比較関数を適用することにより、前記入力位置の各々についてそれぞれ入力位置固有の重みを決定し、
前記特定の出力位置の初期エンコーダ-デコーダアテンション出力を、前記入力位置の前記対応する出力位置固有の重みにより加重された値の加重合計を決定することにより、決定するように構成される請求項19に記載のシステム。
【請求項２１】
前記エンコーダ-デコーダアテンションサブレイヤは、各生成時間ステップにおいて、前記エンコーダ-デコーダアテンションレイヤにより生成されたエンコーダ-デコーダアテンション出力を結合して、前記エンコーダ-デコーダアテンションサブレイヤの出力を生成するように構成される請求項20に記載のシステム。
【請求項２２】
前記エンコーダ-デコーダアテンションレイヤは、並行して動作する請求項20に記載のシステム。
【請求項２３】
各デコーダサブネットワークは、
前記エンコーダ-デコーダアテンションサブレイヤの出力を前記エンコーダ-デコーダアテンションサブレイヤへの前記入力と結合して残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項19に記載のシステム。
【請求項２４】
各デコーダサブネットワークは、
各生成時間ステップにおいて、
前記対応する出力位置に先行する各特定の出力位置について入力を受信し、前記特定の出力位置の各々について、
前記特定の出力位置において前記入力から導き出された1つまたは複数のクエリを使用して前記対応する出力位置に先行する前記特定の出力位置において前記入力にわたりアテンションメカニズムを適用して、前記特定の出力位置に対する更新された表現を生成するように構成されるデコーダセルフアテンションサブレイヤを備える請求項14に記載のシステム。
【請求項２５】
各デコーダセルフアテンションサブレイヤは、複数のデコーダセルフアテンションレイヤを備え、各デコーダセルフアテンションレイヤは、各生成時間ステップにおいて、
学習されたクエリ線形変換を前記対応する出力位置に先行する各特定の出力位置において前記入力に適用して、各特定の出力位置に対してそれぞれのクエリを生成し、
学習されたキー線形変換を前記対応する出力位置に先行する各特定の出力位置において各入力に適用して、各特定の出力位置に対してそれぞれのキーを生成し、
学習された値線形変換を前記対応する出力位置に先行する各特定の出力位置において各入力に適用して、各特定の出力位置に対してそれぞれのキーを生成し、
前記対応する出力位置に先行する前記各特定の出力位置について
前記特定の出力位置の前記クエリと前記キーの間に比較関数を適用することにより、各特定の出力位置についてそれぞれ入力位置固有の重みを決定し、
前記特定の出力位置の初期デコーダアテンション出力を、前記特定の出力位置の前記対応する出力位置固有の重みにより加重された前記値の加重合計を決定することにより、決定するように構成される請求項24に記載のシステム。
【請求項２６】
前記デコーダセルフアテンションサブレイヤは、各生成時間ステップにおいて、前記デコーダセルフアテンションレイヤにより生成されたデコーダアテンション出力を結合して、前記デコーダセルフアテンションサブレイヤの出力を生成するように構成される請求項25に記載のシステム。
【請求項２７】
デコーダアテンションレイヤは、並行して動作する請求項25に記載のシステム。
【請求項２８】
各デコーダサブネットワークは、
前記デコーダセルフアテンションサブレイヤの出力を前記デコーダセルフアテンションサブレイヤへの前記入力と結合して残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項24に記載のシステム。
【請求項２９】
命令を格納する1つまたは複数の非一時的コンピュータストレージ媒体であって、前記命令は、前記1つまたは複数のコンピュータによって実行されるとき、前記1つまたは複数のコンピュータに、入力順に複数の入力位置の各々においてそれぞれのネットワーク入力を有する入力シーケンスを、出力順に複数の出力位置の各々においてそれぞれのネットワーク出力を有する出力シーケンスに変換するためのシーケンス変換ニューラルネットワークを実施させ、前記シーケンス変換ニューラルネットワークは、
前記入力シーケンスを受信し、前記入力シーケンス内の前記ネットワーク入力の各々のそれぞれエンコードされた表現を生成するように構成され、1つまたは複数のエンコーダサブネットワークのシーケンスを備えるエンコーダニューラルネットワークであって、各エンコーダサブネットワークは、前記複数の入力位置の各々についてそれぞれのエンコーダサブネットワーク入力を受信し、前記複数の入力位置の各々についてそれぞれのサブネットワーク出力を生成するように構成され、各エンコーダサブネットワークは、
前記複数の入力位置の各々についてサブネットワーク入力を受信するように構成されるエンコーダセルフアテンションサブレイヤであって、入力順に各特定の入力位置について、
前記複数の入力位置において前記エンコーダサブネットワーク入力にわたりセルフアテンションメカニズムを適用して、前記特定の入力位置についてそれぞれの出力を生成するように構成されるエンコーダセルフアテンションサブレイヤを備え、セルフアテンションメカニズムを適用することは、前記特定の入力位置において前記サブネットワーク入力からクエリを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出されたキーを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出された値を決定することと、前記決定されたクエリ、キー、および値を使用して、前記特定の入力位置について前記それぞれの出力を生成することとを含む、エンコーダニューラルネットワークと、
前記エンコードされた表現を受信し、前記出力シーケンスを生成するように構成されたデコーダニューラルネットワークとを備える、1つまたは複数の非一時的コンピュータストレージ媒体。
【請求項３０】
入力順に複数の入力位置の各々においてそれぞれの入力を有する入力シーケンスを受信するステップと、
エンコーダニューラルネットワークを介して前記入力シーケンスを処理して、前記入力シーケンス内の前記入力の各々のそれぞれエンコードされた表現を生成するステップであって、前記エンコーダニューラルネットワークが、1つまたは複数のエンコーダサブネットワークのシーケンスを備え、各エンコーダサブネットワークが、前記複数の入力位置の各々についてそれぞれのエンコーダサブネットワーク入力を受信し、前記複数の入力位置の各々についてそれぞれのサブネットワーク出力を生成するように構成され、各エンコーダサブネットワークは、
前記複数の入力位置の各々についてサブネットワーク入力を受信するように構成されるエンコーダセルフアテンションサブレイヤであって、入力順に各特定の入力位置について、
前記複数の入力位置において前記エンコーダサブネットワーク入力にわたりセルフアテンションメカニズムを適用して、前記特定の入力位置についてそれぞれの出力を生成するように構成されるエンコーダセルフアテンションサブレイヤを備え、セルフアテンションメカニズムを適用することは、前記特定の入力位置において前記サブネットワーク入力からクエリを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出されたキーを決定することと、前記複数の入力位置において前記サブネットワーク入力から導出された値を決定することと、前記決定されたクエリ、キー、および値を使用して、前記特定の入力位置について前記それぞれの出力を生成することとを含む、ステップと、
デコーダニューラルネットワークを介して前記エンコードされた表現を処理して、出力順に複数の出力位置の各々においてそれぞれの出力を有する出力を生成するステップと
を含む方法。