【誤訳訂正書】
【提出日】令和2年10月29日(2020.10.29)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】０００７
【訂正方法】変更
【訂正の内容】
【０００７】
初期ゲーティング出力を生成することは、ゲーティングパラメータのセットを第1の層出力に適用して、修正された第1の層出力を生成することと、調整可能なガウスノイズを修正された第1の層出力に追加して、初期ゲーティング出力を生成することとを含み得る。調整可能なガウスノイズを修正された第1の層出力に追加して、初期ゲーティング出力を生成することは、トレーニング可能なノイズパラメータのセットを第1の層出力に適用して、初期ノイズ出力を生成することと、初期ノイズ出力に正規分布からサンプリングされたノイズ値のベクトルを要素ごとに乗算して、最終ノイズ出力を生成することと、最終ノイズ出力を修正された第1の層出力に追加することとを含み得る。スパース化関数は、k個の最大値以外の初期ゲーティング出力のすべての値を、softmax関数によってゼロにマッピングされる値に設定する。ゲーティングサブシステムは、親ゲーティングサブネットワークおよび複数の子ゲーティングサブネットワークを備え、その中で、子ゲーティングサブネットワークの各々は、他の各子ゲーティングサブネットワークからの複数のエキスパートニューラルネットワークの共通の要素を持たないサブセットを管理する。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】００３５
【訂正方法】変更
【訂正の内容】
【００３５】
いくつかの実装形態では、エキスパートニューラルネットワークの数が非常に多い場合(たとえば、1000以上のエキスパートニューラルネットワーク)、ゲーティングサブネットワーク112の分岐係数は、マルチレベル階層MoEサブネットワークを使用することによって低減することができる。たとえば、2レベルの階層MoEサブネットワークでは、ゲーティングサブシステム110は、親ゲーティングサブネットワークと複数の子ゲーティングサブネットワークとを含むことができ、その中で、子ゲーティングサブネットワークの各々はそれ自身が、それ自身のゲーティングサブネットワークを有するセカンダリMoEサブネットワークである。子ゲーティングサブネットワークの各々は、他の各子ゲーティングサブネットワークからの複数のエキスパートニューラルネットワークの共通の要素を持たないサブセットを管理する。親ゲーティングサブネットワークは、子ゲーティングサブネットワークのスパース重み付けされた組合せを選択し、スパース重み付けされた組合せに基づいてMoE出力を生成する。
【誤訳訂正３】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
1つまたは複数のコンピュータによって実装され、主ニューラルネットワーク内の第1のニューラルネットワーク層と第2のニューラルネットワーク層との間に混合エキスパート(MoE)サブネットワークを備える前記主ニューラルネットワークを備え、前記MoEサブネットワークが、
各エキスパートニューラルネットワークが、前記エキスパートニューラルネットワークのエキスパートパラメータのそれぞれのセットに従って前記第1のニューラルネットワーク層によって生成された第1の層出力を処理して、それぞれのエキスパート出力を生成するように構成される、複数のエキスパートニューラルネットワークと、
ゲーティングパラメータのセットを前記第1の層出力に適用することによって、初期ゲーティング出力を生成することと、
前記初期ゲーティング出力にスパース化関数を適用して、スパース化初期ゲーティング出力を生成することと、
前記スパース化初期ゲーティング出力にsoftmax関数を適用して、前記複数のエキスパートニューラルネットワークの各々に対するそれぞれの重みを含む重みベクトルを生成することと、
前記重みベクトルにおける前記重みに基づいて、前記エキスパートニューラルネットワークのうちの1つまたは複数を選択し、選択されたエキスパートニューラルネットワークごとにそれぞれの重みを決定することと、
前記選択されたエキスパートニューラルネットワークの各々への入力として前記第1の層出力を提供することと、
前記選択されたエキスパートニューラルネットワークによって生成された前記エキスパート出力を前記選択されたエキスパートニューラルネットワークの前記重みに従って結合して、MoE出力を生成することと、
前記MoE出力を前記第2のニューラルネットワーク層への入力として提供することと
を行うように構成されたゲーティングサブシステムと
を備える、システム。
【請求項２】
前記エキスパートニューラルネットワークが、同じまたは類似のアーキテクチャを有するが異なるパラメータ値を有する、請求項1に記載のシステム。
【請求項３】
前記選択されたエキスパートニューラルネットワークによって生成された前記エキスパート出力を結合することが、
前記選択されたエキスパートニューラルネットワークの各々によって生成された前記エキスパート出力を、前記選択されたエキスパートニューラルネットワークの前記重みによって重み付けして、重み付けされたエキスパート出力を生成することと、
前記重み付けされたエキスパート出力を合計して、前記MoE出力を生成することと
を備える、請求項1または2に記載のシステム。
【請求項４】
前記重みベクトルが、前記エキスパートニューラルネットワークのうちの少数に対してのみ非ゼロ重みを含むスパースベクトルである、請求項1から3のいずれか一項に記載のシステム。
【請求項５】
前記エキスパートニューラルネットワークのうちの1つまたは複数を選択することが、
前記重みベクトル内に非ゼロ重みを有するエキスパートニューラルネットワークのみを選択することを備える、請求項1から4のいずれか一項に記載のシステム。
【請求項６】
前記初期ゲーティング出力を生成することが、
ゲーティングパラメータの前記セットを前記第1の層出力に適用して、修正された第1の層出力を生成することと、
調整可能なガウスノイズを前記修正された第1の層出力に追加して、前記初期ゲーティング出力を生成することと
を備える、請求項1から5のいずれか一項に記載のシステム。
【請求項７】
調整可能なガウスノイズを前記修正された第1の層出力に追加して、前記初期ゲーティング出力を生成することが、
トレーニング可能なノイズパラメータのセットを前記第1の層出力に適用して、初期ノイズ出力を生成することと、
前記初期ノイズ出力に正規分布からサンプリングされたノイズ値のベクトルを要素ごとに乗算して、最終ノイズ出力を生成することと、
前記最終ノイズ出力を前記修正された第1の層出力に追加することと
を備える、請求項6に記載のシステム。
【請求項８】
前記スパース化関数が、k個の最大値以外の前記初期ゲーティング出力のすべての値を、前記softmax関数によってゼロにマッピングされる値に設定する、請求項1から7のいずれか一項に記載のシステム。
【請求項９】
前記ゲーティングサブシステムが、親ゲーティングサブネットワークおよび複数の子ゲーティングサブネットワークを備え、前記子ゲーティングサブネットワークの各々が、他の各々の子ゲーティングサブネットワークからの前記複数のエキスパートニューラルネットワークの共通の要素を持たないサブセットを管理する、請求項1から3のいずれか一項に記載のシステム。
【請求項１０】
1つまたは複数のコンピュータによって実行されたとき、前記1つまたは複数のコンピュータに請求項1から9のいずれか一項に記載のそれぞれのシステムを実現させる命令を記憶する1つまたは複数のコンピュータ記憶媒体。
【請求項１１】
ネットワーク入力を受信するステップと、
請求項1から9のいずれか一項に記載のシステムを使用して前記ネットワーク入力を処理して、前記ネットワーク入力に対するネットワーク出力を生成するステップと
を備える、方法。
【請求項１２】
1つまたは複数のコンピュータによって実行されたとき、前記1つまたは複数のコンピュータに請求項11に記載の方法の動作を実行させる命令を記憶する1つまたは複数のコンピュータ記憶媒体。