事前学習済みモデルT5における近傍分布の有効性の調査

ンコーダ・デコーダモデルを別タスクに適応するたメモリ拡張モデルは、ベースとなるモデルと大規めに近傍分布を活用するはじめての研究である。模なデータストアから検索した近傍事例（kNN）を本項では、そのための一歩として、まずkNN-MT組み合わせて最終出力を決定する。このアプローチの枠組みを組み込んだT5を機械翻訳だけではなくではモデルパラメータの学習による暗黙的な記憶と自動要約、対話生成、Data-to-textなど様々な入出力データストアによる明示的な記憶の両方が性能向上をもつタスクに適用し、その近傍分布の有効性を調に寄与するため[2]、品詞タグ付け[3]や構文的曖昧べた。また、学習コスト削減に関する有効性につい性解消[4]、用例ベース機械翻訳[5]など、幅広いタて調査するため、全学習事例を用いたﬁne-tuningだスクで活用されてきた。けではなく、zero-shotやfew-shot設定において近傍特に最近では、デコーダのみからなる言語モデル分布を組み込み、少ない学習でより良い性能を達成GPT-2[6]の時間ステップごとの予測分布を𝑘近傍するアプローチが有望か調査した。実験結果より、モデルで補間する𝑘NN-LMが追加の学習なしに性現状では近傍分布が有効なタスクは限定的であるも能を向上させることに成功し、後続の研究に大きなのの、翻訳タスクではT5においても比較的小規模インパクトを与えた[2]。kNN-LMのアプローチはなデータストアで性能を改善できることを確認しエンコーダ・デコーダモデルに拡張され、言語モデた。また、特定のタスクにおいて近傍分布を活用すリングだけではなく機械翻訳（kNN-MT）[1,7]や自ることで、少量の学習事例を用いたfew-shotの性能然言語推論[8]、文法誤り訂正[9]など個別のタスクを全学習事例でﬁne-tuningした場合の性能に近づけ―3048―.𝑝!"𝑦#$%𝑦%:#𝑝'((𝑦#$%𝑦%:#𝑦!:#:Obama’sbirthplaceisIllinoisHawaii0.6HawaiiHawaii0.80.20.2ベースモデル=+T5データストア近傍事例の検索近傍分布の計算ンを予測する際の手法の概要図られることを確認した。