これらのアプローチは、特に低頻度語などの学習大規模なデータストアから近傍事例を検索し，テ時に覚えきれなかった知識に有効であり、モデルがキスト生成モデルを補強するメモリ拡張手法が有望もつ知識を補間できることが性能向上のひとつの要視されている。特に最近では、時間ステップごとの因であると指摘されている[2]。この知識の補間は、モデルの予測分布を近傍事例に基づく分布で補間す近年自然言語処理タスクで主流になりつつある、事ることで追加の学習なしに機械翻訳性能を向上させ前学習時とは異なるタスク特化の知識をﬁne-tuningるシンプルかつ効果的なアプローチ（kNN-MT）がで獲得するアプローチと共通する考え方である。そ提案された[1]。本研究は、そのアプローチを学習こで、本研究ではﬁne-tuningで得るタスクの知識をコストの観点から捉え、事前学習済みモデルに𝑘近近傍分布で補間することで学習コストを削減するこ傍モデルを組み込むことで少ない学習コストで性能とを目的とし、事前学習済みのエンコーダ・デコーを向上させることを目的とする。本稿ではそのためダモデルにkNN-MTのアプローチを組み込む。の一歩として、kNN-MTの枠組みを事前学習済みの本稿は、機械翻訳や自動要約などあらゆる自然言エンコーダ・デコーダモデルT5に導入し、様々な語処理タスクを系列から系列への変換としてみなし入出力設定をもつ自然言語生成タスクや、zero-shotて統一的な枠組みで扱うT5モデル[10]をベースのなどの複数の学習設定における近傍事例の有効性をモデルとして採用する。そして、このT5モデルを調査した。その結果、事前学習で得た生成能力と近さまざまな自然言語生成タスクに適応させる際に、傍分布を組み合わせることで、少ない学習コストで近傍分布を活用してタスク特化の知識を補間する。タスク特化の生成を行える可能性が示唆された。既存研究では同一タスク内でのドメイン適応に対する有効性が示されてきた。本研究は事前学習済みエ

ンコーダ・デコーダモデルを別タスクに適応するたメモリ拡張モデルは、ベースとなるモデルと大規めに近傍分布を活用するはじめての研究である。模なデータストアから検索した近傍事例（kNN）を本項では、そのための一歩として、まずkNN-MT組み合わせて最終出力を決定する。このアプローチの枠組みを組み込んだT5を機械翻訳だけではなくではモデルパラメータの学習による暗黙的な記憶と自動要約、対話生成、Data-to-textなど様々な入出力データストアによる明示的な記憶の両方が性能向上をもつタスクに適用し、その近傍分布の有効性を調に寄与するため[2]、品詞タグ付け[3]や構文的曖昧べた。また、学習コスト削減に関する有効性につい性解消[4]、用例ベース機械翻訳[5]など、幅広いタて調査するため、全学習事例を用いたﬁne-tuningだスクで活用されてきた。けではなく、zero-shotやfew-shot設定において近傍特に最近では、デコーダのみからなる言語モデル分布を組み込み、少ない学習でより良い性能を達成GPT-2[6]の時間ステップごとの予測分布を𝑘近傍するアプローチが有望か調査した。実験結果より、モデルで補間する𝑘NN-LMが追加の学習なしに性現状では近傍分布が有効なタスクは限定的であるも能を向上させることに成功し、後続の研究に大きなのの、翻訳タスクではT5においても比較的小規模インパクトを与えた[2]。kNN-LMのアプローチはなデータストアで性能を改善できることを確認しエンコーダ・デコーダモデルに拡張され、言語モデた。また、特定のタスクにおいて近傍分布を活用すリングだけではなく機械翻訳（kNN-MT）[1,7]や自ることで、少量の学習事例を用いたfew-shotの性能然言語推論[8]、文法誤り訂正[9]など個別のタスクを全学習事例でﬁne-tuningした場合の性能に近づけ―3048―.𝑝!"𝑦#$%𝑦%:#𝑝'((𝑦#$%𝑦%:#𝑦!:#:Obama’sbirthplaceisIllinoisHawaii0.6HawaiiHawaii0.80.20.2ベースモデル=+T5データストア近傍事例の検索近傍分布の計算ンを予測する際の手法の概要図られることを確認した。