事前学習済みモデルT5における近傍分布の有効性の調査

これらのアプローチは、特に低頻度語などの学習大規模なデータストアから近傍事例を検索し，テ時に覚えきれなかった知識に有効であり、モデルがキスト生成モデルを補強するメモリ拡張手法が有望もつ知識を補間できることが性能向上のひとつの要視されている。特に最近では、時間ステップごとの因であると指摘されている[2]。この知識の補間は、モデルの予測分布を近傍事例に基づく分布で補間す近年自然言語処理タスクで主流になりつつある、事ることで追加の学習なしに機械翻訳性能を向上させ前学習時とは異なるタスク特化の知識をﬁne-tuningるシンプルかつ効果的なアプローチ（kNN-MT）がで獲得するアプローチと共通する考え方である。そ提案された[1]。本研究は、そのアプローチを学習こで、本研究ではﬁne-tuningで得るタスクの知識をコストの観点から捉え、事前学習済みモデルに𝑘近近傍分布で補間することで学習コストを削減するこ傍モデルを組み込むことで少ない学習コストで性能とを目的とし、事前学習済みのエンコーダ・デコーを向上させることを目的とする。本稿ではそのためダモデルにkNN-MTのアプローチを組み込む。の一歩として、kNN-MTの枠組みを事前学習済みの本稿は、機械翻訳や自動要約などあらゆる自然言エンコーダ・デコーダモデルT5に導入し、様々な語処理タスクを系列から系列への変換としてみなし入出力設定をもつ自然言語生成タスクや、zero-shotて統一的な枠組みで扱うT5モデル[10]をベースのなどの複数の学習設定における近傍事例の有効性をモデルとして採用する。そして、このT5モデルを調査した。その結果、事前学習で得た生成能力と近さまざまな自然言語生成タスクに適応させる際に、傍分布を組み合わせることで、少ない学習コストで近傍分布を活用してタスク特化の知識を補間する。タスク特化の生成を行える可能性が示唆された。既存研究では同一タスク内でのドメイン適応に対する有効性が示されてきた。本研究は事前学習済みエ