SentencePieceの重複語入れ替えによる日本語T5への言語モデル追加

SentencePieceは、テキストから教師なし学習によって語彙モデルを構築し、ニューラルネットワークに適した字句解析を提供する。現在の多くの大規模言語モデルの事前学習で採用され、SentencePieceは標準のひとつとなっている。本研究では、SentencePieceの語彙モデルから形態素に基づいて重複語を抽出し、新しい語彙と入れ替えることによる語彙の追加手法を提案する。これにより、大規模言語モデルに対して、数千語単位の語彙を追加する余地ができ、事前に学習されていない言語やドメインの語彙を含めた追加学習が可能になる。本論文では、2つの日本語T5に対し、6000語程度のPython言語の語彙(予約語/識別子)を追加した事前追加学習モデルを構築し、重複語入れ替えによる下流タスクの精度向上について論じる。