AugAnaloGPT:大規模言語モデルを用いたアナロジー生成によるデータ拡張

1.1データ拡張データ拡張(DataAugmentation)とは、新たなデータ収集なしに、訓練データの多様性を増やし、モデル性能を高める手法を指す。近年、自然言語処理(NLP)におけるデータ拡張への需要と関心は高まっている。これは、自然言語処理によって、適応すべきタスクやドメインが増えているからだと考えられる[1]。しかし、ほとんどのデータ拡張手法は数百例程度のデータセットのような極端にデータ量が少ない場合でのみ有効である[2]。本研究では数千例からなるデータセットに対する学習データ不足に対処するために、大規模言語モデルを用いた文のアナロジー生成に基づくデータ拡張手法を提案する。文のアナロジー生成とは対象ドメインが異なるが文の論理構造や意味の関係性が類似している類比文を類推によって生成することである。また、提案手法ではGeminiPro[4]を用いてアナロジー生成を行うことで、データを拡張する。1.2類推類推とは知りたいことを、それとよく似た既知のことに対応づけて考えることを指す。認知科学において、知りたいことをターゲットと呼び、既によく知っていることをベースと呼ぶ[5]。そして、ベースの要素をターゲットの要素に対応付けることをベースからターゲットへの写像という。写像を行う際に、ターゲットとベースのドメイン性を考慮し、関係性が類似している要素同士を対応づけることが必要になる。そのため、類比文の関係にある二つの文は論理構造や意味の関係性が類似している。1.3アナロジー生成によるデータ拡張従来の自然言語処理における類推の研究は単語レベルに限定され、文の類推はあまり注目されていなかった。一方近年になり、大規模言語モデルが文のアナロジーを生成できることが示唆されている[6]。そこで、本研究では、大規模言語モデルのGeminiPro[4]を用いて、類比文を生成することでデータ拡張を行う。JGLUのJNLI[3]データセットに対し、アナロジー生成によるデータ拡張を適用すると、既存の大規模言語モデルを用いた言い換え手法を凌ぐ性能向上を確認できた。