LLMを用いたキーワードに基づく文書分類ためのデータ拡張の試みと評価

データ拡張(DataAugmentation)とは，少量のデータから新たなデータを生成し，訓練データに水増しすることでモデルの性能改善を目指す手法である．従来の自然言語処理(NLP)におけるデータ拡張手法は，元のデータにわずかな変化を与えることで，類似したデータを水増しする手法が主流であった．例えば，逆翻訳[1]や単語の編集[2,3]が挙げられる．近年，大規模言語モデル(LLM)の発展に伴い，より多様で自然な言語表現を持つ疑似データを生成する手法[4]が提案されている．特に，LLMを活用したデータ拡張は，その生成能力の高さを活かした様々なアプローチ[5,6,7,8,9,10]が報告されている．しかし，文書分類タスクにおいて，特に多クラス分類のような複雑なタスクにおいては，LLMを活用したデータ拡張の有効性を示した研究はまだ少ない．本研究では、日本語のニュース記事を対象とした多クラス分類タスクにおいて、LLMが生成したデータを活用することで、分類モデルの性能向上に繋がるかどうかを検証した。データの生成手法として，LLMに各カテゴリーの説明文とキーワードを与え，そのカテゴリーに属するようなニュース記事を生成させた．実験では，Livedoorニュースコーパス1）を用いて，拡張前後のデータセットにおいて，分類モデルの精度を比較した．その結果，LLMで生成したデータを拡張したデータセットを用いた場合，分類精度の精度は，元のデータセットの場合と比較して，減少する傾向があることが確認できた．また，LLMが生成した文書の埋め込み表現を分析した結果，生成されたデータは，元の訓練データとは異なる分布を持つことが明らかになった．この結果は，LLMが多様な文書を生成できる一方で，生成されたデータがノイズとなっている可能性が高いことを示唆している．