カテゴリ説明文を用いた大規模言語モデルによる日本語文書分類

大規模言語モデル(LLM)を用いた文書分類は，従来のFine-tuningを利用する手法と比較して大量の訓練データを必要としない利点がある．一方で，分類精度においてはFine-tuningしたBERT系モデルと同等以上の性能を示した事例は限られている．本研究では，日本語ニュースコーパスを対象に，Fine-tuningを行ったRoBERTaとLLM(GPT-4omini,Gemini2.5ﬂash)を用いたカテゴリ分類の性能比較を行った．特に，実際の訓練データを基にカテゴリの特徴を言語化した「カテゴリ説明文」をLLMで自動生成し，プロンプトに付与する手法を提案した．実験の結果，提案手法は従来のZero-shot分類と比較して精度が向上することを確認した．一方で，Fine-tuningしたRoBERTaとの比較では，ラベル境界が曖昧なデータにおいてLLMが誤分類する傾向が高いことが明らかになった．