ラベル付きデータの自己生成による大規模言語モデルのファインチューニング

本論文ではラベル付きデータなしで大規模言語モデル(LLM)を下流タスクにファインチューニングするアプローチを提案する．まず，zero-shotプロンプトをLLMに与えて下流タスクのラベル付きデータを新たに生成する．次に，生成サンプルの信頼度を評価し，それが低いサンプルを除去するフィルタリングを行う．最後に，生成したラベル付きデータセットを用いてLLMをファインチューニングする．含意関係認識，感情分析，法律ドメインの自然言語推定，テキスト生成の4つの下流タスクを対象に評価実験を行い，提案手法の有効性を示す．