本論文ではラベル付きデータなしで大規模言語モデル(LLM)を下流タスクにファインチューニングするアプローチを提案する．まず，zero-shotプロンプトをLLMに与えて下流タスクのラベル付きデータを新たに生成する．次に，生成サンプルの信頼度を評価し，それが低いサンプルを除去するフィルタリングを行う．最後に，生成したラベル付きデータセットを用いてLLMをファインチューニングする．含意関係認識，感情分析，法律ドメインの自然言語推定，テキスト生成の4つの下流タスクを対象に評価実験を行い，提案手法の有効性を示す．

近年，大規模言語モデル(LargeLanguageModel;LLM)は様々な自然言語処理タスクで卓越した性能を示している．一般に，言語モデルの使用は，大量のコーパスを用いた事前学習と，事前学習したモデルを特定の下流タスクに適応させるファインチューニングの2段階に分けられる．LLMはパラメタ数が膨大であるため下流タスクへのファインチューニングが難しかったが，LoRA(Low-RankAdaptation)[1]を始めとするParameterEﬃcientFine-Tuning(PEFT)と呼ばれる手法が提案され，LLMの効率的なファインチューニングが可能になった．ファインチューニングは下流タスクに対するLLMの性能を向上させる有効な手段であるが，大量のラベル付きデータが必要であり，その構築のコストが高いという問題点もある．特に医療や金融など専門性の高いドメインについては，既存のデータセットが少ないことに加え，ラベル付きデータの構築に専門家が携わる必要があり，ファインチューニングに十分な量のラベル付きデータの確保が難しい．本研究では，LLMに特定の下流タスクのラベル付きデータを生成させ，それを用いてLLMをファインチューニングするアプローチを提案する．LLMは事前学習によって様々な知識を包含すると考えられるが，下流タスクに関する知識をラベル付きデータという明示的なフォーマットで引き出し，その知識を用いてLLMを下流タスクに適応させることによって，LLMの性能を向上させることを狙う．