日本語タスクにおけるLLMを用いた疑似学習データ生成の検討

大規模言語モデル(LLM)を用いることで，学習データが少量の状況においても高い性能が期待できることが報告されている．しかし，LLMはパラメータ数が多いため，推論コストが大きいという課題が存在する．そこで，本研究では6個の下流タスクにおいて，LLMから疑似学習データを生成し，そのデータで小規模モデルを学習するJapaGenがLLMにどの程度迫れるかを検証した．その結果，フォーマルなテキストを入力とする分類タスクで有効であることを明らかにした．