固有表現抽出における大規模言語モデルのLoRAファインチューニングの学習設定の調査

大規模言語モデルを低コストでファインチューニングするLoRAと呼ばれるファインチューニング手法が注目を集めている．一方で，LLMの固有表現抽出(NER)に対する性能は低く，未だBERTを用いた最先端モデルの性能に追いついていない．本研究では，生命医学分野のNERに有効なLLMのLoRAを用いたファインチューニングの学習設定を調査した．結果として，最先端モデルの性能を上回る結果は得られなかったが，(1)プロンプトが不要であること，(2)タグ付けによるNERが高性能であること，(3)学習可能な全ての層にLoRAを適用することで少ない学習パラメタ数でもFullFine-tuningと同等の性能を達成することを明らかにした．