固有表現抽出における大規模言語モデルのLoRAファインチューニングの学習設定の調査

固有表現抽出(NamedEntityRecognition;NER)は，文章中から人名や組織名などの特定の固有表現を抽出する基礎的な自然言語処理タスクで，文章の内容を捉える上で重要である．NERは古くから取り組まれ，その適用先は新聞記事などの一般的な文書のみならず，生命医学や化学などの専門分野の文書にも広がっている[1]．近年では，ニューラルネットワークを用いた手法が主流で，事前学習済み言語モデルの一つであるBERT(BidirectionalEncoderRepresentationsfromTransformers)[2]を基盤とした教師あり学習による手法が高い性能を示している．最近では，BERTよりも大規模なパラメタを持つモデルを大規模に事前学習した大規模言語モデル(LargeLanguageModel;LLM)が自然言語処理分野で強力な存在感を見せており，質問応答や常識推論などのタスクで最高性能を発揮している[3]．NERにおいてもLLMを用いた手法が研究されているが，現状ではNERにおけるLLMの性能は低いという問①プロンプトの有無②NERタスクの解法uプロンプト+入力文uタグ付け{taskdescription}{few-shotdemonstration}Ihaveaheadacheモデル出力Input:{inputsentence}Answer:{modeloutput}Ihavea@@headache##vsu入力文のみvsu抽出IhaveaheadacheInput:{inputsentence}Answer:{modeloutput}モデル出力Disease:headache③LoRAの設定u適用する層の種類{query,key,value,output}projectionAttention層全結合層{up,down,gate}projection,embedding,lmheaduランク数r=2,4,8,64,128題があり[3,4]，特に生命医学分野においては一般分野と比較して大幅に低い性能が報告されている[5]．性能を向上させるためにLLMをファインチューニングする研究もされているが，未だBERTを用いた最先端モデルの性能を下回っており[6,7]，高い性能を発揮するための学習設定は明らかでない．モデルの全パラメタを更新する通常のファインチューニング(FullFine-tuning)を大規模なパラメタを持つLLMに対して行うのは膨大なコストがかかるため，最近では少数のパラメタのみを更新してコストを低減するLoRA(Low-RankAdaptation)[8]と呼ばれるファインチューニング手法が注目を集めている．LoRAはコストを抑えつつ，自然言語理解や自然言語生成などのタスクでFullFine-tuningと同等の性能を発揮することが報告されている．本研究では生命医学分野のNERを対象とし，LoRAによるLLMのファインチューニングに有効な学習設定を明らかにするため，図1のように，プロンプト，NERタスクの解法，LoRAの設定の観点.から，それぞれが性能に及ぼす影響を調査する．本研究の貢献は次の通りである．•NERに対するLLMのファインチューニングにおいて，プロンプトが性能に与える影響は無視できることを確認した．•LLMによるNERタスクのタグ付けと抽出による解法を比較し，タグ付けを用いた方が高い性能を得られることを確認した．•LoRAを適用する層の種類を多く設定することで，少ない学習パラメタ数でFullFine-tuningと同等の性能を達成することを確認した．