概要

はじめに
1
固有表現抽出(Named Entity Recognition; NER)は,文章中から人名や組織名などの特定の固有表現を抽出する基礎的な自然言語処理タスクで，文章の内容を捉える上で重要である.  NERは古くから取り組まれ，その適用先は新聞記事などの一般的な文書のみならず，生命医学や化学などの専門分野の文書にも広がっている[1].近年では，ニューラルネットワークを用いた手法が主流で，事前学習済み言語モデルの一つであるBERT (Bidirectional Encoder Representations from Transformers) [ 2 ]を基盤とした教師あり学習による手法が高い性能を示している.最近では，BERTよりも大規模なパラメタを持つモデルを大規模に事前学習した大規模言語モデル(Large Language Model; LLM)が自然言語処理分野で強力な存在感を見せており、質問応答や常識推論などのタスクで最高性能を発揮している[3].  NERにおいてもLLMを用いた手法が研究されているが,現状ではNERにおけるLLMの性能は低いという問題があり[3, 4]，特に生命医学分野においては一般分野と比較して大幅に低い性能が報告されている[5].性能を向上させるためにLLMをファインチューニングする研究もされているが，未だBERTを用いた最先端モデルの性能を下回っており[6, 7]，高い性能を発揮するための学習設定は明らかでない.モデルの全パラメタを更新する通常のファインチューニング(Full Fine-tuning)を大規模なパラメタを持つLLMに対して行うのは膨大なコストがかかるため，最近では少数のパラメタのみを更新してコストを低減するLoRA (Low-Rank Adaptation) [8]と呼ばれるファインチューニング手法が注目を集めている.  LoRAはコストを抑えつつ，自然言語理解や自然言語生成などのタスクでFull Fine-tuningと同等の性能を発揮することが報告されている.本研究では生命医学分野のNERを対象とし, LoRAによるLLMのファインチューニングに有効な学習設定を明らかにするため，図１のように，プロンプト，NERタスクの解法，LoRAの設定の観点から，それぞれが性能に及ぼす影響を調査する.本研究の貢献は次の通りである. • NERに対するLLMのファインチューニングにおいて，プロンプトが性能に与える影響は無視できることを確認した. • LLMによるNERタスクのタグ付けと抽出による解法を比較し、タグ付けを用いた方が高い性能を得られることを確認した. • LoRAを適用する層の種類を多く設定することで，少ない学習パラメタ数でFull Fine-tuningと同等の性能を達成することを確認した.
2   関連研究
2.1　大規模言語モデルによる固有表現抽出
LLMは学習データ量やモデルのパラメタ数が膨大に増加したことで，プロンプトの文脈からタスクを学習するIn-Context Learning (ICL)の能力を獲得し，プロンプトエンジニアリングと少数事例を用いたICLに基づくFew-shot学習により，幅広いタスクにファインチューニングなしに適応することが可能となってきた[9].  NERにおいてもLLMを利用する研究が進んでおり，LLMのICLに基づいたNERの研究[4]や，LLMをファインチューニングする研究[6, 7]が行われている.  NERは系列ラベリング問題として取り組まれることが多い[10]が，LLMはテキスト生成を行うモデルであるため，系列ラベリングとは異なるタスク設定が必要である．テキスト生成によるNERは様々な手法が提案されており, “I have a headache”という入力文に対して， “I have a @ @headache##”のように固有表現にタグ付けした文を出力させる手法[3]や，“Disease: headache”のように固有表現のみを出力させる手法[11]などが提案されている．一方で，LLMによるNERの性能，特に生命医学分野のような専門的な文章に対する性能は，BERTを始めとするエンコーダモデルを用いた最先端モデルに未だ劣っている.
2.2  LoRA
LoRAはモデルが持つパラメタを凍結し，新たに導入した低ランク行列のパラメタのみを更新することで，性能を保ちつつ低コストなファインチューニングを実現する手法である[8].  LoRAでは，モデルの初期パラメタΦ oに対してパラメタ数が|Θ| ≪ |Φo|となるパラメタΘを導入し、パラメタの差分ΔΦ(Θ)を以下のように最適化する.
具体的には，モデルのある線形層Wo ∈ Rd×kに対して，r ≪ min(d,k)の低ランク行列B ∈ Rd×r, A ∈ Rr×kを用いてW 0 + ΔW = W 0 + BAとし,  B, Aのみを最適化する.  LoRAは単純な線形変換であるため，BAをWoにマージすることができ，推論時の遅延が発生しないという利点もある．入力ｘに対して出力hは以下のように計算される. h = Wox + ΔWx = Wox + BAx = (Wo + BA)x     (2)
3実験
本研究では、生命医学分野のNERを対象としたLLMのファインチューニングを対象に，LLMの学習設定を，プロンプトの必要性，NERタスクの解法，LoRAの設定に細分化し，段階的に評価を行い，最終的なモデルを他のモデルと比較した.まず,ファインチューニングにおけるプロンプトの必要性を調査するために，学習データに既存研究のプロンプトを用いる場合と，入力文のみを用いる場合の性能を比較した(3.2節). 次に，テキスト生成を行うLLMに対して，NERタスクをどう解くように学習させればよいかを調査するために，LLMによるNERの既存研究におけるタスクの解法を「タグ付け」と「抽出」の２種類に分類し，性能の比較を行った(3.3節). さらに，NERにおいてLoRAの学習設定が性能に与える影響を調査するために，LoRAを適用する層とランクについて，複数の組み合わせを設定し，性能の比較を行った(3.4節). 最後に，既存モデル，Full Fine-tuningとの比較を行った(3.5節).
3.1 設定
LLMには，Llama-2-7B [12]と，対話に特化させるインストラクションチューニングが施されたLlama-2-chat-7Bを使用した．各実験における学習・評価には，生命医学ドメインのNERデータセットBC5CDRを使用した．固有表現ラベルはDiseaseとChemicalの2種類である．BC5CDRのデータの統計を付録Aの表5に示す。なお，3.2節と3.3節では， LoRAを学習可能な全ての層に適用し，ランクを8に固定してファインチューニングを行った.

3.2 プロンプトの必要性
ICLによるNERのSunら[3]が使用したプロンプトの概要を図2に示す. ファインチューニングを行わない場合，LLMは事前学習で得た知識とICLに基づいてタスクを解くため、プロンプトはNERの性能に大きく影響する重要な要素となる．一方でファインチューニングを行う場合，プロンプトが性能に影響するかは不明である.そこで，ファインチューニングを行う場合のプロンプトの必要性を調査するために、図2のプロンプトを用いた場合と，入力文のみを用いた場合で，Llama-2-chat-7Bのファインチューニングを行った．入力文のみの設定ではLlama-2-7Bのファインチューニングも行い，対話用のインストラクションチューニングの必要性を調査した．固有表現ラベルはChemicalのみとし，損失は“Answer:”以降を対象に計算した.ファインチューニング後の開発データに対する評価を表1に示す. Llama-2-chat-7Bの結果より，ファインチューニングにおいてプロンプトの有無が性能に与える影響は無視できることが確認できた．また，Llama-2-7BがLlama-2-chat-7Bと同等の性能であることから，インストラクションチューニングされたモデルである必要もないことが確認できた．以上の結果を踏まえて，以降の実験では入力文のみのプロンプトとLlama-2-7Bを用いる.
3.3 NERタスクの解法
LLMによるNERの既存研究では，テキスト生成によってNERタスクを解く様々な方法が考案され
ているが，その方法は大きくタグ付けと抽出の2種類に分類できる. タグ付けによるNERでは，入力文に対して固有表現と認識した部分にタグを付けた文を出力させ，抽出によるNERでは，入力文に対して固有表現と認識した単語のみを出力させる.さらに，両者において各固有表現ラベル毎に独立してモデルを学習・推論させる方法と，全固有表現ラベルを一度に学習・推論する方法に分けられる.ファインチューニングにおいてNERタスクの解法が性能に及ぼす影響を調査するために、NERタスクの2種類の解法と，学習・推論ラベルの2種類の組み合わせでそれぞれファインチューニングを行い，開発データに対する抽出性能を評価した．各設定の出力フォーマットは付録Bの表6の例のようにした．なお，各設定の性能を同一条件で比較するため、各固有表現ラベルごとに独立して学習・推論を行う設定については，1つのトークンに1つのラベルのみが割り当てられるように，Disease > Chemicalの優先度でラベル付けする後処理をした.表2の結果より，NERの解法については，抽出よりもタグ付けの方が高い性能が得られた．学習・推論については、各固有表現ラベル毎に行う場合と全固有表現ラベルを同時に行う場合で性能差は見られなかった．以上の結果を踏まえて，以降の実験ではNER解法をタグ付けとし、学習と推論のコストが低い全固有表現ラベルを同時に学習する設定でファインチューニングする.
3.4  LoRAの設定
LoRAを適用する層とランクrの大きさが性能に与える影響を調査するため，それぞれを変化させた場合の比較実験を行った.  LoRAはモデルの任意の層に適用でき，その層のみを学習対象にできる．また，ランクrの大きさによって，学習可能なパラメタ数を変更できる.  Llama-2における学習可能な層には，注意機構(query/key/value/output projection)と全結合層(up/down/gate projection, embedding, lm head)があり，それぞれWq, Wk, Wv, Wq, Wq, Wg, We,
Whとする．各設定における学習パラメタ数を付録Cの表7に示す.表3のファインチューニング後の開発データに対する結果より，LoRAを適用する層が2種類以下のとき，性能は大幅に低く，ランクの変動によって性能も大きく変化した．層の種類の増加により，性能は向上し，学習可能な全ての層に適用したときに，ランクの影響を受けずに高い性能が得られた．学習パラメタ数で比較すると，例えばW aのみのr = 128とWg, Wk, Wv, Woのr = 2では，後者の方が学習パラメタ数が少ないにも関わらず性能が高く，学習パラメタ数が多いほど性能が高くなるとは限らないことが確認できた．以上より，同じパラメタ数を学習させる場合にはランクよりもLoRAを適用する層を多く設定する方が効果的であると考えられる.
3.5 NERの性能評価
3.4節の結果より，学習可能な全ての層にLoRAをr = 128で適用し，テストデータで評価した．また，比較のためにFull Fine-tuningを行い，同様に評価した．各手法の学習コストを付録Dの表8に示す.それぞれの評価値とBC5CDRにおいてSOTAを達成したZhangら[13]の性能を比較する.表4の結果より，LoRAを適用することで，少ない学習パラメタ数でFull Fine-tuningと同等の性能を達成した. しかし，SOTAモデルの性能を上回ることはできず，更なる性能向上を目指す必要がある.
4  考察
NERに対するLLMのファインチューニングにおいて，プロンプトの有無は性能に影響を与えなかった．これは，大量のタスクデータを学習したことで，推論の手助けとなるタスクの説明やFew-shotの例示の必要性がなくなったからだと考えられる．プロンプトを除いた最低限のデータで学習できるため，コストの削減につながる． NERの解法については，抽出よりもタグ付けの方が性能が高くなった．入力文が与えられたときに，単に固有表現のみを出力させるよりも、再度同じ文を出力しつつ途中でタグを付ける方が文脈を捉えることができると考えられる. LoRAについては、ランクよりも適用する層の種類の方がNERにおける性能への影響が大きいという結果が得られた.  LoRAを適用する層が幅広いほど，各層が担うNERに必要な潜在能力を幅広く刺激できたと考えられる.
5　おわりに
本研究では生命医学分野のNERを対象として, LLMのLoRAを用いたファインチューニングにおいて，有効な学習設定を明らかにするために，プロンプトの必要性，NERタスクの解法，LoRAの設定について，それぞれが性能に及ぼす影響を調査した.ファインチューニングを行う場合,プロンプトを設計する必要はなく，タグ付けによるNERの解法を用いることで高い性能が得られることがわかった. LoRAについては，ランクよりも適用する層の種類の方が重要で，学習可能な全ての層にLoRAを適用したときに極めて少ないパラメタ数でFull Fine-tuningと同等の性能を達成することが確認できた.今後の課題として，LoRAを適用する層の組み合わせについて詳細に調査し，より低コストで高性能を発揮するための学習設定を明らかにすることが挙げられる. また，LoRA以外にも低コストでファインチューニングをする手法が複数存在するため，それらの手法との比較も必要である.本研究はJSPS科研費JP20K11962の助成を受けたものです. [1]   Jiao Li, Yueping Sun, Robin J. Johnson, Daniela Sciaky, Chih-Hsuan Wei, Robert Leaman, Allan Peter Davis, Car- olyn J. Mattingly, Thomas C. Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus:  a resource for chemi- cal disease relation extraction.  Database , Vol. 2016, p. baw068, 05 2016. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina [2] Toutanova. BERT: Pre-training of deep bidirectional trans- formers for language understanding.  In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceed- ings of the 2019 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 1 (Long and Short Papers) , pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics. Xiaofei Sun, Linfeng Dong, Xiaoya Li, Zhen Wan, Shuhe [3] Wang, Tianwei Zhang, Jiwei Li, Fei Cheng, Lingjuan Lyu, Fei Wu, et al. Pushing the limits of chatgpt on nlp tasks. arXiv preprint arXiv:2306.09719, 2023. Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, [4] Fei Wu, Tianwei Zhang, Jiwei Li, and Guoyin Wang. Gpt- ner: Named entity recognition via large language models. arXiv preprint arXiv:2304.10428 , 2023. Mingchen Li and Rui Zhang.  How far is language model [5] from 100% few-shot named entity recognition in medical domain. arXiv preprint arXiv:2307.00186 , 2023. Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, [6] Jing Li, Fu-lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised llama finetuning. arXiv  preprint arXiv:2310.01208 , 2023. Oscar Sainz, Iker García-Ferrero, [7] Rodrigo   Agerri, Oier Lopez de Lacalle, German Rigau, and Eneko Annotation guidelines improve Agirre. Gollie: information-extraction. zero-shot arXiv   preprint arXiv:2310.03668 , 2023. Edward J Hu, yelong shen, Phillip Wallis, Zeyuan Allen- [8] Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language mod- els.  In International Conference on Learning Repre- sentations , 2022. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Sub- [9] biah, Jared D Kaplan, Prafulla Dhariwal, Arvind Nee- lakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei.  Lan- guage models are few-shot learners.  In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, ed- itors, Advances in Neural Information Processing Systems , Vol. 33, pp. 1877–1901. Curran Associates, Inc., 2020. [10] Iz Beltagy, Kyle Lo, and Arman Cohan.  SciBERT: A pretrained language model for scientific text.  In Ken- taro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, edi- tors, Proceedings of the 2019 Conference on Empiri- cal Methods in Natural Language Processing and the 9th International Joint Conference on Natural Lan- guage Processing (EMNLP-IJCNLP), pp. 3615–3620, Hong Kong, China, November 2019. Association for Com- putational Linguistics. Xiao Wang, Weikang Zhou, Can Zu, Han Xia, Tianze [11] Chen, Yuansen Zhang, Rui Zheng, Junjie Ye, Qi Zhang, Tao Gui, et al.  Instructuie:  Multi-task instruction tun- ing for unified information extraction.  arXiv preprint arXiv:2304.08085 , 2023. Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, [12] Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2:  Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288 , 2023. Sheng Zhang, Hao Cheng, Jianfeng Gao, and Hoifung [13] Poon. Optimizing bi-encoder for named entity recognition via contrastive learning.  In The Eleventh International Conference on Learning Representations , 2023.本研究で使用したデータセットBC5CDRの，固有表現ラベルごとの事例数を表5に示す.
3.3節で設定した，タグ付けによるNERと抽出によるNERの出力フォーマットの例を表6に示す.
3.4節における，LoRAを適用する層とランクの組み合わせに対する学習パラメタ数を表7に示す.
3.5節における，LoRAとFull Fine-tuningの学習コストを表8に示す.