固有表現抽出におけるタスク特化型BERTと大規模言語モデルの性能比較と実用性評価

固有表現抽出（NamedEntityRecognition,NER）は，自然言語処理（NLP）の中核的なタスクの一つであり，人名・地名・組織名・日付・金額などの特定の情報をテキストから抽出することを目的としている．この技術は，情報検索・文書分類・質問応答など多岐にわたる分野で重要な役割を果たしており，多くのアプリケーションで実適用されている．近年，BERT（BidirectionalEncoderRepresentationsfromTransformers）[1]やLLMなどTransformer[2]ベースのモデルが自然言語処理に革命をもたらした．BERTは双方向の文脈理解能力を備え，多くのNLPタスクで従来技術を凌駕する性能を示した．また，タスク特化型BERTが開発され，各専門分野における固有表現抽出精度が向上した．一方で，LLMは膨大なデータセットで事前学習されており，高い汎用性と柔軟性を持つことから，多様なタスクへの迅速な適用が可能である．しかし，LLMは自己回帰により順次トークンを生成するTransformerのDecoder[2]がベースとなっているため，余分な表現や形式不整合といった課題が存在する．本研究では，図1に示す様に，Gemini[3]（Gemini-1.5-Pro-002）をfew-shotで学習する，Geminiをﬁne-tuningする，BERTをﬁne-tuningするの3通りで固有表現抽出におけるGeminiとタスク特化型BERTの性能および実用性を比較・評価する．具体的には，独自にニュースやブログから抽出した文章に対し氏名や住所などの固有表現に当たる箇所をアノテーションしたデータセットを用いて，モデル作成及び推論を行う．テストデータのF値を算出することで.モデル性能を比較する．また，タスク適合性やアノテーションコスト等を算出することでモデルの実用性も比較する．