固有表現抽出における大規模言語モデルを用いた自動アノテーション

自然言語処理の分野において，固有表現抽出（NamedEntityRecognition;NER）は文章中の固有表現を特定し，“person”，“organization”，“location”などのカテゴリに分類する重要なタスクである[1]．NERは基本的な情報検索やコンテンツの分類から，質問応答などのより複雑なタスクまで，幅広い応用へ必要不可欠の技術である[2,3]．NERの重要性は，これらの応用に留まらず，テキストデータに対する我々の理解と関わりを強化する役割にまで及ぶ[4,5]．このような有用性が存在する一方で，NERシステムは，利用するデータセットのアノテーションの質*本研究は，所属のLegalOnTechnologiesとは無関係である．♯EqualcontributionAlanleftfromCharlesLtd.personorganizationinLondon,relocatedtoFrance_____missing______________locationandtransitionedtoVanstone.missingHumanannotationcontainslabelmissingAlanleftfromCharlesLtd.personorganizationinLondon,relocatedtoFranceLLMmitigatesnoisesinannotation____locationlocationandtransitionedtoVanstone.person?organization?person×0.1Labelmixingimprovesannotation+organization×0.9に大きく依存する[6]．現在，人手によるアノテーションが標準的であるが，それにかかる人・時間・金銭的コストや倫理的な問題の面で課題が存在している[7]．また，人手のアノテーションは質や一貫性の担保が困難であり、NERモデルの信頼性を損ねる可能性がある[8]．さらに,ドメイン固有の分野においてはアノテーションを施したデータセットが存在していないため,教師データの確保が課題として存在する.[9]上述の問題に取り組むために，我々はNERタスクの質・精度・コスト・倫理的問題などの側面において強化する新たなアプローチを提案する．図1に示されるように，我々の手法は，質や一貫性に問題のある人手のアノテーションを大規模言語モデル（LLMs）を活用し，その品質を改善する．このハイブリッドなアノテーション手法は，主にデータセット内のノイズを減少させること目的としている．さらに，我々の提案手法はクラス不均衡の改善にも.寄与する．このクラス不均衡は特に“Miscellaneous”カテゴリにおいて顕著である．本稿における実験ではCoNLL03[10]，WikiGold[11]データセットを用い，NERモデルにはBERT[12]を用いた．実験結果から予算の制約がある場合においても我々のアプローチが顕著な改善を示している．本研究ではLLMsを用いたNERタスクへの以下の3つの項目を実証する．•データセットにノイズが存在する場合でも，LLMsを活用することでNERタスクの性能を向上させられる(図2)．•予算を固定した実験において，人手とLLMsによるアノテーションのアプローチがどちらか一方のみを用いた際のアプローチを上回る(表1)．•LLMsを用いたアノテーションの際に，特に悪化する“Miscelaneous”カテゴリのクラス不均衡問題のための解決策として，LabelMixingを提案(図4)．