固有表現抽出（NER）は自然言語処理の重要なタスクであり，幅広く応用されている．しかし，人手によるアノテーションは，コストの高さ・倫理的問題・品質の一貫性・機密情報保護等の問題が喫緊の課題である．本研究では，大規模言語モデル（LLMs）から生成したアノテーションを人手によるものと統合することで，この課題に取り組む．また，LLMsによるアノテーションではクラス分布の不均衡が引き起こるという副次的な問題を特定し，対処策としてLabelMixingを提案する．提案手法によりNERタスクの性能を強化するだけでなく，コストの大幅な効率化を図る．複数のデータセットで比較した結果，提案手法は，同一のアノテーションコスト下で，人手のアノテーションに比べ高い性能を示しただけでなく，学習データセットの品質が低い場合に顕著な性能の安定性向上に寄与した．

自然言語処理の分野において，固有表現抽出（NamedEntityRecognition;NER）は文章中の固有表現を特定し，“person”，“organization”，“location”などのカテゴリに分類する重要なタスクである[1]．NERは基本的な情報検索やコンテンツの分類から，質問応答などのより複雑なタスクまで，幅広い応用へ必要不可欠の技術である[2,3]．NERの重要性は，これらの応用に留まらず，テキストデータに対する我々の理解と関わりを強化する役割にまで及ぶ[4,5]．このような有用性が存在する一方で，NERシステムは，利用するデータセットのアノテーションの質*本研究は，所属のLegalOnTechnologiesとは無関係である．♯EqualcontributionAlanleftfromCharlesLtd.personorganizationinLondon,relocatedtoFrance_____missing______________locationandtransitionedtoVanstone.missingHumanannotationcontainslabelmissingAlanleftfromCharlesLtd.personorganizationinLondon,relocatedtoFranceLLMmitigatesnoisesinannotation____locationlocationandtransitionedtoVanstone.person?organization?person×0.1Labelmixingimprovesannotation+organization×0.9に大きく依存する[6]．現在，人手によるアノテーションが標準的であるが，それにかかる人・時間・金銭的コストや倫理的な問題の面で課題が存在している[7]．また，人手のアノテーションは質や一貫性の担保が困難であり、NERモデルの信頼性を損ねる可能性がある[8]．さらに,ドメイン固有の分野においてはアノテーションを施したデータセットが存在していないため,教師データの確保が課題として存在する.[9]上述の問題に取り組むために，我々はNERタスクの質・精度・コスト・倫理的問題などの側面において強化する新たなアプローチを提案する．図1に示されるように，我々の手法は，質や一貫性に問題のある人手のアノテーションを大規模言語モデル（LLMs）を活用し，その品質を改善する．このハイブリッドなアノテーション手法は，主にデータセット内のノイズを減少させること目的としている．さらに，我々の提案手法はクラス不均衡の改善にも.寄与する．このクラス不均衡は特に“Miscellaneous”カテゴリにおいて顕著である．本稿における実験ではCoNLL03[10]，WikiGold[11]データセットを用い，NERモデルにはBERT[12]を用いた．実験結果から予算の制約がある場合においても我々のアプローチが顕著な改善を示している．本研究ではLLMsを用いたNERタスクへの以下の3つの項目を実証する．•データセットにノイズが存在する場合でも，LLMsを活用することでNERタスクの性能を向上させられる(図2)．•予算を固定した実験において，人手とLLMsによるアノテーションのアプローチがどちらか一方のみを用いた際のアプローチを上回る(表1)．•LLMsを用いたアノテーションの際に，特に悪化する“Miscelaneous”カテゴリのクラス不均衡問題のための解決策として，LabelMixingを提案(図4)．