マッチング数制約下でのアノテーション検証割り当ての自動化

自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である．人手によるアノテーションの労力を軽減するため，大規模言語モデル(LLM)などの機械学習モデルにアノテーションを任せるという方法が考えられる．機械学習モデルは，大量のデータに対して低コストでアノテーションを付与できるが，アノテーションの結果が正しいとは限らないため，その正しさを検証する必要がある．アノテーション検証を専門のアノテータに依頼すると，検証の正確性が高い代わりに，コストも高い．コストを下げるために，クラウドワーカーやLLMの活用も考えられるが，アノテータと比較すると検証の正確性は下がる．検証の正確性を維持しつつコストを下げるために，データに応じて異なるエージェント（例：アノテータ，クラウドワーカー，LLM）に検証を割り当てることが考えられる．コストの低いエージェントでも正確に検証できると期待できるデータはそのエージェントに任せ，検証が難しいデータだけを正確性の高いエージェントに任せるという割り当てを実現したい．本研究では，検証タスクの割り当てを自動化する手法を提案する．エージェントへの検証タスクの割り当てを，重み付き2部グラフのマッチング問題として扱う．予算に応じて，各エージェントに割り当て可能なタスク数（マッチング数）の上限が与えられているとする．この2部グラフを用いて，マッチング数の制約下での線形計画問題としてマッチング問題を解くことで，タスクの割り当てを行う．提案手法の全体図を図1に示す．提案手法では，正解既知のデータを利用して，エージェント毎の専門性に合わせた重みを推定する重みモデルを学習し，2部グラフに対して重みを付与する．エージェント毎の重みを推定するために，エージェント毎の正解数に応じた報酬を返す報酬関数を設計した．特に，他のエージェントが誤答するデータに正解できるエージェントは専門性が高いとみなし，類似データも割り当てるように重みを決めたい．そのため，正答エージェント数が少ない場合報酬の値は大きく，多い場合は報酬が少なくなるようにした．実データを用いた実験では，ランダムな割当よりも，提案手法による割当の方が正解率が良いことが確認できた．一方で，正答エージェント数に基づく報酬導入の効果は僅かであることが確認された．