マッチング数制約下でのアノテーション検証割り当ての自動化

自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である．アノテーションの労力を軽減するために，LLM等の機械学習モデルにアノテーションを任せる方法が考えられる．機械学習モデルによるアノテーションは正しいとは限らないため，アノテーション結果を検証する必要がある．アノテーション検証を人間のアノテータに依頼すると検証の正確性が高い代わりにコストも高い．コストを下げるために，クラウドワーカーやLLMの活用が考えられるが，検証の正確性は下がる．データに応じて異なるエージェントに検証タスクを割り当てることで，予算を有効活用したい．本研究では，エージェントごとに割り当て可能な検証タスク数に制約がある下で，自動的に検証タスクを割り当てる手法を提案する．エージェントとタスクの相性を捉えた重みを正解既知のデータから推定し，タスクの割り当てを重み付き2部グラフの最適化問題として定式化して解く．特に，そのエージェントのみが正解している時に重みが大きくなるようにする．実データを用いた実験で，ランダム割り当てと比較して，提案手法により正解率が改善することを確認した．