言語処理学会 第30回年次大会 発表論文集（2024年3月）

マッチング数制約下でのアノテーション検証割り当ての自動化
守山慧 1 中山功太 2 馬場雪乃 1
1 東京大学大学院総合文化研究科 2 理研 AIP{kei-moriyama,yukino-baba}@g.ecc.u-tokyo.ac.jp kouta.nakayama@riken.jp

概要
自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である．アノテーションの労力を軽減するために，LLM 等の機械学習モデルにアノテーションを任せる方法が考えられる．機械学習モデルによるアノテーションは正しいとは限らないため，アノテーション結果を検証する必要がある．アノテーション検証を人間のアノテータに依頼すると検証の正確性が高い代わりにコストも高い．コストを下げるために，クラウドワー
カーや LLM の活用が考えられるが，検証の正確性は下がる．データに応じて異なるエージェントに検証タスクを割り当てることで，予算を有効活用した
い．本研究では，エージェントごとに割り当て可能な検証タスク数に制約がある下で，自動的に検証タ
スクを割り当てる手法を提案する．エージェントとタスクの相性を捉えた重みを正解既知のデータから推定し，タスクの割り当てを重み付き 2 部グラフの最適化問題として定式化して解く．特に，そのエージェントのみが正解している時に重みが大きくなるようにする．実データを用いた実験で，ランダム割り当てと比較して，提案手法により正解率が改善することを確認した．

1

はじめに自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である．人手によるアノテーションの労力を軽減するため，大規模言語モデル (LLM) などの機械学習モデルにアノテーションを任せるという方法が考えられる．機械学習モデルは，大量のデータに対して低コストでアノテーションを付与できるが，アノテーションの結果が正しいとは限らないため，その正しさを検証する必要がある．
アノテーション検証を専門のアノテータに依頼すると，検証の正確性が高い代わりに，コストも高い．コストを下げるために，クラウドワーカーやLLM の活用も考えられるが，アノテータと比較すると検証の正確性は下がる．検証の正確性を維持しつつコストを下げるために，データに応じて異なるエージェント（例：アノテータ，クラウドワーカー，LLM）に検証を割り当てることが考えられる．コストの低いエージェントでも正確に検証できると期待できるデータはそのエージェントに任せ，検証が難しいデータだけを正確性の高いエージェントに任せるという割り当てを実現したい．
本研究では，検証タスクの割り当てを自動化する手法を提案する．エージェントへの検証タスクの割り当てを，重み付き 2 部グラフのマッチング問題として扱う．予算に応じて，各エージェントに割り当て可能なタスク数（マッチング数）の上限が与えられているとする．この 2 部グラフを用いて，マッチング数の制約下での線形計画問題としてマッチング問題を解くことで，タスクの割り当てを行う．提案
手法の全体図を図 1 に示す．提案手法では，正解既知のデータを利用して，エージェント毎の専門性に合わせた重みを推定する重みモデルを学習し，2 部グラフに対して重みを付与する．エージェント毎の重みを推定するために，エージェント毎の正解数に応じた報酬を返す報酬関数を設計した．特に，他のエージェントが誤答するデータに正解できるエージェントは専門性が高いとみなし，類似データも割り当てるように重みを決めたい．そのため，正答エージェント数が少ない場合報酬の値は大きく，多い場合は報酬が少なくなるようにした．
実データを用いた実験では，ランダムな割当よりも，提案手法による割当の方が正解率が良いことが確認できた．一方で，正答エージェント数に基づく報酬導入の効果は僅かであることが確認された．

2

関連研究

エージェントに対するタスク割り当てでは様々な観点からの研究が行われている．クラウドソーシン― 795 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

1. エージェントとタスクの関係を重みとしてグラフを構築

2. 構築した重み付きグラフを基にタスクをエージェントに割り当てる

タスク1

エージェント1

タスク1

エージェント1

タスク2

エージェント2

タスク2

エージェント2

タスクn

エージェントm

タスクn

エージェントm

タスクに用いるデータの特徴量

重みWを推論重みモデル

図 1 タスク割り当てで用いる手法の全体図

グにおけるタスク割当では，能動学習においてエージェントに割り当てるタスクを決める手法 [1, 2] や，際の効用として重み 𝑤 𝑖 𝑗 ∈ 𝑊 がグラフに存在する．

線形計画法を基に最適化を行う手法 [3, 4, 5] がある．

データのエージェントに対する割り当てを，データとエージェントの頂点間で辺を張ることとみなし，線形計画法を用いた手法では制約や目的関数の中で重みが最大になるように割り当てを最適化すること様々な拡張がされており，公平性に関する制約を組を目指す．加えて，エージェントの過去の検証結果み込んだ手法 [4] などがあり，様々な形に拡張されから，適切なエージェントに対して割り当てが行わている．

れるような重みをデータの特徴量から推論する，重人間と分類モデルで協調してタスクを解く手法 [6, 7, 8, 9] では，分類モデルの学習と，人間がタスクを割り当てられた時の正解率を推定する関数のみモデルの学習を行う．

提案手法

4

学習を同時に行う．タスクの割当は，分類モデルの本手法では，Dickerson らの手法 [5] で提案された予測の最大確率と人間の正解率の推定関数の値を比エージェントへのタスク割り当ての手法を基にす較し，依頼先を決定する．Mozannar らの手法 [7] でる．加えて，グラフの頂点間に付与するための重みは，タスクを割り当てることができる 人間が 1 人で割り当て関数を，正解が既知の検証データにおけるある問題設定であったが，verma らの手法 [9] にお正答エージェント数を基に学習する．

いて人間が複数の場合においてそれぞれのエージェントの信頼度を推定する関数を学習させることで十4.1

検証タスクに用いるデータ 𝑥 𝑖 ∈ 𝑋 に対して重みモ分であることを示している．

3準備

3.1

問題設定

エージェントに対するタスク割り当てデル 𝑓 (·) が 𝑗 番目のエージェント 𝑎 𝑗 ∈ 𝐴 に割り当てた重みを 𝑤 𝑖 𝑗 = 𝑓 𝑗 (𝑥 𝑖 ) とする． 𝑓 𝑗 (𝑥𝑖 ) はデータ 𝑥𝑖
における重みモデル 𝑓 (𝑥 𝑖 ) の 𝑗 番目の値，𝑁 𝑗 はエージェント 𝑎 𝑗 に対するマッチング数の上限を表す．

本研究では，あるアノテーションデータの検証タスクをどのエージェントに割り当てるかを決める問

エージェントに対するタスク割り当ての目的関数を式 (1)，制約式を式 (2) から式 (4) に示す．

題を扱う．この時，各エージェントが担当できるタスクの数（マッチング数）には上限があり，これを超えないように割り当てる．

maximize

この問題を図 1 にあるように，重み付き 2 部グラ
フ 𝐺 = (𝑋, 𝐴, 𝐸) のマッチング問題として扱う．ここで 𝑋 は検証タスクの対象となるデータ集合，𝐴 はエージェント集合，𝐸 はデータとエージェントの頂点間の辺集合を表す．全てのデータ 𝑥𝑖 ∈ 𝑋 とエー
ジェント 𝑎 𝑗 ∈ 𝑎 の辺 𝑒 𝑖 𝑗 ∈ 𝐸 において，割り当てた― 796 ―subject to𝑛 ∑𝑚∑𝑤 𝑖 𝑗 𝑒𝑖 𝑗𝑖=0 𝑗=0𝑚
∑
𝑗=0𝑛
∑

(1)𝑒𝑖 𝑗 = 1∀𝑖 ∈ {0, . . . , 𝑛}(2)

𝑒𝑖 𝑗 ≤ 𝑁 𝑗∀ 𝑗 ∈ {0, . . . , 𝑚}

(3)

𝑖=0

𝑒 𝑖 𝑗 ∈ {0, 1}This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(4)

式 (2) は，各タスクに割り当てるエージェントの各エージェントの検証結果 各エージェントの検証結果を基に報酬を計算
正解

数は 1 つという制約を示している．式 (3) は，エー間違い

ジェント 𝑖 のマッチング数は 𝑁𝑖 以下であるという

間違い制約を表している．
検証タスクに用いるデータ x

このような制約を導入することで，予算に応じて正しい検証結果

4.2

0.5
0.5

間違い

事前に設定された，各エージェントのマッチング数の上限 𝑁𝑖 を超えない割当を実現する．

報酬関数0

割り当てられた報酬を使い重み割り当てモデルを学習

重みモデルエージェントとデータ間の重みの推定

重みモデル 𝑓 (·) の学習は式 (5) を用いて行う．この損失関数で学習した重みモデル 𝑓 (·) を用いて，エージェントとデータ間の重みを推定する．データ

データとアノテーションを基に各エージェントに重みを割り当てる

図 2 重みモデルの学習の概要図．3 つのエージェントのうち，2 つのエージェントが正答している場合を表している．

𝑥𝑖 において，検証の正解を 𝑦 𝑖 ∈ {0, 1}，𝑗 番目のエー
ジェントの回答を 𝑎 𝑖 𝑗 ∈ {0, 1}，正答エージェント数を 𝑛𝑖 とする．この損失関数は，式 (6) で定義した報トのマッチング数の上限に応じてランダムに割り当酬関数の値を活用して，正答エージェント数が少なえながら 100 回割当先を決定し，正解率の平均値をいデータに正解しているエージェントのペアに，大スコアとして用いた．
正答エージェント数を用いた報酬の割引の効果をきな重みを割り当てるように学習を行う．てを行う手法と比較した．この手法をシード値を替検証するために，式 (6) の 𝛼 を 0 から 1 まで 0.1 刻み

L𝑤𝑒𝑖𝑔ℎ𝑡 = −𝑛 ∑𝑚∑𝑟 (𝑦 𝑖 , 𝑎 𝑖 𝑗 , 𝑛𝑖 ) · log 𝑓 𝑗 (𝑥𝑖 )で変化させ，正解率の推移を比較した．全ての実験(5)𝑖=0 𝑗=0

重みの学習における報酬関数の定義を式 (6) に示
す．𝛼(0 ≤ 𝛼 ≤ 1) は，正答エージェント数による報酬の割引をどの程度反映させるかをコントロールすにおいて，式 (3) における，各エージェントのマッチング数の上限 𝑁𝑖 には，エージェント全体で同数にし，𝑁𝑖 の総和はデータ数と同じになるように設定した．

るためのハイパーパラメータである．
5.1.1

𝑟 (𝑦 𝑖 𝑎 𝑖 , 𝑛𝑖 ) = (1 − 𝛼) + 𝛼 · 𝑛10𝑖𝑦𝑖 = 𝑎𝑖(6)otherwiseデータセット

実験では，森羅プロジェクト [10] において開催された共有タスクの 1 つである属性値抽出タスクにおいて提出された 6 種類の機械学習モデルの予測を用

報酬関数は，そのデータにおいてエージェントがいた．属性値抽出タスクとは，関根らが定義した拡

正解している時に報酬を与える．各エージェントの専門性を考慮した重みの学習において報酬を決める

張固有表現 [11] を文章中から該当する文章とカテゴために，データ 𝑥𝑖 における正答エージェント数 𝑛𝑖

クで提出された属性値を，専門家に検証してもらいを用いた．正答エージェント数が少ない場合，報酬正解となる検証結果を作成した．エージェントの検の割り引きを小さくし，多い場合，報酬の割り引き証結果としてクラウドソーシングを通して 1 つのが大きくするように設計した．そのため，重みモデデータ当たり 10 人の非専門家に検証してもらい，

ルは正答エージェント数が少ないデータに正解してその結果と 6 種類のシステムの抽出結果を基に作成いるエージェントについては，当該データに対してした．特徴抽出に使用するためのテキストには，抽大きな重みを割り当てる．

出された属性値とそのカテゴリ，加えて属性値の周リを属性値として抽出するタスクである．共有タス

5

実験

囲の文章を用いた．

5.1

実験設定

5.1.2

使用するモデル

本手法の有効性を確かめるために，実データを用

重みモデルには多層パーセプトロン (以下 MLP)いた実験を行った．対抗手法として，各エージェンを 用 い て 学 習 を 行 っ た．テ キ ス ト の 特 徴 量 抽 出― 797 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).



ख๏
ϞσϧʹΑΔ໰͍߹ΘͤϥϯμϜʹΑΔ໰͍߹Θͤख๏ϞσϧʹΑΔ໰͍߹ΘͤϥϯμϜʹΑΔ໰͍߹Θͤਖ਼ղ཰ਖ਼ղ཰Ћ

図 3 システムとクラウドワーカーの判定結果を用いた場合の実験結果

Ћ

図 4 6 種類のモデルの抽出結果を用いた場合の実験結果

5.2.2に は 事 前 学 習 済 み の RoBERTa [12] を 使 用 し た．
RoBERTa の事前学習タスクには森羅 2022 の共有タ

6 種類のモデルの抽出結果を用いた実験

この実験では，エージェントとして 6 種類のモデ

スクの 1 つである属性値抽出タスクを用いた．抽出

ルの抽出結果を用いた．検証結果は，それぞれのモデルがその固有表現を抽出した場合正しい，抽出しされた特徴量と式 (5) を用いて重みモデルを学習さていない場合は間違いとして作成した．

せた．モデルの学習時には，RoBERTa のパラメータは固定し，MLP のみの学習を行った．に，𝛼 の値に関わらず提案手法により割当先を決め推定された重みを用いて，最適化問題を解くための線形計画法のソルバには CBC1）を用いた．

5.2

実験結果を図 4 に示す．5.2.1 項の実験結果と同様る方が正解率が良くなることが確認できた. 一方で，
𝛼 = 0 の時が正解率が最も良いことから，正答エージェント数による報酬の割引を行うことで正解率が実験結果低下していることがわかる．このことから，この実5.2.1

システムとクラウドワーカーの判定結果を用いた実験
この実験では，エージェントとして，モデルの多数決 (以下システム) とクラウドワーカーの多数決を使用した．システムの判定結果にはその属性値を抽出した機械学習モデルの数が過半数 (3 種類) 以上のとき正しいと判定したとして作成し，クラウドワーカーの判定結果は「正しい」と回答したワーカーの数が 7 個以上の時正しいと判定したとして検証結果を作成した．
正解率の推移を図 3 に示す．図 3 より，𝛼 に関わらず提案手法における割当の正解率は，ランダムに割当先を決めるよりも正解率が良いことが分かる．また，人数による優先度の割引が無い 𝛼 = 0 の場合の正解率は 0.8 であったのに対して，割引がある 𝛼 = 0.3, 0.4 の場合の正解率は 0.809 であった．そ験設定における正答エージェント数による報酬の割引の効果が無いことがわかる．

結論

6

本研究では，エージェントに対する検証データの割り当てを重み付き 2 部グラフで扱う問題を扱い，2 部グラフの構築時に付与する重みを正答エージェント数を基に学習する手法を提案した．実験結果より，ランダムに問い合わせ先を決定する手法に比べ精度が良いことや，正答エージェント数による報酬の割り引きが有効になるパラメータ設定があるが，正解率の改善は僅かであることが確認できた．
今後の展望として，より適切な問い合わせが可能な重みを学習するための損失関数を設計することや，正答エージェント数における報酬の割引が有効になる場合の条件の特定が挙げられる．のため，僅かではあるが正答エージェント数における報酬の割引に効果があると言える．

1） https://www.coin-or.org/Cbc/― 798 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は、JST ムーンショット型研究開発事業(JPMJMS2236-8) の支援を受けたものである．

参考文献[1] Yan Yan, Romer Rosales, Glenn Fung, and Jennifer G.
Dy. Active learning from crowds. In Proceedings of the28th International Conference on International Conference on Machine Learning, ICML 2011, pp. 1161–1168, 2011.
[2] Yan Yan, Romer Rosales, Glenn Fung, Faisal Farooq,
Bharat Rao, and Jennifer Dy. Active learning from multiple knowledge sources. In Proceedings of the 15th In-

ML: Categorizing 30-language wikipedia into ﬁne-grained
NE based on ”“resource by collaborative contribution”
scheme. In Proceedings of The 3rd Conference on Automated Knowledge Base Construction, AKBC 2021,2021.
[11] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended Named Entity Hierarchy. In Proceedings ofThe 3rd International Conference on Language Resources and Evaluation, LREC 2002, 2002.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint
arXiv:1907.11692, 2019.

ternational Conference on Artiﬁcial Intelligence andStatistics, AISTATS 2012, pp. 1350–1357, 2012.

[3] Chien-Ju Ho, Shahin Jabbari, and Jennifer WortmanVaughan. Adaptive task assignment for crowdsourced
classiﬁcation. In Sanjoy Dasgupta and David McAllester,editors, Proceedings of the 30th International Conference on Machine Learning, ICML 2013, pp. 534–542,2013.
[4] Naman Goel and Boi Faltings. Crowdsourcing with fairness, diversity and budget constraints. In Proceedingsof the 2nd AAAI/ACM Conference on AI, Ethics, andSociety, AIES 2019, pp. 297––304, 2019.

[5] John P. Dickerson, Karthik Abinav Sankararaman, AravindSrinivasan, and Pan Xu. Assigning tasks to workers basedon historical data: Online task assignment with two-sidedarrivals. In Proceedings of the 17th International Conference on Autonomous Agents and MultiAgent Systems, AAMAS 2018, p. 318–326, 2018.

[6] David Madras, Toniann Pitassi, and Richard Zemel. Predict responsibly: Improving fairness and accuracy bylearning to defer. In Proceedings of the 32nd International Conference on Neural Information Processing
Systems, NIPS 2018, pp. 6150–6160, 2018.

[7] Hussein Mozannar and David Sontag. Consistent estimators for learning to defer to an expert. In Hal Daumé III andAarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, ICML 2020,pp. 7076–7087, 2020.
[8] Rajeev Verma and Eric Nalisnick. Calibrated learning todefer with one-vs-all classiﬁers. In Kamalika Chaudhuri,
Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu,
and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, ICML
2022, pp. 22184–22202, 2022.

[9] Rajeev Verma, Daniel Barrejon, and Eric Nalisnick. Learning to defer to multiple experts: Consistent surrogate
losses, conﬁdence calibration, and conformal ensembles.
In Francisco Ruiz, Jennifer Dy, and Jan-Willem van deMeent, editors, Proceedings of The 26th International
Conference on Artiﬁcial Intelligence and Statistics,AISTATS 2023, pp. 11415–11434, 2023.

[10] Satoshi Sekine, Kouta Nakayama, Maya Ando, Yu Usami, Masako Nomoto, and Koji Matsuda. SHINRA2020-― 799 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).