複数作業者を想定したアノテーションツールの作成と機能の検討
星島洸明
京都大学大学院情報学研究科
hoshijima.komei.72x@st.kyoto-u.ac.jp
亀甲博貴
京都大学 学術情報メディアセンター
kameko@i.kyoto-u.ac.jp

1

はじめに西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
森信介
京都大学 学術情報メディアセンター
forest@i.kyoto-u.ac.jp
固有表現認識モデルの支援がある状態のほうが，支援がない場合よりラベル付けされたアノテーショ

近年，市民科学 (Citizen Science) を活用した研究

ンコーパスの品質は向上した．作成したそれぞれのプロジェクトが注目されている．市民科学は非専門家が科学的な調査や研究活動を行うことを指す．市

コーパスで学習し比較した結果，支援がある場合で作成したアノテーションコーパスで学習したほうが民科学の特徴は少数の専門家のみで作業すると時間F 値が向上した．と費用が膨大にかかるプロジェクトでも多数の非専関連研究門家がプロジェクトに参加すると効率的に作業を2進められることである．市民科学のブロジェクトの2.1

例として京都大学古地震研究会が 2017 年に公開しアノテータが複数いる状態のアノテーション

た市民参加型史料翻刻プロジェクト「みんなで翻刻複数のアノテータが同一の文書に対してアノテー（地震史料）」 [1] が挙げられる．翻刻とはくずし字ション作業を行う際，複数のアノテーションデータで書かれている古文書などの歴史史料を一文字ずつから最も優れているラベルデータを選出し，作成さ活字に書き起こしていく作業のことを指す．「みんれたアノテーションデータで学習したモデルでまだなで翻刻」は web 上で歴史史料を翻刻するためのア

アノテーションされてないテキストに対してラベルプリケーションであり，翻刻作業には研究者だけで候補を提示する研究がある [2]．

なく一般の人々も参加している．

クラウドソーシングでラベル付きのデータを収集

このように，多くの研究分野においてデータに対して人手でラベルを付与することが求められていするとアノテータがラベル付けしたタスクに対して専門的知識をどの程度有しているかはアノテータそる．そのため，タスクに応じたラベルをつけるアノれぞれで異なる．そのため，アノテーションの品質テーションツールの需要がある．アノテーション

管理はクラウドソーシングにおいて重要な課題であツールを使用するのが複数人であると想定すると，る．アノテータつけたラベルが誤りであるかを推定作業する人それぞれが対象の専門的知識をどの程度する方法として同じデータを複数のアノテータにラ有しているかは不明である．また CUI に慣れていなベル付けしてもらい，その結果の多数決をとることい人も含まれるためツールはマウスのクリックと簡でラベルの統合を行う方法がある．しかしこの方法

単なキーボードからの入力のみで扱えることが好まは各アノテータの誤り率が同等であることを前提としい．

するため必ずしも効率的な方法ではない．アノテー

本研究では，非専門家が複数人いる状態で効率的にアノテーションすることを目指して，固有表現を題材にしたアノテーションツールを試作した．実験
ではアノテーションツールを使用して固有表現のアノテーションコーパスを作成した．実験の結果，タの誤り率を推定するため専門的知識の有無などを考慮に入れた方法が提案されている [3]．

図1

2.2

試作したツールの全体図．

非専門家がいる状態のアノテーション

Snow らの研究 [4] ではクラウドソーシングによって専門家，非専門家それぞれがアノテーションコーパスを作成した．非専門家のアノテータが作成したデータの品質の偏りがあるため，データの品質からアノテータの評価を行い管理した．その結果，設定

図2

した 5 つのタスクにおいて非専門家が作成したアノテーションコーパスは専門家が作成したアノテーションコーパスの 4 倍用意すると識別機の性能が同じになった．

3

ツールのインターフェイス．

アノテーションツール
複数人が作業することを想定した，ラベル付けを専門分野に関する知識を有しない非専門家と専門するためのツールを開発した．本ツールの概要図を家が同じテキストに対してラベル付けをする場合，図 1 に示す．ツールのラベル付けするときのイン

まず非専門家がテキストのラベル付けをしてそのターフェイスを図 2 に示す．本ツールはアノテータ生成物を専門家が修正することで，アノテーションが複数人であることを想定しており，各アノテータコーパスを生成するコストを削減しアノテータ間のはアカウントを作成し各々が作業するプロジェクト一致率を向上させた研究がある [5]．

を作成する．次にプロジェクト毎にテキストに付与

2.3

既存のアノテーションツールしたいラベルを設定する．作業するテキストには事前に学習したモデルを使用してラベル候補をアノ系列ラベリングで使用される既存のテキストアノテータに提示する．アノテータはツールによって提テーションツールはショートカットキーの設定 [6]，案されたラベルの範囲と種類が正確であると判断し能動学習を使用可能 [7] といった機能があり，効率た場合はそのままにしておき，誤っていると判断し的なアノテーションコーパスの作成ができる．本研

た場合はラベルを削除する．ツールによって付与さ究では，こうしたツールを参考に，(1) ラベル候補のれたラベル以外にラベルを付ける必要があるとアノ提示機能と (2) ショートカットキーの設定機能が実テータが判断すれば新たにテキストにラベルを追加装されており，効率よくアノテーションを行うことする．ツールはアノテータが作業開始から作業終了ができる．

までの時間を測定しており，ラベル付けされたデー
タとともにそれらの時間をデータベースに格納す
る．各アノテータによってラベル付けされたデータを元の学習データに加えて，新たにモデルを学習す表1

レシピ用語のタグ一覧．

タグ

意味

Ac

調理者の動作

Af

食材の変化

D

継続時間

F

食材

Q

分量

Sf

食材の様態

St

道具の様態

T

道具

図3

作業にかかった時間．

ることで自動ラベリングモデルの精度をより良くしてアノテータの負担を削減する．

実験

4

訓練データから学習したモデルを使用して，ラベル付けする候補をアノテータに提示して，人手でそれを修正することでアノテーション作業の効率化が見られるか観測する実験を行う．本実験では上記の
図4ように新たにモデルの学習はしていない．アノテー

ラベル付けされたデータの品質．

タによってラベル付けされたデータを正解データと比較して評価する．

4.1

実験設定

本実験では，アノテーション課題としてレシピ分0.8164, 0.8425, 0.8292 であった．

4.2

実験手順

野を対象とした固有表現認識を行う．使用するデー本ツールではアノテータが各自アカウントを作成

タセットは，笹田らの基準 [8](表 1) に基づき定義さしそれぞれのアノテータ情報とアノテーションデーれたレシピ用語を，IOB 形式でレシピ分野に精通しタを紐付けられている．そのため，アノテーションた人がラベル付けしており，これを正解データと作業にかかる時間をツールで測定してツールによるして活用した．支援のための固有表現認識モデル支援がある場合と支援がない場合でかかる時間の差にはこのデータセットの学習データ 2,358 文使用しを見られるようになっている．アノテータが作業すた．また，テストデータには 387 文使用した．固有

る際，ツールによる支援がある場合には，事前に学表現認識モデルには BiLSTM-CRF [9] を用いた．ア

習した固有表現認識モデルを使用して，ツールの画ノテータは 3 名で，日本語母語話者でありレシピ分面に表示されるテキストの中から固有表現を認識し野に関して専門的知識は有していない．各アノテーて画面上に表示する．ツールによる支援はそれぞれタそれぞれは同じ 200 文にラベル付けをした．200のアノテータが作業する 200 文のうちランダムに選ばれた 100 文に対して行われた．支援がある文と支文のうち 100 文は支援あり，100 文は支援なしでラベル付けを行った．なお，支援ありの 100 文はアノテータ毎に異なる．
以下に実験で使用したパラメータを説明する．単語埋め込み層の入力は 1,640, 出力は 512 で，LSTM層の出力は 1,024，最終的な出力は 17，バッチサイズは 10 で実施した．アノテータ支援のための固有表現認識モデルの適合率，再現率，F 値はそれぞれ援がない文はランダムに選ばれ，アノテータは作業を行う文を選択するまで支援があるかないか知ることができない．
作成されたアノテーションコーパスを正解データと比較して適合率，再現率，F 値を計算した．

4.3

結果

アノテータ１

アノテータ 2
図5

表2

4.3.1

アノテータ 3

ラベル付けされたデータの品質の移動平均．

ラベル付けされたデータの品質．

表3

ラベルの認識性能 (学習データ:100 文)．

適合率

再現率

F値

適合率

再現率

F値

支援なし

0.82180.74970.7839

支援なし

0.60000.58560.5923

支援あり

0.89550.85960.8770支援あり

0.6427

0.63370.6370

作業時間

4.3.3

固有表現認識性能

作業にかかった時間を図 3 に示す．今回実験に参各アノテータがラベル付けしたデータで学習した

加したいずれのアノテータでも，支援がある場合の固有表現認識モデルの性能を表 3 に示す．いずれの方が支援がない場合よりも少ない時間で作業を終了

アノテータでも支援がある場合の方が支援がない場させることができた．

合よりラベル付けされたデータの品質が向上した．

4.3.2

データ品質

5

おわりにラベル付けされたデータの品質を図 4 に示す．

本研究では，非専門家が専門分野のアノテーショ

値は F 値を表す．ラベル「Af」，「St」に関してアノテータ 2 の支援なしの場合は他のアノテータより比ンコーパスを効率的に作成するためのツールを試作

較的品質が高かった．そのためアノテータ 2 はこれるラベルの提案機能を持つ．支援があると効率よくらのラベルを付けることが比較的得意である可能性

アノテーション作業がすすめられ，ラベル付けデーがある．

タの品質は向上した．また，アノテータがそれぞれした．試作したツールは事前に学習したモデルによアノテータ 3 名のラベル付けされたデータの品質提出したアノテーションコーパスで学習した固有表を表 2 に示す．表中の値は固有表現認識モデルによ現認識モデルは支援がある場合のほうが固有表現認る支援がない場合と支援がある場合それぞれにおけ識性能が高くなった．

る適合率，再現率，F 値を平均で示している．支援アノテータ毎のラベル付けされたデータの品質かなしの場合よりも支援ありの場合のほうがラベル付

ら，(1) 特定のアノテータは特定のラベルの種類にけされたデータの品質は向上した．支援のための固関してラベル付け作業が得意である場合があるこ

有表現認識モデルによる自動ラベリングの品質の F
値は，支援がある場合よりは低く支援がない場合よと，(2) 特定のラベルに比較的詳しいと思われるアノテータとそうではないアノテータがそれぞれ作成り高い結果になった．

したアノテーションコーパスではデータの品質が異アノテータが作成したデータの品質が作業の経過とともに変化するか調べるため，各アノテータのなることが分かった．そのためアノテータ毎に比較データ品質の移動平均を計算した．各アノテータのタコーパスを作成していくと固有表現認識モデルをデータの品質の移動平均を 10 文毎にとった結果を効率的に学習できる可能性がある．

的信用できるラベルに重みを付けてアノテータテー

図 5 に示す．いずれのアノテータも作業を進めるに

今後は，本ツールにアノテータのラベル付けの誤したがってラベル付けしたデータの品質は向上してり率からアノテータの品質を考慮し管理する機能をいった．向上した理由がアノテータが固有表現認識追加する予定である．また，能動学習などを活用しモデルの出力から学習したためか次第に作業に慣れて固有表現認識モデルを逐次更新をする機能を追加ていったためかはさらなる調査が必要である．

することも検討する．

参考文献[1] み ん な で 翻 刻 ｜ 歴 史 資 料 の 参 加 型 翻 刻 プ ラ ッ トフォーム. https://honkoku.org. (参照 2021-1-13).
[2] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani
Nenkova, and Matthew Lease. Aggregating and predicting
sequence labels from crowd annotations. In Proceedings ofthe conference. Association for Computational Linguistics.
Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.
[3] Peter Welinder, Steve Branson, Pietro Perona, and Serge Belongie. The multidimensional wisdom of crowds. Advancesin neural information processing systems, Vol. 23, pp. 2424–2432, 2010.
[4] Rion Snow, Brendan O’connor, Dan Jurafsky, and Andrew Y Ng. Cheap and fast–but is it good? evaluating non-expert annotations for natural language tasks. InProceedings of the 2008 conference on empirical methods
in natural language processing, pp. 254–263, 2008.
[5] Mary Martin, Cecilia Mauceri, Martha Palmer, andChristoﬀer Heckman. Leveraging non-specialists for accurate and time eﬃcient AMR annotation. In Proceedingsof the LREC 2020 Workshop on “Citizen Linguistics inLanguage Resource Development”, pp. 35–39, Marseille,France, May 2020. European Language Resources Association.
[6] doccano. https://github.com/doccano/doccano. (参照 2021-1-13).
[7] Bill Yuchen Lin, Dong-Ho Lee, Frank F. Xu, Ouyu Lan,and Xiang Ren. AlpacaTag: An active learning-based
crowd annotation framework for sequence tagging. In
Proceedings of the 57th Annual Meeting of the Association
for Computational Linguistics: System Demonstrations, pp.
58–63, Florence, Italy, July 2019. Association for Computational Linguistics.
[8] 笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也. レシ
ピ用語の定義とその自動認識のためのタグ付与コー
パスの構築. 自然言語処理, Vol. 22, No. 2, pp. 107–131,
2015.
[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedingsof the 2016 Conference of the North American Chapterof the Association for Computational Linguistics: HumanLanguage Technologies, pp. 260–270, 2016.