言語処理学会 第26回年次大会 発表論文集 (2020年3月)

ゲーミフィケーションを用いたアノテーション付き対話データの収集基盤
小河 晴菜 1 西川 仁 1 徳永 健伸 1 横野 光 2
1
東京工業大学 情報理工学院 2 株式会社富士通研究所
ogawa.h.ai@m.titech.ac.jp {hitoshi,take}@c.titech.ac.jp
yokono.hikaru@fujitsu.com

1

はじめに

収集には多くの作業者を必要とするため，作業者一人あたりの単価が低くても全体のコストは大きくなる．

自然言語処理研究の様々な分野において，大規模なさらに，タスク指向型対話収集の場合，タグ付けのよデータを用いてモデルを訓練する機械学習・深層学習

うな単純な作業と違い目的達成までの拘束時間が長くによるアプローチが中心的である．これは対話研究なる．そのため，作業者あたりの単価も高くなる．

においても例外ではなく，このようなデータ駆動アプ

我々は効率的なタスク指向型対話データ収集を実現

ローチにより訓練された高性能な対話モデルの構築がするために，ゲーミフィケーションを利用したデータ期待されている．このため，大規模な対話データが非収集基盤を提案する．ゲーミフィケーションを用いる常に重要となっている．

ことで，先に述べたクラウドソーシングにおける問題対話は，雑談のように目的を持たない非タスク指向点を解決することを狙う．提案する基盤は，多様な対型対話と，特定の目的を達成するために行うタスク指話タスクに利用可能な汎用性を持ち，データ収集者が向型対話の二種類に分けることができる．このうち，求めるデータに応じて設定を変更・追加可能な拡張性を

非タスク指向型対話向けのデータにはインターネット持つ．ゲーミフィケーションと汎用・拡張性を両立させ上のチャットや映画の台本など既存のデータを利用でるため，基盤には，Mojang 社が開発した Minecraft1

きるが，タスク指向型対話向けには対話の目的に応じ（MC）を用いる．MC は三次元の仮想世界内を自由にた状況を設定し実際に人間を用いてデータを構築する探索・変更できるのが特徴のビデオゲームである．

必要があるため，収集コストが高くなりデータ構築がさらに，我々は基盤上に，対話者が自分自身の発話より難しくなっている．

をアノテーションする「発話者によるアノテーション

人手を必要とするデータ収集には，近年，クラウドソーシングが用いられることが多い．単純な作業を，多数の匿名作業者に低い単価で依頼するクラウドソーシ
ングは，安価で早くデータを収集できることから，対話データを含む言語資源収集に用いられてきた [3, 4]．

[9]」を行う機能を構築する．対話データのアノテー
ションは対話と関係のない第三者によって行われることが多く，このアノテーション手法は今までにあまり注目されてこなかった．提案する基盤を通じてその可能性を探る．

しかし，従来のクラウドソーシングによるタスク指向型データ収集には二つの問題点がある．まず一つに，

2

ゲーミフィケーション

作業者の動機付けの問題がある．クラウドソーシング
によるタスク指向型対話データ収集では，作業者は目作業をゲーム形式で行うことで面白さによる動機付的を与えられ，それを達成するための対話を行う．こけを行うゲーミフィケーションは，教育や医療の他，の時，作業者の主な動機は目的達成ではなく作業報酬

自然言語処理研究にも適用されてきた [7, 8]．一方，汎にあるため，いわゆる「やらせ」のような状況になり，用性を持ったタスク指向型対話データ収集基盤に適用収集したデータから自然さが失われてしまう危険性した例はまだない．

がある．二つ目の問題として，コストの増加がある．

この手法の大きな利点は，作業者の動機付けが自然金銭を報酬とするクラウドソーシングでは，収集するな形でできる点にある．1 節で述べたように，クラウデータの量に比例してコストが増える．大量のデータ
1 https://www.minecraft.net/― 700 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ドソーシングでのタスク指向型対話データ収集では，作業者のペアを自動で作成する機能や，複数の作業者必ずしも作業者が対話の目的を達成したいわけではが並行してタスクを行えるよう分離された環境を用意ないことから，不自然な対話となってしまう可能性がする機能などを持つ．収集基盤の機能は，2 節で述べある．ゲーミフィケーションで面白さによる動機付けた MC の mod として実装されている．

を行うことで，作業者が自発的に作業に取り組むよう提案する基盤で行うタスクの例として，我々は Mapになり，自然な対話が行われることが期待できる．まTask [1] を元にした Mansion Task を考案した．元とた，データ収集の際の金銭的コストの肥大化を抑えらなった Map Task は二人の作業者が違う役割を演じるれるという利点もある．通常のクラウドソーシングで非対称的なタスクであったが，Mansion Task では二人は，収集するデータ量に比例して作業者への報酬が増は対等な立場にあり，協力して共通の目的に挑む．作

大する．一方，対話データを集めるためのゲームをイ

業者はそれぞれ内容が一部異なる屋敷の地図を渡されンターネット上に公開し人を集めることができれば，る．地図には部屋の配置とその説明，ならびにスター

主なコストはゲームの作成・運用コストのみになり，ト地点とゴール地点が記されている．このタスクの目集めるデータ量に比例しない．他に，ゲーミフィケー

的は，スタートからゴールまで辿り着くことである．

ションによりデータ収集タスクの認知負荷を軽減でき

ただし，ゴールに辿り着くためには，「鍵を見つけて扉る可能性がある．一般に，複数のことを同時に行うマを開ける」といったようなサブゴールをいくつか達成

ルチタスクは認知負荷を増加させ，作業のパフォーマする必要がある. サブゴールを達成するための情報はンスを低下させるが [6]，タスクにゲーミフィケーショどちらか一方の地図にしか書かれていないため，作業ンを導入して実施した場合は認知負荷が減少する可能者らは対話によって情報を交換することになる．
提案した基盤をテストし，アノテーション付きのタ性 [5] が報告されている．
ゲーミフィケーションには上に挙げたような利点が

スク指向対話データを収集するため，我々は基盤を用ある一方，作業者を動機づける魅力的なゲームを低コいて Mansion Task をゲーム化した．図 1 にそのスクストで一から作成することは非常に難しい．この問題リーンショットを示す．本来の Mansion Task は Mapを避けるため，我々は既存のゲームである MC を利用

Task と同様ゲームと関係のないタスクであるが，基盤する．以下に MC を選択した理由を述べる．

上では実際にプレイヤーが仮想世界内を歩き回りゴー• MC を拡張して基盤を実装することで，新たにゲームを作成するよりも労力を抑えることができる．MC では mod と呼ばれるシステム拡張の文化が盛んであり，機能の拡張は比較的容易である．

• MC は世界中で一億人以上のアクティブプレイヤーが存在する，世界で最も人気なゲームの一つである．無名のゲームよりも，作業者を引きつけることが期待できる．

• MC には定められた目標がないため，データ収集者が構築したいデータに沿ったタスクを設定するのに都合が良い．

ルへ向かうゲームとして実装した．追加要素として，

1 節で述べた発話者によるアノテーションを実現するため，プレイヤーが自分たちの行った発話に対し対話行為のアノテーションを行うような機能を追加した．
発話者は発話時に最も適した対話行為を選択する必要があり，もう一人のプレイヤーは任意に相手の発話をアノテーションできる．両方のプレイヤーがアノテーションを行うと，ゲーム上でスコアが付与される．プ
レイヤーのアノテーションに対する動機付けを高める
ため，付与されるスコアはアノテーションの結果が一致した場合に高くなる．

3.2

3

基盤

3.1

概要と使用例

発話者によるアノテーション

一般に，対話コーパスのアノテーションは，対話とは関係ない第三者によって行われることが多い．しかしながら，第三者は対話データから発話者の意図を推

我々が提案するデータ収集基盤は，データ収集者が測する必要があり，誤った解釈により本来の意図とは自由に仮想世界を構築し，書き言葉での対話データを違ったアノテーションを行う可能性がある．反対に，発収集するための機能を提供する．基盤は特定のタスク

話者自身がアノテーションをする場合には解釈誤りはに依存するものではなく，データ収集者は独自のタス起こりえないため，発話者がアノテーションのルールクを設計し，実装することができる．また基盤は他に，を理解していれば，原則誤ったラベルが付与されるこ― 701 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

計算する．また，聞き手がアノテーションを行うかどうかは任意であるため，正解率の算出には聞き手がラベルを付与した発話のみを用いて算出した．

4.2

実験結果

表 1 にペアごとの Cohen のカッパ係数を示す．一方表 2 はアノテーションの正解率を示す．太字はその行での最大値を表している．正解率がすべて 0 の行が存在しているのは，その対話で聞き手がアノテーショ
図 1: 基盤上での Mansion Task のスクリーンショットンを行ったのが一発話のみだったことが原因である．
表から，Cohen のカッパ係数ではアノテーション経験者間の値がプレイヤーを含むペアより比較的高い一方ともない．これは発話者によるアノテーションの明確で，正解率はアノテータによってばらつきがあり，10な利点であり，一つの手法として考慮する価値がある．

対話中 5 つでアノテーション経験者の正解率がプレイ一方，発話者によるアノテーションは対話と同時にヤーを下回ったことが分かる．カッパ係数と正解率のアノテーションを行うマルチタスクであり，作業者に値に差があることは，アノテーション経験者が合意しかかる認知負荷が大きいという欠点がある．この欠点たラベルが，必ずしも発話者の意図を反映したものでは，発話者によるアノテーションが一般に行われていはないということを意味している．

ない要因の一つであると推測する．ここで，2 節で述べたように，ゲーミフィケーションによって認知負荷

表 1: 五つの対話でのアノテータ間のカッパ係数を下げられる可能性が指摘されている．発話者による(P1・P2: プレイヤー, A1・A2: アノテーション経験者)

アノテーションの有用性を探るため，発話者によるアノテーションを行う機能を基盤上に追加し，Mansion

1

Task に組み込むことで欠点の緩和を狙う．

4実験

4.1

実験方法

2

3

データ収集基盤のテストを行うと同時に，発話者によるアノテーションの有用性を検討するため，10 人4（5 ペア）のプレイヤーによる小規模な実験を行った．
プレイヤーらは 3.1 節で述べた Mansion Task を基盤上で行い，我々はペアごとの対話データ及びそのアノ5テーションを収集した．更に，集めた対話データそれぞれに対し，対話行為のアノテーション経験がある二P1P2A1P2A1
A2

0.752
0.725
0.767

0.697
0.683

0.889

P2A1A2

0.530
0.627
0.627

0.677
0.579

0.668

P2A1A2

0.140
0.159
0.175

0.468
0.552

0.764

P2A1
A2

0.318
0.362
0.363

0.512
0.491

0.901

P2
A1
A2

0.595
0.574
0.574

0.710
0.645

0.908

人のアノテータによるアノテーションを行なった．つまり，一つの発話に対して，二人のプレイヤーと二人のアノテーション経験者，計四人分のラベルが付与される．
五ペアによる五つの対話について，各アノテータ間での Cohen のカッパ係数 [2] ならびに各アノテータの正解率を計算した．ここで，対話内では，各プレイヤーは話し手と聞き手の二つの役割を演じる．話し手は発話の意図を理解しているという前提から，アノテーションの正解率は，発話者のラベルを正解としてこの結果は，たとえ対話行為アノテーションの経験があっても，第三者であるアノテータにとって発話者の意図を推測するのが難しい場合があることを示唆している．例を挙げると，ある対話の「学生室ってところに青の鍵がかかった宝箱があるらしいけども」という発話に対し，プレイヤー二人は「提案」というラベルを付与したが，アノテーション経験者二人は「伝達」を付与していた．この時，発話者は学生室に行くこと― 702 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ゲームを通じて対話データを収集し分析を行った結果，
表 2: 各発話者に対するアノテータの正解率

第三者のアノテータは，発話者の意図を正確に汲み取（H: 聞き手, A1・A2: アノテーション経験者）れない場合があることや，そのような場合での発話者

Dialogue

H=P1

A1

A2によるアノテーションの有用性が示唆された．今後は123450.870
0.792
0.000
0.696
0.750

0.804
0.849
0.000
0.609
0.813

0.826
0.792
0.000
0.609
0.813

さらにシステムの改良を行い，より大きな規模での収Dialogue

H=P2A1A2

1234
5

0.744
0.649
0.720
0.821
0.808

0.721
0.688
0.520
0.679
0.731

0.767
0.714
0.600
0.643
0.731

集実験によって収集基盤の可能性を探る．基盤は改修後に公開する予定である．

謝辞
本研究は JSPS 科研費 JP19H04167 の助成を受けたものです．

参考文献を提案するためにこの発話を行い，もう一人のプレイヤーもその意図を正しく認識した一方，アノテーション経験者らはただの情報伝達だと受け取ったと考えられる．発話者の意図を正しく認識するためには，状況や雰囲気，ならびに話し手の行動のような非言語情報が必要な場合があるが，一般に第三者であるアノテータらはこれらの情報を手に入れることが難しい．一方，この例における聞き手は，第三者と同じように話し手の意図を想像する必要があったものの，状況が共有されていることによりアノテーションに成功したと推測する．
このように，言語情報以外が重要な役割を担うような対話では，第三者のアノテータが発話意図の解釈誤りを起こす場合がある．このような対話において，発話者によるアノテーションは一定の有用性があると考える．

5

おわりに
本論文では，ゲーミフィケーションを用いたタスク指向型対話データ収集基盤を提案した．提案した基盤は，クラウドソーシングによる対話データ収集が持つ課題を，ゲーミフィケーションによって解決することを狙っている．多様なタスクに対応できる汎用性を持つ基盤を構築するため，Minecraft を用いて実装を行った．また，基盤上で発話者によるアノテーションを行うことを提案した．発話者によるアノテーションにゲーミフィケーションを導入し，その可能性を探った．
提案したデータ収集基盤上で小規模なデータ収集実験を行った．実験には，Map Task を元に我々が考案[1] Anne H. Anderson, Miles Bader, Ellen Gurman Bard, Elizabeth Boyle, Gwyneth Doherty, Simon Garrod, StephenIsard, Jacqueline Kowtko, Jan McAllister, Jim Miller,
Catherine Sotillo, Henry S. Thompson, and Regina Weinert. The HCRC map task corpus. Language and Speech,
Vol. 34, No. 4, pp. 351–366, 1991.
[2] Jacob Cohen.
A coeﬃcient of agreement for nominal scales. Educational and Psychological Measurement,
Vol. 20, No. 1, pp. 37–46, 1960.
[3] Walter Lasecki, Ece Kamar, and Dan Bohus. Conversations in the crowd: Collecting data for task-oriented dialog
learning. In In Proceedings of the Human Computation
Workshop on Scaling Speech and Language Understanding and Dialog through Crowdsourcing at HCOMP 2013.,January 2013.
[4] Rion Snow, Brendan O’Connor, Daniel Jurafsky, and Andrew Ng. Cheap and fast – but is it good? evaluating nonexpert annotations for natural language tasks. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 254–263, Honolulu, Hawaii,October 2008. Association for Computational Linguistics.
[5] Chung-Ho Su. The eﬀects of students’ motivation, cognitive load and learning anxiety in gamification software engineering education: a structural equation modeling study.
Multimedia Tools and Applications, Vol. 75, No. 16, pp.
10013–10036, August 2016.
[6] John Sweller. Cognitive load theory, learning diﬃculty,and instructional design. Learning and Instruction, Vol. 4,No. 4, pp. 295 – 312, 1994.
[7] Daniele Vannella, David Jurgens, Daniele Scarfini,
Domenico Toscani, and Roberto Navigli. Validating andextending semantic knowledge bases using video gameswith a purpose. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1294–1304, Baltimore, Maryland, June 2014. Association for Computational Linguistics.
[8] Luis von Ahn and Laura Dabbish. Labeling images with acomputer game. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems, CHI ’04, pp.
319–326, New York, NY, USA, 2004. ACM.
[9] 松吉俊. 反転学習とシステム開発演習を活用するテキストア
ノテーション. 情報処理学会研究報告, Vol. 2017-SLP-116,
No. 7, pp. 1–9, May 2017.

した探索タスクである Mansion Task を用いた．この― 703 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.