DEIM Forum 2016 D6-2

クラウドソーシング用マイクロタスク設計支援のためのユーザフィードバックの収集手法
林

亮太†

清水

伸幸††

森嶋

厚行†††

† 筑波大学大学院 図書館情報メディア研究科 〒 305–8550 茨城県つくば市春日 1–2†† ヤフー株式会社 〒 107–6211 東京都港区赤坂 9-7-1 ミッドタウン・タワー††† 筑波大学 図書館情報メディア系/知的コミュニティ基盤研究センター 〒 305–8550 茨城県つくば市春日 1–2
E-mail: †ryota.hayashi.2014b@mlab.info, ††nobushim@yahoo-corp.jp, †††mori@slis.tsukuba.ac.jp
あらましクラウドソーシング用マイクロタスクの設計において質問文が曖昧であると，ワーカがリクエスタの意図

しない解釈をしてしまう場合がある．ワーカがリクエスタの意図しない解釈のままタスクに回答することは，タスク
結果の品質低下につながる．そこで本論文では，マイクロタスク設計において質問文をよりよいものにすることを目的として，ワーカのフィードバックを利用する手法を提案する．提案手法では，リクエスタが作成した原案となる質問文に対するワーカの様々な解釈を，クラウドソーシングによって収集する．その後，質問文改善に有益と思われるものを抽出し，これをリクエスタに提示することによって，質問文改善の材料を提供する．
キーワード

クラウドソーシング , タスク設計 , コメント解析

1. は じ め にを改善したいマイクロタスクの最後に，質問文に対する判断の理由を記述する欄を設け，それをクラウドソーシングすること

近年，群衆の知や力を利用して，計算機だけでは解決が困難

によって行う．例えば，ワーカに対して，生まれたての赤ちゃな問題に取り組むクラウドソーシングが注目を集めている．クんの写真を見せて，「この写真には不快な内容が含まれますか？」

ラウドソーシングとは，リクエスタと呼ばれる問題解決を望むというタスクがあったとすれば，それに対してワーカは質問そ人が，ワーカと呼ばれる不特定多数の人々にタスクの処理を委のものに対する回答「いいえ，不快な内容は含まれません」と，託することである．クラウドソーシングのうち，委託するもの

その理由「赤ちゃんは可愛く，赤ちゃんを好きでない人はいなが短時間で処理可能なタスク（マイクロタスク）であるものをいから」を答えることになる．本研究では，ワーカの質問文にマイクロタスク型クラウドソーシングと呼ぶ．

対する解釈を，質問文への回答とその回答の理由の組として表

マイクロタスク型クラウドソーシングにおける重要な課題と現し，この組を viewpoint と呼ぶ．先の例では，viewpoint はして，どのようにしてマイクロタスク内の質問文の曖昧性を除組 (「いいえ，不快な内容は含まれません」，「赤ちゃんは可愛

去するかということが挙げられる．マイクロタスク内の質問文

く，赤ちゃんを好きでない人はいないから」) となる．

が曖昧であると，質問文が同じタスクでもそれぞれのワーカ

我々は，論文 [12] において，viewpoint に関するアノテーショ

が様々な解釈をしてしまい，タスク結果の品質が下がってしま

ンガイドラインを提案し，アノテーションされた viewpoint のう．このような曖昧性を除去するには，多くのワーカたちがとコーパスを作成した. 本論文ではこのガイドラインに基づいてりうる解釈をリクエスタが把握していなければならない．しか構築したコーパスに関して，インターアノテータアグリーメン

しながら，熟練のリクエスタでさえもそのような多様な解釈をトを求めた．

把握することは困難である．したがって，ワーカたちの様々な有益な viewpoint の抽出．収集した viewpoint の数が多くな解釈をフィードバックとして提供することは有用であると考えると，その中からより有益な viewpoint を抽出することは重要られる．

な課題となる．本手法では，有益な viewpoint かどうかを判断

このような背景の下，我々はマイクロタスクの質問文の解釈する基準として汎用性を用いる．汎用性とは，質問文に回答すを収集する事を提案してきた．本論文では，(1) 我々が構築しる際に，その viewpoint がより多くのデータに対して有用であたコーパス [12] に対するインターアノテータアグリーメントをるという性質である．クラウドソーシングを用いた主観評価実求め，(2) 集めた解釈の中で有益なものを見つける基準を決め

験により，我々は viewpoint 内の論理構造がこの汎用性を決めるための主観評価実験を行い，さらに，(3) 機械学習による自る重要な要因であることを発見した．この結果は，我々が提案

動分類を試みた結果を示す．

したアノテーションスキーマが，汎用性の高い viewpoint を抽提案手法全体のポイントは次の 3 つである．

出するのに役立つということを示している．

ワーカの解釈を取り扱うための枠組みの提案とコーパスの作成．

例えば，「この写真には不快な内容が含まれますか？」とい本手法では，まず，質問文に対する回答とその理由をワーカにう質問に対して「いいえ」と回答し，その回答の理由が，そ訊ねることによってワーカの解釈を収集する．これは，質問文

れぞれ「野球のバッドは不快ではないから」「日没の写真はたいてい不快でないから」「これは果物であり，不快ではないかの観点から，コメントを分類することに焦点を当てている．

ら」である viewpoint があるとする．これらの viewpoint は，(2) タスク結果の品質向上を目的とした研究. タスクの委託「不快でない」ものの名前を単に挙げているだけである．これ前にタスク設計を改善したり，より良いタスク結果をもたららの viewpoint から，ワーカが質問文に対してどのように解釈

すワーカを抽出する手法 [2], [4] や，タスク完了後に適切でなしたのかを把握するには，ワーカによって記述された「不快でい回答をフィルタリングする手法 [1], [7] に関する研究が存在ない」ものを列挙する必要がある．しかしながら，一般に「不する．これらの手法は，我々の提案する手法を用いて抽出する

快でない」ものというのは非常に多く存在するため，それらをviewpoint を用いることによって，さらにタスク結果の品質をすべて列挙するのは不可能である．それゆえに，ワーカが質問向上させることができると考えられる．

文に対してどのように解釈したのかを把握するには，これらのviewpoint は限定的すぎると考えられる．これに対して，より

3. Viewpoint へのアノテーション

有益な viewpoint は「ヌードや暴力的な表現が含まれていない

本節では，論文 [12] で構築したコーパス作成について説明すから」といったようにワーカの判断基準をはっきり述べているる．このコーパスは，後ほど他のマイクロタスクの viewpoint

ようなものであると考えられる．

に対する自動的なラベリングのために用いられる．

5. 節で示すように，汎用性の低い viewpoint 全てが有益でな

3. 1 Viewpoint の収集

いとはいえないが，汎用性が高い viewpoint はその質問文に対マイクロタスクの作成. まず，viewpoint を収集するための，するワーカの解釈を直接表しているといえるため，汎用性はそ元となるマイクロタスクの生成を行う．データには，日本の電の viewpoint がリクエスタにとって有益かどうかを判断する重子商取引サイトである ASKUL（注 1） で販売されている商品の画要な基準となりえる．

像データを用いる．ASKUL では，多くの商品が階層構造を持Viewpoint の分類実験．汎用性が高い viewpoint を抽出する

つカテゴリに分類されている．元となるマイクロタスクは，こための viewpoint に対するラベル付けを，機械学習によって行の各データが，特定のカテゴリに属しているかを問うタスクでえることを示す．本手法では，極大部分文字列を特徴量として，ある．ここで取り扱う特定のカテゴリの選出にあたって，以下

アノテーションされたコーパスを学習データとしたサポートベの要件がある．

クターマシンを使用する．実験結果は，分類器が 88.3% の精度で viewpoint のラベルを推定できることを示した．インター
アノテータアグリーメントのスコアから，この精度は，まだ改善の余地があると考えられる．

•

マイクロタスクの数が膨大になることを防ぐため，特定のカテゴリ内の商品数も膨大でない•

多様な viewpoint 収集のため，特定のカテゴリ内の商品も多様である

本論文は以下のようにして構成される．2. 節では，関連研究•について述べる．3. 節では，本論文における viewpoint と，そであるの型の定義を行う．また，コーパス作成のための viewpoint の収集方法と，それらに対するアノテーションについて説明する．

4. 節以降が本論文の中心である．4. 節では，構築したコーパス

質問文を簡潔にするため，特定のカテゴリの名前は簡潔したがって，以下の条件を満たすカテゴリを「食品 / 飲料」
カテゴリから選出した．

(1) 食品カテゴリから 2 レベル以上下位に位置する．

のインターアノテータアグリーメントについて検証を行った結果を報告する．5. 節では，どの viewpoint の型が有益であるか(2) 少なくとも 3 つのサブカテゴリを含む．

を決定する．6. 節では，viewpoint の型を推定するための分類(3) カテゴリ名が他のカテゴリ名を 2 つ以上含むものでない

器や特徴量について説明する．また，分類器の性能についても（例：「コーヒー / お茶」）

報告する．最後に，7. 節では，本研究の要点についてまとめ，
今後の課題を述べる．

選出されたカテゴリは 7 つであり，このカテゴリから 28 個の商品画像データが得られた．図 1 に，これらのカテゴリを問2. 関 連 研 究
マイクロタスク型クラウドソーシングにおける，リクエスタ
にとっての有益な viewpoint の抽出に関する研究は，我々の知る限りでは存在しない．しかし，関連する研究として次のようなものが挙げられる．

(1) 自然言語処理における文章推測の研究. 自然言語処理の分野では，[9], [11] において，質問文内の暗黙の前提の発見を行う
研究がなされている．これらの研究は，ある文章から推測できる別の文章を発見する文章推測の研究 [10] の一部である．文章
推測の研究では，記述されたテキストの意味や，それらに関連する事実に焦点を当てている．これに対し本研究では，ある文章に対するコメントの読み手（リクエスタ）にとっての有用性

う質問文を示す．この 7 つの質問を，28 個の商品画像データに対して行うこととし，元となるマイクロタスクを 7 × 28 = 196
個作成した．
次に，元となるマイクロタスクに，ワーカがその回答を行った理由を問う質問文とその入力フォームを追加する．これらを追加した結果出来上がったマイクロタスクの一例を図 2 に示す．
ワーカは「これはお茶ですか？」といった 1 つ目の質問に対して「はい」「いいえ」「わからない」のどれかで回答し，なぜその回答を選んだのかの理由を 2 つ目の質問で答える．このタスク結果によって，質問に対する回答とその回答を選んだ理由の組，すなわち viewpoint を得ることができる．
（注 1）：http://www.askul.co.jp/

これはコーヒーですか？
これは炭酸飲料ですか？
これは緑茶ですか？
これは紅茶ですか？
これはお茶ですか？
これは調味料ですか？
これはインスタント食品ですか？

図1

コーパス作成に用いる元の質問入った黒い液体．したがって，これはコーヒーである．
」というviewpoint があったときに，r は「これはカップに入った黒い液体」，c は「これはコーヒーである」を表す．
ここで，viewpoint r → c はタスク結果のインスタンス(w, q, d, a, r) から入手することができる．なぜなら，もし a が「はい」（もしくは「いいえ」）であれば，c は肯定形（あるいは否定形）の記述に定まるからである．例えば，先ほどコーヒーの例における c は，
「これはコーヒーですか？」という質問 q に対する「はい」という判断 a によって，「これはコーヒーである」という結論 c が導き出せる．したがって本論文では，必要であれば r → (q, a) という記法で viewpoint を表すこととする．

3. 3 viewpoint の型
論理構造の観点から，viewpoint の型を定義する．viewpointを表す論理式 r → c において，判断理由 r あるいは c が肯定的な意味を持つ場合それを “P”，否定的な意味を持つ場合はそれを “N”で表すこととする．まず，N と P の組み合わせによって，次の単純な 4 つの型を定義する．

PP (r → c): （例）ラベルにコーヒーと書いてあるので，これはコーヒーである．
図 2 viewpoint 収集用タスク

マイクロタスクのクラウドソーシング．Yahoo!クラウドソー
シングを通して，作成されたマイクロタスク 1 つにつき，20 人のワーカに問い合わせ，20 個の結果を得る．ワーカの必要人数の削減のため，重複のない 5 つのマイクロタスクを 1 セットとし，それぞれのワーカに 1 セット単位でタスクの委託を行った．
このセットを作成するためにダミーのマイクロタスクを 4 個作
成し，マイクロタスク数が 5 で割り切れる数（196 + 4 = 200）に設定した．また，ワーカに対する 1 セットあたりの報酬は 2円に設定し，ワーカは多くとも 1 セットのタスクしか処理できないよう設定した．すなわち，得られる最大の viewpoint の数
は 200 × 20 = 4000 であるが，理由を問う 2 つ目の質問に対する回答が任意であるため，結果として得られた viewpoint の数
は 1413 であった．また，このタスクを処理したワーカの人数
は，387 人であった．

NP (¬r → c): （例）コーヒーでない証拠がないので，これはコーヒーである．

PN (r → ¬c): （例）これはカレーである．したがって，コー
ヒーではない．

NN (¬r → ¬c): （例）コーヒー豆から作られていないので，
コーヒーではない．
これらに加えて，次の 2 つの複合型を定義する．ここで複合型とは，判断理由に肯定形と否定形の両方が含まれているものであり，判断理由 r1 , ¬r2 , . . . 間の論理演算子（「かつ」「または」など）は区別しない．

PNP (r1 , ¬r2 → c): （例）ラベルにコーヒーと書いてあり，かつコーヒーでないという証拠がないため，コーヒーである．

PNN (r1 , ¬r2 → ¬c): （例）液体の色が黒でなく，透明である
ので，コーヒーでない．
また，「コーヒーだからコーヒーである」というような view-

point をトートロジーと呼ぶ．

3. 2 本論文で用いる表記法

定義 1 (トートロジー) P P (r → c) or N N (¬r → ¬c) のう

本論文では，viewpoint の収集を行うタスク結果の表記法とち，r = c となるものを, トートロジーと呼ぶ.

して，次を用いる．W をワーカの集合，Q を質問文の集合，

A = { はい, いいえ } を取り得る判断の集合，C = A∪{Unsure}

トートロジーかそうでないかを区別するために，トートロジーを取り得る選択肢の集合とする．このとき，タスク結果の各となっている viewpoint を表す 2 つの型を定義する．

インスタンスを (w, q, d, a, r) という組で表す．ここで，r は，P (c → c): （例）コーヒーであるから，コーヒーである．

ワーカ w ∈ W が提示された画像データ d を対象とする質問文

N (¬c → ¬c): （例）これはコーヒーでない．したがって，コーq ∈ Q に対して判断 a ∈ A を行った理由である．ワーカが q に

ヒーではない．

対して「わからない」と回答した場合，そのワーカには「はい」

トートロジーにおいては，前件 r が実用的な内容を提供しない「いいえ」両方の判断の理由を入力してもらう．その場合，我々ことから，前件 r を表す “P”, “N”を取り除くことによってトーは 2 つのインスタンス (w, q, d, はい, r1 ), (w, q, d, いいえ, r2 ) を

トロジーを表現する．また，PNN において，その一部分を構手に入れる．

成する NN がトートロジーとなっている場合，PN に分類する．

また，viewpoint は理由 r と結論 c からなると考えられ，これを論理式 r → c で置き換える．例えば，「これはカップに

3. 4 アノテーションガイドライン
viewpoint の収集を行った後，各 viewpoint に対して，型を表すラベルを手動で付与する．ここで，viewpoint r → (q, a)のでないならば，調味料ではない」という文章になる．判断 aは，タスク結果のインスタンス (w, q, d, a, r) から得られる．aから導かれた結論 c が「調味料ではない」であるので，この文が「はい」であったときには，c が肯定形（P）となるため，PP,章が厳密に viewpoint を表す文章となっていると考えられる．

NP, PNP のどれかを型を表すラベルとして付与する．また，a

したがって，判断理由 r は「料理に味をつけるものでない」，

が「いいえ」であったときには，c が否定形（N）となるため，

結論 c が「調味料ではない」であるので，NN となる．一般に，PN, NN, PNN のどれかを型を表すラベルとして付与すること

その viewpoint に関して (1) 質問が「これは X ですか？」であとなる．ただし，例外として次のようなケースには，“wrong”

る．(2) 記述された文章に，X であるための必要条件が含まれラベルを付与する．

る．(3) 判断 a が「いいえ」である．の 3 つを全て満たすとき，•

判断 a が「はい」（あるいは「いいえ」）であるのにも関

その viewpoint を NN と結論づける．

わらず，「いいえ」（あるいは「はい」）と回答した理由を入力す

PNN1. 記述された文章には，「これはハーブ茶であり」「コーるためのフォームにその回答理由を記述している．

ヒーは原料に含まれない」という 2 つの判断理由 r1 , ¬r2 と，•フォームに記述された内容が，理由を表す文章となっていない（「これはカレーですか？」，「あああああ」など）•

フォームに記述された内容が，文脈に沿ったものでない「コーヒーではない」という結論 c が含まれる．r1 が肯定形，¬r2 が否定形であるので，PNN とする．このように，判断理
由に肯定形と否定形の両方を含み，結論が否定形であるものが（質問「これはお茶ですか？」に対して「いいえ」と回答してい

PNN の典型的なパターンであった．

るにも関わらず，入力された理由が「これは茶葉を使用して作PNN2. 記述された文章は，「インスタント食品とは手軽に簡単られたものなので，お茶です」というように，「はい」の回答理に利用できるもの」「これは豆を煎ってから使用するもの」と由を記述している）

いう理由を表す部分と，「いいえ，になりうる．
」という結論 c を

表 1 に，アノテーション例を示す．各 viewpoint について，表す部分からなる．理由を表す部分の 1 つ目に関しては，NN2

アノテーションの根拠を次から示す．

で示したパターンと同じで，(1) 質問が「これはインスタント

PP1. 「粉末緑茶という単語がパッケージに書かれている」が食品ですか？」である. (2) 文章内に「インスタント食品とは判断理由 r であり，
「お茶である」が結論 c であるため，PP と手軽に利用できるもの」というインスタント食品であるためのなる.

必要条件が含まれている．(3) 判断 a が「いいえ」である．とPP2. 「サイダーと記載してある」が判断理由 r であり，判断いう 3 つ条件が成り立つため，NN である．また，理由を表す

a が「はい」であるため，結論 c が「炭酸飲料である」となり，部分の 2 つ目については，判断理由 r が肯定形，判断 a が否定

PP となる. ここで，結論 c は判断 a によって決まるため，理形である典型的な PN である．したがって，全体としてみると

由を入力するためのフォームに記述された文章には，結論 c がPNN となる．ここで説明したように，文章内に 2 つ以上の判書かれていなくともよい．

断理由を含む場合，まずそれぞれの理由に関してどの型に当て

NP1. 判断理由 r が「茶葉をポットに入れて作る，といった本

はまるかを考えた上で，それらを結合することによって，（複合

格的な作り方の食品ではない」という否定形であり，判断 a が型の）viewpoint の型を決定する．

「はい」であるため，NP となる．

PN1. 一見すると NN に見える．しかし，文章中の「コーヒーでない」は判断理由 r を述べたものではなく，結論 c を述べ

4. インターアノテータアグリーメントとコーパスの統計たものである．判断理由 r を述べている部分は「（これは）ド

本節では，インターアノテータアグリーメントと，アノテー

レッシング」であるので，PN となる．このようなパターンのションしたコーパスの統計について報告する．アノテーション

viewpoint は非常に多かった．

ガイドラインに従い，収集した viewpoint に対して 2 人がアノ

PN2. 判断 a が「いいえ」であり，理由を入力するためのフォー

テーションを行った．その結果，2 人のアノテータ間で異なる

ムに記述された文章は「これはコーヒーである．したがって，

アノテーションがされたのはわずか 28 個であり，アグリーメ

お茶ではない」と解釈できるため，PN である．

ントを表す一般的な尺度である κ 統計量は，0.968 という非常NN1. 判断理由 r が「ミルクティーに緑茶の成分は入っていなに高い値 [3] となり，アノテーションガイドラインが明確であい」で，否定形であり，判断 a が「いいえ」である．したがっることが示された．

て，NN となる．

また，表 2 に，各 viewpoint の型の数と割合を示す．W は

NN2. これは複雑なケースである．理由を入力するためのwrong の略記である．この統計から，PN の数が多い一方，フォームに記述された文章は「調味料は，料理に味をつけるも

PNP,NP がコーパス内に 1 つしか存在しないことがわかる．

の」であり，否定形の表現は含まれない．しかし，以下の理由

PNP，NP が少ないのは，次のような理由によるものと考えら

で NN とする．まず，判断 a が「いいえ」であるので，結論 c

れる．NP である viewpoint ¬r → c の対偶をとると，¬c → r

が「調味料でない」となり，候補は NN か PN，PNN に絞られとなる．ここで，多くのケースでは，c を満たさないものは非る．つぎに，入力された文章「調味料は，料理に味をつけるも常に多く存在する．そして，判断理由 r となりうるような，その」は「調味料であれば，料理に味をつけるものである」といれらに共通する属性を表すシンプルなフレーズを提供すること

うことを意味する．これの対偶をとると「料理に味をつけるもは難しいと考えられる．例えば，結論 c が「コーヒーである」

型

ID

質問文

判断

理由を入力するためのフォームに記述された文章

PP

PP1

これはお茶ですか？

はい

粉末緑茶という単語がパッケージに書かれているので，お茶であPP2

これは炭酸飲料ですか？

はい

サイダーと記載してあるため．

NP

NP1

これはインスタント食品ですか？

はい

茶葉をポットに入れて作る，といった本格的な作り方の食品ではな

PN

PN1

これはコーヒーですか？

いいえ ドレッシングはコーヒーではないので

PN2

これはお茶ですか？

いいえ コーヒー

NN1

これは緑茶ですか？

いいえ ミルクティーに緑茶の成分は入っていないから

NN2

これは調味料ですか？

いいえ 調味料は，料理に味をつけるもの．

る．

いので，はい，となりうる．

NN
P NN

PNN1 これはコーヒーですか？

いいえ これはハーブ茶であり，コーヒーは原料に含まれないので，コー
ヒーではない．

PNN2 これはインスタント食品ですか？ いいえ インスタント食品とは手軽に簡単に利用できるものだが，これは豆を煎ってから使用するものなので，いいえ，になりうる．
表 1 アノテーションの例

PP
247
17.5%

(P)NP
2
0.1%

PN
824
58.3%

NN
110
7.8%

PNN
95
6.7%

P
23
1.6%

N
4
0.3%

W
108
7.6%

Total
1,413
100%

表 2 各 viewpoint の型の数と割合であったとき，コーヒーでないものの共通の属性を言い表すことは簡単ではない．したがって，NP の PNP においては否定
形の判断理由が作りにくく，その結果数が少なかったのだと考えられる．

5. 主観評価タスク
論理構造に着目したアノテーションが，汎用性の高い view-

point の抽出に役立つことを示すため，各 viewpoint が様々な

図3

主観評価タスク

データに対する判断に役立つかどうかをクラウドソーシングによって検証する．本論文では，これを主観評価タスクと呼ぶ．

できるかを確認するために行う．2 つ目の質問は，d′ を対象と

5. 1 実 験 設 定

する質問 q に回答するときに，提示する viewpoint が役立つか

タスク. 3. 1 節で述べたように，viewpoint r → (q, a) を得どうか問うものである．

るために，ワーカにある画像データ d を対象とした質問 q に対

このタスクについて複数人に問い合わせたときに，2 つ目のして判断 a を下した理由 r を尋ねた．主観評価タスクは，この質問に対して「役立つ」と答えた人が多ければ，その viewpoint

ようにして得られた各 viewpoint が，他の画像データ d′ (=| d)はより汎用性が高いものであるといえる．言い換えれば，「役立を対象とした質問 q に対して判断をするときに役立つかを尋たない」と答えた人が多ければ，その viewpoint は特定のデー

ねるものである．主観評価タスクを作成するため，収集した

タ d にしか当てはまらない，汎用性の低い viewpoint というこ

viewpoint と，質問に対する正しい解答を含むデータ（ゴールとになる．

ドスタンダードデータ）を用いる．具体的には，タスクは以下

ワーカ. 多数決をとるため，生成した各主観評価タスクに対しのようにして作成する．

て，重複のない 9 人のワーカに問い合わせた．結果，主観評価

ステップ 1. (w, q, d, a, r) から得られた viewpointr → (q, a)

タスクを行ったワーカの人数は，実質 1058 人であった．

それぞれに対して，正しい判断の解答が a であるデータ d′ (=| d)

5. 2 実 験 結 果をランダムに選ぶ．これは，質問 q に対する判断を，d と d′ で

表 3 に，主観評価タスクの結果を示す．各行は，viewpoint

同じにするためである．ここで，型が wrong である viewpointの型ごとに結果を集計したものとなっており，各行 2 列目は提に対しては，タスクを生成しない．その理由は，wrong 型の示する d′ に対して，少なくとも 1 人のワーカが正しい判断 a

viewpoint は意味をなさないため，汎用性が低いことは明らかをした viewpoint の数である．また 3 列目と 4 列目は，2 列目だからである．

で示した人数のうち，過半数が d′ に対して「役立つ」と回答さ′ステップ 2. ステップ 1 によって選ばれた d それぞれに対れた viewpoint について，それぞれ数と割合で示している．

して，図 3 に示すような主観評価タスクを生成する．主観評

結果から，他のデータに対して「役立つ」と答えた人の割合

価タスクには 2 つの質問が含まれる．1 つ目の質問は，そのが，各型で明らかに異なることがわかる．重要なのは以下の点

viewpoint を収集したときに行った質問 q と同じものである．

である．

この質問は，提示する d′ に対して，ワーカが正しい判断 a が

type
PP
NP
P NP
PN
NN
P NN
P
N

表3

1 人以上が正しい判断をした数
247
1
1
824
110
95
23
4

過半数が「役立つ」と判断した数
96
0
1
115
48
22
22
3

型を表すとする．入力ベクトルは，以下の 4 ステップで作成す

割合
38.9%
0.0%
100.0%
14.0%
43.6%
23.1%
95.7%
75.0%

る．(1) まず，各 viewpoint r → (q, a) が生成される元となった
質問文 q を分析し，質問対象物を特定する．例えば，「これはインスタント食品ですか？」という質問では，「インスタント食品」
が質問対象物となる．その後，viewpoint の判断理由 r のもととなる，理由を入力するフォームに記述された文字列の中から，クラウドが「役立つ」と判断した viewpoint の数と割合

質問対象物を特別なシンボル T で置き換える．(2)(1) で生成•した文字列の中から，名詞を特定し，すべて特別なシンボル O

P と N は，他のデータに「役立つ」とされる viewpointで置き換える．(3)(2) で各 viewpoint に対して生成された文字の割合が明らかに高い．これは，P と N が「インスタント食品

列の終端に特殊なシンボルを付与した後，それらを鎖状につなであるから，インスタント食品である」というようなトートロ

ぐ．このようにしてできた一つの文字列の中から，極大部分文

ジーであり (節 3. 3)，どのデータに対しても当てはまるもので字列 [6], [8] を抽出する．ここで，極大部分文字列は，本質的にあったからであると考えられる．

•

分類器の重み学習に必要な部分文字列そのものである [8]．極大

PN は，他のデータに「役立つ」とされる viewpoint の部分文字列についてのより詳しい説明は，[8] を参照されたい．

割合が，PP と NN に比べて低い．これは，PN は「これはお茶であるので，炭酸飲料ではない」など特定のデータ（ここでは，

こで入力ベクトル xi の j 次元目の値 n は，対応する極大部分「お茶」）に対する判断にしか役立たないものが多かったからで文字列がその viewpoint i 内に出現した回数であるとする．(4)あると考えられる．言い換えれば，PN の viewpoint r → c において，r が表現するデータの集合が小さいということであり，さらに，入力ベクトルの次元に値がバイナリとなる 5 つの次元を追加する．そのうち 3 つの次元は，
「はい」
「いいえ」
「わから

多くのケースで d′ がその集合の中に含まれなかったというこない」がそれぞれ選択されたかどうかを表すものであり，残りとである．一方で，PP や NN における r は，
「これは食べ物で

2 つの次元は「はい」の理由を入力するフォーム，「いいえ」のはないから（お茶ではない）」など，特定のデータだけに依拠

理由を入力するフォームに入力したかどうかを表すものである．

したものではなく，比較的汎用性が高いものが多いことが示さ

この次元の追加は，wrong をうまく検出するために行う．

れている．

•

この極大部分文字列を，入力ベクトルの次元として用いる．こ

訓練データとして，次の飲料に関する質問文から得られた

PNN については，若干 PN よりも，他のデータに対し

viewpoint の集合を用いた．

て「役立つ」と回答されている割合が高い．これは，PNN の

viewpoint は「これはお茶であり，食品ではない．したがって，（ 1 ） これはコーヒーですか？
インスタント食品ではない．
」というような，汎用性の低い PNと比較的汎用性の高い NN の複合型であり，何人かのワーカが （ 2 ） これは炭酸飲料ですか？
汎用性の低い PN の部分（ここでは，「これはお茶であり」）を（ 3 ） これはお茶ですか？

無視したからであると考えられる．
「役立つ」と回答される割合は高ければ，r と c が表す集合 （ 4 ） これは紅茶ですか？
が似ているということがいえる．したがって，実験結果で割合が高かった PP，NN が c の特徴をうまく表現していると考え（ 5 ） これは緑茶ですか？

られ，それぞれのワーカの c に対する解釈を表しているといえ検証データとして最後の質問文である「これは緑茶ですか？」る．ここで，P と N の viewpoint はトートロジーであるため，から得られた viewpoint の集合を用いた．また，テストデータ

割合が高くとも提案手法には役立たないことに注意したい．

として，以下の 2 つの質問文から得られた viewpoint の集合を用いた．

これらから，論理構造の観点から提案したアノテーションガ
イドラインが，収集した多くの viewpoint の中から，有益なものを抽出する際の重要な手がかりとなることを示した．

6.

分類実験

（ 1 ） これは調味料ですか？
（ 2 ） これはインスタント食品ですか？

viewpoint の数が増えるにつれ，それを分析するリクエスタ

このように，訓練データとテストデータで使用されている語の負担も増えてしまう．したがって，分類器による viewpoint

彙が異なるように意図的に設定した．その理由は，学習されたのフィルタリングがリクエスタにとって必要となってくる．

分類器が特定のドメインに依存していないことを示すためであviewpoint の型を推定するため，単純な線形分類器を用いる．

る．ここで，5. 節で述べたように，有益であるのは PP,NN でライブラリとして libliner [5] を用い，L2-regularized logstic

あり，それ以外の型の viewpoint は有益でないとしている．分

regression を指定したうえで，その他のパラメータはデフォル

類器の測定方法を以下に示す．

トのものを使用した．文書分類と同じように，viewpoint i を入評価に用いる尺度は，精度 (正しくラベル付けされた view-

力ベクトル xi ∈ Rm で表現し，出力ラベル yi が viewpoint のpoint の割合)，適合率 P （分類器が「有益である（型が PP あ
るいは NN である）」と判断した viewpoint のうち，実際に有益であった viewpoint の割合），再現率 R(有益な viewpoint の
うち，分類器が「有益である」と判断した viewpoint の割合)，
そして P と R の調和をとる F 値 F1 （F1 = 2P R/(P + R))）[7]を用いる．テストの結果，精度は 88.3% であった，また，F値について，最も良かった結果は適合率 P = 72.6% ，再現率

R = 72.6% が 72.6% となったときの F1 = 72.6% であった．この結果は，現在のコーパスの大きさでは自動的なアノテーショ
ンは難しいことを示している．インターアノテータアグリーメ[8]ントの値が高いことから，さらなる改善の余地があると考えら
[9]

れる．

7. お わ り にタスク内の曖昧な記述を減らそうとしているマイクロタスク
設計者を助けるために，タスクの結果に影響を及ぼすワーカの[10]

viewpoint について研究した．まず，質問への解答とその理由といった観点から viewpoint を定義した．そして viewpoint に対するアノテーションガイドラインを考案し，クラウドソーシ
ングを用いたユーザ調査の結果から，PP と NN と呼ばれる 2
つの viewpoint がとりわけ有益であることを決めた．さらに，[11]

他の有益でない viewpoint から PP,NN を区別できる分類器を作成した．
今後の課題として挙げられるのは，本手法によって実際にリクエスタに記述を書き換えてもらい，曖昧性が下がることを示すことである．また，自然言語処理の標準に従うと，収集した

viewpoint の数が十分とはいえないため，データを拡大することを計画している．

謝

辞本研究の一部は科研費 (#25240012) による．

文

献[1] Srikanth Jagabathula andLakshminarayanan Subramanian andAshwin Venkataraman. Reputation-based worker
filtering in crowdsourcing. In Advances in Neural Information Processing Systems 27:Annual Conferenceon Neural Information Processing Systems 2014, December 8-13
2014,Montreal, Quebec, Canada, pp. 2492–2500, 2014.
[2] Ailbhe Finnerty andPavel Kucherbaev andStefano Tranquillini andGregorio Convertino. Keep it simple: reward
and task design in crowdsourcing. In Biannual conferenceof the Italian chapter of SIGCHI, CHItaly ’13,Trento, Italy- September 16 - 20, 2013, pp. 14:1–14:4, 2013.
[3] Ron Artstein and Massimo Poesio. Inter-coder agreement
for computational linguistics. Comput. Linguist., Vol. 34,
No. 4, pp. 555–596, dec 2008.
[4] Djellel Eddine Difallah, Gianluca Demartini, and Philippe
Cudré-Mauroux. Pick-a-crowd: tell me what you like, andi’ll tell youwhat to do. In 22nd International World Wide
Web Conference, WWW’13, Rio de Janeiro, Brazil, May
13-17, 2013, pp. 367–374, 2013.
[5] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui
Wang, and Chih-Jen Lin. Liblinear: A library for large linear classification. J. Mach. Learn. Res., Vol. 9, pp. 1871–
1874, jun 2008.
[6] Matthias Gallé. The bag-of-repeats representation of documents. In Proceedings of the 36th International ACM SI-[12]

GIR Conference on Research and Development in Information Retrieval, SIGIR ’13, pp. 1053–1056, New York, NY,
USA, 2013. ACM.
Nguyen Quoc Viet Hung, Nguyen Thanh Tam, Ngoc Tran
Lam, and Karl Aberer. An evaluation of aggregation techniques in crowdsourcing. In Web Information Systems
Engineering - WISE 2013 -14th International Conference,
Nanjing, China, October 13-15, 2013,Proceedings, Part II,
pp. 1–15, 2013.
D. Okanohara and J. Tsujii. Text categorization with all
substring features. In SIAM International Conference on
Data Mining (SDM), pp. 838–846, 2009.
Galina Tremper. Weakly supervised learning of presupposition relations between verbs. In Proceedings of the ACL2010 Student Research Workshop, ACLstudent ’10, pp. 97–
102, Stroudsburg, PA, USA, 2010. Association for Computational Linguistics.
Hila Weisman, Jonathan Berant, Idan Szpektor, and Ido
Dagan. Learning verb inference rules from linguisticallymotivated evidence. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning,
EMNLP-CoNLL ’12, pp. 194–204, Stroudsburg, PA, USA,2012. Association for Computational Linguistics.
Katja Wiemer-Hastings and Peter Wiemer-Hastings. Dp: A
detector for presuppositions in survey questions. In Proceedings of the Sixth Conference on Applied Natural Language
Processing, ANLC ’00, pp. 90–96, Stroudsburg, PA, USA,
2000. Association for Computational Linguistics.
丹治寛佳, 清水伸幸, 森嶋厚行, 北川博之. マイクロタスク型クラウドソーシングにおける質問文改善の支援手法. In DEIM2015
C6-1, 2015.