1.はじめに
近年，計算機のみでの解決が困難な問題に対するアプローチとして，クラウドソーシングが注目を集めている．クラウドソーシングは，ネットワークを通して不特定多数の人間(以下,ワーカと呼ぶ)に対して作業(以下，タスクと呼ぶ)を委託することで，問題解決を試みる手法である．クラウドソーシングの利点は，特定の問題を解決するためのソフトウェアを開発するよりも安価であり，早急に実施できることである。クラウドソーシングでは，問題解決のための諸作業を細分化し，複数のワーカに作業を委託するのが一般的である．特に，各タスクの処理負荷(所要時間や雛易度)を抑えるなどの工夫により，簡潔に回答できるタスクはマイクロタスクと呼ばれている．本稿では，画像や映像，音声へのタグ付けや文字認識，文章構成などの作業を扱うマイクロタスク型クラウドソーシングに注目する.クラウドソーシングにおける研究課題の１つとして，成果物の品質管理が挙げられる。クラウドソーシングには，各ワーカの回答(以下，タスク結果と呼ぶ)の集合である成果物に，誤ったタスク結果が含まれるという問題がある．誤った回答が含まれる原因は２つある．まず，第一に，作業を委託する対象は不特定多数であり，各ワーカの回答能力や得意とする問題が異なることである．第二に，BOTやスパムワーカなどが実際の作業を行わずに報酬のみを受け取る目的でランダムな回答を行うことである。これまで，能力が低かったり，スパムであるようなワーカの影響を下げることによって，タスク結果の品質を向上させる手法が広く研究されている。本稿では，これらの研究とは異なり，ワーカの能力を向上させることにより，タスク結果の品質を向上させる問題に取り組む(図1).すなわち，一連のタスクを行った後に，タスク結果図１　タスクの自己補正を通じたワーカの成長、自己補正とは，他人の回答を見ながら自分の回答を修正する事である。本稿では，複数の自己補正タスクを行う中で，どのような要因がワーカの成長をと関係があるのかを明らかにすることを目指す.の高い品質をもたらす優秀なワーカ(本稿ではExpertと呼ぶ)の割合を増やすことを目標とし，具体的には，タスクの自己補正[1]を複数回行う際に，どのような要素がワーカの能力をより良く向上させるのに影響があるのかを調査する．自己補正は，問題に回答するタスク(以下，第１タスクと呼ぶ)と，第１タスクでの自身の回答を確認するタスク(以下，第２タスクと呼ぶ)の2段階で構成される(図2). 第１タスクでは，一般的なクラウドソーシングと同様に問題に回答する作業を行う．第２タスクでは，提示される回答を見て，自身の回答を見直すという作業を行う．自身の回答を見直すことで，回答の誤りに気づくことが出来るのが自己補正の利点である。この気づきによってタスク結果の品質が向上する事はすでに論文[1]で示されているが，本論文では，単に個々のタスク結果の品質を問題にするのではなく，同一種類の複数のタスクで自己補正を行う際に，どのような要因がワーカの成長に影響するのかを調査する.今回，ワーカの成長に影響を与える可能性があるとして検証した要素は次の３つである. ( 1 ) タスクの情報：タスクの説明に関して，より詳しい情報を提示した場合の影響を調べる. （2）他者の回答の情報：他者の回答に関して，より詳しい情報を提示した場合の影響を調べる。 （3）他者の回答の品質：より優秀な(品質の高いタスク結果をもたらす)人の回答を提示した場合の影響を調べる.
2.  関連研究
これまでクラウドソーシングにおける成果物の品質管理に関する研究が広く行われている．ここではクラウドソーシングにおける成果物の品質管理の問題について，４つの観点から関連研究を整理する.
2.1ワーカの能力向上
新規のワーカに対して訓練を行うことに注目した芦川らの研究がある[2]、芦川らは，新規のワーカに対して訓練タスクをこなした後に，本番タスクを割り当てることで，本番タスクでの回答精度を向上させる手法を提案した．論文[3]では，ワーカの学習のために必要な最小限のタスクを選択する手法を提案している.本研究は，訓練や学習のためのタスクを用意するのではなく，タスク作業と自己補正を繰り返す中で，どのような要因がワーカの成長につながるかを明らかにしようとするものである.
2.2 他者の情報を提示
自己補正を提案したShahらの研究は，2段階のタスクによりワーカ自身がタスク結果の品質を改善する枠組みと，そのための報酬設計を提案をするものである[1]. 他の研究としては,複雑なタスクを解くワーカの回答品質を向上させるための，タスク設計手法を提案するDoroudiらの研究がある[4]. この研究では，優秀なワーカの解答手順を示すことで問題を解くワーカの回答品質が向上するが、現実的な方法として他者の解答手順を示す手法が有効であるという結論を示した.これらの研究では，他者の情報を提示することによるタスク結果の品質向上については議論しているが，それらがどのよう
にワーカの成技につながるかについては議論していない.
2.3ワーカの評価
過去のタスク結果を用いてワーカの評価をする手法として,回答が既知のタスクを用いる方法がある．この方法では，回答が既知のタスクにおける誤り率を，ワーカの能力とする．清水らは，回答既知タスクの出題方法の検討をした[5].一方で，回答が既知のタスクを必要とせずに，ワーカの能力を推定する手法が提案されている. その１つが，EM法を用いてワーカの能力と最終的なタスク結果を交互に推定する方法である[6] [7] [8].  Joglekarらは，多数決における回答の一致に基づいて，ワーカの誤り率を推定する手法を提案した[9] [10]. Jiangらは，能力が一様でないワーカ集合を2つのグループに分割する手法を提案した[11].  Jiangらは，ワーカの能力に基づいて分割することでタスク結果の品質が向上することを示した.大谷らは，階層分類タスクの集約手法を提案した[12]. 大谷らの評価実験では，提案手法が正確なラベルを出力するだけでなく，ワーカの能力を推定することにも有効であることを示した.自己補正で提示する回答を与えるワーカの能力を一つの要因として調査する際，これらの手法が利用可能と考えられる．
3.自己補正と調査する要素
3.1自己補正
自己補正は，(1)問題に回答する第１タスクと，(2)第１タスクでの自身の回答を確認する第２タスクで構成される．本稿における自己補正の各タスクの役割を以下で説明する.
【自己補正の第１タスク】
通常のクラウドソーシングで用いられる，質問と選択肢が与えられるタスクである(図3). 以降では単に第１タスクと呼ぶ. 【自己補正の第2タスク】自己補正の第１タスクの内容に加えて，第１タスクでの自身の回答と，他者の回答が表示されるタスクである(図4). 以降では単に第２タスクと呼ぶ.
3.2　調査する要素
今回，ワーカの成長に影響を与える可能性があるとして検証した要素は３つである。詳細は後述するが，実験で利用したタスクでは，鳥の写真を提示し，写っている鳥が4つの選択肢の中のいずれかをワーカに尋ね，次の３つの要素の影響を調査した. (1)タスクに関する情報、タスクの説明に関してより詳しい情報を提示した場合の影響を調べた．具体的には，単に候補の選択肢を4つ示す場合と，その候補のそれぞれについて写真を示した場合の比較を行った(図5). (2)他のワーカの回答に関する情報.他者の回答に関してより詳しい情報を提示した場合の影響を調べた．具体的には，第2タスクにおいて，単に他のワーカが行った回答を提示する場合と，そのワーカがなぜその回答を選んだかの理由をそのワーカ自身が入力したものを提示する場合について，比較を行った(図6). (3)他者の回答の品質より優秀な(品質の高いタスク結果をもたらす)ワーカの回答を第２タスクで提示した場合の影響を調べた．具体的には，タスクの正答率が90%以上のワーカの回答だけを見せた場合と，ワーカの正答率を気にせずに提示した場合について，比較した.
4.タスク割り当て手法
3. 2節で説明した3つの要素のうち， (3)において優秀なワーカを第２タスクに割り当てる方法に関しては自明でないため,本節で説明する.
4.1
タスク集合をＴ = {t1,t2,...,tq},ワーカ集合をW = {w1,w2,...,wh}とする. ワーカ集合の要素wi ∈ Wが優秀なワーカであるかを真理値で返す関数をisExpertとする. isExpert関数が真を返すようなワーカ(以下，Expertワーカと呼ぶ)の集合をE,偽を返すようなワーカ(以下, Noviceワーカと呼ぶ)をNとする.さらに,ワーカw i ∈ Wとワーカwk ∈ Wのペアにタスクti ∈ Tをタスク割り当てることをassignment(t 1 , w j , w k )と表す.このタスク割り当てassignmentの集合をAssignmentとする.本問題の目的は，タスク集合Tとワーカ集合Wが与えられた時に，タスク割り当て集合Assignment = {(t i ,e,n) | t i E T, e ∈ E, n ∈ N}を出力することである.ワーカw,は第１タスクのみを処理し，ワーカw,は第１タスクと第2タスクを処理する. その際, ワーカwkが処理する第2タスクにおいて，ワーカw 5の第1タスクの結果を提示する. 4.2 初期設定ここでは，初期化の手続きについて説明する．初期化の手続きをAlgorithm 1に示す. Expertワーカの集合Eに対してタスクt ∈ Tを割り当てる. その際,  Expertワーカの集合Eは空集合でないものとする.  Submitは与えられた夕スクt」を，与えられたワーカ集合またはワーカが回答できる状態にする手続きである.
4.3 能力に基づくワーカの分類
ここでは，能力に基づいてワーカをNoviceワーカとExpertワーカに分類する手法を説明する。ワーカの能力に基づいて，与えられたワーカW集合の要素w ∈ WがExpertワーカであるかを真理値で返すブール値関数isExpertを式1に示す.
isExpert : w → Boolean

Expertワーカの集合Eは，isExpert関数がtrueを出力するワーカ集合Wの要素の集合である。isExpert関数を用いて，Expertワーカの集合Eを式2のように装す.
E = {w E W | isExpert(w)}

同様に，Noviceワーカの集合Nは，isExpert関数がfalseを出力するワーカ集合Wの要素の集合である。isExpert関数を用いて，Noviceワーカの集合Nを式3のように装す. Algorithm 1初期化の手続き1:  Assignment ← {(t i , 0 , 0 ) | t i ∈ T } 2: for (t i , 0, 0) ∈ Assignment do 3: Submit(t i , E) 4: end for N = {w ∈ W | −isExpert(w)} (3) isExpert関数がtrueを返す条件には，任意のワーカ能力推定手法を用いることが出来る. 4.3.1 回答既知タスクを用いる方法ここでは，ゴールドスタンダード質問の正答率を用いてワーカの能力を推定する方法を説明する。ゴールドスタンダード質間は問題に対する正答が明らかなタスクである．ゴールドスタンダード質問に対する回答を正答と照らし合わせてワーカの正答率を求めることで，ワーカの能力を推定する.ワーカが回答したゴールドスタンダート質問のタスク結果の集合Gと，Gの正答の集合Aが与えられたとき，Gの正答率に基づいて，ワーカの能力を式4で推定する.
isExpert関数の出力を，式4が返すワーカの能力をしきい値Mを用いて式5のように場合分けをする.
ここでは，ゴールドスタンダード質問の正答率を用いてワーカの能力を推定する方法を説明した. 4.4ワーカがタスクに回答したときの動作ここでは，ワーカがタスクに回答したときの動作について説明する。ワーカw jがタスクt iしたときに実行する手続きをAlgorithm 2に示す. 1行目から5行目では，ワーカw jが処理したタスクtに関するassignmentの更新をする．６行目から11行目では，まずワーカw,がExpertワーカであるかをisExpert関数で判定する.次に，Expertワーカである場合には，ワーカw jに対してExpertワーカ集合Eに割り当てたタスクが回答できる状態にする処理を行う.
5.評価実験
本節では，３.２節で説明した３つの要素が，ワーカの成長にどのように影響するかを調査する。まず，５.１節で評価実験に用いるデータセットについて説明する。次に， 5.2節で実験の流れを説明し，5.3節でワーカの成長を評価する方法について説明する．最後に5.4節で実験結果について説明する． 5.1データセット評価実験では，データセットを用いて，回答が既知のタスクを作成する。データセットには，200種類の鳥類の画像が含まれているCaltechUCSD Birds 200 [13]を用いた、次に定義する３つのルールに基づいて鳥の種類を選出することで，異なAlgorithm 2 Perform Input: w i , t i Output:  Assignment ⊆ T × W × W 1: if (t i , 0 , 0) ∈ Assignment then Assignment ← Assignment – {(ti,0,0)} ∪ {(ti,wj,0)} 2: 3: else Assignment ← Assignment — {(ti,wk,0)} ∪ {(ti,wk,wj)} 4: 5: end if 6: if (isExpert(wk)) then E ← E ∪ { w k } 7: for (t i , 0 , 0) ∈ Assignment do 8: Submit(t i , { w k }) 9: end for 10: 11: end ifるデータを用いた複数のタスクセット(Hard1,2,3 Normal1,2,3 Hard1,2,3)を作成する. 【Hard 1, 2, 3】 Sibley分類体系において目階級が等しい種類を選び，容姿が類似するものを目視で選択する. 【Normal 1, 2, 3】 Sibley分類体系において目階級が等しい種類を選ぶ【Easy 1, 2, 3】 Sibley分類体系において目階級で異なる種類を選ぶ. 5.2手順評価実験で用いるタスクでは，選択式の４択問題を扱う．タスクは，質問文と選択肢が与えられ，選択肢から１項目を選び回答とするものである．ワーカがタスクに連続で取り組む際，タスクの質問文のみが変化し，選択肢の内容は変化しないものとする.評価実験では，ワーカは次の順番でタスクに取り組む. ( 1 ) 評価タスク(前)に5回取り組む（2）自己補正タスクに10回取り組む( 3 ) 評価タスク(後)に5回取り組む評価タスクはワーカの成長度合いを測定するためのタスクである。ワーカが実験のためのタスクに取り組む直前(以降，評価タスク(前)と呼ぶ)と直後(以降，評価タスク(後)と呼ぶ)に行う.評価タスク(前)と評価タスク(後)では同じ質問を扱う．評価タスクの正解率を算出することで，ワーカの成長度合いを測定する. 3章で説明したワーカの成長に影響を与えると考えられるタスクの要素について表1で整理する．本稿では，タスクの情報として選択肢の画像を，他者回答の情報として回答の理由を用いた．自己補正タスクで提示する他者の回答やコメントには，実験に用いるタスクを評価実験の対象ワーカ集合とは異なるワーカ集合に委託し，そのワーカ集合から待たタスク結果を用いる.上記の方法により作成したタスクは，Yahoo!クラウドソーシング( π )を通じてワーカに委託する.

5.3読
西
ワーカの成長を測定する方法を説明する．評価実験では，回答が既知の問題を扱うため，タスクの正答率を求めることが可能である．評価タスク(前)と評価タスク(後)の正答率から，ワーカの成長度合いを式6で求める.成長度合い=評価タスク後の正答率−評価タスク前の正答率(6)
5.4結
果
5.4.1 パターンA
パターンAのタスクでの実験結果を表2に示す.  1列目はタスクの雛易度を，2列目は自己補正の第2タスクで提示した他者回答の平均を，3列目は評価タスク(前)の正答率の平均を， 4列目は評価タスク(後)の正答率の平均を，５列目は成長度合いの平均を表している．各行は難易度ごとの実験結果を表しており，各離易度の１行目は全体での集計結果を，２行目は他者の回答の正答率が0.9以上の結果のみを集計したものである.離易度Easyの結果と，離易度Normal,離易度Hardを比較すると，後者の方がワーカの成長を確認できていることが分かる。理由として，簡単なタスクでは評価タスク(前)での正答率が高いため，結果としてワーカの成長度合いが小さくなることが考えられる。以降の実験では離易度Hardのみを扱う. 5.4.2  パターンBパターンBのタスクでの実験結果を表3に示す．表の見方は5. 4. 1節で説明した表2についての説明と同様である.雛易度Hard 1ではExpertワーカの回答を提示することで成長度合いの改善が確認できた。一方で，離易度Hard 2では, Expertの回答を提示しても成長度合いの改善が確認できない.この結果から，他者のコメントの品質がワーカの成長に大きく影響していると考えられる. 5.4.3 パターンCパターンCのタスクでの実験結果を表4に示す．表の見方は5. 4. 1節で説明した表2についての説明と同様である.パターンCはすべての実験においてワーカの成長度合いが向上したことが分かる. 5.4.4  パターンDパターンDのタスクでの実験結果を表5に示す。表の見方は5.4.1節で説明した表2についての説明と同様である.
6.考
察
6. 1 タスクで表示する参考情報の量
タスクで提示する参考情報を増やした場合，多くの例においてワーカの成長を確認できた。成長が確認できなかった例においても，大幅に正答率が減少している例は確認できなかった．
6.2フィードバックで提示する情報の量
タスクに取り組むワーカへのフィードバックとして、他ワーカが回答した際の判断理由を提示することで，ワーカの成長が見られることを，評価実験のパターンBで確認した．ただし，評価実験のパターンBでのタスク雛易度Hard 1の結果はワーカの成長が見られるのに対し，タスク雛易度Hard 2の結果からはワーカの成長が見られない。このことから，提示する判断理由の品質がワーカの成長に大きな影響を与えていると考えられる。今回の実験で収集したコメントを観察した所，有用であると考えられるコメントに「頭の毛の模様が似ているから」「くちばしの先端が尖っている」などがあり，有用でないと考えられるコメントとして「なんとなく」「雰囲気で」などが存在した．そこで，タスクに取り組むワーカへのフィードバックとして，他ワーカが回答した際の判断理由を提示する場合，提示す
る判断理由を選別することが求められる。
6.3他者回答の品質
信頼できるワーカの回答を自己補正の第2タスクで提示することで，ワーカが回答精度が改善されることをパターンCの結果から確認した．選択肢の画像を示すパターンAよりも，選択肢の画像を示さないパターンCにおけるワーカの成長度合いが高くなる理由として，選択肢で示す画像がすべての質問において適切とは限らないことが挙げられる．今回の評価実験では鳥の種類を分類する問題を用いたが，同一の種類の鳥であっても， (1)離雄による特徴の違い， (2)成長の度合いによる特徴の違い，などの要因により選択肢で示す１枚の画像でその種類の特徴すべてを網羅するのは困難である.
6.4タスクの難易度
パターンAのタスクについて，複数の蟹易度による実験の結果(表2)から，離易度を低く設定したタスクセットではEasyやNormalの実験ではワーカの成長が確認出来なかった．大半のワーカが高い正答率となるようなタスクでは，評価タスク(前)と評価タスク(後)の正答率の差が小さくなるためである.
7.まとめと今後の課題
本稿では，クラウドソーシングにおいてワーカの能力を向上させることで，タスク結果の品質を向上させる問題に取り組んだ．一連のタスクを行った後に，高い品質のタスク結果をもたらすExpertワーカの割合を増やすことを目標とし，自己補正タスクを複数回行い際に，どのような要素がワーカの能力を向上させるのに影響するかを調査した．提案手法は，自己補正の第２タスクでExpertワーカの回答を提示するためのタスク割り当てを行うものである．評価実験では，本研究で注目したタスクに関する３つの要因について次のような知見を得た。
【タスクに関する情報】
タスクに関する情報は多いほうが，ワーカがより成長することが示唆された．ただし，ワーカが判断に用いる材料が増えると，リクエスタの意図する判断基準とは異なる情報に基づいて判断すると考えられ，強調したい情報がある場合は，それを目立たせる，それ以外の情報を排除する等の工夫が必要である。
【他ワーカの回答に関する情報】
他ワーカの回答に関する情報として，回答の理由を提示する場合としない場合を比較したところ，提示する回答理由の品質によっては提示しない場合と同等の成長にとどまることが示唆された．よって，回答の理由を提示する場合，信頼できる回答の理由を選別するとうの処理を行うことで，よりワーカの成長に貢献できると考えられる.
【他者の回答の品質】
優秀なワーカの回答を提示することは，ワーカの成長の良い影響があることが評価実験で示唆された．評価実験では，優秀なワーカの回答を提示したことで，ワーカの成長に悪影響を与える例は確認できず，他の要因と組み合わせることでよりワーカを成長させることが出来ると考えられる.今後の課題として，(1)別のデータセットや条件による評価実験,(2)回答が既知のタスクが存在しない場合に優秀なワーカの回答を提示する手法の検討がある。
商
結
本研究の一部は，JST CRESTおよびJSPS科研費(#25240012)による.文歓[1] Nihar Shah and Denny Zhou.  No oops, you won't do it again: Mechanisms for self-correction in crowdsourcing. pp. 1–10, June 2016. [2] Masayuki Ashikawa, Takahiro Kawamura, and Akihiko Proposal of grade training method in private Ohsuga. crowdsourcing system. In Third AAAI Conference on Hu- man Computation and Crowdsourcing , 2015. [3] Pinar Donmez, Jaime G Carbonell, and Jeff Schneider. Ef- ficiently learning the accuracy of labeling sources for selec- tive sampling. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 259–268. ACM, 2009. Shayan Doroudi, Ece Kamar, Emma Brunskill, and Eric [4] Horvitz.  Toward a learning science for complex crowd- sourcing tasks. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pp. 2623–2634. ACM, 2016.清水伸幸,山下達雄,塚本浩司, ②々野学.クラウドソーシング[5]における成果物の品質維持のためのダミー問題出題手法の検討.言語処理学会第20回年次大会, 2014. [6] Arthur P Dempster, Nan M Laird, and Donald B Rubin. Maximum likelihood from incomplete data via the em al- gorithm.  Journal of the royal statistical society. Series B (methodological), pp. 1–38, 1977. [7]  Jacob Whitehill, Ting fan Wu, Jacob Bergsma, Javier R. Movellan, and Paul L. Ruvolo.  Whose vote should count more:  Optimal integration of labels from labelers of un- known expertise. In Y. Bengio, D. Schuurmans, J. D. Laf- ferty, C. K. I. Williams, and A. Culotta, editors, Advances in Neural Information Processing Systems 22 , pp. 2035– 2043. Curran Associates, Inc., 2009. Peter Welinder, Steve Branson, Pietro Perona, and Serge J. [8] In Belongie. The multidimensional wisdom of crowds. J. Lafferty, C. Williams, J. Shawe-taylor, R.s. Zemel, and A. Culotta, editors, Advances in Neural Information Pro- cessing Systems 23, pp. 2424–2432. 2010. [9] Manas Joglekar, Hector Garcia-Molina, and Aditya Parameswaran. Evaluating the crowd with confidence. In Proceedings of the 19th ACM SIGKDD International Con- ference on Knowledge Discovery and Data Mining , KDD '13, pp. 686–694, New York, NY, USA, 2013. ACM. [10] Manas Joglekar, Hector Garcia-Molina, and Aditya G. Parameswaran. Comprehensive and reliable crowd assess- ment algorithms. CoRR , Vol. abs/1411.3377, , 2014. [11] H. Jiang and S. Matsubara. Improving crowdsourc- ing efficiency based on division strategy. In   2012 IEEE/WIC/ACM International Conferences on Web Intel- ligence and Intelligent Agent Technology , Vol. 2, pp. 425– 429, Dec 2012. [12] Naoki Otani, Yukino Baba, and Hisashi Kashima. Qual- ity control of crowdsourced classification using hierarchical class structures. Expert Systems with Applications , Vol. 58, pp. 155 – 163, 2016. P. Welinder, S. Branson, T. Mita, C. Wah, F. Schroff, S. Be- [13] longie, and P. Perona. Caltech-UCSD Birds 200. Technical Report CNS-TR-2010-001, California Institute of Technol- ogy, 2010.