DEIM Forum 2016 F6-5

クラウドソーシングを用いた仮説入手・検証の自動化
米良 俊輝†

平木 理恵††

若宮 翔子†††

森嶋 厚行††††

荒牧 英治†††† 筑波大学 情報学群情報メディア創成学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア研究科 〒 305–8550 茨城県つくば市春日 1-2††† 奈良先端科学技術大学院大学 〒 630–0192 奈良県生駒市高山町 8916-5†††† 筑波大学 知的コミュニティ基盤研究センター 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †toshiki.mera.2015b@mlab.info, ††s1421602@u.tsukuba.ac.jp, †††{wakamiya,aramaki}@is.naist.jp,††††mori@slis.tsukuba.ac.jp
あらまし

計算機のみでは解決困難な問題の 1 つとして，仮説の形成・検証がある．本研究では，仮説のもっともらしさや内容の重複を判断する指標を定義して用いることで，専門家による介在なしに，計算機処理とクラウドソーシングを組み合わせて一連の作業を自動で行う手法を提案する．しかし，自動化する上で単純な手法を用いたのではタスクサイズやタスクの計算量が大きくなる問題があるため，タスクサイズの固定化やキャッシュを用いた効率化の手法も合わせて提案する．また，実際のクラウドソーシングサービスを用いた実験によって本手法を評価するとともに，実験の結果に基づくシミュレーションを行うことで効率化についての評価を行う．
キーワード クラウドソーシング，ヒューマンコンピュテーション，処理効率化

1. は じ め に
近年，問題解決のために必要な作業 (タスク) を，ネットワー
ク上の群衆 (ワーカ) に依頼するクラウドソーシングシステム [1]が注目を集めている．クラウドソーシングシステムは HumanComputation [2] を大規模かつ効率的に実現するために活用されることがある．Human Computation とは，人間を明確な計算資源とみなしてシステムに組み込み作業を行わせることである．これにより計算機には解決困難な問題を人間の力を利用して解決する研究が行われている．
計算機にとっては困難であり人間には比較的容易な作業の一図 1 本研究の目的つとして，仮説の形成がある．例えば，ある疾患が最近急増している原因を知りたいという事例を考える．これについて，計コストがかかっていた．

算機では既知の解を検索することは可能でも，新たな仮説をゼ

そこで本論文では，ある問題に関するもっともらしい仮説をロベースで形成して答えを導くことは困難である．しかし人間入手・検証する流れを，クラウドソーシングと計算機処理を組であれば，自身の経験などからもっともらしい仮説を考えついみ合わせることで専門家の力を借りずに自動化する手法を提て原因を導くことができる可能性がある．

案する．提案手法では，図 1 のように「A の原因を知りたい」

そこで，このような仮説をクラウドソーシングによって入手という入力を依頼者から受け取り，最終的に「A の原因となるすることを考える．このときワーカから回答として得られる仮もっともらしい仮説」を出力する．これらの処理はクラウドを説の内容は玉石混淆であり，その中からもっともらしい仮説を介して全自動で行われるが，後述するように，単純な手法では選別することは容易ではない．

タスクサイズやタスクの生成時間が非常に大きくなって非効率クラウドソーシングで仮説を入手する研究はこれまでにも行的である．したがって，本論文では (1) 常に一定数の仮説を選われている．医学研究の分野では，成人の肥満に関する仮説を択して検証することでタスクタイズを固定し，さらに，(2) 仮クラウドソーシングで収集し，新しい有用な仮説が得られるこ説の最もらしさの偏りに着目した中間結果のキャッシュによるとなどが示されている [3]．加えて，疾病の原因に関する仮説の効率化手法についても合わせて提案する．そしてこれらの手法入手をクラウドソーシングで行い，入手した仮説を再びクラウの評価のために実際のクラウドソーシングサービスを利用したドソーシングによって検証する手法の有用性を示す研究も行わ実験についても報告する．

れている [4]．しかしこれらの研究では，クラウドソーシングに本論文の貢献は次の通りである．

よって入手した多数の仮説の中から，もっともらしい仮説を選(1) 完全自動の仮説入手・検証．我々の知る限り，本論文はク別する作業を全て専門家の手作業に委ねており，大きな手間とラウドソーシングを利用した仮説・検証の全自動化について議論する初の論文である．専門家による仮説の判断・作業を必要とせず，統計的な手法を利用してもっともらしい仮説を選択する．これまでにクラウドソーシングによって仮説を入手・検証する試みは存在しているが，人手を挟まず完全に自動で行う研究は存在しておらず，この点は大きな貢献と考える．

(2) シミュレーションと実験による検証．完全自動化に関しては，実際にクラウドソーシングにより実験をおこなった結果を報告する．また，中間結果のキャッシュによる効率化手法に関しても，実際の実験データを用いたシミュレーションを行った結果を報告する．
本論文の構成は次の通りである．まず，2. 節では本研究の関連研究について述べる．次に 3. 節では仮説の入手・検証の自動図 2 提案手法の概要化をどのように実現するかについて述べる．4. 節では，単純な手法を用いたのでは膨大になるタスクサイズを一定に保つための手法について説明する．5. 節では，4. 節における仮説の選択を行う際に，仮説ごとの選択される確率に注目し，中間結果を保持することで処理を効率化する手法について説明する．6. 節
では提案手法の有効性を確かめるための実験について述べる．

7. 節はまとめと今後の課題である．

2. 関 連 研 究
これまで，クラウドソーシング処理の効率化に関しては様々なものが議論されてきた [5] [6] [7] [8] [9] が，仮説の入手・検証

図 3 タスク内の質問文の一例の処理効率化については我々の知る限り存在しない．
また，主に医学研究の分野において，仮説をクラウドソーシングで入手し，もっともらしいものを選別する研究はいくつかと出力は次の通りである．

存在する．例えば，成人の肥満に関して幼少期に見られる兆候

入力：をクラウドソーシングで収集し，まだ十分に立証されていない

回答者の状態が A であるか ¬A であるかを判定する質問

新しい有用な仮説を入手する研究がある [3]．しかし，これは仮出力：

説の入手のみをクラウドソーシングによって行うものであり，

A の 原 因 と し て 考 え ら れ る もっと も ら し い 仮 説

仮説を入手した後の選別や評価はすべて専門家が行う．また，アレルギーの原因に関する仮説をクラウドソーシングで入手し，{h1 , h2 , ..., hn }

新たなリスクを発見し，既知のリスクは再発見できることを示提案手法では，最初に入力を受け取るとそれをもとにタスクした研究 [4] も存在する．これは，仮説の入手以外に，入手しを生成してクラウドソーシングプラットフォームへ投入する．

た仮説の検証もクラウドソーシングで行うものであったが，入そして，回答として得られた仮説に当てはまるかを尋ねる質問

手した仮説の中から検証するべき仮説を選ぶ作業は専門家が手を生成して検証のための質問とし，新しいタスク内に動的に追作業で行う．一方，本研究ではこれらの専門家による作業をな加する．それを再びクラウドソーシングプラットフォームへ投くし，全自動化することを目的としている．具体的には，仮説入するという流れを繰り返す．このように仮説の入手とそれのを評価する指標を定義して確率・統計的な処理を行うことで，検証を並行して行うという形式をとる．

既存研究では仮説入手・専門家による選別・仮説検証というス

3. 2 提案手法で用いるタスク

テップを繰り返して行っていたものを，専門家の作業なしで仮図 3 のようにタスクはアンケート形式となっており，次に示説入手と検証を同時に実施できるようにすることで実現するこすような三つの質問群に大別される．
質問 A アウトカム質問とを考える．

3. 仮説入手・検証の自動化手法

回答者の状態が A か ¬A かを判定するための質問．
質問 B 仮説プール投入質問

本節では，実際に仮説を入手しそれらを検証するために用い回答者から仮説 hi を得るための質問．文末を指定した自由るタスクの内容，及びそのタスクへの回答をもとに仮説のもっ入力形式とする．また，回答として得られた仮説の集合を仮説ともらしさをどのようにして定義するかについて述べる．

プールと呼ぶ．

3. 1 概要提案手法の概要を図 2 に示す．また，提案手法における入力

質問 C 仮説検証質問
上記の質問 B で得られた仮説から，その仮説に当てはまるか表 1 集計表の例

Algorithm 1 仮説選択のアルゴリズム

仮説 hiT

Input: m, HtYES (hi )NO (¬hi )

状態: A

a (人)

b (人)

1: H ← ϕ

状態: ¬A

c (人)

d (人)

2: while (|H| < m) ∧ (Ht =| ϕ) do

Output: H

3:

どうかを尋ねる質問として生成する．それを以降で生成されるタスク内に掲載することで，その仮説のもっともらしさを検証するための質問．例えば図 3 の中で，質問 B に対して「虫歯になる (ことが原因だと思う)」という入力を得たならば，「虫歯にhi ← getByW eightedRandom(Ht )4:delete hi from Ht

5:

if checkCorrelate(hi , H) is true then
add hi to H

6:
7:

end if

8: end while

なる ことがある □ はい □ いいえ」 のような質問を生成して，以降のタスクに質問 C として掲載する．
はじめに依頼者が入力したアンケートの質問 A および質問B を含むタスクを生成し，以降は入手したタスクの回答をもとに質問 C の内容を追加した新たなタスクをシステムが動的に生成する．

3. 3 仮説のもっともらしさ前述したタスクの回答をもとに，仮説のもっともらしさを数値化するための指標について定義する．ある仮説のもっともらしさを表す値を P (hi ) とする．この値は，表 1 のような，質問 A において判定した回答者の状態ごとに質問 C への回答数を集計した表 (T とする) の値から計算して求めるものとする．
すなわち，P (hi ) の値は，集計表 T の値を引数とする関数 f として計算できる値，P (hi ) ≡ f (a, b, c, d) と定義する．
関数 f の計算に用いる具体的な指標は，この集計結果の値を用いて算出できる範囲で，扱う問題に応じて適当なものを利用するものとする．例えば，相関係数やオッズ比などである．そして求めた P (hi ) の値が大きいほどもっともらしい仮説であるとみなす．

が望ましい．例えば，3. 2 節の質問 B で「虫歯になる」と「虫歯がたくさんある」という二つの仮説が得られた場合，これらは本質的には内容が同じであると考えられるため，一方の仮説は除外して選択を行う．

4. 2 仮説選択のアルゴリズム
本節では 4. 1 節で述べた 2 つを目標に，各タスクに掲載する有限個の仮説を選択する手法を提案する．具体的には，ワーカからタスクを要求され，発行する際に，Algorithm 1 を呼び出す．これは，その時点での仮説プールから m ( ∈ N ) 個の仮説を選択して出力するアルゴリズムである．ここでは，ある時点t で入手済みである全ての仮説の集合を Ht ，次のタスクで質問 C として掲載するために選択済みの仮説の集合を H と定義する．

Algorithm 1 では，目標 1,2 を実現するためにそれぞれ下記に説明するヒューリスティクスベースの手法を用いる．
目標 1 を実現するための手法: これに関しては，その時点でのP (hi ) の値に基づく重み付きランダムによって仮説の選択を行う．この重み付きランダムにおいて，各 P (hi ) が選択される確率 Q(hi ) は次で定義される．

4. 仮説の選択によるタスクサイズの固定
Q(hi ) =前節の質問 C において，これまで入手したすべての仮説を質

P (hi )
Σhj =h| i ∈Ht P (hj )問としてタスクに掲載すると，実施タスク数に比例してタスク

この考え方はある回答数の時点でもっともらしい仮説は最終内の質問数が線形に増え続けタスクサイズが膨大になる問題が的にももっともらしい仮説である可能性が高い，というヒューある．そこで本節では，入手したすべての仮説をタスクに掲載リスティクスに基づくものである．Algorithm 1 中の getBy-

するのではなく，ある基準に基づいて一定数の仮説を選択してWeightedRandom 関数は，Ht を引数として受け取り，要素を掲載することでタスクサイズを常に一定に保つ手法について考一つ返すものであり，この手法を実装している．

える．

目標 2 を実現するための手法: Ht から H に追加する候補とし

4. 1 仮説選択の目標
提案手法において，仮説を選択するための目標は次の通りである．て hi が選択されたとき，もし，その時点での H に，ある hj が存在し，hi と hj に相関がある場合は，hi は H には追加しな
い．具体的には，相関の計算時にこれまでの質問 C の結果から目標 1 ．最終的にもっともらしい仮説として出力されそうな表 2 のようなクロス集計表を作成する．これは，内容が重複す仮説を選択する．理想的には，最終的に選択されない仮説は不る仮説は，回答に強い相関が出るというヒューリスティクスに要であるため，できるだけ最終的に仮説として出力される可能基づくものである．Algorithm 1 中の checkCorrelate 関数は，性が高いものを選択したい．

hi と H を引数として受け取り，hi と全ての hj ∈ H との間で

目標 2 ．内容が本質的に同じ仮説は選択しない．重複した内相関を計算する．相関のある組み合わせが 1 つでも存在すれば容の仮説ばかりを選択して一つのタスクに掲載すると，内容がfalse を返す．逆に全ての組み合わせにおいて相関がない場合に本質的に異なる他の仮説が選択される機会を奪うことになる．

は true を返す．

そのため，内容が本質的に同じ仮説は除外して選択されること

Algorithm 1 全体の動作は次の通りである．まず入力として，

表 2 相関計算に用いるクロス集計表の例
仮説 hi

YES (hi )NO (¬hi )仮説

YES (hj )

a (人)

b (人)

hj

NO (¬hj )

c (人)

d (人)

6. 評 価 実 験
本節では，これまでに示した自動化および効率化の手法についての評価を行う．はじめに 6. 1 節で評価実験の概要について説明し，6. 2 節でタスク内容や用いる手法についての詳細を述べる．6. 3 節では実験により得られた仮説内容の評価について説明する．6. 4 節で実験結果を利用したシミュレーションについて説明し，6. 5 節では実験とシミュレーションの結果について述べる．6. 6 節は結果についての考察である．

6. 1 実 験 概 要
評価実験では，Yahoo!クラウドソーシング [10] と Crowd4U[11] を利用して提案手法についての評価を行った．実験では2818 タスクを実施した．実験で扱う問題は「うつ病となる原因は何か」とし，入力として回答者がうつの状態か否かを判定するための質問を受け取ってタスクを生成し，Yahoo!クラウドソーシングを通してワーカに委託した．うつ病を選択した理由
図 4 予想される Q(hi ) · Q(hj ) の値ごとの組み合わせの数の偏りは，すでに専門家によって研究が進められているものであり，入手された仮説の妥当性の判断が可能であるからである．

m と Hall をとる．1 行目では，H を用意する．2 行目以降は，5. 1 節で述べたキャッシュを利用した効率化に関しては，入H の要素数が m と等しくなるか Ht の要素数が 0 以下になる

手した回答データをもとに提案手法を用いたシミュレーションまで繰り返される．3 行目では，getByWeightedRandom 関数を行い，提案手法と他の手法との結果を比較した．

によって Ht から要素 hi を一つ得る．4 行目では，hi を Ht か6. 2 実験の詳細ら除外する．5 - 7 行目では checkCorrelate 関数によって hi を

本節では実際のタスクの内容のほかに，実際に仮説選択に用H に追加するかどうかを判定し，true の場合は hi を H に追加する．

いる指標や実験の流れについて説明する．

6. 2. 1 タスク内容

5. 中間結果キャッシュの利用による処理効率化

本実験で用いたタスクの内容について説明する．

提案手法では，以前のタスク結果に基づいてタスクを毎回動

図 5，図 6 に示すような，回答者がうつの状態であるか否か的に生成しているが，その計算量は必ずしも小さくない．特に，を判定するための質問を行う．具体的には，ベック式抑うつ評

4. 2 節の checkCorrelate 関数における相関の計算では仮説同士

価尺度 [12] を用いて回答者の状態を判定する．これには回答がの組み合わせを考える必要があるが，これは仮説の総数が n 個4 択である 21 問の質問を用いる．質問の各回答には点数が設の時に全体で約 n2 通り存在する．しかし，クラウドソーシン定されており，その合計が一定値以上となった場合に臨床的なグによるタスク処理を想定しているため，タスク生成にかかる意味でのうつ状態みなす．

時間はできるだけ短い事が望ましい．

5. 1 中間結果キャッシュ

••

質問 A

質問 B

図 7 に示すような，「うつになるのは，どうしてだと思いま

効率化の一つのアプローチは，記憶領域を利用して，空間計すか」という質問を行う．回答フォームで，「ことが原因だと思算量を増やす代わりに時間計算量を減らすことである．本提う」に接続するような文字列を入力させるものとする．これに案手法では，仮説はもっともらしさ P (hi ) の値に応じた確率

よってうつになる原因に関する仮説を入手する．

Q(hi ) によって選択されるが，Q(hi ) においては確率が低いも•質問 Cのが占める割合が大きく，図 4 のような偏りが存在すると予想

図 8 に示すような，質問 B で入手した仮説の文章の末尾にされる．したがって，選択される確率が高い仮説の組み合わせ「ことがありますか？」を付加した，その仮説を検証するために関するクロス集計表を固定長のキャッシュで保持し，キャッの質問を行う．m = 10 とし，仮説プールから提案手法によっシュに無ければ再計算を行うという手法が効果的であると予想て 10 個の仮説を選択して掲載する．

される．
本論文では，このクロス集計表を d 個格納可能なキャッシュ

6. 2. 2 仮説選択に用いる指標
本実験における仮説選択に用いた指標やパラメータについてを用意し，サイズを超えた場合には Q(hi ) · Q(hj ) が小さい値を説明する．

持つクロス集計表から捨てていく手法を提案する．キャッシュ（ 1 ） 仮説のもっともらしさに存在しないクロス集計表を必要とする場合には，これまでの本実験では，その仮説のもっともらしさを示す値 P (hi ) には計算結果から再計算してクロス集計表を求めるものとする．

オッズ比を用いる．これは医学分野の関連研究 [3] においても採用されている指標である．P (hi ) は 3. 3 節の表 1 の値を用い

図 6 質問 A の内容 (2)図 5 質問 A の内容 (1)て次の式で表される．

P (hi ) = (a × d) / (c × b)

図 7 質問 B の内容（ 2 ） 仮説間の相関仮説同士の内容の相関を調べるために相関係数を求める．仮説を検証するための質問のうち，ある二つに対して同時に回答した人数というのは，タスク実施数と比較して値の増加が非常に緩やかであるため，独立性の検定を行うのに十分な標本数を得ることは困難である．本研究の提案手法では，タスクを実施しつつ，ある時点での回答同士の相関を使って仮説の内容の相関を予想するというヒューリスティクスベースの手法を用いて

図 8 質問 C の内容の一例いる．したがって検定によって厳密に相関を調べるのではなく，相関係数が設定した閾値を超えた場合に強い相関があると判定れない．したがって新規に入手した仮説に関しては，一定の回することとした．具体的には，クラメールの連関係数が 0.5 を答数を得るまでの間は例外的に固定値の P (hi ) を割り当てるこ超えた場合に，相関があると判定する．とで優先して選択されるようにする．本実験においては，新規（ 3 ） 新規入手仮説の優先に入手した仮説に対して回答数が 10 に達するまでは P (hi ) に仮説の選択は基本的に前述した二つの指標によって行う．し固定値として 5 を割り当てて実験を行った．

かし，入手した直後の仮説は全て，本実験における P (hi ) とし

6. 2. 3 実験の流れたオッズ比の値が 0 となる．仮説はこの値を重みとしてランダはじめに入力として受け取った質問 A および質問 B を掲載

ム選択されるため，入手した直後の仮説はそのままでは選択さしたタスクを，並列処理のために 100 件生成する．以降は 1 タ

スク実施されるたびに 1 タスク生成するため，101 タスク目以降からは，動的に生成された質問 C が掲載されたタスクが終了まで続く．

6. 3 入手した仮説内容の評価
本手法の有用性を示すために，共同研究グループの医学研究者に，医学的見地から入手した仮説内容の評価を依頼した．これまでに知られている仮説においては，脳で生じる生物学的問題のような自分では認識できないような専門的な仮説については再発見できなかったが，本人が認識できる状態に関する仮説については 250 タスク実施後の上位 10 個の仮説にて網羅的に再発見することができているとの報告を受けた．
したがって，既にある程度一般に認知されている問題に対して，回答者本人が認識できる状態に関する仮説を入手することにおいては一定の有用性がある場合があることがわかった．

6. 4 実験結果に基づいたシミュレーション

図 9 各手法におけるキャッシュサイズごとの再計算回数

実験によって得たタスクへの回答データを用いて，相関計算の中間結果を保持するキャッシュの有効性を確認するためのシミュレーションを実施した．シミュレーションは，キャッシュサイズ d およびキャッシュの削除手法を変えて実施し，それぞれでキャッシュ上に存在しない場合に再計算を行った回数を比較した．本シミュレーションにおいては，5. 1 節で提案した

Q(hi ) · Q(hj ) が高確率のものを保持，つまり低確率順に消していく手法の他に，入手が古い順，ランダムの２つの手法を用いた．

6. 5 実験結果およびシミュレーション結果
本実験で実施したタスクの総数は 2818 であったが，途中の図 10 Q(hi ) · Q(hj ) の値ごとの組み合わせの数のばらつき処理結果を解析した結果，中盤以降はオッズ比による P (hi ) の値が 5 を大きく超える仮説が多数出現していることが判明した．

Q(hi ) · Q(hj ) の値が比較的大きい仮説の割合が低かったため，

6. 2 節で述べた通り，この実験では一つのタスクで検証のため

結果的に他の手法でも Q(hi ) · Q(hj ) の値が小さいものを多くに掲載する仮説の数を 10 としており，新規に入手した仮説に削除することになり，想定ほどの差は生じなかったと考えられは固定の P (hi ) の値として 5 を割り当てることで選択されやする．Q(hi ) · Q(hj ) の値に十分なばらつきが生じなかった理由とくしている．したがって，仮説プールにおける全ての仮説のうして，今回の実験では結果的にシミュレーションに利用できる

ち上位 10 個以上のオッズ比の値が 5 を超えている状態でのタタスク数が少なくなったことが考えられる．そのため，今後はスク結果は，新規に入手した仮説が選択されやすくなっている

十分な回答数のサンプルを得るために，実施タスク数を増やしとは言えず，少なくとも適切な結果ではないと考えられる．そて実験するとともに，新規に入手した仮説に割り当てる P (hi )のため，上位 10 個の仮説のオッズ比の最小値が 5 以下となっの値を固定値ではなく，その時点での P (hi ) の最高値とするこた 1〜250 タスク目を有効な結果としてシミュレーションに用となどを検討している．

いることとした．
シミュレーションの結果を図 9 に示す．最終的に発生した組

7. まとめと今後の課題

み合わせの数は 3432，キャッシュを参照した回数は 6474 回で本研究では，クラウドソーシングを用いた仮説の入手と検証あった．結果的には三つの手法において，いずれのキャッシュを同時に行い，専門家による介入無しで，もっともらしい仮説サイズの時でもキャッシュの効果が確認できた．しかし，それを入手するための手法を提案した．また，タスクサイズを一定

ぞれの手法における再計算回数については，想定ほど大きな差に保つ方法，および，中間結果のキャッシュを用いた効率化手は見られなかった．

法についても提案した．実験及びシミュレーションを行い，少6. 6 考察

シミュレーションにおいて，提案手法とその他の手法の間に想定していたほどの差が見られなかった理由としては，図 10

なくとも今回の結果に関しては，ある程度もっともらしい仮説が入手できていること，および，提案したキャッシュを用いた効率化が有効であることを示した．のように，Q(hi ) · Q(hj ) のばらつきが予想よりも極端であっ今後の課題としては，提案手法が，まだ十分に研究されていたことが挙げられる．具体的には，Q(hi ) · Q(hj ) の値が非常ない問題に対して適用して，未知の仮説を得ることが可能かどに小さい仮説の組み合わせが全体に占める割合が極端に高く，うかを評価することが挙げられる．また，より大規模な実験を行って効率化処理の有効性を再評価することや，因果関係の検証のために，単なるアンケートではなく実際にワーカに作業を依頼する事も考えられる．

謝辞

本論文の一部は科研費基盤研究 (#25240012) の支援による.

文

献[1] A. Doan, R. Ramakrishnan, A. Y. Halevy, Crowdsourcing
systems on the world-wide web , Communications of theACM 54(4): 86-96, 2012.
[2] Edith Law, Luis Von Ahn. Input-agreement: a new mechanism for collecting data using human computation games.
Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems. ACM, 2009.
[3] Kirsten E. Bevelander, Kirsikka Kaipainen, Robert Swain,
Simone Dohle, Josh C. Bongard, Paul D. H. Hines, Brian
Wansink, ” Crowdsourcing novel childhood predictors ofadult obesity”, PLoS One 9: e87756, 2014.
[4] 荒牧英治, 四方朱子, 渡部恵理子, 宮部真衣, 臼田泰如, 綾屋紗月, 熊谷晋一郎, ”クラウドソーシングによるアレルギー・リス
ク推定 ?仮説形成から実験までの研究を半自動で行う試み?” ,NLC2014-43, pp.133-138, 2014.
[5] Adam Marcus, Eugene Wu, David Karger, Samuel Madden,
Robert Miller, “Human-powered Sorts and Joins”, PVLDB
2011, vol. 5, no. 1, pp. 13-24, 2011.
[6] Marcus Adam, Wu Eugene, Madden Samuel, Miller RobertC, “Crowdsourced Databases: Query Processing with People”, CIDR, pp. 211-214, 2011.
[7] Franklin Michael J., Kossmann Donald, Kraska Tim,
Ramesh Sukriti, Xin Reynold, “CrowdDB: answering
queries with crowdsourcing”, SIGMOD Conference, pp.6172, 2011.
[8] Parameswaran Aditya, Polyzotis Neoklis, “Answering
Queries using Humans, Algorithms and Databases”, CIDR,pp. 160-166, 2011.
[9] 三津石智巳, 森嶋 厚行, 品川 徳秀, 青木 秀人, “Crowdsourced
Join Pre-filter による Human-powered Join 処理効率化の評価”, DEIM Forum 2013, 2013.
[10] Yahoo!クラウドソーシング, http://crowdsourcing.yahoo.co.jp/[11] Crowd4U, http://crowd4u.org/[12] Beck AT, Ward CH, Mendelson M, Mock J, Erbaugh J, “Aninventory for measuring depression.”, Arch Gen Psychiatry
4: 561-571, 1961.