DEIM2020 I1-5(day1 p57)

ファシリテータを必要としない相互学習環境の実現を目指した
マイクロタスク型ワークフローの検討
泉 陽奈子†

松原正樹††

渡辺知恵美†††

森嶋厚行††† 筑波大学情報学群情報メディア創成学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305-8550 茨城県つくば市春日 1-2††† 筑波技術大学産業技術学部産業情報学科 〒 305-8520 茨城県つくば市天久保 4-3-15
E-mail: †hinako.izumi.2019b@mlab.info, ††{masaki,mori}@slis.tsukuba.ac.jp, †††chiemi@a.tsukuba-tech.ac.jp
あらまし

学生同士の教えあいを含め，ピアラーニングは効果的な教育の方法として知られている．通常ピアラーニ

ングには学生同士のやりとりを促進するファシリテータが必要であるが，教室が大規模な場合などでは必ずしもファシリテータを確保できるとは限らない．本研究では，専門のファシリテータがいなくても学生たちの教えあいは成立するかという問題に取り組み，それを促すワークフローおよびシステムの開発を目指す．本論文では特に，教えあいのやりとりの最初の段階である，質問を発するという部分を促進するアプローチとして，学生から質問を集める過程をマイクロタスク化することを提案する．実験により，そのアプローチによりその後に繋がるようなより明確な質問が集まりやすくなることを示す．また，このような質問収集過程を含む基本的なワークフローを最後まで実践し，実現可能性を探る．
キーワード ピアラーニング，マイクロタスク，クラウドソーシング
めその分質問ができる層も厚く仕組みが回っているが，学校の1 はじめにピアラーニングは学生が他の学生と一緒に，また互いから学び合う学習形態であり [1]，学習内容の教えあい，ディスカッション，作文の相互評価など様々なタイプがある．このようなピアラーニングが円滑に行われるためには，通常教師やティーチングアシスタントなどがファシリテータとなって学生同士のやりとりを促す必要がある．しかしながら，学生の数が膨大である場合や，オンライン学習での場合などでは，ファシリテータを常に確保するのは困難である [2]．ファシリテータ役の人物がいない場合でも学生のやりとりを促進し，学び合いを成立させるようなシステムが求められる．
本研究では，講義を受けた後に，その内容に関して学生から挙がった質問に，他の学生が答えるようなピアラーニングシステムの開発に取り組む．Q&A システムは既に多く存在しており，日本で広く使われている Yahoo!知恵袋 1 や，学生向けの勉強の教えあいサービス Brainly 2 などが挙げられる．これらは質問者がシステム内通貨を支払って回答を募集し，回答者は回答報酬やその質に応じた追加報酬としてシステム内通貨を得る仕組みで運用されている．言い換えれば，質問が大量に集まる前提で，それに回答するためのインセンティブを用意しているシステムである．ところが，質問が大量に集まるという前提には問題がある．ある難しい問題に対して初心者は質問ができない傾向があるという研究結果があり，その理由として，初心者には知識が少なく，自分にはなんの知識が足りていないのか，何を理解できていないのかを把握できていないためとされている [3]．先ほど挙げた既存サービスはユーザ数が莫大であるた

教室のように比較的小さな規模でその多くが初学者であるような環境では質問が集まりにくく破綻する可能性がある．どのような学習環境でも運用できるようにするには，質問ができない層から質問を引き出すアプローチが必要である．
質問を引き出すアプローチの上で重要なのは，学生が自分で理解できていない部分を把握させることである．事前調査では，授業中にチャットツールを使って学生から質問を引き出す試みを実施した．最初はチャットで「質問があればここに書き込んでください」と指示をしたが，この結果集まった質問は少数であり，それも大半が尋ねたい内容や範囲が曖昧なものであった．
自分でどこがわからないのか理解できていないから質問ができないという説を支持する結果といえる．
次に，質問収集のマイクロタスク化を試みた．授業に関する練習問題を解かせ，間違えた者に模範解答を見せて，模範解答中のどこで間違えたのか，そこでなぜ間違えたのかを答えさせる，という風に質問を集めるために行なっていた最初の指示を細分化した (図 1)．その結果以前よりは多くの質問が集まり，その内容も詳細であったり明確であるものの割合が高まった．
以上の観察から，理解できなかった部分を選択させることが，なぜ間違えたのかを自覚することに繋がり，理解を深めるために的確に質問ができたのではないかと推測できる．
本論文では，実験によって，質問を収集する過程を分割するマイクロタスク化アプローチを用いることでより具体的な質問が集まることを示す．また，ファシリテータ役の人物を必要としない，上記の質問募集過程も含むピアラーニングフレームワー
クの有用性を検討する．本アプローチは専任のファシリテータ

2 関連研究
学習機会における場所や人数の制限は将来緩和されていくと考えられる．本研究では従来の教室型に限らず，大規模オープンオンラインコース (MOOC) などを含むどのような環境でも成立する学習フレームワークの創造を目指す．MOOC におけるピア評価については，Suen が教員の不足や学生の消極的な従事姿勢がそれを難しくしていると言及している [2]．参加者を従事させることに関しては，Reichelt [5] は積極的であることを求めるのではなく，むしろ参加者の最小限の貢献で成立させるべきだと述べる．以上を踏まえ，本研究におけるフレームワー
クが本来教員などが担うファシリテーションの役割を肩代わりし，またそのファシリテーションによって学生が最低限の努力で意味のある質問や回答を行えるよう留意していく．
小論文を互いにフィードバックし合う場合に，実例を見せるだけよりも，スクリプトに沿って評価を進めていくと小論文やフィードバック自体の質が向上することがわかっている [6]．本
研究では質問収集過程のマイクロタスク化によりスクリプト化と同様の効果，質問の質の向上がみられるかを検証する．
教育に対するクラウドソーシングのアプローチも出現してきている．Sun はシミュレーションデータを用いて学生を他の学生のティーチングアシスタントとして採用する場合の割り当てアルゴリズムを比較した [7]．割り当て問題は本研究でもいずれ直面する課題であるため今後参考とすることとし，本論文では実世界でプロトタイプのフレームワーク運用を試みる．
クラウドソーシングにおいて，タスクデザインは結果の質の向上のために重要である．タスクデザインのポイントの一つとして，指示の仕方が不適切であれば，ワーカがタスクを遂行するのが困難になることがある [8]．本研究では，タスク分割によって質問を集めるための指示を改善することで質の向上を目
図 1 質問収集過程のマイクロタスク化指す．
ワーカにタスク結果を向上させる機会を与える研究もされてを必要としないので，クラウドソーシングのような環境にも適いる [9], [10], [11]．これらの研究では，他のワーカからのフィー用することができる．

ドバックを提供したり，一度行ったタスク結果を修正するフェー

本論文 3 の構成は以下の通りである．第２節では関連研究をズを設けたりしている．本論文では個々ではなく全体的なタス示す．第３節では実験方法を提案手法とともに示す．第４節でク結果向上を目指したアプローチを扱うが，最終的に開発するその結果を示す．第５節ではマイクロタスク化アプローチを用

フレームワークは，個々のタスクの結果にアクセスするといういたファシリテータ不要のピアラーニングフレームワークの有点で共通している．このフレームワークには，個々のタスクの用性について議論する．

結果を利用して新たなタスクを作り，他のワーカに見せるとい本論文の貢献は以下の通りである．まず，質問収集過程のマうフェーズが含まれる．

イクロタスク化がより具体的な質問を集めることに繋がること

Crowd Coach [12] はタスク結果を向上してより多く報酬を得を検証する．第二に，ファシリテータなしで成立するピアラーるためのアドバイスをワーカからワーカへ提供できるようなニングシステムの実現可能性を探求する．そして，教室規模やChrome プラグインである．ワーカ同士で情報提供をさせワークラウドソーシングのようなオンライン設定など，多くの環境カの成長を図るという点は本研究と共通である．本論文では，でピアラーニングの実現可能性があることを示す．

そのようなアドバイスを適切に受けるための質問の引き出し方に焦点を当てている．プロジェクトベースでワーカがマイクロタスクを遂行しながら議論や質問回答ができる CrowdCode [13]1：https://chiebukuro.yahoo.co.jp/

も，質問を引き出すことやその質を向上することに対するアプ

2：https://brainly.com/

ローチは取り扱っていない．

3：本論文は，IEEE HMData2019 にて発表した論文 [4] を拡張したものである．

3 質問収集のマイクロタスク化
3. 1 目的と仮説
本実験の目的は，質問収集過程を分割することがより具体的な質問を集めることに繋がるかどうかを検証することである．
事前調査で見られた傾向を元に，本研究では，学生がより具体的な質問を発するためには，模範解答の中から自分がわからない部分を選ばせることで理解できていない部分を把握させるのが有効であると仮説を立てた．

3. 2 実験

3. 2. 1 実 験 手 順
図 2 に実験手順を示す．最初に Yahoo!クラウドソーシング 4
を通じて被験者を募り，講義映像を見せる．次に，その講義の内容に関連した練習問題を解かせる．その結果次第で被験者を正解者と不正解者に分ける．導出過程は考慮せず，最終的な答えが合っていた者は正解，誤答を出した者や答えることができなかった者は不正解とする．
そして，不正解者を二つのグループに分ける．対照群のグループには練習問題の模範解答（導出過程を含む）を見せ，質問があれば挙げるよう指示される．もう片方の 実験群では，先述の模範解答に手を加えたものを見せる．模範解答をいくつかの部分に分割し先頭から順に番号をつけたものである．そして，自分が間違えた場所やわからなかった場所をその番号で選ばせ，そこで正解できなかった理由を答えさせる．

3. 2. 2 評 価 方 法
概要

それぞれのグループで集められた質問の中で，具体的な質問であると評価されたものの割合を比較する．具体的であるかどうかの評価は正解者グループに依頼する．評価者である彼らに
図2 実験手順

集まった質問を見せ，それぞれの質問について，プルダウン形式で質問に対する印象を一つ選ばせる．各質問に対して「指示の趣旨に合っていて，具体的である」と判断した人の割合を算

4. 質問が思いつかない，うまく言えないといった内容である

出し，それが 50%以上であった質問をここでは「具体的な質問」

実験群では，一番最初に質問を収集する時点で，質問が思いとし，全ての質問の中で「具体的な質問」と判断されたもののつかない，うまく言えないなどの場合に選ばせる番号を用意し割合を最終的に比較する．

た．そして，その番号を指定しているものはこの実験において評価者に与えられる選択肢はそもそも質問ではないと見なし，評価対象から除外した．一二つのグループから集められた質問に対する評価として，共方，対照群では実験形式とプラットフォームの都合により，質通で次の選択肢が与えられる．

問がない場合に自然言語でその旨を入力させるのが限界であっ

1. 指示の趣旨に合っていて，具体的であるたため，質問がないという内容を明確に除外するための基準が2. 指示の趣旨に合っていない，または具体的でないなかった．その代わりとして，対照群では評価者の 50%以上が3. わからない

選択肢 4 を選んだ質問を評価対象から除外することとする．

選択肢 1，2 中の「指示」とは，質問を集める際に被験者に見これにより，対照群の集計方法は以下のようになる．まず，せた指示文のことである．具体的であっても，答えやアドバイ先述の方法で一部の質問を除外する．そして，残った質問は選スを求めるのに適さないような質問や問題に関係のない質問を択肢 1〜3 のみでそれぞれの割合を計算し，その上で選択肢 1除くため，「指示の趣旨に合っていて」という条件を追加してを選んだ人が 50%以上であった質問を「具体的な質問」とみないる．

す．「具体的な質問」の割合も，最初に除外した質問は含めずに

また，対照群での評価には 4 個目の選択肢がある．
4：https://crowdsourcing.yahoo.co.jp/

算出する．

3. 2. 3 実 験 題 材た．本実験では被験者が各質問をどのように感じたかで具体的

今回の実験は講義内容と練習問題を次のように変えて 3 回行かどうかを判断したが，ここでは質問一問一問が尋ねる内容をう．なお，いずれも数学の分野である．

調べ，特定の内容を問うような質問かそうでないかを独自の基Q Set

準で分類した．予備実験を含めてこれまで収集した質問の傾向

講義内容集合から，以下のような質問区分を作った．

練習問題 集合 A と B が与えられた時の A ∪ B の要素の個数”特定要因”. 特定のわからない箇所・要因を挙げている”知識”. 前提知識不足・知識を未理解を求める

Q Sine”計算”. 式・値・計算

講義内容正弦定理と余弦定理”戦略”. 解き方・方針

練習問題 三辺の長さが与えられた時の三角形の面積を求める”曖昧”. わからない (原因は曖昧)・全てわからない

Q Numeral”苦手”. 数学が苦手・嫌いだからわからない

講義内容 位取り記数法”不適切”. スパム・不適切な回答

練習問題 3 進数で与えられた数を 10 進数に変換する

そして，この区分に従って第 3 章の実験で集めた質問の分類

3. 3 実 験 結 果
実験結果を表 1 に示す．Q Set は 249 人中正解者が 137 人，不正解者が 112 人，Q Sine は 137 人中正解者が 70 人，不正解者が 67 人，Q Numeral は 254 人中正解者が 120 人，不正解者が 134 人である (表 1「正解者数 (人)」，「不正解者数 (人)」)．正
解者全員に質問の評価を依頼し，そのうち依頼に応じて実際に質問の評価を行った人数からスパムを除いたのが最終的な評価者数である (表 1「評価者数 (人)」)．それぞれの実験で，不正解者をランダムに約半数ずつ対照群のグループと実験群のグループに分ける (表 1「グループ毎人数 (人)」)．集まった質問数 (表1「集まった質問数 (件)」) は，一部の質問を除いた件数となっている 5 ．評価者により「具体的な質問」と判定された質問の割合 (表 1「具体的な質問」の割合 (%)」) は，Q Set は対照群で33.3%に対し実験群で 80.0%，Q Sine は対照群で 56.0%に対し実験群で 80.0%，Q Numeral は対照群で 33.3%に対し実験群で70.0%となった．いずれの実験でも，そのまま質問を募集した対照群よりマイクロタスク化アプローチを取り入れた実験群の方が，「具体的な質問」の占める割合が高くなっている．なお，対照群と実験群で有意水準α=0.05 としてこの比率の差の検定を行なった．分類は主観に基づくため，著者を含む 3 人それぞれで行い，多数決によって各質問の最終的な区分を決定した．
なお，この結果の内的整合性を示すクロンバック係数は 0.894である．分類結果を表 2 に示す．票割れのあったもの以外で区分”特定要因”「特定のわからない箇所・要因を挙げている」に該当する質問の占める割合（区分”知識”，”計算”，”戦略”に該当する質問の総和の割合）を算出したところ，Q Set の対照群
で 55.0%，実験群で 83.3%，Q Sine の対照群で 75.0%，実験群で 80.0%，Q Numeral の対照群で 33.3%，実験群で 70.0%である．票が割れた質問の中には 2 人または 3 人が区分”特定要因”の別々の小区分を選んだものがあり，それを含めた計算では

Q Set の対照群で 52.6%，実験群で 85.7%，Q Sine の対照群で78.3%となる．なお，対照群と実験群で有意水準α=0.05 としてこの比率の差の検定 (両側検定) を行うと，検定統計量は Q Set
で 1.865(票割れを含むと 1.992)，Q Sine で 0.305(票割れを含むと 0.115)，Q Numeral で 2.024 となり，Q Set の票割れを含む場
合と Q Numeral では統計的に有意な差がみられる．3 種類の題
材での実験のうち 2 つで，マイクロタスク化アプローチによって特定の内容を問うような具体的な質問が集まりやすくなることがわかった．

(両側検定) を行うと，検定統計量は Q Set で 2.837，Q Sine で1.327，Q Numeral で 2.024 となり，Q Set と Q Numeral では統計的に有意な差がみられる．また，Q Set から質問の例を挙げ

4 ファシリテータ不要のピアラーニングシステムの可能性

ると，「具体的な質問」には「各集合を求めた後の解を求める式が思いつかなかった．
」，「具体的な質問」でないものには「全くマイクロタスク化アプローチは，学生から具体的な質問を収理解できない」などがある (「指示の趣旨に合っていて，具体的集するのに有望であるため，学生の質問を求めるタスクを含むである」と判定した人の割合は，前者が 89.5%，後者が 10.0%

マイクロタスクを使用してワークフローを開発し，クラウドである)．

ソーシング環境に展開することにより，専用のファシリテー

また，この実験において，マイクロタスク化アプローチによる質問数の増加は確認することができなかった．質問数が増えなかった詳細な原因は不明だが，試行回数が少なさのためという可能性も含めて今後の調査対象としていく．

3. 4 考察3 章 3 節の実験結果を受け，集まった質問の質的分析を行なっターを必要としないピアラーニングフレームワークの実現可能性を検討した．

4. 1 ワークフロー
図 3 にワークフローを示す．ワークフローの先頭に練習問題を解くフェーズがあり，練習問題 1 問ごとにこのフレームワークを利用することができる．不正解者には質問をする，正解者

5：3.4.2 節に示した方法で「質問が思いつかない，うまく言えないといった内容

6：「分類対象質問数 (件)」から「票の割れた質問数 (件)」を除外して算出したである」質問を除いた数

割合

表1 実験結果

Q Set

Q SineQ Numeral

13770120

評価者数 (人)381954

不正解者数 (人)11267134

正解者数 (人)対照群 実験群
グループ毎人数 (人)集まった質問数 (件)5対照群 実験群

対照群 実験群

5656

34

336767
2024

1525

1012

「具体的な質問」数 (件)812148414「具体的な質問」の割合 (%)

33.3

80.0

56.0

80.0

33.370.0

表 2 集まった質問の分類結果

Q Set
対照群

Q Sine

実験群 対照群

Q Numeral

実験群

対照群

実験群

分類対象質問数 (件) 5241525

101220

票の割れた質問数 (件)535000

区分”知識”の質問の割合 6 (%)

22.225.0

35.0

20.0

16.7

45.0

区分”計算”の質問の割合 6 (%)

22.2

25.0

40.0

60.0

16.7

25.0

区分”戦略”の質問の割合 6 (%)

5.6

33.3

0.00.00.00.0区分”特定要因”の質問 (区分”知55.0

83.3

75.0

80.0

33.3

70.0

識”，”計算”，”戦略”の総合) の割
合 6 (%)
区分”曖昧”の質問の割合 6 (%)

5.60.0

5.0

10.0

8.3

5.0

区分”苦手”の質問の割合 6 (%)

27.8

0.0

0.0

0.0

25.0

10.0

区分”不適切”の質問の割合 6 (%)

16.7

16.7

20.010.0

33.3

15.0には質問に答えるという主な役割があり，問題ごとに学生一人合は，回答集を見て理解できれば最も参考になった回答を，理ひとりの役割は変わりうる．

解できなければ「まだ理解できない」という選択肢を選ぶよう一連のワークフローは次の通りである．まず，学生に練習問指示した．もしその質問と同じ疑問を抱いていない場合は「自題を解かせる（練習問題タスク）．続いて，不正解であった学生分はこれと同じ・似たような疑問は感じていない」という選択(S 1 ) に，第 3 章の実験群のように質問をさせる（質問収集タス

肢を選ぶよう指示した．

ク）．そして，正解した学生 (S 2 ) に，S 1 からの質問に対する回回答・アドバイス収集タスクとフィードバックタスクを行答やアドバイスをするよう依頼する（回答・アドバイス収集タなった結果を表 3 に示す．フィードバックタスクでは，質問スク）．最後に，そうして集まったアドバイスを S 1 に見せ，そ(表 3「アドバイスを募集した質問数 (件)」) とその各々に対しれによって理解できたかを問う（フィードバックタスク）．て回答・アドバイス収集タスクで集まった回答から「その他」

4. 2 実践

Yahoo!クラウドソーシング 4 上で，以上のワークフローの運用を試みた．第 3 章の実験で不正解者からの質問収集タスクまで終了したものとし，同じ 3 種類の題材と被験者集団で残りのカテゴリーの回答を除いたものを S 2 に見せた．フィードバッ
クのうち「自分はこれと同じ・似たような疑問は感じていない」を除いた回答の割合を算出したところ，Q Set では最小 80.0%，最大 85.0%，Q Sine では最小 82.4%，最大 89.7%，Q Numeral
では最小 80.6%，最大 92.3%が「まだ理解できない」以外の選タスクを実施した．S 1 は正解者（表 1「正解者数 (人)」），S 2 は択肢を選び，いずれかのアドバイスによって理解できたと回答不正解者（表 1「不正解者数 (人)」）とした．第 3 章の実験の実した．学生同士で疑問を解消する，という点では，今回設定し験群で集まった質問のうち「具体的な質問」と評価された質問

たワークフローには効果が見込めることが確認できた．

(表 1「具体的な質問」数 (件)」) を使って，回答・アドバイス収集タスクとフィードバックタスクを実践した．回答・アドバ

4. 3 議論

イス収集タスクでは「自分の言葉でアドバイスする」「映像の第 3 節の実験，そして本節でのワークフローの試用により，参考になる部分を具体的に指定する」「参考になりそうな Web

マイクロタスク化アプローチがファシリテータを必要としないページや本を紹介する」「その他（例：専門家でないとアドバピアラーニングシステムの実現に有望であることを示した．しイスが不可能，この人は自己解決していると思われる，等具体的に入力)」の中からカテゴリーを一つ選んで，内容を入力させ7：質問 1 問に対するフィードバックのうち，「自分はこれと同じ・似たような疑た．フィードバックタスクではまず質問 1 問と集まった回答集問は感じていない」という回答を除外したものをフィードバック数とし，そのうを S 2 に見せ，もし自分もその質問と同じ疑問を抱いている場

ち「まだ理解できない」以外の回答をした人はいずれかのアドバイスで理解できたとして割合を算出した．

表 3 質問に対するアドバイスを受けての反応

Q Set Q Sine Q Numeral
アドバイスを募集した質問数 (件)12814

1 問あたり集まった「その他」を除くアド

2615379920

フィードバックした不正解者数 (人)4043391 問あたりのいずれかのアドバイスで理解

85.0

89.7

92.3

80.0

82.4

80.6

バイス最大件数 (件)1 問あたり集まった「その他」を除くアドバイス最小件数 (件)できた人の最大割合 (%) 7

1 問あたりのいずれかのアドバイスで理解できた人の最小割合 (%) 7

ローチとそれを取り入れたワークフローであった．集まる質問をより具体的なものにすることはできたが，質問の数自体を増加させるには至らなかったため，このようなアプローチを考案する必要がある．また，ワークフローでの質問収集以降の段階は原案をそのまま形にしたものであり，それぞれの段階やワークフロー全体の有効性の検証や他の実装方法の検討はまだ行なっていないため，調査が必要である．段階毎の改善案としては，例えばフィードバック段階において，今回のように理解の参考になったアドバイスがあるかどうかを尋ねるだけでなく，事後テストを実施して成績比較を行うことなどが考えられる．

(2) 学生へのタスク割り当て
今回の考案したワークフローでは，不正解者から質問を，正解者からアドバイスを求める以外は，特定のタスクを行う学生の選別を行わなかった．これは，不必要に多数の学生にタスクを依頼しているということであり，時に彼らの学習を妨げる可能性がある．タスクに対して適切な人数・能力の学生を選ぶ方法を見つけることも必要である．

5 結論

本論文では，ファシリテータがいなくても人々の教えあいを成立させる方法があるかという問題に取り組んできた．教えあいの実現を目指すワークフローにおいて，質問収集段階では学生が理解できていない部分を把握することが重要であるという仮説のもと，収集過程を分割するマイクロタスク化アプローチの有効性を確かめる実験を行なった．実験により，3 種類の題材のいずれでも，マイクロタスク化アプローチを用いるほうがより具体的な質問が集まりやすくなることがわかった．また，
このアプローチを取り入れたワークフローを最後まで実行し，ファシリテータ不要のピアラーニングフレームワークとしての実用可能性を確認した．
図 3 マイクロタスクに基づくピアラーニングシステムのワークフロー
全体図

かしあくまでこれは実現に向けての第一歩であり，いくつか重謝

辞本 研 究 の 一 部 は JST CREST の 支 援 (Grant Number JP-

要な課題が残っている．

MJCR16E3)，JST AIP チャレンジ，JSPS 科研費 (JP19K11978)(1) ワークフローの改善による．ここに謝意を示す．

本論文での焦点は質問を集めるためのマイクロタスク化アプ

文

献[1] David Boud, Ruth Cohen, and Jane Sampson. Peer learning in higher
education: Learning from and with each other. Routledge, 2014.
[2] Hoi K Suen. Peer assessment for massive open online courses(moocs). The International Review of Research in Open and Distributed Learning, Vol. 15, No. 3, 2014.
[3] Naomi Miyake and Donald A Norman. To ask a question, one must
know enough to know what is not known. Journal of verbal learningand verbal behavior, Vol. 18, No. 3, pp. 357–364, 1979.
[4] Hinako Izumi, Masaki Matsubara, Chiemi Watanabe, and Atsuyuki
Morishima. A microtask approach to identifyingincomprehension forfacilitating peer learning. In 2019 IEEE International Conference on
Big Data (Big Data), pp. 4624 – 4627. IEEE, 2019.
[5] Norma Reichelt, Christine Bussian, Christoph Richter, HeidrunAllert, and Lars-Arne Raﬀel. Collaboration on a massive scale–conceptual implications of the crowd. 2019.
[6] Saeed Latifi and Javad Hatami. The eﬀects of online peer feedback
supported by argumentation instruction with worked example and argumentative scripts on students learning outcomes. A Wide Lens:
Combining Embodied, Enactive, Extended, and Embedded Learningin Collaborative Settings, 2019.
[7] Dezhi Sun and Bo Liu. Crowdsourcing based teaching assistant arrangement for mooc. In International Conference on Database Systems for Advanced Applications, pp. 429–435. Springer, 2017.
[8] Ujwal Gadiraju, Jie Yang, and Alessandro Bozzon. Clarity is a worthwhile quality: On the role of task clarity in microtask crowdsourcing.
In Proceedings of the 28th ACM Conference on Hypertext and Social
Media, pp. 5–14. ACM, 2017.
[9] Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 2334–2346. ACM, 2017.
[10] Ryan Drapeau, Lydia B Chilton, Jonathan Bragg, and Daniel S Weld.
Microtalk: Using argumentation to improve crowdsourcing accuracy.
In Fourth AAAI Conference on Human Computation and Crowdsourcing, 2016.
[11] Steven Dow, Anand Kulkarni, Scott Klemmer, and Björn Hartmann.
Shepherding the crowd yields better work. In Proceedings of theACM 2012 conference on computer supported cooperative work, pp.
1013–1022. ACM, 2012.
[12] Chun-Wei Chiang, Anna Kasunic, and Saiph Savage. Crowd coach:Peer coaching for crowd workers’ skill growth. Proceedings of theACM on Human-Computer Interaction, Vol. 2, No. CSCW, p. 37,
2018.
[13] Thomas D LaToza, Arturo Di Lecce, Fabio Ricci, W Ben Towne,and André Van Der Hoek. Ask the crowd: Scaﬀolding coordination and knowledge sharing in microtask programming. In 2015
IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC), pp. 23–27. IEEE, 2015.