クラウドソーシング

# クラウドソーシングとは

* Crowdsourcing = Crowd(群衆) + sourcing(業務委託)
* 不特定多数の人に業務を委託すること。

---

# クラウドソーシングの種類

* クラウドソーシングは、3種類に分かれる
    * プロジェクト型
    * コンペティション型
    * マイクロタスク型

参考：[中小企業白書2014年版
](http://www.chusho.meti.go.jp/pamflet/hakusyo/H26/h26/html/b3_5_1_2.html)

---
# プロジェクト型

いわゆる普通の業務委託。

* 代表的なサイト
    * https://www.lancers.jp
    * https://www.upwork.com/

---
# コンペティション型

1つの業務を、コンペ形式で進める。デザイン系に多い。

* 代表的なサイト
    * https://www.lancers.jp
    * https://99designs.jp
    * http://kaagle.com/
    * https://www.topcoder.com

---
# マイクロタスク型

だれでもできるタスクを割り振る。1タスクの単価は数円から100円程度。

* 代表的なサイト
    * https://aws.amazon.com/jp/mturk/
    * https://crowdworks.jp
    * https://www.figure-eight.com/ (旧 crowdflower)

---
# 今回はマイクロタスク型の話

---
# 何に使うのか？

* 機械学習のデータを集めるの面倒ですよね？
* 機械学習のタグ付け、スーパー面倒ですよね？

---
# Amazon Mechanical Turk

* マイクロタスク型で老舗（多分、発祥の地）
    * 2005年サービス開始
* 一応、AWSシリーズに入っている
    * が、未だにベータで、UIが全く進化していない（いわゆるWeb2.0）
    * ドキュメントが余り整備されていない。[ブログに記事を書く](https://blog.mturk.com/tutorial-annotating-images-with-bounding-boxes-using-amazon-mechanical-turk-42ab71e5068a)、低コスト運用

---
# Amazon Mechanical Turk

* 今でもユーザーは圧倒的に多い。
* 2017年に日本から使えるようになった（それまでは米国アドレスが必要）
* Mechanical Turkとはチェスを指す機械人形。実際は中に人が隠れているという手品。

---

![mturk](https://upload.wikimedia.org/wikipedia/commons/thumb/2/27/Kempelen_chess1.jpg/450px-Kempelen_chess1.jpg)

[CC BY-SA 3.0](https://commons.wikimedia.org/wiki/File:Kempelen_chess1.jpg)

---
# 相場

* MTurk の相場は激安。ただし、1タスクの粒度が細かい
* [服を分類するタスク](https://www.amazon.com/ap/signin?_encoding=UTF8&clientContext=86fd67d175494a32ec16f6dff541ad&marketplaceId=A384XSLT9ODACQ&openid.assoc_handle=amzn_mturk_worker_faster_desktop_us&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.mode=checkid_setup&openid.ns.pape=http%3A%2F%2Fspecs.openid.net%2Fextensions%2Fpape%2F1.0&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0&openid.pape.max_auth_age=43200&openid.return_to=https%3A%2F%2Fworker.mturk.com%2Fprojects%2F3ZA8T98ZC6QYLS72ZNRY7UGAYDPTF0%2Ftasks%3Fend_signin%3D1%26ref%3Dw_pl_prvw)は $0.02
* [非人道的との批判も根強い](https://gigazine.net/news/20141204-amazon-mechanical-turk-open-letter/)
    * というか、[トルコ人に失礼では無いか](https://www.quora.com/Is-Amazon-Mechanical-Turk-offensive-to-Turks)
    * もっとも、MturkのWorkerは、搾取されている層**ではない**

---
# MTurk の Workerは誰なのか 

---

# MTurk の Workerは誰なのか 

* 調査された[論文](https://scholar.harvard.edu/files/dtingley/files/whoarethesepeople.pdf)がある
* 若者、白人、都会住まい、Office workerが多い
* 発展途上国の人を安く使うイメージをもたれるが、違う
  * アメリカの若い中産階級が娯楽のような感覚でしているようにみえる

---

# タスクを登録してみた

* Bounding box を定義するタスク。
![sample.png](https://qiita-image-store.s3.amazonaws.com/0/38555/704ecf69-bbde-5d81-4c38-7e5817312b65.png)

---

# Bounding box タスク

* やりかたは[公式ブログ](https://blog.mturk.com/tutorial-annotating-images-with-bounding-boxes-using-amazon-mechanical-turk-42ab71e5068a)より
* `$0.05` で55件のタグ付けが瞬殺だった
* 報酬は高い方だった

---

# 画像収集タスク

* やりかたは[公式ブログ](https://blog.mturk.com/tutorial-how-to-create-hits-that-ask-workers-to-upload-files-using-amazon-cognito-and-amazon-s3-38acb1108633)より
* こちらは `$0.06` では全然集まらず。`$0.15` で出し直してみたが、不調
* `$0.3` ぐらいは必要か
* そうすると、日本の http://crowdworks.jp と変わらない。

----

# MTurkの良いところ


* ドキュメントはイマイチだが、APIは一通り揃っている
    * スクリプトでタスク自動登録
    * Formから、結果を送信・保存
* ユーザーが圧倒的に多い

---

# と、ここで、

![スクリーンショット 2018-05-05 9.44.12.png](https://qiita-image-store.s3.amazonaws.com/0/38555/db5a46ec-31a5-c869-e3d8-1b1339967ffc.png)

---
# なぜか、MTurkアカウント停止

---

# MTurkアカウント停止の理由

```
Amazon Mechanical Turk is a U.S.-based website,
we currently accept Requester registrations from
select countries outside of the United States. 
```
* 日本は確かに、`select countries`に入っているのだが。。

---

# その後

* mturk-requester-support@amazon.com に送るが解決せず（最近は返事もなく）
* AWS のサポートは迅速に対応してくれるが、MTurkは窓口が違うため、特に解決できず
* 調べてみると、同じような事例は多い。MTurkを安定して使うには、USのアドレスを持っていないとダメかも

---

# 日本のクラウドソーシングを使ってみる

----

# CrowdWorks

* https://crowdworks.jp
* MTurkは単価は安かったが、結局は安く無さそうだった
  * 1件2円なら、30件まとめると60円。これは、crowdworks.jp の単価と同じ
  * MTurkのWorkerがアメリカの中産階級だとすると、日本の方が安いかもしれない
* MTurkは、一部のタスクは品質が低かった
    * 特に画像アップロードタスクは、Google Image Searchの結果を貼り付ける人が多い。。

----

# CrowdWorks の Worker は誰？

* アンケートで調べてみた（財布の都合で50人対象）
* 年齢層
  * 30代 17人
  * 40代 17人
  * 50歳以降 9人
  * 20代 7人

----

# Workerの住んでいる場所

* 関東 19人
* 中部 10人
* 近畿 7人
* 九州・沖縄 4人
* 四国 3人
* 東北 3人
* 北海道 3人
* 中国地方 1人

----

# Workerの職業

* 会社員・会社役員 13人
* 自営業 11人
* 無職 10人
* 専業主婦・主夫 9人
* その他 6人
* IT系会社員・会社役員 1人

----

# CrowdWorks の Workers

* 会社員・自営業が多い
  * MTurkに比べ、無職、専業主婦・主夫が多い印象
* MTurkと同じく都市部の人が多い
* 30〜49歳が多い

----

# CrowdWorks のタスク設計

* UIは使いやすく、簡単にフォームを作れる
* APIは無く、MTurkのように任意のUIからデータを保存できない
* 仕方が無いので、DynamoDBに保存するようにした

----

# タスクの相場観

* 画像アップロードタスク1
  * [スーパーボールを撮影した写真を3枚送って下さい](https://crowdworks.jp/public/jobs/2087943)
  * 単価 32円
  * 募集タスク数 30
  * 完了までの時間 7日＋23時間19分
  * 1件 6.36時間


----

# タスクの相場観2

* 画像アップロードタスク2
  * [スーパーボールを撮影した写真を3枚送って下さい](https://crowdworks.jp/public/jobs/2087943)
  * 単価 **16円** (先ほどの半額)
  * 募集タスク数 100
  * 完了までの時間 ？ 11日経って53件完了
  * 1件 4.89時間

----

# タスクの相場観3

* 画像をBoundingboxで囲うタスク(30枚)
  * [画像の中からボールをマウスで囲う（データのタグ付け作業）](https://crowdworks.jp/public/jobs/2115832)
  * 単価 32円 (30枚。1枚1円)
  * 募集タスク数 7
  * 完了までの時間 19分
  * 1件 2.7分