戦略的創造研究推進事業 ＣＲＥＳＴ
研究領域「人間と調和した創造的協働を実現する知的情報処理システムの構築」
研究課題「CyborgCrowd：柔軟でスケーラブルな人と機械の知力集約」

研究終了報告書

研究期間 2016年12月～2022年3月

研究代表者：森嶋 厚行（筑波大学図書館情報メディア系 教授）- １ -§１ 研究実施の概要（１）実施概要
本研究は，自然災害時対応といった、緊急で大規模労働集約型の問題を解決するために、人間と AI を含む異種ワーカ(労働者)の群衆を対象に、人間と AI ワーカがバランスの取れた共同作業を行なう自動的なタスク割当てと動的な最適化を行う仕組みを開発する。これにより、AIの知識が無くても AI の力を活用可能になるだけでなく、状況に応じて AI の利用度合いをシームレスに切替えることによる迅速な問題解決を実現する。
ここでいうバランスの取れた共同作業とは、タスク割当ての際に、金銭的コストと結果の品質といった、リクエスタ(仕事発注者)視点からの複数指標だけでなく、さらには人間ワーカが感じるストレスなど、ワーカ視点をも考慮したタスク割当てを行い ELSI への配慮も行なう事である。
以上を実現するため、本研究では AI プログラムを含む様々な労働資源を「ワーカ」としてモデル化し、これらに対してクラウドソーシングのアプローチを適用することにより、次の成果を上げた。まず、様々なワーカの労働資源化に関しては、筑波グループが、AI プログラム、廊下を歩く人々、視聴覚障害者、観光客などをワーカとして活用するためのシステム開発と実証実験を行なった。自動的なタスク割当てと動的な最適化に関しては、筑波グループと京都グループが協力して、品質を維持しながら、人間だけでなくクラウドワーカにより開発された AI ワーカに仕事を割り当てる手法、結果の品質とワーカのストレスのバランスを考慮しながらタスク割当てを動的に決定する手法、品質向上だけではなくワーカ自身のスキル向上も実現するタスク割当て手法等を開発した。また、緊急で大規模労働集約型の問題における実証実験として、筑波グループと富山グループが協力して、国内、国際サイバー防災訓練を実施し、システムの検証や分析基礎となる画像データの収集方法、ならびに人の判定結果と AI による判定結果の効果的な統合方法の技術確立に関する課題の同定を行った。
（２）顕著な成果＜優れた基礎研究としての成果＞
１． クラウドソーシングにおけるワーカの成長を考慮したマイクロタスク割当て戦略概要：
クラウドソーシングにおいて、各マイクロタスクを複数のワーカに割り当てて、結果の品質向上を計ることは典型的なシナリオである。既存研究では、結果の品質だけに注目した割当て戦
略が議論されてきたが、本研究では認知科学の理論に注目してワーカの“スキル向上”を考慮したタスク割当て戦略を考案した。実験により、(1)タスク難易度を利用した割当てに関しては、タスク難易度でタスクをグループ化し、かつ時折異なる難易度のタスクを混在させる
Alternate 戦略がスキルを最も向上させること、(2)タスクの種類の視点からは、ワーカが完全に独立してタスクを実施する Individual タスクと、他人の結果を見ながらやる Collaborative tasksを交互に行う戦略が、各ワーカのスキル向上、結果品質、スループットなどにおいて最高の結果をもたらすことを示した。本結果は、計算機を利用した協調作業支援に関する最重要会議である CSCW 2021 で発表された (Matsubara et al., 2021)。
２． ワーカにストレスをかけない動的なタスク変更手法の開発
概要：
人間の特性をいかしたクラウドソーシング処理最適化の一つとして、人間に一度タスクが割り当てられた後に状況が変わり、より適切なタスクへの再割当てが行われると、自分の割当てに関する認識とずれることによってワーカに精神的ストレスが生じる点に注目した。これは、AI による作業とは異なる人間固有の問題である。我々は、再割当ての変更の程度とそれによって生じるストレスの程度が必ずしも比例しておらず、人間は小さな変更ではストレスを感じにくい- ２ -という点に注目し、特定のタスクにおいてワーカに精神的ストレスをできるだけかけずに、より適切なタスクに再割当てする手法を開発した。これは、クラウドソーシングの主要国際会議である HCOMP2018 にて発表された(Kumai et al., 2018)。
３． 複数クラス分類問題におけるワーカの得意不得意を考慮したタスク割当てによる品質向上
概要：
データを複数クラスへ分類するタスクではワーカ（AI ワーカを含む）ごとに得意なクラス群と不得意なクラス群がありうる。そこで、複数クラスへの分類タスクを複数のサブタスクからなる階層的分類タスクに変換し、各ワーカを得意なクラス群に対応するサブタスクに割り当てることで、分類精度を向上させる手法を開発した。複数クラスへの分類という、クラウドソーシングと機械学習の双方で頻出するタスクに関する研究であり、適用範囲は広い。タスクの精度向上のためにタスク自体を自動変換する既存研究は少なく、新規性も高い。本成果は、Web 関連技術全般に関する最重要国際会議である WWW 2019 で発表された(Duan and Tajima 2019)。
＜科学技術イノベーションに大きく寄与する成果＞
１． パラメータで調整可能な人間と AI のタスク分担の自動決定手法の開発
概要：
クラウドワーカが作成した性質不明の AI を、クラウドソーシングにおける人間ワーカと同様の“AI ワーカ”としてモデル化し、人間ワーカと AI ワーカが混在したクラウドソーシング環境において、マイクロタスクの結果の品質とタスク処理コストを考慮したタスクの分担を自動的に決定する仕組みを開発した。AI をクラウドソーシングのワーカとしてモデル化し、分担の自動化を実現することは、AI に関する知識がない人々に AI 活用の手段を提供するだけでなく、ソフトウェアによる問題解決を行なう旧来型の開発パラダイムである、設計=>実装=>問題解決の順序とは全く異なるパラダイムをもたらすものである。この技術は、特許申請を行なったほか、
WebDB Forum 2019 で発表され 2 つの企業賞を受賞し、クラウドソーシングの主要国際会議である HCOMP2021 で発表された(Kobayashi et al., 2021)。さらに精度向上を図った研究成果が DEIM2021 優秀論文賞、および、日本データベース学会論文賞を受賞した
２． クラウドを巻き込んだ防災訓練の実施(新潟県燕市、およびインドネシア・バンダアチェ市と愛媛県の国際サイバー防災訓練)
概要：2018 年 7 月、新潟県燕市を舞台に、現地クラウド、オンラインクラウド、AI、ドローンを全て活用した「総力型防災訓練」を行い、被災地の情報収集がいかに早くできるかにチャレンジした。また、2019 年 10 月には、インドネシア・バンダアチェ市と愛媛県を中心に複数カ国が協力し、西日本大水害の航空写真を利用して、被害状況の把握を目的とした国際サイバー防災訓練を実施し、世界中の人々と AI ワーカを組み合わせた実証実験を行った。これらの実証実験から、公的機関から被災エリア特定結果が公表される時期と比べて、圧倒的な時間短縮が実現され、その品質においても一定の精度で保証された。リモートの人々や AI の力をも結集し被災地図をつくる防災訓練の試みは我々が知る限りこれまでなく、処理フローを確立したことは大きな社会的影響をもつと考えられる。
３．静岡市駿府城公園の整備計画への参入
概要：
静岡市では駿府城公園の機能強化を目的とした文化財の保存・再整備を進めているが、大規模文化財の高頻度観察や観測データ分析に必要な労働資源が大幅に不足している。本
プロジェクトでの研究成果に基づき、来訪者をクラウドワーカ資源とする情報収集型クラウドソーシングを導入する市民参加型の保存活動計画が進行している。集められた情報は３次元モデルデータとして統合され、専門家の資料や AI 劣化分析の情報源になると同時に、XR- ３ -（Extended Reality）を用いた保存活動参加者への視覚的フィードバックにも活用される。
＜代表的な論文＞
１ ． Masaki Kobayashi, Kei Wakabayashi, Atsuyuki Morishima,“Human+AI Crowd Task
Assignment Considering Result Quality Requirements, ” The ninth AAAI Conference on
Human Computation and Crowdsourcing (HCOMP2021), pp.97-107, November 14–18, 2021.
概要：
クラウドワーカが作成した性質不明の AI を、クラウドソーシングにおける人間ワーカと同様の“AI ワーカ”としてモデル化し、人間ワーカと AI ワーカが混在したクラウドソーシング環境において、マイクロタスクの結果の品質とタスク処理コストを考慮したタスクの分担を自動的に決定する仕組みを開発した。特に、AI ワーカの得意なタスク集合(タスククラスタと呼ぶ)を早期に発見し、AI の全体性能が判明するよりも早期にタスク割当てを実施する事により、最終的な品質を保持したまま大量のタスクを AI ワーカに割り当てる事に成功した。
２．Masaki Matsubara, Ria Mae Borromeo, Sihem Amer-Yahia, and Atsuyuki Morishima, “TaskAssignment Strategies for Crowd Worker Ability Improvement,” Proceedings of ACM HumanComputer Interaction Vol. 5, No. CSCW2, Article 375, 2021.
概要：
クラウドソーシングにおいて、各マイクロタスクを複数のワーカに割り当てて、結果の品質向上を計ることは典型的なシナリオである。既存研究では、結果の品質だけに注目した割当て戦略が議論されてきたが、本研究では認知科学の理論に注目してワーカの“スキル向上”を考慮したタスク割当て戦略を考案した。いくつかの戦略のうち、個々でやる Individual タスクと、他人の結果を見ながらやる Collaborative tasks を適切に組み合わせた Alternate 戦略が、各ワーカのスキル向上、結果品質、スループットなどにおいて最高の結果をもたらすことを示した。
３．Xiaoni Duan, Keishi Tajima, “Improving Multiclass Classification in Crowdsourcing by UsingHierarchical Schemes,” In Proceedings of WWW 2019, pp.2694-2700, 2019.
概要：
データを複数クラスへ分類するタスクではワーカ（AI ワーカを含む）ごとに得意なクラス群と不得意なクラス群がありうる。そこで、複数クラスへの分類タスクを複数のサブタスクからなる階層的分類タスクに変換し、各ワーカを得意なクラス群に対応するサブタスクに割り当てることで、分類精度を向上させる手法を開発した。複数クラスへの分類という、クラウドソーシングと機械学習の双方で頻出するタスクに関する研究であり、適用範囲は広い。タスクの精度向上のためにタスク自体を自動変換する既存研究は少なく、新規性も高い。

§2 研究実施体制（１）研究チームの体制について
本研究では、グループ毎に研究項目の担当があるのではなく、各研究グループは異なる視点(ミドルウエア、現場、理論)のアプローチを用いて、単独および共同で研究を行なう(図 3.1)。マ
ルチチャネルクラウド基盤と、タスクの自動割当てと動的な最適化に関する研究項目については筑波大学(ミドルウェア)と京都大学(理論)が、応用・実証研究に関する研究項目では筑波大学(ミドルウェア)と富山大学(現場)が担当する。

- ４ -図 3.1．グループと研究項目の関係①筑波大学(ミドルウェア研究)グループ研究代表者：森嶋 厚行（筑波大学図書館情報メディア系、教授）
ミドルウェア構築の視点から、次の項目についての研究を推進する
・多様なヒューマン・マシン労働資源化アルゴリズム
・ビジョンアルゴリズムとヒューマンコンピュテーション
・人と人、人と計算機の適切な組合せの理論
・クラウドソーシングの迅速な立ち上げフロー
・動的なワークフロー最適化
・機械学習による機械と人の知の統合
・ミドルウェア設計
・シナリオ実装② 富山大学(現場指向研究)グループ
主たる共同研究者：井ノ口 宗成（富山大学都市デザイン学部、准教授）
自然災害対応現場の視点から、次の項目についての研究を推進する
・ミドルウェア要件分析
・自然災害時活用シナリオの同定③ 京都大学(理論研究)グループ
主たる共同研究者：田島 敬史（京都大学情報学研究科、教授）
理論の視点から、次の項目についての研究を推進する
・動的なワークフローおよびタスク割当最適化
・機械学習による機械と人の知の統合
・多様なヒューマン・マシン労働資源化アルゴリズム- ５ -（２）国内外の研究者や産業界等との連携によるネットワーク形成の状況について
本研究プロジェクトでは、積極的に研究チーム外部との連携を進めてきており、今後様々な活動をしていく上での基礎となるコミュニティを構築してきた。(1)実証実験のフィールドとして、国内外地方自治体(新潟県燕市、茨城県つくば市、愛媛県、インドネシアアチェ州バンダアチェ市)、国内外の学術団体(VLDB Endowment、電子情報通信学会データ工学システム研究会)(2) ELSI ワークショップを通じた他分野との連携(法律学者、経済学者、弁理士、各種企業等)、(3) IEEE でのワークショップ Human-Machine Collaboration and Human-in-the-loop Methods in
Bigdata (HMData)開催(5 回)における co-chairs やキーノートスピーカー等の本分野のトップ研究者との意見交換など(4) Shonan Meeting 開催を通じた海外研究者との交流(8 カ国より参加、日本からもクラウドソーシング企業などが参加)。(5)産学連携の推進 (ヤフー、クラウドワークス)、共著論文の出版や共同イベントの開催- ６ -