DEIM Forum 2018 J6-5

Crowd-in-the-Loop による大規模学会のセッション作成の試み
小林

直樹†

松原

正樹††

田島

敬史†††

森嶋

厚行††

† 筑波大学情報学群情報メディア創成学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学 知的コミュニティ基盤研究センター 〒 305-8550 茨城県つくば市春日 1-2††† 京都大学 京都大学大学院情報学研究科 〒 606-8501 京都市左京区吉田本町 36-1
E-mail: †s1513102@u.tsukuba.ac.jp, ††{masaki,mori}@slis.tsukuba.ac.jp, †††tajima@i.kyoto-u.ac.jp
あらまし

大規模な学会では発表論文が数百件にも上ることがあり，それらの論文からセッションを作成することはプログラムチェアにとって大きな負担である．本研究では，群衆によるセッション作成の問題点を整理し，セッショ
ン作成のクラウドソーシング手法を提案する．提案手法は，投票タスクによる論文とセッション名の紐付けと，提案
アルゴリズムによるタスク結果からセッション生成，そして改善タスクによる生成されたセッション案の修正の 3 つから構成される．提案手法を用いて大規模会議のセッション作成を実施した結果，88.5%の論文がシステムが提案したセッションに採択され，プログラム編成会議の負担が削減された．
キーワード クラウドソーシング，セッション作成，マイクロタスク，Human-in-the-Loop

1. は じ め にリングの二段階で行われる．セッションの作成では，全論文を共通のトピックを有するグループごとに分割する．セッション

アルゴリズムによるセッション⽣成投票
タスク

大規模学会のプログラム作成はセッションの作成とスケジュー
投票

著者のスケジューリングでは，分割されたグループごとに日時と場所を割り当てる．例えば 2017 年の DEIM では論文数が 369 件
で，79 個のセッションが 3 日間の日程にスケジュールされた．
大規模学会のプログラムを作成するに当たっては，次の 4 つ

改善タスク
メタデータ修正

専門家

セッション案
プログラム
チェア
タスクの依頼

出力の制約を考慮する必要がある．

(1) Paper-level ある論文はあるセッションに入れるべきで

図 1 提案手法の全体像ある，もしくは入れるべきではない．

(2) Session-level あるセッションは特定の会場や日程に入れるべきである．

(3) Intra-session-level 同一セッションに同じ所属の発表
者が半分以上いてはいけない．

(4) Inter-session-level 同じ時間に同じ発表者が複数のセッションに存在してはいけない．

(1)，(3) は個々のセッション内容に関する制約であり，(2)，(4) は会議全体のスケジュールに関する制約である．
これらの制約を考えながら，プログラムチェアが学会プログ

投票タスクを行なう．(2) アルゴリズムによって，セッション
案を生成する．(3) プログラムチェアが，最終案にするか改善するかを選択する．最終案にする場合には出力して終了する．

(4) 改善をする場合には，プログラムチェアが選んだセッション案を元に，エキスパート (プログラム委員など) による改善タ
スクを行なう．以上の (2)〜(4) を，最終案ができるまで繰り返す．このように，アルゴリズムによる案の作成と，群衆による改善タスクを何度か繰り返すことによって，よりよいセッショ
ンプログラムの作成を目指す．

ラムを作成するのは時間がかかり，大きな負担となる．そこで，群衆による学会プログラムの作成は，次に示す 5 つの問題を

本論文では，マイクロタスク型クラウドソーシング技術を利用考慮する必要があるため難しい．第一の問題は，良いセッショ

して，プログラム作成を支援する仕組みを提案する．群衆を構ンとは何かを決めなくてはならない．本論文では，より良い成するものは，著者と，プログラム委員やコメンテータなどのセッション名をもち，そのセッション名にふさわしく，かつ共通

エキスパートである．これらの数百人規模の人々が広く薄く負点の多い論文から構成されるセッションを，良いセッションと担する．

定義する．第二の問題は，背景知識が無ければ，より良いセッ

本論文では特に，学会プログラム作成のうち (1)(3) の制約をションを考えるのが難しいことである．後述するが，DEIM に扱う問題に取り組む．すなわち，学会のプログラムを構成する

おいては同じ論文キーワードを持つ論文の平均的な数は 1.3 個セッションの集合を作る事が目的となる．

であり (図 2)，キーワードを単純に用いたグルーピングは不可

図 1 に，提案手法の全体像を示す．提案手法では，次の手順能である．また，キーワードの統合を行うことも難しい．例えでセッション案を作成する．(1) 著者による希望セッションのば，機械学習と深層学習というキーワードが同一であるかどう

かを判断するだけでも，専門知識が必要となる．第三の問題は，プログラムチェアの意向の反映である．プログラムチェアは作
りたいセッションがあるが，その意向通りに著者が投票するとは限らない．第四に，群衆 (特に著者) は必ずしも正しい入力を行うとは限らないということである．したがって，なんらかの
クリーニングの作業は必要である．第五に，Paper-level 及びIntra-session-level の制約を満たしながら，全ての発表論文がセッションの枠に納まるようにしなければならないという問題

800

729

キ 600
ワ 400
ド
数 200

105
18

25

3

4以上

0
1

がある．

2
出現回数

本論文では，以上の問題を考慮した手法を提案し，実際の学会のプログラム作成に適用した結果を報告する．

図 2 DEIM2018 におけるキーワードの論文への出現回数

論文の構成は次の通りである．2. 節では関連研究について説明する．3. 節では，セッション作成の問題と解決策について議気度を推定することが可能となる．Confer 自身はセッション作

論する．4. 節では，3. 節で述べた解決策について詳細に説明す

成機能をもたないが，Confer による論文の人気度はセッション

る．5. 節では，提案手法を用いた Crowd-in-the-Loop による作成の際の参考とすることができる．

DEIM2018 におけるセッション作成の試みについて説明する．

Human Computation 本論文で提案する手法は，Human

6. 節はまとめと今後の課題である．

Computation [5] を用いて探索範囲を削減することで，計算機では困難な解の探索を可能にする点が特徴である．同様の手

2. 関 連 研 究法が用いられているシステムとして，CrowdPlanr [6] がある．

群衆によるセッションの作成 群衆が大規模学会でセッション

CrowdPlanr は，与えられた観光地の集合から Human Com-作成を行う研究がいくつか存在する．Cobi [1] は，学会の参加

putation を用いて旅行計画を作成するシステムである．ある観者がセッションの制約を満たし，また，参加者の趣向に沿った

光地について次にどの観光地に行くのが良いか複数人に質問しプログラムを作成するツールである．Cobi は，論文のクラスタて回答を集計し，Greedy に探索範囲を狭めて旅行計画を作成

リング，条件の取得，スケジューリングの 3 つのステップで大する．本論文でも，Greedy にセッション生成を行うが，アル規模学会のセッション作成を行う．Frenzy [2] は，論文のカテ

ゴリズムによるセッション生成結果に対して群衆が修正を行う

ゴリといったメタデータの抽出，抽出されたメタデータを用い点で異なる．

て条件を満たすセッションの作成という２つのステップで大規群衆が関与するデータ分類

模学会のセッション作成を行うツールである．２つ目のステッグに関与させる研究が行われている．例えば，クラウドソーシ

プでは，同じ場所にいるコミュニケーションが可能な少数のボングはデータの分類に広く用いられる．典型的な方法は，クラランティアが制約を満たすセッション作成を行う．

ウドソーシングによってラベルをデータ内の項目に割り当てて，群衆をデータ分類やクラスタリン

Cobi，Frenzy はどちらも群衆による協調的な作業を通して分類のための教師データを構築することである [7] [8]．また，セッション作成を行う一方，本研究では，メタデータの獲得をワーカが分類結果を評価することで分類器を改善させる研究 [9]マイクロタスクにより行い，アルゴリズムによりセッション提や，分類のための特徴をクラウドソーシングにより獲得する研案を行う．ここでマイクロタスクは，群衆同士でのやり取りを究 [10] が行われている．

行わない自己完結型のタスクを指す．マイクロタスクを用いる
ことで，群衆への依頼が容易となる．

Frenzy のメタデータの獲得とメタデータを用いたセッション

セッション作成問題は，発表論文をセッションに分類するという点でデータ分類の問題に類し，本研究でも群衆によってデータを獲得する．しかし，作成するセッションの枠数が与えの作成の 2 つのステップに分割する手法は本研究でも同様であられているため，分類器によるセッション作成は難しい．

る．Frenzy ではメタデータの獲得のために論文のカテゴリの集合分割問題抽出を行うが，本研究では，メタデータの獲得のために，論文れるとき，セッション作成問題は，論文の集合を論文の部分集のセッション名への希望調査を行う．

合であるセッションに分割する際の評価の最適解を求める集合生成されたセッション案に対して評価が与えらマイクロタスクによる会議プログラムの作成を行った先行研

分割問題である．集合分割問題は制約条件を満たす解を求める

究 [3] があるが，キーワードと論文の関係が疎である場合，実ことも難しく，NP 困難な組合せ最適化問題の中でも特に計算際にセッションを作成することは難しい．図 2 は，DEIM2018

困難な問題として知られている [11]. 大規模学会では，発表論のキーワードの各論文への出現回数を表した図であるが，ほと文が数百件にも及び，セッション案の候補は膨大であり厳密解

んどのキーワードは論文に 1 回しか出現していないため，先行を求めることは困難である．

研究をセッション作成に適用することは難しい．
また，会議のスケジュール管理システムとして広く使われて

3. セッションプログラム作成の課題と提案手法の概要

いるものに Confer [4] がある．Confer は参加者に聴講する発表論文を尋ねる．学会の主催者は，その情報を基に論文毎の人セッションとは，共通のトピックでまとめられた発表論文の

(a)

(b)
アルゴリズムによるセッション⽣成投票
タスク
投票

発表論文に関連するセッション

セッションの重要度と
関係の入力

著者

関
連
順

(c)

(d)
改善タスク
メタデータ修正

データクリーニングとキーワード追加

専門家

1.

セッション4

セッション1

2.

セッション5

セッション3

3.

セッション11

4.

セッション案
プログラム
チェア
タスクの依頼部分集合と，共通トピックを表現するセッション名の組み合わせである．

1. 節で述べたとおり，群衆によるセッションプログラムの作

セッション7

5. ドラッグ＆ドロップによる投票

課題 2 背景知識が無ければ，より良いセッションを考えるの

セッション名A

セッション名Aに著者が投票するとは限らない．
課題 4 群衆 (特に著者) は必ずしも正しい入力をするとは限らない．なんらかのクリーニングの作業が必要となる．
課題 5 様々な制約を満たしながら，セッションの枠に納めなければならない．例えば，ある学会では，同一グループの論文
は 50%以下にしなければならないという制約がある．

3. 1 良いセッションの定義
本論文では，より良いセッション名をもち，そのセッション名にふさわしく，かつ共通点の多い論文から構成されるセッショ
ンを，良いセッションと定義する．それぞれについて次に説明する．
良いセッション名であること 例えば，データベースの学会において，全てのセッション名を「データベース」とすれば，セッ
ション名にふさわしい論文は全て揃うと考えられるが，それは，セッション名としてふさわしくはない．また，良いセッション名と思われるものであっても，同じセッション名があまりにも多く存在する場合，それは良いセッションとは言えない．このように，セッション名をどう選ぶかは，できたセッションの良さを計る重要な基準の一つである．
含まれる論文がセッション名にふさわしいこと セッション名にふさわしくない論文があるようなセッションは，良いセッションとは言えない．全ての論文がそのセッション名にふさわしい必要がある．
含まれる論文に共通点が多いこと 例えば，
「情報検索 (1)」
「情報検索 (2)」といった同じセッション名のセッションが 2 つ以上ある場合，それぞれのセッションにおいてはある程度共通点

セッション名A→

論文タイトル1→

論文タイトル1→

論文タイトル2→

論文タイトル2→

論文タイトル2→

論文タイトル3→

論文タイトル3→

論文タイトル3→

論文タイトル4→

論文タイトル4→

論文タイトル4→

論文タイトル5→

論文タイトル5→

論文タイトル5→

セッション名に適さない論文に対する投票の修正

論文のグルーピング

図 5 エキスパートによる改善タスクの設計入れても良いかどうかは単純にキーワードを比較するだけではログラムチェアは作りたいセッションがあるが，その意向通り

セッション10

論文タイトル1

ルーピングは行えず，また，論文 A と B を同じセッションに

課題 3 プログラムチェアの意向を反映させる必要がある．プ

セッション8

セッション9図 4 投票タスクによる投票が難しい．論文のキーワードが疎なため，キーワードによるグ困難である．

セッション7

セッション12

成は，次の 5 つの課題がある．
課題 1 良いセッションとは何かを決めなくてはならない．

セッション2

セッション6出力

図 3 提案手法の全体像の詳細のある論文が揃っている方が望ましい．

セッション名リスト

アルゴリズムを工夫しセッション枠への埋め込む

3. 2 提案手法概要
図 3 は，提案手法において群衆を用いたセッションプログラ
ム作成の課題の対してどのようにアプローチするかを示したも
のである．

•

課題 1 に関しては，上記で定義したセッションの良さを反映できるような式を考案し，それを満たしたセッションを生成するよう，アルゴリズムを工夫する (図 3 (b))•

課題 2 に対しては，論文につけられたキーワードだけでは不十分であることがわかっているので，著者に，セッション案に対して投票を行なってもらう (図 3 (a))．投票タスクの設計を図 4 に示す．この投票結果は，どのセッションに入れるかの参考にするだけではなく，アルゴリズムにおいて論文キーワー
ドをベクトル化し，似たセッションに投票した論文のキーワー
ドは近い関係にあるとみなす (図 3 (b))．さらに，エキスパー
トによる改善タスクにおいて，似た論文をグルーピングする作業を依頼し，その結果を新たなキーワードとみなして利用する(図 3 (d))．
•

課題 3 に関しては，プログラムチェアに，候補となる

セッションの重要度を用意してもらい，それをアルゴリズムにおいて考慮する (図 3 (b))．また，アルゴリズムに必要ないく
つかのパラメータを切替えて，プログラムチェアがより望ましいと思われるセッション案を選択する仕組みを用意する (図 3(c))•

課題 4 に関しては，エキスパートによる改善タスクにおいて，著者が投票したセッションに対するクリーニングを行なってもらう (図 3 (d))．図 5 に，エキスパートによる改善タ
スクの設計を示す．

•

課題 5 に関しては，各論文に対して，同じセッションで発表できそうな論文をみつける事が容易か否かの指標を用意し，

それを用いて Greedy にセッション枠に埋め込む (図 3 (b))．ア

セッション集合はセッションの作成可能枠を超えてはならない．

ルゴリズムによってセッション案を生成する際には，セッショ

セッション集合 S から，スロット数が x であるセッションを全

ン名の優先度とセッションのクオリティ，そしてセッション作て取り出した集合を Sx と定義した場合，∀x ∈ N, |Sx | <= F (x)成の困難さの 3 つの指標のトレードオフとなる．

となる．

4. 提 案 手 法

4. 2 セッション投票タスク
投票タスクはセッション名のリストから発表論文が発表でき

本節では，セッションを作成する提案手法について説明する．

るセッション名を投票するタスクである．タスク実施の際，発本節の構成は次の通りである．4. 1 節では，入出力の定義を

表論文に対し，発表可能なセッションであるものを 1 つ以上，行う．4. 2 節では，セッション投票タスクについて説明する．

出来るだけ多く投票してもらう．

4. 3 節では，論文キーワードのベクトル化について説明する．

投票タスクの設計を図 4 に示す．著者が，自身の発表論文に4. 4 節では，プログラムチェアが用意する情報，つまり各セッ

対して発表できると思うセッション名をセッションリストからション名の重要度について説明する．4. 5 節では，本アルゴリ

ドラッグアンドドロップにより投票する．

ズムでセッションの良さを表す式を説明する．4. 6 節で，アル

投票タスクの予備実験の結果より，できるだけ投票をしてもゴリズムの詳細を説明する．4. 7 節で，エキスパートによる改らうことが重要 [12] であることが分かったため，質問文に投票

善タスクにおけるデータクリーニングとあらたなキーワード追の目標数を明示的に提示した．

加について説明する．

4. 1 入 出 力

投票タスクによる投票結果から，投票の重み W を決定する．
投票の重みは，論文の投票 b に対して，その論文の総投票数を入力 セッション生成アルゴリズムの入力として以下の情報がba , 投票順位を br としたとき，W を W(b) = (ba + 1 − br )/ba与えられる．

とする．これは，投票順が 1 であるときに重みが 1 となり，投•P : 発表論文の集合•

K: キーワードの集合

投票タスクを発表論文に対して行うことで，論文がセッショ•

C: セッション名の集合

ン名に関連しているかどうかの関係を獲得できる．このタスク•セッション名の優先度 I : C → [0..1]

結果をもとにセッション案の生成を行う．

票順が下がるたびに線形減少することを意味する．

•

Cmax : 同一セッション名のセッション作成数の上限

4. 3 論文キーワードのベクトル化•

セッション作成枠 F : {n | fmin <=n<= fmax } → N

論文で使用されるキーワードのベクトル化を行うために，投•fmin , fmax : セッション作成枠の最大値と最小値

票タスクの結果を用いる．

セッション名の優先度 I は，セッション名の集合の中で優先

キーワードベクトルは，セッション名の要素をベクトル要素して作成したいセッション名を優先して作成するための関数でとして持つ．キーワードに紐付く論文の集合に対して，各セッある．優先して作成したいセッション名ほど 1 に近い値を返し，ション名の要素の投票結果の重みの総和がベクトルの値となる．

そうでないセッション名ほど 0 に近い値を返すように設定する．

つまり，キーワードベクトルを以下のように定義する．ここで，同一セッション名のセッション作成数の上限 Cmax は，アルゴP (k) はキーワード k ∈ K を持つ論文の集合とする．また，ci

リズムの生成するセッション案で，同一セッション名によってはセッション名の集合 C の各要素である．

作成されるセッションの上限数である．
セッションの作成可能枠 F は，セッションの各グループの論
文数 (スロット数) に対する作成可能なグループ数を返す関数で

⃗k =

∑

(W(p, c1 ), W(p, c2 ), ..., W(p, c|C| ))p∈P (k)ある．fmin , fmax は作成可能なセッションのスロット数の最小

また論文のベクトルを論文が持つキーワードのベクトルの総値と最大値を表している．x < fmin または x > fmax でると和として表す．K(p) を論文が持つキーワードの集合とする．

き，F (x) = 0 とする．
次に，投票タスクの結果から，以下の情報が与えられる．

•

B: 発表論文とセッション候補の投票関係 B ⊂ P × C•

W: 投票による重み W : P × C → [0..1]

投票の重みは，投票タスクによる投票の際に，投票順位によって決定される 0 から 1 の係数である．投票順位が高いほど投票の重みは 1 に近い．

p
⃗=

∑

⃗k

k∈K(p)

4. 4 プログラムチェアによる入力情報
プログラムチェアは，アルゴリズムの入力として，セッショ
ン名の優先度を定義する．
セッション名の優先度は，セッション名に対してよりふさわ

また，本アルゴリズムには 5 つのパラメータが存在する．

しいと考えるセッションに対して優先度を高く設定する．例え•α, β, γ: セッションのスコアを算出するときの重み係数

ば，よりある分野に特化しているセッション名は，一般的に優•δ, ϵ: セッションのクオリティを算出するときの重み係数

先度を高くするべきである．また，学会が作りたいセッション

出力 セッション s はセッション名 c ∈ C と，発表論文の部

名がある場合にはその優先度を高く設定する．アルゴリズムは，分集合であるグループ G ⊂ P の組み合わせ (G, c) で表し，アルゴリズムの出力としてセッションの集合 S を返す．

優先度が高いセッション名のセッションを優先して作る．

4. 5 セッションの良さの定量化化を行う．ここで，セッションのスコアは，セッションの評価にセッション集合の列 S = [s1 , s2 , ..., s|S| ] が与えられた場合の，加えて，セッション作成の困難度も指標とする．これは，セッセッションの良さの定量化を行う．ここで，セッション si ∈ S

ションの評価の高いグループを選択するだけでなく，セッショ

は，セッション名 ci とセッションに含まれる論文集合 Gi の組ン作成ができない論文が最後に余るのを避けるためである．そみ合わせで表し，si = (Gi , ci ) である．

して，4. 6. 3 節で，セッション生成アルゴリズムの説明を行う．

本論文では，セッションの良さ，つまりセッションの評価値

4. 6. 1 セッション作成の困難さをセッション集合の列に対するセッション名のプライオリティ

セッションの評価の高いグループを選択していくだけでは，

P とセッションのクオリティQ の総和で表す．本節では，このセッション作成ができない論文が最後に余ってしまうことがあP と Q の定義を行う．

る．そこで，セッションの評価とは別に，各論文に対して，セッ

4. 5. 1 セッション名のプライオリティ
セッション名 ci のプライオリティP を以下の式で定義する．

ションの作成困難度 DP : P → [0..1] を定義する．
セッションの作成が困難な論文とは，セッションへの投票数が少なく，また，投票したセッションが投票数の少ないセッショCount(ci )P(ci ) = max{I(ci ) −
, 0}
Cmax
ここで，Count(ci ) は，セッション集合の列 S の中でセッションである論文である．このことからセッションの作成困難度 DPを以下のように定義する．

ン名 ci が存在する数を表している．
セッション名の優先度 I の値が高く，またセッション名の作

DP (p) =成数が少ない場合にプライオリティP は高くなり，その逆では
低くなる．

−1

∪

BP (c)c∈BC (p)p は発表論文を表し，BC (p) は，発表論文が投票したセッショ

4. 5. 2 セッションのクオリティンを表し，BP (c) は，セッション候補 c に投票した発表論文のセッションのクオリティは，各論文の投票の重みの平均 QB集合を表す．つまりこの式は，発表論文が投票したセッションと，論文ベクトルの類似度の和 QP によって表す．投票の重みと同じセッションに投票した論文の数の逆数を表している．

は投票タスク及び改善タスクによって得られる論文の投票か

また，セッションを作成するときに，残っている論文に対しら得られる結果であり，論文ベクトルの類似度は論文に紐づくてセッション作成が容易な論文を多く残すことが，セッション

キーワードから得られる結果である．

作成ができない論文の数を減らす際に必要となる．ここで，グQB が高いことは，そのセッション名で強く発表を希望する論文が多いことを表し，一方で QP が高いことは，グループのループの決定の際に用いるセッション困難度を以下のように定義する．

論文のトピックが共通している可能性が高いことを表しており，
どちらもセッションのクオリティに関わる．

D(G) =QB (Gi , ci ) =

p∈Gi

|G|

1 − DP (p)p∈P −G

投票の重みの平均 QB は以下の式で表す．

∑ W(p, ci )∑DP (p) を 1 から引くことで，セッション作成が容易な論文ほど値が高くなり，また，D : G → [0..1] である．

4. 6. 2 セッションのスコア

論文ベクトルの類似度の和 QD は以下の式で表す．QD は，

セッションのスコアを，セッションの評価で用いるセッショ

セッション内の論文集合の組み合わせに対するコサイン類似度

ン名のプライオリティとセッションのクオリティ，そしてセッの平均として定義する．

ション作成の困難度の 3 つの指標によって以下のように表す．

∑

QP (Gi ) =pi ,pj ∈Gi ,pi =p| jcos(p⃗i , p⃗j )|Gi | C2

以上より，セッションのクオリティQ を以下の式で定義する．
ここで，δ, ϵ はそれぞれ，QB と QP に係る係数で，どちらを重視するかを決定する．

Score′ (G, c) = αD(G) + βP(c) + γQ(G, c)
ただし, α + β + γ = 1
Score′ (s) (s satisfies constraints)
Score(s) =0(otherwise)
関数 D, P, Q のうち，D と P はセッションの生成に応じて動的δQB (Gi , ci ) + ϵQP (Gi )δ+ϵ4. 6 セッション生成アルゴリズムに値が変更される．セッションのスコアで，Intra-sesison-level

Q(Gi , ci ) =の制約を満たしていない場合は 0 とする．ここで，パラメータ

本節では，セッション生成アルゴリズムについて説明する．

α, β, γ は，0 から 1 までの間の実数値であり，α + β + γ = 1

本アルゴリズムは，セッションの作成が最も難しい論文から，とする．このスコアが高くなるよう，Greedy にセッションのセッションのスコアが高くなるように Greedy にセッションを生成を行う．

生成する．4. 6. 1 節で，セッションの作成の困難度を定式化し，

4. 6. 3 アルゴリズム

4. 6. 2 節で，アルゴリズムで用いるセッションのスコアの定式

投票タスクの結果からセッション案の生成を行うセッション(1) セッション作成が困難な論⽂を選択(2) 論⽂に関連するセッション名を候補に挙げる

セッションA

セッションBfmin <= |G| <
= fmax であり，また，x = |G| として，F (x) > Sxとなるようにする．セッションのスコアが 0 より大きい，つまり制約を満たすセッションが見つかれば，7 行目でセッションの追加を行う．また，セッションのスコアが大きい場合には，生成されたセッションに含まれる論文の部分集合を全体の論文集
合から削除し，その論文に関連する投票関係も削除を行う．制(3) 論⽂から⼀番スコア*が⾼いセッションを探索

約を満たすセッションが見つからない場合は，p の部分のみをセッションB

削除する．この p はセッションが作れなかった論文を意味する．

4. 7 エキスパートによる改善タスク(4) 論⽂を除外し，セッション作成ができなくなるまで繰り返す

アルゴリズムにより生成されたセッション案から，プログラ*スコアはD, P, Qから算出

論⽂の集合

ムチェアによるが修正が必要であると判断した場合に，エキス
パートによるセッション案の改善タスクを実施する．改善タス

図 6 セッション生成アルゴリズムのモデル図

クの設計を図 5 に示す．
改善タスクでは，セッション名に対して生成されたセッショ

Algorithm 1 セッション生成アルゴリズム
Input: P, C, K, B, R

エキスパートはセッション名の集合から自身の専門である

Output: S
1: S ←

セッション名を選択し，そのセッション名に含まれる論文集合ϕに対して 2 つの操作を行う．

2: while |P | =| ϕ do(1) 論文がセッション名に適さない場合，その論文を修正

3:p ← arg max DP (p∗ )4:

C ∗ ← { c | c ∈ C, (p, c) ∈ B}

5:

s←

p∗ ∈P

arg maxG∗ ⊂P,c∈C ∗ ,G={p}+G∗

Score(G, c)

6:

if Score(s) > 0 then7:

S ← S + {s}8:P ←P −G9:

B ← B − { b | c ∈ C, g ∈ G, (g, c) ∈ B}

10:ン案に含まれる論文集合を表示する．

else(2) 論文集合に対してグルーピング(1) と (2) により投票の修正を行う．(1) で選択した論文に関して投票の修正を行う．論文タイトルの→をクリックすることでその論文の投票の修正を行う．投票の修正は，投票タスクと同じインターフェースで実施する．投票タスクには，その時点で投票されている情報が格納されており，そこから専門家は投票の修正を行う．(2) では，論文タイトルをクリックすること

11:P ← P − {p}で色の変更が行われ，論文タイトルを同色にすることによりグ

12:

B ← B − { b | c ∈ C, (p, c) ∈ B}

ルーピングを行う．グルーピングされた論文集合には，共通の

13:

end if

14: end while
15: return S

キーワードを追加する．エキスパートによる投票の修正により，
誤ったセッション名への投票の削除及び適切なセッション名の追加が行われ，また，同じグループと判定された論文は，同じ
キーワードが付与されることでグループ間の論文では論文ベク

生成アルゴリズムについて説明する．セッション案の生成は発トルの類似度が高くなり，同じセッションに属する可能性が高

表論文のグルーピングによって行われる．このアルゴリズムのくなる．

手順を図 6 に示す．
セッション生成アルゴリズムは 4 つの手順で行われる．(1) 発
表論文の中からセッションを作ることが最も困難な論文を選択する．(2) 選択した論文が投票したセッション名を挙げる．(3)
候補に投票された論文からグループを作成し，そのグループに

5. DEIM2018 における実践事例
本節では，DEIM2018 で提案手法を適用した結果と，得られた知見について報告する．

5. 1 入力データ

対してスコア付けを行い，一番スコアの高いグループを決定すセッション作成の対象となる発表論文が 286 件，セッショる．そして，(4) グループの論文を除外して，発表論文がなく

ン名が 65 件，そしてキーワードの総数が 879 件であった．

なる，もしくはグループを作成することができなくなるまでア

fmin = 5, fmax = 6 で，F(5) = 43, F(6) = 13 であった．プ

ルゴリズムを繰り返し，最終的に得られたグループの集合を生ログラムチェアにより，セッション名の優先度が指定され，優成されたセッション案とする．

先度が 1 のセッション名が 15 件，0.8 が 27 件，0.6 が 20 件，

セッション提案アルゴリズムを Algorithm 1 に示す．3 行目

0.4 が 3 件であった．

では DP が最も高い論文を選択する．4 行目は，選択された

投票タスクは図 4 の設計を用いて，改善タスクは図 5 の設計

論文が投票したセッション候補を得る．5 行目では，セッショを用いた．パラメータは，δ = 5, ϵ = 1 とし，投票結果を優先

ン候補に対してセッションのスコアが最大となるセッション s

するようにした．また，α, β, γ をステップ幅 0.05 ずつ実行しを探索する．このとき，セッション内の論文集合は必ず 4 行

た中で，論文の余りが最も少なく，その中でセッション評価が目で選択された論文 p が入るようにする．注意として，G は最も高いセッションを生成セッションとしている．

表 3 “機械学習” に対する類似度が高い上位 5 件のキーワード

表 1 投票タスク及び改善タスクの実施結果
タスク名

ワーカ

タスク実施回数 ワーカ数

投票タスク (1)

著者

286 件

286 人

クラスタリング

機械学習

投票タスク*

著者

63 件

63 人

情報抽出

改善タスク*

コメンテータ59 件

53 人

word2vec

改善タスク (1)

コメンテータ44 件

40 人

ニューラルネットワーク

改善タスク (2)

コメンテータText Mining

9件

6人

改善タスク (3) プログラム編集委員

6件

4人

改善タスク (4) プログラム編集委員

9件

6人
優先度

0.6

0.8

8

250

セッション数

217

200
150

論
⽂
数 100
50

0.4

40

30
4

7

1

2

0
3
投票数

4

1
11

19

19

24

22

4

3

優先度設定なし

優先度設定あり5以上

図 8 各セッション名の優先度毎のアルゴリズムによる生成セッションの数

図 7 投票タスク実施後の論文の投票数の分布
表 2 プログラム編成会議におけるセッション編成作業の記録
実施年

作業人数

作業時間

2017

9人

135 分

2018

4人

70 分

また，DEIM プログラム編成会議でのセッション編成時間の記録を表 2 に示す．注意として，DEIM2017 においても，クラウドソーシングによるセッション作成の実施が試みられている．
表 2 より，昨年と比較して，セッション編成作業の人数が少な
いにも関わらず，作業時間が昨年の半分程度となり，プログラ

5. 2 実 施 結 果
タスクの実施結果を表 1 に示す．投票タスクは発表者 286 名

ム編成会議での作業負担が削減されたことが分かった．

5. 4 キーワードのベクトル化に依頼した．また，改善タスクはコメンテータ及びプログラム

投票タスク及び改善タスクによって，キーワードのベクトル

編集委員の計 87 名が行った．ここで，投票タスク (1) 実施後，化が可能となる．表 3 はキーワード “機械学習” に対する，コプログラムチェアがセッション名の追加を行った．投票タスク*

サイン類似度が高い上位 5 件のキーワードである．“機械学習”

は，追加セッション名の中に，発表論文で発表できるものがあに関連するキーワードが上位に現れていることが分かる．

れば投票をしてもらう Google Form で作成した簡易的な投票

ワーカによるタスクの実施によって，キーワードのベクトルタスクである．改善タスク*は，間違っていると思う論文に対化ができるようになり，数値的にキーワードの比較が可能として投票の修正ではなく，そのセッション名への論文の投票のなった．

削除のみを行うタスクである．他のタスクは，投票タスクは図5. 5 セッション名の優先度の設定

4，改善タスクは図 5 を用いている．

セッション名の優先度を設定した場合のアルゴリズムにより投票タスク実施後の発表論文の投票数の分布を図 7 に示す．

生成したセッションと，優先度を設定しない場合の生成セッショ

多くの発表論文で，投票数が 5 以上と，多くのセッション名にンを比較した図を図 8 に示す．優先度を設定しない場合は，全投票されていることが分かる．

てのセッション名の優先度が 1 であるとする．また，比較する

5. 3 編成後セッションとの比較結果

セッション同士は同一のパラメータとする．

本節では，提案手法で作成したセッション案に対する，編成

この図より，優先度を設定した場合の方が，設定しない場合

会議でのプログラム委員による編成後のセッションとの比較結と比較し，優先度が高いセッション名で作られたセッション数

果について記述する．提案手法で作成したセッション案は，最が多く，優先度が 0.4, 0.6 と低いセッション名で作られたセッ

後のタスク実施の終了時点でアルゴリズムにより生成したセッション数が少ないことが分かる．この結果から，優先度を設定

ションであり，編成後セッションとの比較では，論文のセッショすることで，プログラムチェアの意向が反映されていることがン採択率によって行う．セッション採択率は，総論文数に対す読み取れる．

る同一セッションに採択された論文数の割合である．

5. 6 改善タスクの繰り返し提案手法が作成したセッション案の採択率は 88.5%であった．

エキスパートによる改善タスク毎に生成されたセッションに

これはつまり，286 件の発表論文のうち，253 件の論文が同じ対する編成後のセッションと比較した場合の論文採択率の変セッションとして採択され，33 の論文が他セッションに移動し動を図 9 に示す．改善タスク (1) の採択率は 44.4%，(2) ではたことを意味する．

54.9%，(3) では 59.0%，そして (4) では 88.5%であった．エキ

プログラム編成会議の編成結果より，88.5%の論文が提案手

100

( )

決
定
案
に
対
す
る
採
択
率
％

90

法で作成したセッションに採択され，編成会議でのセッション

80
70

作成の作業負担が削減された．また，セッション結果に対する6050

考察を行い，群衆によるセッション作成の課題に対して提案手4030法が有効であることを示した．

20

本研究では大規模学会のプログラム作成のうちセッション作

100

改善タスク(1)

改善タスク(2)

改善タスク(3)

改善タスク(4)

図 9 各改善タスク実施後のアルゴリズムによる生成セッションと編成

成のみを扱ったが，群衆によるセッションのスケジュールも行う
ことが今後の課題として挙げられる．セッションのスケジュー
ルも群衆が行うことで，プログラムチェアのプログラム作成の後セッションとの比較

負担がさらに軽減できると我々は考えている．

1.0

6

0.8

5

辞

本研究の一部は JST CREST (#JPMJCR16E3) の支援による．また，タスクの実施に協力していただいた方々にこの場4を借りて感謝する．

3[1] Haoqi Zhang, Paul André, Lydia B. Chilton, Juho Kim,
Steven P. Dow, Robert C. Miller, Wendy E. Mackay, andMichel Beaudouin-Lafon. Cobi: communitysourcing largescale conference scheduling. In CHI, pp. 3011–3014, 2013.
[2] Lydia B. Chilton, Juho Kim, Paul André, Felicia Cordeiro,
James A. Landay, Daniel S. Weld, Steven P. Dow, Robert C.
Miller, and Haoqi Zhang. Frenzy: collaborative data organization for creating conference sessions. In CHI, pp. 1255–
1264, 2014.
[3] Emi Sakurai, Atsuyuki Morishima, Kosetsu Ikeda, andNobutaka Suzuki. Bookshelf problem: A human-in-the-loop
approach for data grouping without complete information.
In iConference, 2016.
[4] Confer. http://confer.csail.mit.edu.
[5] Edith Law and Luis von Ahn. Input-agreement: a newmechanism for collecting data using human computation
games. In Proceedings of the 27th International Conference on Human Factors in Computing Systems, CHI, pp.
1197–1206, 2009.
[6] Ilia Lotosh, Tova Milo, and Slava Novgorodov. Crowdplanr:
Planning made easy with crowd. In 29th IEEE International Conference on Data Engineering, ICDE 2013, Brisbane, Australia, April 8-12, 2013, pp. 1344–1347, 2013.
[7] Sudheendra Vijayanarasimhan and Kristen Grauman.
Large-scale live active learning: Training object detectors
with crawled data and crowds. In CVPR, pp. 1449–1456,
2011.
[8] Muhammad Imran, Carlos Castillo, Ji Lucas, Patrick Meier,and Sarah Vieweg. AIDR: artificial intelligence for disaster
response. In WWW’14, pp. 159–162, 2014.
[9] Chong Sun, Narasimhan Rampalli, Frank Yang, and AnHai
Doan. Chimera: Large-scale classification using machinelearning, rules, and crowdsourcing. PVLDB, Vol. 7, No. 13,
pp. 1529–1540, 2014.
[10] Jia Deng, Jonathan Krause, and Li Fei-Fei. Fine-grained
crowdsourcing for fine-grained recognition. In Proceedingsof the IEEE conference on computer vision and patternrecognition, pp. 580–587, 2013.
[11] 梅谷俊治. 大規模な集合分割問題に対する局所探索法 (最適化の基礎理論と応用). 数理解析研究所講究録, Vol. 1879, pp. 91–96,
apr 2014.
[12] Naoki Kobayashi, Masaki Matsubara, Keishi Tajima, andAtsuyuki Morishima. A crowd-in-the-loop approach forgenerating conference programs with microtasks. In 2017
IEEE International Conference on Big Data (Big Data),
pp. 4394–4396, Dec 2017.

0.4: Quality
0.6

文

2

0.2
0.0

謝

1
0.0

0.2

0.4
0.6
: Difficulty

0.8

1.0

0

図 10 各パラメータ毎のセッションを割り振れなかった論文数

スパートによる改善タスクの繰り返しによって，採択率が向上
していることが分かる．
この結果から，エキスパートの改善タスクによって著者が行った投票タスクのクリーニングがなされ，アルゴリズムによって生成されるセッションの質が向上していることが考えられる．

5. 7 パラメータの変更に対するセッション生成
図 10 はパラメータを 0.05 ずつ変更させた場合のアルゴリズ
ムによってセッションが生成されなかった余りの論文数を表している．色の濃度が濃いほど余りの論文数が多いことを示している．最大の余りの論文数は 6 で，これは 1 つだけセッションが作れなかったことを意味し，多くのパラメータで，全てに論
文にセッションを割り振ることができている．これは，論文への投票が充分に存在することを示している．また，論文のセッション作成の困難度に係るパラメータ α が大きい場合の方が余りの論文数が 0 となる場所が多く，論文のセッション作成の困難度が有効に働いていると考えられる．

6. まとめと今後の課題
本研究では，群衆によるセッション作成の課題を整理し，セッ
ション作成を，アルゴリズムによるセッション案の生成と群衆によるセッション案の修正 (Crowd-in-the-Loop) によって行う手法を提案した．提案手法は，投票タスクと改善タスクの 2 つのマイクロタスクと，定義したセッションのスコアによる Greedy
なセッション生成アルゴリズムを用い，DEIM2018 において提案手法によるセッション作成を実施した．

献