DEIM Forum 2023 XX-Y

三つ組を構成するデータの類似度の分類と計算
山河絵利奈†

田島 敬史†† 京都大学大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町
E-mail: †yamakawa@dl.soc.i.kyoto-u.ac.jp, ††tajima@i.kyoto-u.ac.jp
あらまし

データの類似度は様々なところに活用されている．データにはさまざまな構造があるが，そのすべてに確立された類似度の計算方法が存在するわけではない．本論文では，ユーザ・コンテンツ・評価，あるいは，ワーカ・
タスク・回答などの三種類の値が組になる場合の三つ組データを想定し，そのようなデータに対し類似度を求め利用することを考える．三つ組データに対し望ましい類似度は，そのデータの持つ特徴によってさまざまな種類がある．
そこで，三つ組データに対して定義しうる類似度の性質の分類を行い，それぞれに対応する類似度の定義を提案する．
さらに，分類の一部に対し，提案する定義に基づく類似度が有用なものであること，また提案する複数の類似度の定義のうち分類上該当する類似度の定義が最も適切であることを示す．
キーワード 類似度，クラウドソーシング，協調フィルタリング，アノーテーション
例として，映画のレビューを取り上げる．映画のレビューデー

1 はじめに
近年，様々なデバイスの発達やインターネットの普及と共に，数多くのデータの電子化と蓄積が進んでいる．それに伴い，得られるデータの構造も多様化してきた．
様々な構造のデータのうち，二つのオブジェクトの間の関係を表すデータは通常のグラフで表現でき，そのようなデータについては広く研究されているが，二つではなく三つのオブジェ
クトの間の関係を表すデータも様々な応用において用いられている．本研究では，そのような三つのオブジェクトの間の関係を表すデータを三つ組データと呼び，その利用に注目した．
データから算出できる値の一つとして類似度が挙げられる．
類似度の計算方法として，各オブジェクトの特徴を活かして類似度を計算することが挙げられる．また，オブジェクトの種類に関わらずグラフ構造から類似度を計算する方法として，

SimRank がある．SimRank は，類似するオブジェクトを近傍に持つオブジェクト同士はやはり類似しているという考え方をもとに類似度を計算する．これにより，直接隣接するオブジェ
クトに共通部分がないオブジェクト同士でも，他のオブジェク
トを経由する共通のオブジェクトへのパスが存在すれば類似度を計算できるという特徴がある．SimRank は，通常のグラフ
あるいは二部グラフに対して利用することができる．しかし，前述のような三つ組データ構造に対し，構造を活かした類似度の計算方法は確立されていない．本研究では，SimRank の計算方法を拡張し，三つ組データの集合における類似度の定義を提案する．
また，三つ組データは様々あり，データの収集方法や特徴によって類似度に反映させたい考え方も異なる．本研究では，複数の類似度の計算方法を提案した上で，三つ組データの種類に応じてどの計算方法が適切かを検討する．
さらに，三つ組データの種類により，提案手法による類似度の利用方法も多数考えられる．本研究では，三つ組データの一

タは，（レビュア，映画，レビュー値）の三つのオブジェクトで構成されるデータの集合であると考えられる．レビューデータ
の利用方法の一つとして，レビュアへの映画の推薦が挙げられ
る．推薦には，過去のレビューデータを用いてレビュー値の予測が行われる．推薦手法の一つに協調フィルタリングが挙げられる．協調フィルタリングでは，レビュア同士の相関係数を定義して計算し，相関係数の高いレビュアのレビューを重視する
ようにレビュー値の予測を行う．この相関係数は同じ映画に同じようにレビュー値を与えるレビュア間で高くなるように計算されているため，提案手法で計算するレビュアの類似度を利用することでも同様に計算できると考えられる．提案手法では，直接同じ映画をレビューしていなくても類似度を計算できるため，より精度が高く予測できるのではないかと考えられる．
他にも，三つのオブジェクトで構成されるデータとして，クラウドソーシングのデータが挙げられる．例えば，機械学習の教師データにも用いられる画像などのアノテーションタスクであれば，（ワーカ，画像，選択肢）の三つのオブジェクトで構成されるデータの集合であると考えられる．
クラウドソーシングでは，時間的・金銭的コストを鑑み，専門家ではない不特定多数の一般人（ワーカ）に作業が依頼される [1]．不特定多数の人にタスクを依頼するという特性上，回答の精度が保証されず，得られるデータの品質にばらつきが生じてしまう．そのため，単一のタスクを多数のワーカに依頼し，その回答を統合することでデータの品質を保証することがある．このような方法をとる際には，一定の人数ごとにワーカのグループを編成し，そのグループ内で回答の統合，すなわち多数決による最終的な回答の選定を行うことが多い．この場合，グループ編成次第で多数決の結果得られるデータの精度が変わるため，どのようにグループ編成を行うかが重要となる．今回
は，あらかじめ全ワーカが正解が既知である複数のタスクに取り組んでいると仮定する．その際，正答率を高くするための最も正確なグループ編成方法は，全ての編成パターンに対してあらかじめ取り組んでもらったタスクの回答をもとに正答率の期リングは，あるユーザのあるアイテムへの評価値を，他のユー待値を計算し，その値が最も高かった編成を採用する方法であザのアイテムへの評価値をもとに予測する方法である．あるる．しかしこれは，計算量が膨大になってしまい，現実的にはユーザと同じ傾向で評価するユーザが高く評価していること，使用できない方法である．

また反対の傾向で評価するユーザが低く評価していることを反そこで，正確に正答率の期待値を計算するのではなく，正答映させて予測を行う．協調フィルタリングにおける予測の方法

率が高くなるように予測してグループ編成を行うことが求めらを説明する．まず，ユーザ間の傾向として，すべてのユーザ間れる．その方法の一つに，ワーカ間の距離を利用して，距離がで相関係数を求める．ユーザ A, B 間の相関係数 rAB は以下の遠いワーカ，すなわち答え方が似ておらず同じ間違えをする確

通り計算する．

率が低いワーカを同じグループに入れるようにすることで，正答率の高くなるような編成をするという考え方がある [2]．本
研究では，距離として SimRank を拡張した類似度を用いてグ
ループ編成を行うことを提案する．

rAB =Cov(A, B)σA σB∑

本論文は以下の構成を取る．まず，第 2 章で関連研究について述べる．続いて第 3 章では三つ組データの類似度を計算する方法を提案し，第 4 章では具体的に三つ組データを想定した上で，提案した複数の手法のうちいずれが適切かを述べる．
第 5 章では映画レビューデータにおいて，提案手法を用いてレ
ビュー値の予測を行う実験と実験結果について説明し，第 6 章
ではその結果を踏まえた考察を述べる．第 7 章では提案手法を利用し，クラウドソーシングデータを用いてグループ編成を行う実験と実験結果について説明し，第 8 章ではその結果を踏まえた考察を述べる．最後に第 9 章で，結論と今後の展望を述

2. 1 SimRank(Ai − Ā)2

√ ∑

i∈IAB

(1)

(Bi − B̄)2i∈IAB

ここで，Ā はユーザ A の評価の平均点，IAB は A, B 共に評価したアイテム，UI はアイテム i に評価をつけているユーザーの集合，Ai はユーザ A のアイテム i の評価，Bi はユーザ B のアイテム i の評価，B̄ はユーザ B の評価の平均値である．そして，これらをもとに，以下のようにユーザ A のアイテム i の評
価の予測 Âi を計算する．
∑(Bi − B̄)rAB

Âi = Ā +

B∈Ui

べる．

2 関連研究i∈IAB (Ai − Ā)(Bi − B̄)

= √ ∑

∑

|rAB |(2)

B∈Ui

さらに，Amazon.com における推薦では，アイテムを基準にした協調フィルタリングが使用されている [7]．Amazon.com
は当時 1000 万の顧客と商品を擁しており，この手法は巨大な本研究では，ワーカ間の類似度を計算する際に，Jeh らに

データの上で高い精度で推薦を行うために考えられた [8]．まよって提案された SimRank [3] の計算方法を拡張して用いる．

た，Resnick らによる協調フィルタリング [6] などのそれまでのSimRank の計算方法は，第 3 章にて説明する．

推薦手法と異なり，そのアイテムがユーザのどの行動による推SimRank は近年でも様々な場面で拡張・利用されている．

薦なのか，すなわちどのアイテムを購入したことにより推薦さSymeonidis ら [4] は，ニュース推薦システムに対して SimRank

れているのかがわかる [8]．アイテム間協調フィルタリングではを用いている．ニュース推薦システムでは，時間の情報を用いまず，アイテムが同じ人にに購入される傾向をもとに，アイテた推薦が重要となる．そこで，セッションと呼ばれるユーザー

ム間の類似度を計算する．アイテム X を購入したユーザの集操作のグループを考慮した，時間の経過とともに変化する異合を UX として，アイテム X, Y 間の類似度 rXY の計算式は次種グラフ (Heterogeneous Graph) に対して使用できるようにの通りである．

SimRank を拡張している．
Dey ら [5] は，スケールフリー性に着目した SimRank の拡張を提案している．実際の Web グラフは次数分布がべき乗則に従い，そのようなグラフ上ではスケールフリー性が重要なものの，従来の研究では近接する頂点が重視されておりスケールフリー
性については考慮されていなかった．Dey ら [5] は P-SimRank|UX ∩ UY |rXY = √
|UX ||UY |(3)

次に，アイテムを推薦したいユーザが興味を持っているとわかっているアイテムそれぞれに対し，類似するアイテム，すな
わち同じ人に購入されやすいアイテムを選出する．そして，選ばれたアイテムを組み合わせて，ユーザへ推薦を行う．

として，そのようなグラフに対して SimRank を適用できるよ
うな拡張を提案している．

2. 2 類似度に基づく評価値の予測手法

2. 3 クラウドソーシングの品質向上
第 7 章では，クラウドソーシングで収集したデータを使用した実験を行う．クラウドソーシングでは不特定多数のワーカが第 5 章で行う，映画レビューデータを用いたレビューの予測タスクに取り組む関係上，品質を向上させるための工夫が必要

実験に関連する研究として，Resnick ら [6] による協調フィルタ

不可欠であり，そのため品質向上についての様々な研究がなさ

リングがある．この研究では，ニュースサイトにおいて読者の好むニュースを予測するために使用されている．協調フィルタれている．Dawid ら [9] は複数の医師による診断の結果から正しい診断結果を推定する方法を提案している．推定には EM アルゴリズム [10] を利用した手法が提案されており，この研究は

s(x1 , x2 )=



0






1

クラウドソーシングの品質管理の研究の基礎ともなっている．
多数決と回答状況に注目した研究もなされている．Joglekar
ら [11] は，多数決において，回答の一致状況をもとに，ワーカ




C×







の誤り率とその信頼区間を推定する方法を提案し，精度の悪いワーカを除くことにより品質の向上に寄与した．松田ら [2] は，同じく多数決を行うケースで，回答の傾向が異なるワーカ同士(|I(x1 )| =| 0 or |I(x2 )| =| 0)
(x1 = x2 )(4)

|I(x1 )| |I(x2 b)|

∑

∑

i=1

s (Ii (x1 ), Ij (x2 ))j=1|I(x1 )||I(x2 )|(x1 =| x2 )

をグループにすることで精度を上げる方法を提案している．回

ここで，C は C ∈ [0, 1] の定数である．SimRank は，収束

答傾向の近しい人が同じクラスタになるようにクラスタリングするまで反復して計算することにより値を求める．C は計算をした上で，異なるクラスタのワーカ同士とグループとすること収束させるための収束定数である．反復計算に関しては第 3. 5で精度の高い多数決を行う．クラスタリングの手法としては，節で述べる．

ワーカの回答データをベクトル化しその距離を基にしたクラス

SimRank は，三つの条件式により計算式が分かれている．まタリングと，ワーカ間の親和度という概念を定義し利用したクず，一つ目の条件は (|I(x1 )| =| 0 or |I(x2 )| =| 0) である．これ

ラスタリングの 2 種類が提案されている．

は，頂点 x1 もしくは x2 がグラフ上で孤立点であることを表Welinder ら [12] は，画像アノテーションタスクのデータをもとに，画像のグルーピングを行う方法を提案している．提案

す．この時，s(x1 , x2 ) = 0 となり，全く類似しないという定義となっている．

手法は，画像の形成プロセスのモデルと画像アノテーションの次に，二つ目の条件である x1 = x2 は，頂点自身との類似度

プロセスに基づいている．Welinder らは，質的に異なる画像のの定義を表しており，s(x1 , x1 ) = 1，すなわち自分自身との類セットを発見するほか，異なるスキルや知識を持つワーカのグ

似度は 1 となる．

ルーピングも行っている．本研究では，SimRank の計算方法を拡張することにより画像のラベリングタスクには特化しない
類似度の推定方法を提案する．

最後に，三つ目の条件式である．これは，上記二つの条件に当てはまらない場合に適用される．

3. 3 構造をもとにした拡張
SimRank は通常のグラフに対する類似度計算方法であるが，3 提案手法異なる構造のグラフに対する拡張の一つとして，二部グラフに
本章では，SimRank の計算方法を拡張して三つ組データの対する計算方法が定義されている．

類似度を求める方法を提案する．

3. 1 想定するデータ構造
まず，本研究で想定するデータ構造を定める．本研究では，データが三つのオブジェクトが組となり構成されていると仮定する．さらに，区別のため，その三つのオブジェクトを (ワーカ，タスク，回答) であると仮定する．例えば，既定のアノテー
ションプリセットから選択する形式の画像アノテーションタス
クは，(ワーカ，画像，選んだアノテーション) という形で当て
はまり，映画の 5 段階レビュータスクは．(レビュア，映画，レ
ビュー値) という形で当てはまる．

3. 2 SimRank
SimRank [3] は，Jeh らによって提案された有向グラフ上
でノード間の類似度を計算する方法である．まず有向グラフ

G = (V, E) を考える．v ∈ V に対し，I(v) を v への入ノード集
合とし，個々の v への入ノードを Ii (v), 1 <=i<= |I(v)| とする．

二部グラフは，グラフ全体を G = (V, E) として V1 ∪ V2 =V, V1 ∩V2 = ϕ である．グラフは，x1 ∈ V1 , y1 ∈ V2 であるような(x1 , y1 ) の形のデータの集合であると捉えられる．I(x) を

x との組 (x, y) がデータとして存在するような y の集合，O(y)を y との組 (x, y) がデータとして存在するような x の集合とする．また，I(x) の個々のデータ y を Ii (x), 1 <=i<= |I(x)|，O(y) の個々のデータ x を Oi (y), 1 <=i<= |I(y)| とする．この時の類似度は次のように定義されている．

s1 (x1 ,x2 )=



0






1



C1 ×







(|O(x1 )| =| 0 or |O(x2 )| =| 0)
(x1 = x2 )|O(x1 )| |O(x2 )|

∑

∑

i=1

j=1

s2 (Oi (x1 ), Oj (x2 ))|O(x1 )||O(x2 )|(x1 =| x2 )(5)

2 頂点 x1 , x2 ∈ V の類似度を s(x1 , x2 ) と表すと，s(x1 , x2 ) は
以下のように定義されている．

s2 (y1 ,y2 )=



0






1

(|I(y1 )| =| 0or |I(y2 )| =| 0)
(y1 = y2 )(6)|I(y1 )| |I(y2 )|

∑



C2 ×




i=1



∑

s1 (Ii (y1 ), Ij (y1 ))j=1|I(y1 )||I(y2 )|(y1 =| y2 )

C1 , C2 はそれぞれ C1 , C2 ∈ [0, 1] の定数であり，収束のための定数である．

O(y) も (x, y) というデータが存在するような x の集合を表す．
これを三つ組データに拡張することを考える．三つ組データの式 (5) 及び式 (6) を見ると，二部グラフにおける類似度は，場合，頂点集合が V1 ∪ V2 ∪ V3 = V, V1 ∩ V2 = ϕ, V2 ∩ V3 =V1 に属する頂点同士，及び，V2 に属する頂点同士に対して計ϕ, V1 ∩ V3 = ϕ となるように分けられ，エッジ E が V1 , V2 , V3

算するように定義されていることがわかる． また，この時，V1

から 1 つずつノードを選んで繋ぐようなグラフを作るデータでに属する頂点同士の類似度をそれらの頂点が接続する V2 に属あると考えることができる．x ∈ V1 , y ∈ V2 , z ∈ V3 として，する頂点の類似度で，V2 に属する頂点同士の類似度をそれらの(ワーカ，タスク，回答) を (x, y, z) と表す．I(x) は (x, y, z) と頂点に接続する V1 に属する頂点の類似度で計算するような構いうデータが存在するような (y, z) の集合，I(y) は (x, y, z) と造となっていることがわかる．

いうデータが存在するような (x, z) の集合，I(z) は (x, y, z) と本研究で類似度を計算したいデータは，(ワーカ，タスク，回いうデータが存在するような (x, y) の集合と定義する．

答) の三つ組で構成されていると考える．この時，(ワーカ，タ

ここまでの検討をもとに，ワーカ同士の類似度を sw (x1 , x2 )，スク，回答) を (ワーカ，(タスク，回答)) という形で捉え，(タタ ス ク 同 士 の 類 似 度 を st (y1 , y2 )，回 答 同 士 の 類 似 度 をスク，回答) という組を 1 つのデータと見ることで，三つ組をsa (z1 , z2 )，(タスク，回答) のような組同士の類似度を計算する

二部グラフの構造に落とし込むことができる．これにより，二関数を s′ ((y1 , z1 ), (y2 , z2 )) で表すと，以下のようになる．

部グラフの SimRank 計算の式 (5)(6) を利用した類似度計算がCw ×可能となる．
しかしこの方法では，データ数が少ない時に疎なグラフ構造∑∑

s′ ((y1 ,z1 ),(y2 ,z2 ))(y1 ,z1 )∈I(x1 )(y2 ,z2 )∈I(x2 )sw (x1 ,x2 )=|I(x1 )||I(x2 )|となり，精密に類似度を計算できない．また，ワーカの類似度(7)の計算に，タスクの類似度，回答の類似度の値を用いないこととなり，計算に使用する情報量も少なくなってしまう．よって，二部グラフにおける SimRank 計算式 (5)，及び式 (6) に戻っ

∑

Ct ×

本研究では異なる拡張を提案する．

st (y1 ,y2 )=∑s′ ((x1 ,z1 ),(x2 ,z2 ))(x1 ,z1 )∈I(y1 )(x2 ,z2 )∈I(y2 )|I(y1 )||I(y2 )|て考える．二部グラフの場合前述の通り，V1 に属する頂点同士(8)の類似度をそれらの頂点が接続する V2 に属する頂点の類似度
で，V2 に属する頂点同士の類似度をそれらの頂点に接続する V1

Ca ×に属する頂点の類似度で計算する．同様に，三つ組データ (ワーカ，タスク，回答) における類似度の計算でも，(ワーカ，タスsa (z1 ,z2 )=∑∑s′ ((x1 ,y1 ),(x2 ,y2 ))(x1 ,y1 )∈I(z1 )(x2 ,y2 )∈I(z2 )ク，回答) を (x1 , y1 , z1 ) として，ワーカの類似度 s1 (x1 , x2 )，タ|I(z1 )||I(z2 )|(9)スクの類似度 s2 (y1 , y2 )，回答の類似度 s3 (z1 , z2 ) をそれぞれ定義し，各類似度の計算の中で残り 2 種類の類似度を使用する

なお，Cw , Ct , Ca はそれぞれ Cw , Ct , Ca ∈ [0, 1] の定数でことを考える．これにより，疎なグラフ構造を作る必要もなく，あり，収束のための定数である．

計算にもより多くの情報量を含めることができると考えられる．
さらに具体的な計算式を考える．式 (5)，及び式 (6) はどち

3. 4 データの特徴に対応した拡張らも三つの条件式に分かれて定義されている．まず一つ目は，

前節では，通常のグラフにおける SimRank の計算式と二部どちらかの頂点が孤立点の場合の計算方法である．この条件は，グラフにおける SimRank の計算式の構造と概念をもとに，三つ提案手法でもそのまま踏襲することとする．すなわち，ワーカ

組データに対する類似度計算のベースとなる式を提案した．本の類似度計算の場合，全く回答データのないワーカは，その他

節では，さらに，データの特徴を考慮して s′ ((y1 , z1 ), (y2 , z2 ))全てのワーカとの類似度は 0 となる．次に，二つ目は自分自身の計算方法を複数提案する．なお本節では，ワーカの類似度をとの類似度を定義している．この条件も，そのまま踏襲する．

計算する際に使用する式 (7) をもとに拡張を考えるが，タスク

すなわち，ワーカの類似度計算の場合，ワーカのそのワーカ自の類似度を計算する際の式 (8) と回答の類似度を計算する際の身との類似度は 1 となる．

式 (9) にも同様の拡張を考えられる．

拡張が必要なのは，それ以外の場合に当てはまる三つ目の条

sw (x1 , x2 ) でワーカの類似度を計算する際，計算中に現れる件式である．まず，I(x) に当てはまるものが明確ではない．次関数 s′ は (タスク，回答) の組み合わせ同士の類似度を計算すに，新たな I(x) の定義に合わせ s((y1 , z1 ), (y2 , z2 )) についてる関数となる．(タスク，回答) の組み合わせが類似しているとも検討する必要がある．

いうことは，タスクが類似しており，かつ回答も類似している

まず，I(x)，I(y)，I(z) を考える．二部グラフの場合，グラフ全ことと考えることができる．タスクの類似度と回答の類似度は体を G = (V, E) とすると．頂点集合は V1 ∪V2 = V, V1 ∩V2 = ϕ

それぞれ計算することができるため，これを利用してこの条件となるように分けられる．x ∈ V1 , y ∈ V2 とすると，グラフはが成り立つように定めれば良い．これは提案するすべての手法(x, y) の形のデータの集合であると捉えられる．この時，I(x) はで成り立つべき条件とする．

(x, y) というデータが存在するような y の集合である．同様に，タスクのみが類似している場合，回答のみが類似している場

合，あるいはどちらも類似していない場合に関しては，さまざ

件は s′′
2 の条件よりも弱まって，次のようになる．

まなケースを想定することができる．これらのケースに合わせ（ 1 ） f (0, 1) = f (0, 0)て，複数の計算方法を提案する．

（ 2 ） f (1, 1) > f (0, 0)′

なお，前述の通り，この s ((y1 , z1 ), (y2 , z2 )) の計算では，タスク間の類似度とワーカ間の類似度を使用したい．そこで，s′ ((y1 , z1 ), (y2 , z2 )) = s′′ (st (y1 , y2 ), sa (z1 , z2 ))(10)

これは，シグモイド関数が a > 0 であれば単調増加することと，

s′′2 (1, 0) < s′′2 (0, 1) = s′′2 (0, 0) < s′′2 (1, 1) であることから得られる．

として，(タスクの類似度, 回答の類似度) を引数に取るような関数 s′′ について考える．

まず，関数 f の一つ目の条件を満たすために，f (y, z) =y × g(z) とする．これにより，f (0, z) = 0 となるため，関数 f3. 4. 1 提案手法 1の一つ目の条件は満たされる．

最も単純な方法として，(タスク，回答) の組み合わせを，タスクの類似度と回答の類似度の積で定める．これは，次のように数式化できる．

s′′1 (y, z) = y ∗ z（ 3 ） f (0, 0) < f (1, 0)

f (1, z) = g(z) より，関数 f の二つ目，三つ目の条件はそれぞれ，2. g(1) > 0(11)

3. g(0) < 0となる．簡単のために

3. 4. 2 提案手法 2式 (11) は ，タ ス ク の 類 似 度 st (y1 , y2 ) と 回 答 の 類 似 度

sa (z1 , z2 ) の両方が低い時にはワーカの類似度が低くなるよ
うに作用する．また，st (y1 , y2 ) と sa (z1 , z2 ) のどちらか一方のみが低い場合にも，積を取る関係上ワーカの類似度が低くなる

2’. g(1) = 0.5
3’. g(0) = −0.5とすると，値域の幅が 1 となり，シグモイド関数を使用でき
る．シグモイド関数を使用する場合，パラメータの調整によりように作用する．しかしこれは，必ずしも適切であるとはいえg(z) = 0 となるような z の値を指定することができる．今回ない．

は，g(sa ) = 0 という形にすることとした．

例えば，ワーカが取り組むタスクを選べないような状況の場

ここまでで十分に条件を定められたため，使用する 2 つのシ合，取り組んだタスクが似ていないことでワーカの類似度がグモイド関数のパラメータを計算する．まず，g(z) について考低いとすることは不適切だと考えられる．よって，そのようなえる．g(z) にはシグモイド関数を使用するので，ケースに対応するよう，タスクの類似度が低いときにはワーカ

g(z) =の類似度への影響を減らすような式を考える．なお，タスクの1
1 + e−ag z+bg(13)

類似度が高いときには，これまで通りラベルの類似度によってとおき，条件からパラメータを決定する．g(z) の取る条件

ワーカの類似度にどのように作用させるかを決める．

は，g(1) = 0.5，g(0) = −0.5，g(sa ) = 0 であるが，この類似度への影響を減らすとは，その類似度の平均値をとるということが考えられる．ここまでを踏まえると，以下の 4 つの条件が得られる．なお、ワーカの類似度の平均を sw ，タスクの類似度の平均を st ，回答の類似度の平均を sa とする．

内 g(1) = 0.5，g(0) = −0.5 はシグモイド関数の値域の関係
上同時に満たすことができない．そこで，整数 c を用いて，

g(1) > 0.5 − 10−c ，g(0) > −0.5 + 10−c という条件とする
ことで，同時に満たせるようにする．整数 c の取るべき値については後述する．シグモイド関数の値域が 0 < S(x) < 1（ 1 ） s′′2 (1, 1) = 1

で ，g(z) の 値 域 が −0.5 < S(x) < 0.5 で あ る こ と か ら ，（ 2 ） s′′2 (1, 0) = 0

g(z) = 1+e−a1g z+bg − 0.5 とする．これにより，次の 3 式が（ 3 ） s′′2 (0, 1) = sw

得られる．

（ 4 ） s′′2 (0, 0) = sw

であり，定義域としては全ての実数を取り値域が 0 < S(x) < 1

1> 1 − 10−c
1 + e−ag +bg
1> 10−cg(0) =
1 + e bg1
g(sa ) == 0.5
1 + e−ag ×sa +bgとなる，座標点（0, 0.5）を変曲点とした点対象な関数である．

まず，式 (16) より，

ここで，シグモイド関数 S(x) を使用することを考える．

1
S(x) =
1 + e−ax+b(12)a, b はパラメータである．標準シグモイド関数は a = 1, b = 0

g(1) =

(14)
(15)
(16)

sw の平均は，孤立点との類似度が 0，自分自身との類似度が1 という定義から，sw の平均が 0 や 1 になることは実際のデー
タではほぼ起こり得ず，0 < sw < 1 であると考えられる．よっ′て，s′2 の値域は 0 <= 1 であると考えられる．x の値が何
= s2 <の時に S(x) = sw となるようにするかはパラメータによって決められる．よってひとまず s′′
2 (y, z) = S(f (y, z)) という形にす

bg = s a × agが得られる．これらを代入した上で，式 (14) よりag >1loge (10c − 1)
1 − sa(18)が，式 (15) からはることとし，新たに置いた関数 f (y, z) の挙動を考える．
シグモイド関数を使用することにより，関数 f の取るべき条

(17)

ag >

1
loge (10c − 1)
sa

(19)

が得られる．式 (18) と式 (19) はいずれも ag に関する条件式

第 3. 4. 2 小節では，タスクの類似度が低いときにはワーカのであるが，sa の平均が 0.5 の時

11loge (10c − 1) =loge (10c − 1)
1 − sasa

3. 4. 3 提案手法 3(20)

類似度への影響を減らし，タスクの類似度が高いときには，ラベルの類似度によってワーカの類似度にどのように作用させるであるので，sa の平均が 0.5 より大きい時は式 (18) が，それかを決めるような方法を提案した．これは逆に，ラベルの類似

以外は式 (19) が採用される．

度が低いときにはワーカの類似度への影響を減らし，ラベルの′′次に，s′′
2 (y, z) を考える．s2 (y, z) は，

s′′2 (y, z) = S(f (y, z))S(w) =

1
1 + e−as ×w+bs

類似度が高いときには，タスクの類似度によってワーカの類似

(21)
(22)

であり，f (x) の値域が −0.5 < f (x) < 0.5 であることから，条件を式に代入すると次のとおりとなる．
（ 1 ） S(0.5) = 1（ 2 ） S(−0.5) = 0

3,4. S(0) = sw
これにより次の３式が得られる．

1> 1 − 10−c
1 + e−as ×0.5+bs1
S(−0.5) => 10−c1 + eas ×0.5+bs1
S(0) == sw
1 + e bgS(0.5) =

(23)
(24)
(25)

まず，式 (25) より，(26)

ラベルを入れ替える形で実現することができる．

1
1 + e−as ×f (y,z)+bs
)
(
1
−
0.5
f (y, z) = z ×
1 + e−ag ×(y−st )1 − sw
bs = logsw(sw
as = max −2 log,(1 − sw )(10c − 1))
sw × (10c − 1)2 log
1 − sw()
11
ag = maxloge (10c − 1), loge (10c − 1)
1 − ststs′′3 (y, z) =sw
(1 − sw )(10c − 1)

(35)
(36)

(37)

(38)

第 3. 4. 2 小節及び第 3. 4. 3 小節では，タスクの類似度とラベ取った．これらを組み合わせることで，双方ともにシグモイド(27)

関数にかけた上で積を取るという計算手法も考えることができる．まず提案手法となる式を構成した上で，その式の持つ意味

が，式 (24) からは

sw × (10 − 1)
1 − swを検討する．

c(28)

まず，f (y, z) を(が得られる．式 (27) と式 (28) はいずれも as に関する条件式
であるが，sw の平均が 0.5 の時 2 つは同じ式となる．sw の平f (y, z) =均が 0.5 より大きい時は式 (27) が，それ以外は式 (28) が採用

1

a1 = max((29)

1 + e−as ×f (y,z)+bs()
1
f (y, z) = y ×
−
0.5
(30)
1 + e−ag ×(z−sa )1 − sw(31)
bs = logsw(sw
as = max −2 log,(1 − sw )(10c − 1)
(32))
sw × (10c − 1)2 log
1 − sw()
11
ag = maxloge (10c − 1),loge (10c − 1) (33)
1 − sasa
なお，整数 c が大きくなればなるほど，s′′2 (1, 1) は 1 に近づく．一方で，シグモイド関数の変曲点付近で急激に傾きが変化するようになるので，変曲点周辺を除く多くの範囲で両端と同じような値を取るようになってしまう．本研究ではこのラバンスを鑑み，c = 3 とした．

1+e
(
(

ここまでの議論により，次のような式を提案する．

a2 = max

)

1

×

される．

s′′2 (y, z) =(34)

ルの類似度の一方をシグモイド関数にかけ，もう一方との積をが得られる．これらを代入した上で，式 (23) より

as > 2 logができる．この場合数式としては手法 2 の計算上でのタスクと3. 4. 4 提案手法 4

1 − sw
bs = logsw

as > −2 log

度にどのように作用させるかを決めるという方法も考えること− 0.5−a ×(y−s )

1+e

t

1

1

)

(39)

− 0.5
−a ×(z−s )
2

a

1
1
loge (10c − 1), loge (10c − 1)
1 − stst)1
1loge (10c − 1),loge (10c − 1)
1 − sa
sa

(40)
)
(41)

とする．
1
この時，0 <=
= 1+e−a1 ×(a−st ) <= 1 ，0 <1
1+e−a2 ×(b−sl )<= 1であり，−0.25 <== 0.25 となる．これを，−0.5 <= f (y, z) <′′<f (y, z) = 0.5 とすれば，s2 や s′′3 の計算式に現れる f (y, z) にそのまま当てはめて利用できるため，f (y, z) を 2 倍して使用することとする．
これらをまとめると，次のような式が得られる．

1
1 + e−as ×f (y,z)+bs

s′′4 (y, z) =(42)

f (y, z) = 2×
(
) (
)
1
1
−
0.5
×
−
0.5
1 + e−a1 ×(y−st )1 + e−a2 ×(z−sa )4 類似度の特徴と分類
第 3 章で，三つ組データの SimRank の計算方法として複数の種類を提案した．これらの式はそれぞれ結果として算出される類似度の持つ意味が異なると考えられる．同様に，三つ組
データの持つ特性によって，求めたい類似度は異なる．本章で

(43)

(

sw
as = max −2 log,(1 − sw )(10c − 1)2 log

sw × (10c − 1)
1 − swは，複数の三つ組データを対象に，それらに対しどのような類似度がもとまることが適切かを示した上で，対応する類似度の

)

(44)

1 − sw
bs = log
(45)
sw
(
)
1
1
a1 = maxloge (10c − 1), loge (10c − 1)(46)
1 − stst()
1
1
a2 = maxloge (10c − 1),loge (10c − 1) (47)
1 − sasa

計算式を示す．

4. 1 類似度の場合分け
データの特性や類似度の使用方法をもとにどの手法を使用するかを決める前に，類似度の求め方は二通り考えることができる．
一つは，「似ているタスクに似ている回答をつけるワーカは似ている」「似ているワーカが似ているタスクにつける回答は似

これは，タスクの類似度とラベルの類似度の両者が低いときている」「似ているワーカが似ている回答をつけるタスクは似にワーカの類似度が高くなるように作用する式である．三者をている」という概念を定義であると考える方法である．つまり入れ替えると，ワーカの類似度とタスクの類似度の両者が低い

これを命題であると捉え，論理的に考えて適用する手法を選ぶ．

ときにラベルの類似度が高くなる・ワーカの類似度とラベルのもう一つは，実際の「類似する」を表せるように数式を使う

類似度の両者が低いときにタスクの類似度が高くなる，という方法である．例えば映画のレビューデータであれば，映画に対式となる．

しては人間の想定する「類似する」という概念が存在する．同3. 4. 5 提案手法 5

じようなジャンルであり，同じようなストーリー展開が行われまた，他の例として，タスクの類似度 st (y1 , y2 ) と回答の類る映画は似ていると考えられるだろう．このような一般に想定

似度 sa (z1 , z2 ) の両方が低い時にはワーカの類似度が低くなる

される「類似する」を推定できるように，どの提案手法を使う

ように，タスクの類似度 st (y1 , y2 ) と回答の類似度 sa (z1 , z2 )かを決定する．

のどちらか一方のみが低く他方が高い場合は一定の値をとるよ

4. 2 類似を定義する方法

うにしたいということが考えられる．このような場合に対し，

st (y1 , y2 ) と sa (z1 , z2 ) すわなち s′′ (y, z) の引数 y, z の和をとる形の式を提案する．

s′′5 (y, z) =p × y + (1 − p) × z(48)

まず，類似するを定義する方法で考える．
すべての手法で共通して採用した考え方として，•類似するタスクに類似する回答をつけるワーカは類似•

類似するワーカが類似するタスクにつける回答は類似•

類似するワーカが類似する回答をつけるタスクは類似

なお，この式にはパラメータ 0 < p < 1 を含む．この値を調節というものがある．これを定義であると考え，論理的に導けるすることで，タスクの類似度とラベルの類似度のどちらかの影

その他の条件を検討する．

響を大きくする，あるいは両者同じ影響とすることができる．

まずこれらの定義を，次のように書き換える．

3. 5 実際の計算について•

タスクが類似 ∧ 回答が類似 ⇒ ワーカは類似•

ワーカが類似 ∧ タスクが類似 ⇒ 回答は類似•

ワーカが類似 ∧ 回答が類似 ⇒ タスクは類似

SimRank は，反復によって計算される．k 回目の試行により計算される SimRank を Rk (∗, ∗) と表すこととする．この時，初期値 R0 (∗, ∗) を
R0 (a, b) =



0
1

(a =
| b)

(49)

(a = b)

これらを命題とし，それぞれ対偶をとると，•ワーカは非類似 ⇒ タスクが非類似 ∨ 回答が非類似•

回答は非類似•タスクは非類似 ⇒ ワーカが非類似 ∨ 回答が非類似⇒ ワーカが非類似 ∨ タスクが非類似という命題が得られる．この時，タスク x1 , x2 に対して「似てとして，Rk+1 (∗, ∗) を Rk (∗, ∗) から以下のように計算できる．

いないワーカが似ている回答をつけた」というデータがあった|I(a)||I(b)|場合を考える．
「ワーカは似ていない ⇒ タスクが似ていない ∨∑ ∑C
Rk+1 (a,b)=
Rk (Ii (a),Ij (b))|I(a)||I(b)| i=1 j=1(50)

回答が似ていない」に着目すると，ワーカが似ていないため，
タスクか回答のどちらかは似ていないことになる．回答は似て二部グラフにおける SimRank に関しても同様である．本研究でいるというデータなので，結果としてタスク a, b が似ていない

提案した手法の計算も，SimRank と同様に反復によって行う．

方に作用するように計算すべきである．同様に，回答 z1 , z2 に対して「似ていないワーカが似ているタスクにつけていた」と

4. 3. 1 映画レビューデータと，それを用いたレビュー値予測

いう場合，「ワーカは似ていない ⇒ タスクが似ていない ∨ 回答

第 5 章で用いることを前提に，映画のレビューデータに対しが似ていない」に着目して，回答 z1 , z2 が似ていない方に作用て類似度を計算することを考える．レビューデータは，レビュするように計算すべきである．残りの二つの命題にも同じこと

アが映画に対し 5 段階評価を行うというものを想定する．実験が考えられ，これより次の 6 つの命題を得ることができる．

では，協調フィルタリングを応用した手法で，レビュアが未視•

ワーカが非類似 ∧ 回答が類似 ⇒ タスクは非類似聴の映画に対して評価値の予測を行う．実験の詳細は第 5 章で•ワーカが非類似 ∧ タスクが類似 ⇒ 回答は非類似説明する．なお，類似度の計算の際，レビュアをワーカ，映画•

タスクが非類似 ∧ 回答が類似 ⇒ ワーカは非類似をタスク，レビュー値を回答と考えて計算する．

•

タスクが非類似 ∧ ワーカが類似 ⇒ 回答は非類似 · · · (⋆)

実験において，最終的な評価値予測にはレビュアの類似度の•回答が非類似 ∧ ワーカが類似 ⇒ タスクは非類似 · · · (⋆)

みが使用され，映画や回答の類似度はレビュアの類似度を求め•回答が非類似 ∧ タスクが類似 ⇒ ワーカは非類似

るために間接的にのみ使用される．そこでまず，レビュアの類

ここまでの議論により，ワーカの類似に関しての定義は，似度を考える．今回は映画のレビュー値の予測を行う．協調フィ•タスクも回答も似ている時ルタリングでは，共通して評価している映画に同じような評価•タスクは似ているが回答は似ていない時をつけている人を探し，それらの人と同じように評価するだろ•回答は似ているがタスクは似ていない時

うということと，逆に正反対の評価をつけている人とは正反対の 3 つが得られており，パターンとして不足している定義はの評価をするだろうという考え方で予測を行なっている．今回「タスクも回答も似ていない時」である．ここで，の実験では協調フィルタリングで使用する評価の一致度合いを•タスクが非類似 ∧ 回答が非類似 ⇒ ワーカが非類似とすると，その対偶は•ワーカが類似 ⇒ タスクが類似 ∨ 回答が類似となるが，これは (⋆) のついた条件と矛盾する．

類似度で代用する．そのため，レビュアの類似度としては，映画の嗜好が似ている人を高い類似度であるとするのが好ましいと考えられる．
嗜好という観点からレビュアの行動を考える．レビュアは自タスクが非類似 ∧ 回答が非類似 ⇒ ワーカが類似

分の好みの映画を選んで視聴する．そのため，見ている映画がとすればこのような矛盾は生じないため，これを採用する．タ

類似していないレビュアは似ていないと考えられる．また，似スク，回答にも同じ議論ができる．

ている映画を見ている場合でも，評価が似ていない場合はその•これらの定義をまとめると，ワーカの類似度，タスクの類似度，回答の類似度の計算式はすべて，式 (10) が同じ以下の条件を満たす式であることが求められる．

レビュアは似ていないと考えられる．この考えに対応する手法
は提案手法 1 である．
次に，映画の類似度について考える．似ていないレビュアが•s′ (1, 1) = 1

似ている評価をつけた場合を考える．評価が似ているというこ•s′ (1, 0) = 0とは，その映画に対し好きであるか否かが似ていると考えられ•

s′ (0, 1) = 0

る．レビュアの類似は好みの類似であるとしたので，似ていな•′s (0, 0) = 1

いレビュアが同じような好みであることを示している映画は似

これを満たす式は提案手法 4 のみである．よって，この考え方ていないと考えられる．似ているレビュアが似ていない評価をから得られる最終的な類似度の計算式には，ワーカの類似度，つけた場合を考える．この時，上記で定めたレビュアの類似度

タスクの類似度，回答の類似度の計算全てに提案手法 4 を用いの検討から考えると，似ているレビュアが行うのは似ている映る．なお，挙げられている式はワーカの類似度計算中に用いる画に対し似ている評価をつけることだけである．すなわち，似タスクの類似度と回答の類似度からの計算式であるが，式中のているレビュアが似ていない評価をつけることは起こり得ない

各種平均値を対応するものに変更することで，タスクの類似度はずである．よって，似ているレビュアが似ていない評価をつ計算や回答の類似度計算に用いるものが得られる．

けたというデータが存在した場合は一種のイレギュラーである

また，この考え方は，議論の最中に三つ組データの中身が実と考え，映画の類似度に影響させないことが望ましい．似てい際何であるかは考慮していない．すなわち実際に三つ組がどのないレビュアが似ていない評価をつけたことについて考える．

ようなデータであるかは問わない手法であり，どのようなデー

似ていないレビュアの行動も上述のレビュアの類似度の検討かタに対しても使用できると考えられる．

ら読み取れるが，似ていないレビュアには「似ていない映画を

4. 3 想定する類似を表す方法
次に，実際に想定される「類似する」を推定する方法を考える．このためには，計算に使用するデータと，類似度をどのように使用するかを明らかにした上で考える必要がある．
本研究では，第 5 章と第 7 章で使用することを前提として，
そのような状況で使用できるようにワーカ，タスク，回答それぞれに対し用いる提案手法を検討する．

見ているので (つけた評価に関わらず) 似ていない」場合と，「似ている映画に似ていない評価をつけたので似ていない」場合がある．ここから考えると，似ていないレビュアは似ている映画にも似ていない映画にも似ていない評価をつけ得るので，似ていないレビュアが似ていない評価をつけたことも映画の類似度に影響させないことが望ましい．この考えに対応する手法は提案手法 3 である．なお，第 3 章で示している数式はワーカの類
似度に対するものである．式中の sw の平均値は st の平均値に，

st の平均値は sw の平均値に変更して計算する．

ているラベルをつけている場合を考える．ワーカが似ていない

最後に，評価の類似度について考える．似ていないレビュアということは回答傾向が似ていないということであるが，もしは嗜好が違うので，似ている映画には似ていない評価をつける

この画像が似ているならこのワーカらは似ている画像に似ていことが期待される．一方，似ているレビュアが似ていない映画

るラベルをつけたということになり，回答傾向が似ていないとに対してつける評価は，同じような嗜好をしていても映画が違いうことに矛盾する．よって，似ていないワーカが似ているラ

うのであれば評価は似ていることも似ていないことも想定されベルをつけている場合その画像は似ていない．似ているワーカ得るので，評価の類似度に影響させないことが望ましい．最後が似ていないラベルをつけることを考える．似ていないラベルに，似ていないレビュアが似ていない映画につけた場合であるは似ている画像にも似ていない画像にもつけることが想定されが，これも同様に評価値が似ているケースも似ていないケース

るので，画像の類似度に影響しないようにする．最後に，似ても考えられるため，類似度にできるだけ影響させないことが望いないワーカが似ていないラベルをつけた場合を考えるが，同ましい．この考えに対応する計算式は提案手法 3 である．なお，

様に，似ていないワーカが似ていないラベルをつけたことから

第 3 章で示している数式はワーカの類似度に対するものである．

は情報が得られないので，画像の類似度に影響しないようにす

式中の sw の平均値は sa の平均値に，st の平均値は sw の平均

る．この考えに対応する計算式は提案手法 3 である．なお，第値に変更して計算する．

3 章で示している数式はワーカの類似度に対するものである．

4. 3. 2 犬科の画像ラベリングデータと，それを用いた多数決の精度向上式中の sw の平均値は st の平均値に，st の平均値は sw の平均値に変更して計算する．

第 7 章で用いることを前提に，犬科の画像ラベリングデー

最後に，ラベルの類似度について考える．似ていないワーカ

タに対して類似度を計算することを考える．タスクは，ワーカ

は回答傾向が似ていないので，似ている画像には似ていないラが，提示される複数のイヌ科の画像それぞれに対し，示されたベルをつけるはずである．似ていない画像に対しては，似ていいくつかのイヌ科の名称 (ラベル) から一つを選択することをるラベルをつける可能性も似ていないラベルをつける可能性も想定する．このとき与えられるラベルは，Alaskan Malamute，

考えられる．そのため，レビュアの類似度を問わず，似ていな

Siberian Husky，Samoyed，German Shepherd，Gray Wolf，

い画像に対してラベルをつけたデータは，ラベルの類似度に影

Coyote，Dhole の 7 種類である．実験では，ワーカを複数のグ響させないこととする．この考えに対応する計算式は提案手法

ループに分けてタスクに取り組み，グループ内で多数決を取る

3 である．なお，第 3 章で示している数式はワーカの類似度にことで一つの選択肢を選出することを想定し，より正答率の向対するものである．式中の sw の平均値は sa の平均値に，st の上するようなグルーピングを計算する．実験の詳細は第 7 章で平均値は sw の平均値に変更して計算する．

説明する．なお，類似度の計算の際，画像をタスク，選ばれたラベルを回答と考えて計算する．
実験において，最終的な評価値予測にはワーカの類似度のみが使用され，映画や回答の類似度はワーカの類似度を求めるた
めに間接的にのみ使用される．そこでまず，ワーカの類似度を考える．今回はワーカの解答をもとにグループの編成を行う．
実験は，松田ら [13] らの研究による考え方を元に行う．この研究では，グループを編成する際にワーカが同じ間違えの選択肢

5 映画レビューデータを用いたレビュー値予測実験
本節では，第 4 章で述べた提案手法を用いて行なった，映画
レビューデータを用いたレビュー値予測実験の内容とその結果について述べる．本実験の目的は，提案手法の有効性を検証することである．

5. 1 実験の概要に偏らないように編成することで，精度が向上することを示し

この実験は，映画レビューデータをもとに，レビュー値の予ている．よって，今回の実験で使用したいワーカの類似度は，測を行う．予測は，5. 3. 1 節で説明する提案手法と 5. 3. 2 節でワーカの回答傾向の類似性であり，これを求められるようにど説明する比較手法の 2 種類を行う．評価は平均絶対誤差 (MAE)の提案手法を用いるか検討する．

を利用する．平均絶対誤差は次の式 (51) で計算される値であ

ワーカはどの画像にラベルをつけるかを選ぶことはできない．

る．ここで，n はテストデータ数，ri は i 番目のテストデータ

そのため，画像が似ているか否かのみでワーカの類似度は判断の実際のレビュー値，r̂i は i 番目のテストデータの予測値でできない．また，ワーカはどのようなラベルもつける可能性がある．

あるため，ラベルの類似度では判断できない．そのため，組み合わせての判断が必要となる．まず，似ている画像に似ている
ラベルをつけるワーカは似ていると考えられ，逆に似ている画像に似ていないラベルをつけるワーカは似ていないと考えられ

1∑|r̂i − ri |n i=1n

M AE =(51)

5. 2 使用したデータ

る．似ていない画像に対しては，似ているラベルがつけられる

実験は，以下のデータに対して行った．

ことも似ていないラベルがつけられることも考えられるため，

5. 2. 1 全 デ ー タ

類似度にできるだけ影響させないことが望ましい．この考えに利用したデータは，Yahoo!映画 [14] より収集した，映画に対対応する計算式は提案手法 2 である．
次に，画像の類似度について考える．似ていないワーカが似するレビューデータである．このデータは，249,550 人が 33,795
本の映画に対して行った 1,288,705 件のレビューが含まれる．

表1

定も行う．協調フィルタリングによる予測の方法は，第 2 章でデータセット A, B, D, D, E, F の説明

対象映画

対象人

映画 人
(本) (人)A〜100 位〜100 位

109

100

5393

1000

B

〜20 位

〜100 位

24

91

1365

270

C

〜100 位

〜20 位

148

21

2218

450

〜100 位

35

99

216

40

80 位〜100 位

166

20

880

170

D 80 位〜100 位
E
F〜100 位
〜50 位

〜50 位

52

52

レビュー 内テスト
(件)
(件)

1448

289

説明している．

5. 4 実験の詳細
5. 4. 1 実験 1: 提案手法間の比較
第 3 章で，計 5 通りの類似度計算手法を提案した．また，この 5 通りの特徴を踏まえ，第 4 章においてワーカ，タスク，回
答にどの手法を適用するのが相応しいかを検討した．
本実験では，ワーカ，タスク，回答に対してそれぞれ計 5 通

今回の実験では，Yahoo!映画より収集できるレビュー情報のうち、映画の ID，プロフィール URI，レビュー値を使用し、映画の ID を映画の識別に、プロフィール URI をワーカの識別に使用した。

りの類似度計算手法を適用した，全 125 の計算方法の組合せの精度を比較する．これにより，第 4 章で検討した組合せがふさ
わしいことを示す．
実験には，計算速度を考慮しデータセット F を使用した．また，計 5 回実験を行った上で結果を平均して比較することとし

5. 2. 2 データの選択
本データは非常に大きく，全データを使っての実験は困難であるため，各映画，各レビュアのレビュー件数を求め，レビュー数の順位が一定の順位以上の映画とレビュアを選ぶことで 6 個のデータセット A, . . . , F を作成した．各データセットの作成に用いた映画とレビュアの順位の範囲を表 1 に示す．例えば，
データセット B は，レビュー数が 20 位以上（20 位タイを含む）の映画とレビュー数が 100 位以上（100 位タイを含む）のレビュアからなるデータセットである．映画・レビュアはそれぞれレビュー件数を計算し，表 1 に書かれている順位のデータを抽出した．映画の抽出は対象映画のカラムの順位を，レビュ
アの抽出は対象人のカラムの順位を使用している．

た．各回では同じテストデータを使用して 125 通りの組合せに対し実験を行い，回が変わるごとにテストデータをランダムに選択し直した．

5. 4. 2 実験 2: 提案手法と既存手法の比較
本実験は，データセット A, . . . , E に対し，F を用いた実験 1で上位となった 5 通りの組合せと比較手法を使用して行う．これにより，提案手法が既存の手法と比較して有効であることを示す．
実験は，データセットごとにそれぞれ計 5 回実験を行った上で結果を平均して比較することとした．各回では同じテスト
データを使用して 5 通りの組合せ及び比較手法に対し実験を行い，回が変わるごとにテストデータをランダムに選択し直5. 3 予 測 手 法

した．

5. 3. 1 提 案 手 法
第 3 章で述べた手法による類似度計算方法を使用して，レ
ビュー値の予測を行う．
まず，テストデータを除いたデータを使用し，類似度の計算を行う．類似度は，レビュアをワーカ，映画をタスク，レビュー値を回答と考えて計算する．収束定数 C1 , C2 , C3 は 0.8 とする．
ワーカ，タスク，レビューの計算に第 3 章で述べた提案手法のいずれを使用するかは，第 5. 4 小節にて行う実験ごとに述べる．
類似度の計算後，その値をもとにテストデータに対しレビュー
値の予測を行う．予測は，協調フィルタリングによる予測式に類似度を当てはめた次の式 (52) により行う．

∑
Âm = Ā +B∈Um

(Bm − B̄) × sim(A, B)∑

6 映画レビューデータを用いたレビュー値予測実験に対する考察本研究で提案した手法を用いた第 5 章の実験について考察する．
実験の結果は，表 2，表 3 の通りである．表中の数字は平均絶対誤差であり，太字は各データセットで最も誤差が小さかった項目を表している．なお，表 2 は上位の組合せ 5 通りと下位の組合せ 5 通り，及び 4. 2 で示した組合せであるワーカ，タス
ク，回答全てに提案手法 4 を用いた組合せのみを記載している．

6. 1 提案手法間の比較(52)

sim(A, B)

B∈Um

ここで，U を全レビュアとして A, B ∈ U であり，Ui はアイ
テム i に評価をつけているユーザーの集合，Am はレビュア A

実験 1 では，第 3 章で提案した計 5 通りの類似度計算手法を
ワーカ，タスク，回答に対してそれぞれ適用し，出来た 125 の組合せの精度を測定した．
最も性能が良かったのは，ワーカ，回答に提案手法 1 を，タが映画 m に対して行ったレビュー，Ā は A のレビューの平均

スクに提案手法 3 を適用した手法であった．一方，第 4 章にお値，Bm はレビュア B が映画 m に対して行ったレビュー，B̄

いて提案した，映画レビューデータを用いて映画レビューの予は B のレビューの平均値である．sim(A, B) は式 (7) で得られ測を行うというケースに合わせた組合せは，第 2 位であった．

る類似度である．

最も良い成果が得られたとは言えないが，全部で 125 通りある

5. 3. 2 比 較 手 法
提案手法の有効性を示すため，協調フィルタリングによる推ことを考えると，一定の精度が得られたと考えられる．
また，上位データと下位データを比較すると，上位に入って

表2

表4

実験 1 の結果

データセット F で実験 1 で 1 位となった組合せによる類似度計

順位

ワーカ

タスク

回答

平均絶対誤差1

提案手法 1

提案手法 3

提案手法 10.70482

提案手法 1

提案手法 3

提案手法 30.70513

提案手法 1

提案手法 4

提案手法 30.70521

4

提案手法 1

提案手法 1

提案手法 30.7052

2 0.0025249

5

提案手法 1

提案手法 3

提案手法 20.7052106

提案手法 4

提案手法 4

提案手法 40.7110121

提案手法 4

提案手法 1

提案手法 20.7120122

提案手法 4

提案手法 2

提案手法 30.7122123

提案手法 4

提案手法 2

提案手法 50.7123124

提案手法 4

提案手法 2

提案手法 10.7123

実験 2 では，様々なサイズのデータセットに対して提案手

125

提案手法 4

提案手法 2

提案手法 20.7123法と比較手法による予測を行った．結果として，全てのデータ算を行った際レビュー値の類似度
レビュー値

レビュー値

1

2

3

4

5

1

-

-

-

-

1

-

-

-

1

-

-

1

-

3 0.0015875 0.0017589

4 0.0014451 0.0014967 0.0017073

表3
手法

さらに良い精度で予測できるのではないかと考えられる．

6. 2 提案手法の精度ついてセットで提案手法による予測の方が比較手法による予測よりも実験 2 の結果

少ない誤差で予測できた．

提案手法の組合せ順位

1位

5 0.0014811 0.0013089 0.0013109 0.0015671 1

2位

3位

4位

5位

比較手法

比較手法である協調フィルタリングは，予測したいレビュア

データセット A

0.715 0.715 0.715 0.715 0.715

0.725との相関係数が計算できないレビュアは予測の算出に使用する

データセット B

0.728

0.729

0.730

0.731

0.730

0.748

ことができない．一方提案手法の類似度計算の場合，データ全

データセット C

0.624

0.623

0.622

0.621

0.620

0.638

体が完全に分割されていない限り全てのレビュア間で類似度がデータセット D

0.792

0.789

0.783

0.784

0.784

0.820

計算できる．つまり，提案手法は比較手法多くのデータを使用

データセット E

0.858

0.856

0.852

0.851

0.850

0.901

することができるため，より少ない誤差での予測が可能になったと考えられる．

いる手法に共通する点として，予測に使用するワーカの類似度

一方，データセット A〜C と，データセット D 及びデータ

が第 4 章において提案した提案手法 1 であるということがあ

セット E では，提案手法と比較手法の誤差の差が異なり，デー

り，これは下位には見られない傾向であった．さらに，第 4 章

タセット A〜C では比較的誤差の差が小さかった．データセッ

において提案した，ワーカ，タスク，回答全てに提案手法 4 を

ト A C は，データセット D 及びデータセット E に比べ多くの使う手法は 106 位であった．これらを踏まえると，予測に直接レビューを含む密なデータセットである．データが十分にあるは使用されないタスクや回答の類似度よりも，実際に予測に使場合，協調フィルタリングで使用するレビュア間の相関係数をうワーカの類似度を適切に計算することが重要であると考えら

十分な数計算できるため，前述の点での優位性が少なくなる．

れる．

そのため，結果にあまり差がつかなかったと考えられる．

さらに，実験 2 では，上位 5 つの組合せのみではあるが，複数のデータセットで比較した場合の順位の変化も確認できる．

6. 3 レビュー値の類似度について

表 3 を見ると，データセットによって誤差の順位は入れ替わる

今回の実験では，（ワーカ・タスク・回答）の解答に該当することがわかった．しかし，その差は比較手法との差と比べるとデータとして，レビュー値を利用した．レビュー値は数値デー非常に小さい．

タであり得られた類似度そのものに対する考察が可能であるここれらは，平均誤差の数値の差が小さいことが原因であるととから，レビュー値の類似度について考察する．

考える．平均誤差の数値自体を比較すると，手法間で大きな差

次の表 4 は，データセット F で，実験 1 で 1 位となった組が得られたとは言い難かった．これは，今回提案した手法を構合せによる類似度計算を行った際の，レビュー値の類似度であ成する際に着目したポイントが類似度が 0 や 1 という最大最小る．この表を見ると，レビューの値が 1 だけ違うものは確かにの値を取るケースであったことが挙げられる．例えばワーカの高い類似度となっており，レビュー値の差が広まるにつれて類類似度であれば，タスクの類似度および回答の類似度が 0 もし

似度の差も大きくなる傾向がある．

くは 1 である時の計 4 通りを中心に考えており，この時にある

しかし，レビューの値としては同じだけの差であったとして程度の差が生まれることで異なる手法であるとしていた．しかも，類似度の差も同程度であるとは限らない．例えば，レビュー

し，データが取りがちな中央の範囲では大きく変化が見られな

値 1 とレビュー値 2 は，他の差が 1 のレビュー値間の類似度

いことで，全体を通した性能の差分は少なくなってしまったのに比べて非常に高い．これは，1 も 2 も気に入らない映画につではないかと考えられる．データの取り得る値の端点だけでなけられる指標であり，使われる場面が非常に限られていること

く，タスクの類似度および回答の類似度が 0.3〜0.7 のあたりでが原因ではないかと考えられる．一方，レビュー値 3〜5 はレも変化が見られるように式を構成することで，より特徴のあるビューでもよく見られる値であり一般的にレビューの基準とな手法が得られ，データの特徴としてふさわしい手法を用いればる点数だが，レビュアによりレビューの基準値に差があり，その映画を特に気に入った時につける値なのか，普通である時にmedoid(C) = arg minx∈C

つける値なのかが異なる．これにより，同じレビュー値の差が1 でも類似度は異なったと考えられる．
このように，レビュー値に対して類似度を計算することで，単純に差を類似度の代用とするよりも多くの情報を保つことができると考えられる．

7 クラウドソーシングデータを用いた多数決精度
実験∑

d(x, y)(53)y∈(C−{x})ここで，d は距離関数である．本研究では，ワーカの類似度によってクラスタ形成を行うこととした．距離関数 d の類似度を用いた定義は複数考えられ，それらを別の手法として比較する．
メドイドの更新とクラスタへの分割を繰り返し，メドイドが変化しなくなればそこでクラスタリング終了となる．
なお，K-medoids 法では，クラスタのサイズは均等とは限らない．しかし，本研究ではグループ編成を行うために各ク

本節では，第 3 章で述べた提案手法を用いて行なったクラウ

ラスタの人数が等しくなる必要がある．よって，最適化によるドソーシングデータを用いたグループ編成による多数決精度のBalanced K-medoids 法 [16] によってクラスタリングを行う．

比較実験の内容とその結果について述べる．本実験の目的は，

7. 2. 2 提案手法 1

提案手法の有効性を検証することである．

d(x, y) を式 (7) で定義した sw を用いて

7. 1 実験の概要
この実験は，クラウドソーシングデータをもとにした，多数
決の精度を測る実験である．データをもとにワーカのグループ編成を行い，さらにグループ内でラベルの多数決をおこなってその正解率を比較する．グループ編成は，第 3 章で述べた提案
手法による類似度を用いて行うものと，松田ら [13] による手法を使用する．さらに比較手法として，無作為な選出によるグ
ループ編成も行う．詳細は 7. 3 節で述べる．

7. 2 提 案 手 法
本節では，ワーカ間の類似度を利用してクラスタリングしグ
ループ編成を行う方法を説明する．

7. 2. 1 グループ編成手法

d(x, y) := sw (x, y)とする．この場合，類似度は距離が近いすなわち似ている人ほど大きな値となるので，クラスタリングを行った時点で類似する人は別のクラスタに属すると考えられる．そのためクラスタ
からワーカを一人ずつ選出しグループとするステップは行わず，直接生成したクラスタをグループとして扱った．

7. 2. 3 提案手法 2
式 (7) で定義した sw を用いることは 7. 2. 2 と同様である．
しかし前述の通り，sw は似ている人ほど大きな値となり，そのまま使用すると距離関数の通常の大小の持つ意味とは逆の関係となる．
そこで，d(x, y) を式 (7) で定義した sw を用いてクラウドソーシングデータを利用したグループ編成手法とし

d(x, y) := 1 − sw (x, y)て，松田ら [2] [13] による研究で提案されている考え方によるものを利用する．

とする．これにより，距離が小さいほどワーカが類似している

多数決を行う場合，不正解の選択肢の一つにワーカの回答がことになり，クラスタリングの結果として類似しているワーカ

偏ってしまうと，多数決が失敗する可能性がある．そこで，各を同じクラスタに組み込むことができる．これ以外の部分は，グループのワーカが同じ選択肢に偏らないように，回答傾向の松田らの論文 [13] で行われている手法をそのまま利用する．

異なるものを同じグループに選出することで，多数決の精度を

7. 2. 4 使用した類似度計算手法

上げることができる．松田らの研究では，回答をベクトル化し，第 3 章にて，類似度の計算方法を 5 種類提案している．これ

回答傾向が似ているか否かを数値化している．本研究で算出さらをワーカの類似度・タスクの類似度・ラベルの類似度にそれれるワーカ間の類似度も，ワーカの回答の傾向が近しいものがぞれ当てはめると，全部で 125 通りの計算方法がある．本実高い類似度になると考えられる．そのため，提案手法による類

験では，以下の 5 つの組合せに対して，実験を行う．収束定数似度を使用することでも高い正答率を得られると考えられる．

C1 , C2 , C3 は 0.8 とする．

松田らの提案するワーカの回答の類似を利用した手法は，距

組合せ 1

第 4 章で提案した，全ての類似度に提案手法 4 を用離としてワーカの回答をベクトル化し，そのユークリッド距離いる方法を用いている．しかし我々は類似度として値のみを直接求めて組合せ 2いるため，K-means 法は使用できない．そのため，クラスタリ

案手法 3，ラベルに提案手法 1 を用いる方法

第 4 章で提案した，ワーカに提案手法 3，画像に提ングは，ワーカの類似度を距離関数として，K-medoids 法 [15]

組合せ 3〜組合せ 5をもとに行う．K-medoids 法は，クラスタの代表にメドイドを法3つ用いるクラスタリング手法である．まず，クラスタ数分のラン
ダムな代表値，メドイドを選ぶ．次に，それ以外の点を，選ばれた最も近いメドイドのクラスタに割り当てる．そして，各クラスタごとに，メドイドの更新を行う．クラスタ C のメドイドの計算方法は以下の通りである．

第 5 章で行った実験 1 で上位となった手

7. 3 比 較 手 法
提案手法の有効性を示すため，以下の二つの比較手法に対しても実験を行う．

表5

実験結果

手法

提案手法 1

提案手法 2

正解率
組合せ 1

0.8056

組合せ 20.7804

組合せ 30.7950

組合せ 4

0.7950組合せ 50.7918

組合せ 1

0.8882組合せ 20.8958

組合せ 30.8912

組合せ 4

0.8944

組合せ 5

0.8940

比較手法 10.8928

比較手法 20.8783

図1

各手法におけるグループの正答率の分布ある．しかし，同じ類似度を使った提案手法 2 では比較手法よ7. 3. 1 親和度を用いた手法 (比較手法 1)
比較手法の一つは，松田ら [13] による方法である．松田らは，ワーカの回答を one-hot ベクトル化し，ベクトルのユークリッ
ド距離が遠いもの同士がグループとなるような編成方法を提案している．これを，比較手法 1 と表記する．

7. 3. 2 無作為な選出 (比較手法 2)
二つ目の比較手法は，ワーカを無作為に選出する方法である．
全ワーカの中から，v 人無作為に選出しグループにすることを繰り返す．これにより，n/v グループを作成する．これを，比較手法 2 と表記する．

7. 4 使用したデータ

りも精度が得られたため，これが主たる理由であるとは考えにくい．
それを踏まえ考えられたのは，回答傾向が異なるワーカを直接組み合わせたことにより意図せず正答率の低いグループを編成してしまったということである．本提案手法では，同じ誤答に偏ることのないように類似度の低いワーカを組み合わせてグ
ループ編成を行った．しかし，同じ誤答に偏りにくいということは，同じ問題に対し同じ選択肢を選びにくいということであり，それは両者ともに正解の選択肢を選ぶ可能性が低いということにつながる．つまり，類似度が低いワーカの編成は，意図せず正答率も低い編成となってしまっている可能性がある．図1 は，比較手法と，提案手法 1，2 をワーカ・タスク・回答の類

実験は，京塚ら [17] が行った犬種類の画像分類タスクの回

似度全てに 3. 4. 1 で説明した式を利用する組合せで計算したも答データに対しておこなった．これは，Amazon Mechanicalのにおいて，編成されたグループのそれぞれの正答率である．

Turk [18] でワーカを募集し，画像アノテーションタスクを行っ

提案手法 1 によるグループ編成は，正答率の著しく低いグルーてもらったものである．画像は，Alaskan Malamute，Siberian

プを含み，それ以外にも正答率が比較的低いグループがあるこ

Husky，Samoyed，German Shepherd，Gray Wolf，Coyote，とがわかり，これが正答率の低下を招いたと考えられる．

Dhole の 7 種類のうちいずれかである．ワーカは画像に対し，
この 10 種類の中から適切と思われるものを選ぶ．実験は 56 人のワーカに全 800 枚の画像に対して回答してもらった．
実験では，800 種類のタスクから 400 タスクを無作為に選択してグループ編成を行うための学習データとして用い，残り400 タスクを作成したグループでの多数決の正答率を測定するために使用した．

8. 2 提案手法 2 の精度ついて
表 5 より，提案手法 2 は，提案手法 1 や比較手法に比べ高い
正答率となった．同じ類似度を使用しても提案手法 1 に比べ正答率が高かったのは，松田ら [13] の手法に乗っ取り，一度類似度が高いワーカをクラスタリングした上で再度グループを編成したことによるものであると考えられる．
また，第 4 章で画像のラベリングタスクに適切な方法として提案した組合せ 2 と，組合せ 4 及び組合せ 5 は，いずれの比較

8 クラウドソーシングデータを用いた多数決精度
実験に対する考察

手法よりも平均正答率が高くなるようにグループの編成を行う

本研究で提案した手法を用いた第 7 章の実験について考察すり，これに対し正答率が高かったことから，提案した類似度計

る．実験結果は，表 5 の通りである．正答率は，5 回実験をお算手法に基づくグループ編成は有効であると考えられる．さらこなった平均値を小数点第 4 位で四捨五入した値である．

に，最も正解率が高かったのは組合せ 2 であり，組合せが適切ことができた．特に比較手法 1 は既存の研究に基づく手法であ8. 1 提案手法 1 の精度ついて
表 5 より，提案手法 1 は提案手法 2 及び比較手法に比べ低い
正答率となった．
理由として考えられたのはまず，類似度の精度の低さによるということや，類似度が回答傾向を適切に表していないことがであることも確認できた．
提案手法が高い正答率となったことについて考察する．これは，既存の手法では同じ問題に同じ解答をした人に着目していたが，同じではなく類似する問題と回答に着目したことによると考えられる．同じ問題に対し似たような解答をする人は，今後その問題と同様の問題が出た際に，今度は似ているだけでなく同じ選択肢を選ぶ可能性があると考えられる．類似する問題に同じ選択肢・あるいは類似する選択肢をつけた人も同様である．また，今回提案した類似度計算手法では，松田らの研究で重視されていた同じ問題に同じ解答をした人についても類似度が高くなるように設定されている．同じ問題に同じ解答をした
人を異なるグループにした上で，さらに同じ解答をし得る人も異なるグループに配置することができ，そのためより同じ選択
肢に偏る割合を減らすことができたと考えられる．

9 結論

本研究でのこれまでの流れを振り返る．まず，三種類の値を一組として構成されているデータに対し，(ワーカ，タスク，回答) を例として，SimRank を拡張した計算方法によってワーカの類似度，タスクの類似度，回答の類似度を求める方法を 5 種類提案した．また，具体的な三つ組データを想定した上で，提案した複数の計算式のうちいずれが該当するのかを示した．さらに，これらの類似度の利用方法として，映画レビューデータ
を用いたレビュー値の予測と，クラウドソーシングデータを用いたグループ編成を行った．レビュー値の予測を行う実験では，

Yahoo!映画より収集したデータから複数のデータセットを生成して手法を適用し，予測と実際のデータの平均絶対誤差の比較を行った．予測は協調フィルタリングによるものと類似度によるものを行った結果，類似度による予測の方がより小さい誤差となるように予測できることがわかった．グループ編成を行う
実験では，クラウドソーシングで集めたデータに対し手法を適用し，正答率の比較を行った．結果，提案手法では，より平均正答率が高くなるようなグループ編成が行えることがわかった．
今後の展望としては，更なる精度向上のためにワーカ・タス
ク・回答の類似度を組み合わせて使用すること，およびより高速な類似度計算方法の考案が挙げられる．

謝辞

本研究は JSPS 科研費 21H03446 の助成を受けたものです．

文

献[1] Callison-Burch, C. and Dredze, M.: Creating Speech andLanguage Data with Amazon’s Mechanical Turk, Proceedings of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazon’s Mechanical
Turk , CSLDAMT ’10, Association for Computational Linguistics, pp. 1–12 (2010).
[2] 松田浩幸, 田島敬史: クラウドソーシングにおける多数決の精度向上のためのチーム編成手法, 第 13 回データ工学と情報マネジ
メントに関するフォーラム (2021).
[3] Jeh, G. and Widom, J.: SimRank: A Measure of
Structural-Context Similarity, Proceedings of the Eighth
ACM SIGKDD International Conference on Knowledge
Discovery and Data Mining, KDD ’02, Association for
Computing Machinery, pp. 538–543 (2002).
[4] Symeonidis, P., Kirjackaja, L. and Zanker, M.: SessionBased News Recommendations Using SimRank on MultiModal Graphs, Expert Systems with Applications, Vol. 180,
No. C (2021).

[5] Dey, P., Goel, K. and Agrawal, R.: P-Simrank: Extending Simrank to Scale-Free Bipartite Networks, Proceedingsof The Web Conference 2020 , WWW ’20, Association for
Computing Machinery, pp. 3084–3090 (2020).
[6] Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P. and
Riedl, J.: GroupLens: An Open Architecture for Collaborative Filtering of Netnews, Proceedings of the 1994 ACM
Conference on Computer Supported Cooperative Work ,CSCW ’94, New York, NY, USA, Association for Computing Machinery, pp. 175–186 (1994).
[7] Linden, G. D., Jacobi, J. A. and Benson, E. A.: Collaborative recommendations using item-to-item similarity mappings (2001).
[8] Linden, G., Smith, B. and York, J.: Amazon.com recommendations: item-to-item collaborative ﬁltering, IEEE Internet Computing, Vol. 7, No. 1, pp. 76–80 (2003).
[9] Dawid, A. P. and Skene, A. M.: Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm,
Journal of the Royal Statistical Society. Series C (Applied
Statistics), Vol. 28, No. 1, pp. 20–28 (1979).
[10] Dempster, A. P., Laird, N. M. and Rubin, D. B.: Maximum
Likelihood from Incomplete Data via the EM Algorithm,
Journal of the Royal Statistical Society: Series B (Methodological), Vol. 39, No. 1, pp. 1–38 (1977).
[11] Joglekar, M., Garcia-Molina, H. and Parameswaran, A.:
Evaluating the Crowd with Conﬁdence, Proceedings of the
19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining , KDD ’13, pp. 686–694(2013).
[12] Welinder, P., Branson, S., Perona, P. and Belongie, S.: The
Multidimensional Wisdom of Crowds, Proceedings of the
23rd International Conference on Neural Information Processing Systems (Laﬀerty, J., Williams, C., Shawe-Taylor,J., Zemel, R. and Culotta, A.(eds.)), NIPS’10, Vol. 2, Curran Associates, Inc., pp. 2424–2432 (2010).
[13] 松田浩幸, 田島敬史: クラウドソーシングにおける多数決の精度向上のためのワーカ組合せの選出手法, 第 12 回データ工学と情報マネジメントに関するフォーラム (2020).
[14] Yahoo: Yahoo!映画, https://movies.yahoo.co.jp/.
[15] Kaufman, L. and Rousseeuw, P. J.: Finding Groups in
Data: An Introduction To Cluster Analysis, Vol. 344(1990).
[16] Bernábe-Loranca, B., Gonzalez-Velázquez, R., OlivaresBenı́tez, E., Ruiz-Vanoye, J. and Martı́nez-Flores, J.: Extensions to K-Medoids with Balance Restrictions over the
Cardinality of the Partitions, Journal of Applied Research
and Technology, Vol. 12, No. 3, pp. 396–408 (2014).
[17] 京塚萌々, 田島敬史: アイテムへのワーカ逐次割当てと各ワー
カの複数ラベル付与によるマルチクラス分類タスク精度向上手法, 第 12 回データ工学と情報マネジメントに関するフォーラム(2020).
[18] Amazon: Amazon Mechanical Turk, https://www.mturk.
com/.