DEIM Forum 2019 E6-5

KL 情報量を用いた事後正則化の検討とクラウドソーシングへの応用
大橋 英明†

清水 敏之††

吉川正俊††† 京都大学大学院情報学研究科 〒 606 - 8501 京都府京都市左京区吉田本町†† 京都大学大学院情報学研究科 〒 606 - 8501 京都府京都市左京区吉田本町
E-mail: †ohashi@db.soc.i.kyoto-u.ac.jp, ††{tshimizu,yoshikawa}@i.kyoto-u.ac.jp
あらまし何らかの『関連』を持った複数のデータ集合を互いに相関関係を持つ複数の確率変数の実現値として捉えるとする．このとき，より正確にデータの生成過程をモデリングするためには，データ集合間の『関連』を適切に表現できるような相関関係の定式化が不可欠である．相関関係を表現する方法としては，各確率変数が従う分布のパラメーターに対して共通の事前分布を用いるか、直接制約をかけるかの二通りの方法が考えられる．前者はパラメーターを分布の形で推定できるという利点が，後者はより柔軟に相関関係を表現できるという利点がある．本研究は前者と後者の利点を取り入れるため，事後正則化と呼ばれる枠組みに基づき，各データ集合から推定されるパラメーターの事後分布間の KL 距離に制約をかけた上で，パラメーターを分布の形で推定する手法を提案する．この制約の効果は通常のベイズ推定における事前分布による正則化の効果に対応していると考えられる．本研究はシミュレーションでの実験に基づき提案手法の性能を考察した．また，クラウドソーシングでの品質管理手法への応用可能性についても検討した．
キーワード 統計的学習，クラウドソーシング推定されるパラメーターの事後分布間の KL 距離に制約をかけ

1 はじめに
本研究は何らかの『関連』を持つ複数のデータ集合を扱う．
このようなデータの例として，マルチタスク学習 [6] で扱われるような，『関連』はあるが異なるタスクのもとで収集された複数のデータセットが挙げられる．ただし，マルチタスク学習で扱われるデータの多くは教師ラベルつきのデータある．本研
究は対象とするデータを教師ラベル付きのデータに限らないため，同一のニュースを扱った複数の記事データや，特定分野について同等の知識を持つ人々の意見データなども例として挙げられる．この場合，前者の例での『関連』は複数記事が同一のニュースを扱っていること，後者の例での『関連』は複数の人々が特定分野について同等の知識を持っていることだと考えられる．
本研究はデータ集合間の『関連』を各データ集合を実現する確率変数間の相関関係として捉える，ただし，ここで述べた相関関係とは必ずしも線型的な関係のみを表すものでない．マル
チタスク学習の文脈において，確率変数間の相関関係を表現する代表的な手段は大きく以下の二通りに分けられる．
（ 1 ） 各確率変数が従う分布のパラメーターに対して共通の事前分布を用いる [2], [15], [17]（ 2 ） 各確率変数が従う分布のパラメーターに直接制約をかける [5], [6], [8], [9], [18]前者は相関関係を確率モデルの形で記述しているため，パラた上で，パラメーターを分布の形で推定する手法を提案する．
これにより，前者の枠組みだけでは表現が困難な相関関係を取り入れた上で，パラメーターの分布を推定できると考えられる．
本稿では，提案手法におけるパラメーターの事後分布間のKL 距離に対する制約と，通常のベイズ推定における事前分布による正則化の関係について述べる．また，簡単な設定でシミュレーションを行い，提案手法の性能について考察する．
加えて，本研究はクラウドソーシングでの品質管理手法への応用可能性についても検討する．もしクラウドソーシングにおけるワーカーが同等の能力を持つと仮定できるならば，ワーカー間の相関関係をモデリングすることは有用だと考えられる．クラウドソーシングでの代表的な品質管理手法として，

Dawid-Skene モデル [4] が挙げられる．本研究ではこの既存研究を拡張し，混同行列間の相関関係の定式化を検討する．
本稿の構成を以下に述べる．2 節では関連研究の紹介を行う．

3 節ではベイズ推定，事後正則化，マルチタスク学習の概要に触れ，提案手法のための準備を行う．4 節では提案手法を述べ，ベイズ推定との比較を行う．5 節ではシミュレーションを行い，提案手法を考察する．6 節ではクラウドソーシングで用いられる Dawid-Skene モデルへにおける相関関係のモデリングを検討し，本研究のまとめを 7 節で述べる．

2 関連研究メーターを分布の形で推定できるという利点があり，後者は前本研究はマルチタスク学習と深く関わっている．マルチタス者と比べてより柔軟に相関関係を表現できるという利点がある

ク学習とは関連する複数のタスク同士の情報を利用して，タスと考えられる．本研究は前者と後者の利点を取り入れるため，ク全体の推定精度を向上させる手法のことを指す．マルチタス

事後正則化 [7] と呼ばれる枠組みに基づき，各データ集合からク学習は教師あり学習に利用されることが多いが，本研究はその限りではない．既存研究として．学習対象のパラメーターに以下のような分布 q ∗ (w) を推定し，先に述べた事後分布の代わ

対して共通の事前分布を用いる手法 [2], [15], [17] や，タスク間りとする．の関連を制約の形で直接表現する手法 [5], [6], [8], [9], [18] が挙げられる．他にも，ニューラルネットワークの中間層を共有する手法 [3]，L1 ノルムを用いてタスクに共通した低次元表現の獲得を行う手法 [1] など，特定の学習手法に依存した手法が存在する．提案手法はパラメーターに直接制約をかける手法に基づいており，そのような研究の一例として，Evgeniou らの研
究 [6] の詳細を次節で述べる．
また，本研究は事後正則化 [7] に則って提案手法を定式化しq ∗ (w) = arg min KL(q(w)||p(w|xn ))q(w)∈QQ は q(w) に関する制約を表す．これにより，事前分布 p(w)を用いるだけでは明示的に表現できない w に関する制約を表現できる．また，ラグランジュ緩和を用いて制約に違反する分の罰金項を目的関数に加えた形に直すと以下のようになる．

q ∗ (w) = arg min{KL(q(w)||p(w|xn )) + λ · D(q(w))}q(w)ている．これについても次節で詳細を述べる．
本研究はクラウドソーシングの品質管理手法に対して，相関関係のモデリングを検討する．クラウドソーシングでの代表的な品質管理手法として，Dawid-Skene モデル [4] が挙げられる．

Dawid-Skene モデルではワーカーの能力が混同行列として表され，この混同行列に対して共通の事前分布を用いる手法が既存研究の中で提案されている [12]．ただし，この既存研究はパラメーターのスムージングを主目的として事前分布に利用しており，本研究のようにワーカーの相関関係をモデリングする意図はない．

3 準

ただし，λ は罰金項の重みを表す非負値のパラメーター，D(q(w)) は罰金項を表す．
3. 3 マルチタスク学習
ここでは，学習対象のパラメーターに直接制約をかける研究の一例として，既存研究 [6] を示す．ただし，既存研究 [6] は教師あり学習を扱っているが，本研究はより一般的な問題を対象としている．既存研究 [6] は m 個の異なるタスクにおける識別器を構築することを目的としている．ただし，各タスクは特徴量のデータ xj = (x1,j , x2,j , . . . , xnj ,j ) と対応するラベルのデータ yj = (y1,j , y2,j , . . . , ynj ,j ) を持つ．なお．ラベルデータ

備は ±1 の二値を表すものとする．また，各タスクにおける識別

本研究はデータを確率変数の実現値として捉えるベイズ統計の枠組みに従っている．本節では，提案手法の前提となるベイ器のパラメーター wj は以下のような関係を持つものと仮定している．

ズ推定，事後正則化，マルチタスク学習の概要について簡単に

wj = w0 + vj

触れる．

このとき，目的関数は以下のように定式化されている．

3. 1 ベイズ推定
n 個の観測データを xi (i = 1, 2, . . . , n) とする．ただし，このデータ集合を一つの記号で表すとき xn という記号を用いる．
また，各観測データは真の生成分布 p∗ (x) から生成されているものとする．ただしベイズ推定の枠組みの中では，真の生成分

min∑∑

w0 ,vj ,ξijiξij +jλ1 ∑∥vj ∥2 + λ2 ∥w0 ∥2m j

ただし，布 p∗ (x) は不可知であり，以下の確率モデルによって記述されyij (w0 + vj ) · xij >= 1 − ξijるという仮定を置く．

ξij >=0とする．上述の目的関数の第二項はタスク間での識別器のパ

xi ∼ p(xi |w)

ラメーターの違いを抑えるような正則効果を期待した項となっ

ただし，w は確率モデルのパラメーターである．このとき，真の生成分布 p∗ (x) が以下の通りだと推定することをベイズ推ている．次節で述べる提案手法でも同様に，確率変数間の相関関係を表現するため，正則効果を期待した項を導入する．

定と呼ぶ．

∫p(x|xn ) =p(x|w)p(w|xn )dw

4 提案手法4. 1 問題設定・提案手法について

なおベイズの定理より，事前分布を p(w) とすると事後分布

p(w|xn ) は以下のように記述できる．
1 ∏p(w|x ) =p(xi |w)p(w)Z in

ただし，Z =∫∏i p(xi |w)p(w)dw とする．

本研究は相関関係を持つ複数の確率変数の実現値として，観測データ集合が得られると仮定している．すなわち，m 種類のパラメーターを wj (j = 1, 2, . . . , m) としたとき．wj をパラメーターとして持つ確率モデルから nj 個の観測データ

xi,j (i = 1, 2, . . . , nj ) が以下の確率モデルによって得られるような状況を扱う．

3. 2 事後正則化
事後正則化（制約付きベイズ学習 [16] とも呼ばれる）では，xi,j ∼ p(xi,j |wj )また，xj = (x1,j , x2,j , . . . , xnj ,j , )，x = (x1 , x2 , . . . , xnj ),!"#w = (w1 , w2 , . . . , wm ) と表す．このとき，以下のように定義さ$%&'れる分布 q ∗ (w) をベイズ推定における事後分布の代わりとする()*&' +,-./0

手法を提案する．

()*&' +,-.12/0q ∗ (w) = arg min{KL(q(w)||p0 (w|x))3456 +7-.1211/0

q(w)+λ·∑∑k3456 +7-.121/0

KL(q(wk )||q(wl ))}(1)3456 +7-.12180l

ただし，p0 (w|x) は無情報分布（一様分布，Jeﬀreys 事前分

図 1: 各手法で推定された µj の値

布 [10] など）を用いて推定された事後分布を表す．式 (1) の右辺の第一項は q(w) と無情報分布を用いて推定された事後分布
間の KL 情報量で，第二項は各パラメーター間の事後分布間のq ∗ (w) = arg min{KL(q(w)||p0 (w|x))q(w)距離の総和を表しており，パラメーターの違いを抑えるような−正則効果を期待した項となっている．また，式 (1) は罰金項を用いて表現された事後正則化と同じ形をしていることが分かる．

4. 2 ベイズ推定との比較

q(wj ) log p(wj )dwj }(2)j∫
上式と式 (1) は第二項のみが異なっている． q(wj ) log p(wj )dwjを最大にする q(wj ) は，p(wj ) における最頻値を wM L とする

上述したモデルを用いた場合，ベイズ推定の枠組みで推定される事後分布 q ∗ (w) は以下のように記述できる．

q ∗ (w) = arg min KL(q(w)||p(w|x))q(w)q(w) =∑∫∏i q(wi ) を仮定し，KL(q(w)||p(w|x)) の展開をと，超関数 δ(wM L ) で表される．よって，式 (2) の第二項は分布 q(wj ) を事前分布 p(wj ) の最頻値に引き寄せる効果を持ち，式 (1) の第二項と同様に，確率変数間の相関関係を表す項になっていると解釈できる．また，式 (1) の λ が 0 の場合は，式(2) の事前分布が一様分布の場合と等価である．

行う．

KL(q(w)||p(w|x))∫q(w)= q(w) log
dwp(w|x)∏∫ ∏j q(wj )=q(wj ) log ∏ 1 ∏dwp(xi,j |wj )p(wj )j Zjij∑∫q(wj )=dwjq(wj ) log 1 ∏p(xi,j |wj )p(wj )iZjjp(wj ) は事前分布で，Zj =∫∏i p(xi,j |wj )p(wj )dwj とする．ここで，確率モデル p(x|wj ) に対応した無情報事前分布をp0 (wj ) とする．
∑∫q(wj ) logj=∑∫q(wj )∏dwj
1i p(xi,j |wj )p(wj )Zjq(wj ) logj+∑∫q(wj ) log

jZj′ =

1Zj′

q(wj )dwj
p(xi,j |wj )p0 (wj )i∏∑p0 (wj )Zjlog ′dwj +p(wj )Zjj∫∏i p(xi,j |wj )p0 (wj )dwj とする．ここで，すべての無情報事前分布が p0 (wj ) = c で表すことが可能な一様分布と仮定すると，∑∫p0 (wj )q(wj ) log
dwjp(wj )j∑∫q(wj ) log p(wj )dwj + m log c=−j以上より，q(w) に関係がない項を除いてまとめると，

5 実験

5. 1 準備

簡単な例を用いて実験を行う．m 種類のパラメーター µjを平均とし，分散が 1 だと判明している m 個の正規分布から，各々n 個の観測データが得られるような状況を考える(xi,j ∼ N (µj , 1))．なお，p0 (µj ) を非正則事前分布と仮定する∑と，p0 (µj |xj ) = N (x̂j , 1/n) となる (ただし x̂j = n1 i xi,j )．
また，q(µj ) = N (µ′j , σj′ 2 ) と仮定する．
本実験では上の条件のもと提案手法を用いて，q ∗ (µj ) を推定する問題を考える．式 (1) の argmin の引数を L とすると，以下のように表される．
()∑n(σj′ 2 + (µ′j − x̂j )2 )1
1L=log( √ ′ ) +−22nσjj()′2′′2′∑∑
σ + (µk − µl )σ1log( ′l ) + k+λ·−σk2σl′ 22kl

このとき，µ′j , σj′ に関する勾配は以下のようになる．

)(∑ µ′k − µ′j ∑ µ′j − µ′l∂L′= n(µj − x̂j ) + λ −+∂µ′jσj′ 2σl′ 2kl()∑ σk′ 2 + (µ′k − µ′j )2 ∑ σj′∂L1′=−+nσ+
λ−+j
∂σj′
σj′
4σj′ 3σl′ 2k

これを用いて勾配法で q ∗ (µj ) を推定する．

l

4.0
43.5

3.0
32.5

2.02
1.5

1.0

1

0.5

0

0.0

−1.00

−0.75

−0.50

−0.25

0.00

0.25

0.50

0.75

1.00

−1.00

−0.75

(a) ベイズ推定 (σ = 1)

−0.50

−0.25

0.00

0.25

0.50

0.75

1.00

−1.00

−0.75

(b) ベイズ推定 (σ = 0.1)

図 2: ベイズ推定で推定された µj の分布

2.5

1.6
1.2

1.4
2.0
1.2

1.0

1.00.81.5

0.8
0.61.00.60.40.4

0.5
0.2

0.2

0.0

0.0

0.0

−1.00

−0.75

−0.50

−0.25

0.00

0.25

0.50

0.75

1.00

−1.00

−0.75

(a) 提案手法 (λ = 0.001)

−0.50

−0.25

0.00

0.25

0.50

0.75

1.00

(b) 提案手法 (λ = 0.01)

−0.50

−0.25

0.00

0.25

0.50

0.75

(c) 提案手法 (λ = 0.02)

図 3: 提案手法で推定された µj の分布

5. 2 実 験 結 果
m = 50，n = 10，真の事前分布を p(uj ) = N (0, (0.1)2 ) として生成された人工データをもとに実験を行った．まず，最尤θj

推定で推定された uj の値と，事前分布を N (0, 1), N (0, (0.1)2 )と し た 時 に ベ イ ズ 推 定 で 推 定 さ れ た uj の 値 と ， λ =zjxi,jWi|Ni|(0.001, 0.01, 0.02) とした時に提案手法から推定された uj の値を比較する．図 1 は各手法で推定された 50 個の µj の値をプM

図 4: Dawid-Skene モデルロットしたものである．ベイズ推定において，真の分布と同じ事前分布 (σ = 0.1) を用いることで，真の値に近い推定が行われていることを確認できる．提案手法では，λ = 0.01 の時に最6 クラウドソーシングへの応用可能性も真の値に近い推定が行われている．また，提案手法の λ の値が大きくなるたびに，パラメーターが互いに近い値を取るようクラウドソーシングの品質管理手法の一つである Dawid-になっていることを確認できる．λ の選択基準については今後

Skene モデル [4] は以下のように表される確率モデルである．の課題とする．ただし，通常のベイズ推定においても，基本的には真の事前分布が不可知であることに留意されたい．
続いて，先ほどと同じ条件でベイズ推定で推定された µj のp(xi,j = d|Wi , zj = k) = wikd
zj ∼ Dirichlet(θj )分布と提案手法で推定された µj の分布を比較する．結果は図Wi はワーカー i の混同行列，zj はタスク j の潜在クラス番

2 と図 3 の通りである．通常のベイズ推定と比較して，提案手号，xi,j はワーカー i がタスク j に対して回答したクラス番号法は分布全体が類似するよう推定していることを確認できる．

を表す．ただし，zj は θj をパラメーターに持つディリクレ分

5. 3 実験の問題点

布から生成されるものとする．グラフィカルモデルは図 4 の通q(w) が正規分布であるという非常に強い仮定を置いている．
今後は，q(w) を p(x|w) の形状に囚われないより自由度の高いモデルに仮定した上で推定する方法について模索したい．

りである．なお，M はワーカーの数，Ni はワーカー i が取り組んだタスクの集合を表す．

Dawid-Skene モデルのパラメーターは以下のような EM アルゴリズムを用いて推定される．

•E ステップ：p(z|x, Wold ) の計算

1.00

則化と呼ばれる枠組みに基づき，各データ集合から推定され

表 1: 各手法の誤差率
Bluebird
RTE

MVDS

0.24

0.102 0.157

るパラメーターの事後分布間の KL 距離に制約をかけた上で，Oursパラメーターを分布の形で推定する手法を提案した．また，シミュレーションに基づき提案手法の性能を考察した．加えて，0,125 0.073 0.071

クラウドソーシングへの応用可能性について検討した．今後の課題としては提案手法の理論的な解析や汎用性の高い推定手法•M ステップ 1：θ = arg max p(z|θ)•M ステップ 2：W = arg max Q(W, Wold )の模索などが挙げられる．

θW

EM アルゴリズムでは上述の E ステップと M ステップが逐次的に繰り返される．ただし，W, z, x は全ワーカーの混同行
列，全タスクの潜在クラス番号，全ワーカー・タスクについての回答を表し，Wold は一つ前のステップにおける W を表す．
∫また，Q(W, Wold ) = q(z|x, Wold ) log q(x, z|W)dz とする．
もしクラウドソーシングにおけるワーカーが同等の能力を持つと仮定できるならば，ワーカー間の相関関係をモデル化することは有用だと考えられる．しかし，提案手法を適用するためには W に事前分布を導入した上で複雑な分布の推定を行う必要がある．先の実験でも述べた通り，複雑な状況での提案手法の適用はまだ困難であるため．ここでは予備実験として M ステップ 2 でのパラメーター推定を以下のように変更し，W の点推定を行った．

W = arg max(Q(W, Wold ) − λW∑∑∑stKL(wsk ||wtk ))k(3)ただし，wsk は潜在クラス番号が k の場合にワーカー s が回答するクラス番号の生成確率を表す確率変数を示す．式 (3) は式 (1) と同様に KL 情報量を用いた正則項を利用しているが，あくまでも分布の推定ではなく点推定であることに留意された
い．分布の推定への拡張は今後の課題とする．
実験では Bluebird [14], RTE [13] という二つの実データを用いて誤差率を計測した．また提案手法では，λ = 1，推定のステップ数は 10 回とし，各パラメーターは多数決での結果に基づいて初期化した．また，式 (3) の計算には逐次二次最適化 [11]を用いたため，数値計算上での誤差が発生し，通常の EM アルゴリズムと異なり，尤度の逐次的な改善が保証されていない．
よって，10 回の推定の中で Dawid-Skene モデルの尤度を最も小さくするような結果を選んだ．また，比較手法として多数決(MV) と単純な Dawid-Skene モデル (DS) を用いた．
結果を表 1 に示す．Bluebird データセットでは Dawid-Skeneモデルに及ばず，RTE データセットでは Dawid-Skene モデルに似た結果となった．また，この予備実験で明らかになった問
題点は以下の二つである．

•式 (3) の計算における数値誤差が大きい•

計算時間が非常に長い以上の二点に注意を払いながら，今後の研究を進めていきたい．

7 おわりに本研究は『関連』を持つ複数のデータ集合に対して，事後正文

献[1] Andreas Argyriou, Theodoros Evgeniou, and Massimiliano
Pontil. Multi-task feature learning. In Advances in neural
information processing systems, pp. 41–48, 2007.
[2] Bart Bakker and Tom Heskes. Task clustering and gating forbayesian multitask learning. Journal of Machine Learning
Research, Vol. 4, No. May, pp. 83–99, 2003.
[3] Ronan Collobert and Jason Weston. A unified architecture
for natural language processing: Deep neural networks withmultitask learning. In Proceedings of the 25th international
conference on Machine learning, pp. 160–167. ACM, 2008.
[4] Alexander Philip Dawid and Allan M Skene. Maximum
likelihood estimation of observer error-rates using the em
algorithm. Applied statistics, pp. 20–28, 1979.
[5] Theodoros Evgeniou, Charles A Micchelli, and Massimiliano Pontil. Learning multiple tasks with kernel methods.
Journal of Machine Learning Research, Vol. 6, No. Apr, pp.
615–637, 2005.
[6] Theodoros Evgeniou and Massimiliano Pontil. Regularized multi–task learning. In Proceedings of the tenth ACM
SIGKDD international conference on Knowledge discovery
and data mining, pp. 109–117. ACM, 2004.
[7] Kuzman Ganchev, Jennifer Gillenwater, Ben Taskar, et al.
Posterior regularization for structured latent variable models. Journal of Machine Learning Research, Vol. 11, No.
Jul, pp. 2001–2049, 2010.
[8] André R Gonçalves, Puja Das, Soumyadeep Chatterjee,
Vidyashankar Sivakumar, Fernando J Von Zuben, andArindam Banerjee. Multi-task sparse structure learning. In
Proceedings of the 23rd ACM International Conference onConference on Information and Knowledge Management,
pp. 451–460. ACM, 2014.
[9] Laurent Jacob, Jean-philippe Vert, and Francis R Bach.
Clustered multi-task learning: A convex formulation. In Advances in neural information processing systems, pp. 745–752, 2009.
[10] Harold Jeﬀreys. An invariant form for the prior probability
in estimation problems. Proc. R. Soc. Lond. A, Vol. 186,No. 1007, pp. 453–461, 1946.
[11] Charles L Lawson and Richard J Hanson. Solving leastsquares problems, Vol. 15. Siam, 1995.
[12] Qiang Liu, Jian Peng, and Alexander T Ihler. Variational
inference for crowdsourcing. In Advances in neural information processing systems, pp. 692–700, 2012.
[13] Rion Snow, Brendan O’Connor, Daniel Jurafsky, and Andrew Y Ng. Cheap and fast—but is it good?: evaluating
non-expert annotations for natural language tasks. In Proceedings of the conference on empirical methods in naturallanguage processing, pp. 254–263. Association for Computational Linguistics, 2008.
[14] Peter Welinder, Steve Branson, Pietro Perona, and Serge JBelongie. The multidimensional wisdom of crowds. In Advances in neural information processing systems, pp. 2424–2432, 2010.
[15] Ya Xue, Xuejun Liao, Lawrence Carin, and Balaji Krishnapuram. Multi-task learning for classification with dirich-let process priors. Journal of Machine Learning Research,Vol. 8, No. Jan, pp. 35–63, 2007.
[16] Arnold Zellner. Optimal information processing and bayes’stheorem. The American Statistician, Vol. 42, No. 4, pp.
278–280, 1988.
[17] Jian Zhang, Zoubin Ghahramani, and Yiming Yang. Learning multiple related tasks using latent independent component analysis. In Advances in neural information processingsystems, pp. 1585–1592, 2006.
[18] Yu Zhang and Dit-Yan Yeung. A convex formulation forlearning task relationships in multi-task learning. In UAI,
2010.