情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

独立性の一般化に基づく統計モデルの拡張

An Extension of Some Statistical Models
based on Generalized Independence
藤本 悠∗

村田 昇†

Yu Fujimoto

Noboru Murata

Abstract: In this paper, a generalized statistical independence is proposed from the viewpoint of a generalized multiplication motivated by the Bregman divergence, and it is implemented in some simple statistical models for joint probability distribution, such as independent models and naive Bayes models. Our models are deeply related to Archimedean
copulas but slightly diﬀerent. This paper also proposes an idea of their estimation method
which directly uses empirical marginal distributions to retain simplicity of calculation.
Our method is interpreted as an optimization of a rough approximation of the Bregman
divergence and geometrically explained. Eﬀectiveness of our proposed models is shown by
numerical experiments on some benchmark data sets.

1

まえがき

Naive Bayes model(NB) や Bayesian network[10]，あるいは pLSA[8] など，何らかの形で独立性を仮定した統計モデルは，扱いやすさなどの点から様々な状況における統計的推論で広く用いられている．通常このような独立性の仮定はデータに基づいて導入されるべきものであるが，例えば NB などは独立性の仮定が崩れていても判別器としての性能をある程度維持できることが知られているため [4]，データから厳密な独立性が言えない場合であっても実用上の近似として用いられることが多い．
また逆に変数間の依存関係を表現しようとすると，特に状態数を多く持つ離散変数を扱う場合には非常に多くのパラメタを導入しなければならず，データへのオーバー
フィットの傾向が強くなってしまうという問題も出てくる．本稿ではこの独立性を一般化することで一種の弱い依存関係を表現することを試み，その一般化独立性を利用した独立モデル，及び NB の拡張を提案する．
統計的推論の場では確率値の乗除算が自然に用いら∗ 青山学院大学, 229-8558 , 神奈川県相模原市渕野辺 5-10-1 tel.

042-759-6322, e-mail yu.fujimoto@it.aoyama.ac.jp,
Aoyama Gakuin University, 5-10-1 Fuchinobe, Sagamihara,
Kanagawa 229-8558† 早稲田大学, 169-8555, 東京都新宿区大久保 3-4-1, tel. 03-52924563, e-mail noboru.murata@eb.waseda.ac.jp,
Waseda University, 3-4-1 Ohkubo, Shinjuku, Tokyo 169-8555

れ，例えば変数間の独立性を論じる際には周辺分布の積が基本演算として重要な役割を果たしている．この乗除
算は統計的な分布間の乖離尺度を表すのに広く用いられている Kullback-Leibler(KL) 情報量の意味での統計分
布の一種の混合と解釈することができる．一般的な統計モデルの推定を考えた時，KL 情報量に基づく推定（いわゆる最尤推定）はサンプル数の増加に伴う漸近有効性などの好ましい性質を持っているが，外れ値には著しく弱いという一面もある．一方，KL 情報量の一種の一般化である Bregman 情報量 [11, 5] の意味での推定を考えることで最尤推定にはないロバスト性 [7] などの好ましい推定結果を獲得し得ることが知られている．本稿ではこのような背景をふまえ，Bregman 情報量に基づく乗除算の一般化を行い，それに伴うモデルの拡張とその性質について議論を行う．
まず第 2 章では Bregman 情報量を導入し，それに伴う乗除算，独立性の一般化を考える．第 3 章では独立性の一般化による統計モデルの拡張，及びその性質や推定方法について述べ，特に NB への実装に関する議論を行う．また，第 4 章では一般化独立性を導入した NB をベンチマークデータを使った数値実験によって評価する．
最後に第 5 章で本稿のまとめと今後の展望を述べる．

Bregman 情報量と独立性の一般化

2

本章では適当な関数 U (·) によって特徴づけられる Breg-man 情報量を導入し，その関数 U によって記述される乗除算の一般化を行う．

2.1

定義 2 (平坦性) 2 つの関数 f, g ∈ FX の次のような内分点 r(t) の集合を m-平坦な空間と呼ぶ．

r(t) = (1 − t) · f + t · g,0≤t≤1

同様に次のような内分点 r(t) の集合を u-平坦な空間と呼ぶ．

Bregman 情報量

離散変数空間 X が与えられた時に，次のような性質を持つ関数の集合として表現される空間 FX を考える．
}
{
¯
∑
¯
pX (x) < ∞FX = pX (x) ¯ pX : X → R+ ,x∈X

ただし，ここで R+ は 0 を含む正の実数値の集合とする．すると一般に統計学で解析の対象とされる離散確率分布としての性質を持つ分布関数の空間 PX は次のように FX の部分集合として表現されることになる．
}
{
¯
∑
¯
PX = pX (x) ¯ pX : X → R+ ,pX (x) = 1 ⊂ FX
x∈X

これにより，ある離散分布 pX は分布空間 PX ，さらにより一般的な関数空間 FX 上の 1 点に対応することにな
る．本稿では関数空間を F ，分布空間を P と記述し，対r(t) = u((1 − t) · ξ(f ) + t · ξ(g)),

0≤t≤1

この内分点 r(t) のように f, g の線形和（または ξ(f ), ξ(g)の意味での線形和）を m-混合（u-混合）と呼ぶ．

¥

ここでは一般に m-平坦な空間と u-平坦な空間は一致せず，特に u-平坦な空間は関数 U の形状に依存している
ことのみを述べておく．

2.2

U 乗算と独立性の一般化

2 変数 X ，Y の同時確率 pX Y から，周辺確率が次のように与えられているとする．
∑∑
pX (x) =pX Y (x, y), pY (y) =pX Y (x, y)
y∈Y

x∈X

ここで同時確率が象とする変数空間が自明でない場合は添字で明示する．
ここで 2 つの離散分布の間の乖離の度合いを測る 1 つ

pX Y (x, y) = pX (x) × pY (x)の指標として Bregman 情報量 [11] を導入する．

= exp(log(pX (x)) + log(pY (y)))(2)

定義 1 (Bregman 情報量) 離散変数 X に関する 2 つのように周辺確率の積によって表される時，2 変数は統の分布関数 p, q ∈ PX 間の統計的な乖離を測る Bregman

計的に独立であるとみなされる．これは KL 情報量を特

情報量は凸関数 U (·) とその導関数 u(·) = U ′ (·) の逆関徴づける u 関数 (exp(·)) 内の ξ 関数 (log(·)) の意味での数 ξ(·) = u−1 (·) によって∑{
DU (p, q) =U (ξ(q(x))) − U (ξ(p(x)))

周辺確率の和で同時確率を定義したものと解釈できる．

x∈X

ここで式 (2) を関数 U の意味で一般化すると次のような式が得られる．

}− p(x)(ξ(q(x)) − ξ(p(x)))

fX Y (x, y) = u(ξ(pX (x)) + ξ(pY (y))) ∈ FX Y

(3)¥

ただし式 (3) を用いると通常 fX Y ̸∈ PX Y となるため，

ここで U (·) = exp(·) の時には KL 情報量

通常このような関数 fX Y を直接統計演算の中で用いる1と定義される ．

DKL (p, q) =∑x∈Xp(x) log

p(x)
q(x)

ことはできない．そこで(1)

fX Y ∈ FX Y 7−→ pX Y ∈ PX Y

(4)と一致することから，Bregman 情報量は関数 U によっという分布空間への射影 (正規化) を考える．このようて KL を一般化したものと考えることができる．表 1 にな正規化としては例えば次のようなものが考えられる．

典型的な Bregman 情報量を構成する u 関数，ξ 関数の例を示す．
情報量を定義することにより関数空間の中での 2 つの関数間の位置関係を幾何学的に議論することが可能になる [11] が，その際，次の 2 種類の平坦性が重要となる．
1 本稿では離散変数の分布関数のみに着目しているが，Bregman
情報量自体は任意の 2 つの関数 pX , qX ∈ FX に対して定めることができ，また同様に連続値変数に関しても定義することができる．

定義 3 (m-正規化) 任意の関数 fX Y ∈ FX Y から PX Yへの射影として

pX Y (x, y) = ∑fX Y (x, y)∈ PX YfX Y(x′ ,y′ )(5)x′ ∈X ,y ′ ∈Yという正規化を考えることができる．式 (5) によって実現される射影を m-正規化と呼ぶ．

¥

表 1: Bregman 情報量の例.
u(z)KL

exp(z)

Ex.1

exp(sgn(z)|z| π )

1

1
π

Ex.2

(πz + 1)

Ex.3

exp(z) + π“”
exp 1−exp(−z)π

Ex.4dom(z)

range(u)ξ(z) = u−1 (z)(−∞, ∞)(0, ∞)

log(z)(−∞, ∞)(0, ∞)

sgn(log(z))| log(z)|π[− π1 , ∞)(−∞, − π1 )[0, ∞)z π −1π[0, ∞)(−∞, ∞)(π, ∞)

log(z − π)(−∞, ∞)(0, exp( π1 ))− log(1 − π log(z))(0, ∞)

また，同様に次のような射影も考えることができる．

range(ξ)

dom(π)(0, ∞)(−∞, ∞)-(0, ∞)(−∞, ∞)(0, ∞)(0, ∞)(0, ∞)[− π1 , ∞)(−∞, − π1 )(π, ∞)(−∞, ∞)(−∞, inf(z))(0, exp( π1 ))(−∞, ∞)

1(0, log(sup(z)))(−∞, 0)1.式 (8) の関数 u の中での各項の和 (正規化項 c も含む) が u 関数の定義域内にある．

定義 4 (u-正規化) 任意の関数 fX Y ∈ FX Y から PX Y

2.「関数 u の値域 ⊇pX Y の値域」である．

への射影として

pX Y (x, y) = u(ξ(fX Y (x, y)) − c)(6)という正規化を考えることができる．ただしここで c は∑u(ξ(fX Y (x, y)) − c) = 1(7)x∈X ,y∈Yという 2 つの条件が満たされている必要がある2 ．そのため，以降 U-独立性を論じる際には上記の条件を満たすように u 関数，ξ 関数，及びこれらのパラメタ π を選ぶことにする．
ここで U-独立性と通常の独立性の違いについて少しを満たすための定数項の意である．式 (6) によって実現される射影を u-正規化と呼ぶ．

dom(z)¥

触れておく．直感的に関数 u(及び ξ) と U 乗算の関係を調べる為に z1 , z2 ∈ [0, 1] に対する u(ξ(z1 ) + ξ(z2 )) の形

以下では後に述べる整合性の観点から u-正規化を採用

状を描いたのが図 1 である．なお，ここでは演算結果のし，同時分布が概形にのみ興味があるため正規化項 c については考慮していない．図から分かるように U 乗算は関数 u（ξ ）を

pX Y (x, y) = u(ξ(pX (x)) + ξ(pY (y)) − c) ∈ PX Y
= pX (x) ⊗ pY (y)変えることで，通常の乗算 (図 1(c)) と比べて周辺確率(8)

値の大小の違いを部分的に誇張したり，逆に鈍らせたりのように周辺分布のみによって表現されることを U-独する効果がある．この結果より式 (8) で定義された U-立と呼ぶ [6]．またこのような同時分布を得るための演

独立性は周辺分布による弱い特殊な依存関係の表現とも

算を U 乗算と呼び，記号 ⊗ で表す．

解釈することができる．

また式 (8) より，同時分布から周辺分布を得るような演算

Copula との関係

前節のような周辺分布に基づく独立性の議論は copula[12]pX (x) = u(ξ(pX Y (x, y)) − ξ(pY (y)) − c′ )= pX Y (x, y) ⊘ pY (y)2.3と深い関係があり，特に逆関数の性質を用いて定義を行(9)

う点は Archimedean copula と呼ばれる copula と同じを U 除算と呼び，記号 ⊘ で表すことにする．なお式 (8)形式になっている．本章では U-独立性と copula の比較及び式 (9) はそれぞれ関数 u(ξ(pX )+ξ(pY ))，u(ξ(pX Y )−ξ(pY )) を u-正規化したものとなっているが，m-正規化を用いた場合にはこのような整合性は現れないことを付記しておく．

U-独立性を論じる際には各関数の定義域と値域について把握しておく必要がある．表 1 に代表的な関数 u 及び ξ の定義域，値域，及びそれらを特徴づける関数のパを述べていく．

Copula は連続値変数を対象に，累積周辺分布によって累積同時分布を再現する手法のことで，次のように定義される．
定義 5 (copula) 全ての u ∈ [0, 1], v ∈ [0, 1] に対して

C(u, 0) = 0 = C(0, v)

ラメタ π の定義域を示している．これらの定義域を外れると，前提としていた関数 U (·) の凸性が成り立たなくなったり，逆関数が定義できなかったりなどの不整合が生じる．U-独立性の議論を行うためにはこれに加えて

2 なお，条件 2 は厳密には KL の場合にも成り立っていないが，確率分布の値域を便宜的に pX Y (x, y) ∈ (0, 1)(連続値の場合はpX Y (x, y) ∈ (0, ∞)) とすることで回避できる．

0.0

0.2

0.4

0.6

0.8

1.0

1.0
Z2

0.4
0.2
0.0

0.0

Z1

(a) 鳥瞰図 (π = 1.0).

0.6

0.8

1.0
0.0

0.2

0.4

Z2

0.6

0.8

1.0
0.8
0.6

Z2

0.0

0.2

Z2

0.4

z2))
1)+xi(u(xi(z

Z1

0.2

0.4

0.6

0.8

1.0

0.0

0.2

Z1

(b) 等高線図 (π = 0.5).

(c) 等高線図 (π = 1.0).

0.4

0.6

0.8

1.0

Z1

(d) 等高線図 (π = 1.5).

図 1: Ex.1 の場合の u(ξ(z1 ) + ξ(z2 )) の形状（π = 1.0 において通常の乗算と一致）．

及び，

表 2: U-独立性と Archimedean copula の比較

C(u, 1) = u

andC(1, v) = v

が成り立ち，u1 ≤ u2 ，v1 ≤ v2 であるような u1 , u2 , v1 , v2 ∈U-独立性

Archimedean copula式

u(ξ(pX (x)) + ξ(pY (y)) − c)φ[−1] (φ(u) + φ(v))

対象

離散 (連続) の分布関数

連続の累積分布関数• 定数項 c による正規化で同時分布が得られる．
• 周辺確率値の高低差の同時確率への影響を U (·) の形状によって制御する．

• 定義 5 より累積同時分布が得られる．
• 同時確率分布の裾の広がり方
を関数 φ の形状によって制御する．

特徴[0, 1] に対してC(u2 , v2 ) − C(u2 , v1 ) − C(u1 , v2 ) + C(u1 , v1 ) ≥ 0が成り立つような関数 C : [0, 1]2 → [0, 1] を (2 次元)cop-¥

ula と呼ぶ．

中でも，特に次の形を持つ copula のことを Archimedean

copula と呼ぶ．
定義 6 (Archimedean copula) φ(1) = 0 であるような単調減少関数 φ : [0, 1] → [0, ∞] によって次のように定義された C を Archimedean copula と呼ぶ．

C(u, v) = φ[−1](φ(u) + φ(v)){φの意である．

(t) =φ−1 (t)(0 ≤ t ≤ φ(0))0(φ(0) ≤ t ≤ ∞)Log linear model(LLM)[1] や Bayesian network[10]など多くの統計モデルにおける基本的な考え方として変数間の（条件付き）独立性が重要視される．しかし，実世界のデータを考えると変数間に弱い特殊な関係があるために厳密には独立性が崩れていることもあり，そのような場合には積極的に弱い相関関係をモデル化することが解析上効果的だと考えられる．本章では U 乗除算の(10)

ただし，ここで φ[−1] は φ の厳密な逆関数 φ−1 ではなく，[−1]

U-独立性に基づくモデルの拡張

3

１つの応用として，弱い相関関係のモデリングを目的とした独立モデル，及び NB の拡張を試みる．

3.1
(11)

¥

独立モデルの拡張とその幾何学的解釈ある変数 X ，Y に対して変数間の独立性を仮定した統計モデルの集合を考える．

PX ×Y = {p(x, y; θ) = pX (x) × pY (y), θ = {pX , pY }}ここで Archimedean copula を構成する φ(z) を ξ(z) とすると，定数項の存在を除いて前述の U-独立性の式 (8)これに対して，適当な関数 U の下で次のような U-独立に対応することが分かる．例えば関数 φ(z) = (− log z)π性を仮定したモデルの集合を考える．

を用いて構成した Archimedean copula[9] は表 1 に示した Ex.1 によって構築される U-独立性と発想としては同PX ⊗Y = {p(x, y; θ, U ) = pX (x) ⊗ pY (y), θ = {pX , pY }}じものになるが，連続値の累積周辺分布を対象としていこの U-独立モデルは図 2 のように幾何学的に解釈するる点などが異なる3 ．両者の比較をまとめると表 2 のよことができる．まず，ある U-独立な分布 pX ⊗Y ∈ PX ⊗Yうになる．

は周辺分布 pX ∈ PX ，および pY ∈ PY によって記述される空間内の 1 点で表現される (図 2(a) 参照)．直感的

3 U-独立性は周辺分布が連続値に対するものであっても定義でき，その場合には [0, ∞]2 → [0, ∞] という射影を考えることになる．そのため U-独立性は単純に「copula の離散版」に対応している訳ではない．

には U-独立な制約を持つ空間 PX ⊗Y は同時分布の空間

PX Y の中で図 2(b) のように存在していることになる．
また，考えている関数 U が変わると U 乗算の結果表現

これを避けるために，周辺分布は経験周辺分布で固定

pxし，関数 U のみに依存するようなモデルの集合

p

y

x

p

x

×

y

P̃X ⊗Y = {p(x, y; U ) = p̃X (x) ⊗ p̃Y (y)}

y

P

x

×

y

を考え，その下で最適な U-独立モデルを適当な関数 U(a) PX ⊗Y の空間のクラスの中から探索することを考える．

Pxyq̂ = argmin DKL (p̃X Y , q)

(14)

q∈P̃X ⊗Y

Px ○× yこのように経験周辺分布で構成した U-独立モデルの推定

Px × yは直感的には図 3(c) のように解釈することができ，以下では式 (14) によって得られたモデルを経験 U-独立モデル
uxyと呼ぶ4 ．経験 U-独立モデルの最適化は関数 U のチュー
ニングによって行われるため，実際には cross-validationなどによって実現することができ，式 (13) の最適化と(b) PX Y 内の PX ⊗Y のイメージ

比べると著しく簡単になる．

図 2: U-独立性の幾何学的イメージ．
される同時分布の形状も変わる（図 1 を参照）ことから，

PX ⊗Y は PX Y の中で関数 U に応じて異なる曲がり方をしていることも分かる．
また，次のような一様分布を考えてみる．
11
1uX (x) =, uY (y) =, uX Y (x, y) =|X ||Y|
|X | × |Y|
すると独立性を構成する関数 U の種類に依らずに

前述の議論より，U 乗算を構成する U (·) の形状が変わると周辺確率が高い部分と低い部分の差の影響が様々に変化することが分かっているが，周辺分布として一様
分布 uX ，uY が与えられている時には U-独立なモデル
は関数 U に依らずに uX Y となる．このことは経験 U独立モデルの空間 P̃X ⊗Y (図 3(c) の太線で表される空間)
は経験周辺分布 p̃X ≅ uX かつ p̃Y ≅ uY の時には，関数 U をどのように動かしても，ほとんど uX Y に一致し

uX Y (x, y) = uX (x) ⊗ uY (y)てしまうことを示唆している．逆に言うと p̃X ，及び p̃Yが必ず成り立つため，図 2(b) のように，あらゆる PX ⊗Y

な分布の時 (一様分布とは対照に空間の端の方の点で表は同時分布の空間 PX Y の中の 1 点 uX Y を必ず含むこと
になる．

3.2

が局所的に高い（低い）確率値をピークとして持つよう現される) には，P̃X ⊗Y は関数 U の形状によって様々な同時分布を表すことができる．このため• サンプルの数が少ない

拡張独立モデルの推定

さて，ここで経験同時分布 p̃X Y がデータから与えられている時に U-独立モデルの最尤推定を行うことを考える．まず通常の独立モデル q ∈ PX ×Y の場合，最尤推
定は• サンプルが少数の外れ値を含んでいるなどの理由によって，扱う分布が一様分布から遠く離れている場合には，経験 U- 独立モデルは特に柔軟な表現力を持っていると考えられる．
経験 U-独立モデルの推定では経験周辺分布を用いているが，これは U-独立モデル pX ⊗Y (pX , pY , U ) ∈ PX ⊗Yq̂ = argmin DKL (p̃X Y , q)の {pX , pY } に関する推定を

q∈PX ×Y= p̃X × p̃Y(12)
argmin DU (p̃X Y , pX ⊗Y (θ, U ))のようにそれぞれの経験周辺分布のみによって実現する{pX ,pY }ことが出来る (図 3(a) 参照)．一方，U-独立モデル q ∈= argminPX ⊗Y について考えてみると
q̂ = argmin DKL (p̃X Y , q)

(13)

q∈PX ⊗Yを得るには一般にモデルのパラメタ θ，つまり周辺分布

pX ∈ PX ，pY ∈ PY ，及び乗算を定める関数 U に関する非線形最適化問題を解く必要がある (図 3(b) 参照)．

∑

{pX ,pY } x∈X ,y∈Y−∑

U (ξ(pX (x)) + ξ(pY (y)) − c)p̃X Y (x, y)(ξ(pX (x)) + ξ(pY (y)) − c)x∈X ,y∈Y≅ argmin∑{pX ,pY } x∈X

U (ξ(pX (x))) +∑U (ξ(pY (y)))

y∈Y

4 copula の文脈でも，経験累積周辺分布から累積同時分布を作るという話題があり，経験 copula と呼ばれる．

p~xy

p~xy

p~xy

Px ○× yuxyuxy

Px × y(a) 独立モデルの最尤推定~

Px ○× y(b) U-独立モデルの最尤推定(c) 経験 U-独立モデルの最尤推定

図 3: モデルの最尤推定の幾何学的イメージ．

−∑

ただしここで n(xi , y) はデータの中で xi と y が同時にp̃X Y (x, y)(ξ(pX (x)) + ξ(pY (y)))

観測された頻度を表す．

x∈X ,y∈Y

さて，条件付き独立性の一般化という観点からの最も= {p̃X , p̃Y }のような近似によって得ているのと等価となる．このように経験 U-独立モデルの推定は Bregman 情報量の近似の観点からも解釈することができ，関数 U を変えることでロバストな統計的性質が実現されることが実験的に確認されている [6]．

3.3

単純な NB の拡張としては次のようなものが考えられる．
( I)⊗
pU (X, Y ) = p(Y )p(Xi |Y )
(18)
i=1

ただし，
I
⊗

NB の拡張p(Xi |Y ) = p(X1 |Y ) ⊗ · · · ⊗ p(XI |Y )i=1

変数 Y と変数集合 X = (X1 , . . . , XI ) が与えられている時，I + 1 個の変数集合 (X, Y ) を考える．これらの同時確率 p(X, Y ) を

pKL (X, Y ) = p(Y )p(X|Y )= p(Y )

I∏

p(Xi |Y )

(15)

i=1

の意味とする．
また，X1 , . . . , XI のうちのいくつかの変数間にのみ弱い相関がある場合には，



⊗
∏
pU (X, Y ) = p(Y ) p(Xi |Y ) p(Xj |Y )
i∈S̄I

j∈SI

(19)

のように表したものは naive Bayes model(NB) と呼ばのような一般化も可能である．ただし S̄I は X の中の弱れ，次のような特徴を持つ．

1. 条件付き独立性を仮定することでモデルを単純化
2. パラメタの推定が簡単
3. 大データへの拡張性 (Scalability)

い依存関係のある変数番号の集合を表し，SI はそれ以外の変数番号の集合の意味である．

X, Y の経験同時分布 p̃ が与えられている時，上式 (18)や (19) で与えられる pU (X, Y ) の最尤推定はまた，条件付き独立性の仮定が崩れていても判別器としては比較的頑強に動作することが知られているため [4]，
様々な状況においてプリミティブな判別器として用いらp̂U = argmin DKL (p̃, pU )

(20)

pU

れている．なお，式 (15) における p(Y ) の最尤推定量はによって実現されるが，前節での議論と同様に U 乗算

データ中で y が観測された頻度 n(y) を用いてを用いて定義されたモデルは厳密解を得るには非線形最

n(y)
′
′
y ∈Y n(y )p(y) = ∑適化問題を解く必要がある．これは NB の特徴の中の(16)「パラメタ推定の簡単さ」と「大データへの拡張性」という観点からは望ましく無い．そこで経験 U-独立モデによって得られるが，p(Xi |Y ) に関してはサンプリンルの推定と同様に，必要な周辺分布等の推定に関してはグゼロ等の問題を回避するために本稿では次のような

式 (16)，(17) をそのまま用い，乗算を構成する関数 U

Laplace smoother α ∈ [0, 1] を導入する．

の方を変えることで経験 U-NB を得ることを考える．なn(xi , y) + αp(xi |y) = ∑′x′ ∈Xi (n(xi , y) + α)i(17)お，実際にはどの変数間の乗算をどの関数 U によって一般化するか，という判断も行う必要があるが，本稿では

表 4: 実験で用いたモデル
モデル名

式

注釈

model1式 (18)

π = 1 で通常の NB と一致

model2式 (19) (S̄I = {1, 2})

π = 1 で通常の NB と一致

model3式 (19) (S̄I = {3, 4, 5, 6})

π = 1 で通常の NB と一致

0.69

X のうち 2 個の変数が 1

0.67

432

KL div.

169

0.65

6

model 1model 2model 3

0.63

MONKS2

0.65(X1 = X2 ) or X5 = 1

model 1model 2model 3

Y = 1 となる条件

0.60

432

KL div.

テストデータ数124

0.55

訓練データ数

6

0.50

IMONKS10.70

表 3: MONK’s problem のデータ内容
データ名

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

pi

モデル中の全ての一般化乗算は共通の関数 U によって計算されることとし，関数 U は表 1 に示すようなパラ

0.6

0.8

1.0

pi

(a) MONKS1 の場合

メタ π によって特徴づけられるようなものに限定する．

0.4(b) MONKS2 の場合

図 4: 実験 1 の結果．

すると，経験 U-NB の推定はある関数 U のクラスの下でのパラメタ π に関する最適化問題になる．次章では

表 5: 実験 2 で用いたデータセット

実際のデータセットに対して経験 U-NB の推定を行い，

データ名

I

訓練データ数テストデータ数

その精度等について議論する．

CAR
NUR

6
8

300
300

1728
12960

数値実験

4

本章では一般化独立性を導入した経験 U-NB の推定
精度の良さを測る為に，いくつかのベンチマークデー
タセットを用いた実験を行う．まず実験 1 では U 乗算を用いた NB の拡張方法について比較，考察を行う．また経験 U-NB を推定する際には乗算を特徴づける U のチューニングが必要となるため，実験 2 では訓練データに基づく U のチューニング，及び推定結果の評価を行う．なお，以下の実験で用いる経験 U-NB は全て表 1 のEx.1 で与えられる関数 U を用いて行う．

4.1

実験 1:モデルの拡張方法の比較

先に述べたように U 乗算を用いた NB の拡張方法にはいくつか考えられる．ここでは UCI の ML レポジトリ[3] にある”MONK’s problem” より 2 つのデータ (以下MONKS1，MONKS2) を用いてモデルの拡張方法に関する実験，考察を行った．これらは共に表 3 に示すようなクラス変数 Y と離散変数集合 X = (X1 , . . . , X6 ) から成り立ち，Y の値の決定に際して X の中に一種の依存関係が存在するような人工データである．比較する NBの拡張としては表 4 に示す 3 つのモデルを使った．実験
では訓練データの経験分布 p̃ からこれらのモデル p̂U を構築し，テストデータから構築した p∗ を用いて KL 情
報量 DKL (p∗ , p̂U ) を指標とした評価を行った．なお，本実験ではモデル推定時の式 (17) の α はゼロとする．

MONKS1 に関する実験結果を，関数 U を特徴づける π の値に応じてプロットしたのが図 4(a) である．X1と X2 の関係表現に U-乗算を用いた model 1，2 に関しては，本来データが持っている依存関係をよりうまく表現し得ることが分かる．一方，X1 と X2 間の乗算を一般化していない model 3 ではほとんど改善が見られない．同様に MONKS2 に関する結果を図 4(b) に示す．

MONKS2 は変数間全てに依存関係があるため，X1 とX2 の間でのみ U-乗算を用いた model 2 ではあまり改善が見られない．一方で半数以上の変数間で U-乗算を用いた model 3，及び全変数間で U-乗算を用いた model1 では改善が見られる．これより変数間の依存関係に関する知見が無い状況であっても model 1 のような一般化をすることで NB が改善される可能性があることが確か
められる．

4.2

実験 2:パラメタ π のチューニング

実験 2 では訓練データが比較的少数の時に，Laplacesmoother を導入した通常の NB をパラメタ π のチューニ
ングによってさらに改善することが可能かどうかを確認した．なお，この実験では前述の MONKS1，MONKS2に加え，UCI の ML レポジトリにある”car evaluation”(以下 CAR)，”nursery”(以下 NUR) の 2 つのデータセット(表 5 参照) を用い，モデルとしては表 4 の model 1 を用いている．
この実験ではまず α を 0.01 刻みで動かしながら訓練
データを用いた 10-fold クロスバリデーション (CV) によって通常の NB における α̂ を求め，さらにその α̂ の下での最適なパラメタ π̂ を選んだ．その後，訓練データ全てを用いて推定したモデルのテストデータに対する良さ DKL (p∗ , p̂U ) を測った．表 6 に示す実験の結果より，

CV によって妥当な π̂ を得ることが可能であり，またどのデータセットに対しても α̂ を用いた通常の NB をさらに改善していることが確認できる．通常の NB では
Laplace smoother の導入によって少数の訓練データに対するモデルのオーバーフィットを緩和することが可能
だが，経験 U-NB ではそれに加えてモデルの背後にある Bregman 情報量のロバストな性質がさらなる緩和を表 6: 実験 2 の結果
データ名

NB

MONKS1MONKS2
CAR
NUR

0.57960.65200.63070.4321

DKL (p∗ , p̂U )U-NB
0.5340 (π̂ = 0.92)
0.6386 (π̂ = 0.01)
0.6242 (π̂ = 0.96)
0.4141 (π̂ = 0.98)

可能にすることがこの結果より示唆される．

5

minimizing α-divergence.
19:2780–2796, 2007.

Neural Computation,[3] A. Asuncion and D. Newman. UCI machine learning repository. University of California, Irvine,
School of Information and Computer Sciences,
2007.
[4] P. Domingos and M. Pazzani. On the optimality

まとめ
本稿では Bregman 情報量から発想を得た乗除算の一般化を試み，そこから導きだされた U-独立性に基づく統計モデル (独立モデル，NB) の拡張について議論を行った．また U-独立性をモデル化することで厳密な推定を行うための計算コストが増すため，これを避けるために

of the simple Bayesian classiﬁer under zero-one
loss. Machine Learning, 29:103–130, 1997.
[5] Y. Fujimoto and N. Murata. A modiﬁed EM algorithm for mixture models based on Bregman
divergence. Annals of the Institute of Statistical
Mathematics, 59(1):3–25, 2007.

経験周辺分布を用いることを提案した．経験周辺分布を用いた U-独立モデルの推定は Bregman 情報量の近似の観点からも解釈することができ，モデルが一種のロバス
ト性を実現できる可能性を示唆していると考えられる．
本稿では述べなかったが U-独立モデルを一般化線形モデルの一種と見ると，関数 ξ(·) の意味での線形モデルを構築していることになり，log linear model の拡張となる．また NB の場合と同様の議論によって Bayesian

network などの一般化も行うことができる．一般的な log
linear model における交互作用項や Bayesian network
におけるリンクによる依存関係の表現と比べるとパラメ
タ数，オーバーフィットの度合いなどの点で本手法には利点が見込めるため，例えば弱い相関を表すリンクを省いた単純なネットワーク構造と U-独立性の議論を組み合わせることで，より簡潔なモデルの記述が期待される．
また，本稿では統計モデルの精度の観点から U-NB の改善の様子を実験的に示したが，NB の応用先としてしばしば用いられる判別器としての観点からどのような性質を持つのかを調べるのは興味深い．特に判別器として有効性が謳われている complement naive Bayes[13] のような手法と組み合わせることも考えられるため，今後判別器としての評価等も行う予定である．また，同じ周辺分布であっても，用いる関数 U によって様々な同時分布の表現が可能となるため，U (·) の形状とモデルの統計的な性質に関しても議論を行う必要があると考えて
いる．

参考文献

[6] Y. Fujimoto and N. Murata. A generalized product rule and weak independence based on Bregman divergence. In Proc. 12th World MultiConference on Systemics, Cybernetics and Informatics, 2008.
[7] F. R. Hampel, E. M. Ronchetti, P. J. Rousseeuw,
and W. A. Stahel. Robust Statistics. Wiley Inc.,
1986.
[8] T. Hofmann. Unsupervised learning by probabilistic latent semantic analysis. Machine Learning,
42:177–196, 2001.
[9] P. Hougaard. A class of multivariate failure time
distributions. Biometrika, 73(3):671–678, Dec.
1986.
[10] F. V. Jensen. Bayesian Networks and Decision
Graphs. Statistics for Engineering and Information Science. Springer, 2001.
[11] N. Murata, T. Takenouchi, T. Kanamori, andS. Eguchi. Information geometry of U-boost
and Bregman divergence. Neural Computation,
16:1437–1481, 2004.
[12] R. B. Nelsen.
An Introduction to Copulas.
Springer Series in Statistics. Springer, second edition, 2006.
[13] J. D. Rennie, L. Shih, J. Teevan, and D. Karger.

[1] A. Agresti. Categorical Data Analysis. Wiley Inc.,
2 edition, 2002.

Tackling the poor assumptions of naive bayes
text classiﬁers. In Proceedings of the Twenti-[2] S. Amari.

eth International Conference on Machine Learning (ICML2003), 2003.

Integration of stochastic models by