統計数理（2011）
第 59 巻 第 2 号 321–329
c 2011 統計数理研究所
［研究ノート］

DeRobertis 分離度による全変動距離の上界
小林 景†（受付 2011 年 2 月 23 日；改訂 4 月 26 日；採択 6 月 22 日）

要旨

DeRobertis 分離度は確率測度間の差異を測る指標の一つであり，ベイズ事後分布や，分配関数の計算が困難な確率測度間の差異を調べる際に，応用上有効である．一方，密度関数の対が与えられたとき，この DeRobertis 分離度を用いて全変動距離の上界が得られることが知られている．本研究ノートでは，既存の上界を優越するような厳密な上界を導出し，さらにそれが最適であることを証明する．また，局所的な測度の違いを測る局所 DeRobertis 分離度を用いて得られる全変動距離の上界についても，既存のものを本質的に優越するような上界を示す．

キーワード：全変動距離，ロバスト統計，ベイズ事後分布，ダイバージェンス，DeRobertis
分離度，局所 DeRobertis 分離度．
1.

研究の背景 ∼ DeRobertis 分離度と全変動距離

測度空間 (X , F, µ) 上の確率密度関数全体の集合を P とする．このとき，f, g ∈ P 間の DeRobertis 分離度 dDR : P × P → [0, ∞] をf (x) g(x )−1x∈X x ∈X g(x) f (x )dDR (f, g) := sup supで定義する．この分離度はdDR (f, g) = 0 ⇔ f = g µ-a.e.

を満たすが，三角不等式を満たさないため距離ではない．一方，スケール変換した
d˜DR := log(dDR + 1)

は距離となるので，必要によりこちらに変換してから使用すればよい．
DeRobertis 分離度は DeRobertis（1978）で提案され，応用上重要な特徴として，以下に述べるように，ベイズ事後確率に関する分離度が事前分布のみによるという点と，分配関数が計算出来ないときにも，それを用いずに計算できるという点があげられる．なお，例の中に出てくる積分に関しては可積分性が保証されているものとする．
例 1.1.（ベイズ事後確率）事前密度関数 π1 ，π2 に対するベイズ事後分布測度間の DeRobertis
分離度は，Z1 (fn , xn , π1 ) := fn (xn |θ)π1 (θ)dθ，Z2 (fn , xn , π2 ) := fn (xn |θ)π2 (θ)dθ を用いて，
dDR (π1 (·|xn ), π2 (·|xn )) = supθ†fn (xn |θ)π1 (θ)/Z1 (fn , xn , π1 )fn (xn |θ )π2 (θ )/Z2 (fn , xn , π2 )sup−1
fn (xn |θ)π2 (θ)/Z2 (fn , xn , π2 ) θ fn (xn |θ )π1 (θ )/Z1 (fn , xn , π1 )統計数理研究所：〒190–8562 東京都立川市緑町 10–3

統計数理

322

= sup
θ

第 59 巻

第 2 号 2011

π1 (θ)π2 (θ )sup−1
π2 (θ) θ π1 (θ )と表される．よって，ベイズ事後分布測度間の DeRobertis 分離度は事前分布のみに依存する．
これは標本や尤度関数によらないロバストな事後分布の理論評価をするときに有効な性質である．
例 1.2.（分配関数未知の場合）測度空間 (X , F, µ) 上の可測関数 Hf , Hg に関して，
f (x) := exp(Hf (x)),
exp(Hf (x))dµg(x) := exp(Hg (x))
exp(Hg (x))dµとすると，f と g 間の DeRobertis 分離度は
dDR (f, g) = supexp(Hf (x))

supexp(Hg (x))

x∈X exp(Hg (x)) x∈X exp(Hf (x))−1と表される．よって，分配関数 exp(Hf (x))dµ， exp(Hg (x))dµ を計算することが困難な場合にも，DeRobertis 分離度を計算することができる．

（文末補足 A）
最後に，本論文で主に扱う DeRobertis 分離度の性質として，全変動距離の上界になるということがあげられる．ただし，全変動距離としては以下の定義を用いる．
dTV (f, g) :=|f (x) − g(x)|dµ .
X

このとき，任意の確率密度関数 f , g に関して，次の不等式が成立する．
(1.1)

dTV (f, g) ≤ dDR (f, g) .

f と g の零点集合が一致しない場合は，右辺が発散するためこの不等式は明らかである．それ
f (x)
g(x)
≥ 1，sup≥ 1 を用いると次のようにして容易に確認できる．
以外の場合でも，supx g(x)x f (x)dTV (f, g) = |f (x) − g(x)|dµ






f (x)
g(x)
− 1 g(x)dµ +− 1 f (x)dµ
=
g(x)
f (x)
{x|f (x)>g(x)}{x|f (x)<g(x)}


 


f (x)
g(x )
sup−1≤ supg(x)dµ +f (x)dµx g(x) x f (x ){x|f (x)>g(x)}{x|f (x)<g(x)}


f (x)
g(x )
sup−1= dDR (f, g).
≤ sup
x g(x) x f (x )実際，Smith and Rigat（2009）では不等式（1.1）を用いて，二つの異なる事前分布に関するベイズ事後確率測度間の全変動の上界を求め，その上界をベイズ推定のロバスト性の指標として用いている．
しかし，Smith and Rigat（2009）では，不等式（1.1）の厳密（tight）さについては全く評価されていない．本論文では，まず 2 節で，この不等式より厳密な不等式を導出し，さらにそれがより厳密な不等式を持たない最適なものであることを示す．次に，3 節では，Smith and Rigat（2009）で導入された局所 DeRobertis 分離度を用いた全変動の上界についても，より厳密な不等式を導出する．

DeRobertis 分離度による全変動距離の上界

2.

323

DeRobertis 分離度による全変動距離の厳密上界

本節では，測度空間 (X , F, µ) 上の確率密度関数 f , g に対して，DeRobertis 分離度による全変動距離の上界（1.1）
より厳密な上界を導出する．また，さらにそれが最適な上界であることを示す．
定理 2.1.

−1 

1 − (dDR + 1)−1/2 .
dTV ≤ 2 1 + (dDR + 1)−1/2

(2.1)

よって，
1
dTV ≤ dDR .
2

(2.2)

f (x)
g(x)
もしくは gf := sup
が発散
g(x)
f
(x)
x
x
および
（2.2）
の右辺が発散するため定理の主張は成立する．よって以後は f とするときは，
（2.1）
f (x)
g(x)
g の零点は共通であり，かつ sup< ∞ および sup< ∞ を仮定する．
g(x)
f
x 
x  (x)A := {x|f (x) > g(x)}，F (A) := A f (x)dµ，G(A) := A g(x)dµ と定義すると，

証明.

f ，g の零点集合が共通でないときや， fg := sup

1
dTV = F (A) − G(A)
2


f (x)
− 1 = G(A) (fg − 1) ,≤ G(A) supx g(x)



f (x)
1
dTV = G(Ac ) − F (Ac ) ≤ G(Ac ) 1 − infx g(x)
2


−1 


g(x)
= (1 − G(A)) 1 − sup= (1 − G(A)) 1 − gf−1 .
f
(x)
x

(2.3)

(2.4)

1−g −1

ただし，Ac は A の補集合 X \A を表すとする．ここで，G(A) ≤ f −gf−1 のとき不等式（2.3）を，g

G(A) ≥−11−gf−1
fg −gffのとき不等式（2.4）を用いて，
1 − gf−1 (fg − 1) (gf − 1) (fg − 1)
1
dTV ≤
=
2
fg gf − 1
fg − gf−1

2(fg gf )1/2 − 1
1 − (fg gf )−1/2=≤.
fg gf − 1
1 + (fg gf )−1/2

これより（2.1）が従う．
また，（2.2）は，t ∈ (0, ∞) に対して次の式が成り立つことから従う．
(2.5)

t
1 − (t + 1)−1/2 t + 2 − 2(t + 1)1/2
≤ .
=
t
4
1 + (t + 1)−1/2

定理 2.1 の不等式
（2.1）
による全変動距離の上界は最適なものである．つまり，任意の dTV ∈ [0, 2]の値に対して，（2.1）の等号を満たすような dTV および dDR を持つ f ，g の組が存在する．そのことを確認するために，まず (0, 1) 上の確率測度について以下の例をみる．

統計数理

324

第 59 巻

第 2 号 2011

例 2.2. µ を (0, 1) 上のルベーグ測度とする．dDR = ∞ の時は，サポートが互いに素な f ,g を選べば dTV = 2 となり（2.1）の等号が成立するので，以下では dDR < ∞ とする．この時，
a ∈ [1, ∞) に対して，以下の f , g は定理の条件を満たす．
⎧
1 
⎪
⎪
,
x ∈ 0,⎨aa+1
f (x) =

⎪ −1
1
⎪
⎩a
,1 ,
x∈
a+1
g(x) ≡ 1

実際，このとき，dTV =(x ∈ (0, 1)) .

2(a − 1),a+1dDR = a2 − 1となり，（2.1）の等号を満たす．
次に，測度空間 (X , F, µ) が以下の条件を満たすとする．
(2.6)µ(A), µ(B) ∈ (0, ∞) かつ A ∩ B = φなる A, B ∈ F が存在する．

これは非常に弱い条件であるが，この条件のもとで，例 2.2 と本質的に同じ確率密度関数の組が一般の測度空間で構成でき，次の定理が成立する．
定理 2.3. (X , F, µ) が条件（2.6）
を満たすとする．このとき，定理 2.1 における全変動距離の
DeRobertis 分離度による上界（2.1）は最適である．つまり，任意の dTV ∈ [0, 2] の値に対して，（2.1）の等号を満たすような dTV および dDR を持つ f , g の組が存在する．また，不等式（2.2）
は
dDR の線形関数による上界として最適である．
（2.6）
中の A, B ∈ F と，a ∈ (1, ∞) を用いて，µ 上の確率密度関数を以下の証明. 測度の条件ように定義する．
⎧
1
1⎪⎪(on A) ,
⎪
⎪
µ(A)
a
+
1
⎪
⎨
1
a
f (x) =
(on B) ,
⎪
⎪
µ(B)
a
+
1
⎪
⎪
⎪
⎩
0
(otherwise) ,
⎧
1
a
⎪
⎪
(on A) ,
⎪
⎪
µ(A)
a
+
1
⎪
⎨
1
1
g(x) =(on B) ,⎪⎪ µ(B) a + 1
⎪
⎪
⎪
⎩
0
(otherwise) .

このとき，例 2.2 と同一の dTV と dDR を持つことが確認でき，不等式（2.1）の最適性が示される．
また定理の後半は，不等式（2.5）の左辺が凹関数で，そのグラフが原点で右辺の線形関数のグラフと接することから従う．
3.

局所 DeRobertis 分離度による全変動距離の厳密上界

局所 DeRobertis 分離度は，上記 DeRobertis 分離度を部分空間に制限したものであり，Smithにより提案された．具体的には，測度空間 (X , F, µ) 上の確率密度関数 f , g とand Rigat（2009）

DeRobertis 分離度による全変動距離の上界

325

可測部分集合 A ⊂ X に対して，
f (x) g(x )−1
x∈A x ∈A g(x) f (x )dA
DR (f, g) := sup supで定義する．また，全変動距離に対しても，可測部分集合 A に制限したものを以下のように定
義する．

dA
TV (f, g) :=A|f − g|dµ

このとき，A ⊂ B ⊂ X に対して，
B
dA
DR (f, g) ≤ dDR (f, g)

および
B
dA
TV (f, g) ≤ dTV (f, g)が成り立つことは明らかである．
一方，A 上で一定の値をとる任意の f , g に関して dA
DR (f, g) = 0 となることからもわかるよAA
うに，dTV の自明でない上界を dDR を用いて表すことは一般にはできない．しかし，dA
DR を用
いて，dTV の上界を改良することは可能である．実際，Smith and Rigat（2009）では任意の可測集合 A ⊂ X に関して，dTV ≤ 2F (Ac )dDR + F (A)dA
DR

(3.1)

のように全変動距離の上界が導出された．この上界は，密度関数の変動が小さく，かつ十分
F (A) が大きいような A をうまく取れれば，大域的な DeRobertis 分離度 dDR を用いた結果を改良し，意味がある．実際彼らは，ベイズ事後確率測度間の全変動距離に対して，サンプル数に依存させて A の領域を大きくしていき，その上界を実データ解析に応用している．
本節では，不等式（3.1）
より厳密な上界を求める．これは，2 節の結果の適用による右辺第二項の厳密化以外にも，右辺第一項に関して F (Ac )dDR の値が大きいときに本質的な改良になっている．
定理 3.1. 測度空間 (X , F, µ) 上の任意の確率密度関数 f , g および可測集合 A ⊂ X に関して，dTV ≤ 2

−1/2
F (Ac )dDR
1 − (dA
DR + 1).
+ 2F (A)Ac
F (A )dDR + 1
1 + (dDR + 1)−1/2

定理の証明の前に，大域的な DeRobertis 分離度に関して以下の補題を示す．
補題 3.2. S = S(f, g) := {x ∈ X | g(x) ≥ f (x)} としたとき，dTV ≤ 2

補題 3.2 の証明.

(1 − F (S))F (S)dDR.
F (S)dDR + 1(x)定理 2.1 の証明と同様に，f と g の零点は共通であり，fg := supx∈X fg(x)<∞および gf := supx∈X fg(x)< ∞ としてよい．このとき，dDR = fg gf − 1 に注意すると，以下が成
(x)
立する．

1
(3.2)
g(x) − f (x)dµdTV =2{x|g(x)>f (x)}(3.3)

≤ F (S)(gf − 1) = F (S){(dDR + 1)fg−1 − 1} ,
1f (x) − g(x)dµdTV =2{x|f (x)>g(x)}

統計数理

326

第 59 巻

第 2 号 2011

≤ (1 − F (S))(1 − fg−1 ) .

定理 2.1 の証明と同様にして，fg ≥ F (s)dDR + 1 のとき不等式（3.2）を， fg ≤ F (s)dDR + 1 のとき
（3.3）を用いることにより，補題が従う．
定理 3.1 の証明.とから，

まず，F (A) ≥ G(A) のときを考える．このとき，F (Ac ) ≤ G(Ac ) であるこF (Ac ) + F (B) = G(Ac ) + G(B)かつ B 上 f ≥ g となるような B ⊂ A がとれる
（文末補足 B）．
このような B に対して，
c

c

A ∪B
dTV
≤2

(3.4)

A ∪B
F (Ac )dDRcA
F (Ac )dDR∪B + 1

が成り立つことを以下のようにして示すことができる．まず，Ãc := Ac ∪ {x ∈ X | g(x) ≥ f (x)}B̃ := (B ∪ Ac )\Ãcと定義すると，Ac ∪ B = Ãc ∪ B̃ かつ B̃ 上で f ≥ g ，Ãc 上で g ≥ f となる．これより，f˜ :=f /F (Ãc ∪ B̃) および g̃ := g/G(Ãc ∪ B̃) = g/F (Ãc ∪ B̃) に対して補題 3.2 を適用すると，
c˜c )F (A˜c )2 1 − F F(A(˜AdA ∪B
cc ∪B̃)F (A˜c ∪B̃) DRA ∪BF (Ãc ∪ B̃)
(3.5)
dTV ≤
F (A˜c )
Ac ∪B
d
+
1
F (A˜c ∪B̃) DR
c

=2

A ∪B
F (B̃)F (Ãc )dDRAc ∪BcF (Ã )dDR + F (Ãc ) + F (B̃)
c

c

(∗1)

A ∪B
A ∪B
F (Ãc )dDR
(1 − F (Ãc ))F (Ãc )dDR
≤2
Ac ∪B
Ac ∪B
c
c
F (Ã )dDR + 1
F (Ã )dDR + 1

(∗2)

A ∪B
F (Ac )dDR
.
Ac ∪B
c
F (A )dDR + 1

≤ 2

c

≤ 2

ただし，不等式（∗1）では左辺が F (B̃) に関する非減少関数であることを，不等式（∗2）では左辺
cが F (Ã ) に関する非減少関数であることを用いた．
また，不等式（3.5）の最右辺は F (Ac ) の増加関数であり，さらに今 F (A) ≥ G(A) を仮定して
いるので，
Ac ∪B
G(Ac )dDR
Ac ∪B
dTV
≤2
Ac ∪B
G(Ac )dDR+1が従う．これより，逆に G(A) ≥ F (A) の場合も，f と g を交換した後に上記の議論をなぞることにより，不等式（3.4）が示される．
以上と定理 2.1 の結果より，
c

A\B

A ∪B
dTV := dTV
+ dTV
c

A\B

≤2

A ∪B
1 − (dDR + 1)−1/2
F (Ac )dDR
+ 2F (A\B)
Ac ∪B
A\B
c
F (A )dDR + 1
1 + (dDR + 1)−1/2

≤2

−1/2
F (Ac )dDR
1 − (dA
DR + 1).
+ 2F (A)Ac
F (A )dDR + 1
1 + (dDR + 1)−1/2

よって，定理が示された．

DeRobertis 分離度による全変動距離の上界

4.

327

考察

全変動距離は他の Hellinger 距離，Prokhorov 距離，discrepancy 距離等，距離やダイバージェ
ンスの上界として用いられる（例えば Gibbs and Su, 2002, 参照）．よって，2 節での結果は，間接的にそれらに対しても DeRobertis 分離度による上界の式を与える．また，そのようにして得られた上界の厳密性を評価する際に，本論文で不等式の等号成立例を具体的に示したことには意味がある．
3 節で導出した局所 DeRobertis 分離度に関する上界は，Smith and Rigat（2009）において提c案された上界と比べ，単に厳密なだけでなく，F (A )dDR の値が大きいときには本質的な改良となっている．さらに，局所 DeRobertis 分離度を用いた上界においては，証明中に用いられた集合 B が果たす役割が本質的であるが，Smith and Rigat（2009）の証明ではそれが分かりづ
らい．
しかし，定理 3.1 での上界においても，定理 2.3 において大域的な DeRobertis 分離度による上界に対して示されたような厳密さは持たない．この意味で厳密な局所 DeRobertis 分離度による全変動距離の上界については，未解決である．
また，一般の測度空間に対する定理 2.3 の前に，例 2.2 において (0, 1) 上のルベーグ測度に関する確率密度関数の例を示した．実は，Hardy et al.（1988）で紹介されている密度関数のrearrangement の技術を一般の測度空間に拡張することにより，一般の測度空間上の確率密度関数の組 f , g に対して，(0, 1) 上のルベーグ測度に関する確率密度関数の組 f˜, g̃ で，全変動距
離 dTV と DeRobertis 分離度 dDR および局所 DeRobertis 分離度を保存するようなものを構成することができる．よって，一般の測度空間に対する DeRobertis 分離度と全変動距離の上界の議論は，本質的に (0, 1) 上のルベーグ測度に対する議論に帰着させられることを付記しておく．
補 足A.

用語「上界」について

ここで，各密度関数対 (f, g) に関して，ψ(f, g) ≤ ψ  (f, g) が成り立つとき，汎関数 ψ  を汎関
数 ψ の「上界」と呼ぶ．この「上界」の用法は数学本来の定義とは異なるが，応用分野では慣例的に用いられるため，本論文ではこの意味で用いる．あえて言うなら汎関数空間に上記の意
味で半順序を導入したときに ψ  は {ψ} の上界である．
B.

集合 B の存在


このような B がとれるためには， {x|f −g≥α} (f − g)dµ = G(Ac ) − F (Ac ) = F (A) − G(A) なる α ∈ [0, ∞) が存在することが十分であるが，これは基準測度 µ が atomic であるときには必ずしも成り立たない．しかしその場合であっても， B の「境界の適当な重み付け」 Bt を以下のように形式的に導入し， B の代わりに用いることにより，同様な議論が可能である．つまり，α := sup{α ∈ [0, ∞) | {x|f −g≥α} (f − g)dµ ≥ F (A) − G(A)} を用いて，B := {x | f − g ≥ α }，B o := {x | f − g > α } かつ ∂B := B\B o としたとき，各 t ∈ [0, 1] に対しての Bt 上の各積分値を
例えば F (Bt ) = F (B o ) + tF (∂B) かつ F (Btc ) = F (B c ) + (1 − t)F (∂B) のように計算すれば良い．

328

統計数理

第 59 巻

第 2 号 2011

参 考 文 献DeRobertis, L.（1978）. The use of partial prior knowledge in Bayesian inference, Ph.D. dissertation,
Yale University, New Haven.
. On choosing and bounding probability metrics, International
Gibbs, A. L. and Su, F. E.（2002）
Statistical Review, 70（3）, 419–435.
Hardy, G. H., Littlewood, J. E. and Pólya, G.（1988）. Inequalities, Cambridge University Press,
Cambridge.
. Isoseparation and robustness in finite parameter Bayesian inferSmith, J. Q. and Rigat, F.（2009）
ence, Annals of the Institute of Statistical Mathematics（to appear）.

Proceedings of the Institute of Statistical Mathematics Vol. 59, No. 2, 321–329 (2011)329

Upper Bounds on Total Variation Distance by DeRobertis Separation
Kei Kobayashi
The Institute of Statistical Mathematics

The DeRobertis separation is a function of two probability distributions and it measures the diﬀerence between them. Because of some properties of the DeRobertis separation, it works well for Bayesian posterior distributions and probability distributions
whose partial function is hard to compute. Given a pair of probability density functions,the DeRobertis separation is known to be an upper bound on the total variation distance,
though the tightness of the bound has not been studied. In the letter, a tighter upperbound is derived and the bound is proved to be optimal. Furthermore, another upperbound is proved by using the local DeRobertis separation, which is essentially tighter
than the known upper bounds.

Key words: Total variation distance, robust statistics, Bayesian posterior distribution, divergence,
DeRobertis separation, local DeRobertis separation.