修士論文 要旨

平滑化相互作用エネルギーに関する種々の考察及びサンプリングへの適用
数理情報学専攻 48226230
指導教員

2.1.1

1 はじめに

福元 啓悟
田中 健一郎 准教授

測地的凸性の「必要条件」

定理 1 ([1, Prop. 3.8.]). ∀ξ ∈ Cc∞ (X ; R∗n ) に対して真の確率分布を有限個の点による離散分布によってµt = (I + tξ)# µ∗(3)近似する問題を考える. この問題は, 真の分布と離散分布の差を何らかの関数によって数値化することによっとすると,いくつかの仮定のもとでd2Eϵ (µt )≥0ϵ→0 dt2t=0て, 目的関数の最小化問題として定式化することがで

lim

きる.
この問題に対して, [1] は平滑化相互作用エネルギー(MIE) の最小化によるアプローチを提案した. MIE は測地的凸性の”必要条件”となる不等式の成立など, 良い性質を持つことが示されている. しかし, この不等式は極限でしか成り立たないため, 実際に最適化を行う際には測地的凸性の恩恵を受けることができないという課題がある.

(4)が成り立つ.
定理 1 は「ϵ → 0 の極限かつ真の分布」という限定的な場合のみにおいて意味のあるものである. したがって, そのまま実際のアルゴリズムに活用することは非常に難しい.
離散 MIE

2.2

上で定義した MIE は空間方向に連続な一般の確率分布について定義されているため, 実際に数値実験を行う

2 既存研究X ⊂ Rn を標本点の属する空間, µ∗ を真の確率分布,ためには以下で定義される離散 MIE を用いる.

p ∈ C 1 (X ), 0 < p(x) < ∞ を真の分布の密度関数と定義 3. サンプル点 ωN = {x1 , x2 , . . . , xN } ⊂ X につする.

いて, 離散 MIE は以下の式で定義される:

2.1 MIE の定義
定義 1 ([1, Def. 3.1]). ϕϵ : R → R について, {ϕϵ }ϵ>0nEϵ (ωN ) =は以下の 3 条件を満たすとき軟化子の族と呼ばれる.

N N
11 XXϕϵ (xi − xj )(p(x)p(y))− 2 . (5)N 2 i=1 j=1[1] ではこの離散 MIE を用いて数値実験にて有効性
1. ∀ϵ > 0, ∀x ∈ R , ϕϵ (x) ≥ 0 and ϕϵ (x) = ϕϵ (−x).

を示しているものの, 離散 MIE に最小化アルゴリズム

2. ∀ϵ > 0, ∥ϕϵ ∥1 = 1 and supx∈Rn ϕϵ (x) < ∞.

を適用したときにどのような条件で減少列となるかの3. ∀δ > 0, ∀p ∈ {1, ∞}, limϵ→0 1Rn \Bδ (0) ϕϵ p = 0.

理論解析は全く行っていない.

定義 2 ([1, Def. 3.2]). {ϕϵ }ϵ>0 を軟化子の族とする. こ3 本研究 1 : MIE に対する正則化項の付加

nのとき, ϵ > 0 に対して, 対称カーネル Wϵ : Rn × Rn →[0, ∞] を以下のように定義する,
1
ϕϵ (x − y)(p(x)p(y))− 2Wϵ (x, y) =∞if x, y ∈ X ,otherwise.
(1)

この Wϵ を用いて, Eϵ : P(X ) → [0, ∞] を以下の通り定義する,凸性の必要条件である 2 階微分の不等式が成り立つ範囲を広げ, 実際の MIE によるサンプリングの性能を向上させることを目指した.
定義 4. {ϕϵ }ϵ>0 を軟化子の族とする. この時 MIE および, R(µ) : P(X ) → R≥0 について, 以下の式を考Z Z
Eϵ (µ) =本研究では MIE に正則化項を付加することで測地的Wϵ (x, y)dµ(x)dµ(y).

(2)

この Eϵ を MIE と呼ぶ.

MIE は, ϵ → 0 の極限にて χ2 -divergence に収束する
ことが知られている [1, Thm. 3.3].

える:EϵR (µ) =Z Z
Wϵ (x, y)dµ(x)dµ(y) + R(µ).

(6)

このとき, (6) 式で定義される EϵR : P(X ) → R を, Rを正則化項とする RMIE と言い, R を正則化項と呼ぶ.

平滑化相互作用エネルギーに関する種々の考察及びサンプリングへの適用 (福元 啓悟)

定義 5. single mean の正則化項 Rsingle は以下のように定義される:

σRsingle (µ; σ, m ) =2∗Z∥x − m∗ ∥22 dµ(x).

(7)

ただし,5 数値実験
5.1アルゴリズム

離散 MIE については, 単純に Eϵ に対して Adam を適用して最小化を行った.

σ ∈ R≥0 , m∗ ∈ Rn(8)一方で離散 RMIE については, 下記アルゴリズムに基づいて最小化を行った.

である.
定理 2. ∥ξ(·)pp(·)∥2 = 1 を満たす ∀ξ ∈ Cc∞ (X ; X )に対してµt = (I + tξ)# µ∗Algorithm 1 離散 RMIE の最小化アルゴリズム
Require: σ0 > 0, 0 < σ1 < 1, ωN = {xi }N
i=1 , N1 ∈N, N2 ∈ N, R(ωN ; σ) : 正則化項

(9)

1: for i = 0 ∼ N1 − 1 doRとすると, Rsingle を正則化項とする RMIE Eϵ single に2:σ ′ ← σ1i

ついて, 一定の仮定のもとで3:

for j = 0 ∼ N2 − 1 dod2 RsingleEϵ(µt ) ≥ σ − C1 (ϵ)n2 ∥ξ∥2∗ − C2 (ϵ)n3 t∥ξ∥3∗dt2− C3 (ϵ)n4 t2 ∥ξ∥4∗(10)が成り立つ. ただし, ∥ · ∥∗ はノルムである.

4:

e1 ← Eϵ (ωN )5:e2 ← R(ωN ; 1)e1σ ← σ0 · σ ′e2
EϵR (·) = Eϵ (·) + R(·; σ) に Adam を適用して

6:
7:

ωN を更新本定理より, MIE では極限でしか成り立たなかった
測地的凸性の必要条件となる不等式が, 正則化項の付加によって必ずしも極限をとらなくても成り立つように

8:

end for

9: end for

Ensure: ωNなった.

4 本研究 2 : MIE/RMIE に関する理論評価
本研究では, 実験に使用する離散 MIE/離散 RMIE についても理論解析を行い, 最急降下法の適用時に一定の5.2

実験結果

r ≤ sin2 θ + 0.2 上の一様分布を真の分布として数値実験を行った結果, 下記の通りとなった.

ステップサイズのもとで減少列となることを示した. 本稿では結果の一部を抜粋する.
定義 6. サンプル点 ωN = {x1 , x2 , . . . , xN } ⊂ X が与えられたとする. この時, 離散 MIE Eϵ および関数

R : X N → R≥0 について, 以下の式を考える:
EϵR (ωN ) =≤ sin2 θ + 0.2 上 の 一 様 分 布 を 真 の分 布 と し て MIED, RMIED(single mean),RMIED(multi mean) を適用した際のサンプル点の分布.

図 1. rN11 X
ϕϵ (xi − xj )(p(x)p(y))− 2 + R(ωN ).
2N i,j=1(11)
この時, (11) 式で定義される EϵR : X N → R を, R を正

図 1 の通り, 正則化項を付加することでより真の分布則化項とする RMIE と言い, R を正則化項と呼ぶ.に近い形に収束すると言う結果となった.

定 理 3. Rsingle (Rsingle の 離 散 版) を も と に し た 離 散

参考文献

RMIE について, 一定の仮定のもとで
RRm+1mEϵ single (ωN) − Eϵ single (ωN) 1Rm 2)∥2 (12)≤ −γ 1 − 2L + σ γ ∥∇Eϵ single (ωN2が成り立つ. ただし, L > 0 は定数である.

[1] Lingxiao Li, Qiang Liu, Anna Korba, MikhailYurochkin, and Justin Solomon. Sampling with molliﬁed interaction energy descent. In The Eleventh International Conference on Learning Representations,2023.