一般空間上の積分表現ニューラルネットとリッジレット変換園田翔

理化学研究所 革新知能統合研究センター（理研 AIP）
深層学習理論チーム 研究員

第 41 回ディープラーニングと物理学
Deep Learning and Physics (DLAP)オンライン
2022 年 6 月 9 日

1 / 30自己紹介
2018.4-present 理研 AIP 特別研究員 → 研究員
深層学習理論チーム（TL: 鈴木大慈准教授）
JST さきがけ（兼任）2017.4-2018.3 早稲田大学 助手
2013.9-2017.3 早稲田大学 博士（工学）
電気・情報生命工学専攻（村田昇教授）
学振 DC2
論文「深層ニューラルネットの積分表現理論」

2012.4-2013.9 パナソニック株式会社
車載機器開発研究分野:
機械学習，ニューラルネットの理論
実データ: 脳波解析，工場操業データ解析，自動運転

2 / 30浅いニューラルネット• 任意の連続関数を近似できる（普遍近似性）• 畝（うね）状関数（ridge function）の線形結合
g(x; θp ) :=pXci σ(ai · x − bi ),x ∈ Rm ,i=1

whereθp := {(aj , bj , cj )}pj=1 ∈ (Rm × R × R)p ;σ(z) = exp(−z 2 /2), tanh z, max(z, 0), . . .
R2R5z∈R

Reg. σ(z) = exp(−z 2 /2)
3 / 30浅いニューラルネットは任意の連続関数を近似できる
String art of El Greco’s Christ
by Petros Vrellis, Knit#1, 2016

g(x; θp ) =pX

ci σ(ai · x − bi )i=1

a: 畝の向きと幅b: 位置
c: 強度（Radon 逆変換と同じ原理）

4 / 30積分表現ニューラルネット S[γ]有限 NN（= 標準的な隠れ 1 層 NN）• g(x; θp ) =p
Xci σ(ai · x − bi )i=1

• params: θp = {(ai , bi , ci )}pi=1 ∈ R(m+2)pcontinuum limit

discretizationPp
γp = i=1 ci δ(ai ,bi )

積分表現（無限幅，連続）NN• S[γ](x) =Z
Rm ×R

γ(a, b)σ(a · x − b)dadb• params: γ ∈ Map(Rm × R → R)
5 / 30

関連研究（積分表現）• 有限 NN の表現力評価• Barron (1993) を筆頭に 90 年代の結果多数• リッジレット変換（右逆作用素 R）もこの系譜（Murata, 1996; Candes,1998; Rubin, 1998）• Bengio et al. (2006) convex neural network → 学習へ応用• ReLU ネットの SGD 解の特徴づけ（平均場理論）• Nitanda-Suzuki arXiv2017; Mei-Montarari-Nguyen PNAS2018;
Rotskoff-Vanden-Eijnden NeurIPS2018; Chizat-Bach NeurIPS2018;
Sirignano-Spiliopoulos SIAM2020; Suzuki NeurIPS2020• ReLU ネットのレプレゼンター定理• Savarese+, COLT2019; Ongie+, ICLR2020; Parhi-Nowak, arXiv2020; Unser,FCM2020.

•（一般の活性化関数）有限 NN の RERM 解の特徴づけ• Sonoda-Ishikawa-Ikeda, AISTATS2020• Bayesian NN の解析（ridgelet prior）• Matsubara-Oates-Briol, JMLR2021.
6 / 30

本日の問題Appendix A.3, S-Ishikawa-Ikeda (2021) arXiv:2106.04770• 問題: 積分表現 NN が定める積分方程式
Z
S[γ](x) =γ(a, b)σ(a · x − b)dadb = f (x),Rm ×Rを未知関数 γ について解く．
• Remark: 学習問題
1X
min|f (xi ) − g(xi ; θp )|2θp ni=1nの極限形
min ∥f − S[γ]∥2L2 (PX )γの強解に相当する．
7 / 30S[γ] = f の解き方．Step 1
Appendix A.3, S-Ishikawa-Ikeda (2021) arXiv:2106.04770• Given f ∈ L1 (Rm ) ∩ L2 (Rm ) and σ ∈ S ′ (R),• Step 1: 枠 {σ(a · x − b)dadb} をうまく変換して Fourier 逆変換にする:
ZS[γ](x) :=γ(a, b)σ(a · x − b)dadb
Rm ×RZ Z
1=γ ♯ (ξ/ω, ω)eiξ·x dξ σ ♯ (ω)|ω|−m dω(⋆)
2π R Rm
ただし ♯ は b に関する Fourier 変換

8 / 30

Step 1, cont’d（詳細）• Step 1a: Fourier 表示にする:
Z Z
S[γ](x) =γ(a, b)σ(a · x − b)db da(1)mR
ZR=(2)[γ(a, ·)∗b σ(·)](a · x)daRm

Z Z
1=
γ ♯ (a, ω)σ ♯ (ω)eiωa·x da dω.
(3)
2π R Rm
R ♯1
つまり，恒等式（·♯ に関する Fourier 反転公式）ϕ(b) = 2πϕ (ω)eibω dωRにおいて ϕ = γ(a, ·) ∗ σ(·) および b = a · x とおく.
• Step 1b: 置換積分: (a, ω) = (ξ/ω, ω), dadω = |ω|−m dξdω により，
1(3) =2πZ Z♯γ (ξ/ω, ω)eRiξ·xdξ σ ♯ (ω)|ω|−m dω.

(⋆)

Rm

9 / 30S[γ] = f の解き方．Step 2Appendix A.3, S-Ishikawa-Ikeda (2021) arXiv:2106.04770• Recap:
S[γ](x) =12πZ ZRγ ♯ (ξ/ω, ω)eiξ·x dξ σ ♯ (ω)|ω|−m dω.

(⋆)

Rm

• Step 2: 変数分離形:♯γf,ρ(ξ/ω, ω) := fb(ξ)ρ♯ (ω).

(⋆⋆)

を仮定すると，これは特殊解になる．ただし b· は x に関する Fourier 変換．
ρ ∈ S(R) は適当な補助関数．実際，"Z#
Z
σ ♯ (ω)ρ♯ (ω)
1m−1b(ξ)eiξ·x dξS[γf,ρ ] = (2π)dωf(4)|ω|m(2π)m Rm
R(5)= ((σ, ρ))f (x).
ただし ((σ, ρ)) := (2π)m−1hRRσ ♯ (ω)ρ♯ (ω)
dω|ω|miとおいた．
10 / 30

Step 2, cont’d（リッジレット変換 R）• 変数分離形 γf,ρ の正体はリッジレット変換 R[f ; ρ]．
♯♯γf,ρ
(ξ/ω, ω) := fb(ξ)ρ♯ (ω) =⇒ γf,ρ(a, ω) = fb(ωa)ρ♯ (ω),

ω に関する Fourier 逆変換:

Z1fb(ωa)ρ♯ (ω)eibω dω
2π RZ
1=f (x)ρ♯ (ω)eiω(b−a·x) dxdω2π Rm ×R
Z=f (x)ρ(a · x − b)dx

γf,ρ (a, b) =Rm= R[f ; ρ](a, b).
• 特に，任意の σ ∈ S ′ (R) に対し一意な ρ = σ∗ ∈ L2m (R) が存在して，R[f ; σ∗ ] = S ∗ [f ] （共役作用素）とできる．共役作用素 S ∗ は零成分を含まない特別なリッジレット変換である．
11 / 30

S[γ] = f の解き方．Step 3
Theorem 10, S-Ishikawa-Ikeda (2021) arXiv:2106.04770• ((·, ·)) を内積とする Hilbert 空間を L2m (R) とする．
• Step 3: γ ∈ L2 (Rm × R) の範囲において，一般解は以下で与えられる
X
γf (a, b) = R[f ; ρ0 ] +cij R[ei ; ρj ]
(6)ij

ここで，
• {cij }i,j∈N2 は任意の ℓ2 -列• {ei }i∈N は L2 (Rm ) の任意の正規直交基底,• {ρj }j∈N∪{0} は L2m (R) の任意の正規直交基底であって，(1, j = 0((σ, ρj )) =0, j ̸= 0を満たすもの.

十分性（解であること）は（S の有界性を認めれば）明らか:
XS[γf ] = ((σ, ρ0 ))f (x) +cij ((σ, ρj ))ei (x) = f (x) + 0.

(7)

ij

必要性（解が必ずこの表示をもつこと）は Lemma 11.
12 / 30

Step 3, cont’d（必要性）
Lemma 11, S-Ishikawa-Ikeda (2021) arXiv:2106.04770

Lemma 11, modified• {ei }i∈N と {ρj }j∈N はそれぞれ L2 (Rm ) と L2m (R) の勝手な正規直交基底とする．
このとき，任意の γ ∈ L2 (Rm × R) は以下のように一意に展開できる:X
γ(a, b) =⟨γ, R[ei ; ρj ]⟩L2 (Rm ×R) R[ei ; ρj ](a, b)

(8)

ij

13 / 30

ここまでのまとめ
Theorem 10, S-Ishikawa-Ikeda (2021) arXiv:2106.04770

S[γ] = f を解く:
1. 枠 σ(a · x − b)dadb を Fourier 逆変換 eiξ·x dξ ⊗ σ ♯ (ω)|ω|−m dω にする
2. 変数分離形 γf,ρ = R[f ; ρ] により特殊解を得る
P
3. 基底展開 γf = S ∗ [f ] + ij cij R[ei ; ρj ] により一般解を得る

主定理（Theorem 10, simplified）• σ ∈ S ′ (R), f ∈ L2 (Rm ), γ ∈ L2 (Rm × R)
• {ei }i∈N an ONB of L2 (Rm ),• {ρi }i∈N an ONS of L2m (R) satisfying ((σ, ρi )) = 0
S[γ] = f⇔∃cij s.t. γ = S ∗ [f ] +X

cij R[ei ; ρj ].

ij

14 / 30

リッジレット変換 R[f ](a, b) の数値計算例• f (x) = sin(2πx) 1[−1,1] (x)RP• R[f ](a, b) = f (x)ρ(ax − b)dx ≈ i sin(2πxi )ρ(axi − b)∆x
• σ(z) = tanh(z)−z /2• ρ(z) = H[ρ(2), Hilbert transform H0 ](z) with ρ0 (z) := e−1.0−0.5

y0.0

0.5

1.0

2−2−10x

data f (x)12spectrum R[f ](a, b)
15 / 30

再構成 S[R[f ; ρ]] の数値計算例• S[R[f ; ρ]] = ((σ, ρ))f なので ((σ, ρ)) = 0 の場合は縮退(1)(2)ρ1 = Hρ0((σ, ρ1 )) = 0

ρ2 = Hρ0((σ, ρ2 )) ̸= 0(3)

ρ3 = Hρ0((σ, ρ3 )) = 0(4)

ρ4 = Hρ0((σ, ρ4 )) ̸= 0

where ρ0 (z) := e−z /2 (Gaussian) and H is the Hilbert transform
216 / 30

離散化誤差の一般論
Cor 5.4, Kurkova (2012), Complexity estimates based on integral transforms ...

一般の積分表現モデル
ZS[γ](x) :=(9)γ(v)ϕ(x, v)dν(v),V

は，p-項有限モデル S[γp ] :=Pp

i=1 ci ϕ(x, vi )を用いて O(1/√p)-近似できる.

Theorem (Barron’s bound)• (X , µ) the data space with σ-finite measure µ• (V, ν) the parameter space with measure ν• ϕ : X × V → R the feature map with Cϕ := supv∈V ∥ϕ( · , v)∥L2 (µ)
P• Γp := { pi=1 ci δvi | ci ∈ R, vi ∈ V} p-term model
For any function γ ∈ L1 (ν) and integer p, we haveinf ∥S[γ] − S[γp ]∥2L2 (µ) ≤γp ∈ΓpCϕ2 ∥γ∥2L1 (ν) − ∥S[γ]∥2L2 (µ)
p.

(10)

17 / 30

学習済パラメータの可視化実験
Pp−1.0−0.5

y0.00.51.0

幅 p = 10 のニューラルネット j=1 cj σ(aj x − bj ) を n = 1, 000 体独立に学習し，学習済パラメータ (aj , bj , cj ) の分布を可視化する• f (x) = sin(2πx) 1[−1,1] (x)• σ(z) = tanh(z)• SGD w. weight decay−2−10x12data f (x)18 / 30

学習後パラメータの分布Pp
幅 p = 10 のニューラルネット j=1 cj σ(aj x − bj ) を n = 1, 000 体学習して得られた計 p × n = 10, 000 点の学習済パラメータ (aj , bj , cj ) の分布×1000
b n (θp )arg min L18 / 30

学習後パラメータの分布
Theorems 3.3 and 3.4, S-Ishikawa-Ikeda, Ridge Regression with Over-Parametrized Two-Layer
Networks Converge to Ridgelet Spectrum, AISTATS2021• リッジレット変換像 R[f ; σ∗ ] に弱収束する→（OP 極限の）学習済パラメータはリッジレット変換像を調べれば良いb n (θp )scatter plot arg min L

spectrum R[f ](a, b)
19 / 30

畳み込みネットの場合11 S-Ishikawa-Ikeda, Universality of group convolutional neural networks based on ridgelet
analysis on groups, arXiv:2205.14819
19 / 30

“一般化” 群畳み込みS-I-I, arXiv:2205.14819• 群 G，Hilbert 空間 H，G の表現 T : G → GL(H) を任意にとる• (G, T ) から定まる群畳み込み（= 双対表現 T ∗ の行列要素）:(a ∗T x)(g) := ⟨Tg−1 [x], a⟩H = ⟨x, Tg∗ [a]⟩H ,a, x ∈ H, g ∈ G.

• 例（ea(g) := a(g −1 ) として）∗

1 （狭義）群畳み込み: G = G, H = L (G, µ), Tg [a](h) := a(g2(a ∗T x)(g) = ⟨x, Tg∗ [a]⟩ =Z−1h)x(h)ea(h−1 g)dµ(h)G

2

チャネル付き画像の巡回畳み込み:
G = Z2n , H = L2 (Z2n )m = Rn×n×m , Tp,q [x](i, j) := x(i − p, j − q)(a ∗ x)(p, q) = ⟨T(−p,−q) [x], a⟩ =1n2 m

XXkxk(i+p,j+q) ak(i,j)

i,j20 / 30

群同変
S-I-I, arXiv:2205.14819• 関数 f : H → H′ が G-同変とは，任意の g ∈ G, x ∈ H に対してf (g·x) = g·[f (x)]となること．
• 本研究では，f : H → C(G) に対する T と正則表現の作用に限る:
f (Tg [x]) = f (x)(g −1 •)21 / 30

Hilbert 空間 H 上の G-CNN
S-I-I, arXiv:2205.14819• Hilbert 空間 H を入力信号 x とフィルタ a の空間とする．
• 論文では無限次元も可．以下では簡単のため有限次元．
• H 上の Lebesgue 測度を λ とする• 群畳み込みネット（G-CNN）Z
S[γ](x)(g) :=γ(a, b)σ ((a ∗ x)(g) − b) dλ(a)db,
H×Rx ∈ H, g ∈ G• リッジレット変換: 関数 f : H → C(G) に対し，fe = f (•)(e) と書いて，Z
fe (x)ρ(⟨x, a⟩H − b)dλ(x), (a, b) ∈ H × R
R[f ; ρ](a, b) :=H• 再構成公式: f は群同変かつ fe ∈ L1 (H) ∩ L2 (H) のとき，
S[R[f ]](x)(g) = ((σ, ρ))f (x)(g),x ∈ H, g ∈ G.
22 / 30

証明（G-CNN 再構成公式）1/2
S-I-I, arXiv:2205.14819• 方程式 S[γ] = f を解く．
Step 1a. Fourier 表示にする:
ZS[γ](x)(g) =γ(a, b)σ(⟨Tg−1 [x], a⟩H − b)dλ(a)db
H×RZ
1=γ ♯ (a, ω)σ ♯ (ω)eiω⟨Tg−1 [x],a⟩H dλ(a)dω.
2π H×R
Step 1b. (a, ω) = (ξ/ω, ω), dadω = |ω|−m dξdω と変数変換して以下のようにできる:Z1γ ♯ (ξ/ω, ω)σ ♯ (ω)ei⟨Tg−1 [x],ξ⟩H |ω|−m dλ(ξ)dω.
S[γ](x)(g) =2π H×R

23 / 30

証明（G-CNN 再構成公式）1/2
S-I-I, arXiv:2205.14819

Step 2. 未知関数 γ として以下のような変数分離形を仮定する:
γ ♯ (ξ/ω, ω) := fbe (ξ)ρ♯ (ω).
f,ρ

作り方から，これは特殊解である:
Z
Z
1
S[γf,ρ ](x)(g) =fbe (ξ)ei⟨Tg−1 [x],ξ⟩H dλ(ξ) σ ♯ (ω)ρ♯ (ω)|ω|−m dω
2π HR= ((σ, ρ))f (Tg−1 [x])(e)= ((σ, ρ))f (x)(g).
結局，γf,ρ = R[f ; ρ] である:
Z
1
γf,ρ (a, b) =fbe (ωa)ρ♯ (ω)eiωb dω
2π R
Z1fe (x)ρ♯ (ω)eiωb−iω⟨x,a⟩H dλ(x)dω=2π H×RZ=f (x)(e)ρ(⟨x, a⟩H − b)dλ(x)=: R[f ; ρ](a, b).
H24 / 30対称空間上の全結合ネットの場合22 S-Ishikawa-Ikeda, Fully-Connected Network on Noncompact Symmetric Space and Ridgelet
Transform based on Helgason-Fourier Analysis, to appear in ICML2022, arXiv:2203.01631
24 / 30

非コンパクト対称空間 X = G/K
S-I-I, arXiv:2203.01631• 非コンパクト対称空間 X = G/K• 連結実半単純 Lie 群 G• G の岩澤分解 G = KAN に対し，X := G/K = {gK | g ∈ G} を G が推移的に作用する多様体（等質空間）とみなしたもの• r := rank X := dim a とおく• a-値距離 ⟨x, u⟩:• 点 x を通り u を法ベクトルとするホロ球 ξ(x, u)と原点 o との a-値距離• Euclid 全結合層 σ(a · x − b) のスカラー積 a · x を代替させる
B2 ∪ ∂B2x• 具体例• 双曲空間Hm : 言語データ，木構造データ• 正定値対称行列の空間Pm : 共分散行列

ξ(x, u)

yyx
u

x0

oy0
ξ(y, u)25 / 30

Helgason-Fourier 変換
Helgason, GGA (1984, Introduction); GASS (2008, Chapter III)• 非コンパクト対称空間 X = G/K 上の Laplace-Beltrami 作用素 ∆X の固有関数 e(−iλ+ϱ)⟨x,u⟩ による分解
Zfb(λ, u) :=f (x)e(−iλ+ϱ)⟨x,u⟩ dx, (λ, u) ∈ a∗ × ∂XX• 双曲空間 X = Hm のとき a∗ = R.
• Note: 通常の Euclid-Fourier 変換は Laplacian ∆ の固有関数
e−ix·λu = e−iλd(0,ξ(x,u)) （= 平面波）による波面分解• 反転公式f (x) = |W |−1Za∗ ×∂X

fb(λ, u)e(iλ+ϱ)⟨x,u⟩ |c(λ)|−2 dλdu

ただし f ∈ Cc∞ (X) に対し各点収束，f ∈ L2 (X) に対し L2 収束．|W | は定数．c は Harish-Chandra の c 関数．
• Plancherel: ∥f ∥L2 (X) = ∥fb∥L2 (|W |−1 |c(λ)|−2 dλdu)
26 / 30

非コンパクト対称空間 X = G/K 上の FNN（X-FNN）
S-I-I, arXiv:2203.01631• X = G/K 上の全結合ネット（X-FNN）Z
S[γ](x) :=γ(a, u, b)σ(a⟨x, u⟩ − b)eϱ⟨x,u⟩ dadudba∗ ×∂X×R• リッジレット変換
Zc[f ](x)ρ(a⟨x, u⟩ − b)eϱ⟨x,u⟩ dx.

R[f ; ρ](a, u, b) :=X

ただし c[f ] は Harish-Chandra c-関数を用いて定義される作用素（後述）• 再構成公式
S[R[f ; ρ]](x) = ((σ, ρ))f (x),x ∈ X.

27 / 30

証明（X-FNN 再構成公式）1/2
S-I-I, arXiv:2203.01631• S[γ] = f を解く．
Step 1a. b ∈ R を利用して Fourier 表示にする:
ZS[γ](x) :=γ(a, u, b)σ(a⟨x, u⟩ − b)eϱ⟨x,u⟩ dadudba∗ ×∂X×RZ
1=γ ♯ (a, u, ω)σ ♯ (ω)e(iωa+ϱ)⟨x,u⟩ dadudω.
2π a∗ ×∂X×R
Step 1b. (a, ω) = (ξ/ω, ω), dadω = |ω|−r dξdω と変数変換して，以下を得る:
Z1
S[γ](x) =γ ♯ (ξ/ω, u, ω)σ ♯ (ω)e(iξ+ϱ)⟨x,u⟩ |ω|−r dξdudω.
2π a∗ ×∂X×R

28 / 30

証明（X-FNN 再構成公式）2/2
S-I-I, arXiv:2203.01631

Step 2. 未知関数 γ として次のよう変数分離形を仮定する:♯γf,ρ(ξ/ω, u, ω) = fb(ξ, u)ρ♯ (ω)|c(ξ)|−2 .

ただし b· は Helgason-Fourier 変換を表す．|c(ξ)|−2 は Plancherel 測度（c はHarish-Chandra c-関数）．作り方から以下が成り立つ:
S[γf,ρ ] = ((σ, ρ))f.
最後に，リッジレット変換は以下のように計算される:
Z1
R[f ; ρ](a, u, b) =fb(ωa, u)|c(ωa)|−2 ρ♯ (ω)eiωb dω
2π RZ
1
=
c[f ](x)ρ♯ (ω)e(−iωa+ϱ)⟨x,u⟩+iωb dxdω2π R×XZ=
c[f ](x)ρ(a⟨x, u⟩ − b)eϱ⟨x,u⟩ dx.
Xd](ξ, u) = fb(ξ, u)|c(ξ)|−2 となるように定義された
ただし c[f ] は c[fHelgason-Fourier multiplier である．
29 / 30

まとめ• 3 つの異なる NN に対して統一的な方法でリッジレット変換と再構成公式を導出した• Euclid 全結合層 σ(a · x − b)
• 群畳み込み層 σ((a ∗ x)(g) − b)
• 対称空間上の全結合層 σ(a⟨x, u⟩ − b)eϱ⟨x,u⟩• リッジレット変換（= 右逆作用素，分解作用素）があれば，• 普遍近似定理が構成的に証明できる• 離散化を通じて有限 NN が構成できる• 学習済パラメータの分布が調べられる• 零空間の構造が分かる•（帯域制限した場合の近似下限なども調べられる）• Take home message:
一般空間上の Fourier 反転公式があれば NN の再構成公式が作れる

30 / 30