修士論文 要旨

無限次元異方的平滑度を持つ関数に対す拡張畳み込みネットワー
クによる関数近似・推定誤差の解析
数理情報学専攻 48196208
指導教員

奥本 翔
鈴木 大慈 准教授と定義する．各要素が正の数列 a を用いて，γ(s) =

∑∞

1 背景

i=1 ai si ,γ(s) = max{ai si }∞i=1 , の場合，それぞれ混近年，畳み込み構造を持つニューラルネットワークが合平滑，異方平滑と呼ばれる．これ以降，紙面の都合上，様々なタスクにおいて高いパフォーマンスを示すこと異方平滑の場合についてのみ議論する．ここで，a の各が実験的に明らかになり，その理論的な研究にも関心

要素は X の各座標軸方向の滑らかさを表している．

が高まっている．それらのタスクに共通する点として，

2.3

拡張 CNN モデル

データの高次元性がある．また，音声認識や関数データ

全 結 合 ReLU ニ ュ ー ラ ル ネ ッ ト ワ ー ク は ，Al ∈解析の分野では，与えられるデータが無限次元の信号とRdl+1 ×dlみなすことができる．そのため，データの次元 d がサx ∈ Rd1 に対して，ンプルサイズ n に比べて非常に大きな場合に，次元の影響を受けずに学習できる条件が理論的に重要となる．
本研究では，拡張畳み込みニューラルネットワーク (拡張 CNN) というモデルが，異方平滑と呼ばれる滑らかさを持つ関数を，次元に依存することなく推定することが可能であることを示す．

, bl ∈ Rdl , η(x) = max{x, 0} を 用 い て ，FNN(x):= (AL η(·) + bL ) ◦ · · · ◦ (Al η(·) + bl ) ◦ · · · ◦ (A1 x + b1 )で定義される．また，C ∈ N，X ∈ RC×∞ が与え
ら れ た と き ，T ∈ N, w ∈ RC×T , h ∈ N を 用い て ，w ⋆h X : RC×∞ → R∞ を ，(w ⋆h X)k =∑C ∑T2 問題設定

i=1

j=1 wi,j xi,h(j−1)+k と定義し，w ⋆h X を間隔h，幅 T の拡張畳み込みと呼ぶ．h = 1 の場合は通常の2.1 回帰問題′∞[0, 1] -値確率変数 Xi (i ∈ N) がある分布 PX に従◦い，yi は関数 f : R∞→ R, σ > 0 を用いて，畳み込みという．また，フィルター F ∈ RC ×C×T が′与えらえたとき，Convh,F : RC×∞ → RC ×∞ を，

と い う モ デ ル か ら 生 成 さ れ て い る と す る ．こ の 時 ，

F1,:,: ⋆h X
..
Convh,W (X) = .
FC ′ ,:,: ⋆h X

◦観 測 値 (Xi , yi )ni=1 か ら ，f を 推 定 す る 回 帰 問 題 をと定義する．L′ , W ′ ∈ N, l ∈ [L′ ], Cl ∈ N, Fl ∈yi = f ◦ (Xi ) + ξi (ξi ∼ N(0, σ 2 ))考 え る ．た だ し ，あ る 集 合 A に 対 し て ，A∞:={(a1 , . . . , ai , . . . ) : ai ∈ A} とした．

′RCl+1 ,×Cl ×W ，FNN をある全結合 ReLU ニューラル
ネットワークとして，(2.2 γ-平滑空間√√2 cos(2π|li |xi ) (li < 0),ψli (xi ) =2 sin(2π|li |xi ) (li > 0),1(li = 0),∏∞と ψl := i=1 ψli を用いて，s ∈ N∞
0 に対して，∑δs (f )(X) :=⌈2si −1 ⌉≤li ≤2siγで 定 義 す る ．こ の と き ，γ-平 滑 空 間 は ，∥f ∥Fp,θ
:=(∑2θγ(s) δs (f )θ
s∈N∞
0γFp,θ
([0, 1]∞ ) :=) θ1)
ConvW ′l ,Fl ◦ · · · ◦ Conv1,F1 ◦ X 1の形で表されるモデルを拡張 CNN と呼ぶ．ただし，FNN は無限列の各要素に適用されるものとする．また，畳み込み間隔が 1 のものを単に CNN と呼ぶ．

2.4
⟨f, ψl ⟩ψl (X)を用いて，{}
γf : [0, 1]∞ → R | ∥f ∥Fp,θ
<∞FNN ◦ ConvW ′L′ −1 ,FL′ ◦ · · · ◦既存研究

有限次元説明変数を用いた場合の回帰問題の解析はすでに行われている [1, 2, 3, 4]．例えば，高次元データが与えられた場合であっても，それが低次元に埋め込まれるのであれば推定誤差が次元の影響を受けずに済むことが，いくつかの研究で示されている [1, 2]．また，

d ≪ n の設定において，混合・異方性を持つ関数を，次無限次元異方的平滑度を持つ関数に対す拡張畳み込みネットワークによる関数近似・推定誤差の解析 (奥本 翔)

元の影響を受けずに推定することが可能であることが示されている [3, 4]．

滑らかさにスパース性がある場合，滑らかさを決定する列 a に長期依存性が発生する．結果として，広い範囲のインデックスを取得でき，かつパラメータ数が増大

3 拡張 CNN による推定誤差しないモデルが求められる．この定理では，拡張 CNN

3.1 滑らかさが多項式オーダーで増大する場合を用いれば，それが実現でき，多項式オーダーの場合と定理 1 (多項式オーダーの下での推定誤差).

同様に滑らかさにより決定される量，ã により決定されq > 1 を用いて，i ≲}ai ，γ(s) = maxi {ai si }i の場{∑∞
合，v = max p1 − 12 , 0 , ã = i=1 a1i ，vã < 1 の下る推定誤差の上界が得られることを示している．

qで，f ◦ ∈ U (Fp,θ ) (p ≥ 1, 1 ≤ θ ≤ 2) と，ある Bf > 0
γ4 数値実験による検証が存在して ∥f ◦ ∥∞ ≤ Bf ，が成り立つような任意の関数 f ◦ に対して，適当な CNN の集合 P̄ の中での経験誤差最小化元 fˆ について，

EP n [∥fˆ − f ◦ ∥2L2 (PX ) ]−≲n2( 1 −v)ã2( 1 −v)+1ã24(log n) q +2 max{(log n) q , (log n)4 }
図 1. 入力の次元と深層学習による推定精度の関係．

が成立する．

p は滑らかさ ai の増大度合いを表すオーダー(ip ≲ ai )．

この定理では，滑らかさがインデックスに関して多項式オーダーで増大する場合，CNN による推定誤差が次元の影響を全く受けないことを示している．推定誤差を決定しているのは，次元ではなく滑らかさに依存する量 ã であることが分かる．また，多項式オーダーで滑らかさが増大するならば，通常の CNN を用いれば十分であることが分かる．

異方平滑性を持つ関数を用いて，本理論の数値的な検証を行った．図 1 より，推定誤差は，滑らかさを決定する変数 p によって決定され，次元に非依存であること確認できる．

5 結論

3.2 滑らかさにスパース性がある場合
a を 正 の 要 素 に よ り 構 成 さ れ る 数 列 と す る,
(i1 , i2 , . . . ) を ai1 < ai2 < · · · となるようなインデックスとする．0 < q < ∞，∥a∥wlq := supj j q a−1
ij を用いて，本研究により，拡張 CNN を用いれば，関数の滑らかさに依存し，次元に非依存であるような推定誤差を達成できることを理論・実験的に示した．これらの結果は，拡張 CNN が高次元データに有効であることを示すもの∥a∥wlq < ∞である．

であるとき，a はスパース性を持つという．これを用い参考文献て，次の定理が成り立つ．

[1] C. Minshuo, J. Haoming, L. Wenjing, and Z. Tuo.
Eﬃcient approximation of deep ReLU networks forfunctions on low dimensional manifolds. In Advancesin Neural Information Processing Systems, volume 32,
pages 8174–8184, 2019.
[2] R. Nakada and M. Imaizumi. Adaptive approximation and generalization of deep neural network withintrinsic dimensionality. Journal of Machine Learning
Research, 21(174):1–38, 2020.
[3] T. Suzuki. Adaptivity of deep ReLU network forlearning in Besov and mixed smooth Besov spaces:
optimal rate and curse of dimensionality. In International Conference on Learning Representations, 2019.
[4] Taiji Suzuki and Atsushi Nitanda. Deep learning is
adaptive to intrinsic dimensionality of model smoothness in anisotropic besov space.
arXiv preprint
arXiv:1910.12799, 2019.

定理 2 (スパース性がある場合の推定誤差).

γ(s) = maxi {ai si } の場合，∥a∥wlq ≤ 1，log i ≲ ai ，γvã < 1 であれば，f ◦ ∈ U (Fp,θ) (p ≥ 1, 1 ≤ θ ≤ 2)と，ある Bf > 0 が存在して ∥f ◦ ∥∞ ≤ Bf ，が成り立
つような任意の関数 f ◦ に対して，適当な拡張 CNN，P̄の中での経験誤差最小化元 fˆ について，

EP n [∥fˆ − f ◦ ∥2L2 (PX ) ]−≲n2( 1 −v)ã2( 1 −v)+1ãが成立する．

24(log n) q +2 max{(log n) q , (log n)4 }