修士論文 要旨

On High-Dimensional Asymptotic Properties of Error TruncatedEstimators (誤差項打切を用いた推定量の高次元における漸近的な振る舞いについて)
数理情報学専攻 48206202
指導教員

安藤 瞭
駒木 文保 教授である. 本研究ではさらに以下の仮定を考える.

1 はじめに近年, 技術革新と共に高次元データを扱う機会が増えて来ている. 高次元データにおいては低次元データとはAssumption 1 (High-Dimensional Asymptotics).
以下が成立すると仮定する:

異なる振る舞いが現れることがある. 例として, 分散共

1 データ X ∈ Rn×p は E [Zij ] = 0 や Var [Zij ] = 1分散行列の不安定化や二重降下現象 ([1, 3]), 球面集中であるような n × p 行列 Z と半正定値 p × p 分散現象 ([2]) などの現象が挙げられる. 従って, 高次元状

共分散行列 Σ を用いて X = ZΣ1/2 のように生成況下特有の研究が必要とされている.

されている.

本研究においては, 線形回帰モデル

yi = x ⊤i β + ϵi ,2 サンプル数 n とサンプルの次元 p がそれぞれ同i = 1, 2, ..., n(1)を考え, 高次元データが得られたという仮定のもとで回帰係数 β ∈ Rp を推定することを考える. 今回, 我々は誤差項打切を用いた推定量を用いて β を推定することを考え, その高次元における漸近的な out-of-sample リ

時に n → ∞, p → ∞ となり, それらの比率がp/n → γ > 0 となる.
3 Σ のスペクトル分布 FΣ が [0, ∞) 上に値を取る極限確率分布 H に収束すると仮定する. この H は母スペクトル分布 (population spectral distribution;PSD) と呼ばれる.

スクについて研究した.

Assumption 2 (Deterministic Coeﬃcients). 回帰係

2 準備や仮定数 β ∈ Rp は r > 0 に対して ∥β∥2 = r 2 を満たす.

本研究においては, データは線形モデル (1) を仮定する. (1) において, n はサンプル数, p はデータの次元数を表し, i = 1, 2, ..., n に対して, xi ∈ Rp は特徴データ, yi ∈ R はターゲットデータ, ϵi ∈ R は誤差を表す. xi と ϵi はそれぞれ独立に生成されており, それAssumption 3. 行列 Z の各要素は η > 0 に対して[][ ]E Zij3 = 0, E Zij8+η < ∞を満たす.

ぞれ i = 1, 2, ..., n に対して独立同分布に生成されていAssumption 4. 分散共分散行列 Σ のスペクトルノルると仮定する. ここで, 誤差 ϵi に平均や分散の存在はムは M > 0 により上から抑えられている, すなわち,仮定しない. すなわち, ϵi の従う分布としてコーシー

任意の n に対して ∥Σ∥ ≤ M .

分布などの裾野の重い分布を用いても良い. 以下では,

X ∈ Rn×p は各行が xi の行列, ϵ ∈ Rn は各要素が ϵiのベクトルを表すと仮定する.
上記の基礎的な仮定の下, β を以下のように推定することを考える.
⊤+仮定している. これは対称な分布であれば大体の分布では満たされる仮定ではあるため, 本研究の成立する対象[]

は, ω = E 1{ϵ21 ≤d2 } とする. これはどの程度打ち切るかを表す指標と考えられる. これらの仮定のもとで, 以

ここで, d > 0 で,

Dd = 

なかったものである. 本研究ではこれを理論的な理由でが極端に狭くなるわけではないと考えている. 以下で⊤β̂d = (X Dd X) X Dd Y
Assumption 3 の前半の仮定は先行研究 [3] などでは

1{ϵ21 ≤d2 }00..
.
01{ϵ22 ≤d2 }..

.
······..
.
..
.
00..
.
01{ϵ2n ≤d2 }

下の out-of-sample リスクの極限的な性質を調べた.


,



[]RX (β̂) := E (β̂d⊤ x0 − β ⊤ x0 )2 | X
ここで, x0 は新しいサンプル点である.

On High-Dimensional Asymptotic Properties of Error Truncated Estimators ( 誤差項打切を用いた推定量の高次元における漸近的な振る舞いについて)

規分布を, 二つ目の図は標準コーシー分布を仮定したも3 漸近的な結果のである. 実線が理論結果に基づくもの, 点が数値実験の結果である. ただし, ここで X の各要素は標準正規以上の仮定のもとで, 以下が成立する.

Theorem 1. Assumption 1, 2, 3, 4 が成立すると仮定する. このとき,分布に従っていると仮定し, γ = 0.6 としている. また,

r2 は 0.5 から 2.5 まで変動させている. 数値実験の結果と理論曲線はよく合致している. また数値実験の結果,

ω は基本的に小さくした方がいいことがわかる. また,( ))( ( ))−2
コーシー分布の方が ω を小さくした際のリスクの減少
λλ→ lim lim 1 + m1β⊤Σ m
Σ + Ipβλ→0 n→∞
ωω
率が高いことから, 裾野が厚い分布の方が ω を小さくし(λ) ( 2 (λ))−21 (1 + m1 ω )tr Σ (m ω Σ + Ip )た際の降下が大きいのではないかと考えられる.
+ lim lim(( ( ( ))−1 ))2
λ→0 n→∞ n 21λλ 1 − nλ tr Σ m ω Σ + Ip[]
E 1{ϵ21 ≤d2 } ϵ21 ,RX (β̂d )((2)が成立する. ここで, λ < 0 に対して, m(λ) > 0 はStieltjes 変換で, m(λ), m1 (λ) > 0 には以下の関係が成立している:λ=)]1γ [ (−tr Σ m(−λ)Σ + Ip )−1 ,m(−λ) pω

図 1. ϵ が正規分布に従っていると仮定したときの図.
実線は理論に基づくもので, 点は実験によるサンプル点である.

0=−]
γ [m1 (−λ)+ (1 + m1 (−λ)) tr Σ2 (m(−λ)Σ + Ip )−2 .
2m(−λ)pω

上記の定理では, 先に ridge regression バージョンの誤差項打ち切り推定量の漸近的なリスクを求めてから,λ → 0 の極限を取ることにより求めたいものを求めている. より深く上記の Theorem 1 を理解するために

Σ = I を代入しより簡単にした結果として以下のものがある.

Theorem 2. Assumption 1, 2, 3 が成立すると仮定
する. さらに Σ = I とする. このとき out-of-sample

図 2. ϵ がコーシー分布に従っていると仮定したときの図. 実線は理論に基づくもので, 点は実験によるサンプル点である．

リスク RX (β̂d ) はRlim (γ, r, d)[] γ E 1{ϵ2 ≤d2 } ϵ21
ω(ω−γ) )1][= ( 1 − ω r2 + 1 E 1{ϵ2 ≤d2 } ϵ21γ
γ−ω1( ωγ < 1)( ωγ > 1)に収束する.
上記の定理から, ω → 0 で Rlim (γ, r, d) → r 2 となることから r 2 の値が小さい場合などにおいては ω はなるべく小さくとったほうが良いことがわかる.

4 数値実験
以下では Theorem 2 の状況下で行った二つの数値実験を示す. 以下の一つ目の図は ϵ の分布として標準正参考文献[1] Mikhail Belkin, Alexander Rakhlin, and Alexandre BTsybakov. Does data interpolation contradict statistical optimality? In The 22nd International Conference on Artiﬁcial Intelligence and Statistics, pages
1611–1619. PMLR, 2019.
[2] Peter Hall, James Stephen Marron, and Amnon Neeman. Geometric representation of high dimension, low
sample size data. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(3):427–444, 2005.
[3] Trevor Hastie, Andrea Montanari, Saharon Rosset,and Ryan J Tibshirani. Surprises in high-dimensionalridgeless least squares interpolation. arXiv preprint
arXiv:1903.08560, 2019.