数理解析研究所講究録
第 1999 巻 2016 年 17-27

17高次元小標本におけるサポートベクターマシンの一致生について
筑波大学大学院数理物質科学研究科

優習 (Yugo Nakayama)

中山

Graduate School of Pure and Applied Sciences
University of Tsukuba
矢田 和善 (Kazuyoshi Yata)
筑波大学・数理物質系

Institute of Mathematics
University of Tsukuba
青嶋 誠 (Makoto Aoshima)

筑波大学・数理物質系

Institute of Mathematics
University of Tsukuba

はじめに

1

本論文は，高次元小標本データに対する調瑚分析を考える．母集極が 2 個あると想定
し，各母集団 $\pi_{i}(i=1,2)$ は平均に$\Sigma_{i}(>O)$

$p$

次ベクトル

$\mu_{i}$をもつと仮定する．高次元データに対して, 共分散行列に $p$ 次正定値対称行列$\Sigma_{1}=\Sigma_{2}$はないので，共分散行列の共通性は仮定しない．ただし，$\lim$$] im\sup_{parrow\infty}\{tr(\Sigma_{1})/tr(\Sigma_{2})\}<\infty$$x_{i1},$$x_{0}$

欧$x_{in_{i}}$$\pi_{2}$を仮定する．各母集団を無作為に袖出する．判劉対象のを仮定する．

$x_{0}\in\pi_{1}$$p$を想定することは現実的で$\inf_{parrow\infty}\{tr(\Sigma_{1})/tr(\Sigma_{2}\rangle$$\pi_{i}$} $>0,$

から $n_{i}(\geq 2)$ 個の学習データ

次元データを$x_{0}$とし，$x_{0}\epsilon\pi_{1}$もしくはのときに判別対象を誤判劉する確率を $e(1)$ と表記し， $e(2)$も同様の表認とする．

高次元データの 2 群判別は，2 群の共分散行列が共通だと仮定すれば，Dudoit et al.
$(2002\rangle$

や Bickel and Levina (2004) による標本共分散行列の薄角成分だけを使った判別方式がある．しかし，共分散行列の共通性を仮定する問題設定の単純化は，高次元データが本来もつ 2 群の差異に関する情報を損なうことになる．共分散行列に共通性を仮定しない場合，Dudoit et al. (2002) による標本共分散行列の対角成分だけを使った料劉方式，
Chan and Hall
Aoshima $and$ Yata $(2014)$ 等のユークリッド距離に基づく判別方
式，Aoshima and Yata $(2011, 2015a)$ による高次元データの幾侮学的表現に基づく判別方$(2009\rangle,$18式がある．また，Aoshima and Yata (2015b) は高次元における判別関数のクラスを考え，
非スパース性と適当な正則条件のもとで $e(i)arrow 0,$ $parrow\infty,$ $i=1$ , 2 なる一致性が得られることを舐明した．これらの研究は，数理統計学分野からのアプローチである．
一方，機械学習分野からのアプローチもある．判別分析は教師あり学習という立場で広く研究されており，代表的な手法に Vapnik (1999) が考案したサポートベクターマシン(SVM) がある．SVM は高次元データ解析において疎な解を与え，汎化性能が良いことが知られているものの，SVM の精度保証については理論的な研究が乏しいように思われる．

本論文は，高次元小標本データが線形分離可能であることに着目し，ハードマージン線形

SVM (HM-LSVM) の漸近的性質を理論的に研究し，これが一致性をもっための正則条件を導出する．さらに，Aoshima and Yata (2014) によるユークリッド距離に基づく覇別方式(DBDA) との比較について，理論的かつ数値的に性能を検証する．本論文の構成は，以下の通りである．2 節では，SVM による判別方式を紹介する．3 節では，SVM の漸近的性質を理論的に与え，一致性をもっための正則条件を導出する．4 節では，DBDA の漸近的性質を紹介し，SVM と DBDA を理論的に比較する．5 節では，高次元小標本データに対して，

SVM と DBDA の性能を数値的に検証する．

2 SVM による判別方式
本節では，HM-LSVM による判別方式を紹介する．次の線形モデルを考える．
$y(x)=w^{T}x+b$ここで， $w$ は $p$ 次の重みベクトルであり，

$b$

.

(1)

はバイアスパラメータである． $N=n_{1}+n_{2}$個の 2 群の学習データを $(x_{1}, x_{N})=(x_{11}, x_{1n_{1}}, x_{21}, x_{2n_{2}})$ と並べる．さらに，$t_{j}=-1,$ $i=1,$$n_{1};t_{j}=1,$$j=n_{1}+1,$$N$

とおく．高次元小標本 $(p>N)$ データは線形分離可能なので，学習データに対して$y(x_{j})<0,$$j=1,$$n_{1}$;$y(x_{j})>0,$ $j=n_{1}+1,$$N$となる $(w, b)$ が存在する．SVM は，分類境界と学習データの最短距離 (マージン) に着目し，これが最大となるように $(w, b)$ を求める．マージンを最大化する解は，$t_{j}(w^{T}x_{j}+b)\geq 1, j=1, N$のもとで，$\arg\min_{w,b}\frac{1}{2}||w||^{2}$

(2)

19
なる最適化問題を解くことで求められる．ラグランジュ形式$L(w, b, \alpha)=\frac{1}{2}||w||^{2}-\sum_{j=1}^{N}\alpha_{j}\{t_{j}(w^{T}x_{j}+b)-1\}$の最小化を考える．ここで，
それらを

$0$

$\alpha=$である． $L(w, b, \alpha)$ を $w$ と$(\alpha_{1}, \alpha_{N})^{T}$$b$で微分して，

とおくことで，次の 2 条件が得られる．

$w= \sum_{j=1}^{N}\alpha_{j}t_{j}x_{j}$;$\sum_{j=1}^{N}\alpha_{j}t_{j}=0$.

(3)

これらを $L(w, b, \alpha)$ に代入することで，(2) の双射問題が得られる．すなわち，次の 2 条件$\alpha_{j}\geq 0,$のもとで，以下の関数を$\alpha$$j=1,$$N$;について最大化する．

$L( \alpha\rangle=\sum_{j=1}^{N}\alpha_{j}-\frac{1}{2}\sum_{j=1}^{N}\sum_{k=1}^{N}\alpha_{j}\alpha_{k}t_{j}t_{k}x_{j}^{T}x_{k}$$L(\alpha)$を最大化する$\alpha$(4)$\sum_{j=1}^{N}\alpha_{j}t_{j}=0$.

(5)を用いて，線形モデル (1) は次のように書ける．

$y(x)= \sum_{j=1}^{N}\alpha_{j}t_{j}x_{j}^{T}x+b.$

このとき， $t_{j}y(x_{j}\rangle=1(\alpha j\neq 0)$ なるデータ $xj$ をサポートベクターとよぶ． $S=\{j|\alpha_{j}\neq$$0,$$i=1,$$N\}$とおくと，バイアスパラメータは$b= \frac{1}{N_{S}}\sum_{j\epsilon s}(t_{j}-\sum_{k\in S}\alpha_{k}t_{k}x_{j}^{T}x_{k})$で与えられることになる．このようにして求めた$(b, \alpha)$を用いて，判別関数を(6)$y(x_{0})= \sum_{j=1}^{N}\alpha_{j}t_{j}x_{j}^{T}x_{0}+b$と定義し，調劉方式を $y(x_{0})<0$ のとき
は，Vapnik (1999) 等を参照のこと．

$x_{0}\in\pi_{1},$$y(x_{0})\geq 0$のとき$x_{0}$

欧$\pi_{2}$とする．詳細20

3 高次元小標本における SVM の漸近的性質
高次元小標本 $(parrow\infty, N は固定)$ の枠組みで，漸近的に目的関数を評価する．

$L(\alpha)$

いま， $parrow\infty$ で次を仮定する．

(A-i)$\pi_{i}$$Var(||x_{ik}-\mu_{i}||^{2})=O\{tr(\Sigma_{i}^{2})\},$$i=1$ , 2.

が正規分布ならば $Var(||x_{ik}-\mu_{i}||^{2})=2tr(\Sigma_{i}^{2})$ となるので，(A-i) は母集団分布に正規性を課すよりも緩い条件になっていることに注意する．さらに， $\Delta=||\mu_{1}-\mu_{2}||^{2}$ とおき，$parrow\infty$(A-ii)

で次を仮定する．
$\frac{\max_{i=1,2}tr(\Sigma_{i}^{2})}{\Delta^{2}}=0(1)$.

このとき，以下の補題が成り立つ．
補題 1. (A-i) と (A-ii) を仮定する．(4) のもと， $parrow\infty$ のとき次が成り立つ．

$L( \alpha)=\sum_{j=1}^{N}\alpha_{j}-\frac{\Delta}{8}(\sum_{j=1}^{N}\alpha_{j})^{2}\{1+o_{P}(1)\}$$- \frac{1}{2}(tr(\Sigma_{1})\sum_{j=1}^{n_{1}}\alpha_{j}^{2}+tr(\Sigma_{2})\sum_{j=n_{1}+1}^{N}\alpha_{j}^{2})\{1+o_{P}(1)\}.$

補題 1 の第 3 項について，(4) と $\sum_{j=1}^{N}\alpha_{j}=C(>0)$ のもとで以下を得る．

$\max_{\alpha}\{-\frac{1}{2}(tr(\Sigma_{1})\sum_{j=1}^{n_{1}}\alpha_{j}^{2}+tr(\Sigma_{2})\sum_{j=n_{1}+1}^{N}\alpha_{j}^{2})\}=-\frac{C^{2}}{8}\delta$.

(7)

ここで， $\delta=\{tr(\Sigma_{1})/n_{1}+tr(\Sigma_{2})/n_{2}\}$ である． $\Delta_{*}=\Delta+\delta$ とおく．(7) と補題 1 から，$L(\alpha)$の主要項は$C- \frac{C^{2}}{8}\Delta-\frac{C^{2}}{8}\delta=-\frac{\Delta_{*}}{8}(C-\frac{4}{\Delta_{*}})^{2}+\frac{2}{\Delta_{*}}$と書け， $C= \sum_{j=1}^{N}\alpha j=4/\Delta_{*}$ のとき最大値は 2/$(A-i\ddot{u})$$\lim_{parrow}\sup_{\infty}\frac{\delta}{\Delta}<\infty$かつ$\lim_{parrow}\inf_{\infty}\frac{\delta}{\Delta}>$

そのとき，以下の補題が成り立つ．

O.

$\Delta*$#こなる．次を仮定する．

(8)

21
補題 2. $(A-i)-$ ( $A$-iii) を仮定する． $parrow\infty$ のとき次が成り立っ．
$\alpha_{j}=\frac{2}{\Delta_{*}n_{1}}\{1+o_{P}(1)\},$$j=1,$$n_{1}$;$\alpha_{j}=\frac{2}{\Delta_{*}n_{2}}\{1+OP(1)\},$$j=n_{1}+1,$$N.$

さらに， $parrow\infty$ のとき澗別関数 (6) について次が成り立っ．

y(a ゆ )
$0$$= \frac{2(\mu_{2}-\mu_{1})^{T}}{\Delta_{*}}x_{0}+\frac{||\mu_{1}||^{2}-||\mu_{2}||^{2}}{\Delta_{*}}+\frac{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}}{\triangle_{*}}+o_{P}(1)$.

補題 2 を用いると，SVM に関して高次元小標本における一致性が主張できる．次を仮定する．

(A-iv)$\lim_{parrow}\sup_{\infty}\frac{|tr(\mathfrak{B}_{1})/n_{1}-tr(\Sigma_{2})/n_{2}|}{\Delta}<1.$

$0$

定理 1.

$(A-i)-(A-iv\rangle$を仮定する． $parrow\infty$ のとき判別方式 (6) について次が成り立つ．
$e(i)arrow 0, i=1,2.$

4 ユークリッド距離に基づく判別方式 (DBDA)
Aoshima and Yata (2014) は，ユークリッド距離に基づく次のような判別関数を考えた．
$\omega(x_{0})=(x_{0}-\frac{\overline{x}_{1n_{1}}+\overline{x}_{2n_{2}}}{2})^{T}(\overline{x}_{2n_{2}}-\overline{x}_{1n_{1}})-\frac{tr(S_{1n_{1}})}{2n_{1}}+\frac{tr(S_{2n_{2}})}{2n_{2}}$ここで，$\overline{x}_{in_{i}}=\sum_{j=1}^{n_{i}}x_{ij}/n_{j},$判別方武は， $\omega(x_{0})<0$ のとき.

$S_{in_{j}}= \sum_{j=1}^{n_{i}}(x_{ij}-\overline{x}_{in_{i}})(x_{ij}-\overline{x}_{in_{i}}\rangle^{T}/(n_{i}-1)$$x0\in\gamma r_{1},$$\omega(xo)\geq 0$

(9)
である．

のとき $x0\in\pi_{2}$ である．Aoshima andYata (2014) は次の定理を与えた．
定理 2. (A-ii) のもとで， $parrow\infty$ のとき判鋼方式 (9) について次が成り立つ．
$e(i)arrow 0, i=1, 2$ .

上記の結果は，母集団 $\pi_{i}(i=1,2)$ の分布に依存しない．つまり判劉方式$(9\rangle$

は，母集団分布に正規性等を仮定せずに，(A-ii) の仮定だけで一致性を叢張している．それに対して，判劉方式 (6) は，定理 1 で示した通り A-i), ( -iii), (A-iv) なる正則条件も必要になる．
$\langle$$A$

さらに，もしも$\frac{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}}{\Delta_{*}}$

22
なるバイアス項が大きいとき，判別方式 (6) は誤判別確率についてアンバランスな結果を与えることが予想される．バイアス項が非常に大きく (A-iv) を満たさない状況においては，
補題 2 から $e(i)arrow 1$ となることも危惧される．それゆえ，高次元小標本の枠組みにおいては，剃別方式 (6) ではなく，判別方式$(9\rangle$を用いることが理論的に推奨される．

シミュレーション

5

本節では，高次元小標本のもとで，判別方式 (6) (HM-LSVM) と判別方式 (9) (DBDA)

11 とおく． $\pi_{i}(i=1,2)$ の母集団分の精度を数値的に検証する． $p=2^{s},$ $s=5$ ,

布には，

$p$

次元正規分布

$1.5B(0.3^{|i-j|^{1/3}})B$$N_{p}(\mu_{i}, \Sigma_{i})$を考える．ここで， $\Sigma_{1}=B(0.3^{|i-j|^{1/3}})B,$$\Sigma_{2}=$とおき，$B=diag(\sqrt{05+1/(p+1)}, \sqrt{05+2/(p+1)}, \sqrt{05+p/(p+1)})$とする．このとき， $tr(\Sigma_{1})=p,$$tr(\Sigma_{2})=1.5p$となる． $\mu_{1}=0$ とし，次の 3 つの場合を

考える．

(b)

.
$\mu_{2}=(1, 1)^{T}/2, (n_{1}, n_{2})=(9,6)$ .

(c)

最初の

(a)

$\mu_{2}=(1, 1)^{T}/2, (n_{1}, n_{2})=(6,9)$$(9,6)$$\lceil p^{2/3}\rceil$

個の成分が 1, それ以外が. ここで，$\lceil x\rceil$$0$

である $\mu_{2}=(1, 1,0, \ldots, 0)^{T},$ $(n_{1},n_{2})=$は $x$ 以上の最小の整数を表す．

(a) と (b) は $\Delta=p/4$ , (c) は$\Delta=\lceil p^{2/3}\rceil$となる．( $A$-iii) と (A-iv) は (a) と (b) のもとで成り立つが，(c) のもとでは成り立たない．さらに，(a) のもとでは $\{tr(\Sigma_{1})/n_{1}-$$tr(\Sigma_{2})/n_{2}\}/\Delta_{*}=0$となるが，(b) と (c) のもとでは $\{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}\}/\Delta_{*}\neq 0$ であることに注意する．一方で，これらの設定において，(A-i) と (A-ii) を満たすことに注意する．

判別方式 (6) と (9) について，上記設定においてかを確認した．実験を 2000 回繰り返し，$x_{0}\in\pi_{1}$$x_{0}\in\pi_{1}$と $x_{0}\in\pi_{2}$ が正しく判別されると $x_{0}\in\pi_{2}$ のそれぞれの場合における誤判別の割合で $e(1)$ と $e(2)$ を推定し，それらを図 1 から 3 に示した．標準誤差は 0.011 以下である．

判別方式 (9) は，全体的に良い結果を与えた．これは，判別方式 (9) が ( $A$-iii) や (A-iv) に依存せずに一致性をもつことが理由と考えられる．さらに，判別方式 (9) は $\{tr(\Sigma_{1})/n_{1}-$$tr(\Sigma_{2})/n_{2}\}/\Delta_{*}$$tr(\Sigma_{2})/n_{2}$なるバイアス項にも依存しない．一方で，判別方式 (6) は， $tr(\Sigma_{1})/n_{1}=$となる (a) の場合を除いて，判別方式 (9) よりも判別精度が低い．特に，(A-ifi)

23

図1

$\mu_{2}=$$e(1)$

右図は $e(2)$図2$e(1)$

図3,$\mu_{2}=$$(1, 1)^{T}/2,$$(n_{1}, n_{2})=(6,9)$のときのシミュレーション結果．左図はをプロットしている．

$(1, 1)^{T}/2,$$(n_{1}, n_{2})=(9,6\rangle$のときのシミュレーション結果．左図は, 右図は $e(2)$ をプロットしている．

$\mu_{2}=$$(1, 1,0, \ldots, 0)^{T},$$(n_{1}, n_{2})=(9,6)$は $e(1\rangle, 右垂} e(2)$ をプロットしている．

のときのシミュレーション結果．左図

24と (A-iv) を満たさない (c) の場合には，判別精度は極端に低くなり，高次元で $e(2)$ は 1 に近づくことが確認できる．これは，判別方式 (6) が，(A-iv を満たさない状況で高次元のとき$\rangle$$e(i)arrow 1$となり得るからである．さらに，(b) の場合も，$\{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}\}/\Delta_{*}\neq 0$となるためにアンバランスな結果を与えている．このシミュレーション結果からも，高次元
小標本の枠組みにおいて，判別方式 (6) よりも判別方式 (9) を用いることが推奨される．

6 付録
以降， $\mu=\mu_{1}-\mu_{2},$$\mu_{*}=(\mu_{1}+\mu_{2})/2$と表記する．

補題 1 の証明．シュワルツの不等式を用いると，仮定 (A-ii) のもとで次が成り立つ．
$\mu^{T}\Sigma_{i}\mu/\Delta^{2}\leq tr(\Sigma_{i}^{2})^{1/2}/\Delta=o(1) , i=1_{\}}2.$このとき， $tr(\Sigma_{1}\Sigma_{2})\leq ma\ =1,2tr(\Sigma_{i}^{2})$ に注意し，チェビシェフの不等式を用いると，任意の $\tau>0$ について，仮定 (A-ii) のもとで次が成り立つ．
$P(|(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})-\Delta/4|\geq\tau\Delta)$$\leq(\tau\triangle)^{-2}E[\{(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})-\Delta/4\}^{2}]$$=O\{tr(\Sigma_{1}^{2})+\mu^{T}\Sigma_{1}\mu\}/\Delta^{2}=o(1)$,$1\leq j<k\leq n_{1}.$$P(|(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})-\Delta/4|\geq\tau\Delta)$$=O\{tr(\Sigma_{2}^{2})+\mu^{T}\Sigma_{2}\mu\}/\Delta^{2}=o(1)$,$n_{1}+1\leq j<k\leq N$ ;(10)

$P(|(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})+\Delta/4|\geq\tau\Delta)$$=O\{tr(\Sigma_{1}\Sigma_{2})+\mu^{T}(\Sigma_{1}+\Sigma_{2})\mu\}/\Delta^{2}=o(1)$,$1\leq j\leq n_{1},$$n_{1}+1\leq k\leq N.$

さらに，(A-i) のもと，
$Vax\{(x_{ij}-\mu_{i})^{T}(x_{ij}-\mu_{i})\}=O\{tr(\Sigma_{i}^{2})\}, j=1, n_{i};i=1, 2$となる．このとき，任意の $\tau>0$ について，仮定 (A-i) と (A-ii) のもとで次が成り立つ．
$P(|(x_{j}-\mu_{*})^{T}(x_{j}-\mu_{*})-\Delta/4-tr(\Sigma_{1})|\geq\tau\Delta)$$=O\{tr(\Sigma_{1}^{2})+\mu^{T}\Sigma_{1}\mu\}/\Delta^{2}=o(1)$,$j=1,$$n_{1}$;$P(|(x_{j}-\mu_{*})^{T}(x_{j}-\mu_{*})-\Delta/4-tr(\Sigma_{2})|\geq\tau\Delta)=o(1)$ここで，(4) のもとで，$L(\alpha)$,$j=n_{1}+1$ ,は次のように書ける．

$L( \alpha)=\sum_{j=1}^{N}\alpha_{j}-\frac{1}{2}\sum_{j=1}^{N}\sum_{k=1}^{N}\alpha_{j}\alpha_{k}t_{j}t_{k}(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})$

.

N.

(11)

25
このとき，(10) と (11) から，仮定 (A-i) と (A-ii) のもとで次が成り立つ．
$L( \alpha)=\sum_{j=1}^{N}\alpha_{j}-\frac{\Delta}{8}(\sum_{j=1}^{N}\alpha_{j})^{2}\{1+o_{P}(1)\}$$- \frac{1}{2}(tr(\Sigma_{1})\sum_{j=1}^{n_{1}}\alpha_{j}^{2}+tr(\Sigma_{2})\sum_{j=n_{1}+1}^{N}\alpha_{j}^{2})\{1+o_{P}(1)\}.$

以上から，補題 1 を得る．口

補題 2 の証明．まず，1 つ自の結果を示す．(7) と (8) から，(4) のもと，$\alpha_{j}=\frac{2}{\Delta_{*}n_{1}},$$j=1,$$n_{1}$;$\alpha_{j}=\frac{2}{\Delta_{*}n_{2}},$$j=n_{1}+1,$$N$は$\sum_{j=1}^{N}\alpha_{j}-\frac{\Delta}{8}(\sum_{j=1}^{N}\alpha_{j})^{2}-\frac{1}{2}(tr(\Sigma_{1})\sum_{j=1}^{n_{1}}a_{j}^{2}+tr(\Sigma_{2})\sum_{j=n_{1}+1}^{N}\alpha_{j}^{2})$の最大値を与える．よって，補題 1 より， $(A-i)-$ ( $A$-iii) のもとで次を得る．
$\alpha j=\frac{2}{\Delta_{*}n_{1}}\{1+o_{P}(1)\},$$j=1$ ,$\cdots$,$n_{1}$;$\alpha j=\frac{2}{\Delta_{*}n_{2}}\{1+o_{P}(1)\},$$j=n_{1}+1$ ,$\cdots$, $N.$(12)

次に，2 つ目の結果を示す． $S=\{1, N\}$ のとき，(4) のもと，(6) は次のように書ける．
$y(x_{0})= \sum_{j=1}^{N}\alpha_{j}t_{j}(x_{j}-\mu_{*})^{T}(x_{0}-\mu_{*})+\sum_{j=1}^{N}\alpha_{j}t_{j}(x_{j}-\mu_{*})^{T}\mu_{*}+b$$= \sum_{j=1}^{N}\alpha_{j}t_{j}(x_{j}-\mu_{*})^{T}(x_{0}-\mu_{*})+\frac{-n_{1}+n_{2}}{N}$$- \frac{1}{N}\sum_{j=1}^{N}\sum_{k=1}^{N}\alpha_{k}t_{k}(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})$.

このとき，(10), (11) と (12) から， $(A-i)-$ ( $A$-iii) のもとで次を得る．
$\frac{-n_{1}+n_{2}}{N}-\frac{1}{N}\sum_{j=1}^{N}\sum_{k=1}^{N}\alpha_{k}t_{k}(x_{j}-\mu_{*})^{T}(x_{k}-\mu_{*})$$= \frac{-n_{1}+n_{2}}{N}+\frac{(n_{1}-n_{2})\Delta}{\Delta_{*}N}+2\frac{tr(\Sigma_{1})-tr(\Sigma_{2})}{\Delta_{*}N}+o_{P}(1)$$= \frac{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}}{\Delta_{*}}+o_{P}(1\rangle$

.

(13)

26
(10) と同様にして，$x\mathfrak{o}\in\pi_{1}$$\mu_{i})^{T}(x0-\mu_{*})/\Delta\}=o(1)$もしくは $x0\in\pi_{2}$ に対して，(A-ii) のもと， $Var\{(x_{ij}-$

がすべての $i,j$ で成り立つ．よって，(12) から， $(A-i)-(A-i\ddot{u})$ のもとで次を得る．

$\sum_{j=1}^{N}\alpha_{j}t_{j}(x_{j}-\mu_{*})^{T}(x_{0}-\mu_{*})=\frac{-2\mu^{T}(x_{0}-\mu_{*})}{\Delta_{*}}+o_{P}(1)$

.

(14)

(13) と (14) から，2 つ目の結果が得られる．口定理 1 の証明．

$x_{0}\in\pi_{i}$に対して，$E\{\mu^{T}(x_{0}-\mu_{*})/\Delta\}=(-1)^{i+1}/2,$$Var\{\mu^{T}(x_{0}-\mu_{*})/\Delta\}=O(\mu^{T}\Sigma_{i}\mu/\Delta^{2})=O(tr(\Sigma_{i}^{2})^{1/2}/\Delta)$となる．補題 2 から，(A-i)-(A-i\"u) のもとで

$x_{0}\in\pi_{i}$に対して次を得る．

$y(x_{0})=(-1)^{\dot{t}} \frac{\Delta}{\Delta_{*}}+\frac{tr(\Sigma_{1})/n_{1}-tr(\Sigma_{2})/n_{2}}{\Delta_{*}}+o_{P}(1)$.

それゆえ，(A-iv) から，誤判別確率について結果を得る．口謝辞

本研究は，科学研究費補助金基盤研究 (A) $15H01678$ 研究代表者: 青嶋誠「大規模複雑データの理論と方法論の総合的研究」，学術研究助成基金助成金挑戦的萌芽研究 26540010
研究代表者: 青嶋誠「ビッグデータの統計学: 理論の開拓と $3V$ への挑戦」，および，若手研

究 (B)26800078 研究代表者: 矢田和善「高次元漸近理論の統一的研究」 から研究助成を受けています．本論文の作成にあたって江面友希氏に感謝します．

参考文献[1] Aoshima, M. and Yata, K. (2011). Two-stage procedures for high-dimensional data.
Sequential Anal. (Editor’s special invited paper), 30, 356-399.

[2] Aoshima, M. and Yata, K. (2014). A distance-based, misclassification rate adjustedclassifier for multiclass, high-dimensional data. Ann. Inst. Statist. Math., 66, 983-

1010.
[3] Aoshima, M. and Yata, K. (2015a). Geometric classifier for multiclass, highdimensional data. Sequential Anal., 34, 279-294.

27[4] Aoshima, M. and Yata, K. (2015b). High-dimensional quadratic classifiers in nonsparse settings. arXiv: 1503.04549.

[5] Bickel, P.J. and Levina, E. (2004). Some theory for Fisher’s linear discriminantfunction, ‘naive Bayes’, and some alternatives when there are many more variables

than observations. Bernoulli, 10, 989-1010.
[6] Chan, Y.-B. and Hall, P. (2009). Scale adjustments for classifiers in highdimensional, low sample size settings. Biometrika, 96, 469-478.

[7] Dudoit, S., Fridlyand, J. and Speed, rf.P. (2002). Comparison of discrimination

methods for the classification of tumors using gene expression data. J.
Statist. Assoc., 97, 77-87.
[8] Vapnik, V.N. (1999). The Nature of Statistical Learning Theory (second $ed$
York: Springer-Verlag.

$\mathcal{A}mer.$New