情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences
2009 (IBIS2009)

部分空間 SVM のための交差部分空間学習

Cross Subspace Learning for Subspace Support Vector Machine
井之上 直矢∗Naoya INOUE

山下 幸彦 ∗Yukihiko YAMASHITA

Abstract:
The support vector machine (SVM) classifies an input pattern by using a hyperplane. The SVM
demonstrated high generalization ability, and is being widely researched now. We propose a new
SVM-based classifier called the subspace SVM (SSVM). The SSVM has a restriction that thenormal vector of its hyperplane is included in a subspace. In order to provide the subspace, wesplit a set of samples into two sets. One set is used to compose the normal vector, and the other set
is used to train parameters in the normal vector and the threshold, similarly to the cross validation
method. We call this method the cross subspace learning for the SSVM. We conducted experimentswith 13 datasets in order to show the advantage of the SSVM.
Keywords: Pattern recognition, Support vector machine, Cross subspace learning, Crossvalidation

1

まえがき1990 年代前半，Vapnik らがパーセプトロンをカーネル法により非線形へ拡張した Support Vector Machine(SVM) [1] を提案した．それは 1960 年代に Vapnik 氏が提案した，マージン最大化という基準での最適な識別境界を与える線形識別機 Optimal Hyperplane Classifier(OHC) にカーネル法を用いたものである．OHC 自体は，その解を求めるために凸 2 次計画問題を解かなくてはいけないため，提案された時代には実用的ではなかった．
その上 Minsky らによって線形識別の限界が指摘され [7]，広く認知されることはなかった．しかし，計算機の飛躍的な進化とカーネル法によりその高い汎化能力が示され [2]，SVM は注目を浴びるようになり，現在も広く研究されている．
本研究では，部分空間 SVM (SSVM) と呼ぶ SVM を拡張した新しい識別器を提案する．SSVM は，SVM にその超平面の法線ベクトルが部分空間に含まれるという制限を導入したものである．SVM では法線ベクトルは標本点によって張られ，そのパラメータの学習もまた同じ標本点を使って行われる．SVM のこの特性はパラメータ選択という観点からは，汎化性を損なう可能性がある．そこで SSVM に交差検定と同様の手法を用いて∗ 東京工業大学, 152-8553 東京都目黒区大岡山 2-12-1, tel. 03-57343497, e-mail {n708i,yamasita}@ide.titech.ac.jp,
Tokyo Institute of Technology, 2-12-1 Ookayama, Meguro-ku, Tokyo

みることにする．
交差検定は汎化性能を検定する方法であり，パラメータ選択にもよく用いられる [4, 5]．機械学習において学習標本点に対して最適なパラメータを検定すると未知のデータに対する識別精度が悪化することがある．これが過学習と呼ばれる現象である．複雑な識別器では学習データに対する学習が誤差 0 で実現できるため過学習が起こりやすい．SVM の場合，一般にカーネル関数のパラメータやスラック変数の重みを調節することで過学習を避けている [6]．交差検定では学習標本点の集合を学習データとテストデータに分割し，テストデータでパラメータを評価する．それにより学習データに特化した学習結果になることがなくなり，過学習を抑えることができる．

SSVM を使えば識別境界の法線ベクトルを張る標本点とそのベクトルのパラメータを決める標本点を異なるものにすることができる．そこで標本点の集合を 2 つに分けて，片方を SSVM の制限部分空間を張るために用いる．識別境界の法線ベクトルは，このセットのベクトルの一次結合となる．そしてもう片方を，SSVM の学習と同じように，法線ベクトルとしきい値のパラメータを学習するために用いる．この解も凸 2 次計画問題で解くことができる．また交差検定法と同じように標本点の分け方は変えることが可能で最終的な結果は分割それぞれでの結果を平均したものとする．この手法を SSVM のたマージンを最大化するためには yi (hw, xi i+θ) ≥ 1∀iの条件のもと，ノルム kwk を最小化すればよい．しかしながら，現実問題として標本点の線形分離が不可能な場合も多いため，また SVM の汎化性能を向上させるために，スラック変数 ξl ≥ 0 (l = 1, 2, . . . , L) を導入し，制約条件を2yl (hw, xl i + θ) ≥ 1 − ξl .

(2)とする．

ξl = 0 ならば，元の制約条件と同じになる．ξl > 0 な
らば，制約条件を緩めたことになり，ξl > 1 で特に式 (2)の等号が成立する場合には，その標本点は誤認識することになる．このような標本点ばかりでは認識できなくなるため，ξl を小さくするような項を最小化する評価基準に加える．このような手法をソフトマージンと呼び，C

図 1: SVM とマージンを ξl を小さくするための項の定数とする．以上をまとめると SVM の評価基準は次のようになる．l = 1, 2, . . . , L

めの交差部分空間学習と名付ける．
交差部分空間学習法は，学習標本点を分割して利用すに対するるという面では，バギングなどのアンサンブル学習と類yl (hw, xl i + θ) − 1 + ξl≥0,(3)

ξl

≥

0,(4)

似しているようにも見える．しかしながら，アンサンブ
ル学習では，一部分の学習標本点を使って学習した弱学習器の識別結果を，多数決などによって組み合わせるのの条件のもとに，
LX
1kwk2 + C
ξl2に対して，交差部分空間学習法は，最終的な識別規則は元のサポートベクトルマシンと全く同じであり，法線ベクトルの重みやしきい値などのパラメータを決定するときに，交差検定の考え方を取り入れるために学習標本点を分割するもので，アンサンブル学習とは異なるものでを最小とする．この制約付きの最適化問題を Lagrangeの未定乗数法を使って変形するとある．

0 ≤ αl ≤ C,

本稿では，提案手法の有用性を示すために 2 クラス識

αl yl = 0.

(6)

l=1

LD =

Support Vector Machine

LXl

SVM は 2 クラス識別器である．クラスラベルを +1と −1 で表し Y = {+1, −1} とすることとし，ラベルが+1 ，−1 の母集団をそれぞれ Ω+1 ， Ω−1 で表す. あるベクトル w とスカラー θ に対して，OHC，もしくは線形 SVM の識別関数は

d(x) = hw, xi + θ.

LXの条件のもとに αl (l = 1, 2, . . . , L) について，別用の 13 のデータセットを用いて実験を行った．

2(5)

l=1

Lαl −L

1 XXαl αk yl yk hxl , xk i2(7)l=1 k=1を最大化すればよいことになる．
上の手法はカーネル法によって非線形へと拡張される．
つまり非線形写像 Φ によって高次元の特徴空間に写像してから識別を行うことになる．2 つのベクトル x と zに対して

k(x, z) = hΦ(x), Φ(z)i.

(1)(8)

が成立するため，上で現れる内積をカーネル関数に置きで与えられる．

換えればよい．サポートベクトルの集合 SV を未知パターン x を識別するときは，d(x) が正の時 x ∈Ω+1 ，d(x) が負の時 x ∈ Ω−1 として識別する．
図 1 が示すように識別境界となる {x | d(x) = 0} はNR 上の超平面となる．標本点を分離する超平面の中で未知の入力を最もよく分離できると考えられる超平面はマージン M を最大にするような超平面であるとする．

SV = {xl | 0 < αL ≤ C}.
によって与える．このとき識別関数はXd(x) =αl yl k(xl , x) + θ.
xl ∈SVとなる．

(9)

(10)

L

部分空間 SVM のための交差部分空3間学習

(17)

∂LSP
= C − αl − µl = 0,ξl!

(18)

k=1部分空間 SVM（SSVM）

3.1X
∂LSP
=−αk yk = 0,∂θ

この節では識別超平面の法線ベクトル w が部分空間ylに属するという制限を加え，SVM を拡張した SSVM について説明する．

{z n }Nn=1 をその制約部分空間を張るためのベクトルとする．すると実数の組 {βn }Nn=1 に対して,

w=NX

βk hz k , xl i + θ− 1 + ξl ≥ 0,(19)

ξl ≥ 0, αl ≥ 0, µl ≥ 0.
!
#(20)

k=1"αl ylNX

βn hz n , xl i + θ− 1 + ξl = 0,(21)µl ξl = 0.

(22)

n=1

βn z n .

(11)

n=1が成立する．
ベクトルまたは行列 A の転置を AT で表すことにし，と置くことができ，

kwk2 =NXN XNX

次のベクトルを定義する．

βm βn hz m , z n i.

(12)m=1 n=1となる．

{(xl , yl )}L
l=1 を学習標本点とする．SSVM の学習は
l = 1, 2, · · · , L に対して!
NX
βn hz n , xl i + θ − 1 + ξl ≥ 0, ξl ≥ 0 (13)ylα= (α1 , α2 , . . . , αL )T ,(23)β= (β1 , β2 , . . . , βL )T ,(24)Ty= (y1 , y2 , . . . , yL ) ,(25)

1= (1, 1, . . . , 1)T .

(26)

また，(N, N )-行列 Z を，n=1(Z)mn = hz m , z n i.

(27)の条件のもとに，NNで定義する．Z は可逆とする．少なくとも非負であるのLX
1 XXβm βn hz m , z n i + Cξl
2 m=1 n=1(14)l=1で，可逆でない場合は Z の代わりに，Z + εI によって正則化する．ここで，ε > 0 は正則化パラメータであり，I は単位行列である．さらに (N, L)-matrix D を，を最小化すればよい．
ラグランジュの未定係数 αl , µl (l = 1, 2, . . . , L) を導(D)nl = yl hz n , xl i.

(28)

入して，ラグランジュ関数はNLSP=で定義する．式 (16) ， (17) はそれぞれN

1 XXβm βn hz m , z n i
2 m=1 n=1+CL
X
l=1−LX
l=1ξl −"LXµl ξl

l=1αl yl (Zβ − DαNX

#βn hz n , xl i + θ) − 1 (15)=(29)y T α = hy, αi =0,(30)となる．

SSVM の学習は SVM と同様に α に関する凸 2 次計

n=1

l = 1, 2, . . . , L に対して，KKT 条件より，l = 1, 2, . . . , L ， n = 1, 2, . . . , N に対して，∂βn0,画問題となり，計算機によって解くことができる．となる．

∂LSP=NX
m=1βm hz n , z m i −LX
l=1αl yl hz n , xl i = 0, (16)0 ≤ αl ≤ C,(31)y T α = 0,(32)の制約条件のもと，α に関する二次形式

1
LSD = 1T α − αT DT Z −1 Dα2を最大化する．

(33)

この 2 次計画問題を解いて，α を求めれば，

β = Z −1 Dα.

For subspace
For parameter

Experiment 1(34)Experiment 2から w が計算できる．

SV S = {xl |0 < αl < C, 1 ≤ l ≤ L} とおけば.
"
#NX
X
1
θ=yl −βn hz n , xl i|SV S |Sn=1Experiment 3Experiment 4(35)Total number of Training Dataxl ∈SVによって，θ を求めることができる.
これにカーネル法を用いた場合，識別関数はd(x) =NX

βn k(z n , x) + θ.

図 2: 交差部分空間学習のデータ分割例 (K = 4 (1,3))(36)n=1となる．

3.2

交差部分空間学習

式 (7) を見ると判るように，SVM の法線ベクトルは学習標本点によって張られる．そして同じ標本点によって法線ベクトル内のパラメータ αk が学習される．

SVM のこの特性は汎化性能を悪くする可能性がある．
そこで SSVM に交差検定法と同様の手法を用いることを提案する．
交差検定は本来，任意の統計量の推定法として考案されたものであり，次のような手順で行われる．まず標本点の集合を K 個の標本群に分割する．そのうちの 1 つをテスト事例とし，残る K − 1 個を訓練事例とする．その後，K 個に分割した標本群それぞれをテスト事例として K 回検定を行う．K 回の実験を繰り返すことです
べてのデータをテスト事例として用いることとなる．このようにして得られた K 回の結果を平均して 1 つの推定を得る．この方法を K-fold 交差検定と呼ぶ [4, 5]．
SVM を部分空間制約で拡張したことにより法線ベクトルを構成するデータと学習を行うデータを分離することが可能となった．そこでその SSVM に交差検定のアルゴリズムを組み込む．学習標本点をいくつかの標本群に分割し，そのうちの一部を部分空間を張るために，その他を識別関数のパラメータの学習のために利用する．
この手法を交差部分空間学習法と呼ぶことにする．
交差部分空間学習について詳細に説明する．
まず，L 個の標本点 T = {xi }L
i=1 を S1 ,S2 , . . . , SK のK 個の標本群に分割する．
T = S1 ∪ S2 ∪ S3 ∪ . . . ∪ SK .

(27) ，(28) の z n と xl となる．そして凸 2 次問題を解
き，識別関数 dU,V (x) を得る.
U と V の決め方は複数存在する．U を S1 ,S2 , . . ., Skとし，そして残った T − S1 ,T − S2 , . . ., T − Sk を V とする．するとそれぞれの識別関数を K 個得ることになる．最終的な識別関数 d(x) はそれらを加えてd(x) = dS1 ,T −S1 (x)+dS2 ,T −S2 (x)+· · ·+dSK ,T −SK (x).
(38)となる．図 2 でこの場合の K = 4 での標本点の分け方を示す．
また，逆の方法も考えることができる．つまり T − S1,T − S2 , . . ., T − Sk を U とし，S1 ,S2 , . . ., Sk を V とする．この場合も最終的な識別関数 d(x) はd(x) = dT −S1 ,S1 (x)+dT −S2 ,S2 (x)+· · ·+dT −SK ,SK (x).
(39)となる．図 3 でこの場合の K = 4 での標本点の分け方を示す.
交差検定では学習用とテスト用に標本点を分けていた．
実験のすべての段階でテストデータの情報が学習系に入り込まないようにしておかないと実験結果が信頼できるものとならないため，1 つのデータを学習にもテストにも利用することはなかった．しかし提案手法は，SVM
では元々同じデータを使っていたものを部分空間で制限し分けたものであるため，1 つの標本群を U か V に決めることなく, 両方に使うことも可能である．またパラメータを訓練する標本点の数が不十分であると良い結果が出ない．そこで標本点全てを法線ベクトルのパラメータを訓練するための V に使い，部分空間はいくつかの標本群で張ることにする．図 4 でこの場合の K = 4 での標本点の分け方を示す.

(37)

U と V をそれぞれ部分空間を張るための標本点と学習標本点とする．SSVM であるため，U ，V の元は式

4実験

2 クラス識別用の 13 のデータセットで実験を行った．
データセットの特性は表 1 で示す．

For subspace

For parameter

トで K = 3 もしくは K = 4 の場合で最も認識率が高くExperiment 1なった．K = 2 と K = 3 の場合を比べてみても 13 種類Experiment 2

中 11 のデータセットで K = 3 の場合の認識率が高い．
しかし K = 4 の結果は K = 3 の場合と比べてもその違Experiment 3

いは大きくなく，一概に分割数を増やしていけば認識率Experiment 4が高くなるとは言えない．しかしながら交差部分空間学習する上で 2 分割では足りず，3，もしくはそれ以上にTotal number of Training Data

分割したほうが良いと思われる．
パラメータ学習用に全ての標本点を使用した SSVM

図 3: 交差部分空間学習のデータ分割例 (K = 4 (3,1))
For subspace
For parameter

Experiment 1の実験結果を表 3 に示す. この結果を見ると 13 データ
セット中 11 種類で SSVM の有用性が示された．制限部
分空間を張る標本点の割合の変化で見てみると表 2 のときとは違い，あまり変化がない．これはパラメータ学習の標本点数が十分であるからと考えられる．K に関し

Experiment 2ては表 2 と同様に K = 2 では不十分と見える．
表 3 と表 2 を比較すると’germen’，’image’，’titanic’

Experiment 3の SVM よりも SSVM の方が誤認識率が高いデータセッ
トに対して，パラメータの学習に標本点をすべて用いたExperiment 4方が良い結果が得られる．SSVM の結果が SVM より優
Total number of Training Data

れているとき，表 2 での結果は表 3 での結果よりも誤認識率が低い．従って，交差部分空間学習を用いた SSVMを使う場合 U と V で同じ標本点を使うことを避けた方

図 4: 交差部分空間学習のデータ分割例 (K = 4 (1,4))
制限部分空間を張る標本点 U とパラメータ学習標本点 V のそれぞれの標本群の数を (k, l) で表すことにする．すなわち l = K のときは，パラメータの学習に全ての標本点を使っていることになる．通常の交差検定ではテストデータは分割した標本群 1 つであるが交差部分空間学習では l = 1, 2, . . . K と変えて実験を行った．
スラック変数のパラメータ C は 5-fold 交差検定で決定した．カーネル関数のパラメータは [10] の通常の SVMと同じものを用いた．
部分空間用とパラメータ学習用に違う標本点を用いた SSVM の実験結果を表 1 に示す．この表の中の SVMの結果は [8, 9] を参照した．太字は各データセットでの最良の結果である．表 2 から, 13 データセットのうち9 つのデータセットで従来手法の SVM の識別率を上回り，’banana’， ’ringnorm’， ’thyroid’，’twonorm’ では t検定においても有意水準 5%の有用性が明確に示された．
制限部分空間用の標本群数を変えた場合，最良の結果
はほとんど全てのデータセットにおいて K = 3，K = 4に対してそれぞれ (1, 2)， (1, 3) となっている．これはパラメータ学習のための標本点数が多い方が良いためであると考えられる．
分割数 K を変えた場合は，ほとんど全てのデータセッが良いと思われる．

’splice’ に対しては，全ての場合で SSVM が SVM に優位性が示せなかった．この理由に関して調査する必要がある．

5 おわりにSVM を元にした新たな識別器，SSVM を提案した．この識別器は識別境界の法線ベクトルを予め与えた部分空間に制限している．この SSVM で法線ベクトルを構成する標本点と法線ベクトルのパラメータを学習する標本点に，それぞれ違うものを使用する交差部分空間学習を提案し，計算機実験によって SSVM の有用性を示した．
今後の課題として可変カーネル SVM [3] の過学習の問題を解消するために交差部分空間学習を適用する．可変カーネル SVM は非対称カーネルを使用することで自由にそのカーネルパラメータが選択できる．しかし，自由度が高すぎるために，簡単な問題では性能を向上させることができるが，現実的な問題では過学習のため，満足な結果は得られなかった．そこで交差部分空間学習を使用することで過学習の問題を軽減することが必要である．

DN

Datasetname# of training
patterns# of test
patterns# ofrealizations

dimension

1234567

bananabreast cancer
diabetis
flare solar
german
heart
image

400
200468666
700
170
1300

4900
77300
400
300
100
1010

100
100100100
100
100
2029892013188910111213

ringnorm
splicethyroidtitanic
twonorm
waveform

400
1000
140150
400
400

7000
2175
75
2051
7000
4600

10020100100
1001002060
532021表 1: データセット特性

参考文献[1] C. Cortes and V. Vapnik “Support-vector networks”,
Machine Learning, vol.20, no.3, pp.273-297, Sep.
1995.
[2] V. Vapnik, “Statistical Learning Theory”, Wiley Interscience, NewYork, 1998.
[3] 柳森, 山下幸彦, “カーネル理論の拡張と非対称カー
ネルサポートベクタマシン”, 2004 Workshop on
Information-Based Induction Sciences (IBIS2004),
Tokyo, Nov. 2004.
[4] M. Stone, “Cross-Validatory Choice and Assessmentof Statistical Predictions”, Journal of the Royal Statistical Society. Series B (Methodological), vol.36, no.2,pp.111-147, 1974.
[5] S. Geisser, “The predictive sample reuse method withapplications”, Journal of the American Statistical Association vol.70, pp.320-328, Jun. 1975.
[6] D. C. Manning and P. Raghavan and H. Schuetze, “Introduction to Information Retrieval”, Journal of theAmerican Statistical Association chapter 15.2, Cambridge University Press, 2008.
[7] M. Minsky and S. Papert, “Perceptrons”, MIT Press,Cambridge, 1969.

[8] G. Rätsch and T. Onoda and K.–R. Müller, “Soft Margins for AdaBoost”, Machine Learning, vol.42, no.3,pp.287-320, Mar. 2001.
[9] S. Mika and G. Rätsch and J. Weston andB. Schölkopf and K.–R. Müller, “Fisher discriminant
analysis with kernels”, Neural Networks for Signal
Processing IX pp.41-48, Jun. 1999.
[10] G. Rätsch and T. Onoda and K.-R. Müller, “Soft Margins for AdaBoost”, Technical Report NC-TR-1998021, Department of Computer Science, Royal Holloway, University of London, Aug. 1998.

DN

SVM

SSVM, K=2 (1,1)

SSVM K = 3 (1,2)

SSVM K = 3 (2,1)

12435678910

11.53 ± 0.66
26.04 ± 4.74
23.53 ± 1.73
32.43 ± 1.82
23.61 ± 2.07
15.95 ± 3.26
2.96 ± 0.60
1.66 ± 0.12
10.88 ± 0.66
4.80 ± 2.19

10.51 ± 0.43
25.56 ± 4.53
23.03 ± 1.72
32.43 ± 1.77
23.92 ± 2.15
15.70 ± 3.34
3.63 ± 0.55
1.50 ± 0.10
12.75 ± 0.59
4.41 ± 2.10

10.38 ± 0.43
25.61 ± 4.55
23.17 ± 1.69
32.40 ± 1.78
23.86 ± 2.33
15.32 ± 3.26
3.37 ± 0.43
1.47 ± 0.08
12.52 ± 0.82
4.16 ± 2.04

10.62 ± 0.46
26.12 ± 4.89
23.53 ± 1.70
32.57 ± 1.77
23.97 ± 2.35
15.60 ± 3.33
4.03 ± 0.72
1.56 ± 0.10
13.10 ± 0.73
4.39 ± 2.18111213

22.42 ± 1.02
2.96 ± 0.23
9.88 ± 0.43

22.62 ± 1.27
22.62 ± 1.13
2.41 ± 0.16
2.39 ± 0.15
9.91 ± 0.49
9.82 ± 0.37(a) SVM と SSVM (K = 2, 3)

23.15 ± 1.05
2.39 ± 0.13
9.85 ± 0.47

DN

SSVM K = 4 (1,3)

SSVM K = 4 (2,2)

SSVM K = 4 (3,1)

1210.39 ± 0.43
25.31 ± 4.39

10.45 ± 0.45
25.65 ± 4.59

10.75 ± 0.54
25.97 ± 4.37435678910111213

23.16 ± 1.70
32.40 ± 1.78
23.80 ± 2.28
15.40 ± 3.17
3.13 ± 0.52
1.46 ± 0.08
12.23 ± 0.70
4.25 ± 2.11
22.46 ± 1.12
2.38 ± 0.14
9.81 ± 0.44

23.13 ± 1.70
32.41 ± 1.76
23.75 ± 2.22
15.67 ± 3.23
3.32 ± 0.57
1.72 ± 0.17
12.29 ± 0.76
4.28 ± 2.06
22.62 ± 1.13
2.39 ± 0.13
9.83 ± 0.42(b) SSVM (K = 4)

23.25 ± 1.70
32.84 ± 1.64
23.97 ± 2.21
15.65 ± 3.18
4.38 ± 0.68
1.58 ± 0.12
13.02 ± 0.76
4.29 ± 1.98
22.83 ± 1.15
2.41 ± 0.13
9.85 ± 0.45

表 2: 実験結果 (部分空間用とパラメータ学習用の標本点が違う場合)

DN

SVM

SSVM, K=2 (1,2)

SSVM K = 3 (1,3)

SSVM K = 3 (2,3)

12345678910

11.53 ± 0.66
26.04 ± 4.74
23.53 ± 1.73
32.43 ± 1.82
23.61 ± 2.07
15.95 ± 3.26
2.96 ± 0.60
1.66 ± 0.12
10.88 ± 0.66
4.80 ± 2.19

10.44 ± 0.45
25.42 ± 4.65
23.21 ± 1.84
32.40 ± 1.78
24.13 ± 2.15
15.48 ± 3.24
2.95 ± 0.47
1.82 ± 0.21
11.58 ± 0.72
4.75 ± 2.18

10.44 ± 0.45
25.53 ± 4.53
23.20 ± 1.86
32.40 ± 1.79
23.69 ± 2.28
15.40 ± 3.27
2.97 ± 0.53
1.86 ± 0.24
11.73 ± 0.65
4.45 ± 2.21

10.44 ± 0.46
25.39 ± 4.64
23.22 ± 1.82
32.41 ± 1.79
23.57 ± 2.15
15.44 ± 3.24
2.96 ± 0.60
1.72 ± 0.16
11.29 ± 0.77
4.53 ± 2.18

11121322.42 ± 1.02
2.96 ± 0.23
9.88 ± 0.4322.45 ± 1.05
22.37 ± 1.05
2.40 ± 0.14
2.40 ± 0.149.80 ± 0.42
9.79 ± 0.43(a) SVM と SSVM (K = 2, 3)

22.40 ± 0.99
2.40 ± 0.14
9.81 ± 0.41

DN

SSVM K = 4 (1,4)

SSVM K = 4 (2,4)

SSVM K = 4 (3,4)

12

10.43 ± 0.44
25.53 ± 4.47

10.44 ± 0.46
25.44 ± 4.60

10.44 ± 0.46
25.39 ± 4.66

345678910111213

23.22 ± 1.85
32.40 ± 1.78
23.66 ± 2.32
15.43 ± 3.23
2.98 ± 0.59
1.91 ± 0.26
11.72 ± 0.76
4.45 ± 2.15
22.46 ± 1.12
2.39 ± 0.14
9.77 ± 0.40

23.20 ± 1.83
32.41 ± 1.78
23.64 ± 2.17
15.43 ± 3.26
2.99 ± 0.51
1.79 ± 0.18
11.32 ± 0.78
4.52 ± 2.19
22.35 ± 1.14
2.39 ± 0.149.80 ± 0.42(b) SSVM (K = 4)23.22 ± 1.82
32.42 ± 1.79
23.58 ± 2.13
15.45 ± 3.28
2.98 ± 0.61
1.68 ± 0.14
11.17 ± 0.72
4.53 ± 2.17
22.39 ± 0.99
2.40 ± 0.14
9.83 ± 0.39

表 3: 実験結果 (部分空間用とパラメータ学習用の標本点が同じ場合)