ファジィc-平均法の正則化を導入したマージン最大化モデルによるプロトタイプ分類器の学習清水省吾 (大阪大学) ○楠木祥文 （大阪府立大学） 巽啓司 (大阪大学)

Learning Nearest Prototype Classifiers by Maximum-Margin Model with
Regularizations of Fuzzy c-Means
S. Shimizu (Osaka University), ∗Y. Kusunoki (Osaka Prefecture University) and K. Tatsumi(Osaka University)
Abstract– We focus on the maximum-margin model (MMM), which is an optimization-based method forlearning nearest prototype classifiers. The optimization problem corresponding to MMM is a diﬀerence of
convex functions (DC) program. It is solved using the DC algorithm, which can be regarded as the alternating
optimization algorithm of c-means. In this paper, we propose two revised MMM by introducing the quadratic
regularization and the regularization based on the largest-L norm. As a result, the proposed methods are
MMM enhanced with fuzziness. The DC algorithm applied to the proposed optimization problems are
reduced a fuzzy-c-means-like alternating algorithm. Their performance is evaluated in numerical experiments.
Key Words: Nearest prototype classifiers, Fuzzy c-Means, Alternating optimization, Second-order programming

1

はじめに

プロトタイプ分類器とは最近プロトタイプ分類規則に基づいたクラスラベルの推定方法である．つまり，複数のラベル付きプロトタイプを与えた上で，与えられたデータ点に最も近いプロトタイプのラベルによって推定する．プロトタイプ分類器に対し様々な学習手法が提案されてきた．本研究では，MMM (Maximum-Marigin
Model) 1) という手法に注目する．MMM はマージン最大化問題に基づく学習手法である．このマージン最大化
問題は，最終的に DC (Diﬀerence of Convex functions)計画問題に帰着され，DC アルゴリズムにより求解される．このアルゴリズムは，各データ点の最近プロトタイプへの割当とその割当のもとでのプロトタイプの配置最適化を交互に行っており，c-平均法の交互最適化であると見なせる．本研究では，MMM にファジィc平均法の正則化のアイデアを組み合わせることで，プ
ロトタイプへの帰属にファジィ性を導入するとともに，
より汎化誤差の小さい分類器の学習を目的とする．

2c-平均法の正則化

本節では c-平均法と 2 種類のファジィc-平均法について説明する．(ハード) c-平均法とファジィc-平均法
を，それぞれ，HCM (hard c-means) と FCM (fuzzy
c-means) と表記する．

2.1 HCM
実ベクトルで与えられた m 個のデータ x1 , . . . , xm ∈Rn を考える．これを c 個のクラスタに分類する．この手法は w, u を決定変数とする問題 (1) を求解していると考えることができる．
min

m ∑
c
∑

uik ∥xi − wk ∥2

ここで，w1 , . . . , wc ∈ Rn は各添え字に対応するク
ラスタのプロトタイプである．uik は，クラスタ k
に対するデータ点 xi の帰属度を表している．デー
タ点 xi がプロトタイプ wk のクラスタに帰属する
とき，uik = 1，帰属しないとき，uik = 0 となる．問題 (1) を求解するために，u に関する最適化と w に関する最適化を交互に行う．ここで，ベクトル t ∈ Rc に対する関数 h(t) = max{ti | k =1, . . . , c} を考える．これは凸関数であるが，その共役2関数を h∗ とする．このとき，tik∑= ∥x∑i − wk ∥ とおmc
くと，HCM の最適化問題は − i=1 ( k=1 uik tik +h∗ (ui1 , . . . ,∑uic )) の最小化となる．共役関数の関係をm考えると， i=1 −h(−ti1 , . . . , −tic ) の最小化問題に帰着する．さらに，共役関数とその勾配の関係を考えると，上述した交互最適化アルゴリズムは，凹関数∑mi=1 −h(−ti1 , . . . , −tic ) の線形近似と，近似された問題を w1 , . . . , wc について最適化することを交互に行っていると解釈でき，DC アルゴリズムであると見なすことができる．
HCM では，あるデータ点は必ず 1 つのプロトタイプのクラスタにしか割り当てられない．しかし，データがはっきりと分離しないクラスタ構造を持つ場合，HCM
では，プロトタイプがクラスタ構造をうまくとらえられない．この問題に対し，正則化を導入し，uik を 0 か
ら 1 までの区間値に拡張する 2 つの手法を紹介する．

2.2

2 次正則化に基づく FCM

2 次正則化に基づく FCM(以下，2 次正則化 FCM) は次の問題 (2) を求解していると考えることができる．
min

i=1 k=1s.t.

c∑uik = 1, i = 1, . . . , mm ∑c∑i=1 k=1

(1)

s.t.

c
∑

ν ∑∑ 2uik
2 i=1m

uik ∥xi − wk ∥2 +ck=1

uik = 1, i = 1, . . . , m

k=1

k=1

uik ∈ {0, 1}, i = 1, . . . , m, k = 1, . . . , cuik ≥ 0, i = 1, . . . , m, k = 1, . . . , c(2)

ここで，ν はファジィ度を調整するパラメータであり，νを小さくすると，HCM に近づく．この手法では，HCMと同様に問題 (2) に対して，u と w に関してそれぞれ交互に最適化を行い，求解する．各 i = 1, . . . , m について，決定変数
ui1 , . . . , uic に対する最適解 u∗i1 , . . . , u∗ic∑c∗は， k=1 uik = 1，および，各 k = 1, . . . , c について
以下の条件を満たす．

u∗ik = max{0, ∥xi − wk ∥2 − λ}(3)

ただし，λ はこの方程式を満たす唯一の実数である．また，各 k = 1, . . . , c に対して，wk に対する最適解 wk∗は次のようなる．

wk∗ =

m
∑
i=1

u
∑m ik

j=1 ujk

xi

(4)

c
T
ベクトル
∑c t ∈ R の凸関数 hν (t) = supu∈Rc {t u −k=1 uk = 1, u ≥ 0} を考え，その共役関数が問題 (2) にあらわれることに注意すると，
HCM と同様∑mに，これは i=1 −hν (−ti ) の最小化問題に帰着する．
また，共役関数とその勾配に関係を考えると，
2 次正∑m
則化 FCM のアルゴリズムは， i=1 −hν (−ti ) の線形近似と，w1 , . . . , wc に関する近似された問題の最適化
を交互に行っており，DC アルゴリズムと一致する．
ν22 ∥u∥ |

2.3 最大 L 関数を用いた正則化に基づく FCM
最大 L 関数を用いた正則化に基づく FCM(以下，最大 L 関数 FCM) を説明する．この手法は 2 次正則化
FCM と同様に次の問題 (5) を求解していると考えることができる．
min

m ∑
c
∑

uik ∥xi − wk ∥2

i=1 k=1s.t.

c∑uik = 1, i = 1, . . . , m

(5)

k=1

0 ≤ uik ≤1, i = 1, . . . , m, k = 1, . . . , c
L

ここで，L ∈ {1, . . . , c} はファジィ度を調整するパラメー
タであり，L が小さいほど，c-平均法に近づき，L = 1 でc-平均法と一致する．c-平均法と同様に，問題 (5) に対して，u と w に関してそれぞれ交互に最適化を行い，求解する．各 i = 1, . . . , m に対して，ui1 , . . . , uic に関する最適解を求める．tik = ∥xi − wk ∥2 とし，ti1 , . . . , tic を昇順に並び替えたものを，tik(1) ≤ tik(2)∑c ≤ . . . ≤ tik(c)としたとき，最適解 u∗i1 , . . . , u∗ic は， k=1 u∗ik = 1，および，各 k = 1, . . . , c について以下の条件を満たす．
∗tik > tik(L) =⇒ uik = 0∗(6)
tik < tik(L) =⇒ uik = 1/L∗tik = tik(L) =⇒ uik ∈ [0, 1/L]

w1 , . . . , wc に関する最適解は式 (4) と同様に得られる．
ベクトル t ∈ Rc の凸関数 hL (t) = L1 max{tl1 + · · · +tlL | l1 , . . . , lL ∈ {1, . . . , c}}∑を考えると，2 次正則化m
FCM と同様に，問題 (5) は i=1 −hL (−ti ) の最小化問題に帰着する．さらに，最大 L 関数 FCM のアルゴ
リズムは DC アルゴリズムと一致する．

FCM の正則化に基づくプロトタイプ分類
器の学習

3

本章では，MMM の求解アルゴリズムを FCM の正則化と同様のアルゴリズムに拡張した学習手法を 2 つ提案する．MMM では，識別関数に max 関数を用いる．
2 つの提案法では 2 次正則化関数と最大 L 関数をそれぞれ，識別関数に用いる．これにより，求解アルゴリ
ズムにそれぞれ，2 次正則化 FCM と最大 L 関数 FCM
による帰属度のファジィ化が導入される．また，分類規則にファジィ性が導入され，クラス内のプロトタイ
プの分布を反映したクラス分類ができ，汎化性能の向上が期待できる．

3.1 記号の説明
入力空間を Rn とし，クラスラベル集合を C ={1, . . . , c} とする．教師情報として，ラベル付き訓練デー
タ (x1 , y1 ), . . . , (xm , ym ) が与えられる．ここで，xi ∈Rn , yi ∈ C, i = 1, . . . , m である．M = {1, . . . , m} を訓練データの添え字集合とする．また，k ∈ C に対して，集合 C−k = C\{k} を定義する．各クラスにそれぞれ複数のプロトタイプが与えられるが，簡単のため，プロトタイプの数は一様に d であると仮定する．集合
D = {1, . . . , d} を定義する．クラス k の l 番目のプロ
トタイプを wkl ∈ Rn とし，各 kl に対してバイアス項
bkl ∈ R を与える．
2 次正則化関数を導入したプロトタイプ分類器のためのマージン最大化モデル
2 次正則化関数を導入したマージン最大化モデル (以下，2 次正則化 MMM) を説明する．各クラス k に対して識別関数 fk : Rn → R を hν を用いて，次のように
定義する．
√
(7)
fk (x) = − −hν ((−∥x − wkl ∥2 − b2kl )l∈D )3.2

各データ点 x に対して，識別関数 f1 (x), . . . , fc (x) が最も大きいクラスに x を割り当てる．
プロトタイプ分類器をマージン最大化により学習する．各データ点 xi に対して，そのクラスの評価値 fyi (xi )とその他のクラスの評価値 maxk̸=yi fk (xi ) との差に注目する．これらの差の最小値をマージンとし，このマージンを最大化するようにプロトタイプの配置を決定する．よって，マージン最大化は w, b, r を決定変数とする以下の最適化問題 (8) として定式化できる．

min r
s.t.

1
fyi (xi ) − fk (xi ) ≥ √ , i ∈ M, k ∈ C−yir

(8)

ただし，r > 0 とする．問題 (8) では，hν の代わりに
h2ν/r を用いる．tikl = 2r (∥xi − wkl ∥2 + b2kl ) とすると，√
fk (xi ) = − −h2ν/r ((−2tikl /r)l∈D ) となる．
問題 (8) の最適解として，プロトタイプ (wkl , bkl ) を求めると，プロトタイプが 1 つに求まらない．そこで，√
τfyi (xi ) の代わりに，fˆyi (xi ) = − 2τr (−fyi (xi ))2 − 2√rを用いる．ここで，τ > 0 とし，τ は 2 乗関数の影響を調整するパラメータである．fˆyi (xi ) は fyi (xi ) を下から近似しており，τ が小さいと，fˆyi (xi ) は fyi (xi ) よりも速く減少するため，クラス yi のプロトタイプはそのクラスに属するデータが存在する領域に留まることが期待できる．
さらに，スラック変数 ξik , i ∈ M, k ∈ C−yi を導入す
ると，w, b, r, ξ を決定変数とする次の最適化問題が得られる．
∑ ∑min r + µξiki∈M k∈C−yi

s.t.

√
1
hν ((−tiyi l )l∈D ) + −2hν ((−tikl )l∈D )ττ≥ 1 + − ξik , i ∈ M, k ∈ C−yi2(9)rtikl = (∥xi − wkl ∥2 + b2kl ),2i ∈ M, k ∈ C, l ∈ D
ξik ≥ 0, i ∈ M, k ∈ C−yir≥0

ここで，µ > 0 は損失に対する重みである．また，第 1 制√
約式に対して，両辺に r をかけて，h2ν/r (−2tikl /r) =(2/r)hν (−tikl ) の関係を用いた変形を適用している．
第 1 制約式の第 1 項を右辺に移項すると，その両辺は非負になり，2 乗することができる．さらに，Lagrange
双対問題による hν の別表現

ν∑ 2
sk }
hν (t) = inf { max {tk − νsk } +sk k=1,...,c
2
c

(10)

を用いると，次の制約式を得る．
∑
2 min{νsikl + tikl } − ν
s2ikl
l∈D

(
)2
τ
ν
≥ 1 + − hν ((−tiyi l )l∈D ) − ξik
2 τtikl =

r − xTi wkl + ζkl ,sk ≥0を用い，2 次正則化 MMM と同様の変形を適用すると次の最適化問題を得る．
∑ ∑min r + µξiki∈M k∈C−yis.t.

2(sikl + tikl ) −

2 ∑
sikl′
L ′

i ∈ M, k ∈ C−yi , l ∈ D(12)∥xi ∥2tikl =
r − xTi wkl + ζkl ,2i ∈ M, k ∈ C, l ∈ D(15)

2rζkl ≥ ∥wkl ∥2 , k ∈ C, l ∈ Dsikl ≥ 0, i ∈ M, k ∈ C−yi , l ∈ D
ξik ≥ 0, i ∈ M, k ∈ C−yi2rζkl ≥ ∥wkl ∥2 , k ∈ C, l ∈ D

r≥0

r≥0

(14)

k=1

2
i ∈ M, k ∈ C, l ∈ D

ξik ≥ 0, i ∈ M, k ∈ C−yi

1∑
sk }
L
c

hL (t) = inf {max{tk − sk +

(
)2
τ
1
≥ 1 + − hL ((−tiyi l )l∈D ) − ξik ,2 τ2(νsikl − νsik0 + tikl ))2(1τ
≥ 1 + − hν ((−tiyi l )l∈D ) − ξik ,
2 τ

l′ ∈D
∥xi ∥2

最大 L 関数を導入したマージン最大化モデル (以下，最大 L 関数 MMM) を説明する．識別関数を hL を用いて，次のように定義する．
√
fk (x) = − −hL ((−∥x − wkl ∥2 − b2kl )l∈D )
(13)

l ∈D

i∈M k∈C−yi

i ∈ M, k ∈ C−yi , l ∈ D∑
2sik0 ≥
s2ikl′ , i ∈ M, k ∈ C−yi

最大 L 関数を導入したプロトタイプ分類器のためのマージン最大化モデル(11)

第 2 制約式を tikl = 2r ∥xi ∥2 − xTi wkl + ζkl と 2rζkl =∥wkl ∥2 + b2kl に分解する．ここで，rwkl と rbkl を wklと bkl に置き直している．さらに，変数 bkl は他の制約に現れないので，一般性を失うことなく 2 つ目の等式
を 2rζkl ≥ ∥wkl ∥2 とできる．
以上の変形を適用すると次の最適化問題を得る．
∑ ∑min r + µ
ξik

s.t.

3.3

各データ点 x に対して，識別関数 f1 (x), . . . , fc (x) が最も大きいクラスに x を割り当てる．
2 次正則化 MMM と同様の考えに基づき，マージン最大化の問題 (9) を解き，プロトタイプを求める．ただし，hν は hL に置き換えられる．
さらに，Lagrange 双対問題による hL の別表現

k=1

l∈D

この問題を求解するために，DC アルゴリズムを用いる．つまり，第 1 制約式の hν の線形近似と，その近似された問題の求解を交互に行う．hν ((−tiyi l )l∈D ) の勾配は，xi のクラス yi の d 個のプロトタイプへの帰属度
ũiyi l , l ∈ D と解釈される．近似された問題は 2 次錐計画問題となり，容易に求解できる．問題 (12) に対する
DC アルゴリズムは訓練データ xi ごとにそのクラス yiのプロトタイプへの帰属度の計算と，その状況におけるプロトタイプの配置最適化を行っている．また，帰属度の決定方法に注目すると，この DC アルゴリズム
は 2 次正則化 FCM と同様なアルゴリズムであり，交互最適化であると見なすことができる．
ν が大きくなるにつれ，アルゴリズムの結果として，異なるプロトタイプに対する訓練データの帰属度の違いが小さくなり，プロトタイプが同じ場所に集まることが考えられる．このことより，2 次正則化 MMM では，あらかじめ d を大きく設定しておき，ν を調整することで実質のプロトタイプ数を調整できると考える．

2 次 正 則 化 MMM 同 様 に ，こ の 最 適 化 問 題 は
DC アルゴリズムによって求解される．このとき ，hL ((−tikl )l∈D ) の勾配は，最大 L 関数によってファジィ
化された，xi のクラス yi に属するプロトタイプへの帰属度と解釈される．
L が大きくなるにつれ，各データ点について，異なる
プロトタイプに対する帰属度の違いが小さくなり，プ
ロトタイプが同じ場所に集まることが考えられる．このことから，最大 L 関数 MMM では，あらかじめ d を大きく設定しておき，L を調整することで，実質のプロトタイプ数を調整できると考えられる．

4

数値実験

3 章で述べた 2 次正則化 MMM と最大 L 関数 MMMの性能を検証するために数値実験を行った．まず，分類境界に関する実験を述べ，次に，汎化性能の比較実験を述べる．汎化性能の実験では，比較手法として，MMM,
そして，古典的な手法である LVQ 2, 3, 4) より LVQ1 とLVQ3 を用いた．
4.1 初期プロトタイプの設定
2 つの実験において，いずれの手法も初期プロトタイ
プを生成する必要がある．また，初期プロトタイプによって最終的に得られるプロトタイプが異なるため，適切なプロトタイプを生成することは重要である．本実験では，初期プロトタイプ生成のため，c-平均法 ++ 5)を用いる．c-平均法 ++ をクラスごとに設定された反復数 (1000 とした) まで適用する．
4.2 分類境界の比較
まず，MMM, 2 次正則化 MMM, 最大 L 関数 MMMの分類境界の違いを比較するため，Fig. 1(a) に示す 2次元人工データ (データ数 4000，次元数 2，クラス数2) を用いた実験を行った．このデータに対して，パラメータを d = 10, µ = 100, τ = 1, ν = 10, L = 3 に設定し，MMM, 2 次正則化 MMM, 最大 L 関数 MMMをそれぞれ適用した結果を Fig. 1(b)–(d) に示す．図中
において，データ点の色がクラスラベルを示しており，
プロトタイプを△で表現している．
Fig. 1(b) より，MMM ではクラスごとに複数のプロトタイプを生成することで区分的線形な分類境界を形成できることが分かる．一方，Figs. 1(c), 1(d) より，2次正則化 MMM と最大 L 関数では MMM と比較して滑らかな分類境界が得られた．また，誤分類したテス
トデータ数を比較すると，MMM では 58，2 次正則化
MMM では 37，最大 L 関数 MMM では 41 となった．
これは 2 つのことが起因する．1 つは MMM の求解ア
ルゴリズムがファジィ化することにより，配置がより柔軟に修正されたプロトタイプが獲得できることである．もう 1 つはクラス分類時に最近プロトタイプだけに基づいてクラス分類せず，クラスごとにプロトタイ
プの配置を反映したクラス分類が可能になったことである．
4.3 汎化性能の比較
Table 1 に示す UCI Machine Learning Repository 6)のベンチマークデータを用いて，2 次正則化 MMM と最大 L 関数 MMM を検証した．ベンチマークデータ
は，各特徴量を平均が 0，分散が 1 となるように正規化した．性能の評価指標として，10 分割交差検定により 5 回実験を行った分類誤差の平均を採用し，これをCV 誤差と呼ぶ．

Table 1: Benchmark data sets
データ名 データ数 特徴量数 クラス数
Iris
150
4
3
Wine
178
13
3
Balance
625
4
3
Sonar
208
60
2
Hayes
132
4
3
Car
1728
6
4
実験に使用したパラメータに言及する．MMM のパラメータには 1 クラスあたりのプロトタイプ数 d, 2 乗関数のパラメータ τ ，損失の重み µ があり，文献 1) を参考に以下のように設定した．

• d : 1,2,. . . ,10• τ : 0.01,0.02,0.1,0.2,. . . ,10,20• µ : 100
2 次正則化 MMM と最大 L 関数 MMM には MMMのパラメータに加えて，それぞれ ν と L があり，以下のように設定した．
• ν : 0.1,0.2,1,2,10• L : 1,2,. . . ,10
LVQ1 と LVQ3 のパラメータは文献 7) を参考にした．LVQ1 のパラメータには d に加えて，学習率 α があり，0.1,0.2,. . .,0.9 とした．LVQ3 のパラメータにはd, α に加えて，Window Width と呼ばれるパラメータs と学習率に関するパラメータ ϵ がある．ϵ, s を共に
0.1,0.2,. . .,0.9 に設定した．
ベンチマークデータごとに，各手法を適用したときの CV 誤差の最良値とそのときのパラメータを Table 2に示す．µ = 100 と固定したため，Table 2 では µ を省略する．Table 2 より，2 次正則化 MMM と最大 L 関
数 MMM が Iris を除くデータで 1 番目，2 番目に小さい CV 誤差を示した．また，Iris では LVQ3 に次いで，2 手法が 2 番目に小さい CV 誤差を示した．
MMM と LVQ (LVQ1 と LVQ3) を比較する．Iris を除くデータで LVQ より MMM が優れた CV 誤差を示した．Iris では，MMM が LVQ1 より 0.13% 小さい CV
誤差を示した一方，LVQ3 より 0.13% 大きい CV 誤差を示した．これらのことから MMM は LVQ より汎化性能が高いと言える．LVQ はクラスラベル情報を元に決まった操作を繰り返す古典的な方法でプロトタイプを獲得するのに対し，MMM は求解可能な最適化問題
として定式化し，その解としてプロトタイプを獲得する．プロトタイプを獲得するアプローチの差異が汎化
性能に影響を与えたと考えられる．
MMM と 2 次正則化 MMM を比較する．2 次正則化
MMM が Iris, Wine, Balance では，2 次正則化 MMM
が MMM と同等，あるいは 0.5% 程度小さい CV 誤差を示した．Sonar で 1.63%, Hayes で 3.03%, Car で 7.91%
小さい CV 誤差を 2 次正則化 MMM が示した．MMMと最大 L 関数 MMM を比較する．Iris, Wine, Balance
では，最大 L 関数 MMM が MMM と同等，あるいは 1%程度小さい CV 誤差を示した．Sonar で 1.73%, Hayes

(a) Artificial data set(b) MMM ((d, µ, τ ) = (10, 100, 1))(c) MMM with the quadratic regularization((d, µ, τ, ν) = (10, 100, 1, 10))(d) MMM with the largest-L-norm regularization ((d, ν, τ, L) = (10, 100, 1, 3))

Fig. 1: Comparison of classification boundaries
Table 2: Comparison of MMM, MMM with the quadratic regularization, MMM with the largest-L-norm regularization, LVQ1 and LVQ3 by six benchmark data sets. We show the results of the best classifiers (with respect
to the classification performance) among various values of hyperparameters.
データ名 2 次正則化 MMM 最大 L 関数 MMM
MMM
LVQ1
LVQ3
(d, τ, ν)(d, τ, L)(d, τ )(d, α)(d, α, s, ϵ)
Iris
2.80±0.87
2.80±0.87
2.80±0.87
2.93±0.37
2.67±0.47(1,20,0.2)(1, τ = 20, 1)(1,20)(10,0.8)(4,0.1,0.3,0.3)
Wine1.35±0.50
1.57±0.47
1.91±0.31
2.47±0.50
2.47±0.64(3,10,10)(10,2,7)(2,2)(1,0.3)(1,0.1,0.1,0.3)
Balance6.82±0.65
6.37±0.41
7.33±0.50
11.33±0.98
14.34±0.70(2,20,10)(9,20,3)(2,20)(2,0.4)(2,0.3,0.1,0.3)
Sonar
10.00±1.04
9.90±1.75
11.63±1.29
16.73±1.78
13.85±1.57(9,10,10)(9,20,3)(8,10)(7,0.1)(10,0.2,0.1,0.6)
Hayes
24.24±1.78
17.88±0.86
27.27±2.07
29.85±1.82
27.73±2.55(3,10,10)(10,20,6)(4,10)(6,0.3)(10,0.4,0.6,0.6)Car
1.41±0.18
3.38±0.219.32±0.23
18.63±0.55
19.66±0.65(5,20,10)(10,20,3)(6,20)(2,0.1)(2,0.1,0.6,0.3)
で 9.39%, Car で 5.94% 小さい CV 誤差を最大 L 関数が示した．これらのことから 2 次正則化 MMM と最大L 関数 MMM は MMM の安定した汎化性能を引き継ぎつつ，CV 誤差を低減できたと考えられる．これは第 4.2 節で述べたように，2 次正則化 MMM と最大 L
関数 MMM では，求解アルゴリズムがファジィc-平均法の正則化に拡張されたこと，分類規則にファジィ性が導入されたことに起因する．

5

おわりに

本研究では，プロトタイプ分類器の学習手法の 1 つである MMM に注目した．MMM にファジィc-平均法の正則化のアイデアを導入することで，ファジィプロ

トタイプ分類器に拡張した学習手法を提案した．2 次元
人工データを用いた実験では，MMM よりも提案法の方が滑らかな分類境界を得られており，プロトタイプの学習と分類規則にファジィ性が導入されていることが確認できた．また，ベンチマークデータを用いた実験では，従来のプロトタイプ学習手法に加えて，MMM
よりも提案法の方が汎化性能が高いことを確認した．

参考文献
1) Y. Kusunoki, C. Wakou and K. Tatsumi:
Maximum-Margin Model for Nearest Prototype
Classiﬃers, Journal of Advanced Computational
Intelligence and Intelligent Informatics, 22(4),565/577 (2018)2) J. C. Bezdek and L. I. Kuncheva, Nearest Prototype Classifier Designs: An Experimental Study,
Inernational journal of intelligent systems, 16,1445/1473 (2001)
3) J. C. Bezdek, T. R. Reichherzer, G. S. Lim, and
Y. Attikiouzel, Multiple-Prototype Classifier Design, IEEE Transactions on Systems, Man, andCybernetics, Part C: Applications and Reviews,
28(1), 67/79 (1998)
4) C-L. Liu and M. Nagasawa, Evaluation of prototype learning algorithms for nearest-neighborclassifier in application to handwritten character recognition, Pattern Recognition, 34, 601/615(2001)
5) D. Arthur and S. Vassilvitskii, k-means++: The
Advantages of Careful Seeding, Technicial Report(2006)
6) D. Dheeru and G. Casey, UCI Machine Learning
Repository http://archive.ics.uci.edu/ml/
7) I. Triguero, J. Derrac, S. Garcia, and F. Herrera,
A Taxonomy and Experimental Study on Prototype Generation for Nearest Neighbor Classification，IEEE transactins on systems, man, andcybernetics part C: apprications and reviews, 42,
86/100 (2012)