情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

大幾何マージン最小分類誤り学習法

Large Geometric Margin Minimum Error Classification
渡辺 秀行∗
Hideyuki Watanabe

片桐 滋†
Shigeru Katagiri

中村 篤 ‡
Atsushi Nakamura

山田 幸太 †
Kouta Yamada

渡部 晋治 ‡
Shinji Watanabe

マクダーモット エリック‡
Erik McDermott
大崎 美穂 †
Miho Ohsaki

Abstract: The recent dramatic growth of computation power has resulted in increased
interest in discriminative training methods for pattern recognition. Minimum Classification Error (MCE) training is especially attracting a great deal of attention, and it can beused to achieve minimum-error classification of various types of patterns. However, forincreasing the robustness of classification, the conventional MCE framework has no practical optimization procedures like the geometric margin maximization in Support Vector
Machine (SVM). To realize high robustness in a wide range of classification tasks, we derive the geometric margin for a general class of discriminant functions and develop a new
MCE training method that increases the geometric margin value. We demonstrate the effectiveness of the new method by experiments using prototype-based classifiers and clarify
relationships between the new method and such existing methods as SVM.
Keywords: Minimum Classification Error, MCE, margin, geometric margin, robustness

1

まえがき
統計的パターン認識における究極の分類器設計目標は，すべてのパターンに対する最小分類誤り確率状態の達成，
すなわちベイズ誤りの推定である [1, 2, 3]．この実現を目指し，識別学習の研究が盛んに行われ [4, 5, 6, 7, 8]，
識別学習は今やパターン認識研究の主流となるに至った．
中でも，音声などの時系列信号処理の分野で発展した
最小分類誤り（MCE）学習 [4, 5] が，高い分類率を実現する学習法として幅広い分野で利用されている．MCE
は，可変長パターンをも含む多様なパターンに対するベイズ誤り推定を直接的に追求する学習法であり，広範∗ 情報通信研究機構 MASTAR プロジェクト 音声コミュニケーショ
ングループ, 〒 619-0289 京都府相楽郡精華町光台 3-5, tel. 0774-986309, e-mail hideyuki.watanabe@nict.go.jp
Spoken Language Communication Group, MASTAR Project,
National Institute of Information and Communications Technology, 3-5 Hikaridai, Seika-cho, Soraku-gun, Kyoto 619-0289
Japan† 同志社大学大学院 工学研究科 情報工学専攻, 〒 610-0394 京都
府京田辺市多々羅都谷 1-3
Graduate School of Engineering, Doshisha University, 1-3 Tatara
Miyakodani, Kyotanabe City, Kyoto 610-0394 Japan‡ 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所,〒 619-0237 京都府相楽郡精華町光台 2-4
NTT Communication Science Laboratories, NTT Corporation,
2-4 Hikaridai, Seika-cho, Soraku-gun, Kyoto 619-0237 Japanな判別関数に適用可能である．しかし分類頑健性の向上（汎化能力向上）に対しては，従来の MCE 学習は具体的な最適化手続きを持たず，損失関数や判別関数の平滑度の制御 [5, 9] という間接的で不十分な制御機構に頼っている．
頑健性を直接的に表現する測度として，分類決定境界とそれに最も近い学習標本との間の距離，すなわち幾何マージンが挙げられる [7]．実際，主に固定次元ベクトルの標準的な分類手法として知られるサポート・ベク
ター・マシン（SVM）[6, 7] は，この幾何マージンの最大化により頑健性を向上させている．しかし，SVM では幾何マージンの導出が線形判別関数に限られており，
しかも SVM は，特に線形分離不可能という現実的な状況において，最小化標的となる損失関数などがベイズ誤り推定との一貫性を持たず，本来目指すべき分類誤り最小化の意味での学習の最適性が保証されない．
本稿では，線形判別関数に限定されない判別関数の一般形に対する幾何マージンを定式化し，この一般的な幾何マージンを増大させながら MCE 学習を行う新たなア
プローチを提案する．これにより，幅広い分類タスクにおいて，未知標本をも含むすべての標本を高精度に分類

できることが大いに期待される．更に，汎用性の高い分類器であるプロトタイプ型分類器を用いた実験により提dy (x, Λ) > 0 は誤分類を表す．また，!( · ) は，一般に%&! dy (x, Λ) =案法の有効性を示すとともに，提案法と SVM などの従来法との理論的関係を明らかにする．

1%&
1 + exp −ady (x, Λ)(a > 0)(5)などで定義される，Λ に関して微分可能な分類誤り数損
失であり，式 (1) の指示関数 1( · ) の近似表現である．

2

最小分類誤り学習

2.1

決定則を包含する定形化 [4]式 (1) の式 (2) による近似の精度は，式 (3) と (5) の（ψ や a に基づく）関数平滑度によって制御され，原理

簡単のために，固定次元ベクトル・パターンの空間 X

的に MCE 学習は，Λ に関する微分可能性を維持しつつ，に属するパターン x を J 個のクラス（Cj ; j = 1, ..., J ）分類判断全体を関数形式に組み込んだ式 (2) によって理の 1 つに分類する問題を考える．分類器は，調整可能な想的な分類誤りリスクの優れた近似を達成する．結果的

パラメータ集合 Λ から構成され，この調整のために，そに，求めるリスク最小状態に対応する Λ の状態は，Λ をれぞれの帰属クラスが既知である N 個の学習標本の集変数とする式 (2) の勾配探索によって容易に計算するこ合 ΩN = {xn }N
n=1 が与えられているものとする．

とができる．

このとき目指すべき設計目標は，クラス Cj に対する

MCE 学習における関数平滑性は，上記の勾配法を利真の事後確率が pΛ (Cj |x) の形で表現され，最大事後確用するためには定式化上欠くことができないものであ率値を示すクラスに分類するベイズ決定則を利用するこる．しかしそれは，その定式化のための必要を超えて，とを前提として，次式の分類誤り数リスク
J "!
R(Λ) =pΛ (Cy , x)

実質的に学習標本を増やすことによって頑健性の向上の

y=1 # X$
1 pΛ (Cy |x) != maxj pΛ (Cj |x) dx

効果をもたらす [5]．

(1)

2.2

誤分類測度の不十分性

式 (5) より，MCE 学習によって Λ の更新が進むにつを最小化する Λ の推定となる [2]．ここで 1(P) は，命れ，誤分類される標本に対する誤分類測度の値は，正の題 P が真ならば 1，偽ならば 0 を返す指示関数である．

領域から 0 に近づき，やがて負の領域に変更される．正しかし実際には，真の事後確率の関数形式はほとんど知分類の標本に対しては，損失の勾配に応じて，負の領域

り得ることはなく，式 (1) の推定は現実的ではない．事における測度のより小さな値（絶対値のより大きな値）

後確率の関数形式が未知であっても遂行し得る分類誤りの実現に向けて変更される．ここで負値の誤分類測度の数リスクの推定方式が望まれる．

絶対値は，決定の正しさの確信度に対応している．直感

MCE 学習は，上記の要請に対する現実的な解を以下の関係式，

R(Λ) "

的に，負の領域における誤分類測度が分類の正誤の節目に対する余裕すなわちマージンとして振舞うことが分か

J "
!
y=1

X

%
&
p(Cy , x)! dy (x, Λ) dx

る．実際この考え方は，後述する関数マージンの考え方(2)に基づいて提供する [4]．ここで，dy (x, Λ) は誤分類測と共通する．ブースティング [8] や，最近多く提案されている大マージンに基づく手法 [10, 11, 12, 13] も，基本的にこの性質を利用している．

度とよばれ，事後確率 pΛ (Cj |x) に限らない一般の判別関数 gj (x, Λ) から，次式により構成される（ψ > 0）．

1/ψ
!
1
dy (x, Λ) = −gy (x, Λ) + logeψgj (x,Λ) J −1
j,j!=y(3)

なお x ∈ Cy とし，また最大の gj (x, Λ) の値を与えるクラスに x を分類する決定則を考える．式 (3) は，分類判

上記の分析より，MCE 学習は，分類誤り数の最小化
のみならず，分類判断の確かさを表すマージンの増加をも追及しているように見受けられる．しかし，判別関数
値のスケール変換により，判断の確かさに変化がなくとも誤分類測度値が変更される事実などから明らかなように，誤分類測度は判断の確かさ，結果的に頑健性の強度を表すには不十分である．より直接的に頑健性を表現するために，誤分類測度の改良が必要である．

断の正誤をスカラー量の符号によって簡潔に表現した

dy (x, Λ) = −gy (x, Λ) + max gj (x, Λ)
j,j!=y(4)の，Λ に関して微分可能な近似表現である（ψ → ∞で式 (3) が式 (4) に帰着）．dy (x, Λ) < 0 は正分類を，

3

2 種類のマージン
前節で現れたマージンという用語は，線形判別に関する初期の研究から広く用いられている．マージンには関図 2: 各種の損失関数．

図 1: 2 クラス分類の線形判別関数に対する幾何マージン．

してくれるもののように思われる．すなわち，幾何マー数マージンと幾何マージンの 2 種類がある [7]．ここでは，単一判別関数 f (x) による 2 クラス分類を考える．クラス%&
は C1 と C−1 ，分類決定則は x '→ Cj iff j = sgn f (x)である．ここで sgn は，引数が正ならば 1，負ならば −1を返す符号関数である．

今，学習標本 x とその教師クラス信号 Cu が与えられたとき1 ，z = uf (x) とすると，z > 0 は正分類を，

z < 0 は誤分類を表し，更に |z| は分類決定の確信度を表す．この z は関数マージンとよばれ，容易に分かるとおり，2 クラスの場合において誤分類測度の正負を反転させたものに等しい．すなわち関数マージンと誤分類測度

ジンは決定の頑健性を直接的に表している．
式 (6) から分かるとおり，幾何マージンは，関数マージンを重みベクトルのノルム ||w|| で正規化したものと等しい．だが先述のように，関数マージンの変化は頑健性の増加に直結しない．それゆえ SVM では，目標の関数マージンを一定値（例えば 1）に保ちながら ||w|| を減少させる．

4

大幾何マージン最小分類誤り学習

4.1

判別関数の一般形に対する幾何マージン

は，正負の反転を除いて同一である．よって誤分類測度

SVM で導出されている幾何マージンは，2 クラスの線形判別関数に限定されている．また線形分離不可能なと同様，関数マージンは分類判断の強さを表現はしてい現実的状況の場合，SVM では，係数ノルムの最小化をるものの，決定境界と標本分布との相対関係を反映すべ

経由する幾何マージン最小化と，関数マージンに対するき分類判断の確かさを必ずしも的確に表現していない．

ヒンジ損失（図 2 の破線）の最小化が，両最適化に対す分類判断の確かさを直接的に反映する合理的な測度

る組み合わせ係数をデータ依存で決めながら，同時に行を，決定境界とその付近における標本との距離に求める

われる [3]（しばしばソフトマージン SVM とよばれる）．

ことができる．特に分類器の頑健性を議論する際に重要

ここで，MCE が多クラスの広範な判別関数に適用可能となるのは，決定境界とそれに最も近い正分類の学習標であることと，MCE で最小化される式 (5) の平滑化 0-1

本 x◦ との距離，すなわち幾何マージンである．SVM では線形判別関数 f (x) = w $ x + b による 2 クラス分類に対して幾何マージンを導出している2 （図 1）．ここ

損失（図 2 の点線）が，ヒンジ損失と違い，本来最小化されるべき 0-1 損失（図 2 の実線）と強い一貫性を持っていることに注意しよう．したがって，目指すべき新しで w は重みベクトル，b はバイアス項，$ は行列の転置い学習法は，未知標本をも対象にした最小分類誤り状態を表す．x◦ ∈ Cu として，簡単な計算により，幾何マーとの一貫性の実現を基礎として，広範な判別関数に適用

ジンは

r0 =

u(w$ x◦ + b)
||w||

(6)

で与えられる．ただし || · || は L2 ノルムである．学習標

本が母集団から適切に抽出されているならば，この幾何マージンを大きくとることは，同じ母集団から将来（学
習標本の付近に）出現する未知標本の正確な分類を約束
1 教師クラス・インデクスに関して，2 クラスの場合は記号 u を（u = 1, −1），多クラスの場合は記号 y を（y = 1, ..., J ）用いる．
2 カーネル関数を用いた非線形 SVM では，x の替わりにそれを変換した特徴ベクトル φ(x) を用い，特徴空間上での線形判別関数に対する幾何マージンを考える．

可能な MCE 学習に，幾何マージン最大化による分類頑健性の向上の機構を組み込んだものとなることが理解できる．そこでまず我々は，線形判別関数に限定されない判別関数の一般形に対する幾何マージンを導出する．
式 (6) と同様に，一般的な幾何マージン r も，決定境界とそれに最も近い正分類の学習標本 x◦ とのユーク
リッド距離として定義する（図 3）．なお x◦ ∈ Cy とし，また簡単化のため，gj (x, Λ) (j = 1, ..., J) は x と Λ に関して微分可能とする．ここで重要なことに，誤分類測度が 0 となる点の集合である+ ,By (Λ) = x,dy (x, Λ) = 0(7)は，パターンが Cy に分類されるか否かの境界を表す．
実際，ψ → ∞ とおいた式 (4) の場合，By (Λ) がその境界を正確に表現することは容易に確かめられる．そしてψ を有限値に設定することで，By (Λ) は滑らかな（微分可能な）超曲面としてその境界を（任意の精度で）近似する．したがって r は，By (Λ) 上の点と x◦ との距離の最小値として与えられ，以下の制約条件付き最小化問題

図 3: 判別関数の一般形に対する幾何マージン．

を解くことにより求まる．

minimize x ||x − x◦ ||2 subject to dy (x, Λ) = 0(8)

上式の解を x∗ として，r = ||x∗ −x◦ || となる．Lagrange
乗数 λ を導入して，次式の評価関数を考える．

J(x, λ) = ||x − x◦ ||2 + λdy (x, Λ)(9)∗乗数法により，x は次式を満たさなければならない．

2(x∗ − x◦ ) + λ∇x dy (x∗ , Λ) = 0

最も近い境界上の点における関数マージン（あるいは誤分類測度）の勾配のノルムで関数マージンを正規化したものに等しい．
一般の判別関数の場合，x◦ が境界に十分近いと仮定する．これにより，計算の難しい境界上の点 x∗ を x◦ に置き換えることができ，しかも式 (13) の展開におけるo(...) を無視できる．この場合の幾何マージン（の近似値）は以下の扱いやすい形式で与えられる．

(10)dy (x , Λ) = 0

r=

(11)

∗

−dy (x◦ , Λ)||∇x dy (x◦ , Λ)||(17)

なお ∇x は x に関する勾配演算子であり，点 x∗ におい

なお線形判別関数型や後述の実験で扱うプロトタイプ型∇x dy (x∗ , Λ) の λ/2 倍となり，r は次式となる．

消滅するとともに，∇x dy (x, Λ) が x に無関係となるたて ∇x dy (x , Λ) != 0 とする．式 (10) より，x − x は
∗

◦

|λ|
r=
||∇x dy (x∗ , Λ)||
2

∗

(12)

ここで点 x∗ を中心に dy (x, Λ) を Taylor 展開する．

dy (x, Λ) = dy (x , Λ) + ∇x dy (x , Λ) (x − x )%&+o ||x − x∗ ||
∗

∗

$

∗

(13)

なお o(...) は Landau の記号である．このとき式 (11) より dy (x∗ , Λ) = 0，よって式 (13) に x = x◦ を代入して∇x dy (x∗ , Λ)$ (x◦ − x∗ ) = dy (x◦ , Λ) + o(r)(14)

が得られ，更に式 (10) より次式が得られる．

∇x dy (x∗ , Λ)$ (x◦ − x∗ ) =λ||∇x dy (x∗ , Λ)||2
2の分類器の場合，x に関する線形性ゆえに o(...) 成分がめ，パターンと境界との十分な近さは要請されず，x◦ が境界を離れても式 (17) が正確になりたつ3 ．

4.2

MCE 学習への幾何マージン最大化機構の導入

一般に，決定境界に最も近い学習標本の探索も容易ではないので，式 (17) における x◦ は，決定境界付近のいずれかの学習標本を表すとする．この式から分かるとおり，決定境界付近の関数マージン（右辺分子）の増加
および関数マージンあるいは誤分類測度の勾配のノルム（右辺分母）の減少により，幾何マージンが増加する．だが 2.2 で述べたように，関数マージン（誤分類測度）の変化は頑健性の増加に直結しない．このことは，測度の(15)定数倍により測度の勾配のノルムも同じ定数倍となり，上２式を λ について解き，式 (12) に代入することによ

両者の比である幾何マージンが変化しないことからも推り，次式が導かれる．
,,,dy (x◦ , Λ) + o(r),r=||∇x dy (x∗ , Λ)||を増加させるためには，関数マージンの増大のみならず，(16)|dy (x , Λ)| は x に対する関数マージンである．結果的に幾何マージンは，x◦ が境界に十分近い場合，それに◦◦測される．したがって幾何マージン（すなわち頑健性）
誤分類測度の勾配の大きさを拘束する（望むべくは小さくする）必要がある．誤分類測度の入力パターンに関する微分は，パターンの微小変化に対する測度の変化すな
3 ただし誤分類測度として式 (4) を採用した場合．

わち分類決定の変動を表す．よってこの拘束により，決ここで pj は Cj に属するプロトタイプ・ベクトルであ定境界付近の入力パターンの小さな変化に対する分類決り，Cj にプロトタイプが複数ある場合は，x に最も近定の変動が抑えられることとなり，この観点からも頑健いプロトタイプとする．また Λ はすべてのプロトタイ

性の向上が理解される．結局，“少なくとも決定境界付

プの集合である．Cy に属する学習標本 x が与えられた

近における誤分類測度の勾配の大きさを拘束する MCEとする．係数 ψ を ∞ にした式 (4) の誤分類測度は，x学習” が，幾何マージンを大きく保つ MCE 学習であり，に対する best-incorrect クラスを Ci として

未知標本の高精度な分類を実現するであろうことが理論

dy (x, Λ) = ||x − py ||2 − ||x − pi ||2

的に示された．
正則化に倣うならば，λ > 0 を正則化パラメータとし.
て，R(Λ) + λR(Λ)
を Λ に関して最小化すればよいであろう．ここで R(Λ) は式 (2) で近似される分類誤り数リ.
スクであり，R(Λ)
は，XB を決定境界付近のパターンとなり，更に式 (19) の幾何マージンに対応する誤分類
測度はDy (x, Λ) =

集合として

.
R(Λ)
=

J "
!
y=1

p(Cy , x)||∇x dy (x, Λ)||2 dx

(18)

XB

で与えられる．実際，誤分類測度 dy (x, Λ) が分類決定.
則をスカラーで表現していることを考えると，R(Λ)
は分類決定則に対する Tikhonov 型の正則化項 [14] の形(21)||x − py ||2 − ||x − pi ||22||py − pi ||(22)となる．損失関数は，Dy (x, Λ) を引数とした式 (5) の平
滑化 0-1 損失であり，プロトタイプの更新式は，j = y, i
に対して

%
&
pj ← pj − ε!& Dy (x, Λ) ∇pj Dy (x, Λ)(23)

式を成している．しかしこのアプローチは，各最適化要で与えられ（ε > 0 は学習係数），上式における誤分類

素に対する重み付け λ の決定などが発見的な方法に頼ら

測度の微分式は，Cy ，Ci それぞれに対して，ざるを得ず，ベイズ誤り推定との一貫性が失われる危険性が大きい．したがって，幾何マージン最大化を直接的に追求する MCE 学習手続きが望ましい．
そこで，正負を反転させた幾何マージンに対応する

Dy (x, Λ) =dy (x, Λ)||∇x dy (x, Λ)||(19)

が，正分類のときに負値，誤分類のときに正値をとるという，誤分類測度として必要な性質を継承することを利用して，この Dy (x, Λ) を新たな誤分類測度として採用する MCE 学習を提案する．この新しい MCE 学習は，
分類誤り数を減少させるのと同時に，損失が一定以上の傾きを持つ決定境界付近の標本に対して，Dy (x, Λ) を
負方向に大きく更新させる．すなわち本手法は，境界付
近において幾何マージンを直接的に増大させる．

5∇py Dy (x, Λ) =∇pi Dy (x, Λ) =py − xdy · (py − pi )−(24)||py − pi ||2||py − pi ||3dy · (pi − py )x − pi−(25)||py − pi ||2||py − pi ||3で与えられる．ただし dy は式 (21) の従来型の誤分類測度である．
実験には UCI Machine Learning Repository 4 が提供する Glass Identification データセットを用いた．この
データセットは 6 クラス 214 個のガラス標本パターンで構成されており，各ガラス標本の中に含まれる 9 種類の酸化物の含有量が，特徴データとして与えられている．
データセットからある一つのパターンを認識対象として取り除き，残りのパターンを用いて分類器を学習した
後に，取り除いたパターンを認識させるという処理を，比較実験
提案手法は元来，多様な判別関数に対して適用可能で214 個全てのパターンに対して行って認識率を計算した(Leave-One-Out 法)．また，取り除いた一つのパターンを認識対象とするオープン・データ・テストに加えて，あるが，ここでは一例として，プロトタイプとのユーク学習に用いた 213 個のパターンを対象にして認識率を計

リッド距離を判別関数とする分類器を用いた実験により，算するクローズド・データ・テストも同時に行った．ク

提案手法の有効性を確認する．距離と確率との近縁性よ

ローズド・テストの認識率計算は 214 回行われるので，り，この分類器は汎用性が高く，音声認識などで多用さそれらを平均したものを最終的なクローズド・テストのれる隠れマルコフモデル（HMM）などの確率測度型の認識率とした．

判別関数に容易に適用可能である．

提案手法（ここでは幾何マージン法とよぶ）と従来のクラス Cj における判別関数は次式で与えられる．

gj (x, Λ) = −||x − pj ||

2

(20)

MCE 学習法（従来法）との比較実験結果を図 4 および4 http://archive.ics.uci.edu/ml/

以下第 3 位を四捨五入）．どちらの場合も，幾何マージン法におけるオープン・テストの認識率とクローズド・
テストの認識率の相関係数値が最も高くなっていることがわかる．元来，実際の利用場面においてオープン・テ
ストの評価結果を得ることは容易ではなく，それを補うためにもクローズド・テストがオープン・テストの優れた近似となっていることが望まれる．この意味でも，提案手法である幾何マージン法が大きな実用価値を持つことは明らかである．

6
図 4: プロトタイプ数を変化させた場合の認識率．

従来手法との関連
まず線形判別関数 f (x) = w$ x + b による 2 クラス分類（Cu , u = −1, 1）という限定された状況を考える．このとき先述のように，誤分類測度が du (x, Λ) =−u(w$ x + b) で与えられる．そして学習において，最小化対象である式 (2) の右辺における平滑化 0-1 損失関
数 !( · ) をヒンジ型損失関数（図 2 の破線）に置き換え，
更に幾何マージン制御機構として式 (18) の正則化を適用してみよう．この正則化項が（XB が w に大きく影響されないならば）||w||2 の定数倍となることは容易に分かり，この学習はソフトマージン SVM における学習に帰着することがわかる．すなわち，提案手法と SVM の間には以下の違いが存在する．

図 5: 損失の傾きを変化させた場合の認識率．
図 5 に示す．なお従来法は，誤分類測度として従来型の式 (21) を用いた MCE 学習法であり，式 (23) において

Dy (x, Λ) を dy (x, Λ) に置き換えたものである．図 4 は，
式 (5) の損失の傾き係数 a を 10 に固定し，プロトタイ
プ数を変化させた場合の実験結果である．また図 5 は，プロトタイプ数を 8 個に固定し，係数 a の値を変化させた場合の実験結果である．なおプロトタイプ数はクラス間で同一とした．

• 損失関数：提案手法は平滑化 0-1 損失を，SVM はヒンジ型損失を採用．

• 幾何マージンの導出：提案手法は多クラス分類における一般の判別関数に対して，SVM は 2 クラ
ス分類における線形判別関数（もしくは非線形特
徴空間上の線形判別関数）に対して導出．

• 幾何マージンの制御方法：提案手法は幾何マージン
を誤分類測度として用いて直接的に増大化，SVM
は正則化手法を用いて増大化．

図 4 では，幾何マージン法の性能が従来法と比較し最小分類誤り確率状態との一貫性という観点から見るて，クローズド・テストでは低くなっている一方，オーと，明らかに，SVM で使われるヒンジ損失よりも提案

プン・テストでは（プロトタイプ数が 1 個のときを除い手法で使われる平滑化 0-1 損失の方が望ましい．そしてて）安定して高くなっている．これは幾何マージン法の提案手法は SVM と比べて，幾何マージンの適用範囲が未知標本に対する頑健性の高さを実証している．次に図より一般化されているのと同時に，その制御方法も，各5 のオープン・テストでは，係数の値を 5 以上にしたと最適化要素の重み付け決定などを発見的に行わなければ

きに幾何マージン法の性能は従来法に比べて高くなってならない正則化に頼ることなく，直接的に行えることがいる．また，オープン・テストとクローズド・テストのわかる．

実験結果の相関係数を計算してみると，図 4 の実験結果

我々が定式化した一般的な幾何マージンは，[10] の大に関しては，従来法の値は 0.80，幾何マージン法の値はマージン手法および [15] の改良型 LVQ それぞれで定義

0.95 となった．図 5 の実験結果に関しては，従来法の値されているマージンと関係が深い．前者は次式で定めらは 0.48，幾何マージン法の値は 0.86 となった（小数点れる相対的マージン r. の最大化を追求する．

−dy (x, Λ)
r. = minx∈S |gy (x, Λ)|

それを実現する分類器の学習方法を提案した上で，プロ
トタイプ型分類器への応用を例とした実験でその有効性(26)

ここで S は決定境界付近の正しく分類される学習標本の集合である．この r. は有界であり，その最大点を探索することが可能である [10]．また後者は，MCE 学習を通して，次式の正規化されたマージンを増大させる．

−dy (x, Λ)µ=|gy (x, Λ)| + | maxj,j!=y gj (x, Λ)|(27)µ を MCE 学習に組み入れることで，プロトタイプの発散が抑えられることが示されている [15]．なお r.，µ における dy (x, Λ) として，式 (4) を採用する．ここで式 (17)を確かめた．今後は，様々な分類器における幾何マージン増大化の効果を実験により検証する予定である．

謝辞
研究の機会を与えて下さった，情報通信研究機構 MAS-

TAR プロジェクト 中村 哲プロジェクト・リーダーに感謝します．本研究の一部は日本学術振興会 科学研究費補助金 基盤研究 (B) （課題番号：19300064）の援助により行われている．

参考文献と比較すれば分かるとおり，r. および µ はいずれも，一[1] 石井健一郎，上田修功，前田英作，村瀬 洋，わかり誤分類測度の勾配ノルムの拘束を図り，近似的に幾何[2] R.O. Duda, P.E. Hart, and D.G. Stork（尾上守夫

般的幾何マージン r と分母が異なっている．つまり [10]および [15] は，判別関数の大きさを拘束することによりやすいパターン認識，オーム社，東京，1998.

マージンを制御していると考えることができる．

監訳）, パターン識別，新技術コミュニケーション[11] の大マージン HMM 手法は，学習におけるパラメータの発散を抑えるために，HMM 平均ベクトルの差ズ，東京，2001.

に対する制約を課している．平均ベクトルはプロトタイ
プと等価であり，しかもプロトタイプ型分類器の場合における幾何マージンに基づく誤分類測度は式 (22) とな[3] C.M. Bishop（元田 浩，栗田多喜夫，樋口知之，松本裕治，村田 昇 監訳）, パターン認識と機械学習
上・下，シュプリンガー・ジャパン，東京，2007.

る．ここで式 (22) の分母が 2||py − pi || であることから，[4] B.-H. Juang and S. Katagiri, “Discriminative
learning for minimum error classification,” IEEE

こと，すなわちプロトタイプ同士の距離を近づけること

Trans. Signal Processing, vol.40, no.12, pp.30433054, Dec. 1992.

幾何マージンを増加させるためにはこの値を減少させるが必要であるのがわかる．したがって [11] の手法も幾何マージンを制御していると考えられる．

7

おわりに広範な分類課題における頑健性の向上のために，SVMの利点である幾何マージン最大化の概念を MCE 学習に適用することを目指した．そして，線形判別関数に限定されない判別関数の一般形に対する幾何マージンを定式化し，この一般的な幾何マージンを大きくするようなMCE 学習を行う新たな学習アプローチを提案した．
MCE 学習にマージン最大化の機構を取り入れようとした研究は，これまでにもいくつか報告されている[10, 11, 12, 13]．しかしそれらの研究で行われている学習の仕組みは，実際には関数マージンの最大化を目指すものであった．また，分類決定の頑健性を高めるためには関数に何らかの制約を入れる必要があるとの指摘もあるが [9, 14, 16]，そこでは幾何マージン最大化という概念は明確に示されていない．
我々は，頑健性向上のためには関数マージンに替えて
幾何マージンを最大化する必要があることを明確に示し，[5] E. McDermott and S. Katagiri, “A derivation ofminimum classification error from the theoreticalclassification risk using Parzen estimation,” Computer Speech and Language, vol.18, pp.107-122,
April 2004.
[6] V.N. Vapnik, The Nature of Statistical Learning
Theory, Springer-Verlag, New York, 1995.
[7] N. Cristianini and J.Shawe-Taylor（大北 剛 訳），
サポートベクターマシン入門，共立出版，東京，

2005.
[8] Y. Freund and R.E. Schapire, “A decisiontheoretic generalization of on-line learning and an
application to boosting,” J. Comput. Syst. Sci.,
vol.55, no.1, pp.119-139, 1997.
[9] 六井 淳，“認識誤り最小化基準に基づく高速な識別学習法,” 信学論 (D-II)，vol.J87-D-II，no.8，

pp.1555-1564，Aug. 2004.

[10] C. Liu, H. Jiang, and X. Li, “Discriminative training of CDHMMs for maximum relative separation
margin,” Proc. ICASSP, pp.I-101-104, 2005.
[11] H. Jiang, X. Li, and C. Liu, “Large margin hidden Markov models for speech recognition,” IEEE
Trans. Audio, Speech, Lang., Process., vol.14,
no.5, pp.1584-1595, Sept. 2006.
[12] J. Li, M. Yuan, and C.-H. Lee, “Approximate test
risk bound minimization through soft margin estimation,” IEEE Trans. Audio, Speech, Lang., Process., vol.15, no.8, pp.2393-2404, Nov. 2007.
[13] D. Yu, L. Deng, X. He, and A. Acero, “Largemargin minimum classification error training: atheoretical risk minimization perspective,” Computer Speech and Language, vol.22, pp.415-429,
Oct. 2008.
[14] C.M. Bishop, “Training with noise is equivalent to
Tikhonov regularization,” Neural Computation,
vol.7, no.1, pp.108-116, 1995.
[15] 佐藤 敦，山田敬嗣，“新しい誤分類尺度を用いた学習
ベクトル量子化の定式化,” 信学論 (D-II)，vol.J82-

D-II，no.4，pp.650-659，April 1999.
[16] T. Poggio and F. Girosi, “Regularization algorithms for learning that are equivalent to multilayer networks,” Science, vol.247, pp.978-982, Feb.
1990.