特集「統計的機械学習」［研究ノート］

統計数理（2010）
第 58 巻 第 2 号 157–166
c 2010 統計数理研究所


2 クラス判別器の組み合せによる多クラス判別
統計モデルとパラメータ推定
池田 思朗

†

（受付 2009 年 12 月 25 日；改訂 2010 年 1 月 19 日；採択 3 月 15 日）

要旨

機械学習の分野では，2 クラス判別器を組み合せて多クラスの判別器を作る様々な試みがなされている． Error Correcting Output Codes（ECOC）と呼ばれる方法が頻繁に用いられているが，それぞれの 2 クラス判別器が軟判定を返す場合には ECOC の他にも Bradley-Terry（BT）モデルを用いる方法が提案されている．本稿ではこの BT モデルを用いる組み合せ法を統計モデルとして考え，既存の方法の改善法のひとつを示す．
キーワード： Bradley-Terry モデル，多クラス判別，最尤推定．
1.

はじめに

機械学習の分野では以前より 2 クラス判別器を組み合せ，多クラス判別を行なう試みがなされている（Dietterich and Bakiri, 1995）．2 クラス判別器を組み合せる理由のひとつは，SupportVector Machine（SVM（）Boser et al., 1992）のように性能の良い 2 クラス判別のための手法が提案されていることである．ただし，多クラスへの拡張は簡単ではない．また，別の理由として，クラスの数が非常に多い場合，全てのデータを用いてパラメータ推定を行なうよりも，2 クラスに限定して学習する 2 クラス判別器を数多く構成する方が効率が良いことも挙げられる．
2 クラス判別器を組み合せる手法として提案され，広く用いられているのは ECOC による多クラス判別器の構成法（Dietterich and Bakiri, 1995; Allwein et al., 2000）
である．この手法は簡単であり，さまざまな拡張法が報告されている．一方，これとは別に BT モデル（Bradleyを用いた方法が提案されている（Hastie and Tibshirani, 1998; Zadrozny, 2002）．
and Terry, 1952）
さらに Huang らは BT モデルを拡張し，generalized Bradley-Terry（GBT）モデルを提案した（Huang et al., 2006）．様々な提案はされているが，多くの手法に関する解析は，数値実験を通じた結果の比較にとどまっている．あるいは，個々の 2 クラス判別器の出力にある種の統計性を仮定した議論を行なっている場合があるが，その仮定を正当化することは困難である．
本稿では特に GBT モデルに注目し，統計モデルとしてとらえ，パラメータの推定法を提案する．その過程で ECOC モデルと GBT モデルを用いる方法の関係についても議論する．
2.

2 クラス判別器と ECOC 法

本稿では K クラスの判別問題を考える (K > 2)．特徴ベクトルを x ∈ X ，クラスラベルをy ∈ {1, . . . , K} とおく．多クラス判別の問題は x からクラスラベル y を予測する判別器を構成†

統計数理研究所：〒190–8562 東京都立川市緑町 10–3

統計数理158

第 58 巻第 2 号 2010することである．ただし推定のために N 個のサンプル (x1 , y1 ), . . . , (xN , yN ) が与えられているとする．その際，2 クラス判別器を組み合せて多クラス判別器を構成することを考える．まず，2 クラス判別器を定義する．
2.1 2 クラス判別器
R 組のクラスラベルの部分集合 Cr+ ，Cr− を次のように定義する．
Cr+ , Cr− ⊂ {1, . . . , K}, Cr+ , Cr− = ∅, Cr+ ∩ Cr− = ∅,Cr = Cr+ ∪ Cr− , r = 1, . . . , R.

それぞれの 2 クラス判別器は x が Cr+ のクラスか Cr− のクラスに属するかを判別し，軟判定（ここでの軟判定は，各クラスに属する確率値を返す判定のことを示す．これに対してひとつのクラスだけを選ぶ判定は硬判定と呼ぶ）の結果を返す．かりに |Cr+ | = |Cr− | = 1 であるならば+−1“1-vs.-1” 判別器と呼ばれ，|Cr | = 1，|Cr | = K − 1 ならば “1-vs.-the rest” 判別器と呼ばれる．
それぞれの判別器は軟判定を行なうとする．すなわち r 番目の 2 クラス判別器は qr (x) を返す．これは p(y∈Cr+ |y∈Cr , x) を推論したものである．なお，1 − qr (x) は p(y∈Cr− |y∈Cr , x) を推論したものに相当する．以下では，各 2 クラス判別器がパラメータ ηr = (ηr1 , . . . , ηrp )T を持ち，η r で微分可能とし qr (x; ηr ) と書く．さらに次の性質を仮定する．
0 < qr (x; η r ) < 1,∀x ∈ X .

例えば古くから広く用いられているロジスティック回帰（Hosmer and Lemeshow, 2000）はこの条件を満たす．
2.2 ECOC に基づく多クラス判別器と統計モデル
ECOC に基づく多クラス判別器の構成は広く用いられている手法である．以下で簡単に説明する．まず，行列 M ∈ {−1, 0, +1}K×R を以下のように定義する（Allwein et al., 2000）．
⎧+⎪⎨ +1, k ∈ Cr
(2.1)
mkr = −1, k ∈ Cr−⎪⎩0, k ∈/ Cr .

これが符号行列と呼ばれたことが ECOC の名前の由来である．x が観測されたとき，2 クラス判別器 qr (x; ηr )，(r = 1, . . . , R) の出力を組み合せ，以下のように多クラスのクラスラベルy ∈ {1, . . . , K} の判別を行なう．
 R
(2.2)
ŷ = argmax
mkr qr (x; η r ) .
kr=1(2.2) 式に定義された ECOC の判別方法を拡張して確率 p(y|x) の推論を行なうことを考えよう．例えば任意の正値を取る単調増加関数 g(·) をとり，次のように確率を定義すれば
 R
gmyr qr (x; η r ), y ∈ {1, . . . , K}, {η r } = {η 1 , . . . , η R } .
(2.3) pECOC (y|x; {η r }) = K
r=1R
g
k=1
r=1 mkr qr (x; η r )判別結果は ŷ = argmaxk pECOC (k|x; {η r }) となる．関数 g(·) としては様々なものを考えることができるが，特に exp(·) ととれば，この関数は多項ロジスティック回帰モデルとなる．同様な解釈に基づく ECOC の拡張は既に提案されており，ここでは深くは触れない（Crammer and Singer, 2002）．
3.

GBT モデル

1-vs.-1 判別器を組み合せて多クラス判別器を構成する方法として BT モデルを用いる方法が2 クラス判別器の組み合せによる多クラス判別統計モデルとパラメータ推定

159

Hastie and Tibshirani（1998）
によって提案された．まず，BT モデル（Bradley and Terry, 1952）について説明し，それを用いてどのように多クラス判別器を構成するかを説明する．
3.1 BT モデル
多数のプレーヤーが 1 対 1 の試合を数多く行なったとき，それぞれのプレーヤーのランク付けをする問題へのひとつのアプローチとして BT モデルの説明をする．まず K 人のプレーヤーがいると仮定する．それぞれのプレーヤーは別のプレーヤーと 1 対 1 で何らかの勝負をする．テニスのようなスポーツでもチェスのようなボードゲームでもよい．そして対戦の組み合せを変えた勝負の結果が数多く得られたとする．
BT モデルでは，プレーヤー i は pi という正の値を持っていると仮定し，あるプレーヤー kが別のプレーヤー l に次の確率で勝つと仮定する．
P (k beats l) =pk, pk > 0 (k = 1, . . . , K) .
pk + plこれは全ての pk を定数倍しても変わらないので k pk = 1 と規格化する．何回かのゲームの結果が得られたとき，プレーヤー k が別のプレーヤー l に勝った割り合いを次のように rkl と定義する．
(3.1)

nkl = #(games between k and l), rkl =#(k beats l).
nkl

簡単のために引き分けはないものとしよう．すなわち rkl + rlk = 1 である．次の対数尤度を考える．
(3.2)

F (p) =

nkl rkl ln

k<lpk
pl+ (1 − rkl ) ln
pk + plpk + pl.

パラメータ p = (p1 , . . . , pK ) に関する最尤推定は以下のように定義できる．
p̂ = argmax F (p),subj. topKp̂k = 1, p̂k > 0 .

k=1

この結果得られる p̂ の各成分は各プレーヤーの強さを表していると考え，各プレーヤーのランク付けを行なう． F (p) の最大化の計算は一般にそれほど難しくない（Hunter, 2004）．
3.2 BT モデルによる多クラス判別器の構成
2 クラス判別器を組み合せる際に BT モデルを用いるには BT モデルにおける（3.1）式の rklを 1-vs.-1 判別器の出力 qr (x; ηr ) に変更し，nkl = 1 と置く，すなわち（3.2）式の尤度に対応する量は以下のように定義される．
(3.3)

FBT (p, x, {ηr }) =Rqr (x; η r ) lnr=1

p kr
plr
+ (1 − qr (x; η r )) ln
pkr +plr
pkr +plr,

ただし kr はそれぞれの Cr+ のクラス，lr は Cr− のクラスである．BT モデルを用いた多クラスの判別器では FBT (p, x, {η r }) を最大にする p̂k が p(y|x) の推定値だと考える．
pBT (y|x; {η r })=p̂y , p̂=(p̂1 , . . . , p̂K )= argmax FBT (p, x, {η r }),p

この結果を用いて，推論や判別を行なう．

subj. toKk=1

p̂k = 1, p̂k > 0 .

統計数理

160

第 58 巻

第 2 号 2010

3.3 GBT モデルによる多クラス判別器の構成と統計モデル
上記の手法は 1-vs.-1 判別器のみならず，任意の判別器の組み合せに拡張可能である（Zadrozny,（3.3）式の関数 FBT (p, x, {η r }) を次の FGBT (p, x, {ηr }) へ
2002; Huang et al., 2006）．その際，拡張する．
FGBT (p, x, {η r }) =(3.4)

Rk∈Cr+qr (x; η r ) ln

pkl∈Cr pl

r=1+ 1 − qr (x; ηr ) lnk∈Cr−pkl∈Cr pl.

pGBT (y|x; {η r }) = p̂y , p̂=(p̂1 , . . . , p̂K )= argmax FGBT (p, x, {η r }) ,p

subj. toKp̂k = 1, p̂k > 0 .

k=1

クラス集合 {Cr+ } と {Cr− } の選び方によっては，FGBT を最大にする p が複数ある可能性がある．
FGBT が唯一の最大値を持つ十分条件は Huang らによって調べられている（Huang et al., 2006）．
その中で，全ての 1-vs.-1 判別器を組み合せる場合 と全ての 1-vs.-the rest 判別器を組み合せる場合 には唯一の極大点を持ち，それが最大値を与えることが示された．本稿では簡単のため BT モデルの場合を扱うが，GBT モデルが唯一の極大点を持つ場合への拡張は簡単である．
BT モデル，あるいは GBT モデルを用いる場合，どのようにして FGBT (p, x, {ηr }) の最大値を計算するかが問題となる．複数のアルゴリズムが提案されている（Hunter, 2004; Huang et al.,
．どのアルゴリズムを用いてもよいが，本稿ではこのうちのひとつで GBT モデルへの拡2006）
張が容易である MM（minorization-maximization）アルゴリズム（Hunter, 2004）を用いた．
3.4 GBT モデルと ECOC 法の関係について
BT モデルでは（3.2）
式が対数尤度関数として導かれた．この関数の最大化によって得られるパラメータは最尤推定量であり，最尤推定の観点から（3.2）
式の関数は重要である．しかしながら，多クラス判別器を作る際の（3.4）式の関数は（3.2）式の関数と類似しているが，統計的観点からはこの関数を用いる積極的な理由は見出せない．
第一に qr (x; ηr ) は試合の結果ではない．また，qr (x; η r ) は学習の段階では p(y∈Cr+ |y∈Cr , x)の推論として得られたものである．にもかかわらず，判別の際には y ∈C/ r だと思われる x に対する qr (x; η r ) の値を用いるのである．したがって，GBT モデルから導かれた尤度関数 FGBTを多クラス判別に用いる際には，これは単に {qr } と p とを結びつけるための関数だととらえるべきだろう．この際 p の関数 F に要求される性質は p に関して唯一の解を持ち，それが容易に計算できることである．
このような関数は様々なものがある．例えば，（2.2）式の関数 g(·) を用いて，FECOC (p, x, {η r }) =gkR
mkr qr (x; ηr ) ln pk

r=1とおき，pECOC (y|x; {ηr })=p̂y , p̂=(p̂1 , . . . , p̂K )= argmax FECOC (p, x, {η r }),psubj. toKp̂k = 1, p̂k > 0k=1という問題を考えると，この結果は（2.3）式の pECOC (y|x; {η r }) と一致していることが簡単にわかる． BT モデルと GBT モデルは ECOC とは別のモデルだが，その差は qr と p の間を結ぶ非線形関数の差が問題であり，上のように定式化できる．

2 クラス判別器の組み合せによる多クラス判別統計モデルとパラメータ推定

161

他にも F の拡張は可能である．
（3.3）
式は Kullback-Leibler ダイバージェンスを用いて表現できる．Ikeda（2006）
ではこれを甘利によって定義された α ダイバージェンス（Amari, 1985）
へ拡張した場合についての報告がされている．
4.

BT モデルのパラメータ推定

4.1 パラメータ推定
BT モデルの成り立ちからすると，2 クラス判別器は次の確率を与えることが目的である．
qr (x; η r ) = p(y ∈ Cr+ |y ∈ Cr , x) .

実際に，qr (x; ηr ) のパラメータ η r は与えられたサンプルのうち y ∈ Cr であるものを集め，そのサンプルに対して推定を行なうことになる．したがって qr (x; η r ) の訓練用の入力 x はp(x|y ∈ Cr ) にしたがう．一方，異なるクラス，すなわち y ∈/ Cr となる確率が高い x に関しては qr (x; ηr ) の返す確率は正確な推論ではないことが予想できる．多クラス判別の際には全てのクラスに対する x の分布 p(x) に対して qr (x; ηr ) の返す値を用いるわけだから，正確な推論でない場合にもその値を用いることになる．
多クラス判別の本来の目的は p(y|x) の推論である．モデルは pBT (y|x; {η r }) である．それならば，{η r } の推定を pBT (y|x; {η r }) の最尤推定として求める方が自然だ．尤度関数は次の通りである．
L({η r }) =ln pBT (yt |xt ; {η r }) .
t

L({η r }) は間接的に {η r } の関数となっているが， pBT (yt |xt ; {η r }) が陽な関数ではないため，
η r に関する最適化は難しそうに見える．以下では，L({η r }) の η r による微分をいかに計算するかを示す．微分が求まったならば勾配法によって η r に関する最尤推定を求める．
ここでは 1-vs.-1 判別器すなわち BT モデルを用いることを考える．一般の判別器の組み合せ（GBT モデル）への拡張は難しくない．まず，x を固定して，次の記号を用いることにする．
pk = pBT (k|x; {η r }), {k} = Cr+ , {l} = Cr− ,qkl = qr (x; η r ), qlk = 1 − qkl .

式で定義された FBT の最大を与えるベクトルであること{pk } は k pk =1 の条件の基で（3.3）
から，次の関係が成り立つ．
∂pk FBT + λ 1 −(4.1)

pk= 0,k qkl1= λ, k = 1, . . . , K ,−pk
pk + pll=k

ここで λ はラグランジュ未定定数である．pk を両辺に乗じ，k について和をとると

pkqkl −
= λ = 0.
pk + plk l=k
したがって λ = 0 となり，（4.1）式から次の K 本の方程式が得られる．
 pk

(4.2)
=qkl , k = 1, . . . , K .
pk + pll=kl=k

統計数理

162

第 58 巻

第 2 号 2010

ここで（4.2）式を ηr で微分する．簡単のため ηr を 1 次元とするが，多次元への拡張は簡単である．もし {k, l} = Cr ならば右辺は ∂ηr qkl = 0 となる．δr (k, l) は {k, l} = Cr ならば 1 を，そうでなければ 0 を返す関数とする．
（4.2）式は次のようになる．
pk pl(4.3)(∂ηr lk − ∂ηr ll ) = δr (k, l)∂ηr qkl , k = 1, . . . , K.
(pk + pl )2l=k
ここで lk = ln pk とした．ここでの目的は対数尤度の微分，すなわち ∂ηr lk を求めることである．これは（4.3）式の線形方程式を解けば得られることになる．
A と ∂ηr q とをそれぞれ次のような K × K 行列，K 次元のベクトルとして定める．
⎧pk pl, k=l⎪⎨(p+ pl )2k
A ={akl }, akl = l =k p pk l⎪⎩ −, k = l ,(pk + pl )2k∨l∨∂ηr q = (. . . , 0, (∂ηr qkl ), 0, . . . , 0, (∂ηr qlk ), 0, . . . )T .

ここで ∂ηr q は k 番目と l 番目の成分のみ値を持ち，他は 0 である．
（4.3）式の K 本の方程式は以下のようにまとめることができる．
⎛⎞∂ηr l1⎜ . ⎟⎟A⎜⎝ .. ⎠ = ∂ηr q .
∂ηr lK
残念ながらこの連立線形方程式は A が正則でないために解を求められない．このことは K 次
元の 1 を要素とする行列 1 = (1, . . . , 1)T を乗じてみればすぐにわかる．
行列 A が縮退する理由は FBT が p の定数倍に関して不変となることによる．そこで，A のうち 1 行を k pk = 1 から導かれる次の方程式で置き換えれば，新たに定義される行列 A は正則となるため，解を求めることが簡単にできる．
pk ∂ηr lk = 0 .
k

行列 A とベクトル ∂ηr q は次のように定義される．
akl , 1 ≤ k ≤ K − 1

A = {akl }, akl =(4.4)
pl ,k = K,
(∂ηr q)k , 1 ≤ k ≤ K − 1(∂ηr q  )k =(4.5)
0,k = K,
連立 1 次方程式は以下のようにまとめられる．
⎛⎞∂ηr l1⎜ . ⎟
⎟(4.6)
A ⎜⎝ .. ⎠ = ∂ηr q .
∂ηr lK
この連立 1 次方程式は A−1 を求めれば簡単に解ける．こうして ∂ηr lk = ∂ηr log pBT (k|x; {η r })を求めることができる．
最尤推定を求める手順（1） qr (x; ηr ) のパラメータ {η r } を初期化する．

2 クラス判別器の組み合せによる多クラス判別統計モデルとパラメータ推定

163（2） For t = 1, . . . , N ，（a）（3.3）式を解いて各サンプルに対して以下の確率を求める．
p̂k = pBT (k|xt ; {ηr }), k = 1, . . . , K.

（b） {p̂k } を用いて（4.4）式の A とその逆行列 A−1 を求める．さらに A−1 の yt 番目の行を bT とする．
（c） それぞれのパラメータに対して（4.5）式の ∂ηr q  を求める．そして b を用いて次のようにして尤度の微分を求める．
∂ηr ln p(yt |xt ; {η r }) = b · (∂ηr q  ).

(4.7)

（3）（4.7）式を全ての t について求め，和をとる．その結果が尤度関数の ηr による微分となる．
∂ηr L({η r }) =∂ηr ln p(yt |xt ; {ηr }) .
t（4） 単純な勾配法によって ηr を更新する．
ηrnew = ηrold + µ∂ηr L({η oldr }),(4.8)

ここで µ は小さな正数である．
4.2 数値実験
ここではパラメータ推定を行なうことによる効果を，簡単な数値実験によって示す． まず，3 クラスの判別のためのデータを図 1 に示すように生成した．図中の曲線は最適な判別面を示している． 3 つのうちひとつのクラスのデータは 2 つの領域に分れている．この判別を 1-vs.-1判別器を用いて BT モデルによって組み合せて行なうことを考える．
まず，3 つの考えられる 1-vs.-1 判別器をロジスティック回帰によってあらかじめ構成した．BT モデルによって組み合せたときの判別境界も図に示す（図 2，左）．このときの（図 2，右）
判別境界は直線となっていることがわかる．
提案した方法によってパラメータを学習した結果を図 3 に示す．それぞれの 1-vs.-1 判別器は学習前とは変化していることがわかる（図 3，右）．これを組み合せた判別境界も学習前とは変化している（図 3，左）．この判別境界についてもパラメータ推定をする前に比べて変化している．学習以前は直線であった判別境界に対して，新たに得られた判別境界は直線ではなく曲線となっていることが観察できる．
5.

まとめ

2 クラス判別器を組み合せて多クラス判別器を構成する方法は，実用上効果的な手法であり，今後の発展が期待されている．多くの効率的なアルゴリズムが提案され，それらの計算量や数値実験を通じて性能が調べられている．数値的には有効性が確かめられている一方，それらの間での理論的な比較は十分ではない．
本稿では，これらの手法を統計モデルの推定の問題ととらえ，比較することが第一の目的であった．その結果，ECOC と BT モデルに基づく手法の間の関係が明らかになった．また，個々の 2 クラス判別器のパラメータ推定を全体の尤度関数から導き，BT モデルであっても，パラメータの推定が可能であることを示した．通常，2 クラス判別器を組み合せる際には各判別器のパラメータは固定されていることが多いが，本論文の手法を用いれば，パラメータの推定をすることで，全体の判別の精度を上げられることが示された．

統計数理

164

図 1.

第 58 巻

第 2 号 2010

3 クラスの判別のためのデータと，教師分布に基づく判別境界．

図 2.

個々にパラメータ推定をしたロジスティック回帰モデル（右）とそれらを BT モデルによって組み合せた 3 クラス判別器（左）．図中の ◦，，× で示した点は図 1 に示した 3クラスの判別のためのデータの再掲である．

図 3.

提案手法によってパラメータ推定をしたロジスティック回帰モデル（右）とそれらを BTモデルによって組み合せた 3 クラス判別器（左）．図中の ◦，，× で示した点は図 1 に示した 3 クラスの判別のためのデータの再掲である．

2 クラス判別器の組み合せによる多クラス判別統計モデルとパラメータ推定

謝165

辞

論文改訂にあたり査読者から貴重なご意見を頂いた．また，本研究を行なうにあたり 2007 年度まで大学院生として在籍した白石友一君との議論が大変有益であった．ここに記し感謝する．
なお，本論文は科学研究費補助金（研究課題番号：18079013）の研究成果に基づくものである．

参 考 文 献Allwein, E. L., Schapire, R. E. and Singer, Y.（2000）. Reducing multiclass to binary: A unifying
approach for margin classifiers, Journal of Machine Learning Research, 1, 113–141.
. Diﬀerential-geometrical Methods in Statistics, Lecture Notes in Statistics, Vol. 28,Amari, S.（1985）
Springer-Verlag, Berlin, Germany.
. A training algorithm for optimal margin classifiers,Boser, B. E., Guyon, I. and Vapnik, V.（1992）
COLT, 144–152.
Bradley, R. A. and Terry, M. E.（1952）. Rank analysis of incomplete block designs: The method of
paired comparisons, Biometrika, 39, 324–345.
Crammer, K. and Singer, Y.（2002）. On the learnability and design of output codes for multiclassproblems, Machine Learning, 47, 201–233.
. Solving multiclass learning problems via error-correcting
Dietterich, T. G. and Bakiri, G.（1995）
output codes, Journal of Artiﬁcial Intelligence Research, 2, 263–286.
. Classification by pairwise coupling, The Annals of Statistics,Hastie, T. and Tibshirani, R.（1998）
26, 451–471.
Hosmer, D. W. and Lemeshow, S.（2000）. Applied Logistic Regression, Wiley Series in Probability
and Statistics, 2nd ed., Wiley-Interscience Publication, New York.
. Generalized Bradley-Terry models and multi-class
Huang, T.-K., Weng, R. C. and Lin, C.-J.（2006）
probability estimates, Journal of Machine Learning Research, 7, 85–115.
. MM algorithms for generalized Bradley-Terry models, The Annals of Statistics,Hunter, D. R.（2004）
32, 384–406.
. Learning binary classifiers for multi-class problem, Research Memorandum, No.
Ikeda, S.（2006）
1010, The Institute of Statistical Mathematics, Tokyo, http://www.ism.ac.jp/editsec/resmemo-e.html.
Zadrozny, B.（2002）. Reducing multiclass to binary by coupling probability estimates, Advances in
Neural Information Processing Systems, 14, 1041–1048.

166

Proceedings of the Institute of Statistical Mathematics Vol. 58, No. 2, 157–166(2010)

Combining Binary Machines for Multi-class: Statistical Model andParameter Estimation
Shiro Ikeda
The Institute of Statistical Mathematics

Combining binary machines for multi-class classification problems is a popular idea,
and many related methods have been proposed. One of the most popular methods isto use the error correcting output codes (ECOC), while another interesting idea is touse the Bradley-Terry (BT) model. In this paper, these methods are reviewed from astatistical model based viewpoint. As a result, a common framework will be given andnatural extensions are derived.

Key words: Bradley-Terry model, multi-class classification, maximum likelihood estimation.