Гауссов классификатор

## Гауссовский классификатор

Основная идея — построить классификатор в предположении того, что функция

p
(
x

y
)

{\displaystyle p(x|y) }

 (так называемая **функция правдоподобия**, т.е. распределение объектов при фиксированном ответе

y

{\displaystyle y}

) известна для каждого класса и равна плотности многомерного нормального (гауссовского) распределения:

p
(
x

y
# )
N
(

μ
y

,

Σ
y

# )

1

(
2
π

)

D

det
(

Σ
y

)

exp
⁡

(

−

1
2

(
x
−

μ
y

)
T

Σ
y

−
1

(
x
−

μ
y

)

)

,

{\displaystyle
 p(x|y) = N(\mu\_y, \Sigma\_y) = \frac{1}{\sqrt{(2 \pi) ^ {D} |\det(\Sigma\_y)|}} \exp \left(-\frac{1}{2}(x - \mu\_y) ^ T \Sigma\_y^{-1} (x - \mu\_y)\right),
 }

y
∈
{
1
,
2
,
…
,
C
}
.

{\displaystyle
y \in \{1, 2, \dots, C\}.
}

Σ
y

{\displaystyle \Sigma\_y}

 — матрица ковариации.

μ
y

{\displaystyle \mu\_y }

 — вектор математических ожиданий.

N

{\displaystyle N}

 — число объектов.

D

{\displaystyle D}

 — размерность признакового пространства.

Таким образом, параметрами гауссовского классификатора являются **априорные распределения**

p
(
y
)

{\displaystyle p(y) }

, вектора математических ожиданий

μ
y

{\displaystyle \mu\_y }

 и матрицы ковариации

Σ
y

{\displaystyle \Sigma\_y}

, заданные для каждого класса

y
∈
{
1
,
…
,
C
}

{\displaystyle y \in \{ 1, \dots, C \} }

.

## Оценка параметров (по методу максимального правдоподобия) и их количество

Семинар Соколова, 9 – 10

μ
y

=

1
m

∑

# i
1

m

x
i

{\displaystyle
\mu\_y = \frac{1}{m}\sum\_{i=1}^{m}{x\_i}
}

Σ
y

=

1
m

∑

# i
1

m

(

x
i

−

μ
y

)
(

x
i

−

μ
y

)
T

{\displaystyle
\Sigma\_y = \frac{1}{m}\sum\_{i=1}^{m}{(x\_i - \mu\_y)(x\_i - \mu\_y)^T}
}

m

{\displaystyle m}

 — число объектов, относящихся к классу

y

{\displaystyle y}

C
⋅
D

{\displaystyle C \cdot D}

 параметров для оценки

μ
y

,
y
∈
{
1
,
…
,
C
}

{\displaystyle \mu\_y, y \in
\{1, \dots, C\}}

Note:

μ
y

{\displaystyle \mu\_y }

 — вектор длины

D

{\displaystyle D}

. Всего

C

{\displaystyle C}

 классов

⇒

{\displaystyle \Rightarrow}

C

{\displaystyle C}

 центров

⇒

{\displaystyle \Rightarrow}

C
⋅
D

{\displaystyle C \cdot D}

 параметров.

C
⋅
D
⋅
(
D
1
)

2

{\displaystyle \frac{C \cdot D \cdot(D+1)}{2} }

 параметров для оценки

Σ
y

{\displaystyle \Sigma\_y}

Note:

Σ
y

{\displaystyle \Sigma\_y}

 — симметричная матрица

⇒

{\displaystyle \Rightarrow}

 необходимо задать только

D
⋅
(
D
1
)

2

{\displaystyle \frac{D \cdot (D+1)}{2} }

 параметров. Таких матриц всего

C

{\displaystyle C}

 по количеству классов.

Еще

C

{\displaystyle C}

 параметров потребуется для того, чтобы задать все априорные распределения

p
(
y
)
,
y
∈
{
1
,
…
,
C
}

{\displaystyle p(y), y \in \{1, \dots, C\}}

.

Итого:

C
⋅
D
⋅
(
D
3
)

2

C

{\displaystyle \frac{C \cdot D \cdot (D+3)}{2} + C}

 параметров содержит модель гауссовского классификатора без упрощающих предположений.

## Оценка апостериорной вероятности

Оценим логарифм апостериорной вероятности:

log
⁡

p
(
y

x
)

=
log
⁡

p
(
x

y
)

log
⁡

p
(
y
)

−
log
⁡

p
(
x
)

{\displaystyle \log{p(y|x)} = \log{p(x|y)} + \log{p(y)} - \log{p(x)} }

=
−

1
2

(
x
−

μ
y

)
T

Σ
y

−
1

(
x
−

μ
y

)
−

{\displaystyle = -\frac{1}{2}(x - \mu\_y) ^ T \Sigma\_y^{-1} (x - \mu\_y) - }

1
2

log
⁡

Σ
y

−

D
2

log
⁡

2
π

{\displaystyle \frac{1}{2}\log{|\Sigma\_y|} - \frac{D}{2}\log{2\pi} + }

log
⁡

p
(
y
)

−
log
⁡

p
(
x
)

{\displaystyle \log{p(y)} - \log{p(x)} }

Дискриминантная функция (получаемая из последнего выражения после отбрасывания членов, не зависящих от класса

y

{\displaystyle y}

) имеет вид:

g
y

(
x
# )
log
⁡

p
(
y
)

−

1
2

log
⁡

Σ
y

−

1
2

(
x
−

μ
y

)
T

Σ
y

−
1

(
x
−

μ
y

)

{\displaystyle g\_y(x) = \log{p(y)} - \frac{1}{2}\log{|\Sigma\_y|} - \frac{1}{2}(x - \mu\_y) ^ T \Sigma\_y^{-1} (x - \mu\_y) }

## Снижение числа параметров

Серьезной проблемой гауссовского классификатора является большое число параметров, которые необходимо каким-то образом подбирать.

Есть несколько способов снизить число параметров:

* снизить размерность признакового пространства (например, по методу главных компонент);
* использовать предположение "наивного Байеса" о независимости признаков при условии класса, т.е. о диагональности матриц

Σ
y

{\displaystyle \Sigma\_y}

:

Σ
y

=
d
i
a
g
{

σ

1
y

,
…
,

σ

D
y

}
,
y
∈
{
1
,
…
,
C
}

{\displaystyle \Sigma\_y = diag\{\sigma\_{1y}, \dots, \sigma\_{Dy}\}, y \in \{1, \dots, C\} }

;
* использовать предположение о том, что матрицы ковариации для всех классов пропорциональны единичной:

Σ
y

=

α
y

I

{\displaystyle \Sigma\_y = \alpha\_y\Iota}

;
* использовать предположение о том, что матрицы ковариации для всех классов одинаковы (этот метод при использовании **первого частного случая для байесовского правила минимальной цены** называется линейным дискриминантом Фишера (Linear Discriminant Analysis)):

Σ
1

=
# ⋯

Σ
C

=
Σ

{\displaystyle \Sigma\_1 = \dots = \Sigma\_C = \Sigma }

;
* использовать предположение о том, что матрицы ковариации для всех классов пропорциональны некоторой матрице

Σ

{\displaystyle \Sigma}

:

Σ
y

=

α
y

Σ
,
y
∈
{
1
,
…
,
C
}

{\displaystyle \Sigma\_y = \alpha\_y \Sigma, y \in \{1, \dots, C \} }

.

## Квадратичный дискриминантный анализ (Quadratic Discriminant Analysis (QDA)) и линейный дискриминантный анализ (или линейный дискриминант Фишера) (Linear Discriminant Analysis (LDA))

Получим явный вид разделяющих поверхностей в этих двух случаях.

Для этого приравняем дискриминантные функции двух классов и таким образом получим уравнение поверхности, разделяющей эти два класса.

**Рассмотрим первый частный случай для байесовского правила минимальной цены:**

y
^

(
x
# )
a
r
g

m
a
x

f

{

λ
f

p
(
f

x
)
}

{\displaystyle \hat{y}(x) = arg\underset{f}{max}\{\lambda\_f p(f|x)\} }

.

Тогда дискриминантная функция имеет вид:

g
y

(
x
# )
log
⁡

(

λ
y

p
(
y
)

)
−

1
2

log
⁡

Σ
y

−

1
2

(
x
−

μ
y

)
T

Σ
y

−
1

(
x
−

μ
y

)

{\displaystyle g\_y(x) = \log{(\lambda\_y p(y)}) - \frac{1}{2}\log{|\Sigma\_y|} - \frac{1}{2}(x - \mu\_y) ^ T \Sigma\_y^{-1} (x - \mu\_y) }

### **Квадратичный дискриминантный анализ**

Запишем уравнение поверхности:

log
⁡

(

λ

y
1

p
(

y
1

)
)

−

1
2

log
⁡

Σ

y
1

−

1
2

(
x
−

μ

y
1

)
T

Σ

y
1

−
1

(
x
−

μ

y
1

)

=
log
⁡

(

λ

y
2

p
(

y
2

)
)

−

1
2

log
⁡

Σ

y
2

−

1
2

(
x
−

μ

y
2

)
T

Σ

y
2

−
1

(
x
−

μ

y
2

)

1
2

(

(
x
−

μ

y
2

)
T

Σ

y
2

−
1

(
x
−

μ

y
2

)
−
(
x
−

μ

y
1

)
T

Σ

y
1

−
1

(
x
−

μ

y
1

)

)

log
⁡

(

λ

y
1

p
(

y
1

)

λ

y
2

p
(

y
2

)

)

−

1
2

log
⁡

(

Σ

y
2

Σ

y
1

)

=
0

Отсюда видно, что разделяющая поверхность имеет квадратичный вид относительно

x

{\displaystyle x}

.

### **Линейный дискриминант Фишера**

**Продолжаем рассматривать первый частный случай для байесовского правила минимальной цены:**

y
^

(
x
# )
a
r
g

m
a
x

f

{

λ
f

p
(
f

x
)
}

{\displaystyle \hat{y}(x) = arg\underset{f}{max}\{\lambda\_f p(f|x)\} }

.

Используем предположение о том, что матрицы ковариации для всех классов одинаковы:

Σ
1

=
# ⋯

Σ
C

=
Σ

{\displaystyle \Sigma\_1 = \dots = \Sigma\_C = \Sigma }

.

log
⁡

(

λ

y
1

p
(

y
1

)
)

−

1
2

log
⁡

Σ

−

1
2

(
x
−

μ

y
1

)
T

Σ

−
1

(
x
−

μ

y
1

)

=
log
⁡

(

λ

y
2

p
(

y
2

)
)

−

1
2

log
⁡

Σ

−

1
2

(
x
−

μ

y
2

)
T

Σ

−
1

(
x
−

μ

y
2

)

1
2

(

(
x
−

μ

y
2

)
T

Σ

−
1

(
x
−

μ

y
2

)
−
(
x
−

μ

y
1

)
T

Σ

−
1

(
x
−

μ

y
1

)

)

log
⁡

(

λ

y
1

p
(

y
1

)

λ

y
2

p
(

y
2

)

)

=
0

{\displaystyle \begin{align} \frac{1}{2}\left( (x - \mu\_{y\_2}) ^ T \Sigma^{-1} (x - \mu\_{y\_2}) - (x - \mu\_{y\_1}) ^ T \Sigma^{-1} (x - \mu\_{y\_1}) \right) + \log\left( \frac{\lambda\_{y\_1}p(y\_1)}{\lambda\_{y\_2}p(y\_2)} \right) = 0 \end{align}}

Квадратично зависящие от

x

{\displaystyle x}

 члены в этом случае сократятся, и получим:

1
2

(

x
T

Σ

−
1

(
−

μ

y
2

)
(
−

μ

y
2

)
T

Σ

−
1

x
(
−

μ

y
2

)
T

Σ

−
1

(
−

μ

y
2

)
−

x
T

Σ

−
1

(
−

μ

y
1

)

−
(
−

μ

y
1

)
T

Σ

−
1

x
−
(
−

μ

y
1

)
T

Σ

−
1

(
−

μ

y
1

)
)
log
⁡

(

λ

y
1

p
(

y
1

)

λ

y
2

p
(

y
2

)

)

=
0

{\displaystyle \begin{align} \frac{1}{2}( x ^ T \Sigma^{-1} (-\mu\_{y\_2}) + (-\mu\_{y\_2}) ^ T \Sigma^{-1} x + (-\mu\_{y\_2}) ^ T \Sigma^{-1} (-\mu\_{y\_2}) - x ^ T \Sigma^{-1} (-\mu\_{y\_1})\\ - (-\mu\_{y\_1}) ^ T \Sigma^{-1} x - (-\mu\_{y\_1}) ^ T \Sigma^{-1} (-\mu\_{y\_1})) + \log\left( \frac{\lambda\_{y\_1}p(y\_1)}{\lambda\_{y\_2}p(y\_2)}\right) = 0 \end{align}}

1
2

(

x
T

Σ

−
1

(

μ

y
1

−

μ

y
2

)
(

μ

y
1

−

μ

y
2

)
T

Σ

−
1

x
(

μ

y
2

−

μ

y
1

)
T

Σ

−
1

(

μ

y
2

−

μ

y
1

)
)

log
⁡

(

λ

y
1

p
(

y
1

)

λ

y
2

p
(

y
2

)

)

=
0

{\displaystyle \begin{align} \frac{1}{2} (x^T \Sigma^{-1} (\mu\_{y\_1} - \mu\_{y\_2}) + (\mu\_{y\_1} - \mu\_{y\_2})^T \Sigma^{-1} x + (\mu\_{y\_2} - \mu\_{y\_1})^T \Sigma^{-1} (\mu\_{y\_2} - \mu\_{y\_1}))\\ + \log\left( \frac{\lambda\_{y\_1}p(y\_1)}{\lambda\_{y\_2}p(y\_2)}\right) = 0 \end{align}}

Отсюда видно, что разделяющая поверхность имеет линейный вид относительно

x

{\displaystyle x}

.

## Практическое применение

* "Наивный Байес":

Σ
1

,
.
.
.
,

Σ
C

{\displaystyle \Sigma\_1, ..., \Sigma\_C}

 являются диагональными.
* Метод главных компонент (PCA).
* Пропорциональность матриц ковариаций:

Σ
1

=

α
1

Σ
,
.
.
.
,

Σ
C

=

α
C

Σ

{\displaystyle \Sigma\_1 = \alpha\_1\Sigma, ..., \Sigma\_C = \alpha\_C\Sigma}

.
* Линейный дискриминантный анализ Фишера:

Σ
1

=
.
.
# .

Σ
C

{\displaystyle \Sigma\_1 = ... = \Sigma\_C}

.

## Ссылки

Quadratic discriminant analysis, слайды 2-16

Лекции Китова, слайды 14-21