Задача классификации

## Постановки задач

* Метод K ближайших соседей

```

 X
 =
 (

 x
 i

 ,

 y
 i

 )

 i
 =
 1

 l

 ⊂
 X
 ,

 Y
 ∈

 1
 …
 C

 {\displaystyle X = (x\_i, y\_i)^l\_{i=1} \subset X, ~~ Y \in {1 \ldots C}}

 ρ
 :
 X
 ×
 X
 →
 [
 0
 ,
 ∞
 )

 {\displaystyle \rho: X \times X \to [0, +\infty)}

 Требуется классифицировать объект

 u
 ∈
 X

 {\displaystyle u \in X}

 Упорядочим объекты из обучающей выборки относительно

 u

 {\displaystyle u}

 ρ
 (
 x
 ,

 x

 u

 1

 )
 <=
 ρ
 (
 x
 ,

 x

 u

 2

 )
 <=
 …
 <=
 ρ
 (
 x
 ,

 x

 u

 l

 )

 {\displaystyle \rho(x, x^1\_{u}) <= \rho(x, x^2\_{u}) <= \ldots <= \rho(x, x^l\_{u}) }

 a
 (
 u
 ,

 X
 l

 ,
 K
 )
 =

 a
 r
 g

 max

 y
 ∈
 Y

 ∑

 i
 =
 1

 K

 w
 i

 [

 y
 u
 i

 =
 y
 ]

 {\displaystyle a(u, X^l, K) = \mathrm{arg}\max\_{y \in Y} \sum^K\_{i=1} {w\_i [y^i\_u = y]}}

  Метод ближайших соседей (kNN)

```

* Логистическая регрессия с L1, L2 регуляризацией

```

 X
 =
 (

 x
 i

 ,

 y
 i

 )

 i
 =
 1

 l

 ⊂
 X
 ,

 Y
 ∈

 1
 ,
 −
 1

 {\displaystyle X = (x\_i, y\_i)^l\_{i=1} \subset X, ~~ Y \in {+1, -1}}

 a
 (
 X
 ,
 w
 )
 =
 s
 i
 g
 n
 <
 x
 ,
 w
 >

 {\displaystyle a(X, w) = sign<x, w>}

 L2 регуляризация:

 Q
 (
 w
 )
 =

 ∑

 i
 =
 1

 l

 l
 o
 g
 (
 1
 exp
 ⁡
 (
 −
 <
 2
 ,

 x
 i

 >

 y
 i

 )
 )
 τ

 ∑

 j
 =
 1

 l

 w
 j
 2

 →

 min

 w

 {\displaystyle Q(w) = \sum^l\_{i=1} log(1 + \exp(-<2, x\_i>y\_i)) + \tau\sum^l\_{j=1}w^2\_j \to \min\_{w} }

 L1 регуляризация:

 Q
 (
 w
 )
 =

 ∑

 i
 =
 1

 l

 l
 o
 g
 (
 1
 exp
 ⁡
 (
 −
 <
 2
 ,

 x
 i

 >

 y
 i

 )
 )
 τ

 ∑

 j
 =
 1

 l

 w
 j

 →

 min

 w

 {\displaystyle Q(w) = \sum^l\_{i=1} log(1 + \exp(-<2, x\_i>y\_i)) + \tau\sum^l\_{j=1}|w\_j| \to \min\_{w} }

 Логистическая регрессия

```

* Дерево решений

```
 Бинарное решающее дерево – алгоритм классификации, задающийся бинарным деревом:

```

```

 ∀
 v
 ∈

 V

 i
 n
 t
 e
 r
 n
 a
 l

 →

 β
 v

 :

 X
 →

 0
 ,
 1

 ,

 β
 v

 ∈

 B

 {\displaystyle \forall v \in V\_{internal} \to \beta\_v: ~ X \to {0, 1}, \beta\_v \in \Beta}

 ∀
 v
 ∈

 V

 l
 e
 a
 f

 →

 c
 v

 ∈
 Y

 {\displaystyle \forall v \in V\_{leaf} \to c\_v \in Y}

Решающее дерево (Decision tree)

```

* Метод опорных векторов

```
 Двойственная задача

 S
 V
 M
 :

 {\displaystyle SVM:}

 {

 min

 λ

 −

 ∑

 i
 =
 1

 l

 λ
 i

 1
 2

 ∑

 i
 ,
 j
 =
 1

 l

 λ
 i

 λ
 j

 y
 i

 y
 j

 <

 x
 i

 ,

 x
 j

 >

 ∑

 i
 =
 1

 l

 λ
 i

 y
 i

 =
 0

 0
 ≤

 λ
 i

 ≤
 C

 {\displaystyle
 \begin{cases}
 \min\_{\lambda}-\sum^{l}\_{i=1}\lambda\_i + \frac{1}{2}\sum^{l}\_{i, j = 1}\lambda\_i\lambda\_j y\_i y\_j<x\_i, x\_j> \\
 \sum^l\_{i=1}\lambda\_i y\_i = 0 \\
 0 \leq \lambda\_i \leq C
 \end{cases}
 }

 Численное решение:

 {

 w
 =

 ∑

 i
 =
 1

 l

 λ
 i

 y
 i

 x
 i

 w
 0

 =

 y
 i

 −

 ∑

 i
 =
 1

 l

 λ
 i

 y
 i

 <

 x
 i

 ,

 x
 j

 >
 ,

 λ
 j

 >
 0
 ,

 M
 j

 =
 1

 a
 (
 x
 )
 =
 s
 i
 g
 n
 (

 ∑

 i
 =
 1

 l

 λ
 i

 y
 i

 <

 x
 i

 ,
 x
 >

 w
 0

 )

 {\displaystyle
 \begin{cases}
 w = \sum^{l}\_{i=1}\lambda\_i y\_i x\_i \\
 w\_0 = y\_i - \sum^l\_{i=1} \lambda\_i y\_i <x\_i, x\_j>, ~ \lambda\_j > 0, M\_j = 1 \\
 a(x) = sign(\sum^{l}\_{i=1}\lambda\_i y\_i <x\_i, x> + w\_0)
 \end{cases}
 }

 Двойственная задача: нелинейное обобщение

 S
 V
 M
 (
 R
 B
 F
 )
 :

 {\displaystyle SVM(RBF):}

 <
 x
 ,

 x

 ′

 >→
 K
 (
 x
 ,

 x

 ′

 )

 {\displaystyle <x,x^{'}>\to K(x,x^{'})}

 K
 (
 x
 ,

 x

 ′

 )
 =
 exp
 ⁡
 (
 −
 γ

 x
 −

 x

 ′

 2

 )

 Метод опорных векторов (Support vector machine)

```

* Байесовское правило классификации

```

 y
 ∈

 1
 ,
 2
 ,
 …
 ,
 C

 .

 {\displaystyle
 y \in {1, 2, \dots, C}.
 }

 N – число объектов.
 D –  размерность признакового пространства.

```

```
 Ядерное сглаживание (Метод Парзеновского окна):

 p
 (
 x

 y
 )
 =

 1

 N
 y

 h
 D

 ∑

 i
 :

 y
 i

 =
 y

 K
 (

 ρ
 (
 x
 ,

 x
 i

 )

 h

 )

 {\displaystyle p(x|y) = \frac{1}{N\_y h^D} \sum\_{i:y\_i = y} K(\frac{\rho(x, x\_i)}{h}) }

 y
 (
 x
 )
 =

 a
 r
 g

 max

 y

 ∑

 i
 :

 y
 i

 =
 y

 K
 (

 ρ
 (
 x
 ,

 x
 i

 )

 h

 )

 {\displaystyle y(x) = \mathrm{arg}\max\_{y} \sum\_{i:y\_i = y} K(\frac{\rho(x, x\_i)}{h})}

 Ядерное сглаживание для оценки плотности

 Гауссов классификатор:

 p
 (
 x

 y
 )
 =
 N
 (

 μ
 y

 ,

 Σ
 y

 )
 =

 1

 (
 2
 π

 )

 D

 det
 (

 Σ
 y

 )

 exp
 ⁡

 (

 −

 1
 2

 (
 x
 −

 μ
 y

 )
 T

 Σ
 y

 −
 1

 (
 x
 −

 μ
 y

 )

 )

 ,

 {\displaystyle
 p(x|y) = N(\mu\_y, \Sigma\_y) = \frac{1}{\sqrt{(2 \pi) ^ {D} |\det(\Sigma\_y)|}} \exp \left(-\frac{1}{2}(x - \mu\_y) ^ T \Sigma\_y^{-1} (x - \mu\_y)\right),
 }

 Σ
 y

 {\displaystyle \Sigma\_y}

 – матрица ковариации.

 μ
 y

 {\displaystyle \mu\_y }

 – вектор математических ожиданий.
  Гауссов классификатор

```