Оценки классификаторов

Везде ниже

x

{\displaystyle x}

 — элемент выборки,

y

{\displaystyle y}

 — метка класса,

a
(
x
)

{\displaystyle a(x) }

 — классификатор.

Также

T
P
,
F
P
,
F
N
,
T
N

{\displaystyle TP, FP, FN, TN}

 — значения матрицы ошибок бинарной классификации.

## Доля правильно классифицированных объектов (accuracy)

Accuracy — самая простая оценка классификации:

A
c
c
u
r
a
c
y
(
a

# i
1

N

I

[
a
(

x
i

# )

y
i

]

N

=

T
P
T
N

T
P
T
N
F
P
F
N

{\displaystyle Accuracy(a) = \frac{\sum \_{i=1}^N \mathbb{I}[a(x\_i) = y\_i]}{N} = \frac{TP + TN}{TP+TN+FP+FN}}

.

по сути это вероятность того, что класс будет предсказан правильно.

Например, если мы ловим сумасшедших, accuracy показывает долю правильных диагнозов.

* Работает для многоклассовой классификации.
* Плохо работает при высокой априорной вероятности у одного из классов. В таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).

## Точность (Precision)

P
r
e
c
i
s
i
o
n
(
a
# )

T
P

T
P
F
P

{\displaystyle Precision(a) = \frac{TP}{TP+FP}}

.

Точность показывает какую долю объектов, **распознанных** как объекты положительного класса, мы предсказали верно.

На примере: точность — это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.

* Только бинарная классификация
* Не зависит от априорной вероятности положительного класса.

## Полнота (Recall)

R
e
c
a
l
l
(
a
# )

T
P

T
P
F
N

{\displaystyle Recall(a) = \frac{TP}{TP+FN}}

.

Полнота показывает, какую долю объектов, **реально** относящихся к положительному классу, мы предсказали верно.

На примере: полнота — это сколько из сумасшедших людей, которых мы проверили, мы посадили в психушку.

* Только бинарная классификация
* Не зависит от априорной вероятности положительного класса.

## F-мера

Точность и полнота хорошо оценивают качество классификатора для задач со смещенной априорной вероятностью, но если мы обучили модель с высокой точностью, то может случиться так, что полнота у такого классификатора низкая и наоборот. Чтобы связать точность с полнотой вводят F-меру как среднее гармоническое точности и полноты:

F
m
e
a
s
u
r
# e

2
P
r
e
c
i
s
i
o
n
⋅
R
e
c
a
l
l

P
r
e
c
i
s
i
o
n
R
e
c
a
l
l

{\displaystyle Fmeasure = \frac{2 Precision \cdot Recall}{Precision + Recall}}

В некоторых задачах одна метрика важнее другой (например при выдаче поисковых запросов полнота важнее точности, неинтересные страницы мы можем сами пропустить, а вот если поисковик пропустит несколько страниц то мы можем остаться без каких то важных деталей). Для установления важности конкретной метрики мы рассматриваем параметрическую F-меру:

F
m
e
a
s
u
r

e

β

=

(
1

β
2

)
P
r
e
c
i
s
i
o
n
⋅
R
e
c
a
l
l

β
2

P
r
e
c
i
s
i
o
n
R
e
c
a
l
l

{\displaystyle Fmeasure\_{\beta} = \frac {(1 + \beta^2) Precision \cdot Recall}{\beta^2 Precision + Recall}}

.

Где

β
∈
[
0
,
∞
)

{\displaystyle \beta \in [0, \infty)}

, при

# β
0

{\displaystyle \beta=0}

 получаем точность, при

# β
1

{\displaystyle \beta=1}

 — непараметрическую F-меру, при

# β
∞

{\displaystyle \beta = \infty}

 — полноту.

## Кросс-энтропия

   это доп фича, так что пока мне лень ее расписывать.

## Оценивание качества предсказания вероятностей

    добавить инфы с 10-го слайда лекций Китова

 Для классификатора оценивающего вероятность

p
^

(
y

x
)

{\displaystyle \hat{p}(y|x)}

 принадлежности объекта

x

{\displaystyle x}

 к классу

y

{\displaystyle y}

 вводятся следующие оценки качества предсказания:

 Правдоподобие (propability likelyhood):

L
i
k
e
l
y
h
o
o
d
(

p
^

# n
1

N

p
^

(

y
n

x
n

)

{\displaystyle Likelyhood(\hat{p}) = \prod \_{n=1} ^N \hat{p}(y\_n|x\_n)}

Brier score:

B
# S

1
N

∑

# n
1

N

∑

# c
1

C

(

I

[

y
n

=
c
]
−

p
^

(
# y
c

x
n

)

)
2

{\displaystyle BS = \frac{1}{N} \sum \_{n = 1} ^N \sum \_{c = 1} ^C (\mathbb{I}[y\_n = c] - \hat{p}(y=c|x\_n))^2}

AUC-ROC также оценивает качество предсказания вероятности.