Байесовский подход минимальной цены (Bayes decision rule)

**СТАТЬЯ ДЛЯ ТЕОРМИНА**

## Основные понятия

Пусть

X
l

=
{

x
1

,
…
,

x
l

}

{\displaystyle X^l = \{ x\_1, \dots, x\_l \} }

: выборка,

X

{\displaystyle X}

: множество всех возможных объектов,

Y

{\displaystyle Y}

: множество ответов (метки классов) на

X

{\displaystyle X}

. В байесовском подходе предполагается, что выборка берётся независимо из некоторого распределения:

p
(
x
,
y
)

{\displaystyle p(x, y) }

.

p
(
x
,
y
# )
p
(
y
)
p
(
x

y
)

{\displaystyle p(x,y) = p(y)p(x|y) }

p
(
y
)

{\displaystyle p(y) }

 называется **априорной вероятностью**,

p
(
x

y
)

{\displaystyle p(x|y) }

 называется **функцией правдоподобия**.

p
(
y

x
# )

p
(
x

y
)
p
(
y
)

p
(
x
)

{\displaystyle p(y|x) = \frac{p(x|y)p(y)}{p(x)}}

## Байесовское правило минимальной цены (Bayes minimum cost decision rule)

Пусть

λ

y
f

{\displaystyle \lambda\_{yf} }

 цена предсказания класса

f

{\displaystyle f}

 объекту с истинным классом

y

{\displaystyle y}

. Матрица

{

λ

i
j

}

i
j

,

i
,
j
∈
1
,
…
,
C

{\displaystyle \{\lambda\_{ij}\}\_{ij},~i,j \in 1, \dots ,C }

 называется матрицей штрафов. Тогда ожидаемая цена предсказания класса

f

{\displaystyle f}

 объекту

x

{\displaystyle x}

равна

L
(
f

# y
1

C

p
(
y

x
)

λ

y
f

{\displaystyle L(f) = \sum\_{y=1}^{C}p(y|x)\lambda\_{yf} }

Тогда оптимальным классификатором будет классификатор:

a
(
x
# )
a
r
g
m
i

n
f

L
(
f
)

{\displaystyle a(x) = argmin\_fL(f) }

Выбор такого классификатора

a
(
x
)

{\displaystyle a(x) }

 называется **байесовским правилом минимальной цены (Bayes minimum cost decision rule)** (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса

f

{\displaystyle f}

 равен произведению вектора-строки апостериорных вероятностей классов на

f

{\displaystyle f}

-ый столбец матрицы штрафов).

Пусть дан классификатор

a
:
X
→
Y

{\displaystyle a: X \rightarrow Y }

A
s

=
{
x
∈
X

a
(
x
# )
s
}

{\displaystyle A\_s = \{x \in X | a(x) = s \} }

Вероятность признать объект класса y объектом класса s:

P
(

A
s

,
y
# )

∫

A
s

p
(
x
,
y
)

d
x

{\displaystyle P(A\_s, y) = \int\limits\_{A\_s}p(x, y) \, dx }

Тогда логичным выглядит введение мат.ожидания потери (штрафа) для классификатора

a
(
x
)

{\displaystyle a(x) }

 (функционал среднего риска):

R
(
a

# y
1

C

∑

# s
1

C

λ

y
s

P
(

A
s

,
y
)

{\displaystyle R(a) = \sum\_{y=1}^C \sum\_{s=1}^C \lambda\_{ys} P(A\_s, y) }

## Первый частный случай

Упростим задачу. Пускай

λ

y
f

=

λ

y

[
y
≠
f
]

{\displaystyle \lambda\_{yf} = \lambda\_{y}[y \neq f] }

; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет иметь вид:

L
(
f
# )

∑

y
≠
f

C

p
(
y

x
)

λ
y

=

∑

# y
1

C

p
(
y

x
)

λ

y

−
p
(
f

x
)

λ
f

{\displaystyle L(f) = \sum\_{y \neq f}^C p(y|x) \lambda\_y = \sum\_{y=1}^C p(y|x) \lambda\_{y} - p(f|x) \lambda\_f }

Первое слагаемое не зависит от

f

{\displaystyle f}

, поэтому:

a
(
x
# )
a
r
g
m
i

n
f

L
(
f
# )
a
r
g
m
a

x
f

p
(
f

x
)

λ
f

{\displaystyle a(x) = argmin\_fL(f) = argmax\_f p(f|x) \lambda\_f }

## Второй частный случай (байесовское правило максимальной апостериорной вероятности классов (Bayes minimum error decision rule))

Теперь, если сделать штраф одинаковым для всех

y

{\displaystyle y}

, то получится решающее правило, называемое **байесовским правилом максимальной апостериорной вероятности классов** **(Bayes minimum error decision rule)**:

a
(
x
# )
a
r
g
m
a

x
f

p
(
f

x
)

{\displaystyle a(x) = argmax\_f p(f|x) }

.

Покажем, что данный классификатор минимизирует функционал среднего риска. Рассмотрим произвольный классификатор

b
(
x
)

{\displaystyle b(x)}

. Тогда:

R
(
b

# y
1

C

∑

# s
1

C

λ

y
s

P
(

B
s

,
y

# y
1

C

∑

# s
1

C

[
y
≠
s
]
P
(

B
s

,
y

# y
1

C

∑

# s
1

C

∫

B
s

[
y
≠
s
]
p
(
x
,
y
)

d
# x

{\displaystyle R(b) = \sum\_{y=1}^C \sum\_{s=1}^C \lambda\_{ys} P(B\_s, y) = \sum\_{y=1}^C \sum\_{s=1}^C [y \neq s] P(B\_s, y) = \sum\_{y=1}^C \sum\_{s=1}^C \int\limits\_{B\_s} [y \neq s]p(x, y) \, dx = }

=

∫
X

∑

y
≠
b
(
x
)

p
(
x
,
y
)

d
# x
1
−

∫
X

p
(
x
,
b
(
x
)
)

d
x
≥
1
−

∫
X

m
a

x
f

p
(
x
,
f
)

d
# x
{
a
(
x
# )

{\displaystyle = \int\limits\_X \sum\_{y \neq b(x)} p(x, y) \, dx = 1 - \int\limits\_X p(x, b(x)) \, dx \geq 1 - \int\limits\_X max\_fp(x, f) \, dx = \{ a(x) =}

=
a
r
g
m
a

x
f

p
(
f

x
# )
a
r
g
m
a

x
f

p
(
f

x
)
⋅
p
(
x
# )

{\displaystyle = argmax\_f p(f|x) = argmax\_f p(f|x)\cdot p(x) =}

=
a
r
g
m
a

x
f

p
(
x
,
f
)
# }
1
−

∫
X

p
(
x
,
a
(
x
)
)

d
# x

∫
X

∑

y
≠
a
(
x
)

p
(
x
,
y
# )
R
(
a
)

{\displaystyle = argmax\_f p(x, f)\} = 1 - \int\limits\_X p(x, a(x)) \, dx = \int\limits\_X \sum\_{y \neq a(x)} p(x, y) = R(a) }

Что и требовалось доказать.