Метод максимального правдоподобия (Maximum likelihood estimation)

Вы можете помочь, кластеризовав информацию в этой статье.Возможно, следует разбить её на разделы или на несколько статей.

# X
(

x

1

,

x

2

,
.
.
.
,

x

n

)
,
# Y
(

y

1

,

y

2

,
.
.
.
,

y

n

)

{\displaystyle X=(x\_{1},x\_{2},...,x\_{n}),Y=(y\_{1},y\_{2},...,y\_{n})}

. Обучающие объекты и ответы на них независимо выбираются из некоторого распределения :

(

x

i

,

y

i

)
∼
p
(
y

x
,
w
)

{\displaystyle (x\_{i},y\_{i})\sim p(y|x,w)}

Необходимо минимизировать функционал:

```

 Q
 (
 f
 ,
 X
 ,
 w
 )
 =

 1
 N

 ∑

 i
 =
 1

 N

 L
 (

 f

 w

 (

 x

 i

 )
 ,
 y
 (

 x

 i

 )
 )
 ⟶

 min

 ω

 {\displaystyle Q(f,X,w)={\frac {1}{N}}\sum \_{i=1}^{N}L(f\_{w}(x\_{i}),y(x\_{i}))\longrightarrow \min \_{\displaystyle \omega }}

```

То есть найти вектор весов, такой что:

ω
^

=
a
r
g
m
i

n

ω

Q
(
f
,
X
,
w
)

{\displaystyle {\hat {\omega }}=argmin\_{\displaystyle \omega }Q(f,X,w)}

## Метод максимального правдоподобия

```

 P
 (
 Y

 X
 ,
 w
 )
 ⟶

 max

 ω

 {\displaystyle P(Y|X,w)\longrightarrow \max \_{\displaystyle \omega }}

```

ω
^

=
a
r
g
m
a

x

ω

P
(
Y

X
,
w
)

{\displaystyle {\hat {\omega }}=argmax\_{\displaystyle \omega }P(Y|X,w)}

Но, так как величины независимы.

```

 P
 (
 Y

 X
 ,
 w
 )
 =

 ∏

 i
 =
 1

 N

 p
 (

 y

 i

 x

 i

 ,
 w
 )

 {\displaystyle P(Y|X,w)=\prod \_{i=1}^{N}p(y\_{i}|x\_{i},w)}

 (либо плотности, если величины абсолютно непрерывны)

 ln
 ⁡

 ∏

 i
 =
 1

 N

 p
 (

 y

 i

 x

 i

 ,
 w
 )
 =

 ∑

 i
 =
 1

 N

 ln
 ⁡
 (
 p
 (

 y

 i

 x

 i

 ,
 w
 )
 )

 {\displaystyle \ln \prod \_{i=1}^{N}p(y\_{i}|x\_{i},w)=\sum \_{i=1}^{N}\ln(p(y\_{i}|x\_{i},w))}

```

То есть

−
ln
⁡
P
(
Y

X
,
w
# )
−

∑

# i
1

N

l
n
(
p
(

y

i

x

i

,
w
)
)
⟶

min

ω

{\displaystyle -\ln P(Y|X,w)=-\sum \_{i=1}^{N}ln(p(y\_{i}|x\_{i},w))\longrightarrow \min \_{\displaystyle \omega }}

Поэтому для связи эмпирического риска и метода максимального правдоподобия возьмем

L
(

f

w

(

x

i

)
,
y
(

x

i

)
# )
−
l
n
(
p
(

y

i

x

i

,
w
)
)

{\displaystyle L(f\_{w}(x\_{i}),y(x\_{i}))=-ln(p(y\_{i}|x\_{i},w))}

# X
(

x

1

,

x

2

,
.
.
.
,

x

n

)
,
# Y
(

y

1

,

y

2

,
.
.
.
,

y

n

)

{\displaystyle X=(x\_{1},x\_{2},...,x\_{n}),Y=(y\_{1},y\_{2},...,y\_{n})}

 - Обучающая выборка, где

(

x

i

,

y

i

)
∼
p
(
x
,
y

w
)
,

x

i

∼
p
(
x

w
)

{\displaystyle (x\_{i},y\_{i})\sim p(x,y|w),x\_{i}\sim p(x|w)}

,

w

{\displaystyle w}

 - случайная величина с априорной вероятностью.
Тогда
Функционал :

Q
(
f
,
X
,
w
# )

1
N

∑

# i
1

N

L
(

f

w

(

x

i

)
,
y
(

x

i

)
)
λ
R
(
w
)
⟶

min

ω

{\displaystyle Q(f,X,w)={\frac {1}{N}}\sum \_{i=1}^{N}L(f\_{w}(x\_{i}),y(x\_{i}))+\lambda R(w)\longrightarrow \min \_{\displaystyle \omega }}

Рассмотрим

p
(
w

X
,
Y
# )

p
(
X
,
Y
,
w
)

p
(
X
,
Y
)

=

p
(
X
,
Y

w
)
p
(
w
)

p
(
X
,
Y
)

∝
p
(
X
,
Y

w
)
p
(
w
)

{\displaystyle p(w|X,Y)={\frac {p(X,Y,w)}{p(X,Y)}}={\frac {p(X,Y|w)p(w)}{p(X,Y)}}\propto p(X,Y|w)p(w)}

что тут происходит?

Поэтому

ω
^

=
a
r
g
m
a

x

w

p
(
w

X
,
Y
# )
a
r
g
m
a

x

w

p
(
X
,
Y

w
)
p
(
w
# )
a
r
g
m
a

x

w

∑

# i
1

N

l
n
p
(

y

i

x

i

,
w
)

l
n
p
(
w
)

{\displaystyle {\begin{aligned}{\hat {\omega }}=argmax\_{w}p(w|X,Y)=argmax\_{w}p(X,Y|w)p(w)=argmax\_{w}\sum \_{i=1}^{N}lnp(y\_{i}|x\_{i},w)\\+lnp(w)\end{aligned}}}

То есть РЕГУЛЯРИЗАЦИЯ РАВНА

−
l
n
p
(
w
# )
λ
R
(
w
)

{\displaystyle -lnp(w)=\lambda R(w)}

## Вероятностная модель, соответствующая L1, L2 регуляризации

Пусть случайная величина

w
∼
N
(
0
,

δ

2

I
)

{\displaystyle w\sim N(0,\delta ^{2}I)}

,где

δ

2

# I
Σ

{\displaystyle \delta ^{2}I=\Sigma }

Тогда

p
(
w
# )

1

(
2
π

)

D

/

2

Σ

1

/

2

e

(
−
1

/

2
)

ω

T

Σ

−
1

ω

=

1

(
2
π

)

D

/

2

δ

D

e

(
−
1

/

2

δ

2

)

‖
ω
‖

2

Поэтому

l
n
p
(
w
# )
l
n
(

1

(
2
π

)

D

/

2

δ

D

)
−

1

2

δ

2

‖
ω
‖

2

2

=
−

1

2

δ

2

‖
ω
‖

2

2

c
o
n
s
t
(
w
)

Рассмотрим распределение Лапласа :

w

i

∼
L
a
p
l
a
s
s
(
α
)

{\displaystyle w\_{i}\sim Laplass(\alpha )}

l
n
p
(
w
# )
l
n
(

1

(
2
α

)

D

e

−

1
α

‖
ω
‖

1

# )
−

1
α

‖
ω
‖

1

c
o
n
s
t
(
w
)

## Пруфы

Лекции Китова, слайды 32-34

Конспект