Теория выпуклости

Немного матана для дальнейших математических изысканий

## Определения

Множество

X

{\displaystyle X}

 называется ***выпуклым***, если

∀
x
,
y
∈
X
,
∀
α
∈
(
0
,
1
)
:
α
x
(
1
−
α
)
y
∈
X

{\displaystyle \forall x, y \in X, \forall \alpha \in (0, 1): \alpha x + (1 - \alpha)y \in X}

Функция

f
(
x
)

{\displaystyle f(x)}

, заданная на выпуклом множестве

X
⊂

R

d

{\displaystyle X \subset \mathbb{R}^d}

, называется ***выпуклой***, если

∀
α
∈
(
0
,
1
)
,
∀
x
,
y
∈
X

{\displaystyle \forall \alpha \in (0, 1), \forall x, y \in X}

:

f
(
α
x
(
1
−
α
)
y
)
≤
α
f
(
x
)
(
1
−
α
)
f
(
y
)

{\displaystyle f(\alpha x + (1 - \alpha)y) \le \alpha f(x) + (1 - \alpha)f(y)}

Если неравенство строгое (и

x
≠
y

{\displaystyle x\ne y}

!!!!), то функция ***строго выпукла***.

## Полезные факты

1) Любая норма - выпуклая функция.

2) Известно, что равенство нулю градиента функции - необходимое условие локального минимума. Для выпуклых функций это условие также является достаточным, причём минимум будет глобальный.

3) Глобальный минимум строго выпуклой функции единственен.

4) Заданная на выпуклом

X

{\displaystyle X}

 функция

f
(
x
)
:

R

d

→

R

{\displaystyle f(x): \mathbb{R}^d \rightarrow \mathbb{R}}

 выпукла тогда и только тогда, когда

g
(
α
# )
f
(
x
α
y
)

{\displaystyle g(\alpha) = f(x + \alpha y)}

, где

x
,
y

{\displaystyle x, y}

 - любые из

X

{\displaystyle X}

, является одномерной выпуклой функцией.

Подробно доказательство можно увидеть здесь, но оно в лоб.

## Критерии выпуклости

Для дважды дифференцируемой

f
(
x
)

{\displaystyle f(x)}

 следующие утверждения эквивалентны:

f

{\displaystyle f}

 выпукла

f
(
y
)
≥
f
(
x
)
▽
f
(
x

)
T

(
y
−
x
)

{\displaystyle f(y) \ge f(x) + \bigtriangledown f(x)^T (y - x)}

▽
2

f
(
x
)
⪰
0

{\displaystyle \bigtriangledown ^2 f(x) \succeq 0}

В билетах написано что можно без доказательства, для желающих вотъ.

## Критерии строгой выпуклости

Для дифференцируемой

f
(
x
)

{\displaystyle f(x)}

 выпуклость эквивалентна

f
(
y
)
>
f
(
x
)
▽
f
(
x

)
T

(
y
−
x
)

{\displaystyle f(y) > f(x) + \bigtriangledown f(x)^T (y - x)}

.

Замечание: из

▽
2

f
(
x
)
≻
0

{\displaystyle \bigtriangledown ^2 f(x) \succ 0}

 следует строгая выпуклость, да, но не наоборот.

## Неравенство Йенсена

Для выпуклой функции и любой случайной величины

ξ

{\displaystyle \xi}

:

E

[
f
(
ξ
)
]
≥
f
(

E

ξ
)

{\displaystyle \mathbb{E}[f(\xi )] \ge f(\mathbb{E}\xi )}

Доказательство: для

f

{\displaystyle f}

 записать из критерия выпуклости неравенство 2 для

# x
ξ

{\displaystyle x = \xi }

 (ага, случайной величины!) и

# y

E

ξ

{\displaystyle y = \mathbb{E}\xi }

, после чего взять матожидание от сторон неравенства. Подробнее тут.

## Обращение неравенства Йенсена в равенство

Для строго выпуклой

f

{\displaystyle f}

 неравенство Йенсена обращается в равенство тогда и только тогда, когда

# ξ

E

ξ

{\displaystyle \xi = \mathbb{E}\xi}

 с вероятностью 1.

Доказательство: аналогично доказательству неравенства Йенсена для выпуклой

f

{\displaystyle f}

, для строгой выпуклости там образуется строгое неравенство. При этом мы ж требовали в определении строгой выпуклости, что

x
≠
y

{\displaystyle x\ne y}

, то есть брать

# x
ξ

{\displaystyle x = \xi }

 и

# y

E

ξ

{\displaystyle y = \mathbb{E}\xi }

, если они с вероятностью 1 равны, нельзя.