recursal/Fanatic-Fandom huggingface dataset:
Модель Бернулли

Пусть

x

{\displaystyle x}

 — объект из выборки,

x
k

{\displaystyle x^k }

 — его

k

{\displaystyle k}

-й признак.

Рассмотрим различные модели для классификации текстов. Объектами в данном случае являются документы.

## **Модель Бернулли**

Неплохое объяснение можно найти здесь (самое интересное с 5 слайда, модель Бернулли там называется многомерной моделью).

w
k

,

# k
1
,
2
,
…
,
D

{\displaystyle w\_k,~~k = 1, 2, \dots, D}

 — все уникальные слова в корпусе

x
k

=

I

[

w
k

∈
x
]

{\displaystyle x^k = \mathbb{I}[w\_k \in x]}

θ
y
k

=
p
(

x
k

=
1

y
)

{\displaystyle \theta\_y^k = p(x^k=1|y)}

Вывод решающего правила:

y
^

(
x
# )

(1)

=

a
r
g
m
a
x

y

p
(
y

x
# )

a
r
g
m
a
x

y

p
(
y
)
p
(
x

y
# )

(2)

=

a
r
g
m
a
x

y

p
(
y
)

∏

# k
1

D

p
(

x
k

y
# )

a
r
g
m
a
x

y

p
(
y
)

∏

# k
1

D

(

θ
y
k

)

x
k

(
1
−

θ
y
k

)

1
−

x
k

=

a
r
g
m
a
x

y

ln
⁡

p
(
y
)

∑

# k
1

D

(

x
k

ln
⁡

θ
y
k

(
1
−

x
k

)
ln
⁡

(
1
−

θ
y
k

)

)

{\displaystyle
\begin{align}
\widehat{y}(x) = \textrm{(1)} = \underset{y}{argmax}\;p(y|x) = \underset{y}{argmax} \; p(y)p(x|y) = \\
\textrm{(2)} = \underset{y}{argmax} \; p(y)\prod^D\_{k=1}p(x^k|y) = \underset{y}{argmax}\; p(y) \prod^D\_{k=1} (\theta\_y^k)^{x^k} (1-\theta\_y^k)^{1-x^k} = \\ \underset{y}{argmax} \; \ln{p(y)} + \sum^D\_{k=1} (x^k \ln{\theta\_y^k} + (1-x^k)\ln{(1-\theta\_y^k)})
\end{align}
}

где

p
(
y
# )

N
y

N

,

θ
y
k

=

N

y
k

α

N
y

2
α

{\displaystyle p(y) = \frac{N\_y}{N},\;\theta\_y^k = \frac{N\_{yk} + \alpha}{N\_y + 2\alpha}}

 — эмпирические оценки вероятностей

N
y

{\displaystyle N\_y}

 — Кол-во документов класса

y

{\displaystyle y}

N

y
k

{\displaystyle N\_{yk}}

 — Кол-во документов класса

y

{\displaystyle y}

, содержащих

w
k

{\displaystyle w\_k}

(1) — байесовское правило максимальной апостериорной вероятности классов

(2) — предположение "наивного Байеса"

## **Сглаживание вероятностей Лапласа**

α
≥
0

{\displaystyle \alpha\ge 0}

 — можно интерпретировать как добавление к выборке

2
α

{\displaystyle 2\alpha}

 документов класса

y

{\displaystyle y}

, из которых половина содержит

w
k

{\displaystyle w\_k}

.

Почему только половина? А просто у нас нет сведений об априорном распределении. Если же они есть, например мы составили статистику встреч слов при условии класса, используя интернет, мы можем подставить наши априорные вероятности.

Добавление

α

{\displaystyle \alpha}

 называется аддитивным сглаживанием (сглаживанием Лапласа).

## **Модель Бернулли как линейный классификатор**

Модель Бернулли является линейным классификатором (из вида дискриминантной функции видно, что линейно от

x
k

{\displaystyle x^k }

).
Решающие правила в дереве Cart и алгоритм их выбора. Возможные критерии перемешанности классов и откликов в задачи регрессии (теормин)

## Решающие деревья

*Решающее дерево* — алгоритм классификации, основанный на поиске конъюктивных закономерностей.
*Дерево* — конечный ацикличный связный граф, имеющий выделенную вершину, не имеющую входящих ребер — *корень* дерева. Вершины, не имеющие выходящих ребер называются *листьями*. В каждой вершине дерева записано решающее правило, делящее входные объекты на n классов.

## Алгоритм CART

**CART (classification and regression trees)** — алгоритм, решающий задачи классификации и регрессии.
В CART решающее правило имеет вид бинарной пороговой функции одного признака.
Решающее правило должно делить выборку наилучшим способом на две части

X
l

(
i
,
h
# )
{
x

x
i

≤
h
}

{\displaystyle X\_l(i,h) = \{x | x\_i \le h\}}

 и

X
r

(
i
,
h
# )
{
x

x
i

>
h
}

{\displaystyle X\_r(i,h) = \{x | x\_i > h\}}

 относительно критерия информативности

Q
(
X
,
i
,
h
)

{\displaystyle Q(X,i,h)}

.

Нужно найти порог

h
t

{\displaystyle h\_t}

 и признак

i
t

{\displaystyle i\_t}

 (t - индекс вершины), при которых достигается максимум следующего критерия

Q
(

X
t

,
i
,
h
# )
ϕ
(
t
)
−

N
l

N
m

ϕ
(

t
l

)
−

N
r

N
m

ϕ
(

t
r

)

{\displaystyle Q(X\_t,i,h)=\phi(t) - \frac{N\_l}{N\_m}\phi(t\_l) - \frac{N\_r}{N\_m}\phi(t\_r)}

, где

ϕ
(
t
)

{\displaystyle \phi(t)}

 — impurity function.

## Виды impurity function

**Критерий Джини**

ϕ
(
t
# )

∑

i

p
(

ω
i

t
)
(
1
−
p
(

ω
i

t
)
# )
1
−

∑

i

p
(

ω
i

t

)
2

{\displaystyle \phi(t)=\sum\_{i}p(\omega\_i|t)(1-p(\omega\_i|t))=1-\sum\_{i}p(\omega\_i|t)^2}

Интерпретация: вероятность допустить ошибку при выборе порога

h
t

{\displaystyle h\_t}

 и признака

i
t

{\displaystyle i\_t}

.

**Энтропийный критерий**

ϕ
(
t
# )
−

∑

i

p
(

ω
i

t
)
ln
⁡
p
(

ω
i

t
)

{\displaystyle \phi(t)=-\sum\_{i}p(\omega\_i|t)\ln p(\omega\_i|t)}

Интерпретация: мера неопределенности случайной величины

**Ошибка классификации**

ϕ
(
t
# )
1
−
m
a

x

i

p
(

ω
i

t
)

{\displaystyle \phi(t)=1-max\_{i} p(\omega\_i|t)}

Интерпретация: частота ошибок при классификации наиболее мощным классом.

**Случай регрессии**

Для задач регрессии обычно используют MSE или MAE.

## Ссылки

Слайды лекции В. Китова

Конспект семинаров по машинному обучению

Лекции В. Китова
CART (Classification and regression tree)

**CART (Classification and regression tree)** — реализация решающего дерева четырьмя профессорами статистики.

## Формальное определение

CART-дерево — это самое обычное решающее дерево, которое:

* совершает разбиение в узле только по одному признаку

i
(
t
)

{\displaystyle i(t)}

, где

t

{\displaystyle t}

 — текущий узел
* бинарно
* решающее правило есть разбиение по порогу, то есть:

S
t

(
1
# )

{

x

x
i

≤
h

}

;

S
t

(
2
# )

{

x

x
i

>
h

}

{\displaystyle S\_t(1) = \left \{x|x\_i \le h\right \}; S\_t(2) = \left \{x|x\_i>h\right \}}
* порог выбирается из значений этого признака в обучающей выборке
* one-hot кодирование для категориальных признаков (предварительно категориальные признаки можно обработать каким-нибудь стандартным образом)
* Стрижка осуществляется с помощью cost-complexity pruning.

## Достоинства и недостатки

* + простота (отсутствуют параметры)
* + эффективность (в силу "бедности" класса функций, выбранных для решающих правил, быстро найти оптимальное можно тупым перебором)
* + интерпретируемость
* + устойчиво к линейным масштабированиям
* - не является онлайновым.
* - как и у любого решающего дерева, если истинное разделение классов — по диагональной прямой, оптимальное дерево будет очень глубоким (так как оно будет пытаться приблизить эту прямую лесенкой)
* - как и любое решающее дерево не устойчиво к шуму, составу выборки, критерию.
* + возможность обработки пропусков (метод суррогатных признаков).
* + допустимы разнотипные данные.
* + трудоемкость линейна по длине выборки

O
(
h
l

β

)

{\displaystyle O(hl|\beta|) }
* + не бывает отказов от классификации
Декоррелирующее преобразование (Whitening)

## Декоррелирующее преобразование

Пусть

x

{\displaystyle x}

 некоторая случайная величина.

x
∼
F
(
μ
,
Σ
)
,
# μ

E

[
x
]
,
# Σ
c
o
v
(
x
,
x
)

{\displaystyle x\sim F(\mu ,\Sigma ),\mu =\mathbb {E} [x],\Sigma =cov(x,x)}

 — ковариационная матрица.

Следующее преобразование называется декоррелирующим:

# z
(
Σ

)

−
1

/

2

(
x
−
μ
)

{\displaystyle z=(\Sigma )^{-1/2}(x-\mu )}

Его свойства:

why?

E

[
z
# ]
0
,
c
o
v
(
z
,
z
# )
I

{\displaystyle \mathbb {E} [z]=0,cov(z,z)=I}

## Порожденное расстояние

Расстояние Махалонобиса задается следующим образом:

ρ

M

(
x
,

x
′

# )

ρ

E

(
z
,

z
′

# )

(
z
−

z
′

)

T

(
z
−

z
′

)

=

{\displaystyle \rho \_{M}(x,x')=\rho \_{\operatorname {E} }(z,z')={\sqrt {(z-z')^{T}(z-z')}}=}

=

(
x
−

x
′

)

T

Σ

−
1

/

2

Σ

−
1

/

2

(
x
−

x
′

)

=

(
x
−

x
′

)

T

Σ

−
1

(
x
−

x
′

)

{\displaystyle ={\sqrt {(x-x')^{T}\Sigma ^{-1/2}\Sigma ^{-1/2}(x-x')}}={\sqrt {(x-x')^{T}\Sigma ^{-1}(x-x')}}}

где

ρ
M

{\displaystyle \rho\_M}

 — расстояние Махалонобиса,

ρ

E

{\displaystyle \rho \_{E}}

 - расстояние Евклида.

## Примечания

Декоррелирующее преобразование переводит сферу Махалонобиса

G

α

=
{
x
:

ρ

M

(
x
,
μ
# )
α
}

{\displaystyle G\_{\alpha }=\{x:\rho \_{M}(x,\mu )=\alpha \}}

в сферу в нормализованном пространстве

I
m

G

α

=
{
z
:

ρ

E

(
z
,
0
# )
α
}

{\displaystyle ImG\_{\alpha }=\{z:\rho \_{E}(z,0)=\alpha \}}
Линейный классификатор

**Линейный классификатор** — алгоритм классификации, основанный на построении линейной разделяющей поверхности. Иными словами, это такой классификатор, дискриминантная функция которого линейна. В случае двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. В случае большего числа классов разделяющая поверхность кусочно-линейна (как сумма выпуклых функций, которая тоже является выпуклой функцией).

## Бинарная классификация

Пусть объект

x

{\displaystyle x}

 задается

D

{\displaystyle D}

 признаками, то есть представим в виде вектора

x
∈

R

D

{\displaystyle x \in \mathbb{R}^D}

,

y

{\displaystyle y}

 — метка класса для объекта

x

{\displaystyle x}

 (

y
∈
{
−
1
,
1
}

{\displaystyle y \in \{-1, +1\}}

). Тогда линейным классификатором для разделяющей плоскости, заданной в пространстве признаков нормалью

w

{\displaystyle w}

 и скаляром

w
0

{\displaystyle w\_0}

 будет следующий классификатор:

Может, +w0? Неважно, конечно, но выглядит странноУ Китова вроде всегда брали с плюсом и 1 как доп.признак. ---абсолютно по барабану, +1 или -1, при обучении просто параметр w0 будет принимать разные по знаку значения (Костя)

a
(
x
,
w
,

w
0

# )
s
i
g
n
(

w
T

x
−

w
0

)

{\displaystyle a(x, w, w\_0) = sign(w^T x - w\_0)}

.

Зачастую вводится дополнительный признак равный

−
1

{\displaystyle -1}

, так, что

# x
(
−
1
,

x
1

,

x
2

,
…
,

x
D

)
∈

R

D
1

{\displaystyle x = (-1, x\_1, x\_2, \dots, x\_D) \in \mathbb{R}^{D+1}}

, а в качестве

w

{\displaystyle w}

 берется вектор

(

w
0

,

w
1

,

w
2

,
…
,

w
D

)

{\displaystyle (w\_0, w\_1, w\_2, \dots, w\_D)}

. Тогда тот же классификатор можно представить в более компактном виде:

a
(
x
,
w
# )
s
i
g
n
(

w
T

x
)

{\displaystyle a(x, w) = sign(w^T x)}

.

## Многоклассовая классификация

Для случая нескольких классов (

y
∈

Y

{\displaystyle y \in \mathbb{Y}}

, где

Y

{\displaystyle \mathbb{Y}}

 — множество всех меток классов) вводится

# C

Y

{\displaystyle C = |\mathbb{Y}|}

 плоскостей, а классификатор определяется так:

a
(
x
,
W
# )

a
r
g
m
a
x

y
∈

Y

w
y
T

x

{\displaystyle a(x, W) = \underset{y \in \mathbb{Y}}{argmax} ~w\_y^T x}

.

Где

W

{\displaystyle W}

 — матрица, состоящая из векторов

w
y

{\displaystyle w\_y}

 (

w
y

∈

R

D
1

,
W
∈

R

D
1
,
C

{\displaystyle w\_y \in \mathbb{R}^{D+1}, W \in \mathbb{R}^{D+1, C}}

).

По факту

w
y

{\displaystyle w\_y}

 — это вектор, задающий разделяющую плоскость между классом с меткой

y

{\displaystyle y}

 и всеми остальными, при классификации алгоритм выбирает тот класс, принадлежность объекта

x

{\displaystyle x}

 к которому наиболее вероятна (то есть максимизирует отступ для этого объекта).

w

{\displaystyle w}

 для бинарной классификации и

W

{\displaystyle W}

 для многоклассовой подбираются по принципу минимизации эмпирического риска.
Матрица штрафов (Сost matrix)

## Матрица штрафов

**Матрица штрафов (Cost matrix)** — матрица размером

C
×
C

{\displaystyle C\times C}

, где

C

{\displaystyle C}

 — количество классов, в которой по одной оси расположены прогнозы

f

{\displaystyle f}

 (forecast), по другой — истинные значения целевой переменной

y

{\displaystyle y}

, а значения ячейки

(
y
,
f
)

{\displaystyle (y, f)}

 соответствуют штрафу (cost) за прогнозирование класса

f

{\displaystyle f}

 при истинном классе

y

{\displaystyle y}

.

## Использование

Матрица штрафов на практике считается априори заданной и используется для оценки оптимальности прогноза с вероятностной точки зрения.

Если такая информация отсутствует, то можно полагать, что

λ

y
f

=

I

(
y
≠
f
)

{\displaystyle \lambda\_{yf} = \mathbb{I}(y \ne f)}

, то есть за ошибку полагается штраф 1, за верный прогноз 0.
Типы моделей

## Генеративная модель

* Моделируется распределение

p
(
x
,
y
)

{\displaystyle p(x, y) }
* Может генерировать новые наблюдения

y
^

(
x
)

=
arg
⁡

max
y

p
(
y

x
# )
arg
⁡

max
y

p
(
x
,
y
)

p
(
x
)

=

=
arg
⁡

max
y

p
(
y
)
p
(
x

y
# )
arg
⁡

max
y

{
log
⁡

p
(
y
)

log
⁡

p
(
x

y
)

}

{\displaystyle
\begin{align}
\hat{y}(x) &= \arg\max\_y p(y|x) = \arg\max\_y \frac{p(x, y)}{p(x)} =\\
&= \arg\max\_y p(y)p(x|y) = \arg\max\_y{ \lbrace \log{p(y)} + \log{p(x|y)} \rbrace}
\end{align}
}

* Может быть отрегулирована относительно варьирующейся

p
(
y
)

{\displaystyle p(y) }
* Приспособлена к обработке отсутствующих значений (путём усреднени)
* Легко распознаёт выбросы (по маленькой

p
(
x
)

{\displaystyle p(x)}

)

Однако:

* Генеративные модели являются более общими
* p
(
x

y
)

{\displaystyle p(x|y) }

 может быть неточной для пространств большой размерности

## Дискриминативная модель

* Моделируется распределение

p
(
y

x
)

{\displaystyle p(y|x) }

 (дискриминативная модель с вероятностью)
* Также есть усечённая дискриминативная модель (моделируется лишь

# y
f
(
x
)

{\displaystyle y=f(x)}

)

## Типы признаков

Полное описание объекта

x

∈
X

{\displaystyle \mathbf{x} \in X }

 зависит от индивидуальных признаков

x
i

∈

X
i

{\displaystyle x\_i \in X\_i }

* X
i

=
{
0
,
1
}

{\displaystyle X\_i = \lbrace 0, 1 \rbrace }

 — бинарный признак

X
i

<
∞

{\displaystyle |X\_i| < \infty }

 — дискретный(номинальный) признак

X
i

<
∞

{\displaystyle |X\_i| < \infty }

 и

X
i

{\displaystyle X\_i}

 упорядочен — ординальный признак
* X
i

=

R

{\displaystyle X\_i = \mathbb{R} }

 — действительный признак

# * Y

R

{\displaystyle Y = \R}

 — регрессия (обучение с учителем)
# * Y

R

M

{\displaystyle Y = \mathbb{R}^M }

 — векторная регрессия(обучение с учителем) / извлечение признаков(обучение без учителя)
# * Y
{

ω
1

,

ω
2

,
…
,

ω
C

}

{\displaystyle Y = \lbrace \omega\_1, \omega\_2, \dots, \omega\_C \rbrace }

 — классификация(обучение с учителем) / кластеризация(обучение без учителя)
	+ C
	=
	2

	{\displaystyle C = 2 }

	: бинарная классификация, кодирование —

	Y
	=
	{
	1
	,
	−
	1
	}

	{\displaystyle Y = \lbrace +1, -1 \rbrace }

	 или

	Y
	=
	{
	0
	,
	1
	}

	{\displaystyle Y = \lbrace 0, 1 \rbrace }
	+ C
	>
	2

	{\displaystyle C > 2 }

	: многоклассовая классификация

* Y

{\displaystyle Y}

 — множество всех подмножеств

{

ω
1

,

ω
2

,
…
,

ω
C

}

{\displaystyle \lbrace \omega\_1, \omega\_2, \dots, \omega\_C \rbrace }

 — задача маркировки
	+ Y
	=
	{
	y
	∈

	R

	C

	:

	y
	i

	∈
	{
	0
	,
	1
	}
	}
	,

	y
	i

	=
	1
	⇔

	{\displaystyle Y = \lbrace y \in \mathbb{R}^C : y\_i \in \lbrace 0, 1 \rbrace \rbrace , y\_i = 1 \Leftrightarrow }

	 объект ассоциируется с

	ω
	i

	{\displaystyle \omega\_i}

## Ссылки

* Лекция Китова (стр. 11-14)
* Лекция Воронцова (стр. 4-5)
Линейная регрессия

**Регрессия** - частный случай задачи обучения с учителем, при котором целевая переменная принадлежит бесконечному подмножеству вещественной оси.

## Обычная регрессия

Линейной моделью регрессии называется линейная комбинация признаков с коэффициентами

α
∈

R

{\displaystyle \alpha \in \R}

:

f
(
x
,
α
# )
⟨
x
,
α
⟩

{\displaystyle f(x, \alpha) = \langle x, \alpha\rangle}

.

Предполагается, что

α

{\displaystyle \alpha}

 находится с помощью МНК:

Q
(
α
# )

‖

X
α
−
Y

‖

2

→

min

α

{\displaystyle Q(\alpha) = \left \|X\alpha - Y\right \|^2 \rightarrow \min\_{\alpha}}

.

∂
Q

∂
α

=
2

X
T

(
X
α
−
Y
# )
0

{\displaystyle \frac{\partial Q}{\partial \alpha} = 2X^T(X\alpha-Y) = 0}

.

α
^

=
(

X
T

X

)

−
1

X
T

Y

{\displaystyle \hat{\alpha} = (X^TX)^{-1}X^TY}

 — глобальный минимум, так как оптимизационная задача является выпуклой.

Решение существует только в том случае, когда матрица

X
T

X

{\displaystyle X^TX}

 обратима.

r
k
(
X
# )
r
k
(

X
T

# )
r
k
(

X
T

X
)

{\displaystyle rk(X) = rk(X^T) = rk(X^TX)}

.

Проблема возникает, когда один из признаков является линейной комбинацией других. Решается с помощью отбора признаков и регуляризации.

Плюсы линейной регрессии:

1. Единственный минимум;
2. Аналитическое решение;
3. Интерпретируемый алгоритм и решение.

Минусы:

1. Простота модели;
2. Матрица

X
T

X

{\displaystyle X^TX}

 должна быть невырожденной.

# M
X
(

X
T

X

)

−
1

X
T

−
I

{\displaystyle M = X(X^TX)^{-1}X^T-I}

.

⇒
Q
(

α
^

# )

‖

M
Y

‖

2

{\displaystyle \Rightarrow Q(\hat{\alpha}) = \left \|MY\right \|^2}

.

M
# X
0
⇒
M

{\displaystyle MX = 0 \Rightarrow M}

 проецирует на ортогональное дополнение линейной оболочки столбцов матрицы

X

{\displaystyle X}

.

Q
(

α
^

)

{\displaystyle Q(\hat{\alpha})}

 — квадрат длины перпендикуляра, опущенного из

Y

{\displaystyle Y}

 на линейную оболочку. Таким образом, МНК находит кратчайшее расстояние от

Y

{\displaystyle Y}

 до линейной оболочки столбцов матрицы

X

{\displaystyle X}

.

## Нелинейные преобразования

Составим новый вектор признаков:

x
→
[

ϕ
0

(
x
)
,

ϕ
1

(
x
)
,
…
,

ϕ
m

(
x
)
]

{\displaystyle x \rightarrow [\phi\_0(x), \phi\_1(x), \dots, \phi\_m(x)]}

.

f
(
x
# )
⟨
ϕ
(
x
)
,
α
⟩

{\displaystyle f(x) = \langle \phi(x), \alpha \rangle}

.

Модель остаётся линейной по

α

{\displaystyle \alpha}

, так что все достоинства сохраняются.

Примеры преобразований:

1. e

−

‖

x
−
μ

‖

2

s
2

{\displaystyle e^{-\frac{\left \|x-\mu\right \|^2}{s^2}}}
2. x
i

x
j

{\displaystyle x^ix^j}
3. ln
⁡

x
i

{\displaystyle \ln{x^i}}

# i
1

N

w
i

(

x
i
T

α
−

y
i

)
2

→

min

α

{\displaystyle \sum\_{i=1}^{N} w\_i(x\_i^T\alpha-y\_i)^2 \rightarrow \min\_{\alpha}}

Идея робастной регрессии: снизить влияние выбросов при настройке модели.
Chests (TimewornKaiju's Series)

The main idea behind the original Break the Chest game was, well, to break chests. Breaking a chest gave the player a single item; this could be a special item that increased the player's stats, a weapon for the player to fight enemies with, or a special material to upgrade one of the player's weapons, among other things. The item was sometimes secretly harmful, however, so players had to be careful.

New chests spawned whenever all the chests in the world had been broken. By Thread 6, however, TimewornKaiju had officially discontinued the chests. The only way to obtain items from that point forward was to fight bosses for the items they dropped.

* **Wooden Chest:** 100 HP.

* **Iron Chest:** 500 HP.

* **Silver Chest:** 1500 HP.

* **Gold Chest:** 4500 HP.

* **Platinum Chest:** 5500 HP.

* **Hi-Tech Chest:** 10 AHS (Anti-Hacking Systems). Can only be damaged by hacking.

* **Crimtane Chest:** 20000 HP. Does not drop fake items.

* **Demonite Chest:** 20000 HP. Does not drop fake items.

* **Hi-Tech Crimtane Chest:** 100 AHS. Can only be damaged by hacking.

* **Hi-Tech Demonite Chest:** 100 AHS. Can only be damaged by hacking.

* **Melee Chest:** 10000 HP. Can only be damaged by melee attacks.

* **Ranged Chest:** 10000 HP. Can only be damaged by ranged attacks.

* **Magic Chest:** 10000 HP. Can only be damaged by magic attacks.

* **Aquatic Chest:** 200000 HP. Water-type. Presumably, it and the Ice Chest were intended to be one of many new types of chests that were planned to be added, but chests were discontinued very shortly after they were introduced.

* **Ice Chest:** 200000 HP. Ice-type.
Проклятие размерности

**Проклятие размерности** — проблема, связанная с экспоненциальным возрастанием количества данных из-за увеличения размерности пространства.
Термин «проклятие размерности» был введен Ричардом Беллманом в 1961 году.

Проблема «проклятия размерности» часто возникает в машинном обучении, например, при применении метода ближайших соседей и метода парзеновского окна.

## Проблемы

«Проклятие размерности» особенно явно проявляется при работе со сложными системами, которые описываются большим числом параметров.

Это влечет за собой следующие трудности:

* Трудоемкость вычислений
* Необходимость хранения огромного количества данных
* Увеличение доли шумов
* В линейных классификаторах увеличение числа признаков ведет к проблемам мультиколлинеарности и переобучения.
* В метрических классификаторах расстояния обычно вычисляются как средний модуль разностей по всем признакам. Согласно Закону Больших Чисел, сумма

n

{\displaystyle n}

 слагаемых стремится к некоторому фиксированному пределу при

n
→
inf

{\displaystyle n\to \inf }

. Таким образом, расстояния во всех парах объектов стремятся к одному и тому же значению, а значит, становятся неинформативными.

## Пример

Рассмотрим единичный интервал [0,1]. 100 равномерно разбросанных точек будет достаточно, чтобы покрыть этот интервал с частотой не менее 0,01.

Теперь рассмотрим 10-мерный куб. Для достижения той же степени покрытия потребуется уже 1020 точек. То есть, по сравнению с одномерным пространством, требуется в 1018 раз больше точек.

Поэтому, например, использование переборных алгоритмов становится неэффективным при возрастании размерности системы.

## Способы устранения «проклятия размерности»

Основная идея при решении проблемы — понизить размерность пространства, а именно спроецировать данные на подпространство меньшей размерности.

На этой идее, например, основан метод главных компонент.

Также можно осуществлять отбор признаков и использовать алгоритм вычисления оценок.
Toolboxes

As a DCP student, we are allowed to loan out toolboxes. The duration of the loan may vary. Each project is allowed to loan out one tool box of each type of toolbox at a time.

## Who to contact:

Ms Annie is in charge of the toolbox loans, so please contact her at Electronics workshop during their office hours.

**Disclaimer**: As the information regarding toolbox loans may vary as policies changes, I strongly recommend going to pay Ms Annie a visit to ask about it. This is just a brief overview to prompt you to go visit her. (Really, she is nice so go visit her if you have something. Although, be warned that nearing the end of the semester she gets really busy.)

## What are inside the toolboxes?

There are 2 types of tool boxes available, the mechanical toolbox and the electronics toolbox.

1. Mechanical toolboxes

common mechanical tools such as hammer, spanners, screwdrivers, etc.

2. Electrical toolboxes

common electrical tools such as wire stripper, allen key set, etc.

## Points to note:

Toolboxes are assigned per project group but signed out by a single person.

Do not lose any tools, if not you must buy the tools as replacement.

It is best to keep your toolbox in your locker. See post on lockers here.
Benchtop Drill press

Located at Electronics workshop - E2A-02-something

Drill bits of required size can be obtained by asking Ms. Annie.

For first time or amature user, make sure there is someone supervising you or that there is someone else in the workshop when you are using it for quick aid response.

Make sure the workpiece is clamped down properly onto the worktable before turning on the drill.
Bubbles

my super cool friend who has the nickname bubbles

she likes to draw and plays pokemon

she also runs the blog dailystarplatinum among 320948575634293 other blogs

she loves youre welcome from moana and maui in general

she just

really likes buff characters

shes cool though

she puts up with me screaming about rayman and plays parappa 2 with me
Rayman

this piece of shit series i love it too much

also this piece of shit character

HOW DOES HE WORK

HOW DOES HIS BODY STAY CONNECTED

HE CAN DISCONNECT HIS BODY PARTS FROM HIMSELF

HOW DOES HE EAT

HOW DOES THE FOOD GET TO HIS STOMACH

DOES HE HAVE A STOMACH

WHAT IF HE LOSES HIS BODY

WHAT IF HES USING SOMETHING ELSE AS A BODY

HES ABLE TO USE OTHER THINGS AS BODY PARTS

HOW DOES HE WORK
Noot

time to be a self centered asshole and make a page about myself

i have like 3435784967548 names

including but not limited to nue, noot, and noon

i draw a lot and play vidya games

IM A PIECE OF SHIT WHO HAS NO IDEA HOW TO INITIATE CONVERSATIONS

the social anxiety probably doesnt help either

GAMES I LOVE INCLUDE:

rayman

parappa

pokemon

touhou

monster hunter

rayman

jjba has games so it counts

this isnt a game but i just saw a shadow move on my ceiling

pretty much any nintendo game

did i mention rayman

what if i just inserted every image from my drawings folder

actually 766 is too much probably

along with drawings i sometimes make videos
DB-scan

## Краткая идея

* Рассмотрим для каждой точки

ε

{\displaystyle \varepsilon}

 окрестность. Назовем ядерными точки, в окрестности которых

≥
k

{\displaystyle \geq k}

 точек. Назовем граничными - не ядерные точки, в окрестности которых есть ядерная. Назовем шумовыми точки, не являющиеся ни ядерными, ни граничными.
* Построим граф, где вершинами будут ядерные точки, а ребрами соединены точки, находящиеся в окрестности друг друга. Кластера - компоненты связности в этом графе.
* Присоединим граничные точки к тем компонентам, к которым они лучше всего присоединяются
* Соединение ядерных точек - аггломеративная кластеризация, останавливающаяся на расстоянии eps
* Устойчивость к выбросам
* Как и сеточная кластеризация, определяет число кластеров и плохо работает с разными по плотности кластерами.

Подробнее в лекциях

* O
(

N
2

D
)

{\displaystyle O(N^2D)}

, возможны модификации -

O
(
N
ln
⁡

N

)

{\displaystyle O(N\ln{N})}

 для малых

D

{\displaystyle D}

, сеточный поиск объектов в области за

O
(
D
)

{\displaystyle O(D)}

.

Лекции Китова, с 62-64
Kirsten Scott

## Productions

Broadway (2007-08) –Lou Ann, u/s Amber

Broadway (2008) –Amber Von Tussle †

BSO Concert (2016) –Amber Von Tussle

**Kirsten Bracken Scott** played Amber Von Tussle in the Baltimore Symphony Orchestra production of *Hairspray*. Previously, she had played Lou Ann on in the Broadway production. Scott has been a part of several musicals, including A Wonderful Life, Jersey Boys, Big Fish, and more.

**SOURCES**

1. ↑ 1.0 1.1 https://www.bsomusic.org/calendar/events/2015-2016-events/hairspray-in-concert/kirsten-scott.aspx
Расстояние Кульбака — Лейблера

**Расстояние Кульбака — Лейблера** - метрика между распределениями случайных величин. Обозначение:

K
L
(
P

Q
)

{\displaystyle KL(P||Q)}

, причём откуда взялись две вертикальные палки науке неизвестно, по идее это просто функция от двух распределений

P

{\displaystyle P}

 и

Q

{\displaystyle Q}

Дискретный случай:

K
L
(
P

Q
# )

∑

i

n

P
i

ln
⁡

P
i

Q
i

{\displaystyle KL(P||Q) = \sum^{n}\_{i} {P\_i \ln{\frac{P\_i }{Q\_i }}}}

Непрерывный случай:

K
L
(
P

Q
# )
∫
p
(
x
)
ln
⁡

p
(
x
)

q
(
x
)

d
x

{\displaystyle KL(P||Q) = \int p(x) \ln{\frac{p(x)}{q(x)}} dx}

## Свойства

1) Определено только для таких распределений, что

P
i

=
0
⇒

Q
i

=
0

{\displaystyle P\_i = 0 \Rightarrow Q\_i = 0 }

2) Несимметрично! Симметричная версия:

1
2

(
K
L
(
P

Q
)
K
L
(
Q

P
)
)

3) Неотрицательно

**Доказательство неотрицательности (для дискретного случая):**

Пусть

U

{\displaystyle U}

 - случайная величина, т.ч.

P
(
# U

P
i

Q
i

# )

P
i

{\displaystyle P(U = \frac{P\_i }{Q\_i }) = P\_i}

Тогда

K
L
(
P

Q
# )

∑

i

n

P
i

(

−
ln
⁡

Q
i

P
i

)

=

E

(
−
ln
⁡

U

)
≥

{\displaystyle KL(P||Q) = \sum^{n}\_{i} {P\_i \left ( -\ln{\frac{Q\_i }{P\_i }} \right ) } = \mathbb{E}(-\ln{U}) \ge}

Воспользуемся тем, что логарифм - выпуклая функция и неравенством Йенсена для неё.

≥
−
ln
⁡

E

U

=
−
ln
⁡

∑
i

P
i

Q
i

P
i

=
−
ln
⁡

∑
i

Q
i

=
−
ln
⁡

1

=
0

{\displaystyle \ge -\ln{\mathbb{E}U} = -\ln {\sum\_i P\_i \frac{Q\_i}{P\_i}} = -\ln{\sum\_i Q\_i} = -\ln{1} = 0}

4) Равно нулю только если

# P
Q

{\displaystyle P = Q}

 с вероятностью 1. Это вытекает из доказательства неотрицательности и критерия обращения неравенства Йенсена в равенство.

## Связь с методом максимального правдоподобия

В билетах этого нет, поэтому просто ссылка на слайд.
Правила оформления статей

## Что нужно делать

* Выделять любые переменные, функции и т.д. в тексте тегом <math>, а не оставлять в тексте сырой набор символов. Это портит читаемость, и в разных местах одинаковые обозначения вырисовываются разным стилем.
* Не писать вмеcто тире - (дефис). Чтобы написать длинное тире (—) необходимо написать &mdash;. Чтобы написать среднее тире (–) необходимо написать &ndash;. Такое тире используется, например, при написании разброса дат (01.01.2016 – 02.01.2016), написания диапазона слайдов (слайды 12 – 17).
* В режиме формул вместо ... пишите \dots.
* Для обозначения умножения между переменными либо не ставится ничего, либо точка: \cdot. Но ни в коем случае не

∗

{\displaystyle \ast}

!
* Для написания нестрогих неравенств не пишется <=, вместо этого есть команды \le, \ge
* Для написания стрелок следствия используются команды: \Rightarrow (

⇒

{\displaystyle \Rightarrow}

), \rightarrow (

→

{\displaystyle \rightarrow}

), \Longrightarrow (

⟹

{\displaystyle \Longrightarrow}

), \Leftarrow (

⇐

{\displaystyle \Leftarrow}

), \leftarrow (

←

{\displaystyle \leftarrow}

), \Longleftarrow (

⟸

{\displaystyle \Longleftarrow}

). Для равносильности используются \Leftrightarrow (

⇔

{\displaystyle \Leftrightarrow}

), \leftrightarrow (

↔

{\displaystyle \leftrightarrow}

), \Longleftrightarrow (

⟺

{\displaystyle \Longleftrightarrow}

). Для обозначения стремления (например, для предела) есть короткая команда \to: (

1
n

→
0
,
n
→
∞

{\displaystyle {\dfrac {1}{n}}\to 0,n\to +\infty }

).
* Обычно функции не называются длинными именами, это не программирование. Например, вместо

L
o
s
s
(

y
′

,
y
)

{\displaystyle Loss(y',y)}

 лучше писать

L
(

y
′

,
y
)

{\displaystyle L(y',y)}

.
* Вместо ln, min, max, mod есть специальные команды — \ln, \min, \max, \mod. Их и нужно использовать.
* Для подписей снизу и сверху соответственно есть команды \underset{что снизу}{что подписываем} и \overset{что сверху}{что подписываем}
* Для расставления скобок подходящего размера в высоких формулах используется \left( "выражение" \right)
* Угловые скобки (например, для скалярного произведения) делаются с помощью команд

\langle и \rangle:

⟨
x
,
y
⟩

{\displaystyle \langle x, y \rangle}
Ансамблирование простым голосованием: предельный случай

Вы можете помочь, добавив навигационные ссылки.

 Вы можете помочь, кластеризовав информацию в этой статье.Возможно, следует разбить её на разделы или на несколько статей.

Рассмотрим задачу бинарной классификации. Пусть

f
i

(
x
)
,
# i

1
,
M

¯

{\displaystyle f\_i(x), i = \overline{1,M}}

 — бинарные классификаторы, решающие данную задачу.

Введём случайные величины

ξ
i

=

I

[

f
i

(
x
)

{\displaystyle \xi\_i = \mathbf{I} [ f\_i(x) }

 ошибся

]
∼
B
e
r
n
o
u
l
l
i
(
p
)
,
p
∈
(
0
,
1
)

{\displaystyle ] \sim Bernoulli(p), p \in (0, 1)}

 (допустим, смогли задать соответствующее вероятностное пространство).

E

[

ξ
i

# ]
p
,

D

[

ξ
i

# ]
p
⋅
(
1
−
p
)

{\displaystyle \mathbb{E}[\xi\_i] = p, \mathbb{D}[\xi\_i] =
 p\cdot (1 - p)}

. Пусть

ξ
i

,
# i

1
,
M

¯

{\displaystyle \xi\_i, i = \overline{1, M}}

 независимые. Введём

ξ
¯

=

1
M

⋅

∑

# i
1

M

ξ
i

{\displaystyle \overline{\xi} = \frac{1}{M}\cdot\sum\limits\_{i = 1}^{M}\xi\_i}

, тогда

E

[

ξ
¯

# ]
p
,

D

[

ξ
¯

# ]

p
⋅
(
1
−
p
)

M

{\displaystyle \mathbb{E}[\overline{\xi}]
 = p, \mathbb{D}[\overline{\xi}] = \frac{p\cdot (1 - p)}{M}}

.

Пусть

F
(
x
)

{\displaystyle F(x)}

 ансамбль из

{

f
i

(
x
)

}

# i
1

M

{\displaystyle \{f\_i(x)\}\_{i = 1}^{M}}

, построенный по принципу простого голосования (голосование по большинству). Тогда нетрудно заметить, что

F
(
x
)

{\displaystyle F(x)}

 ошибается тогда и только тогда, когда

ξ
¯

>
0.5

{\displaystyle \overline{\xi} > 0.5}

. Вероятность ошибки

F
(
x
)

{\displaystyle F(x)}

 равна

∑

# i
⌊

M
2

⌋
1

M

M
!

(
M
−
i
)
!
⋅
i
!

⋅

p
i

⋅
(
1
−
p

)

(
M
−
i
)

{\displaystyle \sum\limits\_{i = \lfloor \frac{M}{2} \rfloor + 1}^{M} \frac{M!}{(M - i)!\cdot i!}\cdot p^i\cdot (1 - p)^{(M - i)}}

.

Рассмотрим случай сколь угодно большого числа независимых классификаторов

f
i

(
x
)

{\displaystyle f\_i (x)}

. При стремлении

M

{\displaystyle M}

 к бесконечности значение

D

[

ξ
¯

]

{\displaystyle \mathbb{D}[\overline{\xi}]}

 будет стремиться к нулю, то есть распределение

ξ
¯

{\displaystyle \overline{\xi}}

 будет стремиться к вырожденному. Так как

E

[

ξ
¯

# ]
p

{\displaystyle \mathbb{E}[\overline{\xi}] = p}

, то при бесконечном увеличении

M

{\displaystyle M}

 вероятность ошибки

F
(
x
)

{\displaystyle F(x)}

 будет стремиться к нулю, если

p
<
0.5

{\displaystyle p < 0.5}

.

Таким образом, при построении ансамбля простым голосованием счётного числа независимых классификаторов возможно построение идеального классификатора.
DIAVOLO X STAR PLATINUM

OKAY SO THIS HAPPENED BECAUSE MY BLOG DIALYDIADOP GOT AN ASK ABOUT I THINK HUGGING? AND DIA AND DOP RESPONDED WITH "THIS IS NOT MY BEAUTIFUL WIFE"

then i got an ask from an anon claiming to be the beautiful wife(tm) and after talking with bubbles a bit we decided star was the beautiful wife and it just stuck and stuff

bubbles originally wanted to be the beautiful wife

ew old drawing
Characters

**A**

* Amber Von Tussle
* Arvin Hodgepile

**B**

* Becky
* Beatnik Cat
* Beatnik Chick
* Belle
* Bix
* Bobby
* Brad
* Brenda
* Bum

**C**

* Carmelita
* Cindy Watkins
* Consuella
* Corey
* Corny Collins

**D**

* Darla
* Dash
* Dave
* Principal Davidson
* Doreen
* Duane
* The Dynamites

**E**

* Edna Turnblad

**F**

* Fender
* Mr. Flak
* Flasher
* Franklin Von Tussle
* Dr. Fredrickson

**G**

* Gilbert
* Governor
* Guard
* Gym Teacher

**H**

* Harriman F. Spritzer
* Hoo Hoo

**I**

* I.Q.
* Iggy
* Little Inez

**J**

* Jackie
* James
* Janetta
* Jermaine
* Jesse
* Joey
* Jon

**K**

* Kooks

**L**

* Link Larkin
* Lorraine
* Lou Ann

**M**

* Matron
* Mrs. Malinski
* Mikey
* Little Mo
* Motormouth Maybelle

**N**

* Nadine Carver
* Noreen

**O**

**P**

* Paddy Pingleton
* Pam
* Paulie
* Peaches
* Pearl
* Peter Pingleton
* Penny Pingleton
* Mr. Pinky
* Principal of PPHS
* Prudy Pingleton

**Q**

**R**

* Rhonda
* Rollo Von Tussle

**S**

* Seaweed J. Stubbs
* Shelley
* Mrs. Shipley
* Sketch
* Skillet

**T**

* Tammy (council member)
* Tammy Turner
* Thad
* Toussaint McCall
* Tracy Turnblad
* Tyrone

**U**

**V**

* Velma Von Tussle
* Vicky

**W**

* Wilbur Turnblad
* Miss Wimsey

**X**

**Y**

**Z**
Матрица ошибок (Confusion matrix)

Пусть дана выборка

x
i

{\displaystyle x\_i }

 (

# i
1
,
…
,
N

{\displaystyle i = 1, \dots, N}

,

y
i

{\displaystyle y\_i}

 - метка класса i-го объекта,

y
i

∈
{
1
,
2
,
…
,
C
}

{\displaystyle y\_i \in \{1, 2, \dots, C\}}

), каждый объект которой относится к одному из

C

{\displaystyle C}

 классов и классификатор

a

{\displaystyle a}

, который эти классы предсказывает. Матрицей ошибок для такого классификатора называется следующая матрица:

# M
{

m

i
j

}

i
,
# j
0

C

,

m

i
j

=

∑

# k
0

N

I

[
a
(

x
k

# )
j
]

I

[

y
k

=
i
]

{\displaystyle M = \{m\_{ij}\}\_{i,j=0}^C, ~m\_{ij} = \sum\_{k = 0}^N\mathbb{I}[a(x\_k) = j]\mathbb{I}[y\_k = i]}

.

Такая матрица показывает сколько объектов класса

i

{\displaystyle i}

 были распознаны как объекты класса

j

{\displaystyle j}

.

 Случай бинарной классификации

# y
1

{\displaystyle y=1}

# y
−
1

{\displaystyle y=-1}

a
(
x
# )
1

{\displaystyle a(x) = 1}

a
(
x
# )
−
1

{\displaystyle a(x) = -1}

В случае бинарной классификации метка класса

y

{\displaystyle y}

 принимает значение

1

{\displaystyle +1}

 (положительный класс) или

−
1

{\displaystyle -1}

 (отрицательный). Вводятся 4 величины, соответствующие элементам матрицы ошибок:

* True positive (TP).

T

# i
0

n

[
a
(

x
i

# )
1
]
[

y
i

=
1
]

{\displaystyle TP = \sum \_{i = 0} ^n [a(x\_i) = +1][y\_i = +1]}
* True negative (TN).

T

# i
0

n

[
a
(

x
i

# )
−
1
]
[

y
i

=
−
1
]

{\displaystyle TN = \sum \_{i = 0} ^n [a(x\_i) = -1][y\_i = -1]}
* False positive (FP).

F

# i
0

n

[
a
(

x
i

# )
1
]
[

y
i

=
−
1
]

{\displaystyle FP = \sum \_{i = 0} ^n [a(x\_i) = +1][y\_i = -1]}
* False negative (FN).

F

# i
0

n

[
a
(

x
i

# )
−
1
]
[

y
i

=
1
]

{\displaystyle FN = \sum \_{i = 0} ^n [a(x\_i) = -1][y\_i = +1]}

P означает что **классификатор** определяет класс объекта как положительный (N - отрицательный). T - значит что класс предсказан правильно (соответственно F - неправильно).

**Ахтунг!** Не путать с матрицей штрафов.

## Точность, полнота, F мера.

accuracy

=

T
P
T
N

T
P
F
P
F
N
T
N

{\displaystyle = \frac{TP + TN}{TP + FP + FN + TN}}

precision

=

T
P

T
P
F
P

{\displaystyle = \frac{TP}{TP + FP}}

recall

=

T
P

T
P
F
N

{\displaystyle = \frac{TP}{TP + FN}}

# F

2
∗
p
r
e
c
i
s
i
o
n
∗
r
e
c
a
l
l

p
r
e
c
i
s
i
o
n
r
e
c
a
l
l

{\displaystyle F = \frac{2 \* precision \* recall}{precision + recall}}

Литература:

* Китов лекции по оценкам классификаторов (2-7 слайды)
Метод минимизации эмпирического риска (Empirical risk minimization)

## Метод минимизации эмпирического риска

**Метод минимизации эмпирического риска (Empirical Risk Minimization)** — общий подход к решению широкого класса задач обучения по прецедентам, включая задачи классификации и регрессии.

1. **Функция потерь**

L

(
y
,

y
′

)

{\displaystyle {\mathcal L}(y,y')}

 характеризует величину отклонения ответа алгоритма

# y
a
(
x
)

{\displaystyle y=a(x)}

 от правильного ответа

y
′

{\displaystyle y'}

 на произвольном объекте

x
∈

X

{\displaystyle x \in \mathbb X}

.
2. **Эмпирический риск** — функционал качества, характеризующий среднюю ошибку алгоритма на обучающей выборке:

Q
(
a
,

X
m

# )

1
m

∑

# i
1

m

L

(
a
(

x
i

)
,

y

∗

(

x
i

)
)
.

{\displaystyle Q(a,X^m) = \frac{1}{m} \sum\_{i=1}^m {\mathcal L}(a(x\_i),y^{\*}(x\_i)).}

### Замечание

По-честному, мы должны минимизировать следующий функционал:

```

 ∫

 X

 ∫

 Y

 p
 (
 x
 ,
 y
 )

 L

 (
 a
 (
 x
 )
 ,
 y
 )
 d
 x
 d
 y

 {\displaystyle
 \int \limits\_{\mathbb X}\int \limits\_{\mathbb Y} p(x, y) \mathcal L(a(x), y) dx dy
 }

```

Но так как

p
(
x
,
y
)

{\displaystyle p(x, y) }

 нам не всегда известно, да и вычисление интегралов — трудоемкое дело, то мы заменяем этот интеграл фактически выборочным средним.

1. Метод минимизации эмпирического риска заключается в том, чтобы в заданной модели алгоритмов

A

{\displaystyle A}

 найти алгоритм, доставляющий минимальное значение функционалу эмпирического риска:

# a

a
r
g

min

a
∈
A

Q
(
a
,

X
m

)
.

{\displaystyle a = \mathrm{arg}\min\_{a\in A} Q(a,X^m).}

## Оценивание эмпирического риска

Китовослайд 19

Как правило, на тестовой выборке значение эмпирического риска будет больше, чем на обучающей выборке.

Оценить эмпирический риск на *тестовой выборке* можно с помощью:

* выборки, которая не использовалась на обучении (валидационная выборка)
* кросс-валидации
* leave-one-out (собственно, разновидность кросс-валидации)

Источники:

http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F\_%D1%8D%D0%BC%D0%BF%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE\_%D1%80%D0%B8%D1%81%D0%BA%D0%B0

http://www.machinelearning.ru/wiki/images/6/68/voron-ML-Lin.pdf
Отступ (для классификатора)

**Отступ (для классификатора)** — эвристика, оценивающая то, насколько объект "погружён" в свой класс, насколько эталонным представителем он является. Чем меньше значение отступа, тем ближе объект находится к границе класса, соответственно тем выше вероятность ошибочного прогноза.

Отступ отрицателен

⇔

{\displaystyle \Leftrightarrow}

 классификатор допускает на этом объекте ошибку.

## Формальное определение (для линейных классификаторов)

### Бинарный случай (

Y

=

{

−
1
,
1

}

{\displaystyle \mathbb{Y} = \left\{-1, 1\right\}}

)

M
(

x
i

,

y
i

# )

y
i

⟨

x
i

,
w
⟩

{\displaystyle M(x\_i, y\_i) = y\_i\langle x\_i, w \rangle}

### Многоклассовый случай

M
(

x
i

,

y
i

# )
⟨

x
i

,

w

y
i

⟩
−

max

y
∈

Y

,
y
≠

y
i

⟨

x
i

,

w
y

⟩

{\displaystyle M(x\_i, y\_i) = \langle x\_i, w\_{y\_i}\rangle - \max\_{y \in \mathbb{Y}, y \ne y\_i} \langle x\_i, w\_y\rangle }

,

y
i

{\displaystyle y\_i}

 — истинный класс объекта

x
i

{\displaystyle x\_i }

.

### Через дискриминантные функции

g

c

(
x
)

{\displaystyle g\_{c}(x)}

 — С дискриминантная функция, характеризующая принадлежность объекта классу. Тогда

M
(

x
i

,

c
i

# )

g

c
i

(

x
i

)
−

max

c
∈
C
∖
{

c
i

}

g
c

(

x
i

)

{\displaystyle M(x\_i, c\_i) = g\_{c\_i}(x\_i) - \underset{c \in C \backslash \{c\_i\}}{\max} g\_c(x\_i) }

.

## Формальное определение (kNN)

Зададим

g

c

(
x

# i
1

K

I

[

a
i

∈
c
]

{\displaystyle g\_{c}(x)=\sum\_{i=1}^{K}\mathbb{I}[a\_i \in c]}

, где

a
i

{\displaystyle a\_i}

 — ближайший сосед объекта

x

{\displaystyle x}

.

M
(

x
i

,

c
i

# )

g

c
i

(

x
i

)
−

max

c
∈
C
∖
{

c
i

}

g
c

(

x
i

)

{\displaystyle M(x\_i, c\_i) = g\_{c\_i}(x\_i) - \underset{c \in C \backslash \{c\_i\}}{\max} g\_c(x\_i) }

,

где

c
i

∈
{
1
,
2
,
…
,
C
}

{\displaystyle c\_i \in \{1, 2, \dots, C\} }

 — правильный класс для объекта

x
i

{\displaystyle x\_i }

.

## Классификация объектов в зависимости от отступа

Отрицательный отступ означает, что объект классифицирован неправильно, положительный — правильно. Модуль отступа показывает, насколько классификатор был "уверен" в ответе.

**Выбросы** — объекты, классифицируемые неправильно, с большим отрицательным значением отступа.

**Пограничные объекты** — объекты с малым по модулю отступом.

**Типичные объекты** — объекты, которые правильно классифицированы, с большим значением оступа.

**Эталоны** — объекты с наибольшим значением отступа.

Пороги определяются отдельно в каждом конкретном случае.

## Источники

Лекции Китова, слайд 38

Книжка Воронцова, страница 47
Ядра (Kernels)

Мы хотим совершить преобразование признаков

x
→
φ
(
x
)

{\displaystyle x \rightarrow \varphi(x)}

.
При этом мы зададим не преобразование

φ
(
x
)

{\displaystyle \varphi(x)}

, а скалярное произведение в новом пространстве признаков.

## **Определение**

Функция

K
(
x
,

x
′

)
:
X
×
X
→

R

{\displaystyle K(x, x'): X \times X \rightarrow \R}

 называется ядром, если она может быть представлена в виде

K
(
x
,

x
′

# )
⟨
φ
(
x
)
,
φ
(

x
′

)

⟩

H

{\displaystyle K(x, x') = \langle\varphi(x), \varphi(x')\rangle\_{H}}

 для какой либо функции

φ
(
x
)
:
X
→
H

{\displaystyle \varphi(x): X \rightarrow H}

## **Теорема Мерсера**

Функция

K
(
x
,
y
)

{\displaystyle K(x, y)}

 является ядром тогда и только тогда, когда:

1. Она симметрична:

K
(
x
,
y
# )
K
(
y
,
x
)

{\displaystyle K(x, y) = K(y, x)}
2. Она неотрицательно определена, то есть для любой конечной выборки матрица

# K

(

K
(

x
i

,

x
j

)

)

i
,
# j
1

l

{\displaystyle K = \Bigl( K(x\_i, x\_j) \Bigr)\_{i,j=1}^{l} }

 неотрицательно определена

## **Типичные ядра**

* Линейное:

K
(
x
,

x
′

# )
⟨
x
,

x
′

⟩

{\displaystyle K(x, x') = \langle x, x' \rangle}
* Полиномиальное:

K
(
x
,

x
′

# )
(
⟨
x
,

x
′

⟩
R

)
d

{\displaystyle K(x, x') = (\langle x, x'\rangle + R)^d}
* RBF-ядро:

K
(
x
,

x
′

# )
exp
⁡
(
−
γ
‖
x
−

x
′

‖
2

)

{\displaystyle K(x, x') = \exp(-\gamma \| x - x'\|^2)}

Почему ядра так выглядят и какую роль играют

R

{\displaystyle R}

 и

γ

{\displaystyle \gamma}

 можно посмотреть в семинарах Соколова с 7й страницы

## **Какие методы могут быть обобщены через ядра**:

* ridge regression
* SVM
* K-NN (так как расстояние можно записать как функцию от скалярных произведений следовательно и в терминах функции ядра)
* PCA (откуда здесь взялись скалярные произведения можно посмотреть в лекциях Воронцова про метод главных компонент)
* и т.д.

## **Ссылки**

* Лекции Китова

* Лекции Воронцова, слайды 13-16

* Семинары Соколова
Метрики

# )
ρ
(
x
,
z

# i
1

D

(

x
i

−

z
i

)
2

{\displaystyle d(x,z) = \rho(x,z)=\sqrt{\sum\_{i=1}^{D}(x^i - z^i)^2}}

###

L
p

{\displaystyle L\_p}

d
(
x
,
z
# )
ρ
(
x
,
z

# i
1

D

(

x
i

−

z
i

)
p

p

{\displaystyle d(x,z) = \rho(x,z)=\sqrt[p]{\sum\_{i=1}^{D}(x^i - z^i)^p}}

# )
ρ
(
x
,
z
# )
arccos
⁡

⟨

x
,
z

⟩

‖
x
‖

‖
z
‖

=
arccos
⁡

∑

# i
1

D

(

x
i

z
i

)

∑

# i
1

D

(

x
i

)
2

∑

# i
1

D

(

z
i

)
2

{\displaystyle d(x,z) = \rho(x,z)=\arccos{\frac{\left\langle x,z \right\rangle}{\left\Vert x\right\Vert \left\Vert z\right\Vert }} = \arccos{\frac{\sum\_{i=1}^{D}(x^iz^i)}{\sqrt{\sum\_{i=1}^{D}(x^i)^2} \sqrt{\sum\_{i=1}^{D}(z^i)^2}}}}

Это метрика схожести, использующая тот факт, что

⟨

x
,
z

⟩

=

‖
x
‖

‖
z
‖

c
o
s
(
α
)

{\displaystyle \left\langle x,z \right\rangle = \left\Vert x\right\Vert \left\Vert z\right\Vert cos(\alpha)}

, где

α

{\displaystyle \alpha}

 — это угол между

x

{\displaystyle x}

 и

z

{\displaystyle z}

.

### Жаккарда

d
(
A
,
B
# )
ρ
(
A
,
B
# )
1
−

A
∩
B

A
∪
B

Это расстояние между множествами.

А также Китов просил доказать, почему она более устойчива к выбросам.

## Параметризация метрики

   Китов что-то рассказывал, но я рыба. Тут же было что-то про сглаживание Лапласа.

В лекциях я ничего про это не нашел.
Treasures of Darkness

The Treasures of Darkness are seven legendary items created from an ancient spell found in the Infernal Spellbook in order to keep the ancient magical arts of the Sea of Darkness locked up forever. The Purgatory Stone in the village of Mer Khar is the origin and resting place of the seven items, and also where Mephistopheles sacrificed thousands beings in order to create them.

## Abilities:

The Treasures of Darkness grant their chosen owners access to ancient magic to use in combat and to their advantage. The most standard are granting a wish when being acquired, communicating with the dead, casting terrible punishments on the loser of a fight or contest that the owner won against. When a fight starts, using the magic of the items, combatants would send themselves into an alternate dimension where their fight won't be interrupted, and where more than just the mortal coil of the combatents are at risk.

Outside of combat, in addition to their unique abilities, the treasures' power of the Sea of Darkness also allow the owners to harness dark magic that they can defend themselves with. The power within lets their holders perform feats like: putting people to sleep, cloaking himself and others from sight, interfering with other fights using the power of the Sea, remote-viewing, etc. The items also give their owners protection from harm, and from other magic. According to Emilia, three of the Treasures represented justice (Key, Scale and Necklace), three are weak to evil (Ring, Rod, and Eye), and the seventh, the Darkness Pendant, represents both evil and justice.
Cream

not the stand you shit

cream is a super cool friend who ive talked to for like 5 years now

she has like 243835647868 shinies in pokemon and we sometimes hunt monsters together

she's super cool and also puts up with my screaming about rayman

ALSO SHES AMAZING AT ANIMATING

AND JUST SUPER NICE

she told me to use an image of trash for her but shes too good for that
CHINESE

ITS A VIDEO OF TWO GUYS PLAYING PARAPPA 2 AND COLONEL NOODLES SAYS CHINESE A LOT

CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE CHINESE