Model: YarKo69/e5-base-retrievers
Author: YarKo69
Pipeline: sentence-similarity
Library: sentence-transformers
Tags: sentence-transformers, safetensors, bert, sentence-similarity, feature-extraction, generated_from_trainer, dataset_size:935, loss:MultipleNegativesRankingLoss, arxiv:1908.10084, arxiv:1705.00652, base_model:intfloat/multilingual-e5-small, base_model:finetune:intfloat/multilingual-e5-small, text-embeddings-inference, endpoints_compatible, region:us
Base models (finetune): id: intfloat/multilingual-e5-small
Card metadata: base_model: intfloat/multilingual-e5-small
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags: sentence-transformers, sentence-similarity, feature-extraction, generated_from_trainer, dataset_size:935, loss:MultipleNegativesRankingLoss
widget: source_sentence: query: A.1.2. Матрица Фишера
Оптимизация при помощи натурального градиента предлагает использовать другую метрику, которая учтёт
структуру нашего функционала:



f(φ) ≈f(φ0) + ⟨∇φf(φ)|φ=φ0
,φ −φ0⟩→ min
φ
KL(q(x|φ0) ∥q(x|φ)) ≤α
Как решать такую задачу условной оптимизации? Еслиφ≈φ0, достаточно аппроксимировать дивергенцию
KL(q(x|φ0) ∥q(x|φ)) при помощи разложения в ряд Тейлора до второго члена. До второго /emdash.cyr потому что
первое ноль.
Утверждение 93:
∇φKL(q(x|φ0) ∥q(x|φ))|φ=φ0
= 0
Доказательство. KL-дивергенция в точкеφ= φ0 равна 0 как дивергенция между одинаковыми распре-
делениями, следовательно как функция отφона достигает в этой точке глобального минимума⇒градиент
равен нулю. ■
Определение 128: Для распределенияq(x|φ) матрицей Фишера(Fisher matrix) называется
Fq(φ) := −Eq(x|φ)∇2
φlog q(x|φ)
Теорема 93: Матрица Фишера есть гессианKL-дивергенции:
∇2
φKL(q(x|φ0) ∥q(x|φ))
⏐⏐⏐
φ=φ0
= Fq(φ0)
Доказательство.
∇2
φKL(q(x|φ0) ∥q(x|φ))
⏐⏐⏐
φ=φ0
= ∇2
φ
[
const(φ) −Eq(x|φ0) log q(x|φ)
]⏐⏐⏐
sentences: passage: ства оптимальных стратегий. Для доказательства нам понадобится факт, который мы технически докажем в
рамках повествования чуть позже: для данного MDPQ∗/emdash.cyr единственная функцияS×A→ R, удовлетворя-
ющая уравнениям оптимальности Беллмана.
Теорема 15 /emdash.cyr Критерий оптимальности Беллмана: πоптимальна тогда и только тогда, когда∀s,a: π(a|s) >0
верно:
a∈Argmax
a
Qπ(s,a)
Необходимость. Пустьπ/emdash.cyr оптимальна. Тогда её оценочные функции совпадают сV∗,Q∗, для которых
выполнено уравнение (3.15):
Vπ(s) = V∗(s) = max
a
Q∗(s,a) = max
a
Qπ(s,a)
С другой стороны из связи VQ (3.6) верноVπ(s) = Eπ(a|s)Qπ(s,a); получаем
Eπ(a|s)Qπ(s,a) = max
a
Qπ(s,a),
из чего вытекает доказываемое. ■
Достаточность. Пусть условие выполнено. Тогда для любой парыs,a:
Qπ(s,a) = {связь QQ (3.7)}= r(s,a) + γEs′Eπ(a′|s′)Qπ(s′,a′) = r(s,a) + γEs′max
a′
Qπ(s′,a′)
Из единственности решения этого уравнения следуетQπ(s,a) = Q∗(s,a), и, следовательно,π оптимальна.
■, passage: A.1.2. Матрица Фишера
Оптимизация при помощи натурального градиента предлагает использовать другую метрику, которая учтёт
структуру нашего функционала:



f(φ) ≈f(φ0) + ⟨∇φf(φ)|φ=φ0
,φ −φ0⟩→ min
φ
KL(q(x|φ0) ∥q(x|φ)) ≤α
Как решать такую задачу условной оптимизации? Еслиφ≈φ0, достаточно аппроксимировать дивергенцию
KL(q(x|φ0) ∥q(x|φ)) при помощи разложения в ряд Тейлора до второго члена. До второго /emdash.cyr потому что
первое ноль.
Утверждение 93:
∇φKL(q(x|φ0) ∥q(x|φ))|φ=φ0
= 0
Доказательство. KL-дивергенция в точкеφ= φ0 равна 0 как дивергенция между одинаковыми распре-
делениями, следовательно как функция отφона достигает в этой точке глобального минимума⇒градиент
равен нулю. ■
Определение 128: Для распределенияq(x|φ) матрицей Фишера(Fisher matrix) называется
Fq(φ) := −Eq(x|φ)∇2
φlog q(x|φ)
Теорема 93: Матрица Фишера есть гессианKL-дивергенции:
∇2
φKL(q(x|φ0) ∥q(x|φ))
⏐⏐⏐
φ=φ0
= Fq(φ0)
Доказательство.
∇2
φKL(q(x|φ0) ∥q(x|φ))
⏐⏐⏐
φ=φ0
= ∇2
φ
[
const(φ) −Eq(x|φ0) log q(x|φ)
]⏐⏐⏐, passage: 4.3.5 Distributional Value Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.3.6 Категориальная аппроксимация Z-функций . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.3.7 Categorical DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.3.8 Квантильная аппроксимация Z-функций . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3.9 Quantile Regression DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.3.10 Implicit Quantile Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.3.11 Rainbow DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5 Policy Gradient подход 120
5.1 Policy Gradient Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.1.1 Вывод первым способом . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120, source_sentence: query: 7.1.4. Upper Conﬁdence Bound (UCB)
Попробуем поискать хорошую эвристику исследования среди алгоритмов следующего вида: на очередном
шагеkбудем выбирать действие по следующей формуле:
ak := argmax
a
[Qk(a) + Uk(a)] , (7.2)
гдеUk(a) /emdash.cyr некоторая положительная добавка, имеющая смыслбонуса за исследования(exploration bonus).
То, что добавка должна быть положительна, следует из принципаоптимизма перед неопределённостью
(optimism in the face of uncertainty).
Пример 99: Представьте, что вы идёте мимо пещеры, в которую вы никогда не заходили, и ваша оценка Q-
функции для действия /guillemotleft.cyrзайти в пещеру/guillemotright.cyr ниже, чем оценка других действий. Если алгоритм исследования
таков, что ваше значение Q-функции занижается, то может возникнуть ситуация, что вы никогда не зайдёте в
пещеру и не узнаете, что там. Если бы вы были уверены в идеальности ваших оценок, вы бы имели гарантии
sentences: passage: 7.1.4. Upper Conﬁdence Bound (UCB)
Попробуем поискать хорошую эвристику исследования среди алгоритмов следующего вида: на очередном
шагеkбудем выбирать действие по следующей формуле:
ak := argmax
a
[Qk(a) + Uk(a)] , (7.2)
гдеUk(a) /emdash.cyr некоторая положительная добавка, имеющая смыслбонуса за исследования(exploration bonus).
То, что добавка должна быть положительна, следует из принципаоптимизма перед неопределённостью
(optimism in the face of uncertainty).
Пример 99: Представьте, что вы идёте мимо пещеры, в которую вы никогда не заходили, и ваша оценка Q-
функции для действия /guillemotleft.cyrзайти в пещеру/guillemotright.cyr ниже, чем оценка других действий. Если алгоритм исследования
таков, что ваше значение Q-функции занижается, то может возникнуть ситуация, что вы никогда не зайдёте в
пещеру и не узнаете, что там. Если бы вы были уверены в идеальности ваших оценок, вы бы имели гарантии, passage: пед. В качестве такого /guillemotleft.cyrсамоката/guillemotright.cyr можно взять /guillemotleft.cyrобратный велосипед/guillemotright.cyr (/guillemotleft.cyrThe Backwards Bicycle/guillemotright.cyr): велосипед,
в котором поворот руля влево отклоняет колесо вправо, и наоборот. Подробнее про этот эксперимент можно
посмотреть в этом видео. Интересно, что обе стратегии /emdash.cyr и для езды на велосипеде, и для езды на /guillemotleft.cyrобрат-
ном велосипеде/guillemotright.cyr /emdash.cyr восстанавливаются после некоторой тренировки (причём как-то подозрительно резко, с
каким-то /guillemotleft.cyrфазовым переходом/guillemotright.cyr) и в конечном счёте уживаются вместе.
1.2.4. On-policy vs Oﬀ-policy
В model-free алгоритмах сбор данных становится важной составной частью: определяя политику взаимодей-
ствия со средой (behavior policy), мы влияем на то, для каких состоянийs,a мы получим сэмплs′из функции, passage: ошибочно. При этом, чем больше неопределённость в их значениях, тем больше должно быть завышение.
Строить добавку нужно из соображений, вытекающих из формы регрета (7.1). Добавка должна быть ма-
ленькая, если данное действие было выбрано уже много раз, и наша неопределённость в знаниях о среднем
значенииQ(a) достаточно точные, или же если нам кажется, что регрет для этого действия близок к нулю.
Идея upper conﬁdence bounds(UCB) алгоритмов следующая: давайте выборомUk(a) прогарантируем,
что
Q(a) ≤Qk(a) + Uk(a)
с очень высокой вероятностью, близкой к единице, то есть, другими словами, построимдоверительный ин-
тервал(conﬁdenceinterval)ивозьмёмеговерхнююграницу.ТакойUk(a) будетобратнопропорционаленnk(a),
ведь граница будет сжиматься к эмпирическому среднему. Жадный выборargmax
a
Qk(a), интуитивно, будет
выбираться часто; его счётчик будет увеличиваться, и exploration bonus для него будет уменьшаться; тогда, source_sentence: query: нужно как-то найти совершенно новую область в пространстве стратегий.
Другие проблемы куда более характерны именно для RL. Допустим, агент совершает какое-то действие,
которое запускает в среде некоторый процесс. Процесс протекает сам по себе без какого-либо дальнейшего вме-
шательства агента и завершается через много шагов, приводя к награде. Это проблемаотложенного сигнала
(delayed reward) /emdash.cyr среда даёт фидбэк агенту спустя какое-то (вообще говоря, неограниченно длительное) время.
18
sentences: passage: ственно, мы могли бы сделать это для Q-функции или добавить policy improvement после, например, каждого
шага в среде, получив табличный алгоритм обучения стратегии. Позже в разделе 3.5.7 мы рассмотрим форму-
лировку теоремы о сходимости таких алгоритмов для ещё более общей ситуации.
Очевидно, TD(λ) обновление не эквивалентно никакимN-шаговым temporal diﬀerence формулам: в нём
замешана как Монте-Карло оценка, то есть замешана вся дальнейшая награда (весь будущий сигнал), так и
приближения V-функции во всех промежуточных состояний (при любомλ ∈(0,1)). Гиперпараметрλтакже
не имеет смысла времени, и поэтому на практике его легче подбирать.
Полезность TD(λ) в том, чтоλ непрерывно и позволяет более гладкую настройку /guillemotleft.cyrдлины следа/guillemotright.cyr. На
практике алгоритмы будут чувстительны к выборуλв намного меньшей степени, чем к выборуN. При
этом даже еслиλ <1, в оценку /guillemotleft.cyrпоступает/guillemotright.cyr информация о далёкой награде, и использование TD(λ), passage: нужно как-то найти совершенно новую область в пространстве стратегий.
Другие проблемы куда более характерны именно для RL. Допустим, агент совершает какое-то действие,
которое запускает в среде некоторый процесс. Процесс протекает сам по себе без какого-либо дальнейшего вме-
шательства агента и завершается через много шагов, приводя к награде. Это проблемаотложенного сигнала
(delayed reward) /emdash.cyr среда даёт фидбэк агенту спустя какое-то (вообще говоря, неограниченно длительное) время.
18, passage: обманывает.
Естественно, подвох в том, что на практике мы не будем знать точное значение оценочных функций, а значит,
и истинное значение Advantage. Решая вопрос оценки значения Advantage для данной парыs,a, мы фактически
будем проводить credit assingment /emdash.cyr это одна и та же задача.
3.2.2. Relative Performance Identity (RPI)
Мы сейчас докажем одну очень интересную лемму, которая не так часто нам будет нужна в будущем, но
которая прям открывает глаза на мир. Для этого вспомним формулу reward shaping-а (1.7) и заметим, что мы
можем выбрать в качестве потенциала V-функцию произвольной стратегииπ2:
Φ(s) := Vπ2(s)
Действительно, требований к потенциалу два: ограниченность (для V-функций это выполняется в силу наших
ограничений на рассматриваемые MDP) и равенство нулю в терминальных состояниях (для V-функций это
50, source_sentence: query: Z∗(s,a)
c.d.f.
:= Zπ∗
(s,a) (4.15)
Мы начинаем спотыкаться уже на этом моменте, и дальше будет только хуже.
Теорема 43: Определение (4.15) неоднозначно.
Доказательство. Рассмотрим MDP, где агент может выбрать действиеa=
= и получить нулевую награду с вероятностью 1, илиa= и получить +1
или -1 с вероятностями 0.5 (эпизод в обоих случаях заканчивается). Все страте-
гии будут оптимальными, хотя все Z-функции различны. ■
С уравнением оптимальности Беллмана дляZ∗тоже внезапно есть тонкости. Для любой оптимальной стра-
тегииπ∗вследствие (4.10) верно, что
Q∗(s,a) = EZπ∗
(s,a),
и мы знаем, что, в частности, среди оптимальных есть стратегия
π∗(s) = argmax
a
Q∗(s,a) = argmax
a
EZπ∗
(s,a).
В принципе, можно взять (4.11) для этойπ∗(s) и использовать её вид.
Z∗(s,a)
c.d.f.
= r(s,a) + γZ∗(s′,π∗(s′)), s ′∼p(s′|s,a) (4.16)
Здесь справа мы для данныхs,a описываем следующий процесс генерации случайной величины: генерируем
s′ из функции переходов, определяем однозначно9 a′ = argmax
a′
sentences: passage: Z∗(s,a)
c.d.f.
:= Zπ∗
(s,a) (4.15)
Мы начинаем спотыкаться уже на этом моменте, и дальше будет только хуже.
Теорема 43: Определение (4.15) неоднозначно.
Доказательство. Рассмотрим MDP, где агент может выбрать действиеa=
= и получить нулевую награду с вероятностью 1, илиa= и получить +1
или -1 с вероятностями 0.5 (эпизод в обоих случаях заканчивается). Все страте-
гии будут оптимальными, хотя все Z-функции различны. ■
С уравнением оптимальности Беллмана дляZ∗тоже внезапно есть тонкости. Для любой оптимальной стра-
тегииπ∗вследствие (4.10) верно, что
Q∗(s,a) = EZπ∗
(s,a),
и мы знаем, что, в частности, среди оптимальных есть стратегия
π∗(s) = argmax
a
Q∗(s,a) = argmax
a
EZπ∗
(s,a).
В принципе, можно взять (4.11) для этойπ∗(s) и использовать её вид.
Z∗(s,a)
c.d.f.
= r(s,a) + γZ∗(s′,π∗(s′)), s ′∼p(s′|s,a) (4.16)
Здесь справа мы для данныхs,a описываем следующий процесс генерации случайной величины: генерируем
s′ из функции переходов, определяем однозначно9 a′ = argmax
a′, passage: distributional reinforcement learning. InProceedings of the AAAI Conference on Artiﬁcial Intelligence, volume 33,
pages 4504–4511.
[Mania et al., 2018] Mania, H., Guy, A., and Recht, B. (2018). Simple random search provides a competitive approach
to reinforcement learning.arXiv preprint arXiv:1803.07055.
[Mnih et al., 2016] Mnih,V., Badia,A.P.,Mirza,M., Graves,A., Lillicrap,T.,Harley,T., Silver,D., andKavukcuoglu,
K. (2016). Asynchronous methods for deep reinforcement learning. InInternational conference on machine learning,
pages 1928–1937.
[Mnih et al., 2013] Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., and Riedmiller,
M. (2013). Playing atari with deep reinforcement learning.arXiv preprint arXiv:1312.5602.
[Munos et al., 2016] Munos, R., Stepleton, T., Harutyunyan, A., and Bellemare, M. G. (2016). Safe and eﬃcient
oﬀ-policy reinforcement learning.arXiv preprint arXiv:1606.02647., passage: обучения меняются счётчики посещения. Это довольно типично, что внутренняя мотивация нестационарна:
модуль внутренней мотивации принципиально есть часть обучающейся системы, и он тоже постепенно /guillemotleft.cyrобу-
чается/guillemotright.cyr, следовательно, меняется. Для нас это значит, что нужно будет использовать on-policy алгоритмы для
обучения на такой сигнал.
Эпизодичные бонусы, конечно же, можно считать модификацией функции награды, и поэтому подобные
оракулы можно считать /guillemotleft.cyrручными эвристиками/guillemotright.cyr. Агент в том числе по итогам обучения научится в ходе одного
эпизода /guillemotleft.cyrбегать по всему MDP/guillemotright.cyr. Это, однако, вполне может быть полезно в каких-нибудь лабиринтах или
задачах, где агенту нужно что-то где-то найти в течение самой игры. Проблема эпизодичных бонусов в том, что
они формально нарушают предположение о полной наблюдаемости пространства состояний: функция награды, source_sentence: query: 2Ea(∇θlog πθ(a|s) (Qπ(s,a) −b) −m)T (−∇θlog πθ(a|s)) = 0
Выделяем норму градиента логарифма правдоподобия:
−Ea∥∇θlog πθ(a|s)∥2
2Qπ(s,a) + Ea∥∇θlog πθ(a|s)∥2
2b+ EamT (∇θlog πθ(a|s)) = 0 (5.15)
Осталось заметить, что третье слагаемое есть ноль. Это обобщение нашей теоремы о бэйзлайне (формулы
(5.6)): условно, бэйзлайн может быть свой для каждой компоненты вектораθ, опять же, до тех пор, пока он
не зависит от действий. В данном случаеm /emdash.cyr некоторый фиксированный вектор, одинаковый для всехa;
поэтому, еслиd/emdash.cyr размерность вектора параметровθ, то:
EamT (∇θlog πθ(a|s)) = Ea
d∑
i=0
mi∇θi log πθ(a|s) =
d∑
i=0
miEa∇θi log πθ(a|s)  
0 по формуле (5.6)
= 0
Убирая это нулевое третье слагаемое из (5.15), получаем равенство между первыми двумя:
bEa∥∇θlog πθ(a|s)∥2
2 = Ea∥∇θlog πθ(a|s)∥2
2Qπ(s,a)
Выражая из негоb, получаем доказываемое.
130
sentences: passage: с подмешанным эксплорейшном. Это различие было для нас принципиально: оптимальны детерминированные
стратегии, а взаимодействовать со средой мы готовы лишь стохастичными стратегиями. У этого /guillemotleft.cyrнесовпадения/guillemotright.cyr
есть следующий эффект.
Пример 59 /emdash.cyr Cliﬀ World: Рассмотрим MDP с рисунка с детерминированной функцией переходов, действиями
вверх-вниз-вправо-влево иγ <1; за попадание в лаву начисляется огромный штраф, а эпизод прерывается.
За попадание в целевое состояние агент получает +1, и эпизод также завершается; соответственно, задача
агента /emdash.cyr как можно быстрее добраться до цели, не угодив в лаву.
Q-learning, тем не менее, постепенно сойдётся к оптимальной стра-
тегии: кратчайшим маршрутом агент может добраться до терминаль-
ного состояния с положительной наградой. Однако даже после того,
как оптимальная стратегия уже выучилась, Q-learning продолжает
прыгать в лаву! Почему? Проходя прямо возле лавы, агент каждый, passage: 2Ea(∇θlog πθ(a|s) (Qπ(s,a) −b) −m)T (−∇θlog πθ(a|s)) = 0
Выделяем норму градиента логарифма правдоподобия:
−Ea∥∇θlog πθ(a|s)∥2
2Qπ(s,a) + Ea∥∇θlog πθ(a|s)∥2
2b+ EamT (∇θlog πθ(a|s)) = 0 (5.15)
Осталось заметить, что третье слагаемое есть ноль. Это обобщение нашей теоремы о бэйзлайне (формулы
(5.6)): условно, бэйзлайн может быть свой для каждой компоненты вектораθ, опять же, до тех пор, пока он
не зависит от действий. В данном случаеm /emdash.cyr некоторый фиксированный вектор, одинаковый для всехa;
поэтому, еслиd/emdash.cyr размерность вектора параметровθ, то:
EamT (∇θlog πθ(a|s)) = Ea
d∑
i=0
mi∇θi log πθ(a|s) =
d∑
i=0
miEa∇θi log πθ(a|s)  
0 по формуле (5.6)
= 0
Убирая это нулевое третье слагаемое из (5.15), получаем равенство между первыми двумя:
bEa∥∇θlog πθ(a|s)∥2
2 = Ea∥∇θlog πθ(a|s)∥2
2Qπ(s,a)
Выражая из негоb, получаем доказываемое.
130, passage: KL(p(T |π) ∥p(T |π∗)) →min
π
(8.3)
Теорема 86: Задача (8.3) эквивалентна задаче Maximum Entropy RL (6.7).
Доказательство. Распишем (8.3):
KL(p(T |π) ∥p(T |π∗)) = ET∼π
log p(T |π)
  ∑
t≥0
log π(at |st) + logp(st+1 |st,at) − (8.4)
−ET∼π
∑
t≥0
log p(st+1 |st,at) −rt −const(π)
  
log p(T |π∗) из (8.2)
, (8.5)
гдеconst(π) /emdash.cyr нормировочная константа распределения (8.2). Убирая сокращающиеся логарифмы вероят-
ностей переходов и домножая на минус единицу, получаем:
ET∼π
∑
t≥0
[rt −log π(at |st)] →max
π
,
что есть в точности Maximum Entropy RL. ■
191
Likes: 0 | All-time downloads: 18
Created: 2025-03-29 15:48:09