RLHF/DPO 小話（その 4）
和地 瞭良 / Akifumi Wachi

April 30, 2024
RLHF 1 や DPO 2 に関して論文 [Wachi et al., 2024] を最近執筆した。やはり自分で研究すると理解がかなり深まるわけで、巷ではあまり議論されていないことが色々と分かった。なので、すでに公開済みの内容の中から話せる範囲で情報共有して、誰かの役に立てばいいな、と思っている次第である。やる気が持続すればその 4 くらいまでいく予定（多分力尽きる）。

RLHF = Reinforcement Learning from
Human Feedback [Ouyang et al., 2022]
1

DPO = Direct Preference Optimization[Rafailov et al., 2024]2

これまでのコラム（その１-３）• https://akifumi-wachi-4.github.io/website/jp.html

前回のおさらい本コラムで扱ってきた手法のほとんど（RLHF, DPO, KTO など）は、

maxπθ

E x∼ρ,y∼πθ (·| x) [ r ( x, y) ] − βDKL [ πθ (y | x ) ∥ πref (y | x ) ],(1)という Reverse KL divergence DKL を用いた定式化に基づいており、この問題の解析解は

11⋆πr ( y | x ) =π (y | x ) expr ( x, y) ,(2)Zr ( x; πref ) refβという形で書ける、と述べてきた。
一方で、DKL を任意の f -divergence D f で置き換えることも可能で、その場合は解析解が
1
1πr⋆ (y | x ) =πref (y | x )( f ′ )−1r ( x, y) ,(3)br ( x; πref )βZという (2) の一般型となる。例えば、Forward KL divergence の場合は、

πr⋆ (y | x ) ∝ −πref (y | x )1r ( x, y)β −1(4)を得る。

Reverse KL divergence の大きすぎるメリットとは
いま、ある指標 r に関してすでにアライメント済みの方策を、また別の指標 g でアライメントすることを考えよう。Reverse KL divergence を用いているとき、指標 r に関してアライメント済みの方策は、
11⋆πr ( y | x ) =π (y | x ) expr ( x, y) ,(5)Zr ( x; πref ) ref
β2を満たす 3 。いまこの πr⋆ を更に指標に g に関してアライメントするとき、いま我々が解いている最適化問題は

maxπθ

E x∼ρ,y∼πθ (·| x) [ g( x, y) ] − β g DKL [ πθ (y | x ) ∥ πr⋆ (y | x ) ],となり、その最適解 π ♯ は1π (y | x ) = ♯π ⋆ (y | x ) exp
Z (x) r♯1g( x, y) ,βg(6)(7)なる。ただし、KL ペナルティのためのパラメータは、より一般的なケースを考えるため、 β → β g とした。もちろん β g = β でも構わない。ただし、Z ♯ は正規化のための分配関数で、

1Z ♯ ( x ) := ∑ πr⋆ (y | x ) exp
g( x, y) .
(8)βgyである。π ♯ を直感的に説明すると、以下のようになる。

• πr⋆ をパラメータ β g で関数 g に関してアライメントしたときの最適解は (6) のような形で書けますよ
いま、πr⋆ の定義式 (2) を代入してみよう。すると、

11♯⋆g( x, y)π (y | x ) = ♯π (y | x ) expβg
Z (x) r
1111= ♯πref (y | x ) expr ( x, y) exp
g( x, y)ββgZ ( x ) Zr ( x; πref )|{z}πr⋆ (y| x )11= ♯πref (y | x ) exp
Z ( x ) Zr ( x; πref )11r ( x, y) +g( x, y)ββg

再び、この式の意味を直感的に考えてみると、• πr⋆ をパラメータ β g で関数 g に関してアライメントしたときの最適解
βは、パラメータ β で πref を関数 r + βg g に関してアライメントしたときの最適解と一致する。となる。つまり、アライメント済みの方策を更にアライメントする、という操作は、ないぶでは多目的最適化を解いていることになるわけである。
しかし、このような結果が得られるのは、exp が任意の実数 x, y ∈ Rに対し、exp(x + y) = exp(x) exp(y)(9)を満たすからで、exp が登場するのは Reverse KL divergence を使っているからである。
Forward KL divergence のときはどうであろうか？最適解の形が (4)になるわけだが、意味がないとは言わないまでも、
 −1  −111r ( x, y)g( x, y)(10)ββgの積の形がいまいち何をしたいのが判然としないだろう。

厳密には、（特に RLHF のときに）アルゴリズムの最適化誤差等により上式を満たしているとは限らないが、最適化が上手になされたとして方策が (5) のような形状をしていると仮定して話を進める。
3

3

言語モデルのアライメントアルゴリズムに必要な性質とは言語モデルは、これから最も社会に浸透する人工知能の一つになるだろう。そうすると、「有用なことを人間らしく喋る」というだけではダメで、社会的な責任を果たす必要が出てくるわけである。どの程度の厳しい安全性基準を設けるかは、単純な技術の問題ではないので一旦おいておくとしても、• 有害発言 (暴言・差別発言) を頻繁に吐いてしまう• 敵対的なユーザーに対してあまりに脆弱• プライバシーを漏洩してしまう等といった言語モデルはやはり許されないわけである。

多目的最適化・制約付き最適化
現状のアライメントアルゴリズムは、単一の指標である報酬関数 r に基づいてアライメントしているわけであるが、「より有用な出力」と「より安全な出力」を同じものとして扱っているわけで、アルゴリズム選択・データセット構築双方の面で柔軟性が低いと言わざるを得ない。
そうすると、報酬関数とは別の関数 g を用意して、多目的最適化・制約付き最適化問題として解いたほうが見通しが良いことが多い。
いま、リファレンス方策 πref を関数

h( x, y) := r ( x, y) + λg( x, y)(11)に関してアライメントすることを考えよう。λ ∈ R は、r と g の影響度を調整するパラメータである。制約付き最適化についても適切な仮定を置くことにより、11に帰着するので、詳細が気になる方はWachi et al.
[2024] をご覧頂きたい。
このコラムで何度も登場しているが、このときの最適解は、
11
λ⋆πh (y | x ) =π (y | x ) expr ( x, y) + g( x, y) , (12)Zh ( x; πref ) refββとなる。exp の性質から、

1πh⋆ (y | x ) =π (y | x ) exp
Zh ( x; πref ) ref1
λr ( x, y) exp
g( x, y) ,ββが成り立つこと、πr⋆ が (2) のように表せることから、
Zr ( x; πref )λ11⋆
πh (y | x ) =π (y | x ) expr ( x, y) exp
g( x, y)Zh ( x; πref ) Zr ( x; πref ) ref
ββ{z}|=を得る。

Zr ( x; πref ) ⋆π (y | x ) exp
Zh ( x; πref ) r

πr⋆ (y| x )λg( x, y)β4

段階的に最適化すれば OKZ ( x;π)

前章で最後に登場した式、Y ( x ) := Zh ( x;π ref) とおけば、rref

1πh⋆ (y | x ) =π ⋆ (y | x ) exp
Y(x) rλg( x, y)βのように表せる。簡単な式変形から、

g( x, y) =π ⋆ (y | x )ββ+ log Y ( x ).
log h⋆λπr ( y | x ) λ(13)となる。Y ( x ) は今まで登場した分配関数同様出力 y に依存しない関数
ゆえ、

g⋆ ( x, yw ) − g⋆ ( x, yl )=π ⋆ (yw | x )βπ ⋆ (yl | x )βββloglog
Y(x)−loglogY(x).
+−λ⋆πr⋆⋆ (yw | x ) λ⋆λ⋆πr⋆⋆ (yl | x ) λ⋆が成立する。たとえば DPO を用いて再びアライメントする際には、LDPO (πθ , πr⋆ , β/λ)βπθ (yw | x )πθ (yl | x )β− log ⋆.
= −E ( x,yw ,yl )∼D log σlog ⋆λπr ( y w | x ) λπr ( y l | x )というロス関数を最小化すればよいことになるのである。
(13) は、最適化問題 (1) から導かれたものであり、報酬関数の構造等には一切仮定をおいていない。したがって、Reverse KL divergence を用いた定式化ベースの手法（e.g., DPO, IPO, KTO）であれば同様の議論が成り立つ。唯一の違いは、ロス関数の定義において、L(πθ , πref , β) → L(πθ , πr⋆ , β/λ)というように、リファレンス方策 と KL penalty のパラメータ が微妙に変わっているだけである。

段階的に最適化することのメリットとは段階的に最適化することの妥当性が示されると何が嬉しいか？

• 各アライメントで別のアルゴリズム（e.g., DPO と KTO）が使える• 各アライメントで別形式のデータセットが使える。報酬に関しては(DPO で使われるような）Preference data、安全性に関しては （KTOで使われるような） Unpaied data、など。
• 既存のアライメント済みモデルを使うことができる• デプロイ後になにか問題が発覚した際（安全性に問題が見つかったなど）に、最初からアライメントし直す必要がない。

5

これらの恩恵は、Reverse KL divergence を用いて定式化しているからこそ得られていたわけで、• 段階的なアライメント = 多目的/制約付きアライメントという人間にも理解しやすく、安心して行うことのできる操作になっていたわけである。

余談： RLHF/DPO でバイアスは助長される
その３で焦らしていた伏線を回収しておこう。結局は上の式変形とほぼ同じことをするのですでに分かっている読者も多いと思うが。
いま、ラベル付けする人間（A さんと呼ぶ）にバイアスがあるとしよう。この人は、以下のような報酬関数 br に基づいてラベル付けしているとする
br ( x, y) = r ⋆ ( x, y) + b( x, y)r ⋆ は聖人君主のような人がもつ潜在的な報酬関数で一切のバイアスや間違いのないものであるとする。b はバイアスを表す関数で、簡単のためb( x, y) ≥ 0, ∀( x, y) とする。つまり、A さんは、聖人君主と比較して、b( x, y) 分のバイアスを潜在的にもって学習データを作成している、ということになる。
いま、A さんが作成したデータで、RLHF なり DPO を行ったとしよう。すると、RLHF/DPO は、そのデータを完全に信用して方策を最適化するので、それらが目指す最適解は、

11⋆bπbr (y | x ) =π (y | x ) expr ( x, y)Zbr ( x; πref ) refβ
11 ⋆=π (y | x ) expr ( x, y) + b( x, y)(14)
Zbr ( x; πref ) refβである。聖人君主が集めたデータで方策を最適化した場合、RLHF/DPOが目指す最適解が


1 ⋆1
⋆
π (y | x ) exp
πr ⋆ ( y | x ) =r ( x, y)(15)Zr⋆ ( x; πref ) refβであったことを考えると、(14) と (15) の間には、

1πbr⋆ (y | x ) ∝ πr⋆⋆ (y | x ) expb( x, y)βという関係が成り立つことになる。つまり、ラベルに b( x,y) というバイアスがあると、結果的に得られる方策の確率分布は、exp

1β b ( x, y )の影響を受けてしまうということになるのである。

おわりにその４をもって、RLHF/DPO 小話は以上となります。最後までお読みいただきありがとうございました。

6References
Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow
instructions with human feedback. Advances in Neural Information
Processing Systems, 35:27730–27744, 2022.
Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon, and Chelsea Finn. Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36, 2024.
Akifumi Wachi, Thien Q Tran, Rei Sato, Takumi Tanabe, and Yohei
Akimoto. Stepwise alignment for constrained language model
policy optimization. arXiv preprint arXiv:2404.11049, 2024.