ブラックボックス言語モデルの複製と解析
橋本龍範, スタンフォード大学

スポットライトを浴びる言語モデル
言語モデルに基づく「AI」システムは、急速に成長しています2

加速するブラックボックス化

3

大規模言語モデルの研究にはより優れたツールが必要です

大規模言語モデル（LLM）を改良するには深い理解が必要です。
そのためにはこれらのモデルを複製、分析、および監査するツールが必要です4

1: シミュレーターで大規模言語モデルの複製と評価
命令に従うLMの複製と改善

我々アプローチ：大規模言語モデルを使ってデータ生成し、APIをシミュレーションする5

2: 大規模言語モデルにおける意見のバイアス分析
LLMsが人々を模倣する時、どのような意見を模倣するのか？

世論調査を使ったLLMの意見やバイアスの分析手法

6

3：テストセットの汚染の証明
LLMの評価は有効か？ベンチマークで訓練している可能性は？

テストセットの汚染を証明する新しい手法の開発

7

1: シミュレーターで大規模言語モデルの複製と評価
LLMをシミュレーターとして使えば、LLMの複製、評価などを含む研究を強化できる

Part 1: 大規模言語モデルの複製
8共著者
Xuechen Li, Tianyi Zhang, Yann Dubois, Rohan Taori, Ishaan Gulrajani, Percy Liang, Carlos Guestrin, Jimmy Ba

大規模言語モデルの訓練プロセス
ステップ1 - トレーニング：インターネット上テキストの自動補完

大規模事前学習が最近の進歩を牽引
9

大規模言語モデルの訓練プロセス
ステップ2 - フィードバック：アノテータを使い、望ましい行動を強化学習

10[Ouyang 2020]

InstructGPTの性能はどこから来るのか？

InstructGPTには何が大事なのか？
ファインチューニング？データ品質？強化学習？
11[Ouyang 2020]

目標と3つの課題
目標：低コストで高速、再現可能なシミュレーターでinstructGPTのトレーニングプロセスを再現する
いくつかの大きな課題❖ どうやって多様で大規模なインストラクションチューニング データを得るのか？

❖ どうやって再現可能なプリファレンスフィードバックを得るのか？
❖ RLHFの実装は？
12

RLHFのためのシミュレータ

ステップ1 (SFT) - Alpacaステップ2 (RLHF) - AlpacaFarm

ステップ3 (評価) - AlpacaEval

GPT4を用いたアノテータのシミュレーションにより、大規模言語モデルの迅速で低コストなプロトタイピングと研究開発を可能とします13[Dubois*, Li*, Taori*, Zhang*, Gulrajani, Ba, Guestrin, Liang, Hashimoto 2023]課題1: SFTデータ
SFTデータの収集:
1. ユーザー側– LLMが小さいシードデータから生成する （「Self-Instruct」手法）
2. LLM側‐ OpenAIモデルの出力をそのまま使う（モデル蒸留）

14

アルパカ７B
高性能LLMベースライン

15

データ生成研究課題2: RLHFのデータ収集

API 大規模言語モデル（GPT4）を使用してRLHFデータを生成できるか？
16

LLMを使った疑似フィードバック(+Randomization of pairwise order)
人間のフィードバックを真似る為のLLMプロンプト
17

出力の長さなどの疑似相関

課題３：PPOなどのRLHFアルゴリズムの実装
一年前：RLHFアルゴリズムはあまり実装されていなかった一からInstruction Followingの為に実装したPPOなどのRLHFアルゴリズム

18

PPOなど、強化学習アルゴリズムは実装方法により性能がかなり変わってくるAlpacaFarmの検証

1. 疑似データは人間のフィードバックデータに似ているか？

2. RLHFに見られる大事な現象はAlpacaFarmに現れるか？
3. AlpacaFarmを使った高性能インストラクションLLM

19

疑似データは人間のフィードバックデータに似ているか？

疑似データでの訓練されたモデルは人間のデータで訓練されたモデルに似ている

20

LLMによる疑似フィードバックは人間のフィードバックに似ている(Human evaluation: 12 Amazon mechanical turkers w/qualification + rolling quality control checks)[Dubois, Li, Taori, Zhang et al 2023]

RLHFに見られる大事な現象はAlpacaFarmに現れるか？

RLHFで見られる overoptimization（過剰適合）がAlpacaFarmで再現される
21[Dubois, Li, Taori, Zhang et al 2023]

RLHFを使った高性能LLMの再現

AlpcaFarmは疑似データとPPOを使い、高性能LLMの再現を成功させた
22[Dubois, Li, Taori, Zhang et al 2023]

RLHFモデルの違い
顕著に表れるのは長さなどの書き方の変化

23

LLMはテキストからツール、エージェントへ

LLMがツールやAPIを使えるようになれば強力だがリスクも増える
24

ツールを使うLLMの新たなリスク

25[Ruan*, Dong*, Wang, Pitis, Zhou, Ba, Dubois, Maddison, Hashimoto]LLMを使い、ツールLLMをテストする
ロボットをテストする時に使うような LLMをテストするシミュレーターをLLMで作れるか？

テストのためAPIを実装するのではなく、LLMが仮想APIを作り、シミュレーターを作る

26[Ruan*, Dong*, Wang, Pitis, Zhou, Ba, Dubois, Maddison, Hashimoto]検証 1: 仮想APIによる広範囲にわたるツールのテスト• 多岐にわたるツール(今APIや、今の所まだ実装されていないAPIまで)• 今まで調べられていなかったリスク（プライバシー侵害など）27

検証 2: LLMはAPIをシミュレーションできるか？
トロント大学の学生による、シミュレーターをつかったテストの検証

シミュレーターとリスクを自動発見するEvaluatorの検証28

ToolEmuで発見されたターミナルでの問題の実装

29

最先端のLLMエージェントは安全か？

GPT４を使った最先端のエージェントでも安全性、有効性、ともにまだ問題がある。

30

将来的には..LLMはAIの研究開発を加速させる可能性を秘めている

AlpacaEval/ToolEmu:
高速で自動LLMテストと評価

AlpacaFarm:RLHF研究の低コスト化

これらの研究開発の結果は最終的には人間のユーザーに評価されなければいけない

仮想データによる研究開発
31

人間のテスターの評価

A/Bテストなど

2: LLMが人間の真似するとき、意見などに偏向はあるのか？
LLMを人間のデジタルツインとして使う時気を付けないといけない点はあるのか？

2: LLMの意見解析
32

共著者
Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy LiangLLMが人間の真似するとき、真似しているのは誰なのか？
事前学習から：ネットユーザー

33

事後学習：アノテーター

デジタルツインなどLLMを仮想人間として扱う時、LLMが誰を真似するのかは重要である

世論調査を使ったLLMの解析
LLMに意見の偏りはあるのか？誰に似ているのか？

解析方法（OpinionQA）: 既存の世論調査をつかい、LLMの回答を人の回答と比べる

34[Santurkar et al 2023]

LLMの意見分布
LLMの意見分布は平均的アメリカ人に似ているか？
似ていない似ていません.

Text-davinci-003(RLHF)• DavinciのようなLLMは平均的なアメリカの意見分布には似ていない• RLHFモデル(davinci-003) はもっと似ていない
35

Davinci （GPT-3)
似ている

RLHFはLLMの意見分布に大きな影響を与える
RLHFの量政治（保守・革新）

学歴収入‘Base’ language models

36••

RLHFなしのモデルはネット上の色々な（保守的、低学歴）意見分布を持っている
RLHFをするにつれて、意見分布は高学歴などの方向に変わっていくLLMの世論調査解析はアノテーターの人口統計一致している
LLMを世論調査で解析することによってLLMアノテーターのことが調べられるか

青いセルはLLMと人口層の意見不一致を示す

37

LLMの意見分布はアノテーターの人口層（東南アジア、アメリカ東海岸、<６５歳）と一致する

LLMをプロンプトしたら、意見分布は人の意見と一致するか？
「あなたは保守的です」などの人特徴を使ってプロンプトしたとき、LLMは人の意見を正確に予測することができるのか？

38

人の特徴でプロンプトしても、意見分布の正確さはさほど変わらない「保守的です」などの特徴を使っても正確さはそれほど変わらない。

39

LLMの世論調査解析
LLMが出力する意見は「平均的なアメリカ人/日本人」のものではない

世論調査解析でRLHFの意見分布への影響がはっきりと見える

プロンプトをしても、意見分布の不一致は無くならない

第一部では「LLMは擬似アノテーターとして使える」との結論でしたがこの第二部では「LLMは意見、主観などでは人と不一致」との対照的な結論です40

3: LLM訓練データ、ベンチマーク汚染の監査
LLMの評価は有効か？
ベンチマークで訓練している可能性は？

41

共著者
Yonatan Oren, Nicole Meister, Niladri Chatterji, Faisal Ladhak

テストセットの汚染を証明する手法

LLMの訓練データには何が入っているか？

もしかしたら、ベンチマークはここに入っているかも？

ベンチマーク汚染： LLMを評価するベンチマークが事前学習データに入っていること
42証明可能なベンチマーク汚染テストの必要性

ベンチマーク汚染の状況証拠は多いが、事前学習データなしには証明できていない。
43

目標: ベンチマーク汚染の証明
事前学習データ無しで誤検知率を保証する
ベンチマーク汚染を発見する手法
詳細：
必要なもの
• ベンチマーク
• LLMのLog probability
テストの結果• LLMがベンチマークを事前学習中に見ているか• 誤検知率（False Positive Rate)に対する保証
44

データの「Exchangeability」を使ったテスト
Exchangeability: データに固有の順序付けが無いこと

LLMが特定の順序を好む場合、このデータの順序を事前訓練で見た可能性が高い

45

ベンチマーク汚染テスト
シンプルな並び替え検査: データのLogpを測り, ランダムに並び替えたデータのLogPと比べる
分割テスト: データを分割して、一部ごとにLogpを並び替え前と後を比べる。

46

結果 #1 – 知られているデータ汚染の発見
我々のテストを検証するため、ベンチマークが入っている事前学習データでLLMを訓練した（1.4B param, 20B token LM）

事前学習データに１０回以上現れているベンチマークに対しては100％の検出率
47

結果 #2 – １０回以下の検出率

２回から４回の重複されたデータは検出することができる。

48

結果 #3 – LLMは事前学習でベンチマークを見ているか？

•49• ベンチマーク汚染はそれほど多くない（ARC-Mistralを除く）
MMLUの結果はMETA独自のベンチマーク汚染検査と一致している。

他のLLMの証明可能なProperty: LLMの透かし
LLM が出力するテキストに透かしを入れることはできるのか？

LLM透かしを使えば、データ汚染のように誤検知率を保証しながらテキストがLLMか人に書かれたかがわかるようになる

50（Kirchenbaue+ 2023, Aaronson 2023, Kudibipudi+ 2023)

LLMの質を変えない透かし手法
LLMの品質を全く変えずに、出力されるテキストに透かしを入れる方法

トークン生成 (for each token 𝑦𝑖 )• 秘密鍵をサンプルする 𝜉𝑖 ∈ 0,1• 秘密鍵とLLMのLogPを使ってトークン生成 min − log 𝜉𝑖 /𝑝𝑖𝑖

これは「Distortion Free」(トークン分布を全く変えない)

透かし検知• トークンと鍵を比べる Levenshtein cost with 𝑑 𝑦, 𝜉 = σ𝑖 log(1 − 𝜉𝑖,𝑦𝑖 )• ランダムな鍵 𝜉 とこのテキストの Levenshtein costを比べる
これはユーザーがテキストを編集しても透かしを感知できる[Kuditipudi et al 2023]

結果：強力なLLM透かし手法
たった１０トークンで検知できるテキストを編集しても残る透かし[Kuditipudi et al 2023]

講義のまとめ
LLMによる擬似データ生成

擬似データはLLMの複製、研究開発を加速化させることができる
世論調査を使ったLLMの意見分析

LLMの意見分布は人のものと異なることが多い
データ汚染と透かし

統計学を使った、証明可能なLLMのデータや出力の監査

Acknowledgements: