NLPとVision-and-Languageの基礎・最新動向 (1)NTT⼈間情報研究所

⻄⽥京介，⻄⽥光甫，⽥中涼太，⻫藤いつみ
2023年3⽉8⽇
DEIM2023 第15回データ⼯学と情報マネジメントに関するフォーラム
チュートリアル講演

講師紹介
⻄⽥京介

専⾨︓機械読解（質問応答），Vision-and-Language
NLP’18 最優秀賞, ’19優秀賞 (筆頭)，’20優秀賞，’21最優秀賞，’22優秀賞 (共著)，
DBSJ上林奨励賞(2017)など．JSAI’22，NLP’19など 招待講演

⻄⽥光甫

専⾨︓⾃然⾔語理解・説明
NLP’22 優秀賞，NLP’20 若⼿奨励賞 (筆頭), HotpotQA, FEVERにて投稿時⾸位獲得⽥中涼太

専⾨︓視覚的機械読解
NLP’21最優秀賞，NLP’22若⼿奨励賞，ICDAR 2021 Infographics VQA runnersup（筆頭）, AI王ワークショップ’21 招待講演

⻫藤いつみ

専⾨︓⽂書要約（※本⽇⽋席）

JSAI’20優秀賞，NLP’19最優秀ポスター（筆頭）, ⾔語処理セミナー’20 招待講演

2

⽬次
1. 深層学習による⾃然⾔語処理技術の基礎 (40min)
⻄⽥京介

タスクとモデルの分類，Transformerとセルフアテンション，
BERTとGPT-3，⼤規模⾔語モデル（LLM）に関する知⾒2. ⼤規模⾔語モデルの⾰新 (40min)
⻄⽥光甫

InstructionチューニングとRLHF，ChatGPT，
ChatGPTの評価と⾔語モデルの今後の課題
質疑応答 (10min)

3. Vision-and-Languageへの派⽣ (40min)
⻄⽥京介

Vision Transformer，視覚・⾔語の基盤モデルCLIP，
CLIP+LLMによるモデル︓Flamingo，KOSMOS-1など

4. ⽂書や画⾯の理解 (40min)
⽥中涼太

処理・タスク・モデルの紹介，
⽂書画像理解の発展︓SlideVQA，LiLT，Pix2Struct，ReAcTなど
質疑応答 (10min)

3

⾔語処理タスクとモデルアーキテクチャの分類

4

“深層学習時代の”⾃然⾔語処理の概要
出⼒情報

分類ラベル，⽣成テキスト，特徴量（ベクトル），etc.
ベクトル系列から所望の情報へベクトル系列ニューラルネットワーク
ベクトル系列の変換を繰り返し⾏う
各トークンをベクトルへ“埋め込み”

ベクトル系列
スは 激怒

…

した

トークン（単語やサブワード）化

トークン系列<S> メロ

⼊⼒テキスト“メロスは激怒した。必ず、かの邪智暴虐…決意した”5

学習のイメージ••

ニューラルネットワークの出⼒を正解に近づけるように学習を⾏う
⾃然⾔語処理タスクの多くは「分類問題」として学習される
不正解クラスの値を⼩さく

正解クラスの
値を⼤きく“positive” “negative”

正解単語の値を
⼤きく

他の値を
⼩さく
“⾛る”

“激怒”

2次元ベクトルを出⼒

語彙サイズの次元数のベクトルを出⼒

感情判定
モデル

⽂章⽣成
モデル

“メロスは激怒した。”“メロスは”

タスク︓テキストを2つのクラスに分類

タスク︓⼊⼒に続く次の単語を⽣成

6

“BERT(2018)以前の”⾃然⾔語処理••

タスク毎に適したニューラルネットワークを設計し，正解情報付きの
データセットで学習していた深層学習により性能は⾼まったが，学習データが少ないと⾼い精度は実現しにくい課題が残っていた

タスク特化
ニューラル
ネット構造

タスク応⽤
モデル
タスクデータで学習できれば数万件程度欲しい7

“BERT以降”: 事前学習とファインチューニング
•(1) ⼤規模なコーパスに基づく事前学習により汎⽤モデルを作り，(2) ファインチューニングにより各タスクに適応する⽅式が主流に•

タスクごとにモデルを設計することは少なくなった．また，タスクは2種類に⼤別して語られることが多くなった

汎⽤
ニューラル
ネット構造

事前学習済
モデル

（BERTなど）

タスク応⽤
モデル

⼤規模コーパスで
事前学習

少量データでファインチューニング

数GB〜レベルのアノテーションなし
テキストコーパス

数百〜数千件レベルの正解付データ
8⾃然⾔語処理タスクの分類••

⾃然⾔語理解（NLU）と⾃然⾔語⽣成（NLG）の2種類に⼤きく分類
タスクごとに適したアーキテクチャがある

⾃然⾔語理解⾃然⾔語⽣成Natural Language Understanding

Natural Language Generation

テキストの意味を理解

⼊⼒からテキストを⽣成• テキスト分類• 情報検索• 感情分析
• 固有表現抽出• Etc.

• 機械翻訳• ⽣成型要約• 発話⽣成• ⾔い換え• Etc.

9

NLUタスクとモデルのイメージ••

エンコーダ型のモデルを⽤いて，テキスト（単語系列）のクラス分類，各単語へのラベリングなどを⾏う
代表モデル︓BERT [Devlin+, NAACL’19]
クラス分類
⽂学

固有表現抽出
⼈名 ⼈名

双⽅向モデリング

各位置の出⼒は
未来情報(右側)にも依存<S> 宮沢 賢治 は 日本 のテキストは⼀度に与えられる10

NLGタスクとモデルのイメージ（1/2）•••

デコーダ型のモデルを⽤いて，⼊⼒系列の続きを⽣成したり，
テキストAからテキストBへの変換を⾏う
最近はこのアーキテクチャが主流（NLUもこれで解く）
代表モデル︓GPT-3 [Brown+, NeurIPS’20]
宮沢 賢治

は

日本

の

次単語予測

⾃⼰回帰モデリング

各位置の出⼒は
過去情報(左側)にのみ依存<S> 宮沢 賢治 は

⽇本

予測を⼊⼒として戻す
11

NLGタスクとモデルのイメージ（2）••エンコーダデコーダ型のモデルを⽤いて，テキストAからテキストBに変換（翻訳や要約など）する
代表モデル︓Transformer [Vaswani+, NIPS’17]，T5 [Raffel, JMLR’21]
エンコーダの出⼒をデコーダで利⽤

これ

は

ペン

です

。

This




is

a

pen

.





 This

is

a

pen

.
12

最近のベースモデル＝Transformer••

近年の事前学習済み⾔語モデルの多くが殆どが Transformer ベースとなっている
ビジョン＆ランゲージにもTransformerの事前学習が派⽣している（後半で説明）Transformer
エンコーダデコーダ
エンコーダを
事前学習
デコーダを
事前学習

BERTなどGPT-3など

エンコーダデコーダを
事前学習

T5など

13

Transformer とセルフアテンション

14

Transformer [Vaswani(Google)+, NIPS’17]••

単語間の関係を理解（表現）するためにRNNやCNNを⽤いず，アテンションのみを⽤いたエンコーダデコーダ型モデルを提案
機械翻訳で評価実験し，当時の最⾼性能を更新

This

Transformer
エンコーダ
これ

は

ペン です 
isapen 
Transformer
デコーダ
 This

is

a

pen

15

アテンション [Bahdanau(Jacobs U)+, ICLR’15]•

デコーダが1単語ずつ出⼒するときに、エンコードされた翻訳元テキストのどの部分に注意すれば良いかを与える機構（⾏列計算で実現）
次単語は何か︖“pen”を予測

コンテキスト（「ペン」に強い注意）
注意

エンコーダ

これ

は

ペン です 
ℝ!×#softmax

ℝ#×$

デコーダ


 ThisisaEncoderの隠れ状態の
重み付き平均 ℝ!×#

ℝ$×#

=
16

セルフアテンション••

エンコーダデコーダ間のクロスアテンションに加えて，Transformerでは系列単体でもアテンションを取る
系列の各位置をQuery，系列全体をKey，Valueとして考える
Key-Value辞書から，Queryに近い
KeyのValueを取り出すイメージ
Query

Key

Value

softmax
Valueの重み付き平均
softmax 𝑄𝐾 ! 𝑉=
17Transformerの簡略化イメージ•••

エンコーダデコーダの双⽅でセルフアテンションを導⼊
ブロックを多層に積上げることで性能向上
今⽇の説明は超簡易版なので詳細は論⽂等にて︕

出⼒単語系列Y（次単語予測）
線形変換＆softmax

FFN(MLP)
ブロックxN
FFN(MLP)

Cross-Attention(Q=Y, K=X, V=X)

Self-Attention(Q=X, K=X, V=X)

Self-Attention(Q=Y, K=Y, V=Y)

単語・位置埋込

単語・位置埋込

⼊⼒単語系列Xブロック
xN

出⼒単語系列Y（予測を戻す）

18

なぜセルフアテンションが重要なのか•

単語系列の⽂脈の理解は主にRNN（LSTMやGRU）で⾏われてきたが、⻑期依存性の理解には限界があった
セルフアテンションでは系列内で遠く離れた単語の関係性も直接考慮できるため性能向上に⼤きく寄与した

遠く離れた
単語の関係性を捕まえにくい

RNN

遠く離れた
単語も直接
関係を考慮

セルフアテンション

𝑄𝐾 !

ℎ%&! = RNN ℎ% , 𝑥%

単語系列

•

単語系列
単語系列

19

ここまでのまとめ••

ニューラルネットワークによる⾔語処理が主流に
近年では事前学習により汎⽤モデルを作り，ファインチューニングにより各タスクに適応させる••

タスクはNLU（⾃然⾔語理解）とNLG（⾃然⾔語⽣成）に⼤別
モデルはエンコーダ，デコーダ，エンコーダデコーダ型がある•

最近のベースモデルはTransformerで，テキストをはじめとした系列デー
タのモデリングに強いTransformerはBERTやGPT-3に利⽤されている•

20

BERTによる事前学習＆
ファインチューニング

BERT [Devlin(Google)+, 2018/10, NAACLʼ19]••

⼤量のテキストデータで事前学習した，24層の巨⼤なTransformerエンコーダに基づく⾔語モデル（340M＝3.4億個のパラメータ）
多数の⾃然⾔語理解（NLU）タスクへのファインチューニングで⾼い性能を実現して注⽬を浴びる

https://www.aclweb.org/anthology/N19-1423/

22

既に実⽤化が進むBERT••

2019年10⽉25⽇（BERT発表から1年後）、Googleは検索エンジンのアルゴリズムをBERTベースにアップデート
2019年12⽉10⽇には⽇本語含む72⾔語に拡張
よりクエリの意図を考慮した結果にhttps://www.blog.google/products/search/search-language-understanding-bert/

23

BERTが優れた性能を達成したタスクの例︓

機械読解（SQuAD 1.1） [Rajupurkar(Stanford)+, EMNLP’16]•

質問に対してテキストを読み解いて回答するタスク
⼊⼒︓Wikipediaの段落

出⼒︓回答

⼊⼒︓質問

https://www.aclweb.org/anthology/D16-1264/

テキスト中の任意の範囲を抽出して回答

24

SQuAD 1.1で⼈間超えのスコアを達成•

機械読解に特化したニューラルネット構造を持たずに、⼈間の質問応答
スコアを⼤きく超える性能を達成

完全⼀致

部分⼀致
⼈間の正答率82.304%
BERTの正答率
87.433%https://rajpurkar.github.io/SQuAD-explorer/

25

BERTの特徴(1) マスク化⾔語モデリング••

⽳埋め問題により，⽂脈の中で単語が出現する確率を予測する
⼤量のテキストさえあれば，⼈間が追加で正解をアノテーションすることなく学習可能（⾃⼰教師あり学習）… My dogishairy …

マスク前の⽂章を予測

双⽅向アーキテクチャ
マスク単語の前後の情報を使って予測… My [MASK] is hairy …

⼊⼒の⼀部をマスク
26

BERTの特徴(2) 次⽂章予測••

⾃然⾔語理解（NLU）のタスクは2つの⽂の関係性理解が多い
そこで，⽂書中で隣接する⽂/ランダムな2⽂をセパレータで繋げて、隣接する⽂か否かの判定を⽳埋め予測と同時に学習
IsNext my dog is cute [SEP] he likes playpiano

分類︓2⽂が隣接か否か︖

[SEP]

⽳埋め

BERT
（Transformerエンコーダ）[CLS] my dog is cute [SEP] he likes play [MASK] [SEP]
1⽂⽬

2⽂⽬
27

BERTの特徴(3) ファインチューニング
•シンプルな出⼒層を1層だけ基盤モデルの最上部に追加する– 例︓機械読解では回答範囲の始点・終点予測⽤に線形変換を追加
テキスト中の各トークンの回答範囲始点・終点スコア

出⼒層

BERT
（Transformerエンコーダ）
[CLS]

質問⽂

….. の ⽇付 は ︖[SEP]

テキスト（回答抽出元）[SEP]…. は 3 ⽉ 12 ⽇ で ある …
28

GPT-3による事前学習＆few-shot学習

29

GPT-3 [Brown(OpenAI)+, 2020/07, NeurIPS’20]•••

超⼤量のテキストデータ（3000億トークン）で事前学習した，96層の超巨⼤なTransformerデコーダに基づく⾔語モデル
パラメータ数は175B＝1750億個（ファイルサイズで⾔うと700GB程度）
参考︓BERTは 24層，3.4億個のパラメータ，約3.3億トークン
𝑤!

𝑤'

𝑤(

𝑤)

𝑤*

GPT-3はBERTの⽳埋め
ではなく次単語予測で事前学習する

<S>

𝑤!

𝑤'

𝑤(

𝑤)

𝑤*

https://papers.nips.cc/paper/2020/hash/1457c0d6
bfcb4967418bfb8ac142f64a-Abstract.html

30

GPT-3の構造と175Bのパラメータ••

GPT-3は96層・175Bのパラメータ（1750億個の浮動⼩数点値）を持つトークン（50257種）の埋め込み⽤パラメータは⾮常に少なく，⽂脈の理解・⽣成部に全体の99%以上のパラメータを⽤いている
GPT family of models process text using tokens, which are common sequences
出⼒層 (50257 * 12288)

⼊⼒の次単語（sequences）を予測
トークンへ戻す

ベクトル系列（サイズ: トークン数 * 12228次元)[96層⽬] フィードフォワードネットワーク (8 * 122882 + 7 * 12288)[96層⽬] アテンション層 (4 * 122882 + 2 * 12228)
︓[1層⽬] フィードフォワードネットワーク (8 * 122882 + 7 * 12288)

Transformerブロック96層．
⽂脈の理解と⽣成を担当．
（全体パラメータ数の99.2%）[1層⽬] アテンション層 (4 * 122882 + 2 * 12228)
ベクトル系列（サイズ: トークン数 * 12228次元)
単語埋め込み層 (50257 * 12288)
位置埋め込み層 (2048 * 12288)
The GPT family of models process text using tokens, which are common
トークナイザThe GPT family of models process text using tokens, which are common

語彙数= 50257,
トークンおよび系列内の位置を12288次元のベクトルに埋め込み
トークン系列へ分割（最⼤2048 or 4096トークン）
⼊⼒テキスト31

GPT-3の膨⼤な事前学習が可能にすること••⼈間の様な「少数の例⽰による学習」が可能になってきた
⼤量のテキストの中には同⼀タスクの例が繰返し現れるコンテキストも含まれており，こうした学習が例⽰による学習能⼒を向上させる
⼤量テキストによる事前学習

同⼀タスクの繰り返しを含む
系列

https://arxiv.org/abs/2005.14165

32

GPT-3のfew-shot学習•

タスク説明と少数の例を与えるのみでモデルの更新無しに問題を解く

ここまでを⼀つの系列としてGPT-3に⼊⼒
è 回答を続きの⽂章として出⼒する
https://arxiv.org/abs/2005.14165

33

GPT-3のデモ（⾃然⾔語シェル 2:40〜）

https://openai.com/blog/openai-api/

34

GPT-3のデモ（エクセルの補完）

https://twitter.com/sh_reya/status/1284746918959239168

35

Codex [Chen(OpenAI)+, 2021/07]•

GithubのPythonコード159GBから学習したコード⽣成に特化したGPT（パラメータ数12B）．Github co-pilotとして利⽤されている– 現在提供されているAPIではJavaScript, Go, Perl, PHP, Ruby, Swift, TypeScript, SQL,and even Shell.など多様な⾔語に適応

プロンプトに続けて⾃動⽣成

https://github.com/features/copilot

36

Scaling laws [Kaplan (OpenAI)+, 2020/01]
計算量（学習回数），学習トークン数，モデルパラメータ数，に⾔語モ
デリング（次単語予測）の性能は強く依存することを実験的に⽰すè ⼤量の計算機資源を⽤いて，⼤量のデータを，⼤きいモデルで学習すれば良いモデルができる︕•

https://arxiv.org/abs/2001.08361

37

PaLM [Chowdhery (Google)+, 2022/04/19]••

540Bの巨⼤モデル．モデルサイズに対して，幾つかのタスクでモデルサ
イズの増加により，⾮連続的に性能が改善
タスクによっては，540Bモデルでもファインチューニングモデルや⼈間の性能には届いていない(b)は⾮連続的な改善

https://arxiv.org/abs/2204.02311

モデルサイズ vs.
タスク性能

38

Chinchilla [Hoffman (DeepMind)+, 2022/03/29]•••

400種類のモデルと学習トークン数の組み合わせで実験
Chinchilla（70Bパラメータ／1.4Tトークン） は，Gopher（280Bパラメー
タ／300Bトークン）の性能を多くのタスクで凌駕
近年の⼤規模モデルは学習データ数が不⾜していることを指摘

モデルサイズごとの最適計算量・トークン数

Gopherは必要トークンの1/17しか学習していない︖

https://arxiv.org/abs/2203.15556

39

ここまでのまとめ••

2018/10のBERTの発表によりパラダイム・シフトが発⽣し，「⼤規模モデルの事前学習→ファインチューニング」が主流に
2020/07のGPT-3の発表以降は，Few-shot学習（プロンプト＝⼊⼒テキス
トとして少量の例⽰）が⼤きな注⽬を集めている••

BERTもGPT-3も⼤量のテキストがあれば学習可能（⾃⼰教師あり学習）
⼤量の計算機資源を⽤いて，⼤きいモデルを学習する，というアプロー
チが活発化している•

単純にモデルを⼤きくすればそれで良い，という訳でも無く，学習デー
タの量や質の重要性も指摘され始めた

40

⽬次
1. 深層学習による⾃然⾔語処理技術の基礎 (40min)
⻄⽥京介

タスクとモデルの分類，Transformerとセルフアテンション，
BERTとGPT-3，⼤規模⾔語モデル（LLM）に関する知⾒2. ⼤規模⾔語モデルの⾰新 (40min)
⻄⽥光甫

InstructionチューニングとRLHF，ChatGPT，
ChatGPTの評価と⾔語モデルの今後の課題
質疑応答 (10min)

3. Vision-and-Languageへの派⽣ (40min)
⻄⽥京介

Vision Transformer，視覚・⾔語の基盤モデルCLIP，
CLIP+LLMによるモデル︓Flamingo，KOSMOS-1など

4. ⽂書や画⾯の理解 (40min)
⽥中涼太

処理・タスク・モデルの紹介，
⽂書画像理解の発展︓SlideVQA，LiLT，Pix2Struct，ReAcTなど
質疑応答 (10min)

41⾔語モデルの出⼒を制御する取り組み(1) プロンプトによる制御

⾔語モデルの出⼒を制御できるか︖•••

ある程度の⼤きさのモデルまでは，ファインチューニングによってモデルを更新して⾔語モデルの出⼒を制御
巨⼤⾔語モデルはプロンプトなどのモデル⼊⼒によって出⼒を制御
プロンプトによる制御には，訓練データが不要・⼈間に解釈できる⾃然⾔語でモデルを制御できる，などのメリットがある

43

PET [Schick (LMU Munich)+, NAACL2021]••

エンコーダ型モデルであっても，適切なプロンプトを与えることで効率的に学習できる
⾔語モデル全般におけるプロンプトの重要性に注⽬が集まるが，良いプ
ロンプトを作り込む「プロンプトエンジニアリング」の必要がある

⽂関係分類問題をYES/NOの⽳埋め問題に変形

https://arxiv.org/abs/2009.07118

⼩さなエンコーダ型モデルでもプロンプトエンジニアリングを頑張ればGPT-3を上回る

44

PromptSource [Bach(Brown U)+, 2022/2/2, ACL’22 demo]•

プロンプトを作成し，⾒つけた「良いプロンプト」を共有・利⽤する
ツールキット 👉 pip install promptsource•

170を超えるデータセット⽤に2000個以上のプロンプトが作成済．

https://arxiv.org/abs/2202.01279

45

Chain-of-Thought [Wei(Google)+, 2022/01]••

思考の途中過程もプロンプトとして与えることによって，算術や常識の推論能⼒が⼤きく向上する現象
Chain-of-Thoughtの能⼒を発現するにはある程度のモデルサイズが必要（8Bだと不⼗分であることが多い）

プロンプト
に思考⽅法
を追記

思考過程も
含めて正解
できる

https://arxiv.org/abs/2201.11903

46

⾔語モデルの出⼒を制御する取り組み(2) ⼈間にとって⾃然な制御⼈間にわかりやすい形でAIに指⽰できるか︖•••

良いプロンプトが作れれば，⾔語モデルの出⼒を制御できる「⼈間にとって⾃然な指⽰」と「⾔語モデルが従いやすいプロンプト」
を⼀致させる・⼀致を検証することが重要に様々な既存NLPデータ作成時のクラウドワーカへの指⽰を集めた
データセットが公開されるなど，研究が進んだ

クラウドワーカのために作成した「⼈間にとって⾃然な指⽰」に⾔語モデルは従うことができるか︖[Mishra(Allen AI)+,ACL2022] https://arxiv.org/abs/2104.08773

48

Instructionチューニングの提案•••

⼈間の指⽰（プロンプト）に従ってNLPタスクを解くこと⾃体をファイ
ンチューニングでモデルに教えることを提案
⼤量の訓練・評価タスクを⽤意し，各タスクに適切な指⽰を書き下した
指⽰付きの訓練タスク群に対するファインチューニング（Instruction
チューニング）をすることで，未知のタスク・指⽰に対しても精度良くテキストを⽣成した
⼤量の訓練タスクを通じ指⽰に従うことを学習

それぞれのタスクを表す指⽰を書き下す[Wei(Google Research)+,ICLR2022] https://arxiv.org/abs/2109.01652

49

Instructionチューニングのタスク例••

11タスク62データセットを⽤意
⾃然⾔語推論（含意認識），常識，感情分類，⾔い換え，知識QA，機械
読解，要約，翻訳，構造化データからのテキスト変換など，⾃然⾔語理
解・⽣成のタスクを幅広く⽤意[Wei(Google Research)+,ICLR2022] https://arxiv.org/abs/2109.01652

50

FLAN [Wei(Google Research)+,ICLR2022]••

Instructionチューニングで学習したFLANモデル（137B）はGPT-3（175B）を上回る性能を達成
⼀部タスクではファインチューニングモデルを上回ると話題を集めた

https://arxiv.org/abs/2109.01652

51

T0 [Sanh(Hugging Face)+,ICLR2022]••

T5をInstructionチューニングによって更新したT0を提案
11BモデルでもGPT3の175Bモデルに匹敵する性能を持つことを⽰した– 特に Natural Langage InferenceタスクではGPT-3 175Bを上回る性能

https://arxiv.org/abs/2110.08207

52

Flan-T5/PaLM [Chung(Google)+, 2022/10/20]••

T5とPaLMの⼤⼩様々なモデル（80M~540B）に対してInstructionチュー
ニングを⼤規模に実施（473データセット，1836タスク）
モデルサイズ・Instructionチューニングのタスク数がモデル性能とScaling-Lawの関係にあることを⽰した

https://arxiv.org/abs/2210.11416

53

OPT-IML [Iyer(Meta)+, 2022/12/22]••

オープンアクセスのOPT (175B)モデルにInstructionチューニング（1500以上のタスク）を実施．OPT-IML (175B)モデルを研究⽬的であればダウンロード可能（Instructionチューニングの公開モデルでは現在最⼤）OPT-IMLの30BモデルがOPTの175Bモデルを上回ることを確認
14タスクの0-shot/5-shot精度

https://arxiv.org/abs/2212.12017

54

InstructGPT [Ouyang (OpenAI)+, 2022/03/04]•••

GPT-3が「⼈間にとって⾃然な指⽰に従う」「⼈間の意図にあう出⼒をする」ように調整したモデル
Reinforcement Learning from Human Feedback (RLHF)によって学習
InstructGPTは1.3Bのモデルであっても，175B GPT-3よりも事実性や有害性の観点で良い（より⼈間の感覚に合う）テキストを⽣成できた

https://openai.com/blog/instruction-following/

55

InstructGPTの学習⽅法（RLHF）
⼈⼿でアノテータが作成 /Playground APIでユーザが実際に投⼊1.

⼤規模⾔語モデル（GPT-3 175B）をベースに，⼈⼿で⽤意した「⼊⼒に対する望ましい応答」の学習データで教師あり学習を⾏う
⼈⼿で作成

56

InstructGPTの学習⽅法（RLHF）
現状のモデルで，同じ⼊⼒に対して複数個の応答を出⼒

⼈⼿で望ましさのランキングを作成

モデル出⼒

2.

「⼊⼒＋モデル出⼒」に対して評価値を出⼒する
報酬モデル（6B）を，学習データを⼈⼿で⽤意し
て作る
評価値

57

InstructGPTの学習⽅法（RLHF）

3.

正解情報を⽤意せずに，⾔語モデルが「報酬モデルが⾼く評価する応答⽂」を出⼒できるように強化学習を⾏う

4.

ステップ2-3を繰り返して⾔語モデルと報酬モデル
を相互に成⻑させることが可能

⼤規模⾔語モデルの学習に
Human-in-the-loopが取り⼊れられた点で⾰命的

58

Sparrow [Glaese(DeepMind)+, 2022/09/28]••

Chinchilla (70GB)をベースに検索機能を組み込んだ⾔語モデル
⼈間の好みに加え，事前に定めたルールに違反しているか・検索機能が役に⽴っているかといったデータを⼈⼿で集め，RLHFで学習

59

ここまでのまとめ• ⾔語モデルの出⼒を制御する⼿段としてプロンプトに注⽬が集まる• ⼈間にとって⾃然な指⽰でモデルを制御するため，
InstructionチューニングやRLHFといった⼿段が登場• 精度に加えて⼈間とのアラインメントの観点からもGPT-3を上回るテキスト⽣成が可能になった

60

ChatGPTの登場

ChatGPTとは何か︖• を，ChatGPT⾃⾝が説明することができます62

ChatGPTとは何か︖••

対話形式で流暢な回答ができる⾔語モデル
2022/11/30にプレリリースされ，1週間で100万ユーザ，2ヶ⽉で1億ユーザを突破するなど世界的に⼤きな注⽬を集める

63

ChatGPTの学習⽅法••

詳細は未公開だが，基本的にInstructGPTの⽅式を踏襲
ユーザ・AIアシスタント双⽅を⼈間が⾏うロールプレイにより「望ましい対話データ」を作成． GPT-3.5をさらにファインチューニング

64

ChatGPTの活⽤••

Bing検索にChatGPT（の⾼性能版とも⾔われるモデル）を利⽤する
チャットモードが導⼊
検索サービスが抜本的に変化する可能性

65ChatGPT API [2023/03/02]•••“gpt-3.5-turbo” として，$0.002 / 1kトークンで提供（従来の175Bモデルの1/10）．”turbo”のモデルサイズは不明．⾳声認識APIも同時に発表”early users”としてChatGPTをサービスに組み込んだ会社を紹介
その⽇に有志によってSlackやLINEにAPIを組み込んだチャットボットが登場するなど，急速に社会普及が進む

66

ChatGPTの与えた影響•••

AIのトップ会議ICMLは，⼤規模⾔語モデルによる論⽂執筆を禁⽌（編集・推敲への利⽤はOK）[2023/01/06]
ChatGPTの執筆した論⽂要旨の1/3は専⾨家でも⾒破れない，との報告がNatureに掲載 [2023/01/12]
レポートの⾃動⽣成による教育現場への影響など，様々な社会活動への影響が指摘されている

https://www.nature.com/articles/d41586-023-00056-7

67ChatGPTの評価から⾒る⾔語モデルの今後の課題(1) ChatGPTChatGPTは⾃然⾔語を理解できるか︖•••

NLUベンチマークのGLUEでBERTファインチューニングに⽐べた
ChatGPTのzero-shot（教師データなし）の⾔語理解能⼒を調査
ChatGPTは単⽂理解・推論でBERTと同等の性能を発揮
⼀⽅で，⽂類似度や⾔い換えの理解は苦⼿– 「類似・⾔い換え」のデータは正解できるが，「⾮類似・⾮⾔い換え」のデータで⼤きく性能を落とす– ⼈間が好む⼀貫性のあるテキストで多く学習をしているため，と指摘
単⽂理解

⽂類似度・⾔い換え

推論

ChatGPTで向上
ChatGPTで悪化[Zhong(武漢⼤)+, 2023/02/19] https://arxiv.org/abs/2302.10198

69

ChatGPTは下流タスクを解くことができるか︖••

様々な⾔語処理タスクでファインチューニングモデル・zero-shotモデルとChatGPTの性能を⽐較
ほとんどのタスクでzero-shotモデルは上回るが，ファインチューニング
モデルには勝てないことが多い

ChatGPTは
これらのモデルを下回る[Bang(KAiRE)+, 2023/02/08] https://arxiv.org/abs/2302.04023

70

ChatGPTは推論能⼒を持つか︖•••

⾼度な推論能⼒を要するタスクでChatGPTを評価
算術推論では，ChatGPTが最も⾼性能
記号的推論・論理的推論ではInstructGPTを下回る– これはChatGPTが「回答しない」ことを選択してしまうため（後述）•

Chain-of-ThoughtはChatGPTでも有効（常識推論を除く）
算術推論

常識推論

記号的推論

[Qin(Nanyang Technological U)+, 2023/2/8] https://arxiv.org/abs/2302.06476

論理的推論

71

ChatGPTのテキスト⽣成は正確か︖•••

NLGタスクでは⽂脈や事実と⽭盾するテキストを⽣成してしまう問題（Hallucination）が指摘されている
ChatGPTは翻訳前後で数値が変わるなどの⽂脈に関する⽭盾（Intrinsic
Hallucination）はかなり少ない
ChatGPTはモデル内の知識に基づいてテキストを⽣成するため，⽂脈からは確かめられない⽣成（Extrinsic Hallucination）を起こす
正しい追加情報
誤った追加情報[Bang(KAiRE)+, 2023/02/08] https://arxiv.org/abs/2302.04023

72

ChatGPTは事実に反する⽣成をするか︖••

出⼒の事実性を測るQAデータセットで，InstructGPTやChatGPTはGPT-3を上回る．RLHFはテキスト⽣成の事実性を⾼める効果がある
⼀⽅，これらのタスクで⼈間は90%程度の精度で回答できる．事実性の⾼いテキスト⽣成にはまだ課題がある

RLHFモデルが⾼い性能[Zhuo(CISRO)+, 2023/01/30] https://arxiv.org/abs/2301.12867

73

ChatGPTは回答しないことを選択できるか︖••

以下の常識推論の例のように，「わからない」と回答することができる– ⼈間なら簡単に答えられることでも回答しないことを選んでしまう．
そのため推論ベンチマークではスコアが低い– ⼀⽅で，事実に反する⽣成をすることもある
真にわからない・間違えるときにだけ「わからない」と回答するためにはまだ技術進展が必要と考えられる
⼈間なら簡単に夜更し→朝の疲れを連想[Qin(Nanyang Technological U)+, 2023/2/8] https://arxiv.org/abs/2302.06476

74

ChatGPTは多⾔語を理解できるか︖•••

感情分析は低頻度語（CommonCrawlコーパスで <0.1%）以上の⾔語であれば英語と同等の精度を達成
⾔語識別は中頻度語以上（>0.1%）で識別可能
コーパス量の観点では，中頻度語以上の⽇本語理解能⼒への期待は⾼い[Bang(KAiRE)+, 2023/02/08] https://arxiv.org/abs/2302.04023

75

ChatGPTは⽇本語を翻訳できるか︖••

ChatGPTはラテン⽂字の⾔語に⽐べると⾮ラテン⽂字⾔語の理解・⽣成を苦⼿としている
特に⾮ラテン語の⽣成で性能の悪化が激しく，英⽇翻訳（あるいは単な
る⽇本語⽣成）にはまだ課題がある
ChatGPTは中頻度以上のラテン⽂字⾔語に強い[Bang(KAiRE)+, 2023/02/08] https://arxiv.org/abs/2302.04023

前ページの結果は全てラテン⽂字⾔語76

ChatGPTは評価指標として使えるか︖•••

GPT-3~ChatGPTにプロンプトを与え，機械翻訳の評価指標として⽤いた
既存の評価指標よりも⼈間の評価に近いことを確認
精度の良い評価のためには175Bモデルが必要．ChatGPTよりも
InstructGPTの⽅が⾼性能
InstructGPT
GPT-3（強化学習 ChatGPT（⼩モデル） なし・あり）

プロンプトの種類[Kocmi(Microsoft)+, 2023/02/28] https://arxiv.org/abs/2302.14520

77

ChatGPTと⼈間の書くテキストは違うか︖••••

ChatGPTは質問に⽂字通り答える．⼈間は質問の隠された意味を理解したり，話題転換をしたりする．
ChatGPTは客観的で中⽴的な回答をする．⼈間は主観的で明確な回答をする．
ChatGPTはフォーマルな回答をする．⼈間はユーモア・⽐喩・スラングなどを発⾔するため，語彙が豊富．
ChatGPTは接続詞などで論理展開の明瞭な説明をするため，回答が⻑い．
⼈間は句読点や括弧などで端的に説明する．

回答の⻑さ・語彙の少なさを定量的に指摘[Guo(上海財経⼤)+, 2023/01/18] https://arxiv.org/abs/2301.07597

78

ChatGPTの評価から⾒る⾔語モデルの今後の課題(2) ⾔語モデル⼀般

モデルのバイアスを解消できるか︖••（偏りの存在する）⼤量データで学習したことによる，⾔語モデルの出⼒に関するバイアスの存在や，有害なテキスト⽣成の問題が課題
近年の⼤規模⾔語モデルの評価観点として重要視されている
PaLM [Chowdhery (Google)+, 2022/04/19]
指⽰語の性別バイアスの評価
The nurse notified the patient that his shift
would be ending in an hour.
The “his” refers to … the patient ? the nurse?

ステレオタイプと異なる組み合わせだと精度落ちる

https://arxiv.org/abs/2204.02311

プロンプトに続く⽣成テキストが有害となる分布

スコア⼤︓有害特定宗教に関して有害なテ
キストを⽣成しやすい

https://arxiv.org/pdf/2204.02311.pdf

80

モデルは今後さらに⼤きくなるか︖••

⾔語モデルでは「⾮連続的な性能向上」など興味深い現象の解明に向かって⼤規模化が続きそうTransformerのsparse化（Mixture Of Experts）やインフラレベルの改良によってbillion（10億）を越えてtrillion（1兆）レベルのモデルが実現

SwitchTransformer [Fedus(Google)+, JMLR22]

Megatron-LM [Narayanan(Nvidia)+, SC’21]

MoE構造の1.6Tモデル．各トークンに対してexpertのみが動作するので省計算

GPU並列化アルゴリズムなどインフラレベルの⼯夫を重ね1Tまでスケールアップ

2048 experts

ミニバッチをさらに細かく区切って並列計算のスケジューリング
https://arxiv.org/abs/2101.03961

https://arxiv.org/abs/2104.04473

81

モデルを⼩さくすることはできるか︖••

効率性・環境負荷などの問題から，モデルを⼩さくする研究も進む
ChatGPTの登場以後も，外部ツールを利⽤する・事前学習コーパスを⼤きくすることで⼩さいモデルでGPT-3の性能を上回る報告が続く
Toolformer [Schick(Meta)+, 2023/2/9]

LLaMA [Touvron(Meta)+, 2023/2/27]

外部ツールを利⽤する⾔語モデル．QA，
Wikipedia検索，計算機，カレンダー，
翻訳機を利⽤可能．6.7BモデルでGPT-3(175B)を上回る．

Chinchilla同様に1.4Tトークンで事前学習．
データの収集⽅法・細かいモデル構造を改
良．13BモデルでGPT-3（175B）を上回り，
65BモデルでChinchilla (70B)やPaLM (540B)に匹敵

https://arxiv.org/abs/2302.04761

https://arxiv.org/abs/2302.13971

82ここまでのまとめ• 対話的に使うことができる⾔語モデルのChatGPTが世界に⼤きな変⾰を与えようとしている• ChatGPTは多くのタスク・能⼒でGPT-3を上回るスコアを⽰したが，ファインチューニングモデルは下回ることが多い• 事実性の⾼いテキスト・⽇本語・主観を伴うテキスト・バイ
アスのないテキストの⽣成など，重要な課題も残る• ⾔語モデルを⼤きくして能⼒を⾼める・⼩さくして使いやす
くする，どちらの研究も進むと考えられる

83

参考⽂献
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

Ashish Vaswan et al.: Attention is All you Need. NIPS 2017: 5998-6008
Jacob Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT(1) 2019: 4171-4186
Tom B. Brown et al.: Language Models are Few-Shot Learners. NeurIPS 2020
Colin Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. J. Mach. Learn.
Res. 21: 140:1-140:67 (2020)
Dzmitry Bahdanau et al.: Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015
Pranav Rajpurkar et al.: SQuAD: 100, 000+ Questions for Machine Comprehension of Text. EMNLP 2016: 23832392
Mark Chen et al.: Evaluating Large Language Models Trained on Code. CoRR abs/2107.03374 (2021)
Jared Kaplan et al.: Scaling Laws for Neural Language Models. CoRR abs/2001.08361 (2020)
Jordan Hoffmann et al. : Training Compute-Optimal Large Language Models. CoRR abs/2203.15556 (2022)
Romal Thoppilan et al.: LaMDA: Language Models for Dialog Applications. CoRR abs/2201.08239 (2022)
Aakanksha Chowdhery et al.: PaLM: Scaling Language Modeling with Pathways. CoRR abs/2204.02311 (2022)
Timo Schick and Hinrich Schütze: It's Not Just Size That Matters: Small Language Models Are Also Few-Shot
Learners. NAACL 2021
Stephen H. Bach et al.: PromptSource: An Integrated Development Environment and Repository for Natural
Language Prompts. ACL 2022 Demo
Jason Wei et al: Chain of Thought Prompting Elicits Reasoning in Large Language Models. CoRR abs/2201.11903(2022)
Swaroop Mishra et al.: Cross-Task Generalization via Natural Language Crowdsourcing Instructions. ACL 2022
Jason Wei et al.: Finetuned Language Models Are Zero-Shot Learners. ICLR 2022
Victor Sanh et al.: Multitask Prompted Training Enables Zero-Shot Task Generalization. ICLR 2022

84

参考⽂献
18. Hyung Won Chung et al.: Scaling Instruction-Finetuned Language Models. ICLR 2022
19. Srinivasan Iyer et al.: OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens ofGeneralization. CoRR abs/2212.12017 (2022)
20. Long Ouyang et al.: Training language models to follow instructions with human feedback. CoRR abs/2203.02155(2022)
21. Amelia Glaese et al.: Improving alignment of dialogue agents via targeted human judgements. CoRR
abs/2209.14375 (2022)
22. Holly Else: Abstracts written by ChatGPT fool scientists. Nature 613, 423 (2023)
23. Qihuang Zhong et al.: Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT.
CoRR abs/2302.10198 (2023)
24. Yejin Bang et al.: A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, andInteractivity. CoRR abs/2302.04023 (2023)
25. Chengwei Qin et al.: Is ChatGPT a General-Purpose Natural Language Processing Task Solver? CoRR
abs/2302.06476 (2023)
26. Terry Yue Zhuo et al.: Exploring AI Ethics of ChatGPT: A Diagnostic Analysis. CoRR abs/2301.12867 (2023)
27. Tom Kocmi and Christian Federmann: Large Language Models Are State-of-the-Art Evaluators of Translation
Quality. CoRR abs/2302.14520 (2023)
28. Biyang Guo et al.: How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection. CoRR
abs/2301.07597 (2023)
29. William Fedus et al.: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.
JMLR 23 1-39 (2022)
30. Yejin Bang et al.: Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. SC2021
31. Deepak Narayanan et al.: A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination,and Interactivity. CoRR abs/2302.04023 (2023)
32. Timo Schick et al.: Toolformer: Language Models Can Teach Themselves to Use Tools. CoRR abs/2302.04761 (2023)
33. Hugo Touvron et al.:LLaMA: Open and Efficient Foundation Language Models. CoRR abs/2302.13971 (2023)

85