ChatGPTの仕組みと社会へのインパクト⿊橋 禎夫
国⽴情報学研究所 所⻑／京都⼤学 特定教授

第15回産業⽇本語研究会・シンポジウム「⽣成AIの普及で⽇本語のコミュニケーションがどうかわるのか」(2024/2/20)

ChatGPT• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model; LLM) に基づくチャットボット• OpenAIは2015年末にサム・アルトマン、イーロン・マスクらによって設⽴されたAI研究所。マイクロソフトも出資• ⾃然⾔語からの画像⽣成モデルDALL-E、⾳声認識モデルWhisperなども開発• 本社はサンフランシスコ

An astronaut riding a horse
in a photorealistic stylehttps://openai.com/
https://openai.com/dall-e-2/2ChatGPTとは• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model, LLM) に基づくチャットボット
学習時
学習データ：⽇本の少⼦化対策には、次のようなアプローチ . . .の少⼦化対策には、次のようなアプローチを…

⽇本の少⼦化

対策には、次のようなアプローチ

3

ChatGPTとは• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model, LLM) に基づくチャットボット
推論時
プロンプト：⽇本の少⼦化対策はどうすればいいの

⽇本の少⼦

…

⽇本の少⼦

化

対策

はどうすればいいの

⽇本の4

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

5

再帰型ニューラルネットワーク(RNN)
y1

y2

y3

y4

W2

W2

W2

W2

h1

W3

h2

W3h3

W3h4

W1

W1

W1

W1x1x2x3x4
6

RNN ⾔語モデル
は学生です

EOS

W2

W2W2

W2

h1

W3

h2

W3

h3

W3

h4

W1

W1

W1

W1

私は学生です7ニューラル翻訳[Sutskever+, 2014]
decoderI

am

astudent

EOS

h’2

h’3

h’4

h’5

h1

h2

h3

h4

h’1

私は学生ですEOS

encoder8ニューラル翻訳[Bahdanau+, 2014]attention

I

am

a

student

h’1

h’2

h’3

h’4
decoderc0.1 0.0 0.7 0.2 0.0

hb1

hb2

hb3

hb4

hb5

hf1

hf2

hf3

hf4

hf5

私は学生ですEOS

encoder9LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

2017 Transformerattentionの精緻化、原⾔語⽂内、⽬的⾔語内でのattention

10

Transformer[Vaswani et al. 2017]

Attention Is All You Need11

Transformer [Vaswani+, 2017]

ソフトマックス関数
全結合層

decoder 第6レイヤー
encoder 第6レイヤー

FFN

FFN

FFN
FFN

FFN

FFN

…

…

decoder 第1レイヤー

encoder 第1レイヤー

FFN
FFN

FFN

FFN

は

京都にFFN

FFN

FFN

⼊⼒とのattention

self-attention
私FFN

self-attention

…

FFN

FFN

⼊⼒とのattention

FFN

self-attention

FFN

Kyoto

self-attention
⾏く

[⽂頭]

Igoto12

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

2017 Transformer

attentionの精緻化、原⾔語⽂内、⽬的⾔語内でのattention

2018 BERT
Transformerのencoder側を単⾔語の分類問題等に2018 GPT (117Mパラメータ)

Transformerのdecoder側を⾔語モデルに2019 GPT-2 (1.5Bパラメータ)
2020 GPT-3 (175Bパラメータ)
2022 GPT-3.5 / InstructGPT

13[Vaswani et al. 2017]

インストラクションチューニングデータ︓Jaster（質問応答）• 質問応答タスク• JEMHopQA [Ishii et al., 2023]

モデルに「指⽰」と「⼊⼒」を与え，「出⼒」を⽣成させるように学習

指⽰

質問を⼊⼒とし、回答を出⼒してください。回答の他には何も含めないことを厳守してください。

⼊⼒

質問︓映画『ダイ・ハード』と『デッドプール2』のうち、公開年が早いほうはどっち︖

出⼒

ダイ・ハード• NIILC [Sekine, 2003]
指⽰

質問に対する答えを出⼒してください。答えが複数の場合、コンマ（,）で繋げてください。

⼊⼒

質問︓太陽系惑星は︖

出⼒

⽔星,⾦星,地球,⽕星,⽊星,⼟星,天王星,海王星

14

インストラクションチューニングデータ︓Jaster（機械読解，常識推論）• 機械読解タスク（JSQuAD [Kurihara et al., 2022] ）指⽰

質問に対する回答を⽂章から⼀⾔で抽出してください。回答は名詞で答えてください。 それ以外には何も含めないことを厳守してください。

⼊⼒

⽂章︓東海道新幹線 [SEP] 1987年（昭和62年）4⽉1⽇の国鉄分割⺠営化により、JR東海が運営を継承した。⻄⽇本旅客鉄道（JR⻄⽇本）が継承した⼭陽新幹線とは相互乗り⼊れが⾏われており、東海道新幹線区間のみで運転される列⾞にもJR⻄⽇本所有の⾞両が使⽤されることがある。2020年（令和2年）3⽉現在、東京駅 - 新⼤阪駅間の所要時間は最速2時間21分、最⾼速度285 km/hで運⾏されている。
質問︓2020年3⽉現在東京駅から新⼤阪駅間の所要時間は最速で何分でしょう

出⼒

2時間21分

• 常識推論タスク（JCommonsenseQA [Kurihara et al., 2022] ）指⽰

質問と回答の選択肢を⼊⼒として受け取り、選択肢から回答を選択してください。なお、回答は選択肢の番号（例︓0）でするものとします。 回答となる数値をint型で返し、他には何も含めないことを厳守してください。

⼊⼒

質問︓東京やニューヨークなどを⼀般的に何という︖
選択肢︓0.⽥舎,1.軍事基地,2.砂漠,3.⼤都市,4.⾶⾏場

出⼒

315

インストラクションチューニングデータ︓Dolly（⽇本語版）• Dolly を DeepL で⽇本語に翻訳
指⽰

以下の州を、どの海岸に位置するかによって分類しなさい。
コネチカット州、デラウェア州、フロリダ州、ジョージア州、メイン州、メリーランド州、カリフォルニア州、オレゴン州

⼊⼒

なし

出⼒

東海岸 - コネチカット州、デラウェア州、フロリダ州、ジョージア州、メイン州、メリーランド州
⻄海岸 - カリフォルニア州、オレゴン州

指⽰

奴隷解放宣⾔に関する参考⽂献から考えると、奴隷となっていたアフリカ系アメリカ⼈はおよそ何⼈解放されたのか︖

⼊⼒

奴隷解放宣⾔、正式には宣⾔95号は、南北戦争中の1863年1⽉1⽇にアメリカ合衆国⼤統領エイブラ
ハム・リンカーンによって発布された⼤統領布告および⼤統領令である。この布告により、分離独⽴派の南部諸州にいた350万⼈以上の奴隷アフリカ系アメリカ⼈の法的地位が奴隷から⾃由へと変更された。奴隷は、北軍の戦線に逃げ込むか、連邦軍の進軍によって奴隷主の⽀配から逃れれば、すぐに永久に⾃由となった。さらに、この公布は元奴隷を「合衆国の軍務に服する」ことを認めた。

出⼒

奴隷となっていた約350万⼈のアフリカ系アメリカ⼈が奴隷解放宣⾔によって解放された。

16

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

2017 Transformer

attentionの精緻化、原⾔語⽂内、⽬的⾔語内でのattention

2018 BERT
Transformerのencoder側を単⾔語の分類問題等に2018 GPT (117Mパラメータ)

Transformerのdecoder側を⾔語モデルに2019 GPT-2 (1.5Bパラメータ)
2020 GPT-3 (175Bパラメータ)
2022 GPT-3.5 / InstructGPT2022 ChatGPT2023 GPT-4 (2Tパラメータ?)
画像も扱える、多⾔語能⼒も⼤幅向上• ⽶司法試験で⼈間受験者の上位10％の成績• ⽶⼤学⼊試テストSATで1600点中1410点• ⽶医師試験USMLEでも合格レベルの点数 17[Vaswani et al. 2017]意味・文脈の理解と多言語性

18

ChatGPTでできること• プロンプト（GPTへの⼊⼒）によりかなり知的なコントロールが可能• 要約、⾔い換え、翻訳19翻訳：うなぎ⽂

20翻訳：うなぎ⽂

21翻訳：うなぎ⽂

参考：『ChatGPT翻訳術 新AI時代の超英訳スキルブック』⼭⽥ 優 著, 株式会社アルク 2023.
22

ChatGPTでできること• プロンプト（GPTへの⼊⼒）によりかなり知的なコントロールが可能• 要約、⾔い換え、翻訳• アイデア出し、ブレストの対話相⼿（壁打ち）• ロールプレイング（就職⾯接、問診など）• プログラミング（⽀援）• 外部知識の利⽤ (RAG: Retrieval-Augmented Generation)
23

Bing Chat

24

ChatGPT 425

GPT-4V（画像理解）

https://www.covid19-jma-medical-expert-meeting.jp/topic/2167

26

LLMに関する懸念• 研究開発が⼀部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・⼤きなモデルの学習コーパス・データは公開されておらず、巨⼤パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多⾔語性について何が起こっているのか誰もわからない• ⼀⽅、現在のモデルにはHallucination、バイアス等の課題も⼭積• ⽇本語コーパスはGPT-3において0.11%、⽇本語の理解・⽣成能⼒は英語に⽐べて劣る• 国内にサーバを置き、セキュリティ認証ISMAPを取得するサービスも検討されているが、経済安全保障的な懸念は残る
27

LLM-jp (LLM勉強会)• オープンかつ⽇本語に強い⼤規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可
https://llm-jp.nii.ac.jp/

28

957

29

LLM-jp (LLM勉強会)

2023.10
130億パラメータの⼤規模⾔語モデル「LLM-jp-13B」を公開
2023.5
⾃然⾔語処理の研究者の有志（30名程度）による勉強会を開催

30

Research and Development of LLMs
Corpora Construction WG
Model Construction WG
Tuning & Evaluation WG

Large-scale
corpusTuningdata

Large-scalecomputational
infrastructure

Evaluation
data

Prof. Daisuke Kawahara
Waseda Univ.

Prof. Rio Yokota
Tokyo Institute of Tech.

Prof. Jun Suzuki
Tohoku Univ. Prof. Kenjiro Taura
The Univ. of Tokyo

Prof. Yusuke Miyao
The Univ. of Tokyo

31

Corpus Search Facility for LLM-jp-13B

32

Corpus Search Facility for LLM-jp-13B

33

中国語も話せるみたい！？

34

LLM-jp (LLM勉強会)

2023.11
ABCI第２回LLM構築⽀援
プログラム に参加
1750億パラメタモデルの訓練に着⼿

2024.4 （予定）
LLM研究開発センター（国⽴情報学研究所）

2023.10
130億パラメータの⼤規模⾔語モデル「LLM-jp-13B」を公開
2023.5
⾃然⾔語処理の研究者の有志（30名程度）による勉強会を開催

35

LLM研究開発センター（仮称）• ⽣成ＡＩモデルの透明性・信頼性の確保に向けた研究開発拠点を2024年4⽉に国⽴情報学研究所内に設置• 研究者・エンジニア30名程度• 計算資源 H100 500枚程度 (予定)

研究開発課題
1. 研究開発⽤LLM構築
2. LLMの透明性・信頼性確保に向けた研究開発
3. LLMの⾼度化に向けた研究開発

36

今後の展望• ⾔語は知の基盤であり、コンピュータがLLMという形でその理解と⽣成の基盤をもったことの意味ははかりしれない• LLMの知識基盤をもとに、画像・映像の理解と⽣成 (Large MultimodalMode; LMM)、ロボット制御なども加速度的に進展している• 学術においてもビジネスにおいても、データ駆動による新たな価値創造が始まっているが、LLMはそれを知識駆動へと昇華させる

If you want to go fast, go alone.
If you want to go far, go together.

37