AIはどうして急に賢くなったのか、これからどうなるのか⿊橋 禎夫
国⽴情報学研究所 所⻑／京都⼤学 特定教授

軽井沢⼟曜懇談会 (2024/7/6)

ChatGPT• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model; LLM) に基づくチャットボット• OpenAIは2015年末にサム・アルトマン、イーロン・マスクらによって設⽴されたAI研究所。マイクロソフトも出資• ⾃然⾔語からの画像⽣成モデルDALL-E、⾳声認識モデルWhisperなども開発• 本社はサンフランシスコ

An astronaut riding a horse
in a photorealistic stylehttps://openai.com/
https://openai.com/dall-e-2/2ChatGPTとは• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model, LLM) に基づくチャットボット
学習時
学習データ：⽇本の少⼦化対策には、次のようなアプローチ . . .の少⼦化対策には、次のようなアプローチを…
⾃⼰教師あり学習（Self-Supervised Learning）

⽇本の少⼦

化

対策には、次のようなアプローチ

3

ChatGPTとは• OpenAIが2022年11⽉に公開した⼤規模⾔語モデル(Large Language Model, LLM) に基づくチャットボット
推論時
プロンプト：⽇本の少⼦化対策はどうすればいいの

⽇本の少⼦

…

⽇本の少⼦

化

対策

はどうすればいいの

⽇本の4⾔語モデル (Language Model)
⼤規模コーパス（たとえば3,000億単語）
私 は りんご を?

…お店で私はりんごを⾷べた…
…彼と私はりんごを⾷べた…
…昨⽇私はりんごをかじった…
…私はりんごを⾷べた後…
…私はりんごを殴った夢を…

P(⾷べた| 私 は りんご を) =P(殴った| 私 は りんご を) =コーパス中の頻度（私 は りんご を ⾷べた）
コーパス中の頻度（私 は りんご を）
コーパス中の頻度（私 は りんご を 殴った）
コーパス中の頻度（私 は りんご を）5ニューラル⾃然⾔語処理• 語などの意味を1,000〜10,000次元程度のベクトルで表現
りんご [-0.034, 0.000, 0.010, -0.004, -0.012, -0.002, 0.007, 0.023, -0.002, 0.006, …]
みかん [-0.022, 0.000, -0.020, -0.007, -0.007, -0.007, -0.001, 0.007, -0.003, 0.024, …]
⾞[-0.016, -0.014, -0.017, 0.009, 0.002, 0.012, -0.010, 0.015, 0.015, -0.008, …]• 意味が似ている語は近いベクトルになる
⾞

りんご
みかん• 1,000次元で各次元が-1/1のいずれかの値をとるとしても、21,000 ≈ 10300 の膨⼤な意味空間を表現
6

ニューラルネットワーク⼊⾨
入力信号

入力ノード

𝑦𝑛𝑒𝑡

𝑤𝑥

𝑦𝑜𝑢𝑡

1

1exp 𝑦・・・

・・・

出力ノード
教師信号

𝑡

𝑦𝑛𝑒𝑡 𝑦𝑜𝑢𝑡
・・・・・・

シグモイド関数

誤差
重みの更新

𝐸𝑤

1𝑡
2

𝑦𝑜𝑢𝑡𝑤

𝜕𝐸
𝜂
𝜕𝑤
7

Word2Vec [Mikolov+ 2013]
文脈語

1 疑似負例 0

context word negative sample

食べる

出力層

・・・

output layer“食べる” の単語予測ベクトル

・・・

u食べる,1

隠れ層・・・・・・・・・・・・・・・

vりんご,1 vりんご,i vりんご,L0・・・

0

1…

りんご

0

車

入力層

input layer

・・・

uu食べる,i 食べる,L・・・“りんご” の単語ベクトル

走る・・・

08

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

9

順伝搬型ニューラルネットワーク
yW2

hW1x10再帰型ニューラルネットワーク(RNN)
yt
W2

ht

W3

W1xt
11

再帰型ニューラルネットワーク(RNN)
y1

y2

y3

y4

W2

W2

W2

W2

h1

W3

h2

W3

h3

W3

h4

W1

W1

W1

W1

x1

x2x3x4
12

RNN ⾔語モデル
は学生です

EOS

W2

W2

W2

W2

h1

W3

h2

W3

h3

W3

h4

W1

W1

W1

W1

私は学生です13

ニューラル翻訳[Sutskever+, 2014]
decoderI

amastudent

EOSh’2h’3

h’4

h’5

h1

h2

h3

h4

h’1

私

は学生です

EOS

encoder
14

ニューラル翻訳[Bahdanau+, 2014]attention

I

am

astudent

h’1

h’2

h’3

h’4
decoderc0.1 0.0 0.7 0.2 0.0

hb1

hb2

hb3

hb4

hb5

hf1

hf2

hf3

hf4

hf5

私

は学生

です

EOS

encoder15

ニューラル翻訳[Bahdanau+, 2014]attention

I

am

astudent

EOS

h’1

h’2

h’3

h’4

h’5
decoderc0.0 0.1 0.0 0.4 0.5

hb1

hb2

hb3

hb4

hb5

hf1

hf2

hf3

hf4

hf5

私

は学生です

EOS

encoder16

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

2017 Transformer

attentionの精緻化、原⾔語⽂内、⽬的⾔語内でのattention

17

Transformer[Vaswani et al. 2017]

Attention Is All You Need18

Transformer [Vaswani+, 2017]

ソフトマックス関数
全結合層

decoder 第6レイヤー
encoder 第6レイヤー

FFN

FFN

FFN
FFN

FFN

FFN

…

…

decoder 第1レイヤー

encoder 第1レイヤー

FFN
FFN

FFN

FFN

は京都に

FFN

FFN

FFN

⼊⼒とのattention

self-attention
私FFN

self-attention

…

FFN

FFN

⼊⼒とのattention

FFN

self-attention

FFN

Kyoto

self-attention
⾏く[⽂頭]

Igoto19

LLMの歴史2014 Attention
機械翻訳において⽬的⾔語の次の語を⽣成する際に原⾔語の⽂のどこに着⽬するか

2017 Transformer

attentionの精緻化、原⾔語⽂内、⽬的⾔語内でのattention

2018 BERT
Transformerのencoder側を単⾔語の分類問題等に2018 GPT (117Mパラメータ)

Transformerのdecoder側を⾔語モデルに2019 GPT-2 (1.5Bパラメータ)
2020 GPT-3 (175Bパラメータ)
2022 GPT-3.5 / InstructGPT2022 ChatGPT2023 GPT-4 (2Tパラメータ?)
画像も扱える、多⾔語能⼒も⼤幅向上• ⽶司法試験で⼈間受験者の上位10％の成績• ⽶⼤学⼊試テストSATで1600点中1410点• ⽶医師試験USMLEでも合格レベルの点数 20[Vaswani et al. 2017]

Instruction Tuning
1. Supervised Fine-tuning (SFT)

2. Learning from Human Feedback (LHF)
using Direct Preference Optimization (DPO) [Rafailov+ 2023]### Instruction:
ポテトチップスの袋はなぜ開封後に古くなるのか？

### Response:
ポテトチップスの袋は窒素で満たされている！多くの消費者は、ポテトチップス会社が袋の4分の3を空気で満たし、お⾦を取ろうとしていると考えているが、実はこれは．．．

### Instruction:
⽗とは疎遠なのですが、もう⼀度連絡を取りたいと思っています．．．

### Response:
メールが⼀番簡単だと思います。「⼀緒に過ごした楽しい時間は⼀⽣忘れない」とか、そういうことを付け加えてもいいかも。

### Response:
メールにしたほうがいいと思う。なぜ聞くのですか？他の⽅法の⽅がいいと思う理由があるのですか？.

21

ChatGPTをめぐる初期の議論
Q: どうして⽣成される表現がこんなに流暢？
A: ⾔語モデルだから
Q: どうして何でも知っている？
A: コーパス（ウェブ上のどこか）に書いてあるからQ: 信頼できるのか、嘘をつくのか？
A: コーパスにないことを聞かれた場合、「それは知りません」とは⾔わずに、⾔語モデルが勢いで事実に反することを⾔うことがある(Hallucination)

22意味・文脈の理解と多言語性

23

翻訳：うなぎ⽂

24翻訳：うなぎ⽂

25

翻訳：うなぎ⽂

26

翻訳：うなぎ⽂

参考：『ChatGPT翻訳術 新AI時代の超英訳スキルブック』⼭⽥ 優 著, 株式会社アルク 2023.
27土佐日記の現代語への翻訳
ChatGPT 4o

28

Retrieval Augmented Generation

29

画像の理解https://www.covid19-jma-medical-expert-meeting.jp/topic/2167

30

GPT-4 [OpenAI 2023]

RT-2: Vision-Language-Action Models Transfer Web Knowledge[Brohan+ 2023]
to Robotic Control

31

ChatGPTでできること• プロンプト（GPTへの⼊⼒）によりかなり知的なコントロールが可能• 要約、⾔い換え、翻訳• アイデア出し、ブレストの対話相⼿（壁打ち）• ロールプレイング（就職⾯接、問診など）• プログラミング⽀援• GPTs：GPTベースのシステムを対話的に作成・共有(512MB, 2百万トークンまでのファイルを20ファイルまで外部知識として与えられる)

32

33

34

35

36

37

38

39

40

41

LLMに関する懸念• 研究開発が⼀部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・⼤きなモデルの学習コーパス・データは公開されておらず、巨⼤パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多⾔語性について何が起こっているのか誰もわからない• ⼀⽅、現在のモデルにはHallucination、バイアス等の課題も⼭積• ⽇本語コーパスはGPT-3において0.11%、⽇本語の理解・⽣成能⼒は英語に⽐べて劣る

42

GPT-3における英語と⽇本語の扱い

43

LLMに関する懸念• 研究開発が⼀部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・⼤きなモデルの学習コーパス・データは公開されておらず、巨⼤パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多⾔語性について何が起こっているのか誰もわからない• ⼀⽅、現在のモデルにはHallucination、バイアス等の課題も⼭積• ⽇本語コーパスはGPT-3において0.11%、⽇本語の理解・⽣成能⼒は英語に⽐べて劣る• 国内にサーバを置き、セキュリティ認証ISMAPを取得するサービスも検討されているが、経済安全保障的な懸念は残る
44

LLM-jp (LLM勉強会)• オープンかつ⽇本語に強い⼤規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可

2023.5
⾃然⾔語処理の研究者の有志約30名による勉強会を開催
2023.10mdxを⽤いて130億パラメータの⼤規模⾔語モデル「LLM-jp-13B」を公開• mdx: データ活⽤社会創成プラットフォーム．9⼤学2研究所が連合して共同運営する、データ活⽤にフォーカスした⾼性能仮想化環境

LLM-jp モデル
v1.0 (2023/10/20 公開) ※ githubのダウンロード件数 3万超• アーキテクチャ：GPT /トークナイザ：語彙数50k• 事前学習コーパス：⽇本語，英語，コードを混ぜた約 300B トークン
• チューニング⽤データセット：jaster, dolly (⽇), open assistant (⽇)．185k サンプル

v1.1 (2024/2/9 公開)• v1.0 のチューニング⼿法を改良• Ichikara instruction データ, 3k サンプルを追加（jasterは不使⽤）• Learning from Human Feedback 導⼊, 12k サンプル

v2.0 (2024/4/30 公開)• アーキテクチャ：Llama / トークナイザ：語彙数100k• 事前学習コーパス：⽇本語WebデータをmC4 に代えてCommon Crawl をクリーニングして使⽤• チューニング⽤データセット：dolly (⽇英), open assistant (⽇英), Ichikara(⽇), 75k
サンプル．さらに安全性についてAnswerCarefully データを構築
46

LLM研究開発はビッグサイエンス
コーパス構築WG
モデル構築WG
大規模コーパスチューニング評価WG
チューニングデータ
大規模計算基盤

評価データ

河原大輔教授（早稲田大学）

安全性WG

マルチモーダルWG
横田理央教授（東工大）

関根聡特任教授（NII）

岡崎直観（東工大）

鈴木潤教授
（東北大）

田浦健次郎教授（東大）

宮尾祐介教授（東大）

47

1467

48

土佐日記の現代語への翻訳
ChatGPT 4o

LLM-jp 13B v249

中国語も話せる！？

50

根拠を調べるためのコーパス検索

[…]

訓練
コーパス

(260B)#1

Dataset: Common Crawl#2
URL: https://gbank.gsj.jp/wellweb/GSJ/kaisetsu/science/science.html
Training step: 168 (/61,000)

地震の原因論とメカニズム論の展開 神話など⽇本（⼤和⺠族）では古来より 「地中深くに⼤ナマズが存在し、その⼤ナマズが暴れることにより⼤地震が起きる」という俗説が信じられていた。現代においてもよく知られた俗説だが、ナマズが地震を予知できる根拠は⾒つかっていない […]⽇本は世界有数の地震国です。そこで誰でも考えるのは、「地震発⽣が事前にわかればあれほどの被害は出ないのに」ということ。つまり地震予知です。
この地震予知に関しては昔からいろいろな事が⾔われてきました。例えば「地震の前にはナマズが暴れる」 、「地震の前には […]Dataset: Wikipedia
URL: https://ja.wikipedia.org/wiki/地震
Training step: 28,955 (/61,000)...
51

⾔語⾮依存の意味空間！？
• LLM の学習中，対訳関係にある単語（e.g., 「apple」と「りんご」）の埋め込みの類似度はどう変化するか？
• 10カテゴリ (e.g., action, animal, country, etc.) についてそれぞれ10件の対訳関係にある単語ペアで検証• LLM-jp-13B学習時の11個のチェックポイントを使用（約9,000ステップおき）

53

LLM-jp (LLM勉強会)• オープンかつ⽇本語に強い⼤規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可

2023.5
⾃然⾔語処理の研究者の有志約30名による勉強会を開催
2023.10mdxを⽤いて130億パラメータの⼤規模⾔語モデル「LLM-jp-13B」を公開
2023.11
ABCI第２回LLM構築⽀援プログラム採択
1750億パラメタモデルの学習に着⼿
2024.1
GENIAC 第1期採択（2024.4から1750億パラメタモデルを学習）• mdx: データ活⽤社会創成プラットフォーム．9⼤学2研究所が連合して共同運営する、データ活⽤にフォーカスした⾼性能仮想化環境• ABCI: AI橋渡しクラウド．産業技術総合研究所（AIST）が提供するAI向け計算⽤で現状国内最⼤の計算資源• GENIAC: Generative AI Accelerator Challenge.⽇本国内の基盤モデル開発⼒の底上げのために計算資源の提供等を⾏う経産省のプログラム

⽂部科学省：⽣成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成（事業期間:令和5年度〜令和10年度）

⼤規模⾔語モデル研究開発センター
LLMCの活動（LLMC）• LLMの構築・公開
LLM-jpの活動• LLMの透明性・信頼性確保に関する• LLMC主宰の活動と位置づけ 研究開発
• LLMの⾼度化に関する研究開発• 1400名超の参加者（データ開拓・開発、企業との共同研究等では⼀部クローズな活動もありえる）• 完全にオープン

55

LLM研究開発センターの⽬標??

GPT-4(推定 1兆パラメータ、マルチモーダル)

Gemini

オープン・透明化
ハルシネーション対策
信頼性・安全性

Claude 3

Llama 3

新たな社会基盤となるAIについて、世界と伍する研究開発⼒を持つ(15兆トークン)

ChatGPTモデルの能⼒・賢さ

LLM-jp 172B

Mixtral(8 x 7B)

GPT-3.5

LLM-jp 13B v2

LLM-jp 13B v1

GPT-3
2020

2021

2022

2023

2024

2025

……

2029
56

データ基盤から知識基盤へ
⽇本学術会議「未来の学術振興構想」の策定に向けた「学術の中⻑期研究戦略」に提案（2022年12⽉16⽇）

AI基盤モデルが出⼒する情報の信頼性を担保する知識トレーサビリティ

AI基盤モデル構築に必要なデータの信頼性・信憑性を確保する技術

研究データ基盤の機能充実

異分野間の⾼度認証連携

クラウド・エッジサーバ・デバイス間のデータ収集及び資源最適化

国際協調に基づく⾮地上形ネットワークの構築による学術分野の発展・開拓

ネットワーク状態の⾼度診断・障害
予兆検知
57

これからどうなるのか• LLMの能⼒の決定要因は計算量×モデルサイズ×データ量。計算量とモデルサイズは（莫⼤な）資⾦があれば解決するが、データ量（⼈間が作成したテキスト）には限界がある。⼈⼯合成データの利⽤が検討されているがあまりうまくいっていない。量の観点からの改善は若⼲頭打ち• データの質を改善する⽅向がある。良質な教科書、解説⽂章、論⽂などの利⽤がすすむかどうか（⼈類の知の共有）• 動画の利⽤、実世界の理解やロボットの学習はまだまだ伸びしろがある。
58

これからどうなるのか• Hallucination は⼤きな課題。世界中で対策のために研究が進んでいるが、ゼロにはできない。
• 使い⽅の選択（ユーザの⽅が専⾨性が⾼い分野でアシスタントに使う場合には⼤幅な効率改善）、使い⼿の批判的思考⼒が重要（⽣成AIを使わせないという教育は？）• 専⾨家のAI⽀援は早晩始まるだろう（医療を始めとする⾼度な専⾨分野等でも）。徐々にAIの精度が上がってい時、専⾨的判断をAIに任せるかどうかは社会の受容性の問題（cf. ⾃動運転）59