JAIST産学官共創フォーラム 令和5年度 第3回定期講演会

Large Language Models (LLM)

大規模言語モデルは”考える”ことができるのか
井之上 直也

jaist rebelsnlu

Search1

講演者紹介

井之上 直也
北陸先端科学技術大学院大学 先端科学技術研究科 准教授
言語推論研究室 (RebelsNLU) 主宰者
理化学研究所 革新知能統合センター客員研究員
博士 (情報科学)

略歴● 2010年 奈良先端科学技術大学院大学 情報科学研究科 修士課程修了● 2013年 東北大学 情報科学研究科 博士課程修了● 株式会社デンソー、東北大学助教、米 Stony Brook University ポスドクを経て2022年より現職● 自然言語処理 (特に知識・推論) の研究に14年間従事

251

ChatGPT4 に講演のアドバイスをお願いしてみた…
351

本日のメニュー講演1: LLM は ”考える” ことができるのか (本講演)● Part 1: LLM の仕組み (25分)○

自然言語処理の基礎○

LLM の基礎● Part 2: LLM の推論能力 (25分)○

ベンチマークデータの構築: 日本語マルチホップQA、画像に対する推論○

無知の知は LLM の信頼性を向上させるか: Back-off LMKB

講演2: オープンなLLMの発展と、それを活かした日本語LLMの開発について (株式会社ELYZA 佐々木彬氏)
451

言語 (Language) とは● 言語: 文法と語彙からなる何らかのシステム● 形式言語 (Formal Language)○

ある目的のために人工的に設計された言語○

プログラミング言語、エスペラント語、楽譜、化学式…

● 自然言語 (Natural Language)○

人間が日常生活で自然に使う言語○

日本語、英語、中国語…
5
51

自然言語処理 (Natural Language Processing; NLP)
● 自然言語を処理する計算モデルを研究する学問● 計算モデルとは○

数式 y = 𝑓 𝑥 , 𝑥 は解析対象の文○

アルゴリズム (手続き; 処理の手順)● NLP の研究は例外との闘い○

def chatbot(x):if x == “Hello”: print(“Hi, how are you?”)○chatbot(“Hello”)○

chatbot(“Hello!”) chatbot(“hello”) chatbot(“Hi!!!”)

6
51

NLP の応用例● 情報検索: Google, Bing, Semantic Scholar, Google Scholar● 機械翻訳: Google Translation, DeepL● 言語学習: Grammaly, Duolingo● 自動採点: ETS e-rater● バーチャルアシスタント: Siri, Alexa, Cortana● 推薦システム: Amazon, Rakuten, e-bay, Mercari● テキスト分類: SmartNews, Google News, Yahoo! News● 対話システム: ChatGPT
751

何が難しいか● 言語特徴量問題○

言語をうまく扱える、機械専用のデータ形式をいかに設計するか○

同犠牲、多義性、曖昧性● 知識推論問題○

人間の持つ知識をどのように機械に教え込み、使いこなせるようにするか○

世界知識、推論851

ここが難しい (1/3): 同義性
異なる表現、同じ意味
私は石川生まれだ
私は石川県の出身だ
私の人生は石川から始まった…

=「私は石川で生まれた」
951

ここが難しい (2/3): 多義性、曖昧性
同じ表現、異なる意味
The man went to the bank.
私は犬をかっている。
（単語の多義性）

私は友達とごはんを食べた。
私はりんごとみかんを買った。
(統語構造の曖昧性)

1051ここが難しい (3/3): 世界知識
自然言語の理解には世界知識が必要
1a) 太郎は、次郎を怒鳴った。
彼はイライラしていたからだ。
1b) 太郎は、次郎を怒鳴った。
彼はふざけていたからだ。

1151

アプローチの歴史● 1950-2013年: パイプライン方式○

機能別にモジュールをつくり組み合わせる○

言語は様々な単位の塊からなる: 単語、句、文、文書…

○

解析対象 → 形態素解析 → 構文解析 → 意味解析 → 文脈解析 → 出力○

各モジュールの解析結果から特徴量を抽出する● 2014年-: End-to-end 方式○

言語の意味は分散表現 (ベクトル) で表現できる○

解析対象 → ニューラルネットワーク → 出力○

昨今の LLM もこの流れを汲む
1251

パイプライン方式の概要
文● 形態素解析○

動詞句

単語区切り、品詞を決める● 構文解析
○文の構文的な構造を決める○

単語と単語の間の関係

名詞句

文の意味解釈を決める

名詞句

I water the plants on
代名詞 動詞● 文脈解析
○

前置詞句

名詞句

● 意味解析
○動詞句

文脈や状況から文の解釈を決める

冠詞

名詞

the table

前置詞 冠詞

名詞

- 工場✓
- 植物

13
51

End-to-end 方式の概要● 言語を分散表現で表現○

単語をベクトル化○

これらのベクトルを合成して句や文、文書の意味を表現● 分散表現を用いて NLP タスクを解く● 単語のベクトルや、合成の仕方はどうやって学習するか？
→ 深層学習の出番

1451

深層学習とは?
● 深層構造により抽象度が高い特徴量を自動学習する方法○

特徴量 = 分散表現

● 深層学習時代以前は…
○

基本的な枠組み: 入力 → 特徴量抽出 → 分類/生成○

特徴量関数を人手により設計● ニューラルネットワークに基づく手法が主流● AI 系研究への適用事例多数

1551

LLM のアイデア● 事前学習 (Pretraining): 様々な NLP タスクに有用な、汎用的な特徴量を学習する (深層学習を使う)○

汎用的なモデルを設計する○

汎用的な特徴量を学習するためのタスクを設計する■

大規模なウェブコーパスを使用● 学習したモデルを、他のタスクに転用する○

比較的少量の注釈付きコーパスを使用○

ファインチューニング (Finetuning) (2018-)○

コンテキスト内学習 (In-context Learning) (2023-)
16
51

NLP でよく使われる深層学習モデルの構成素● 順伝播型ニューラルネットワーク(Feedforward Neural Network; FFNN, Multi-layer Perceptron; MLP)

● 可変 (Variable-length) 系列データのモデル化○○

再帰型ニューラルネットワーク (Recurrent Neural Network; RNN)■

Gated Recurrent Unit (GRU)■

Long Short-Term Memory (LSTM)

Transformer● 系列変換のモデル化○

Encoder-Decoder モデル

1751

代表的なモデルの組み合わせ方 (模式図)
ラベリングタスク

系列変換タスク
私は石川県在住です。
文章2

Positive
ラベル(列)FFNN
RNN,
Transformer
Encoder

FFNN

分類器
入力文の
特徴量抽出
(Encoder)文章
I like the movie.

RNN,
Transformer
Decoder
RNN,
Transformer
Encoder

自己回帰的に文を生成(Decoder)
入力文の
特徴量抽出
(Encoder)文章1
I live in Ishikawa.
18
51

Transformer (Vaswani+2017)https://jalammar.github.io/illustrated-transformer/

19
51

Transformer (Vaswani+2017)https://jalammar.github.io/illustrated-transformer/

20
51

BERT: Bidirectional Encoder Representations from Transformers (Devlin et al. 2019)● モデル: Transformer エンコーダ (base: 12層 or large: 24層)
● 文全体の埋め込みを得るため文頭に [CLS] を追加

https://jalammar.github.io/illustrated-bert/

21
51

BERT: 事前学習
事前学習タスク● マスク言語モデリング● 文隣接性判定● 生コーパスから自動的に訓練データを構築可能

https://jalammar.github.io/illustrated-bert/

22
51

BERT: 自然言語処理タスクへの適応方法
ファインチューニング
● 比較的少量の注釈付きデータセットで追加学習をする● モデルの重みパラメタを変更する● 様々なNLPタスクで最高性能を達成し当時は衝撃が走った

https://jalammar.github.io/illustrated-bert/

23
51

GPT: Generative Pretraining Transf. (Radford et al. 2018)● モデル: Transformer デコーダ (12層)● 事前学習タスク: 次単語予測

https://jalammar.github.io/illustrated-bert/

24
51

OpenAI の大規模言語モデル● GPT-3 (Brown+2020): Transformer デコーダ (Vaswani+2017)○

1,750億個の重みパラメタ○

570GB のコーパスで事前学習 (事前学習タスク: 次単語予測)● InstructGPT (Ouyang+2022): GPT-3 をインストラクションデー
タにて訓練○

完全教師あり学習 (約1万事例)、強化学習 (約6万事例)● ChatGPT: GPT-3.5 [2] を対話向けに調整、技術詳細非公開● GPT-4 [3]: Transformer、画像も入力可、技術詳細非公開● ChatGPT-4: GPT-4 + 各種拡張モジュール (検索, 計算, etc.)[1] https://openai.com/blog/chatgpt[2] https://platform.openai.com/docs/model-index-for-researchers/models-referred-to-as-gpt-3-5[3] https://openai.com/research/gpt-4

2551

コンテキスト内学習 (In-Context Learning)● モデルの重みパラメタを変更せずタスクの解法を学習● 自然言語によりタスクを指示● モデルへの入力○

タスクの説明 (Task description)○

少量 (10〜100個) の入出力の例(Examples)○

解きたい問題 (Prompt)● 最先端のシステムと近い、または(Brown+2020)

それ以上の性能を達成
26
51

LLM は自然言語処理の難題にどのように挑戦したか● 言語特徴量問題○

言語をうまく扱えるような機械の形式をいかに設計するか○

同犠牲、多義性、曖昧性→ 単語の穴埋め問題に基づく事前学習● 知識推論問題○

人間の持つ知識をどのように機械に教え込み、使いこなせるようにするか○

世界知識、推論→大規模な訓練データから人間の常識を学習し、大規模なモデルパラメタに知識を蓄える
27
51

https://github.com/Mooler0410/LLMsPracticalGuide

28
51

LLM ですべてが解決するわけではない● データ汚染○訓練事例に既存のNLP評価データが含まれており、公平な性能評価ができていない可能性がある● 幻覚 (hallucination): 事実と異なることを言ってしまう○

訓練データ/入力文に書いていない事実を作り出してしまう (単語予測エラー)... Confabulation (作話)○

そもそも訓練データに嘘が書いてあり、忠実にそれを再現した (LLMに非はない)

● 安全性
○

幻覚により事実と異なる解答を出してしまい、人々を混乱させる○

人類に害のある解答を出してしまう (爆弾の作り方など)○

言語モデルの解釈性、技術の詳細が非公開

29
51

ChatGPT4 に JAIST の場所を聞いてみた

!?
30
51

本日のメニュー講演1: LLM は ”考える” ことができるのか (本講演)● Part 1: LLM の仕組み (25分)○

自然言語処理の基礎○

LLM の基礎● Part 2: LLM の推論能力 (25分)○

ベンチマークデータの構築: 日本語マルチホップQA、画像に対する推論○

無知の知はLLMの信頼性を向上させるか: Back-oﬀ LMKB

講演2: オープンなLLMの発展と、それを活かした日本語LLMの開発について (株式会社ELYZA 佐々木彬氏)
3151

言語推論研究室 (RebelsNLU@JAIST) の紹介● 推論系 NLP を徹底的に研究する
インターナショナルラボ
● 2022年4月設立、現在:○

修士課程: 10 (+4) 人○

博士課程: 3人○

(うち8人が留学生)

32
51

(石井らa, 石井らb To appear in NLP2024)

JEMHopQA: 概要● Japanese Explainable Multi-hop Question Answering Dataset○“マルチホップ” QA: 複数の知識断片を組み合わせる高度な推論を要する質問応答■

知識源: Wikipedia (2021 dump)○

1,179 件のデータセットを構築 (日本語で世界初)○導出 (解答に必要となる知識断片の集合) も付与● 問題の例
質問: ルーヴル美術館が所在する都市の市
長の名前は？
解答: アンヌ・イダルゴ
導出: (ルーヴル美術館, 所在地, パリ)(パリ, 市長, アンヌ・イダルゴ)

質問: 『天空の城ラピュタ』と『となりのトトロ』の公開日が早いのは、『となりのトトロ』
ですか？
解答: NO
導出: (天空の城ラピュタ, 公開年, 1986年)(となりのトトロ, 公開年, 1988年)

https://github.com/aiishii/JEMHopQA

33
51

GPT-4 はどれぐらい解けるのか？
70

Exact Match Accuracy

60
50
40
30
20
10
0
gpt-4-0613
Zero-shot

5-shotChain-of-Thought (5-shot)34
51

分析: GPT-4 はなぜ間違うのか？
● 作話の導出に依拠した推論 (47/48事例)○

質問: 東名阪自動車道と伊勢自動車道、高速道路ナンバリングによる
路線番号は違いますか？

○

GPT-4 解答: NO / 正解: YES○

GPT-4 導出:■(東名阪自動車道, 高速道路ナンバリング, E1)■(伊勢自動車道, 高速道路ナンバリング, E42)

※正しくはどちらも E23→ 作話が主たるエラーの要因● 正しい導出を与えて解答を試みると、95.6% の正解率！
→ GPT-4 の推論能力は十分に高く、作話の解消が大きな課題
35
51

分析: GPT-4 は本当に正解しているのか？
● 解答は正解しているが誤った知識に依拠 (23/72事例)○

質問: 永山瑛太の実弟の職業は？

○GPT-4 解答: 俳優 / 正解: 俳優○

GPT-4 導出:■(永山瑛太, 実弟, 永山俊輔)■(永山俊輔, 職業, 俳優)※実在しない人→ 答えありきで辻褄合わせの作話をしたのかも？

36
51

マルチモーダル
Emerging Topics(画像、音声への拡張) LLM の進展
March

LLaMA

Flamingo

April

Alpaca Vicuna

GPT4

June

May

IdealGPT
PathAsst
ChatBridge
Videochat
GILL
InstructBLIP
ValleyLAVINInternGPT
VisionLLM
MIMIC-IT
LMEye
X-LLM
Video-LLaMA
Otter
OCR
POPE EmbodiedGPTMultiModl-GPT PandaGPTMetaVLLAMM

MiniGPT-4 Llama-Adapter V2
LLaVA mPlug-Owl

PMC-VQA
SpeechGPT

https://vlp-tutorial.github.io/(Li CVPR Tutorial 2023)

LLaVA-MedContextual DET

LVLM-eHub

37
51

GPT-4 Vision (GPT-4V)● 画像も入力できる
マルチモーダル言語モデル● GPT-4 はもともとマルチ
モーダル言語モデル● 10月以降、画像入力も受付ける形となった [1][1] https://platform.openai.com/docs/guides/vision

Photo: https://www.jaist.ac.jp/admissions/38
51

(Shi et al. To appear in NLP2024)

Find-the-Common: 概要● 画像に対する帰納的推論のベンチマークデータ 500問 (世界初)● 入力: 複数の3Dシーン画像● タスク: 画像に共通するパタンを見つける○(a) 黄色い物体はすべて筒状である○(b) 赤い球体は手前にある○(c) 最も左にある直方体は緑色である ✓○(d) 最も遠い物体は紫色である
39
51

解き方のバリエーション● 直接 Vision & Language Model (VLM)に聞く … (A)● 段階を踏んで聞く
1. シーンにどのような物体があるかを答えさせる
2. 物体認識結果をもとに推論をする■

物体認識結果を与え、完全に言語ベースで推論する … (B1)■

物体認識結果 + 画像情報を与え、画像と言語の両方に基づいて推論する … (B2)

40
51

GPT-4V はどれぐらい解けるのか？
100
90
80
70
60
50
40
30
20
10
0
GPT-4V人間(A) 直接(B1) 物体認識→推論(B2) 物体認識+画像→推論
41
51

分析: GPT-4V はなぜ間違うのか？
● 実際にない物体を誤認識してしまう (約80%の事例で確認)

A green cylinder
A blue teardrop or
droplet shape
A blue cube
A yellow cube

A purple cube
A blue teardrop or
droplet shape
A red cube
A yellow sphere*

A large red sphereA small purple
teardrop or droplet
shape
A green cube
A yellow cube*

A red cube
A blue teardrop or
droplet shape
A blue cube*● 正しい物体認識結果を与えた場合の正解率○

B1法 74.0% / B2法 92.5%！

→ 推論能力は十分に高い、作話が大きな課題 (again)
42
51

ここまでのまとめ● LLM は NLP の難題に有望な解決策を与えた● LLM の振る舞い分析からの知見○

推論能力は十分にあるように見える○

作話してしまうことに大きな課題あり■

テキスト入力、画像入力に共通の課題● 今後のビジョン○

作話にどう対処していけば良いかが一つの鍵になる43
51

(井之上ら To appear in NLP2024)

Back-oﬀ LMKB: スタンス
● LLM は超超超巨大記憶装置を持った柔軟なパタンマッチャー○

訓練データに直接的に書かれていないことを正確に答えるのは難しい○

そもそも書かれていることを全て正確に覚えているわけではない● 無理矢理答えるから作話が起こる○

その場合には「分からない」という解答が欲しい● 問い: LLM は「自分が何を知っているか」を自己認知できるか？
● 重要キーワード: 無知の知4451

(井之上ら To appear in NLP2024)

Back-oﬀ LMKB: アイデア
● LLM に問い合わせ、解答を試みる● 自己認知機構により、解答が分からない (無知) と判断した場合、質問を言い換えて検討し直す (=バックオフ; 世界初)
● バックオフを繰り返しても分からない状態が続く場合には、「分からない」と解答させる

45
51

p: 文在寅は、大都の区域外で生まれた。
LMKB

T

F
不明

▶False? ▶True考、熟✐LLMで分解 : q1 & q2 → p
True

q1: 文在寅は、巨済市で
生まれた。
T

LMKB

F

True!
True

q2: 巨済市は大都の区域外にある。

▶True

LMKB

✐LLMで分解 : r1 & r2 → q2
True

r1: 巨済市は韓国にある。
LMKB

T

F

▶True

T

▶False? ▶True

F

不明、 熟考

True!

True

r2: 大都は、現在の中国の北京に
存在した。
LMKB

T

F

▶True

46
51

無知の知: 単語の生成確率分布の情報量から推定● 単語の生成確率分布の情報量 (エントロピー) をヒントとする● 文在寅の出身国は、̲̲̲̲̲̲̲̲

生成確率
韓国

日本

次の単語

アメリカ

韓国

次の単語

→ 情報量が低い、無知の状態(作話が起こりやすい状況)

47
51

回

を

る

結果: GPT-4 の作話を減少させることに成功● 全ての問題に無理矢理答え
させる: 正解率 74.8%● 単語の生成確率分布は、
自己認知機構あり(Back-oﬀ なし)
自己認知機構あり(Back-oﬀ, d=1)
自己認知機構あり(Back-oﬀ, d=2)e
生● バックオフにより、解答率を上げても、

そて

作話判定の良い指標になる

テストセット:Wikipedia に関するマルチホップ質問応答(Geva et al. 2021)

高い精度を維持48
51

例: バックオフにより GPT-4 の作話を防げたケース※TOKIOの活動開始年は1990年 (訓練データには入っているはず) なので、「偽」が正解。
素のGPT-4は「真」と作話しようとしたが、自己認知機構により「不明」と解答できた。

49
51

Five Orders of Ignorance (Armour+ 2000)● 0th: I provably know something○

金沢駅は何県にありますか？

● 1st: I know that I donʼt know something ← Back-off LMKB○

火星の今日の最低気温は何度ですか？

● 2nd: I donʼt know that I donʼt know something○

コーヒー豆は豆の一種ですか？

● 3rd: I donʼt know a suitably eﬃcient way to ﬁnd out
I donʼt know that I donʼt know something ← 素の LLM● 4th: I donʼt know about the Five Orders of Ignorance.
https://www.5oi.org/home

50
51

まとめ
● LLM は NLP の難題に有望な解決策を与えた● LLM の振る舞い分析からの知見○

推論能力は十分にあるように見えるが、作話に課題あり○

バックオフ (無知の自覚＋分解による再検証) により、作話を防いで解答精度が向上することを実験的に確認● LLM の未来: 自己認知 (無知の知を含む) でもっと賢くなれる○

自己認知の応用先: 作話防止、発言内容の自主改良、好奇心に基づく自己学習● まだまだ残る課題○

LLM 単体で全てをこなすのは難しい、外部からの制御やツールとの連携が重要○

作話、安全性、技術のオープン性○

各種言語への適応

5151