⼤規模⾔語モデルの原理と可能性
宮尾祐介
東京⼤学⼤学院情報理⼯学系研究科

⼤規模⾔語モデルとは• ⼤量のテキストデータから学習された⾔語モデル• ⾔語モデル：単語列 𝑤! , ⋯ , 𝑤" の⽣成確率 𝑝 𝑤! , ⋯ , 𝑤""

𝑝 𝑤!, ⋯ , 𝑤" = & 𝑝(𝑤# |𝑤!, ⋯ , 𝑤#%!)#$!

• ⾃然⾔語っぽい（⼈間が書いたっぽい）単語列は⾼い確率

ChatGPT

⾔語モデルとは• 単語列 𝑤! , ⋯ , 𝑤" の⽣成確率 𝑝 𝑤! , ⋯ , 𝑤"
"𝑝 𝑤!, ⋯ , 𝑤" = & 𝑝(𝑤# |𝑤!, ⋯ , 𝑤#%!)#$!

• 𝑝(𝑤" |𝑤! , ⋯ , 𝑤"#! ) を⼤量のテキストデータから学習• ⽂脈 𝑤! , ⋯ , 𝑤"#! から次の単語 𝑤" を予測→ ⼈間が書くような⽂章が⽣成できる
我輩 は 猫 で ある 。 名前 は？

𝑤!

𝑤+𝑤$ 𝑤% 𝑤&𝑤'𝑤(𝑤)𝑤*

𝑁グラムモデル• 直前の 𝑁 − 1 単語のみに依存して、次の単語の確率が決まる• それ以前の単語が異なるものは全て同⼀と考える

𝑝 𝑤" 𝑤! , 𝑤$ , … , 𝑤"#! = 𝑝(𝑤" |𝑤"#,-! , … , 𝑤"#! )我輩 は 猫 で ある 。 名前 は？

𝑤!

𝑤+

𝑤$ 𝑤% 𝑤&𝑤'𝑤(𝑝(𝑤&)𝑝(𝑤&|𝑤')𝑝(𝑤&|𝑤', 𝑤()
𝑝 𝑤& 𝑤', 𝑤(, 𝑤)𝑝 𝑤& 𝑤', 𝑤(, 𝑤), 𝑤*

𝑤)

𝑤*
ユニ(1)グラムバイ(2)グラム
トライ(3)グラム
4-グラム
5-グラム

𝑁グラムモデルの問題• 単語数 10,000 としたときのパラメータ数
モデル
2グラムモデル
3グラムモデル
4グラムモデル

パラメータ数10,0002 ＝ 1億10,0003 ＝ 1兆10,0004 ＝ 1京

• 𝑁 が⼤きい⽅が精度が⾼いと思われるが、単純に 𝑁 を増やせない• 少しでも異なる 𝑁 グラムは別の確率事象 → 意味が近い単語列はまとめられるのでは？
• 「名前 は」と「名まえは、」はだいたい同じはず分散表現• 単語やフレーズの意味をベクトルで表す• 単語埋め込み (word embedding) ともいう

• word2vec: 周辺の単語が似ている単語（＝意味が近い単語）は近いベクトルになるよう学習
𝑝 𝑤# 𝑤#%+ , … , 𝑤#%!, 𝑤#,!, … , 𝑤#,+ = softmax 𝑤
2 # ⋅ 𝑐#̅
𝑐#̅ = 𝑤
2 #%++ ⋯+ 𝑤
2 #%!
+𝑤
2 #,!
+ ⋯+ 𝑤
2 #,+• 分散表現を使って確率を与える → 意味が近い単語列をまとめる
𝑝 𝑤" 𝑤!, 𝑤., … , 𝑤"%! = 𝑓(𝑤
2! , 𝑤
2., … , 𝑤
2 "%!, 𝑤2" )猫イヌ
我輩我が家のタマニューラルネットワーク

𝑝 𝑦 𝑥 = 𝒂𝒏 (𝑊/ 𝒂𝒏#𝟏 (… 𝒂𝟐 (𝑊$ 𝒂𝟏 (𝑊! 𝒙))))
活性化関数

パラメータ⾏列• ベクトルからベクトルへの関数（線形写像と⾮線形関数）を繰
り返し適⽤• 出⼒が正しくなる（＝損失関数を最⼩化する）ようなベクトルになるようにパラメータを学習• ⾔語モデルの場合は、次の単語の予測が正確になるように学習リカレントニューラルネットワーク• 各単語のベクトルを組み合わせて単語列のベクトルに• 単語列＝⽂脈をベクトルで表すことができる• 𝒉2 : 𝒙! , … , 𝒙2 の意味を表すベクトル𝒉2 = 𝒂′(𝑊′𝒉2#! ) + 𝒂(𝑊𝒙2 )• ⾼精度な機械翻訳や説明⽂⽣成を実現
𝒂′(𝑊′𝒉1)𝒉!

𝒉"𝒉#𝒚softmax(𝑊𝒉2)

𝒉$𝑥!, … , 𝑥2 の埋め込み
𝒂(𝑊𝒙2)

猫

で𝒙!

𝒙"

𝒙#𝒙$

ある。

名前

は単語埋め込み

Transformer• 周辺単語との関係に基づき各単語のベクトルを変換• 遠くの単語との関係が直接計算される 𝒚
𝒉! = C 𝑎!" 𝒗"

𝐾"

𝑄 と 𝐾 の類似度⾏列（𝑤! と𝑤" の関係の強さ）
𝑎!" = softmax 𝒒! @ 𝒌"
𝑄𝑉

猫である。

名前

は𝒙!

𝒒! = 𝑊# 𝒙!
𝒌! = 𝑊$ 𝒙!
𝒗! = 𝑊% 𝒙!

⾔語モデルがやること・やらないこと• ⼤規模⾔語モデルは⾔語モデルである• ⽂脈 𝑤! , ⋯ , 𝑤"#! に応じて⼈間が書いたかのような⽂章が⽣成できる• Transformer と⼤規模テキストデータでの学習により、⽂脈の⾼度な抽象化が実現されている（ようだ）• 事実を述べるように設計されてはいない• ⼈間が書いたかのような⽂章を⽣成することで、ある程度事実を述べることができる（⾔語モデルの中に知識が組み込まれている）• 学習データに含まれる知識はニューラルネットワークのパラメータとして埋め込まれており、確実に引き出せるわけではない• 現状の原理（のみ）では、事実性を保証することは困難• 感情・意志・情動を持つように設計されてはいない• （おそらく）⼈間と同じしくみで⾔語理解・⽣成しているわけではない

⼤規模⾔語モデルの可能性• インタフェースとしての⾃然⾔語理解・⽣成は⼈間と同等以上• ⼈間と機械の壁を取り払うことができる• 実世界のさまざまな問題に応じて⾔語モデルとその他システムを組み合わせれば、さまざまな応⽤が可能に• 事実を述べてほしい → 検索やデータベースと組み合わせ• 感情を持った対話をさせたい → 感情認識・⽣成と組み合わせ• 実世界とのインタラクション → ロボットと組み合わせ• 特定タスクを正確に遂⾏させたい → 個別システムと組み合わせ• 楽にいろんなタスクを実⾏させたい → プロンプト⾃動⽣成・最適化• 法的・倫理的問題の対応は必要（本講演では割愛）
検索

⾔語モデルロボット個別システム

教育に関して• これまでの講演で既にさまざまな⾓度から議論されている• 教育内容・⽅法 → あまり変わらず、あるいはより効果的に• ⾔語能⼒、論理的思考、批判的思考、専⾨知識、etc. は⼤規模⾔語モデルを使いこなすために必要• 教育の個別化など、⼤規模⾔語モデルによってより⾼い教育効果が望める• 教育における評価 → さまざまな混乱やアップデートが必要なのはしかたがない• 専⾨家の育成 → 次世代の⾔語モデルやさまざまな応⽤を実現していくにはコンピュータサイエンス等の専⾨性が必須• コンピュータサイエンス：省エネルギー化、品質保証、応⽤可能性、etc.
• ⾃然⾔語処理研究：⾔語モデルの分析・理解、学習⽅法、データ整備、etc.

⾃然⾔語処理研究の今• さまざまな試⾏錯誤を経て、⾃然⾔語処理技術が初めて空を⾶んだ• 新たな疑問が続々と⼤規模⾔語モデルの基礎理論、• なぜ⾶べるのか？
分析、応⽤、新たなモデル• ⿃（⼈間）と何が違うのか？
• どういう活⽤ができるか？
• よりよく⾶ぶ⽅法は？

• ⼤規模⾔語モデルや⼈間の⾔語理解についてはまだわかっていないことが多い• ⼤規模⾔語モデルによる⾃然⾔語処理のインパクトが⽰されたことで、これらの問いがより重要に

おわりに• 今後さまざまな⼤規模⾔語モデルや、それを利⽤した応⽤システムが実現• ChatGPT は⼀つの製品であり、最終形ではない• ⼤規模⾔語モデルのインパクトが⽰されたことで研究開発が加速• 現在指摘されている問題点は徐々に解決されていく• 嘘をつく・正確性• 学習・運⽤のコスト• バイアス• ブラックボックス性• プロンプトへの過敏性• ⼈間とは異なる形で⾔語能⼒を実現している前提で活⽤・改善⽅法やルールを探求すれば、社会のあらゆる場⾯で活躍が期待される