深層学習時代の計算心理言語学

大関洋平

東京大学
理化学研究所 革新知能統合研究センター
ワークショップ「深層学習時代の計算言語学」
2023年3月17日（金）Copyright © Yohei Oseki. All Rights Reserved.

自己紹介
研究者紹介

研究者ウェブサイト：https://researchmap.jp/oseki

自己紹介
研究室紹介

研究室ウェブサイト：http://phiz.c.u-tokyo.ac.jp/~oseki/今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりに今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりに

はじめに
自然言語処理と計算言語学・認知科学(SQTYXEXMSREPPMRKYMWXMGWXLVIIGSQQYRMXMIW(YVVIRXHIITPIEVRMRKVIWIEVGL&(1DQGFRPSXWDWLRQDOSV\FKROLQJXLVWLFV
PDWKHPDWLFVRIODQJXDJHSam Bowman氏（ニューヨーク大学）のスライドから修正・再掲；cf. Lake et al. (2017), Linzen & Baroni (2021)

はじめに
自然言語処理と計算言語学・認知科学
自然言語処理：工学、機械、人工知能、コネクショニズム、帰納学習(SQTYXEXMSREPPMRKYMWXMGWXLVIIGSQQYRMXMIW(YVVIRXHIITPIEVRMRKVIWIEVGL&(1DQGFRPSXWDWLRQDOSV\FKROLQJXLVWLFV
PDWKHPDWLFVRIODQJXDJHSam Bowman氏（ニューヨーク大学）のスライドから修正・再掲；cf. Lake et al. (2017), Linzen & Baroni (2021)

はじめに
自然言語処理と計算言語学・認知科学
自然言語処理：工学、機械、人工知能、コネクショニズム、帰納学習(SQTYXEXMSREPPMRKYMWXMGWXLVIIGSQQYRMXMIW(YVVIRXHIITPIEVRMRKVIWIEVGL&(1DQGFRPSXWDWLRQDOSV\FKROLQJXLVWLFV
PDWKHPDWLFVRIODQJXDJH

計算言語学・認知科学：科学、人間、自然知能、シンボリズム、演繹知識
Sam Bowman氏（ニューヨーク大学）のスライドから修正・再掲；cf. Lake et al. (2017), Linzen & Baroni (2021)

はじめに
自然言語処理と計算言語学・認知科学
自然言語処理：工学、機械、人工知能、コネクショニズム、帰納学習(SQTYXEXMSREPPMRKYMWXMGWXLVIIGSQQYRMXMIW(YVVIRXHIITPIEVRMRKVIWIEVGL&(1DQGFRPSXWDWLRQDOSV\FKROLQJXLVWLFV
PDWKHPDWLFVRIODQJXDJH

計算言語学・認知科学：科学、人間、自然知能、シンボリズム、演繹知識
Sam Bowman氏（ニューヨーク大学）のスライドから修正・再掲；cf. Lake et al. (2017), Linzen & Baroni (2021)

はじめに計算心理言語学（computational psycholinguistics）

Brennan & Hale (2019); cf. Brennan (2016), Hale (2016)

はじめに計算心理言語学（computational psycholinguistics）
1. 機械：記号的生成モデル、深層ニューラルネットワーク、記号・ニューラル融合モデル

Brennan & Hale (2019); cf. Brennan (2016), Hale (2016)

はじめに計算心理言語学（computational psycholinguistics）
1. 機械：記号的生成モデル、深層ニューラルネットワーク、記号・ニューラル融合モデル

2. 人間：眼球運動、EEG、MEG、fMRI、ECoG
Brennan & Hale (2019); cf. Brennan (2016), Hale (2016)

はじめに計算心理言語学（computational psycholinguistics）
1. 機械：記号的生成モデル、深層ニューラルネットワーク、記号・ニューラル融合モデル

3. 機械 × 人間：• サプライザル• エントロピー（減少）•…

2. 人間：眼球運動、EEG、MEG、fMRI、ECoG
Brennan & Hale (2019); cf. Brennan (2016), Hale (2016)

はじめに本講演のメッセージ• 計算心理言語学は、人間の言語処理・言語獲得を計算論的にモデリングすることを目標としている。（＝古典的なAIの目標）• コネクショニスト時代は人間の言語処理・言語獲得が明確に意識されていたが、深層学習時代は大規模言語モデルの開発が先行している。

• 大規模言語モデルをそのまま援用するだけでは不十分で、計算言語学・認知科学の立場から人間らしい言語処理モデルを開発する必要がある。

➡ ChatGPTで計算言語学はまだまだ終わらない。。。！

今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりにコネクショニスト時代の計算心理言語学
順伝播型ニューラルネットワーク（feedforward neural network）

Rumelhart & McClelland (1986: 222)

コネクショニスト時代の計算心理言語学
再帰的ニューラルネットワーク（recurrent neural network）
194

ELMANI

YII

laaaenaIY

Elman (1990: 194)

Figure 6. Graph of root mean squared error in letter-in-word precition task.

Figure 3 shows the reading time predictions devia the linking hypothesis that reading
コネクショニスト時代の計算心理言語学⇣ time⌘at↵n 1
確率的文脈自由文法（probabilisticgrammar）
n is proportional to context-free
the surprisal
log ↵n .
5previous prefixLog[]current prefix

garden-pathing

14
12
10
8
5.90627

6
4
2

1.

1.
0.190684
0.0641303

0
theHale (2001: 5); cf. Jurafsky (1996)

horse

raced

past

0
thebarnfell今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりに

深層学習時代の計算心理言語学
トランスフォーマー（transformer）

BCCWJ-EyeTrack (Japanese)

Psychometricpredictive power

Dundee Corpus (English)

ModelTrans-lg
Trans-sm
LSTM+ N-gram

Number ofupdates
10000010000
1000100

Data size
400

Kuribayashi, Oseki, Ito, Yoshida, Asahara, Inui (2021) ACL; cf. Vaswani et al. (2017)

LGMDSM深層学習時代の計算心理言語学
短期記憶トランスフォーマー（short-term memory transformer）

English
LSTM-xs-Wiki
GPT2-xs-Wiki
GPT2-md-Wiki

PPP

GPT2-sm
GPT2-md
GPT2-lg
GPT2-xl

full20107

input length

Japanese

5

Kuribayashi, Oseki, Brassard & Inui (2022) EMNLP; cf. Merkx & Frank (2021)

3 2words深層学習時代の計算心理言語学
再帰的ニューラルネットワーク文法（recurrent neural network grammar）

Yoshida, Noji, Oseki (2021) EMNLP; cf. Dyer et al. (2016), Noji & Oseki (2021)

深層学習時代の計算心理言語学
トランスフォーマー文法（transformer grammar）

Yoshida & Oseki (In preparation); cf. Sartran et al. (2022), Yoshida & Oseki (2022)

今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりにChatGPTで計算言語学は終わるのか？
ChatGPT自身の見解

ChatGPTで計算言語学は終わるのか？
Marrの3つのレベル

菅原朔氏（NII）および日高昇平氏（JAIST）との議論から再掲

今日のメニュー• はじめに• コネクショニスト時代の計算心理言語学• 深層学習時代の計算心理言語学• ChatGPTで計算言語学は終わるのか？
• おわりに

おわりに本講演のメッセージ• 計算心理言語学は、人間の言語処理・言語獲得を計算論的にモデリングすることを目標としている。（＝古典的なAIの目標）• コネクショニスト時代は人間の言語処理・言語獲得が明確に意識されていたが、深層学習時代は大規模言語モデルの開発が先行している。

• 大規模言語モデルをそのまま援用するだけでは不十分で、計算言語学・認知科学の立場から人間らしい言語処理モデルを開発する必要がある。

➡ ChatGPTで計算言語学はまだまだ終わらない。。。！

ご清聴ありがとうございました！