言語創発を計算言語学として位置付ける試み
言語処理学会第 29 回年次大会ワークショップ『深層学習時代の計算言語学』

上田 亮

2023/03/17
東京大学AM セッション

目次
1. 自己紹介
2. 背景
3. B4 の ときに 考えていた こと
4. M1～M2 のときに考えていたこと
5. 最近考えていること
6. まとめ

1/17

自己紹介

自己紹介
まずは自己紹介から
名前
所属
学年
研究分野
URL

上田 亮
東大 宮尾研 (B4～現在)
M2 (来月から D1)
Emergent Communication (言語創発)
https://sites.google.com/view/ryo-ueda/興味
言語の (統計的な) 性質・構造 (e.g., 文法構造) がどのようにして生じるのかに興味があります
それをシミュレーションで再現したい
構成論的に何か示唆をもたらしたい

2/17

背景

背景：創発言語 & シグナリングゲーム
創発言語 (Lazaridou and Baroni, 2020)
何かしら の シミュレーション 環境 に おいてエージェント間で生じる 人工的な言語
計算言語学の 1 アプローチとして言語 の 諸性質 を 必然 たらしめる 要因 は 何か？
これ を 構成論的 に 示したい
よく 使われる環境は :シ
グナリングゲーム (Lewis, 1969)::::::::::::::::::::::::

3/17

B4 の ときに 考えていた こと

B4：創発言語 を Zipf 短縮 に 従わせたい
Zipf 短縮 (Zipf, 1935)
使用頻度 の 高い 単語 ほど 短くなる 傾向
素朴 な シグナリングゲーム に おいて 創発言語 はZipf 短縮 に 従わない(Chaabouni et al., 2019)
ノイズによる短期記憶のモデル化 (Ueda and Washio, 2021)
エージェント の NN に ノイズ を 入れる こと で人間 の 短期記憶 を モデル化 する と よいのでは
送り手エージェント の NN に ノイズ を 入れるとZipf 短縮 の 傾向 に 近づくこと が 分かりました
4/17

M1～M2 のときに考えていたこと

M1,2：創発言語 でも 二重分節 を再現 できるか
二重分節 (Martinet, 1960)
文 → 単語 → 音素 へと分解 される 階層的 な 構造
この 二重分節 を 創発言語 でも 再現 できたら
かなりカッコいい のでは:::::::::::::::::::::::

インスピレーション を 得た 書籍 (おススメです！)• 『言語とフラクタル』田中久美子・著• 『記号創発ロボティクス』谷口忠大・著

5/17

次に来る文字の不確かさと単語境界
例: 英単語 “natural”
n. . .
「次の文字は何だろう...」..
.

nat. . .
..
.

「次は u か i だろう」

natura. . . 「次は l に違いない」
natural. . . 「次は何だろう... d(isaster)? l(anguage)?」
Harris の仮説 (Harris, 1955)
一度 下がった 不確実度 が 再び 上がる
そこに 単語境界 が ある

Harris の分節原理 (Tanaka-Ishii, 2021)
この 現象 を 情報理論 (Entropy) に よって 定式化

6/17

M1,2：創発言語でも Harris の分節原理は成り立つのか
我々の問い (Ueda, Ishii and Miyao, 2023a)
創発言語 でも Harris の分節原理 は 成り立つのかm
創発言語 を 分岐 Entropy 増大点 で 区切ったときその区切りは「単語」といえるだろうか

結果として 創発言語 では
Harris の分節原理 が成立しない こと が 示唆されました:::::::::::::::::

7/17

M1,2：範疇文法導出を用いた創発言語の構成性の評価
問い
創発言語 の 文法構造 や 構成的な構造 を推測する には どうしたらよいのだろうアイデア (上田・石井・鷲尾・宮尾, 2023b)
創発言語 に 範疇文法導出 (e.g., Zettlemoyer and Collins, 2005) を適用してみよう
結果の一例：
7 2 3 2 7→ And(SQUARE, And(SQUARE, TRIANGLE))
7232N
S\N
S\S/N
N: TRIANGLE : λx.And(SQUARE, x) : λx.λy.And(x, y) : SQUARE<S : And(SQUARE, TRIANGLE)>

S\S : λy.And(SQUARE, y)

S : And(SQUARE, And(SQUARE, TRIANGLE))<8/17

範疇文法導出とは
範疇文法導出とは
文 s と意味 ψ のペア {(sj , ψj )}j から
範疇文法 (Categorial Grammar) を導出 (Induction)
意味解析器として使えるs=John likes Mary↓
ψ=LIKE(MARY, JOHN)

John

likes

Mary

N
S\N/N
N: JOHN : λx.λy.LIKE(x, y) : MaryS : λy.LIKE(MARY, y)
S : LIKE(MARY, JOHN)

Q: こんなものが創発言語に適用できるの？ A:Yes!
∵ 創発言語は メッセージ m と意味 i のペア{(mj , ij ) | mj = S(ij )} から成るため><9/17

最近考えていること

最近：シグナリングゲームを生成モデルとして定式化
最近の気づき (上田, 2023)
シグナリングゲーム の 目的関数 は
β-VAE (Higgins et al., 2017) に近い
つまり...?

m

メッセージ m = 潜在変数
意味 (情報) i = 観測変数i
グラフィカルモデル

記号創発 の 分散的ベイズ:::::::::::::::::::::::::::::::::::::::::の 世界観 (Taniguchi et al., 2022)に 繋がって いく 可能性

10/17

そもそも シグナリングゲーム は 単純すぎる
うすうす気づいていること

シグナリングゲーム は 単純 すぎる

こんな 単純 な 設定 で
文法 構造 など 生じ 得る のか(多分 生じ ない)

もっと複雑なことをやりたい！
11/17

まとめ

まとめ
私の興味
言語の (統計的な) 性質・構造がどのようにして生じるのかに興味があります
それをシミュレーションで再現できたらもっと嬉しい
これまで：B4～M1～M2 の間

Zipf 短縮・Harris の分節原理・範疇文法などに着目
これから：D1～???
まだまだ やるべき こと が たくさん「ゲーム」の 数学的 な 整理 and/or 複雑化 を しつつ何か 面白い 結果 を 出せて いけたら 嬉しい
12/17

宣伝 1
NLP コロキウムにてトークさせていただきます!

創発言語でも Harris の分節原理は成り立つのか？
2023/06/14 (Wed) 12:00 (JST)

13/17

宣伝 2
JSAI2023 にてオーガナイズドセッションをやります!

言語とコミュニケーションの創発～記号創発システムから共創的言語進化まで～
上田亮, 谷口忠大, 鈴木麗璽, 中村友昭, 橋本敬

14/17

参考文献 iChaabouni, Rahma, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni (2019)“Anti-efficient encoding in emergent communication,” in Wallach, Hanna M., Hugo
Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B. Fox, and Roman
Garnett eds. Advances in Neural Information Processing Systems 32: Annual
Conference on Neural Information Processing Systems 2019, NeurIPS 2019,December 8-14, 2019, Vancouver, BC, Canada, pp. 6290–6300.
Harris, Zellig S. (1955) “From Phoneme to Morpheme,” Language, Vol. 31, No. 2, pp.
190–222.
Higgins, Irina, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot,
Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner (2017)“beta-VAE: Learning Basic Visual Concepts with a Constrained VariationalFramework,” in 5th International Conference on Learning Representations, ICLR
2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings:OpenReview.net.
15/17

参考文献 ii
Lazaridou, Angeliki and Marco Baroni (2020) “Emergent Multi-Agent Communicationin the Deep Learning Era,” CoRR, Vol. abs/2006.02419.
Lewis, David K. (1969) Convention: A Philosophical Study : Wiley-Blackwell.
Martinet, André (1960) Éléments de linguistique générale: Armand Colin.
Tanaka-Ishii, Kumiko (2021) Articulation of Elements, pp. 115–124, Cham: Springer
International Publishing.
Taniguchi, Tadahiro, Yuto Yoshida, Akira Taniguchi, and Yoshinobu Hagiwara (2022)“Emergent Communication through Metropolis-Hastings Naming Game with
Deep Generative Models,” CoRR, Vol. abs/2205.12392, DOI:
10.48550/arXiv.2205.12392.
Ueda, Ryo and Koki Washio (2021) “On the Relationship between Zipf’s Law ofAbbreviation and Interfering Noise in Emergent Languages,” in Proceedings of theACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021,
pp. 60–70: Association for Computational Linguistics, DOI:
10.18653/v1/2021.acl-srw.6.

16/17

参考文献 iii

Ueda, Ryo, Taiga Ishii, and Yusuke Miyao (2023a) “On the Word Boundaries ofEmergent Languages Based on Harris’s Articulation Scheme,” in The EleventhInternational Conference on Learning Representations.
上田亮・石井太河・鷲尾光樹・宮尾祐介 (2023b)「範疇文法導出を用いた創発言語の構成性の評価」，『言語処理学会第 29 回年次大会 (NLP2023) 予稿集』．

Zettlemoyer, Luke S. and Michael Collins (2005) “Learning to Map Sentences toLogical Form: Structured Classification with Probabilistic Categorial Grammars,”in UAI ’05, Proceedings of the 21st Conference in Uncertainty in Artificial
Intelligence, Edinburgh, Scotland, July 26-29, 2005, pp. 658–666: AUAI Press.
Zipf, George K. (1935) The psycho-biology of language: Houghton Mifflin.
上田亮 (2023)「創発言語はなぜ Zipf 短縮に従わないのか？ 暗黙の事前分布に基づく再解釈」，『言語処理学会第 29 回年次大会 (NLP2023) 予稿集』．

17/17