# 指示ゲームの生成モデル的な再解釈

上田亮
東京大学
ryoryoueda@is.s.u-tokyo.ac.jp

## 概要

言語の創発をシミュレーションすることによって，言語の進化や動態を解き明かそうとする，創発コミュニケーション (EC) という分野がある. 本稿の目的は，ECにおいて頻繁に用いられるコミュニケーションモデルであるところのシグナリングゲー ムや指示ゲームを, 生成モデルに基づく変分推論として統一的に解釈することである。具体的には，ある種の Conditional VAE と見做すことのできる文脈付きシグナリングゲームという新たなゲームを定式化し，それが確かにシグナリングゲームや指示ゲー ムの一般化になっていることを確認する.

## 1 はじめに

本稿の目的な創発コミュニケーション (Emergent Communication; EC) [1] の分野でよく用いられるコミュニケーションモデルである，シグナリングゲームや指示ゲームをある種の生成モデルを用いた表現学習として再解釈することである。特に，本稿ではこれらのコミュニケーションモデルがある種の Conditional Variational Auto-Encoder (CVAE) $[2,3]$ としての統一的に再解釈できることを示す. EC は，言語の創発をシミュレーションすることによって，言語の成立や動態に何らかの示唆をもたらそうという構成論的なアプローチをとる進化言語学・計算言語学の関連分野である. 言語創発ともしばしば呼ばれる。言語の創発をシミュレーションしょうという挑戦的な試みは古くから存在するが，特に近年深層学習や表現学習，強化学習等の発展の恩恵を受け，再び注目を集めつつある．解き明かしたい言語動態の粒度や「何のために言語やコミュニケーションが存在するのか」という問いに対する作業仮説の採り方に依存して，具体的なコミュニケーションモデルの定式化の仕方は様々あり得る. 特に，構成性 (Compositionality) や文法構造のような比較的粒度の細かい言語の有り様に興味があ
り，かつ言語やコミュニケーションの存在意義にそれほど強い作業仮説をもたないという立場 (単に何らかの情報を伝達するシグナルであるという程度の考え方)をとる場合，分析のしやすさからシグナリングゲームや指示ゲームのようなシンプルなコミュニケーションモデルが採用されることが多いようである. シグナリングゲームには送り手 $S$ と受け手 $R$ と呼ばれる 2 人のプレイヤー(エージェント)のみが登場する. 各プレイにおいて，まず送り手 $S$ が情報 (意味) $x \in \mathcal{X}$ を 1 つ (ランダムに) 得

受け手 $R$ がそのメッセージ $\boldsymbol{m} \in \mathcal{M}$ を受け取り,元の情報 (意味) が何であったのかを推測し, 予測 $\hat{x} \in \mathcal{X}$ を出力する. $\boldsymbol{x}=\hat{\boldsymbol{x}}$ となればゲームは成功である．指示ゲームの場合，受け手 $R$ は情報 (意味) の集合 $\mathcal{X}$ 全体から予測値を選ぶ代わりに，正解 $x \in \mathcal{X}$ と不正解 $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(k-1)} \in \mathcal{X} \backslash\{\boldsymbol{x}\}$ を含む候補集合 $\left.\{\boldsymbol{x}, \boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(k-1)}\right.\}$ の中から予測値を選ぶ. 送り手 $S$ ・受け手 $R$ は通常，ニューラルネットワークに基づく確率モデルとして表現され，ゲームが成功しやすくなるように最適化される．最適化の結果両者の間に生じるコミュニケーションプロトコルは，情報を伝達する記号体系という意味では言語的である.生じたコミュニケーションプロトコルのことを創発言語 (Emergent Language) という。

シグナリングゲームや指示ゲームを用いた EC 研究では，典型的には以下のような問いが研究の動機となる.1つ目の問いは「創発言語は自然言語と同様の性質をもつだろうか？」である．例えば，Zipf 短縮 $[4,5]$ や Harris の分節原理 [6] のような自然言語における統計的普遍性質を取り上げ，それが創発言語でも成り立つのかを検証する研究がこれにあたる $[7,8] .2$ つ目の問いは「創発言語が自然言語と同様の性質をもつかどうかをどのように評価したらよいのか？」である．例えば，自然言語の性質であるとされる構成性が，創発言語にも存在するかどうか (あるいは“度合い”)を測る指標として，これまでに

いくつかの指標が提案されてきた $[9,10] .3$ つ目の問いは「現実世界のどのような要因をモデル化すれば自然言語と同様の性質創発するのか？」である.単に情報伝達の成功のしやすさ (ゲームの成功のしやすさ)だけでは創発しない性質があるとき，このような問いが重要となる。例えば，世代交代をモデル化する Iterated Learning モデルは，構成性の創発を促すことが知られている [11].

他方で，EC 研究においてはニューラルネットワークを最適化する際の目的関数の数学的な扱いがやや疎かになっていた節がある. 場合によっては， そういった無頓着さが Zipf 短縮などの一部の統計的普遍性質の創発を妨げていた可能性があるという指摘もある [12]. EC が進化言語学や計算言語学 (の関連分野) を標榜する以上，モデル化の仕方が単なる “恣意的なハック” に陥ることなく, ある程度数学的に地に足のついたものであることが望ましい.このような考え方の下，上田ら [12] はシグナリングゲー ムをある種の生成モデル，即ち (beta-)VAE [13, 14] として再解釈すべきであるという提案した. 本稿では，このような再解釈を更に押し進め，シグナリングゲームだけでなく指示ゲームもある種の生成モデルとして再解釈する. 具体的には，これらがある種の Conditional VAE $[2,3]$ と見做すことで統一的に解釈可能であることを示す.

## 2 背景

## 2.1 シグナリングゲームと指示ゲーム

創発コミュニケーション (EC)においては，コミュニケーションを取り合って言語を創発する主体 (あるいはゲームのプレイヤー)のことをエージェン卜と呼ぶ. 言語の創発をシミュレーションするためには，エージェントを取り巻く環境を設定する必要がある. 節 1 で述べたように，ECにおいてはシグナリングゲームや指示ゲームが頻繁に用いられる.

## 2.1.1 シグナリングゲームの定義

集合 $\mathcal{X}$ を意味空間，集合 $\mathcal{M}$ をメッセージ空間と呼ぶことにする．意味の確率分布を $P_{X}(X)$ とする.確率モデル $S_{\phi}(M \mid X)$ を送り手エージェント, 確率モデル $R_{\theta}^{\mathrm{sig}}(X \mid M)$ を (シグナリングゲームにおける)受け手エージェントと呼ぶ. ゲームの直感的な手続きは節 1 で述べたような単方向通信であるが，典型的には以下の，オートエンコーダ的な目的関数が最適化対象となる：

$
\mathcal{J}_{\text {sig }}(\boldsymbol{\phi}, \boldsymbol{\theta}):=\mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m})\right]
$

## 2.1.2 指示ゲームの定義

意味空間 $\mathcal{X}$, メッセージ空間 $\mathcal{M}$, 送り手 $S_{\phi}(M \mid X)$ はシグナリングゲームのものと同じとする. 意味とメッセージから実数への関数 $R_{\theta}^{\text {ref }}: \mathcal{X} \times \mathcal{M} \rightarrow \mathbb{R}$ を (指示ゲームにおける) 受け手エージェントと呼ぶ. また，Kを 2 以上の整数とする．このとき，指示ゲームの目的関数は以下のように定義される：

$
\begin{aligned}
& \mathcal{J}_{\text {ref }}(\phi, \theta):= \\
& \mathbb{E}_{\boldsymbol{x}_{1: K} \stackrel{\text { swor }}{\sim} P_{X}(\cdot), S\left(\boldsymbol{m} \mid \boldsymbol{x}_{1}\right)}\left[\log \frac{\exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{x}_{1}, \boldsymbol{m}\right)\right)}{\sum_{i=1}^{K} \exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{x}_{i}, \boldsymbol{m}\right)\right)}\right]
\end{aligned}
$

ただし， $\boldsymbol{x}_{1: K} \stackrel{\text { swor }}{\sim} P_{X}(\cdot)$ は $K$ 個の非復元サンプリング (sampling without replacement)とする.ここでは, $x_{1}$ が正解，残りが不正解となっている. この目的関数は， $x_{1}$ と正例とし， $x_{2}, \ldots, x_{K}$ を負例とする InfoNCE [15] と見做すこともできる.

## 2.2 シグナリングゲームの beta-VAE とし ての再解釈

上田ら [12] はシグナリングゲームの目的関数を以下のように ELBO として定義しなおすべきであると主張している.

$
\begin{aligned}
\mathcal{J}_{\text {vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta):= & \mathbb{E}_{P_{X}(\boldsymbol{x})}\left[\mathbb{E}_{S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log R^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m})\right]\right. \\
& \left.-\beta \operatorname{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M)\right)\right] \\
= & \mathcal{J}_{\text {sig }}(\boldsymbol{\phi}, \boldsymbol{\theta}) \\
& +\beta \mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log P_{\boldsymbol{\theta}}^{\text {prior }}(\boldsymbol{m})\right] \\
& +\beta \mathbb{E}_{P_{X}(\boldsymbol{x})}\left[\mathcal{H}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x})\right)\right] .
\end{aligned}
$

これは要するに，シグナリングゲームの従来の目的関数 $\mathcal{J}_{\mathrm{sig}}(\boldsymbol{\phi}, \boldsymbol{\theta})$ にプライア $\log P_{\boldsymbol{\theta}}^{\text {prior }}(\boldsymbol{m})$ とエントロピー最大化項 $\mathcal{H}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x})\right)$ を (重み $\beta$ で) 加えよという主張である.

## 2.2.1 プライアを導入する根拠

まず，プライアを目的関数に加える根拠について説明する. 第一の根拠は「そもそも，従来の目的関数 $\mathcal{J}_{\mathrm{sig}}(\phi, \boldsymbol{\theta})$ にも暗黙のプライア $P_{\mathrm{unif}}^{\mathrm{prior}}(M)$ が存在する」というものである.このことは,

$
\nabla_{\boldsymbol{\phi}, \boldsymbol{\theta}} \mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log P_{\text {unif }}^{\text {prior }}(\boldsymbol{m})\right]=\mathbf{0}
$

となるようなプライアをうまく選べば，それを従来の目的関数 $\mathcal{J}_{\text {sig }}(\phi, \theta)$ に加えたとしても，勾配法を

ベースにする限りにおいては最適化に何らの影響ももたらさないという考え方から従う．上の式が成り立つように上手くプライアを選んでやるとすれば， $P_{\text {unif }}^{\text {prior }}(\boldsymbol{m})=|\mathcal{M}|^{-1}$ となる ${ }^{1)}$. 第二の根拠は「暗黙のプライアは Zipf 短縮の創発の妨げになっている可能性がある」というものである。ここで，自然な仮定としてメッセージ空間 $\mathcal{M}$ が「有限アルファベット $\mathcal{A}$ 上の長さ $T$ 以下の系列全ての集合」として定義されているとしょう．単なる組合せのパターン数の問題として， $\mathcal{M}$ には長さの小さい(短い)メッセー ジよりも長さの大きい (長い) メッセージのほうが圧倒的に多く含まれている. 故に，メッセージ空間 $\mathcal{M}$ 上の一様分布である $P_{\text {unif }}^{\text {prior }}(M)$ は (図らずも) 長いメッセージに不当に大きな質量を割り当てていることになり，この影響を受けながら最適化された創発言語も (不当に) 長くなってしまう. 第三の根拠は 「暗黙のプライアがもたらすアーティファクトを克服するには，プライアをある種の言語モデルとして陽に再導入しなおすのが自然ではないか」というものである。(暗黙の) プライアというのは，メッセー ジ空間上の確率分布を定めるという意味で言語モデルによく似た概念である. そこで，プライアを適当なパラメータ $\theta$ に依存する自己回帰的なニュー ラルネットワークモデル $P_{\boldsymbol{\theta}}^{\text {prior }}(M)$ として, 明示的に言語モデルとして再導入することを考える.これによって, 不自然な暗黙のプライア $P_{\text {unif }}^{\text {prior }}(M)$ がもたらすアーティファクトを自然に克服しつつ， シグナリングゲームに言語モデルの考え方を自然に当てはめることができる．また，ELBO に現れる $\log P^{\text {prior }}(\boldsymbol{m})$ というのは, 所謂サプライザル理論でいうところの (負の) サプライザルに対応しているとも考えられる。つまり，言語モデルとしてプライアを導入することは心理言語学的なアナロジーにもなっている.

## 2.2.2 エントロピー最大化項を導入する根拠

次にエントロピー最大化項を導入する根拠について説明する.これについての主な根拠は「そもそも，従来の目的関数にもエントロピー正則化項という (エントロピー最大化項に類似した) アドホックな補助関数がよく追加されるのだから，このような項が初めから陽に目的関数に出現する方が自然なのではないか」というものである. シグナリングゲームというのは，送り手エージェント側から見れ


ば (非定常な) マルコフ決定過程であり, 最適化手法も (送り手エージェント側だけ見れば) 方策勾配法そのものである. 方策勾配法においては，しばしば方策 $S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})$ のエントロピーが低くなりすぎないように，何らかの制約をかける場合がある。 それにより, エージェントに探索を促し, 探索と活用のトレードオフのバランスがとれるようになる. 従来, シグナリングゲームにおいてはエントロピー正則化項 [16] がよく使われてきた. 一方で，ELBOに出現するのはエントロピー最大化項である。両者は厳密には別物であるが，方策のエントロピーを高めて探索を促したいというモチベーションにおいては一致している [17].

## 3 ゲームの再解釈

本稿の目的は，シグナリングゲームのみならず，指示ゲームをも生成モデルに基づく変分推論として捉え直すことである.これはそれほど自明なことではない. シグナリングゲームにおける受け手エー ジェント $R^{\mathrm{ref}}(X \mid M)$ はメッセージ $\boldsymbol{m}$ が与えられたときの意味 $x$ の条件付き確率モデルであるから，それが (beta-)VAE におけるデコーダに相当する概念であることが明らかであった。一方で，指示ゲームにおける受け手エージェント $R^{\text {ref }}: \mathcal{X} \times \mathcal{M} \rightarrow \mathbb{R}$ は実数値関数であり，目的関数が InfoNCE で表される. 故に，指示ゲームにおける受け手エージェントはVAE のデコーダというよりも，ある種の対照学習モデルである. 素朴に考えれば， $\mathcal{J}_{\text {ref }}(\phi, \theta)$ に (負の) $\mathrm{KL}$ 項 $-\beta \mathrm{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M)\right)$ を加えたものを新たな目的関数とすれば，ELBO によく似た定式化にはなる. これが何らかの意味で生成モデル的であることを確認しなければならない。

実は, (beta-)VAEを拡張して Conditional (beta-)VAE としてゲームを再解釈することで，この問題を解決することができる．本節では，シグナリングゲームや指示ゲームを一般化したゲーム (文脈付きシグナリングゲーム)を考え，その目的関数を定式化する. その後，それが確かにシグナリングゲームや指示ゲームを一般化したものであることを確認する。

## 3.1 文脈付きシグナリングゲーム

集合 $\mathcal{C}$ を文脈空間とする. 文脈上の確率分布を $P_{C}(C)$ とし，これを単に文脈分布と呼ぶことにする. また，文脈 $C$ が与えられたときの意味 $X$ の条件付き分布を $P_{X \mid C}(X \mid C)$ とする.これまで

に定義した送り手エージェント $S_{\phi}(M \mid X)$ のことを，文脈に無頓着な (Context-agnostic) 送り手と呼び直すことにし，これと対比して文脈を考慮する (Context-aware) 送り手を $S_{\phi}(M \mid X, C)$ と表すことにする。同様に，これまでに定義した受け手エー ジェント $R_{\theta}^{\mathrm{sig}}(X \mid M), R_{\theta}^{\mathrm{ref}}(\boldsymbol{x}, \boldsymbol{m})$ のことを文脈に無頓着な受け手と呼び直すことにし，これと対比して文脈を考慮する受け手を $R_{\theta}^{\mathrm{sig}}(X \mid M, C)$ と表すことにする。これまでに定義したプライア (言語モデル) $P_{\theta}^{\text {prior }}(M)$ も文脈に無頓着なプライアと呼び直すことにし，これと対比して文脈を考慮するプライア (言語モデル)を $P_{\theta}^{\text {prior }}(M \mid C)$ と表すことにする.

ここで，文脈付きシグナリングゲームを，以下のような手続きで実行するゲームとする：

1. 文脈をサンプリングする $: \boldsymbol{c} \sim P_{C}(\cdot)$.

2. 意味をサンプリングする $: \boldsymbol{x} \sim P_{X \mid C}(\cdot \mid \boldsymbol{c})$.

3. 文脈を考慮する送り手エージェントからメッセージをサンプリングする $: \boldsymbol{m} \sim S_{\boldsymbol{\phi}}(\cdot \mid \boldsymbol{x}, \boldsymbol{c})$.

4. 文脈を考慮する受け手エージェントが，メッセージと文脈から元の意味を予測する (意味の分布を計算する) $: \log R_{\theta}^{\mathrm{sig}}(X \mid \boldsymbol{m}, \boldsymbol{c})$.

上記のゲームの手続きに基づき，文脈付きシグナリングゲームの目的関数 $\mathcal{J}_{\mathrm{c} \text {-vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta)$ を以下のように定義する：

$
\begin{aligned}
\mathcal{J}_{\text {c-vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta):= & \mathbb{E}_{P_{C}(\boldsymbol{c}), P_{X \mid C}(\boldsymbol{x} \mid \boldsymbol{c})}[ \\
& \mathbb{E}_{S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x}, \boldsymbol{c})}\left[\log R_{\boldsymbol{\theta}}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})\right] \\
& \left.-\beta \operatorname{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}, \boldsymbol{c}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M \mid \boldsymbol{c})\right)\right] .
\end{aligned}
$

これは $c \in \mathcal{C}$ をラスラベルの情報とする Conditional VAE [2,3] と同一視できる.

## 3.2 シグナリングゲームは特殊形である

定義から明らかなように，文脈に無頓着な送り手 ／受け手／プライアは，それぞれ文脈を考慮する送り手/受け手/プライアの特殊形である (受け取った文脈を無視するようなモデルを考えればよい).式 (5) に現れる文脈を考慮するモデルをそれぞれ文脈に無頓着なモデルに置き換えれば， $\mathcal{J}_{\text {vae }}(\phi, \boldsymbol{\theta})$ に一致する．従って，シグナリングゲームは文脈付きシグナリングゲームの特殊形であるといえる.

## 3.3 指示ゲームも特殊形である

次に，指示ゲームも文脈付きシグナリングゲームの特殊形と見做せることを確認する。送り手/プラ
イアは文脈に無頓着であるとする一方で，受け手は文脈を考慮すると仮定する．文脈空間 $\mathcal{C}$ 及び確率 $P_{X \mid C}(X \mid C)$ を

$
\begin{aligned}
& \mathcal{C}:=\left.\{\left(\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{K}\right) \in \mathcal{X}^{K} \mid x_{i} \neq x_{j} \text { if } i \neq j\right.\}, \\
& P_{X \mid C}(\boldsymbol{x} \mid \boldsymbol{c}):=\frac{1}{K} \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}=\boldsymbol{c}_{i}}
\end{aligned}
$

とし，文脈を考慮する受け手エージェントを

$R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c}):=\frac{\exp \left(R_{\boldsymbol{\theta}}^{\mathrm{ref}}(\boldsymbol{x}, \boldsymbol{m})\right) \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}=\boldsymbol{c}_{i}}}{\sum_{\boldsymbol{x}^{\prime} \in \mathcal{X}} \exp \left(R_{\boldsymbol{\theta}}^{\mathrm{ref}}\left(\boldsymbol{x}^{\prime}, \boldsymbol{m}\right)\right) \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}^{\prime}=\boldsymbol{c}_{i}}}$

と定義する． $R_{\theta}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は非負であり，かつ $\sum_{\boldsymbol{x} \in \mathcal{X}} R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})=1$ であるから, $R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は確率分布である. 文脈空間の定義より $\boldsymbol{c}_{i} \neq \boldsymbol{c}_{j}(i \neq$ j)であるから，

$
R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})= \begin{cases}0 & (\boldsymbol{x} \notin \boldsymbol{c}) \\ \frac{\exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{c}_{j}, \boldsymbol{m}\right)\right)}{\sum_{i=1}^{K} \exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{c}_{i}, \boldsymbol{m}\right)\right)} \cdot & \left(\boldsymbol{x}=\boldsymbol{c}_{j}\right)\end{cases}
$

$P_{X \mid C}$ の定義から $\boldsymbol{x} \notin \boldsymbol{c}$ となるような $\boldsymbol{x}$ がサンプリングされる確率は 0 であるから， $R_{\theta}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は InfoNCE [15] と同一視できる. 従って，文脈付きシグナリングゲームは，指示ゲームの生成モデル的定式化を特殊形として含んでいることになる.

## 4 議論と今後の展望

発話とは，常に何らかの文脈を伴って行われる行為である。その意味では，文脈に無頓着なエージェントを用いるシグナリングゲームよりも，文脈を考慮する受け手エージェントを用いる指示ゲームのほうがより実態に近いかもしれない，今回，シグナリングゲームや指示ゲームを一般化する形で文脈付きシグナリングゲームを定式化したが，文脈 $c \in \mathcal{C}$ は必ずしも式 (6) のような形 (正例と $K-1$ 個の負例をタプル化したもの) をしている必要はないし， $P_{X \mid C}$ も単に候補集合から一様に意味をサンプルするような確率分布である必要も特にない． $K$ と可変にすることもできるし，指示する対象 $x$ に “位置情報”を追加して，送り手に近い場所にあるものほどサンプルされやすいという “物理的な常識”をモデル化しても面白いかもしれない. 本稿では，文脈 $c \in \mathcal{C}$ という概念を抽象的な形で導入したが，そこにどんな具体的なモデルを仮定して，いかに面白い問題を解くのかを考えるのが今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP23KJ0768 の助成を受けたものです.

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Durk P Kingma, Shakir Mohamed, Danilo Jimenez Rezende, and Max Welling. Semi-supervised learning with deep generative models. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[3] Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning structured output representation using deep conditional generative models. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pp. 3483-3491, 2015 .

[4] George K. Zipf. The psycho-biology of language. Houghton Mifflin, 1935.

[5] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[6] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[7] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[8] Ryo Ueda, Taiga Ishii, and Yusuke Miyao. On the word boundaries of emergent languages based on harris's articulation scheme. In The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1-5, 2023. OpenReview.net, 2023.

[9] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[10] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[11] Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, and Simon Kirby. Compositional languages emerge in a neural iterated learning model. In 8th International Conference on Learning Representations, ICLR 2020,
Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] Ryo Ueda and Tadahiro Taniguchi. Lewis's signaling game as beta-vae for natural word lengths and segments. CoRR, Vol. abs/2311.04453, , 2023.

[13] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[14] Irina Higgins, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot, Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[15] Aäron van den Oord, Yazhe Li, and Oriol Vinyals. Representation learning with contrastive predictive coding. CoRR, Vol. abs/1807.03748, , 2018.

[16] Ronald J. Williams and Jing Peng. Function optimization using connectionist reinforcement learning algorithms. Connection Science, Vol. 3, No. 3, pp. 241-268, 1991.

[17] Sergey Levine. Reinforcement learning and control as probabilistic inference: Tutorial and review. CoRR, Vol. abs/1805.00909, , 2018.