# 相互排他性を考慮した深層強化学習による幼児語彙獲得モデル

藤田守太
電気通信大学
fujishu0407@uec.ac.jp
}

南泰浩
電気通信大学
minami.yasuhiro@is.uec.ac.jp
}

田口真輝
電気通信大学
taguchi@is.uec.ac.jp

## 1 はじめに

言語処理の分野において, 語とその実態を結び付ける記号接地問題 [1] がある. 現在, 多くの認識課題では, 対象の物体または行動（これを以降実態と呼ぶ）に, 語が与えられ, その語に対して, 人が実態の特徵量を与えることにより, 実態を結び付けている. そのため, 語と実態の特徴群を機械が自律的に結びつけることは出来ていない. 機械が語と特徴群を結びつけるためには, 機械が実世界の環境から自律的に語に対する特徵群を獲得していく必要がある.このような課題に対するアプローチとしてロボットによる動作と言語のシンボルグラウンディング [2] や複数のロボットによる語彙共有 [3] など様々な研究がある.しかし,これらの研究は心理学的に観察される様々な事象を必ずしも満たすものとはなっていない. 本研究では, 記号接地問題に対して, 人間が行っている語彙獲得機構に基づき, 記号接地問題に取り組むことが記号接地問題解決へのステップになると考えている. また,このアプローチは心理学分野の語彙獲得機構解明への糸口にもなる. しかしながら, 事前知識のない状態で機械に人間と同様のプロセスを経る幼児語彙獲得モデルの研究は十分に成果を上げているとは言えない.このような状況の中で心理学的要因に基づいて幼児の語彙獲得の仕組みをニュー ラルネットワークと強化学習を組み合わせてモデル化した研究 [4], さらにこれを拡張させ現実のデータで行った研究 [5]が提案されており, 新たな研究領域を確立しつつある.しかし,これらの研究では一度に幼览の目に入る実態（ここでは物体）を一つしか想定していない. 実際には, 幼坚が同時に目にする物体は複数あり, その中から, 幼坚は対象物体を検出し，語と意味を結びつけている. 本研究では, 幼児のこの機構を実現するため, 複数の物体を提示した状態で，心理学的要因を考慮した幼児語彙獲得モデルを構築する.

## 2 幼児の心理学的要因

現実世界で語の意味を推論する際には, 膨大な事例が必要となる [6]. しかし, 幼览は少ない事例で, これらの語の意味を正確に推論し, 語彙を獲得することが可能である.このことから幼坚が語の意味を推論する際に何かしら幼览が得る語の意味の可能性に制限を加える暗黙的知識の存在を仮定する仮説が提案されている [7]. そこで本章では, 幼児語彙獲得モデルにおいて見られる心理学的要因についてみていく.

## 2.1 共同注視

共同注視とは, 非言語的コミュニケーションの一つであり, 親, あるいは, 幼览が何かに注目しているときにもう一方も同じ対象に注目する行動である.幼览の語彙獲得は共同注視によって親と幼坚が共通の対象に対して注目することで行われる. また, 母親が子供の注意を追うことで語彙の獲得が加速される [8][9].

## 2.2 意図の理解

共同注視の節で母親が幼览の注意を追うことと語彙数の間には強い相関があると述べたが, 幼児は語彙獲得において受動的な存在であるわけではない. Baldwin の実験 [10] では幼児は親の意図について積極的に理解しょうと試みており, 親と幼坚による相互行為によって語彙獲得は進められていることが示された. このように幼览の語彙獲得において, 幼览が親の意図を理解することは重要な意味を持つ. 実際に Tomasello らが行った探し物に関する実験 [11][12] においても, 親が対象物の探し物ゲームをしていること, 親が怪訝な顔や微笑みで幼览の回答の正解不正解を表現していることなど親の意図を理解することで, 明示的に対象物と語を示さなくても幼児が未知の語を獲得するなど語彙獲得において重要な役割を果たしている。

## 2.3 バイアスの獲得

バイアスと呼ばれる暗黙的な知識には名詞を優先的に学習する名詞バイアス, 形状に注目し, 形状が似ているものを同じ物体であると見做す形状バイアスなど様々なバイアスが存在する.これらは幼坚が語彙を獲得する際に形成されており, 推論に制限を与えることにより, 語彙獲得を容易にする働きがある.

## 2.4 相互排他性

相互排他性とは一つの物体に対して,一つの語しか付与されないという暗黙的知識のことである. 幼児は名前の知っている物体と未知の物体がある状況で未知の語を聞くと, それが未知の物体に付けられた語だと解釈する [14]. これは例えば, りんごを知っている幼児が「お腹がすいたのでへクを取って」と言われた際に, 未知の物体である口紅をとるといった非常に強力な制約である [15].

## 3 提案手法

本研究では, 複数の物体を提示しても語彙が獲得できるモデル, 2 章で暑かった幼児の心理学的要因を考慮した幼児語彙獲得モデルで実現する. 共同注視, 意図の理解, バイアスの獲得について考慮したモデルを 3.1 で説明する.このモデルを複数物体の提示でも動作するよにするため, 相互排他性を考慮した機構を導入する. それを 3.2 で説明する.

## 3.1 深層強化学習による語彙獲得モデル

ここでは田口らの語彙獲得モデルに基づいて説明を行う [4][5]. 本研究において語彙獲得は親の意図の理解を介して行われる. そこで幼坚による語の選択を出力, また, 親からの意図を報酬という形での母子相互作用を考える. 具体的なモデルの構造を図 1 に示す.

まず, 共同注視により語彙獲得が始まり, 初期状態 $s_{0}$ を心的状態を表す LSTM に入力し, その出力結果をDQN1に入力として与える.これにより, DQN1 はどの特徴を選択するかを出力した後, LSTM は状態 $s_{1}$ の特徵情報を更新し,この状態を次の LSTM に入力し, その出力結果を DQN2 の入力として与えることで, DQN2 は語の選択を行う. この処理を語が一致するか定められた回数まで繰り返す.

図 2 は幼児語彙獲得モデルの一連の語彙獲得の流れであり, 語彙獲得のアルゴリズムを以下に示す.
まず, 語彙獲得させたい物体を選択, 幼坚語彙獲得モデルが親の意図を理解し,未知の物体に共同注視することで語彙獲得が始まる. (共同注視, 親の意図に関する機構に関しては, [4][5] を参照のこと.ここでは簡単に説明する.) 幼児語彙獲得モデルはどの特徵を取得するのか深層強化学習を用いて選択し, 特徵から未知の物体の特徵量を取得する. その後, 幼坚語彙獲得モデルは取得した特徵量から深層強化学習を用いて語候補から語を決定する. 幼坚語彙獲得モデルの回答が正解ならば親は售めるなどの報酬を，不正解ならば顔を歪めるなどの負の報酬を与える. これを正解するか決められた回数まで繰り返す.

本研究で構築する幼児語彙獲得モデルは初期状態では事前知識を持たず，ランダムな選択をするが語彙獲得が進むにつれて, 語彙を決定するのに適した暗黙的知識を獲得する。（ここでは、形状バイアスを想定）

図 1 幼肾語彙獲得モデルの構造

図 2 語彙獲得の一連の流れ

## 3.2 相互排他性を説明する機構

本研究では幼背語彙獲得モデルに 2 つの物体を提示, それぞれの特徵量を取得し各物体について既知か未知かを判断する機構を導入することで幼児語彙獲得モデルに相互排他性をを説明する機構を導入する. アルゴリズムは以下である.
1. 2 つの物体をそれぞれ幼児語彙獲得モデルに提示し, 提示された物体についてどの語であるか推定を行う。

2. 親から語を取得し, 語について DQN2 の出力が高い物体を選択する。

3. 選択された物体については語を明示的に示された状態で学習を行う。

4. 選択されなかった物体については 3.1 章の学習を行う。

また, 具体例としてオレンジについての相互排他性を図 3 に示す。

物体 1 はリンゴとして既知であり,物体 2 はオレンジだが未知である.この場合に幼览語彙獲得モデルは物体 1 をリンゴとして認識するためにオレンジである DQN2 の出力が低くなる。.よって未知であるオレンジを選択する.

図 3 相互排他性による判定

## 4 実験

相互排他性を用いないモデルをベースライン [5] として, 提案手法の評価実験として以下の 3 つの実験を通して検証していく。

・ベースラインとの比較

・3物体を提示した状態での語彙獲得

・語候補が 15 物体での語彙獲得

## 4.1 データベース

本研究は実世界との記号接地を目的としている. そこで幼児語彙獲得モデルに対して実データを導入する手法として田口の手法 [5] を用いる. 特徴量の数値化について色特徴量にはカラーヒストグラム, 形特徴量には HOG, 味特徴量には文部科学省によって作成された日本食品標準成分表, 動き特徴量には Dense Trajectories をそれぞれ用いて特徴量とする.これらの特徴量を各物体毎に取得しデータベー スとして扱う。

また, 物体数に関して 2 個の食品, 3 個の非食品の合計 5 物体のデータセットと 10 個の食品, 5 個の非食品からなる 15 物体のデータセットを用意した。表 1 語候補

## 4.2 実験条件

2 物体での実験については「幼览モデルが物体に対して事前に与えられた語候補の内のいずれかを答える」を 1 ステップとし, 「モデルが 2 つ物体に対してそれぞれ正解の語を答えるか, ステップ数が打ち切り回数を超える」を 1 エピソードとし, エピソー ド数を 15000 回, 打ち切り回数を 5 回とした.

また, 3 物体の実験については「幼児モデルが物体に対して事前に与えられた語候補の内のいずれかを答える」を 1 ステップとし, 「モデルが 3 つ物体に対してそれぞれ正解の語を答えるか, ステップ数が打ち切り回数を超える」を 1 エピソードとし, エピソード数を 10000 回, 打ち切り回数を 5 回とした.

それぞれ以上の条件で 50 エピソード毎にテストとして 50 エピソードでの正答率について測定し, 提案手法とベースラインの比較を行った。

## 4.3 ベースラインとの比較

ベースラインと提案手法を比較することで相互排他性の有無が語彙獲得に与える影響についてみる。

## 4.3.1 実験結果

提案手法を用いた幼児語彙獲得モデルとベースラインのエピソード数とテストの正答率を図 4 に示す.

図 4 から提案手法が正答率で大きく上回っており，相互排他性が有意に働いていることが確認できた。

図 4 提案手法とベースラインの正答率

## 4.3.2 バイアスの獲得

バイアスの獲得は人間の語彙獲得機構の再現において重要な要素である. そこで特徴の選択傾向を見ることでバイアスの取得の有無を見る. 特徴の選択回数を確率に直し, ヒートマップに視覚化したものが図 5 になる. 1000 回時点では味と動きの特徴量が同じ程度で選択されており,ランダムな選択になっている.しかし, 5000 回時点では最初の特徵選択では味が選択されるようになった. また, 2 回目以降の特徴選択に関しても 1 回目の選択が固定されるにつれて固定されていった. 以上のことから幼児語彙獲得モデルが最初はランダムな特徴選択を行っていたが, 語彙獲得が進むにつれて特徵選択に優先度が付き規則的な特徴選択を行っていることが分かった。 これは, 親が名詞を提示し続けたこと（親の意図）により, 名詞を判別するための暗黙的な知識（バイアス）を獲得したことに他ならない.

図 5 左から 1000, 5000, 15000 回時点での特徵選択確率

## 4.43 物体を提示した状態での語彙獲得

相互排他性による語彙獲得が 2 物体の時に限定されている可能性があるため, 3 物体を提示した場合についても成り立つことを確かめる。

## 4.4.1 実験結果

提案手法を用いた幼坚語彙獲得モデルとベースラインのエピソード数とテストの正答率を図 6 に示す.

図 6 から提案手法が正答率で大きく上回っており, 3 物体に関しても相互排他性が有意に働いていることが確認できた。

図 63 物体を提示した提案手法とベースラインの正答率

## 4.5 語候補が 15 物体での語彙獲得

上記の実験では語候補は 5 個に限定されていた。 しかし, 実際の世界ではより多くの語を獲得する. そこで語候補を増やした場合の動作についても検証していく.

提案手法を用いた幼児語彙獲得モデルとベースラインのエピソード数とテストの正答率を図 7 に示す.

図 7 からベースラインが語彙獲得出来ていないのに対して，提案手法は語候補が増加した影響を受けずに語彙獲得していることがわかる.これは既知の物体が出来た時に相互排他性に関する機構によって未知の物体の語彙獲得が行われたからだと考えられる。

図 7 語候補が 15 物体の場合の提案手法とベースラインの正答率

## 5 まとめと今後の展望

本研究では相互排他性を説明できる機構を提案し, 従来の言語獲得機構に導入し, それを用いることにより複数物体を提示しても学習が進むことを確認した. また, 3 物体以上の場合や物体数を増やした場合にも同様にベースラインに比べて有効に語彙獲得が行われることが確かめられた。

複数物体を同時提示しても,相互排他性を考慮することで, 従来の語彙獲得モデルが機能することが確認できた. 我々は,このような心理学的な機構が学習の過程で, 順次獲得されていくと考えている.今後, 相互排他性がどのように獲得されていくのかも説明できるモデルの構築を目指す。

## 参考文献

[1] Harnad, S. The symbol grounding problem. Physica D:Nonlinear Phenomena, 42(1-3), 335-346, 1990.

[2] 小林一郎. 動作と言語のシンボルグラウンディングへの取り組み：自動運転車の対話的操作

を目指して. 言語処理学会第 26 回年次大会, A2-4, 2020.

[3] Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, Tadahiro Taniguchi. Symbol emergence as an interpersonal multimodal categorization. Frontiersin Robotics and AI, Vol.6, p.134, 2019.

[4] 野口輝. ニューラルネットワークと強化学習を用いた幼児語彙獲得のモデル化. 電子情報通信学会技術研究報告, 信学技報 Vol. 117(420), pp. 59-64, 2018.

[5] 田口真輝. 実データを用いるニューラルネットワーク強化学習による幼児語彙獲得モデル. 電気通信大学コンピュータサイエンスプログラ么卒業論文, 2019.

[6] Willard Van Orman Quine. Word and Object. MIT Press, 1960.

[7] 今井むつみ.レキシコンの発達 : 子どもはどのようにしてことばを学習するか. 情報処理学会研究報告音声言語情報処理, Vol.2000, No. 15 pp.63-68, 2000.

[8] Michael Tomasello, Michael Jeffrey Farrar.Joint attention and early language child development. Vol.57, No.6, pp.1454-1463, 1986

[9] Malinda Carpenter, Katherine Nagell, Michael Tomasello, George Butterworth, Chris Moore. Social cognition, joint attention, and communicative competence from 9 to 15 months of age. Monographs of the Society for Research in Child Development, Vol. 63, No. 4,pp. 1-174, 1998.

[10] Infants' contribution to the achievement of joint reference. Child Development, Vol. 62, No. 5, pp. 875890, 1991.

[11] Michael Tomasello, Randi Strosberg, Nameera Akhtar.Eighteen-month-old children learn words in non-ostensive contexts.Journal of Child Language.Volume23, pp.157-176, 1996.

[12] Nameera Akhtar, Malinda Carpenter and Michael Tomasello.The role of discourse novelty in early word learning. Child Development, Vol.67, No. 2 pp.635-645, 1996.

[13] Ellen M. Markman. Categorization and naming in children : Problems od induction. MIT Press, 1989.

[14] Haryu, Etsuko. Effects of knowledge about crosslanguage equivalents on children's use of mutual exclusivity in interpreting novel labels.Japanese Psy- chological Research, Volume40, No.2, 82-91, 1998.

[15] 針生悦子. 幼坚における事物名解釈方略の発達的検討〜相互排他性と文脈の利用〜. Japanese Journal of Educational Psychology, 39, 11 20, 1991.