言語処理学会 第24回年次大会 発表論文集 (2018年3月)

DRQN による幼児の語彙獲得のモデル化
野口 輝南 泰浩

電気通信大学大学院

情報理工学研究科

noguchi@sd.is.uec.ac.jp

はじめに

1

minami@.is.uec.ac.jp

研究目的

3

言語処理の分野において，現実の「実体」と「記号」工学的な側面からの幼児の語彙獲得の研究は近年多が結びつける記号設置問題がある。本研究ではこの問く行われているが、心理学的な複数の現象を考慮した題を解決するための一歩として人間の、特に幼児の語上での幼児の語彙獲得モデルは少ない。そこで、本稿

彙獲得方法を参考にして語の意味を獲得するモデルをでは心理学的要素を考慮した上で、幼児の語彙獲得モ構築する。

デルを構築していく。これにより心理学的な面では語彙学習現象の解明を、工学的な面では経験による記号研究背景

2接地のモデル化の有効性を検証していく。

自然言語の分野での、人の語彙獲得と工学的な記号

1. 経験と「記号」を単位とする学習言語処理において、人の語彙学習と記号接地問題との違いを記載したが、本研究で扱う心理学的要素であ2. 入力と教師信号の不確定・確定な学習

2.1

幼児の語彙獲得現象

4接地問題との違いは以下の 2 点である。

る幼児の語彙獲得現象は、以下に示す共同注視・学習におけるバイアス・意図の理解である。

経験と記号を基本とする学習

人間は「リンゴ」という単語を覚える際に、実世界4.1に存在する「実体」のリンゴを感覚器官を通して経験する。そして経験した情報を「記号」のリンゴと重ね合わせることで「リンゴ」という単語を理解している。
しかしながら言語処理における記号処理では「リンゴ」という単語を学習する際に、「甘い、丸い」という記号を単位として単語と結びつけようとしているためそ共同注視

共同注視とは母親と子供が注意を共有する行為である。Butterworth[1] は子供が注意しているものに対して、そのあとから親が注視し，それに言及するほうが幼児の語彙学習が進むということを示した。

4.2

語彙学習におけるバイアスの意味を十分には把握できない。
幼児の語彙学習において、少ない刺激でも確実に語2.2

入力と教師信号の確定・不確定な学習

言語処理ににおける記号処理と人間とでは学習方法が異なる。前者では何かを学習する際に、完全な正解・不正解データを教師として与えることが多い。しかしながら，人間の学習、特に幼児の学習では完全な正解・不正解データが与えられるわけではない。母親が教師となり、幼児が取得した特徴を見て正解を与えるわけではなく、幼児の行動を見て、その結果に対して「ほめる・頭をなでる」といった報酬を与えることにより彙を獲得できる理由として，様々な先験的な知識であるバイアスを仮定する説がある。特に、名詞カテゴリーバイアスや形状類似バイアスは、幼児がカテゴリー形成する際に適用される原理と考えられている。例えば取手のついてないコップと取手のついているコップを幼児に見せても、どちらもコップであると判断することができる。これは幼児が各々のコップを対象ではなく、形のあり方としてカテゴリー区別しているためである。

幼児に語の意味を獲得させる。

― 1260 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4.3

意図の理解

6.2

提案モデル

親の意図を読み取ろうとすることは、語彙の意味獲本研究では、深層学習と Q 学習を組み合わせた DQN得のためには重要であり、コミュニケーション能力を（Deeo-Q-Network）を用いることで、言語獲得モデル促進させることに繋がる。幼児は親の意図を理解しよの構築を行った。提案モデルと具体的な処理の流れとうと努めるため、親の目線・身振りなどにも注視し、しては図 1 のとおりである。未知の物体からどの特結果として親が「何」をしようとしていたかという意徴を取得するか選択し、選択された特徴からさらに名図を学習している。

称を選択するようなモデルとなっている。また，この処理の例では，未知の物体から「本」を当てる問題と従来手法5なっている。

知識獲得モデルの従来手法として、曽傑らによる対ṇゎ䛜䛂ᮏ䛃䛾ሙྜ

象物の特徴や機能に関する知識を獲得する対話システ
象物の特徴や機能に関する知識を獲得し、その知識を物体を表す属性として、スロットに埋め込むことで、どぬ䛻䜘䜛≀య䛾≉ᚩ㑅ᢥ≀య䛾ྡ๓䜢Ⓨኌ

提案手法ぶ䛾≧ែ

ぶ

物体と名称を結びつけるためのルールなどは与えず、を検証していく。またこの際に親の意図の認識率を可化学習という手法を用いた。

6.1

㑅ᢥ;ᙧͿ;Ⰽ䠖㉥͕ᙧ䠖ᅄゅͿ;䜚䜣䛤௨እͿYEϮ㑅ᢥ;ᮏͿ≀య

図 1: 提案モデル (左) と処理の例 (右)自ら試行錯誤することでそれらの知識を獲得できるか見ていく。これらを表現するために本研究では深層強YEϭṇゎ䠖ሗ㓘

ける語彙獲得システムの構築を行う。初期状態として比較を行い、心理学的な面での要素による違いなども㑅ᢥ;䜚䜣䛤Ϳ⎔ቃ≀య䛾≧ែ≧ែ᭦᪂

実際に体験する一連の手続きから物体と記号を結びつ

YEϮ;Ⰽ䠖㉥Ϳ;䜚䜣䛤௨እͿᗂඣ䛾≧ែ

変にすることで、その認識率による語彙獲得の様相のYEϭ;Ⰽ䠖㉥Ϳ>^dD⎔ቃ᥎ᐃሗ㓘

本研究では幼児の学習に注目し、未知の環境の中で≉ᚩ䞉ྡ⛠᝟ሗ;✵Ϳ㑅ᢥ;ⰍͿ扱う対象物の知識獲得を行うものである。

6ᗂඣYEϮYEϭムがある [2]。これは大規模な対話のデータから、対しかし、幼児の語彙獲得では、必ずしも特徴などを正確に把握できるわけではない。そのため取得した特徴情報をそのまま使用せず、LSTM という過去情報を保持することができる深層モデルを通すことで状態を確率的に表す操作を行った。LSTM の式は以下のとお深層強化学習りである。

強化学習とは未知の環境下で実施に試行しながら報ht , ct

酬が最大になるような最適な行動を学習する手法であ(2)= LST M (st , LST M (st−1 , ht−2 , ct−2 ))る。状態 s が与えられ、エージェントはそれに応じて行動 a を選択する。この結果，その行動 a に応じて状= LST M (st , ht−1 , ct−1 )態が遷移し、目的を達成した場合に報酬 r が得られる

LSTM は過去情報を保持することができる深層モデ
ルであり、式 (2) のような再帰的な計算を行う。現在という仕組みになっている。今回は強化学習の中でも時刻 t における入力を表現する st 、内部パラメータをQ 学習という手法を使用する。この更新式は以下のとおりである。

表す ht 、過去の入力情報や予測結果を表現している

ct で表される。つまり今回のモデルは DQN と LSTM′を組み合わせた DRQN(Deep Recurrent Q-Network)aがベースとなっている。提案モデルの詳細を図 2 で示

Q(s, a) ← Q(s, a) + α(r + max Q(s′ , a′ ) − Q(s, a))(1)
また，近年では強化学習と入力の不確定性や状態の共有化を行うため深層学習を組み合わせた深層強化学習

す。LSTM を共有しているのはそちらの方が性能が良いというが示されているためである [4]。

が、これまでにない性能を発揮することに成功している [3]。その理由として多くのパラメータを持った高次元の非線形関数である多層ニューラルネットワークにより状態を表現することで、扱える状態空間数が見かけ上増えたためと考えられる。

― 1261 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 学習回数による名称一致率と特徴量選択順番の差
YEϭ

YEϮ

>^dD

YEϭ

YEϮ

>^dD

YEϭ

YEϮ

>^dD

実験7.1

実験準備

特徴選択 1 回目

2 回目

3 回目

学習回数 20030%
35%

特徴：色・大きさ

大きさ

大きさ

学習回数 1000

味

味・大きさ

味・大きさ

学習回数 2000

77%

味

色・固さ

...

幼児の語彙獲得モデルの検証

意図理解の有用性を検証するために、提案モデルのLSTM の入力に親の意図も追加した。ここでの親の意
図は、幼児に対してどの特徴を取得して欲しいかが表提案モデルである語彙獲得モデルの構築と、それを使用した意図理解の重要性の検証を行った。検証方法
としては用意した 8 つの物体名称・動作 (りんご・オ
レンジ・ボール・本・ブロック・早い・遅い・回る) と、6 つの特徴 (色 (RGB)・形・大きさ・味 (甘味，酸味)・ 固さ ・ 動き) を用いることで、物体が持つ特徴集合と名称を結びつけられることを示す。特徴の表現には RGB や単純な数字評価 (2 値) などを使用することで記号が単位となることを避る。200episode 毎の訓練の後に 30episode のテストを行い、名称一致回数で評価する。

7.2

一致率

7.3

図 2: 提案モデルの詳細

7

学習回数現されている。ただし、幼児は初めから親の意図を完全に理解することは出来ない。これをモデル化するため、今回は親の意図 (真の意図) の認識率をコンピュータ上で操作し、親の意図として幼児モデルの LSTMの入力に与える。実験では親の意図を上手く認識できる場合・できない場合とでは学習の速度や精度に何か違いが生まれるかを調べ、意図理解の重要性を検証する。その他の実験環境としては、図 2 の LSTM 層は100 次元、DQN の層 (tanh 層) は 50 次元である。学習を行うために最初に物体のリストを作成した。リス
トに載せる値の範囲を表 2 に示す。この範囲に従って、実際の値を付与した。今回の実験環境では物体の名称

名詞バイアス獲得の検証

ここでは、バイアスとい知識が自然に獲得できるかを調べるため，親が、幼児に名詞だけを教え続けることで、幼児が提示した名詞の特徴を理解するかを検証した。名詞だけに着目するため単語の名称のうち「早(名詞) を一致させる学習の割合が 80%であり、動作（形容詞）を一致させる学習が 20%である。真の意図の認識率を 20%(ほぼ認識できていない) と 80%(ほぼ認識できている) に設定して二つの結果の比較を行った。この結果を図 3 に示す。

い・遅い・回る」の動作を抜いた。特徴としては、「色(RGB)・形・大きさ・味・固さ」を用意した。この実
験では幼児は親の意図理解を行っていない。特徴の選択から名称を当てる手続きを検証した。その結果を表1 に示す。
実験結果から学習が進むにつれ、規則性のある特徴

表 2: 用意したデータの特徴
物体

色 (RGB)

大きさ

形

味固さ

りんご

赤

小丸

甘 (2)

柔 (3)

オレンジオレンジ小丸

酸っぱい (2)

柔 (3)

ボール

白

大丸なし

柔 (3)

赤・オレンジ

小・大四角なし

柔・固赤・白

大四角なし

柔・固本
ブロックの選択方法になることが分かる。これに伴い、名称の( ) 内の数字は種類数
甘い (2) は甘い 1 と甘い 2 で分類可能

一致率が上がっていく。学習の初期 200 回目では、特徴選択では大きさのみを選択している、また、不一致回数も高い。しかし、学習 2000 回目では特徴選択に実験の結果、認識率が高い場合は、認識率が低い場規則性が生まれ、記号一致率も高くなった。このこと合と比較して早期に名称の一致回数が高くなり、またから名詞のみを与える環境から一定の規則性が発見で安定性も優れていた。ただし、認識率が高い場合でもきることが分かる。特徴量選択の順序は、意味の木構

動作の名称 (形容詞) は一致させることができなかっ造を表現しており、物体のカテゴリ表現を実現していた。これは実験環境では物体の名称 (名詞) を学習する。このような特徴量の選択の順番は、ある種のバイる機会が多い (名詞出現率 80%) ため、名詞を獲得すアスであると考えられ、今回のモデルを用いることで、るためのバイアスが生まれ、形容詞を上手く学習でき形状バイアスが幼児の学習過程から構成できることがないためだと考えられる。

分かる。
― 1262 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ϯϬの検証を行った。結果として特徴・名称を選択する木Ϯϱ構造のような概念モデルが自動的に構築されることᩘϮϬᅇ⮴ϭϱ୍⛠ϭϬྡが分かった。このような木構造は、木構造の段階を途中で打ち切ることにより、物体の抽象化ができ一種のバイアスとなると考えられる。この実験を通して、形状バイアスや名詞バイアスといったものが、学習の過ϱϬ程から獲得できることが初めて分かった。またこの検ϬϭϬϬϬϮϬϬϬϯϬϬϬĞƉŝƐŽĚĞϰϬϬϬϱϬϬϬᩘǁŝŶͺůĂƚĞͺ;ĞƌƌŽƌсϬ͘ϴͿ

証により早期に安定した学習を行うためには親の意図が不可欠であることも分かった。この場合の意図とはǁŝŶͺůĂƚĞͺ;ĞƌƌŽƌсϬ͘ϮͿ

例えば、名詞を多く教えるなどといった親の行動を指す。これらのことから提案モデルは経験による記号接図 3: 実験結果 (名称の一致回数の比較)

地のモデル化において有効であることを示せたと考え
また提案モデルは名称選択の不一致が起きても何度られる。

か名称を選びなおすことを許している。このため、特今後の課題として、より現実に近いデータでの検証

徴や意図を考慮せず、名称を全て選択することで名称や、親の意図やバイアス以外の幼児の語彙獲得現象のが一致する場合もある。しかしながら、表 3 と 4 か重要性を示すような実験をしていく。また今回の実験

ら、意図認識率が高い場合は、認識率が低い場合と比では DRQN を使用しており、実際に試行した経験をべて、規則性が見られ特徴や意図を考慮しながら名称保管し、学習の際に保管した経験からランダムに選択を選択していると考えられる。

し学習している。しかし今回の実験では正解に近づかこのことから、提案モデルでは物体と名称を一致さない経験を多く選択し学習することがあり、学習速度せるために必要な特徴選択の規則性を学習しているこや精度に影響を及ぼした場合が存在した。そこで経験とがうかがえた。つまり物体の名称 (名詞) をあてるをランダムに選択するのではなく、重要度に応じた正問題が多い実験環境から、提案モデルは親の意図を考規化を行いこの上で一様に選択することを行いたい。

慮しながら物体と名称を一致させるために必要な最適な特徴を選択するようになったと考えられ、子供の意図理解の重要性がうかがえた。

参考文献[1] Butterworth, G., & Jarrett, N. L. M. 1991
"What minds have in common is space : Spatial mechanism serving joint visual attention in

表 3: 学習回数による特徴量選択順番の差 (認識率が低い場合)
学習回数

特徴選択 1 回目

2 回目

3 回目

infancy." British journal of Developmental Psychology, 9, 55-72[2] 曽 傑，高瀬裕，中野有紀子. "対象物の特徴や機能に関する知識を獲得する対話システム" The 31st

学習回数 200

特徴：固さ

固さ

固さ・形

学習回数 1000

固さ or 色 or 味

色・大きさ

色・固さ

学習回数 2000

動き・味

大きさ・固さ・味

形・味

学習回数 3000

動き・大きさ

固さ・形

固さ・大きさ表 4: 学習回数による特徴量選択順番の差 (認識率がAnnul Conference of the Jananese Socity for Artifical Intelligence， 2017.
[3] Volodymyr Mnih， Koray Kavukcuoglu， DavidSilver， Alex Graves， Ioannis Antonoglou，Daan Wierstra & Martin Riedmiller (2013)"Plating Atari with Deep Reinforcement Learn-高い場合)

8

学習回数

特徴選択 1 回目

2 回目

3 回目

学習回数 200

特徴：大きさ

大きさ

大きさ

学習回数 1000

固さ形

大きさ

学習回数 2000

味 or 固さ or 大きさ形

形

学習回数 3000

大きさ

形 or 味...

ing" NIPS Deep Learning Workshop 2013[4] Tiancheng Zhao， Maxine Eskenazi (2016) "Towards End-to-End Learning for Dialog State
Tracking and Management using Deep Reinforcement Learning" SIGDIAL 2016

考察
本研究では強化学習によって学習するニューラルネッ

トワーク用いて，自律的に語彙を獲得するモデルを構築し、心理学的・工学的な面を考慮したうえでモデル― 1263 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.