言語処理学会 第26回年次大会 発表論文集 (2020年3月)

意図解釈タスクにおけるスロット表現置換によるデータ拡張
松田 繁樹

土田 正明

山上 勝義

株式会社コトバデザイン{matsuda,tsuchida,yamagami}@cotobadesign.com

1

はじめに現を単語単位に分割し、各単語の類似語の組み合わせ

本稿では、対話インターフェースの基本的な機能であるインテントとスロットを認識する意図解釈モデル

もスロット表現候補とし、一定の割合 pα でその表現候補に置換する。置換するスロット表現候補は以下の２種類の手法で生成する。の為の学習データに対するデータ拡張手法について検討する。特に、学習データが小規模な際にインテント認識に比べて相対的に精度が低くなる傾向にあるスロット認識に着目する。
スロットを高精度に認識するためには、スロットの値となる表現（以降、スロット表現と呼ぶ）の傾向や、スロット表現の周辺文脈の傾向を捉えたモデルの訓Skip-gram[2] Wikipedia のダンプデータから Skipgram で分散表現ベクトルを学習し、2 つの単語のコサ
イン類似度が β 以上の語を類似語とみなす。wikipediaとスロット表現の単語分割は、日本語は Juman++[3]、英語は NLTK の単語分割で行い、各単語の類似語の組み合わせを表現候補とする。

練が必要と考えられる。スロット表現自体の傾向を捉えるためには、スロットの種類毎に多様な表現のバリエーションが必要と考えられる。また、スロット認識のための文脈的傾向を捉えるためには、類似した文脈で異なる様々なスロット表現が出現する学習データが必要と考えられる。
本稿では、上記仮説に基づき、1) 多様なスロット表
現が含まれ、2) 類似文脈で様々な異なるスロット表現

文脈類似語データベース [4]

ALAGIN フォーラムで公開されている、100 万語の名詞に対して、約 1 億ペー
ジの Web 文書上での文脈が類似している名詞を類似度順に最大 500 個列挙したデータベース1 を用いて、見出し語と文字を単語辞書として、動的計画法で分割数最小の基準で単語分割し、見出し語部分を類似度 β以上の類似語で置換したものを表現候補とする。

が出現するという２つの要件を満たす学習データを小規模な学習データから自動生成する手法として、学習
データ中のスロット表現をスロット表現になりうる類似表現で置換するという単純なデータ拡張方法を検討し、評価した結果を報告する。

また、類似語を用いたスロット表現候補生成によるデータ拡張との比較のために、２つの手法も評価する。
スロット表現の相互置換

学習データからスロット表現の語彙をスロットの種類毎に取得し、種類毎に相互に置換する。すなわち、類似語によるスロット表現候補2スロット表現の置換によるデータの生成と置換を行わないデータ拡張である。学習デー

拡張なるため、スロット表現自体の内容の傾向も周辺文脈

本節では、スロット表現置換によるデータ拡張手法について述べる。テキスト分類タスクのデータ拡張として、単語を一定の割合で類似語で置換する手法 [1]が存在するが、本稿の手法はスロット認識のために単語単位ではなく複数単語からなるスロット表現全体を置換したものと位置付けられる。
まず、学習データ中のスロット表現を抽出し、相互に置換してデータ拡張を行う。次いで、各スロット表タが小規模な場合、スロット表現の多様性が限定的にの傾向も捉えられないモデルになる可能性がある。
任意の固有名詞による置換

スロット表現の内容にかかわらず、Wikipedia のエントリを固有表現みなして一定の割合 pα で置換する。任意の固有表現で置換することで、スロットの周辺文脈が認識の手がかりとして強くなると考えられる。
1 SW_ALAGIN_V1.1.1_1m-rv100k.bbc0.0008.cleaned.
data.bz2― 772 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

スタントで収集された SNIPS[5] を使用した。SNIPSは、7 種類のインテントと 39 種類のスロットを含む700 文の評価データ、700 文章の開発データ、13084 文の学習データから構成されている。日本語と同様に、小規模な学習データしか利用できない条件での実験を行うため、64, 128, 256, 512 文を学習データとして使用した。十分な量の学習データが利用可能な場合の評
図 1: スロット表現がクラス化された文パターンの例

価として、8192, 13084 文を用いた場合の実験を行っとスロット表現の辞書の例

た。開発データはランダムに選択した 64 文である。
評価データは 700 文である。

3評価実験

3.1

実験コーパス

3.2

認識モデル

評価実験は、日本語と英語の 2 つの言語で実施した。

インテントとスロットを認識する意図解釈のタスク

日本語は、意図解釈モデルの学習および評価実験を行において高い認識性能が報告されている BERT ベー

う為に我々が独自に構築した実験コーパス生成システ

スのモデル [6] を用いて評価実験を行った。単語へのムを用いて作成した。実験コーパス生成は、28 種類分割及び、必要に応じて BPE (Byte Pair Endoding)のインテントに対してスロット表現がクラス化されたにより分割されたサブワード列が BERT に入力され、約 8 万文のテキスト (以降、文パターンと呼ぶ) と、インテントの種類に続き、個々のサブワードに対する54 種類のスロット表現のクラスに対して、約 60 万種スロットの種類が出力される。

類の代表語とその代表語に対する類義語から構成され日本語の実験では、BERT の事前学習モデルとした計約 200 万語彙の辞書を用いて行われる。文パターて、京都大学の黒橋・河原研究室が公開している BERT

ンとスロット表現の辞書の例を図 1 に示す。カギ括弧

日本語 Pretrained モデル2 を使用した。日本語ので囲まれたスロット表現のクラス文字列を、スロット

Wikipedia のテキストを用いて学習されている。形表現の辞書に含まれる語でランダムに置換することに

態素解析には Juman++ を用いた。SNIPS を用いたより、多様なスロット表現を含む実験コーパスを生成

英語の実験では、BooksCorpus と英語 Wikipedia をすることができる。

用いて学習されたモデル3 を事前学習モデルとして用学習データと評価データはお互いにオープン条件いた。これらのモデルは、12 層、各層のユニット数になるように、文パターンと、スロット表現の代表語768, 12 個のマルチヘッドアテンションの構造を持つ。

（及びその代表語の類義語）を選択し、前述の実験コーパス生成システムを用いて学習用及び、評価用データを生成した。学習データは、約 3 万 6 千種類の文パターンと、語彙サイズ約 3 万のスロット表現の辞書3.3

実験結果

3.3.1

データ拡張無しから 65536 文を生成した。小規模な学習データしか利用できない条件での評価では、これらの中から選択した 256, 512, 1024, 2048 文章を使用した。十分な量の学習データが利用可能な場合の評価として、32768,65536 文を用いた場合の実験を行った。開発データは、学習データと同じ文パターンとスロット表現の辞書を用いて 256 文だけ生成した。開発データ量は、学習データ量と同様に小規模である。評価データは、学習データに含まれない文パターンと代表語 (及びその代表語の類義語) を用いて 5000 文を生成した。

日本語の実験結果を図 2 の上表、SNIPS（英語）の実験結果を同図の下表に示す。評価尺度は macro F 値を用いた。データ拡張を全く行わない場合の評価結果を「データ拡張無し」の列に示す。
日本語において、学習文章数が 256 の場合、インテン
ト当たりの文パターン数は平均 9.1 (= 256/28) 、スロット表現の種類毎の平均語彙数は平均 7.3 (= 392/54)であり非常に少ない。認識性能が飽和したと考えられる学習文章数 32,768 の時のスロットに対する F 値が英語の実験コーパスとして、パーソナルボイスアシ

2 http://nlp.ist.i.kyoto-u.ac.jp
3 https://github.com/google-research/bert― 773 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 2: 日本語と英語の実験結果

96.76 なのに対して学習文章数 256 では 37.44 と大幅

一方、中間的な学習データ量においてはデータ拡張のに劣化していることがわかる。一方、インテントに対効果が得られる傾向が見られることがわかる。

する F 値はスロットに対する F 値に比べて劣化幅が小さいことがわかる。英語においても同様の傾向が見られる。

3.3.3

任意の固有名詞による置換

スロット表現の種類に関わらず、Wikipedia のエン

3.3.2

トリを固有表現とみなして一定の割合でスロット表現スロット表現の相互置換を置換することによるデータ拡張の評価結果を、表中学習データに含まれていたスロット表現をスロットの「任意の固有名詞による置換」の列に示す。前述のの種類毎に取得し、種類毎に相互置換を行った場合のスロット表現の相互置換によるデータ拡張を行った学

評価結果を表中の「スロット表現の相互置換」の列に示

習データに対して本手法を適用した。従って比較対象す。日本語の評価結果において、データ拡張無しと比較となるベースライン手法は、スロット表現の相互置換したスロット表現の相互置換によるデータ拡張の効果である。後に述べる Skip-gram や文脈類似語データは、学習文章数 256, 512, 1024, 2048 の各々について、ベースを用いた実験も同様である。日本語の評価結果

約 8.3%, 17.8%, 19.5%, 30.2% と文章数が増加するにの表に示すように、スロット表現の相互置換と比較し従って F 値の上昇率が大きくなっていることがわかる。て、学習文章数が少ない場合に F 値の上昇が見られる(F 値の上昇率は 8.3 = (42.66 − 37.44)/(100 − 37.44)

ことがわかる。一方、英語の評価結果においては、全で算出) 英語の評価結果におけるスロット表現の相互般的にスロット表現の相互置換と比較して F 値が低下

置換によるデータ拡張の効果は、学習文章数 64, 128,していることがわかる。本実験で使用した日本語の実256, 512 の各々について、約 4.0%, 4.6%, 4.8%, 0.0%

験コーパスは助詞などの比較的明示的な文脈の手がかとなり、学習文章数 512 の時にデータ拡張無しと比較りがあるため、前後の文脈からスロット表現の種類をして F 値の改善が得られなかった。

推測しやすかったことが考えらえる。それに対して、これらの実験結果から、学習文章数が少ない場合や、英語の実験で使用した SNIPS は、スロット表現が連十分な量の学習データが利用可能な場合にはスロット続するテキストが多く含まれており (たとえば、”play表現の相互置換によるデータ拡張の効果は小さくなり、<artist><music item>tunes” など) 文脈のみからス― 774 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ロットの種類を推測することが比較的困難であったこ

まとめ4とが考えられる。
これらの実験結果から、文脈によるスロットの種類

本稿では、意図解釈モデルのためのスロット表現にの推測が難しいと考えらえるデータに対しては、任意対するデータ拡張の効果について、スロット表現の相の固有名詞で置き換えるのではなく、スロット表現の互置換、任意の固有名詞による置換、Skip-gram によ

種類毎の傾向を崩さないように類似語等により置換すり得られた類似語による置換、文脈類似語データベーるデータ拡張が必要であることがわかる。

スの類似語による置換の、4 種類のデータ拡張法の評価を行った。評価結果から、小規模な学習データしか利用できない場合において、類似表現で置換すること

3.3.4

Skip-gram で抽出した類似語による置換によるデータ拡張によりスロットに対する F 値が上

Skip-gram により得られた類似語を用いて置換する昇することを確認した。

ことによるデータ拡張の効果を評価した。日本語のSkip-gram と異なり、文脈類似語データベースの類

Skip-gram の学習データは、Wikipedia のテキストに対して Juman++ により形態素解析を行い単語分割

似語リストは、係り受け関係などのより高次の情報をを行った。また、英語の Wikipedia のテキストに対し組み合わせることにより、お互いのデータ拡張の効果ては、 NLTK により単語分割を行った。頻度 4 以下を最大限に活用することができる可能性がある。今後の単語についてカットオフを行い、320 次元の分散表は、このような 2 つの手法の組み合わせの評価や、ス現ベクトルを学習した。日本語の語彙サイズは約 64

ロット表現だけでなく文脈自体のデータ拡張について万、英語の語彙サイズは約 78 万である。

評価を行う予定である。

実験結果を、表中の「Skip-gram」に示す。表に示
すように、日本語、英語の両方において、スロット表現の相互置換及び、任意の固有名詞による置換と比べて全ての場合で、スロットに対する F 値が上昇していることがわかる。特に英語において、任意の固有名詞による置換では F 値の上昇は得られなかったのに対して安定的に上昇していることがわかる。
これらの実験結果から、スロットの種類毎の表現の傾向が保持されると考えられる類似語による置換によるスロット表現のデータ拡張は、スロットに対する F値の上昇にとって効果があることがわかる。

3.3.5

文脈類似語データベースの使用

最後に、文脈類似語データベースを用いた類似語によるデータ拡張の効果を評価した。表中の「文脈類似語データベース」の列に評価結果を示す。文脈類似語データベースは日本語の単語に対するデータであるた
め、実験は日本語のみである。表に示すように、任意の固有名詞による置換と比較して全般的に高い F 値が得られていることがわかる。
文脈類似語データベースは、Skip-gram による方法とは異なり、係り受け関係からの類似語の推定や、人手による整備などが行われており類似語の推定の精度が高いことが期待されたが、Skip-gram と同程度の用いて作成されている。従って、これら 2 つの手法を謝辞

本稿の一部は、平成 31 年度総務省委託研究「高度対話エージェント技術の研究開発・実証」の成果によるものである。

参考文献[1] Jason W Wei and Kai Zou. Eda: Easy data augmentation
techniques for boosting performance on text classification
tasks. arXiv preprint arXiv:1901.11196, 2019.
[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ Dean. Distributed representations of wordsand phrases and their compositionality. In Advances inneural information processing systems, pp. 3111–3119,
2013.
[3] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi.
Morphological analysis for unsegmented languages using
recurrent neural network language model. In Proceedingsof the 2015 Conference on Empirical Methods in Natural
Language Processing, pp. 2292–2297, 2015.
[4] Jun’ichi Kazama, Stijn De Saeger, Kow Kuroda, Masaki
Murata, and Kentaro Torisawa. A bayesian method forrobust estimation of distributional similarities. In Proceedings of the 48th Annual Meeting of the Association
for Computational Linguistics, pp. 247–256. Association
for Computational Linguistics, 2010.
[5] Alice Coucke, Alaa Saade, Adrien Ball, Théodore Bluche,
Alexandre Caulier, David Leroy, Clément Doumouro,Thibault Gisselbrecht, Francesco Caltagirone, Thibaut
Lavril, et al. Snips voice platform: an embedded spoken language understanding system for private-by-design
voice interfaces. arXiv preprint arXiv:1805.10190, 2018.
[6] Qian Chen, Zhu Zhuo, and Wen Wang. Bert for joint
intent classification and slot filling.
arXiv preprint
arXiv:1902.10909, 2019.

データ拡張の効果であった。

― 775 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.