言語処理学会 第24回年次大会 発表論文集 (2018年3月)

ニューラル対話モデルにおける品詞に基づく低頻度語処理
原口 洋一 ∗1

村田 真樹 ∗2

∗1

∗2

鳥取大学 工学部 知能情報工学科
鳥取大学大学院 工学研究科 情報エレクトロニクス専攻∗1,∗2{s142044,murata}@ike.tottori-u.ac.jp

はじめに

1

ソース文の未知語化した単語と同じ単語があれば，同じ近年，ニューラルネットワークを用いる手法が自然言
語処理の多くのタスクで成果を上げている．その中に対話のモデルをニューラルネットワークにより構築した
ニューラル対話モデルがある [1]．ニューラル対話モデ
ルの学習に用いるデータをコーパスと呼ぶ．

トークンに割り当てる．ターゲット文中の低頻度語に対し，原文に同じ単語が無い場合，対応を持たないヌル
トークン unk0 を使用する．入力 (発話) と出力 (応答)の単語に対応関係のない対話モデルではヌルトークン

unk0 が多く出現する．

コーパス中での出現頻度が低い要素を低頻度語という．要素 (語彙) が増えるとニューラルネットワークの表 1 は CopyableModel の変換例である．

2.2

学習速度が落ちるため，コーパス中で重要でない低頻度語を同一の記号 (ヌルトークン unk0 ) へ置き換えることで学習速度の低下を抑える．しかし，ヌルトークンunk0 となった低頻度語は全て同一の記号となるため，コーパスにおいて本来違う単語が同一単語として扱われる．低頻度語処理の手法として，Copyable Model[2] と低頻度語の高頻度語への置き換え [3] がある．

低頻度後の高頻度語への置き換え

低頻度語を同義な高頻度語へ置き換える [3]．ター
ゲット文の，トレーニングデータにおいての低頻度語を高頻度語に言い換えることにより，未知語への変換を削減する．単語の置き換え辞書を作成する必要がある．

3

本研究の手法3.1

ヌルトークンへの品詞情報の付加

本研究では，CopyableModel 処理に加え，Copyable-

本実験では低頻度語処理の際，Copyable Model の未Model で処理できずに残ったヌルトークン unk0 を少数知語処理を行った後，品詞情報を用いてヌルトークンのグループへ分割することにより，応答の精度を向上さ

unk0 を少数のグループへ分割する．

せる．分割するためのラベルとして品詞情報を用いる．

これにより，低頻度語処理後のコーパスに残すことがまた，過去の発話を用いた学習も行う．非タスク指向

できる情報が増加する．品詞情報の付加は Mecab で容型の対話は，状況によって許容される応答が変化する．

易に行うことができるため，細分化の方法として採用

過去の発話を含まないデータの場合「うん」等の，応答した．

が必ずしも必要でない発話に対する応答の評価を行いにくい．そこで，発話の直前の対話 (過去の発話) を学習データとして追加 [4] することで，評価の際に評価者が表 2 は本研究の手法での低頻度語処理例である．

3.2

過去の発話を含めた学習

本実験では連続した対話情報を発話と応答に分割し学習データとしている．通常は発話，応答とも 1 人 (1 発文脈を知ることができるようにする．

2

先行研究話) の発言で学習するが，入力 (発話) データに対しその2.1

Copyable Model

前に行われた別人物の発話も付加する．これにより，文Copyable Model は NMT のための低頻度語処理モデルである [2]．Copyable Model は unk トークンを一種類だけではなく，複数種類のトークンを使用する．これ
により未知語となるヌルトークンに，入力と出力で同じ脈が見やすくなるため通常のデータより評価が容易になる．また，文脈を学習できる可能性がある．表 3 が通常の対話データで，表 4 が過去の発話を含めた対話データである．
過去の発話を含む対話データにおける eos とは，発話単語であったという情報を残す．

unk1 ，unk2 ，unk3 の順でソース文の低頻度語にナンの区切り (発話者の切り替え) を示す．

バーを振る．ターゲット文の未知語アノテーションは，― 540 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: Copyable Model の変換例
低頻度語

ソース文

unk0 : 5 月
unk0 : ぶら下げ,unk1 : 蚊取り線香
unk1 : 神様,unk2 : 試験

ターゲット文

unk0 が 待ち遠しい ですunk1 も unk0 て
unk1 の unk2 って 何 よ

こいのぼり を 上げる ん です か ?

unk1 は ほしい です ねunk1 の unk2 が ある ん です か ?

表 2: 提案手法の変換例
低頻度語

ソース文

unk1 :独自，unk動詞 :重ねる

ターゲット文unk1 に unk動詞 かも しれ ない

unk1 に 心の哲学 を 研究 なさっ て いるの です ね

unk名詞 :A(人名)，unk1 : 市ヶ谷
unk名詞 :2 月 11 日，unk1 : 建国

unk名詞 ね unk1 な ん だ よ ね
unk名詞 は なんだろう unk1 記念 かと名大会話コーパス (日本語自然会話書き起こしコーパ

表 3: 対話データ (過去の発話を含まない)
発話データス)[8] である．コーパスの詳細を表 6 に示す．

応答データ

また，表 7 はコーパスの用途別データ数である．開発

人口 多い です よ ね 東京 は 多い です よ ねえ魅力 的 だ から元気ですか ?

元気です

家事 は 苦手 です かそうですね

unk1 か ーunk1 記念 か

データとは，Open-NMT のプレトレーニングで必要なデータである．
表 6: 使用コーパス

表 4: 対話データ (過去の発話を含む)
発話データ

コーパス名称

応答データ

こんにちは ー 海 へ 行き たい ね 朝 から 海 に 行き
eos こんにちは ー 行き たいます か ??
そうですね
eos ありがとう ござい ます

どういたしましてクーラー は 欲しい です ねeos ない の ?

うん4

実験

4.1

実験環境

制作

雑談対話コーパス対話破綻検出チャレンジ

名大会話コーパス

日本語教育ネットワーク

表 7: コーパス用途別データ数
用途データ数

開発データ

4.3

用途データ数

69,452 訓練データ
1,389 テストデータ

総数67,369694

実験結果

表 8 は Copyable Model による低頻度語変換数であコーパスに出現する低頻度語を，複数の手法により処り，表 9 は Copyable Model の変換時に発生したヌル理し，その出力の評価を行う．RNN(LSTM) の文生成トークンに，提案手法により品詞情報を付加して行ったモデルである seq2seq[5] を使用する．

分類の変換数である．

本実験では，過去の発話を含まないデータにおける訓練データの発話 (入力側) データ全てにおいて一度しか出てこない形態素を低頻度語と定義する．また，過去の発話は本来の発話 (入力データ) の直前 1 名分の発話とする．低頻度語数に差を出さないために，過去の発話を

表 8: Copyable Model による低頻度語変換数
unk 番号
変換数0(ヌルトークン) 8,701
1
105
23

含むデータの低頻度語は過去の発話を含まないデータの表 9: 提案手法によるヌルトークン変換数

低頻度語と同一にする．
ニューラルネットワークは Open-NMT を使用した[6]．バッチサイズは 64，epoch 数は 50 とした．

変換数

品詞

変換数

6,319 記号
1,508 助詞
390 助動詞389 連体詞
34 接続詞1513101085動詞

表 5 は各手法の低頻度語変換例である．

4.2

品詞
名詞
副詞
形容詞

使用コーパス

実験で使用するコーパスは，Project Next NLP 対
話タスクで収集されたコーパス (雑談対話コーパス)[7]― 541 ―

感動詞
接頭詞

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 5: 各手法の変換例
ソース文 (発話)手法
原文ターゲット文 (応答)電圧 を 換える だけ で 普通 に 今 持っ 電圧 が もし 向こう で も オッケー だって いる の が 使える の ?
たら低頻度語を全てヌルトークンへ unk0 を unk0 だけ で 普通 に 今 持っ て 電圧 が もし 向こう で も オッケー だっ変換
いる の が 使える の ?
たらCopyable Model
提案手法

unk1 を unk0 だけ で 普通 に 今 持っ て unk1 が もし 向こう で も オッケー だっいる の が 使える の ?
たら
unk1 を unk動詞 だけ で 普通 に 今 持っ unk1 が もし 向こう で も オッケー だって いる の が 使える の ?
たら

表 10 は各手法の，過去の発話を含まないデータにお• 評価 : ○ける応答出力結果例である．表 11 は各手法の，過去の– 現状の発話応答で正しく完結している．

発話を含めた学習データにおける応答出力結果例であ– 意志表示が必要な発話に対し，自分の意志表示る．過去の発話は本来の発話 (入力データ) の直前 1 名を行う相槌．

• 評価 : △分の発話である．
表 10: 過去の発話を含まないデータにおける各手法の応– 理解可能だが文 (文法) が一部破綻．

答出力結果– より前の対話があると仮定すれば (極端な文脈を補完すれば) 正しいと思わる応答．

発話：寝不足 の とき は 頭 の てっぺん を 軽く 押す といい ん だって手法– 応答として適切でないが明らかにジョークと取入出力れる応答．

Copyable 発話：寝不足 の とき は 頭 の unk0 を 軽く
Model
unk0 と いい ん だって
応答：[A] さん と ね [A] さん が 来 た の ?
提案手法 発話：寝不足 の とき は 頭 の unk名詞 を 軽くunk動詞 と いい ん だって– 応答として適切だが会話の進展が無い．
– 会話として適当なオウム返し．
– 相手に発言を促す相槌．
– 質問に対する聞き返し．

応答：そうそう– 返答として適切と思われるが一文で完結してない発話．

表 11: 過去の発話を含むデータにおける各手法の応答出– 意図が理解可能な範囲で，期待する内容からず

力結果

れた返答．

発話：歯医者 の 日 な ん や
eos 歯科衛生士 さん は 美人 揃い でし た
手法

• 評価 : ×– 理解可能だが文が完全に破綻．意味不明．

入出力

Copyable 発話：歯医者 の 日 な ん やModel
eos unk0 さん は 美人 unk0 でし た

– 会話として適当で無いオウム返し，相槌．

応答：そうそう そうそう
提案手法

発話：歯医者 の 日 な ん や
eos unk名詞 さん は 美人 unk名詞 でし た
応答：あ そう な ん だ

以下に評価結果を示す．評価基準は下記の通りである．また，評価例を表 12 に示す．評価は各手法の出力をテストデータから抽出した 200 文で行った．今回の実験では，過去の発話を含むデータ，含まないデータの両方とも，入力より前の文脈 (データ) を見ずに評価し，必要であれば入力より前の文脈を出力に都合の良いように補完する．補完無く評価可能且つ評価○の条件を満たすものを○と評価する．

表 12: 評価例
評価理由

入出力

○ : 現状の発話応答で 発話：こんにちは 夏 と いえ ば正しく完結している
スイカ だ ね
応答：スイカ は 大好き です ね
△ : 応答として適切だ 発話：奥 が 深い です ねが会話の進展が無い
応答：はい△ : 意図が理解可能な 発話：スポーツ は なさい ます
範囲で期待する内容かか?
らずれた返答
応答：スポーツ は 必要 です△ : 会話として適当な 発話：マスクメロン は 美味しい
オウム返しです ね
応答：美味しい です ね× : 会話として適当で 発話：沖縄 いつ 行く の ?
無いオウム返し，相槌 応答：沖縄― 542 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

入力に過去の発話を含まないデータで学習したモデル

密な評価が困難である．表 16 の出力は全て「うん」とにおける，テスト出力結果の絶対評価を表 13 に示す．

同じく文脈により評価がわかれやすい．また，非タスク

表 13: 評価結果 (入力に過去の発話を含まない)指向型対話システムにおいて，似たような出力が多くな手法ることは好ましくないと思われる．そのため，出力 (応○ △ ×68 98 34

答) の多様性を評価するためには，評価○，△とした出低頻度語全てをヌルトークン化 81 93 26

力の，異なる内容の出力数を調査する必要がある．これ

Copyable Modelは今後の課題とする．

低頻度語置き換え無し

提案手法

77 86 37
75 97 28

表 16: 提案手法の出力数上位 5 文
入力に過去の発話を含んだデータで学習したモデルにおける，テスト出力結果の絶対評価を表 14 に示す．

うーん

○ △ ×

そうですね

64 77 59
低頻度語全てをヌルトークン化 73 70 57
Copyable Model
72 69 59
提案手法
78 72 50

はいモデルの出力 (応答) を，過去の発話を含むモデルと同様な評価方法により評価した．すなわち，本来の発話データとその直前一発話分の発話を文脈とし，それ以前の文脈は見ずに評価する．絶対評価を表 15 に示す．

328 うん27 ふーん16 うーん
11 何?
9 そうですね

258
3122
1311

おわりに6

また，学習・テスト時に過去の発話を使用しなかった

ヌルトークンの品詞に基づく細分化と，評価のしやすさの向上のためのデータ調整を行った．
結果として，品詞情報付加によるヌルトークン unk0の細分化により，出力に変化は現れたが，精度向上とはならなかった．
今後は，今回の実験における出力文の多様性の調査

表 15: 評価結果 (入力に過去の発話を含まないが，評価
では文脈に過去の発話があるとする)と，CopyableModel を用いないヌルトークン unk0 の品詞置き換えモデルの評価を行う．また，対話データが○ △ ×少ないため，データ追加を行いつつ，出力の多様性を増

66 74 60
低頻度語全てをヌルトークン化 80 70 50
Copyable Model70 69 61
提案手法
78 69 53
低頻度語置き換え無し

5

出力 (応答) 出力数

出力数

ふーん

低頻度語置き換え無し

手法

過去の発話を含む

出力 (応答)うん

表 14: 評価結果 (入力に過去の発話を含む)
手法

過去の発話を含まない加させる必要がある．

参考文献

考察
本実験では提案手法での大きな性能向上は見られなかった．CopyableModel は単にヌルトークン unk0 へ置き換えた場合よりも性能が悪かったため，Copyable-Model は対話においてはあまり有効ではないと思われる．そのため，CopyableModel を用いずにヌルトーク[1] 佐藤 翔悦, 吉永 直樹, 豊田 正史, 喜連川 優 : 暗黙の発話状況を考慮したニューラル対話モデル, 言語処理学会第 23回年次大会発表論文集, 2017.
[2] Ilya Sutskever, Quoc V.Le, Oriol Vinyals, Wojciech
Zaremba : Addressing the Rare Word Problem in Neural Machine Translation, ACL 2015, 2015.
[3] 関沢 祐樹, 梶原 智之, 小町 守：目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善, 言語処理学会第 23 回年次大会発表論文集, 2017.
[4] 村田 真樹, 内山 将夫, 白土 保, 井佐原 均 : シリーズ型

ン unk0 の品詞置き換えを行うモデルが有効な可能性がある．その手法を用いた実験を今後行いたい．
全手法において，出力結果から「うん」等使用頻度の高い応答が複数あった．例として提案手法の出力数上位

5 文を表 16 に示す．この中で，「うん」はテストデータの総数 694 のおよそ半分を占める．過去の発話を含む学習データにおける出力では，同じ応答の使用頻度は全ての手法において減少した．
「うん」は文脈により意味，役割が変わりやすく，厳質問文に対して単純結合法を利用した逓減的加点質問応
答システム, システム制御情報学会論文誌, Vol.20, No.8,pp.338-346, 2007.
[5] Ilya Sutskever, Oriol Vinyals, and Quoc V.Le. : Sequence to sequence learning with neural networks.,
Advances in Neural Information Processing Systems
27(NIPS2014), 2014.
[6] SYSTRAN : OpenNMT, http://opennmt.net/[7] 対話破綻検出チャレンジ, https://sites.google.com/site/
dialoguebreakdowndetection/[8] 名大会話コーパス, http://mmsrv.ninjal.ac.jp/nucc/― 543 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.