DEIM Forum 2018 G5-3

単語レベルと文字レベルの情報を用いた日本語対話システムの試作
村田 憲俊†

酒井 哲也†† 早稲田大学基幹理工学部情報理工学科 〒 169–8555 東京都新宿区大久保 3-4-1
E-mail: †muratacnttto@suou.waseda.jp, ††tetsuyasakai@acm.org
あらまし近年の深層学習の発達に伴い，雑談のための非タスク指向対話システムの実用化が始まっている．従来の対話システムの研究では英語を対象としたものが主流であったが，日本語対話システムには日本語特有の問題がある．
本研究では，テキストの単語分割 (word segmentation) 手法に着目し，日本語テキストを単語レベルに分割した情報と文字レベルに分割した情報の両方を用いた非タスク指向日本語対話システムを試作し，評価を行う．機械翻訳の評
価指標 BLEU による評価のもとでは，提案システムは文字レベルの情報のみを用いたシステムおよび単語レベルの情報のみを用いたシステムを平均的に上回り，前者に対する差は統計的に有意であった (p ≈ 0.0000)．また，単語レベルのシステムのほうが文字レベルのシステムよりも有効であり (p = 0.0014)，提案システムと単語レベルのシステムの間には有意差は認められなかった．
キーワード 対話システム，seq2seq，テキストマイニング

1. は じ め に
近年，AI スピーカーの家庭への普及や，音声アシスト機能の付いたアプリケーションが数多くサービスとして展開されていと単語レベルの両方の分割から得られた情報を元に文の生成を行う．

2. 関 連 研 究る．それに伴い，対話システムのさらなる発展の需要が高まっ

本節では，本研究に関連する研究について説明をする．

ている．開発されている対話システムは，タスク指向のものと

2. 1 Sequence-to-Sequence

非タスク指向のものに大別される．雑談は会話の約 60 ％を占め

Sequence-to-Sequence は再帰ニューラルネットワーク (Re-ると言われており [1]，非タスク指向の対話システムは会話を行

current Neural Network; RNN) である．文 (sentence) のよ

う上で非常に重要である．それらの対話システムは，自然言語

うな可変長の文字列をシーケンスデータとして扱う．可変長の処理を元とした技術により構築されている．一般に，対話シス

シーケンスデータを入力とし，可変長のシーケンスデータを出テムがユーザーからの入力に対して返答する手法は 2 種類に大力することができるニューラルネットワークモデルである．し別される．1 つ目は自然言語処理の手法から得られた情報を元かし，このモデルには時間方向に層が深くなるにつれて，学に，人手でルールを作成し，ルールベースで返答を生成するも習が上手く進まなくなる勾配消失問題があった．この問題へののである．2 つ目は機械学習の手法も用いて，実際の会話デー対策として，Long Short-Term Memory (LSTM) [4] を用いた

タから返答を生成する，非ルールベースの手法である．ルール

モデルがあり，勾配消失問題を緩和し，性能が向上することがベースなものには ELIZA [2] がある．現在，非ルールベースの知られている [5]．LSTM を用いた場合，長さ Ti の入力シー

手法は deep learning といった機械学習の手法の発展と，ルー

ケンス {x1 , x2 , ..., xTi } に対して，長さ To の出力シーケンス

ルベースでは表現しきれない多様な回答を実現することの需要{h1 , h2 , ..., hTo } を得るための処理は以下のように示される．

に伴い，数多くの手法が提案されている．しかし，その多くは

it = σ(Wxi xt + Whi ht−1 + bi )(1)

課題が必ずしも明らかになっていない．日本語の対話システム

ft = σ(Wxf xt + Whf ht−1 + bf )(2)を構築する上で，英語にはない課題のひとつに単語分割 (wordot = σ(Wxo xt + Who ht−1 + bo )(3)

segmentation) がある．日本語は英語と異なり，文中の単語がct = ft ⊙ ct−1 + it ⊙ tanh(Wxc xt + Whc ht−1 + bc ) (4)

英語を対象として評価されており，日本語を扱った場合の技術空白等で区切られていないため，英語で用いられている手法をそのまま利用することができない．よって，日本語での対話シ

ht = ot ⊙ tanh(ct )(5)

ステムの開発には，文を文字レベルで分割し利用する方法と，

σ はシグモイド関数，tanh はハイパボリックタンジェントで分かち書きを行い単語レベルで分割し利用する方法 [3] が考えある．W∗ は it , ft , ot , ct , ht を算出するための重み行列，b∗ はられる．

バイアスベクトルである．LSTM の学習では，W∗ と b∗ が学

本稿では，ニューラルネットを用いた非タスク指向の非ルー

習により最適化されるパラメータである．

ルベースの日本語対話システムを作成する．日本語における大Sequence-to-Sequence を言語モデルとして利用するためにきな課題である単語分割の問題に着目した，新たな日本語対話

は，更に拡張が必要となる．まず，入出力ベクトルの次元数 (語システム手法の試作，評価を行う．この手法では，文字レベル

彙数) と処理系内部での次元数を合わせるために，以下の式が

{xi∗ } とし，それに対するシステムの返答文を {xo∗ } とする．
入力単語列は以上のことから {xi∗ , ⟨EOS⟩, xo∗ , ⟨EOS⟩} となる．これに対して，対話モデルでは { □, ..., □, xo∗ , ⟨EOS⟩} を予測すればよく，□ に関しては評価をしない．
図 1 ニューラルネットワーク対話モデル（文献 [6] より引用）

3. 提 案 手 法
本節では，ニューラルネットワークを用いた，対話モデルに導入される．

おける日本語での新しい手法について述べる．英語では文が空

xt = Wx′ x x′t(6)yt = sof tmax(Why ht )(7)

入力シーケンス (単語列) は {x′1 , x′2 , ..., x′Ti } で，x′∗ は語彙

白で区切られているため問題にはならないが，日本語の場合には入力単語列を得る際に，何をもって単語と見なすかについて明らかにする必要がある．ここでは，単語レベルの情報と文字数と同じ次元数のベクトルである．語彙を表現するために，該レベルの情報を併用し，双方のメリットを活かすことを狙った

当するインデックスの次元の値のみが 1 となり，それ以外の値提案手法について述べる．3.1 で提案手法の概要について説明は 0 になるような one-hot ベクトルになっている．出力シーケする．3.2 では，提案手法とするニューラルネットワークによ

ンスは {y1 , y2 , ..., yTo } で，y∗ は，時系列における各時刻の予る対話モデルの詳細について説明する．

測単語の確率分布ベクトルである．softmax はソフトマックス

3. 1 概関数であり，出力値を正規化し，確率分布として扱うことがで

2. において，関連研究としてニューラルネットワークを用い

要

た対話モデルについて述べた．しかし，これらの研究は，英語

きる．
上記の言語モデルの学習では，入力シーケンスは単語列に該などの分かち書きされた文を対象にすることを前提としている．

当し，{x′1 (= ⟨BGN ⟩), x′2 , ..., x′Ti } を入力することにより，それよって，日本語でこの対話モデルをそのまま使用することはでぞれの次の単語が何であるかを順番に予測していく．⟨BGN ⟩ は
文頭を表現するためのシンボル単語である．言語モデルの場合，期待される出力単語列は {y1′ = x′2 , y2′ = x′3 , ..., yT′ i = ⟨EN D⟩}となる．これは，入力単語の次の単語が何であるかを予測していることになる．⟨EN D⟩ は文末を表現するためのシンボル単語である．⟨BGN ⟩ や ⟨EN D⟩ といった特殊なシンボル単語は使用される語彙として事前に one-hot ベクトルの次元として組み込まれる．出力単語列 y∗′ は予測出力単語の確率分布を表すベクトルのため，期待される出力単語列の出力確率は以下のよ割の手法は主に以下の 2 つがある．

A 入力文字列の 1 文字ずつを単語として扱う文字レベル
での分割

B 入力文字列を分かち書きし，それぞれを単語として扱う単語レベルでの分割
これらの分割手法であるが，それぞれについて以下のようなメリットとデメリットがある．

A のメリットは，文の文法的な乱れに対して強いことである．
一方，単語の区切りの情報を活用できないというデメリットがうな同時確率となる．

p(y1′ , y2′ , ..., yT′ |x′1 , x′2 , ..., x′T ) =きず，日本語の文を何らかの方法で分割をする必要がある．分

T
∏

ある．

p(yt′ |ct−1 , ht−1 , x′t ) (8)t=1

B のメリットは，形態素解析により取得した単語の情報を利用できることである．一方，形態素解析は辞書や学習コーパス

このとき，初期状態 c0 , h0 は零ベクトルとする．

に依存するため，特に文法的な乱れや一般的でない表記が多い

2. 2 対話モデル

文に対しては，必ずしも適切な単語が抽出できないというデメ

Sutskever らが提案した seq2seq [6] を元に，Vinyals らは，対リットがある．

話データを用いるように一部拡張をし，ニューラルネットワー

以上の両方のメリットを得るために，提案手法では以下の手クを用いた対話モデルとして提案した [7]．以下に，その提案手

順の対話モデルを構築する．

法での拡張部分の詳細を述べる．

（ 1 ） 発言文と返答文をシーケンスとして扱うために，分割

対話モデルの構造の概要は 2.1 の LSTM を用いた言語モデルと同様である．対話モデルの構造について図 1 に示す．
拡張部分は，主に以下の 2 点である．

を行う．このとき，文字レベルでの分割をしたシーケンスと単語レベルでの分割をしたシーケンスの両方を用意する．
（ 2 ） 文字レベルと単語レベルのシーケンスそれぞれに対応

I 発話者の切り替えを示すためのシンボル文字の導入

した対話モデルを作成し，学習を行う．

II 学習時に予測する出力単語列を返答文のみとする（ 3 ） それぞれの対話モデルで返答文の生成を行う．

I は，対話には発言者と返答者がいるが，入力単語列で発話者（ 4 ） それぞれの対話モデルから生成された文を文字レベルの切り替えを表現するために発言終了のシンボル単語 ⟨EOS⟩で分割する．

を導入する．入力単語列中にこのシンボル単語が出現した場合，（ 5 ） それぞれに生成された返答文を入力とし，最終的な返それは発話者の切り替えを意味し，返答者が発話を開始する．

答文を生成する複合対話モデルを作成し，学習を行う．

II は，学習時に予測する出力単語列は返答文のみであり，発言文に関しては無視をするということである．相手の発言文を（ 6 ） 返答文の生成を行う．
以上の提案モデルの概略図を図 2 に示す．

図 2 単語レベルと文字レベルを利用した提案モデルの概要

図3

本研究でのニューラルネットワーク対話モデルの概要

3. 2 文字レベル・単語レベル複合対話モデル

デルの学習を行わせる．ここでは，文字レベルと単語レベルは

以下では，提案手法の各手順について詳細を説明する．

語彙が異なるのみのため，文字レベルの場合のみを述べる．モ

3. 2. 1 単語分割とシーケンスの整形

デルは，発言文の解釈を行う Encoder と返答文の生成を行う

本研究では単語分割について，文字レベルと単語レベルのDecoder に分けることができる．Encoder では，発言文のベク

2 種類の情報を使用する．まず，それぞれの単語分割についてトルを入力とし，計算を行い内部状態を Decoder に共有する．

例を示す．
「私は夏休みに沖縄に行きました」という文があっ

Decoder では，Encoder の内部状態を受け取り，学習の際は返たとする．また，単語分割を行った後のそれぞれの単語につ

答文のベクトルを入力とする．{xc1 = ⟨BGN ⟩, xc2 , ..., xcT −1 }いて，文字レベルでは {xc1 , xc2 , ..., xct } とし，単語レベルでを Decoder への入力とし，{xc2 , ..., xcT } を正解として学習をは {xw1 , xw2 , ..., xwt } とする．t は各文の文長である．この場
合，文字レベルでは，{ 私, は, 夏, 休, み, に, 沖, 縄, に, 行, き, ま, し, た } となる．単語レベルでは形態素解析を行い，{ 私, は
, 夏休み, に, 沖縄, に, 行き, まし, た } といったようになる．

行う．これは，1 時刻前で出力した文字を入力として，現時刻の出力を予測することに当たる．このとき用いたニューラルネッ
トワーク対話モデルの概要を図 3 に示す．

3. 2. 3 複合対話モデルの作成

以上の手順を行った後に，ニューラルネットワークで学習を

文字レベルと単語レベルの対話モデルから生成された文から行うために 2. で行われていたことを含め拡張を行う．まず，文得られる情報を結合して，最終的な返答を生成するモデルの作

字列に ⟨BGN ⟩, ⟨EOS⟩ を導入をする．⟨BGN ⟩ は文頭である成を行う．このモデルでは文字レベルと単語レベルから生成さxc0 として追加をする．⟨EOS⟩ は文末である xct+1 として追加れた文書をそれぞれ一度日本語に戻し，文字レベルで分割をしをする．次に，ニューラルネットワーク対話モデルは任意の長なおす．再度分割した 2 つの文を複合対話モデルに入力をし返さのシーケンスを扱うことができるが，実装が非常に複雑にな答を出力する．

るため文長を一定にする．そのためにシンボル文字 ⟨P AD⟩ を導入する．まず文字列長 T を設定する．本研究では T = 70 とした．その後，データセットで内の各文を文字列長 T に合わせる．各文の文字列長 t が t < T の場合，t = T になるように，⟨P AD⟩ を文字列として末尾に追加する．t > T の場合，t = T

文字レベルの対話モデルから得られた文字列を {yc1 , ..., ycT }とする．また，単語レベルの対話モデルから得られた文字列を{yw1 , ..., ywT } とする．複合対話モデルでは，2 つの文を入力するために再度文字レベルに分割しなおす．その文字列をそれ
ぞれ x′c∗ , x′w∗ とする．

になるように，文字列の末尾を削除する．上記の例の単語レベル

複合対話モデルのニューラルネットワークの構造は 3.2.2 ので T = 15 とすると {⟨BGN ⟩, 私, は, 夏休み, に, 沖縄, に, 行き

モデルを結合したものと考えることができる．複合対話モデ, まし, た, ⟨EOS⟩, ⟨P AD⟩, ⟨P AD⟩, ⟨P AD⟩, ⟨P AD⟩} となる．
3. 2. 2 文字レベルと単語レベルの対話モデルの作成
文字レベルと単語レベルの対話モデルには，2. で用いられてルでは，x′c∗ , x′w∗ それぞれに対して Encoder と Decoder を設ける．そして，それぞれの LSTM layer からの出力を共通の

dense layer で受け，sof tmax 関数により出力 y∗′ を決定する．

いるモデルを拡張したものを使用する．そのために前工程で作以上のモデルの複合対話モデルを図 4 に示す．

成したシーケンスの各単語をベクトルに変換する．文字レベル

4. 評価・実験で用いられる語彙全体を Xc ∋ xc∗ とする．また，単語レベルで用いられる語彙全体を Xw ∋ xw∗ とする．これらの語彙には

提案手法の性能を評価するために比較実験を行った．比較実

シンボル文字も含まれる．文字レベルでの語彙のベクトル化に験では，同一のニューラルネットワーク構造を持つ，文字レベ

おいては，まず Xc の各要素にインデックスを付ける．その後，

ルでの対話モデル (char-model)，単語レベルでの対話モデル

xc∗ をそれぞれ次元が Xc と同じ大きさにし，該当インデック(word-model)，2 つを複合した提案モデル (compound-model)

スの位置のみ 1 となり，それ以外が 0 のベクトル（one-hot ベについて比較を行った．これによって，この提案モデルがどのクトル）にする．単語レベルでも Xw を使い，同様の処理を行ような特徴を持つかを分析した．4.1 では評価に使用したデー

う．対話モデル内部ではこのベクトルを embedding layer [8] にタセットの説明，4.2 では評価を行う上で設定をした各種数値

入れ固定長のベクトルに変換する．

等の説明，4.3 では実験結果の説明を行う．

単語のベクトル化が終了後，ニューラルネットワーク対話モ

4. 1 データセット
対話の学習データとして，Twitter のツイートを利用した．

詰めで調整をした．単語レベルの語彙 Xw は，データセット全
体を形態素解析し，低頻度語を除いた上で |Xw | = 15000 となるように設定した．文字レベルの語彙 Xc については，データセットにあるすべての文字を使用した．本研究で使用したデータセットでは |Xc | = 5955 となった．
ニューラルネットワーク部分についての説明を行う．embed-

ding layer の出力次元数，LSTM layer の入力次元数は 250 とした．dense layer については各モデルの語彙数と同じである．
学習の際の batch サイズは文字レベルのモデル，複合モデルでは 600，単語レベルのモデルでは 300 として学習を行った．学習の際，各 epoch ごとに val データセットを用いて，学習中のモデルの検証を行った．そのとき，val データセットへの損失が上昇した場合，train に対して過学習をしていると考え，学図 4 複合対話モデル

習を止めるようにした．

4. 3 実験結果の算出手法
Twitter は現在，日本国内で幅広く利用されており，数多くのジャンルの会話が行われていることが期待される．また，ツイー

本研究では，各手法を比較するために BLEU [10] [11] を使用する．BLEU は以下の式により計算される．

トは日本語の文法的な乱れやネットスラングが含まれていることが多いため，精度の高い分かち書きが困難である．そのため，文字レベルの対話モデルと単語レベルの対話モデルのそれぞれの特徴を活かせる可能性がある．本研究では任意のツイート

BLEU = BP ∗ P REC
SBM L
BP = exp(min(0, 1 −
))
SY SL
∑
SBM L =BM L(s)と，そのツイートに対するリプライというペアを対話データとつのデータセットに分割した．分割をする際，今回のデータは1 年間のデータを取得しているため，日付に対してランダムに抽出を行った．これは，例えば年始の挨拶のようなツイートがtrain, test, val のいずれかに偏るような状況を避けるためである．train はモデルの学習のために用いる．test はモデルの評価のために用いる．val はモデルが学習をする際に，モデルがtrain に対して過学習を行わないようにするために，epoch ごとにモデルを検証し，学習を制御するために用いる．各データ

(11)

∑

arg min |len(s) − len(s∗ )|(12)len(s)(13)len(s) = 文 s の長さ
1 ∑
P REC = exp(
lnP recN )2
N ∈{1,2}∑ ∑se∈gramN (s) Clip(c, s)
P recN = ∑ ∑se∈gramN (s) C(e, s)(14)

Clip(e, s) = min(maxC(e, s∗ ), C(e, s))
∗

(17)

=

s

までに取得された 1,000,000 (1M) ツイートを対象としており，評価を行うために，上記の学習データを train, test, val の 3

(10)

s

して扱った．学習データ全体は 2014/01/01 から 2014/12/31

500,000 ペアの対話のデータを用意した．

(9)

SY SL =∑

len(s∗ )ss

C(e, s) = s の中に含まれている単語 e の個数

(15)

(16)

(18)

今回の場合はそれぞれ，s はシステムの返答文，s∗ はテスト

セットのサイズについて，表 1 に示す．

データの返答文，gramN (s) は文 s から得られる N -gram の集表1

合，e は文 s を形態素解析をした単語である．また，N ∈ {1, 2}

データセットのサイズ
サイズとした．すなわちユニグラムとバイグラムのみを考慮した．

種類

割合

ALL

100 500,000

4. 4 実 験 結 果

train

81 405,000

Twitter のデータから作成した対話のデータセットを用いて，

val

945,000

提案手法の比較を行った．評価には test データセットを使用し

test

10

50,000た．baseline として，文字レベルでの対話モデルと単語レベル
での対話モデルを用いる．baseline と提案手法に対して，test

4. 2 実 験 設 定の発言への返答と，test での実際の返答を用いて BLEU を算以下，本研究での実験条件詳細について述べる．

出する．

まず，入力シーケンスである {xw∗ } を得るために，データ

test での BLEU の平均について表 2 に示す．

セットの分かち書きが必要となるデータセットの分かち書きに

各モデルに対して BLEU を算出した結果，BLEU の平均値

ついては M ecab [9] を使用した．文字列長 T については，テキにおいて baseline を僅かに上回った．4.5 でこれらの平均値のストチャットは一般的に文字列長が短い傾向にあると考えられ差の統計的検定結果を示す．

る．よって，長いものについてはチャット以外の用途で用いられると仮定し，T = 70 とした．シンボル文字 ⟨P AD⟩ は後ろ次に各モデルの test での BLEU のヒストグラムを図 5 に
示す．

表2

各モデルの BLEU の比較

種類

BLEU

char-model(baseline)

0.113847

表 3 各モデルの出力例
発言文

あけましておめでとうございます．今年もよろし
くです!!

word-model(baseline) 0.117180
compound-model

0.118322

正解おめでとうございます．こちらこそよろしくです

文字レベルモデル

おめでとう！
！
！
！
！
！
！
！
！
！
！
！
！...

単語レベルモデル

こちらこそありがとうございます

複合モデル

おめでとうございます

発言文

おやすみなさい。今日も一日お疲れ様でした。

正解

おやすみー

文字レベルモデル

おやすみなさい。

単語レベルモデル

おやすみなさいませー

複合モデル
発言文

おやすみなさいフォローありがとうございます！よろしくお願いします！

図 5 各手法の BLEU のヒストグラム

どのモデルも共通して，BLEU において 0 付近の値が非常に多くなっている．これはつまりモデルの出力と実際の人間の返答を比較した時，ユニグラムとバイグラムで一致するものが存在しないということが主な要因である．

正解

こちらこそありがと〜よろしく！

文字レベルモデル

こちらこそよろしくお願いします！

単語レベルモデル

こちらこそよろしくです！

複合モデル

誕生日おめでと！
！

正解

おかちゃあああああああん！
！
！
！
！ありがとー！
！
！

文字レベルモデル

ありがとうございます！
！
！
！
！
！
！
！
！
！
！
！
！...

単語レベルモデル

ありがとう！
！
！
！
！
！
！
！
！
！
！
！
！...

複合モデル

ありがとう！
！
！
！
！
！
！
！
！
！
！
！
！...

発言文

フロントガラス 12 万だってよ。保険きかないって各モデルが出力した例を表 3 に示す．
複合モデルでは，一部ではあるが文字レベルでのモデルと単よ。いやっほーい！
正解

きれそう w 思えば 16 日の海から負の連鎖は始
まってたんだね…

語レベルでのモデルの折衷案のような返答を返していることが確認できた．

4. 5 Tukey HSD 検定による統計的有意性
本節では上記の各システムにおける BLEU の平均値の差にこちらこそよろしくお願いします！

発言文

文字レベルモデル

それは、それは、それでも、それを見てるのかな？

単語レベルモデル

俺も今日は 1 日で 1000 円で 1000 円で 1000000...

複合モデル

それは、それをしてるのかな？

発言文

あいふぉんのケースの中にクレカいれっぱじゃん

ついて統計的有意性を確かめるために，Tukey HSD 検定によ

正解

まずすぎる

る各システム対の差に関する p 値を算出した．その値を表 4 に

文字レベルモデル示す．

それは、それは、それは、それは、それでも、それを見ているのは、それは、それを見ているのは、それは...

表 4 より，機械翻訳の評価指標 BLEU による評価のもとでは，複合モデルと文字レベルでのシステムの差は統計的に有意単語レベルモデルのがいいですよねであった (p ≈ 0.0000)．また，単語レベルでのシステムのほう

複合モデル

それはいいですよねが文字レベルでのシステムよりも有効であり (p = 0.0014)，複合システムと単語レベルでのシステムの間には有意差は認めら

表4

各手法同士の BLEU 平均値の差に対する p 値
システム対

p値

れなかった．このことから，提案手法である複合システムに主word-model vs char-model

0.001376

として貢献しているのは単語レベルのシステムのほうであるとcompound-model vs char-model

0.000008

考えられる．

compound-model vs word-model 0.453996

5. 考察
かった．今回の提案手法は，ベースとして，文字レベルの対話

実験結果において，Twitter の対話データセットに対して，モデルと単語レベルの対話モデルからの出力を入力としている．

全体的に BLEU が低い数値となっていた．今回，任意のツイー

そのため，提案手法の出力に関しても同様の内容に乏しい返答

トとそれに対する reply を 1 つの対話として扱ったが，これ以になってしまい，実際の返答と比較した BLEU での改善は若前の対話の文脈についての情報がないため，発言からの返答

干にとどまったと考えられる．提案手法をさらに改善するためを予測するのが困難であったと考えられる．実際，季節の挨拶には，ニューラルネットワークに対して attention [12] を導入

や Twitter のフォローに関するやり取り等，返答がある程度定するなどの改善が必要であると考えられる．

型化しているものについては比較的適切な回答が得られたが，また，本研究では対話システムの評価をするために，評価指それ以外の発話に対しては「それはそう思う」のように「それ標として BLEU を用いた．しかし，非タスク指向の対話システ

は...」などが多用された中身のない回答を返していることが多ムを評価する上では BLEU は最適な評価指標であるとは言い難い [13]．よって，適切な評価指標自体を検討する必要がある．

6. ま と め
本研究では，文字レベルと単語レベルの情報を併用したニュー
ラルネットワークによる日本語対話システム手法の試作し，評価を行った．機械翻訳評価指標 BLEU により提案手法を文字レベルのみと単語レベルのみのモデルと比較した結果，提案シ
ステムは文字レベルの情報のみを用いたモデルを統計的に有意に上回ることが確認できた．一方、単語レベルの情報のみを用いたモデルとの差は統計的に有意ではなかった．今後，文字レベルと単語レベルのそれぞれに用いられているニューラルネッ
トワーク対話モデルに attention などを導入し，生成する文の精度を上げる改善をする必要がある．

文

献[1] 小磯 花絵, 石本 祐一, 菊池 英明, “大規模日常会話コーパスの構築に向けた取り組み : 会話収録法を中心に,” 言語・音声理解と対話処理研究会, 人工知能学会, Vol. 74, pp. 37–42, 2015.
[2] J. Weizenbaum, “ELIZA―a computer program for the
study of natural language communication between man andmachine,” Communications of the ACM (CACM), Vol. 13,
No. 1, pp. 36–45, 1966.
[3] T. Fujita, W. Bai, C. Quan, “Long short-term memory
networks for automatic generation of conversations,” IEEE
SNPD 2017, 2017.
[4] S. Hochreiter, J. Schmidhuber, “Long Short-Term Memory,” Journal Neural Computation, Vol. 9, No. 8, pp. 1735–
1780, 1997.
[5] A. Graves, “Generating Sequences With Recurrent Neural
Networks,” arXiv preprint arXiv:1308.0850, 2014.
[6] I. Sutskever, O. Vinyals, Q. V. Le, “Sequence to Sequence
Learning with Neural Networks,” NIPS 2014, pp. 3104–
3112, 2014.
[7] O. Vinyals, Q. V. Le, “A Neural Conversational Model,”ICML 2015 Deep Learning Wrokshop, 2015.
[8] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, J. Dean,“Distributed representations of words and phrases and theircompositionality,” NIPS’13 Proceedings of the 26th International Conference on Neural Information Processing Systems, Vol. 2, 2013.
[9] “MeCab: Yet Another Part-of-Speech and Morphological
Analyzer,” http://taku910.github.io/mecab/.
[10] K. Papineni, S. Roukos, T. Ward, W. Zhu, “BLEU: a
Method for Automatic Evaluation of Machine Translation,”the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311–318, 2002.
[11] 酒井 哲也, “情報アクセス評価方法論 検索エンジンの進歩のために,” コロナ社, 2015.
[12] M.T. Luong, H. Pham, C. D. Manning, “Eﬀective Approaches to Attention-based Neural Machine Translation,”
Proceedings of the 2015 Conference on Empirical Methods
in Natural Language Processing, pp. 1412–1421, 2015.
[13] C.W. Liu, R. Lowe, I. V. Serban, M. Noseworthy, L. Charlin,
J. Pineau, “How NOT To Evaluate Your Dialogue System:
An Empirical Study of Unsupervised Evaluation Metrics for
Dialogue Response Generation,” Proceedings of the 2016
Conference on Empirical Methods in Natural Language Processing, pp. 2122–2132, 2016.
[14] Tetsuya Sakai, “Laboratory Experiments in Information Retrieval:Sample Sizes, Eﬀect Sizes, and Statistical Power (toappear),” Springer, 2018.