DEIM2020 F2-3

解釈可能な内部表現を使用したタスク指向ニューラル対話システムの試作
村田 憲俊†

酒井 哲也†† 早稲田大学基幹理工学部情報理工学科 〒 169–8555 東京都新宿区大久保 3-4-1
E-mail: †muratacnttto@suou.waseda.jp, ††tetsuyasakai@acm.org
あらまし 古典的なタスク指向の対話システムは人手で作成された semantic frame に基づいており，ユーザーの発話を元にテンプレートや外部のデータベースの情報を利用して返答を作成していた．この観点において，ニューラルネッ
トワークベースの End-to-End の対話モデルの出現には長所と短所が存在する．人手で返答の戦略を作成する必要はなくなったが，システム自体はブラックボックスになってしまった．これにより，ユーザーの発話に合わせて返答の戦略を切り替えることが困難になった．本研究において我々は、双方のアプローチの長所を享受するための試みを提案する．ニューラル対話モデルの内部表現を解釈可能なものにすることにより，Decoder の出力やテンプレートによる返答，外部のデータベースに基づいた情報の提示など，様々な戦略を選択することができるようになる．より具体的には，ユーザーの発話を人間が解釈可能な one-hot vector として内部表現に持つタスク指向の対話用 Sequence-to-Sequence
モデルを作成した．提案したモデルのユーザー発話に対するクラスタリング能力の評価とシステム返答文の正当性の評価の結果，提案したモデルが従来のモデルに比べ著しい劣化なく，返答戦略の設計に有益な解釈可能な内部表現を獲得できることを示した．
キーワード 対話システム，解釈可能性, Seq2seq
能なものにすることにより，Decoder の出力やテンプレートに

1 はじめに
古典的な対話システムはユーザーのリクエストを semantic

frame に変換している．これらの semantic frame の構造は人手で作成されることが多い．システムはユーザーの発話から抽出した semantic frame を元に，外部のデータベースや返答のテン
プレートを活用して返答の生成する．これはシステム開発者が非常に制御しやすい反面，各々のシナリオに合わせた semantic

frame の設計や抽出は非常にコストが高いという課題があった．
これに対し，近年研究が進んでいる End-to-End のニューラ
ル対話モデルは明示的な返答戦略の設計を行うことなく，様々なドメインを含む対話システムの構築に成功しており [16]，設計コ
ストの課題を解決しているように思われる．一方，End-to-Endのニューラル対話モデルの欠点の 1 つは，システムが特定の返答をする理由を開発者が解釈することが困難という点である．
ニューラル対話モデルは、ユーザー発話の解釈可能な内部表現を提供しないため，発話に応じて返答戦略を切り替えることが難しくなっている．モデルの学習をする際に，ユーザーの発話とシステムの返答だけでなく，外部リソースのラベル（例: 返答に必要なデータベース中のデータの id など）を提供することにより，外部リソースを利用可能なニューラル対話モデルを

よる返答，外部のデータベースに基づいた情報の提示など，様々な戦略を設計することができるようになる．より具体的には，ユーザーの発話を人間が解釈可能な one-hot vector として内部表現として使用するタスク指向の対話用 Sequence-to-Sequence
モデルを作成した．
本論文では初めに one-hot vector が解釈可能な内部表現として適している理由を説明する，次に，有益な内部表現を獲得するための提案モデルの学習手法を示す．その後，ユーザー発話
を対話行為についてクラスタリングする実験を通して，他のク
ラスタリングアルゴリズムより優れていることを示す．これは，提案モデルの内部表現が効果的な返答戦略の切り替えに，実際に役立つ可能性があることを示唆する．また，システムの最終出力の比較を通して，内部表現の変更前後でのシステムの返答について BLEU [8] の差が大きくないことを示す．これにより，内部表現の変更に伴う情報の欠損が著しいものではないことを意味する．これらの実験の結果，提案したモデルが従来のモデルに比べ著しい劣化なく，返答戦略の設計に有益な解釈可能な内部表現を獲得できることを示した．

2 関連研究

作るのは可能である [2]．しかし，そのようなシステムは新しい

我々の提案は VAE（Variational Autoencoder）の分野の研外部リソースを追加する度にラベルの付け直しや，モデルの再究と関連がある．VAE では発話を入力とし，入力をそのまま学習など維持するためのコストが非常に高くなる．

出力として再現することを目指す．一般的に中間層の次元数は本研究において我々は、双方のアプローチの長所を享受するたベクトル化された発話の次元数より小さい．よって，再現に成めの試みを提案する．ニューラル対話モデルの内部表現を解釈可功した場合，中間層のベクトルは発話のベクトルの次元圧縮に成功していることになる．CVAE（Conditional Variationalは解釈を元に返答のための文を生成する．従って，提案モデル

Autoencoder）[3] 等が一般的に発話の連続値ベクトルへの変の Seq2seq のシステム全体は単純には以下のように表すことが換によく用いられている．Zhao らは [19]，これらのモデルをできる．

ベースとし解釈可能な内部表現を獲得するために，Gumbelŷ = Decoder(z)(1)

配の伝搬が困難であった発話の離散値ベクトルへの変換を可能

z = Encoder(x)(2)とした．しかし，これらのモデルは発話の内部表現のみを獲得

z = {z1 , z2 , ..., zK }
1 iﬀ index of selected categoryzi =0 otherwise(3)

Softmax [6] と vector quantization を使用した．この結果，勾するため，実際の返答を生成するには内部表現を解釈し，返答を生成するためのモデルを別に作らなくてはいけない．

(4)

我々の提案は従来のアプローチと比較して次の点で異なる．
（1）内部表現とシステム返答の生成を同時に学習している．こここで，K は内部表現の次元数である．また，one-hot の各次

れは従来のアプローチでは内部表現の獲得とそれに対応する返元を返答戦略の category と呼ぶこととする．我々の目標は学答の生成をそれぞれ別モデルとして学習をしていたが，我々の習後，各 category が学習済みの Decoder だけでなく人間にも提案ではこれらを同時に学習させる．その結果，複数のモデル解釈可能であり，どのようなユーザー発話が同じ category にを作成する必要がなく，実装と学習のコストが軽減される．
（2）

割り当てられ，どのような返答が生成されるかを分析できる

内部表現として実際に表現可能なベクトルの集合を少なく制限ようにすることである．これによって，一部の category ではしている．結果，学習後に獲得された各内部表現を解釈し、そDecoder の出力以外を使用する返答戦略の選択をすることがでれに応じて返答戦略を手動で設計することを現実的にしている．

きる．例えば，ハードコーディングされた返答や外部のデータベースへの接続を行い，得られた情報を元にしたテンプレート

3 提案手法での返答の使用である．
本研究では Encoder と Decoder に Transformer [15] ベース

この章では，Seq2seq（Sequence-to-Sequence）[13] が解釈可の元としたものを使用した．ここで使用する Encoder，Decoder

能な内部表現を持ち，返答戦略の設計に有益な内部表現を学習に制限はなく，RNN（Recurrent Neural Network）[7] など任させるための手法の提案を行う．3.1 では内部表現が満たすべ意のアーキテクチャを使用することができる．ユーザー発話にき条件を提案するとともに，Seq2seq が解釈可能な内部表現，

対する Encoder の出力を hx としたとき，z についての事後確

one-hot ベクトルを中間層に使用できるようにするための手法

率は p(z|x) = Softmax(WE hx + bE ) となる．この分布に対しの説明する．3.2 ではその条件の元，有益な内部表現と返答をて Gumbel-Softmax を使用することにより，中間表現である

得るために効果的な損失関数の提案，3.3 では性能向上のため

one-hot ベクトルを得る．関連研究では z を K × M の行列でに効果的な入力データへの処理を説明する．3.4 では提案モデ表現し，中間表現の取りうる表現を K M にしていた [14] [19]．

ルを返答の検索モデルとして扱う拡張の提案を行う．ここでは，

しかし，予備実験の結果，これらは取りうる表現の内の一部のx をユーザの発話，y を返答，内部表現を z とする．

みを使用していた．そのため，全ての表現を有効に活用するた

3. 1 解釈可能な内部表現

めに我々の提案では K × 1（i.e., K 次元ベクトル）とした．

通常，Seq2seq の内部表現は連続値で構成されるベクトル
であり，人間には解釈が難しい．我々は以下の 2 つの機能を

Seq2seq に導入することを提案する．
（ 1 ） 内部表現が人間に解釈可能（ 2 ） 個々の内部表現が唯一つの解釈を持つ

3. 2 対話の学習
一般的に対話モデルに使用される Seq2seq は以下の目的関数を最大化する．

L(θ) = pp(z|x) (y|z)(5)

これらの要件は，ユーザー発話の解釈に従って返答戦略を設計

予備実験の結果，上記の式のみの利用は我々の目指すモデルにできるようにするためのものである．
（1）は内部表現が取りう

おいては不適切であることがわかった．内部表現 z を学習によるベクトルの集合の数を比較的小さい数（例: <= 100）に制限する必要がある．あまりに多くの値を取りうる内部表現は現実

り適切に獲得することができないためである．この式には z に的に管理することが困難であるためである．
（2）では，解釈に状態で学習が収束してしまった．しかしながら，我々の提案モ基づいて特定の 1 つの返答戦略を割り当てることができること

デルでは内部表現の次元数を少ない数に制限しているため，理を意味している．これは，内部表現を解釈する際に曖昧さが存

想的には全ての category が返答を生成するために有効に活用

在する場合，それらを考慮した返答戦略を構築する必要があり，されることが望まれる．結果，我々の提案モデルでは以下の式

システムの実装と保守が複雑になるためである．

を最大化する．

上記の考慮事項に基づいて，我々は内部表現として上記の条件を満たす one-hot vector を使用する．Encoder はユーザー発話の解釈を one-hot vector の形式で出力する．その後，Decoder

ついて制限が存在しないため，category を一つでだけ使用するL(θ) = pp(z|x) (y|z) − α(DKL (p̄(z)||p(z)))(6)α はスケール因子（i.e., ハイパーパラメータ）である．新たに導入した項について以下で説明する．

図 1 提案モデルの概略図

3. 2. 1 内部表現の正則化

p(yN |z, y0 , ..., yN −1 ) という条件で予測をしていることになる．

以下の項は全ての category を Encoder が使用することを目言い換えればこの手法は N 単語目の予測の際に N − 1 単語目までが正しく予測できている前提で学習を行うということであ的に導入する．

る．しかし，この手法は我々が目指すモデルにおいて一部不適

DKL (p̄(z)||p(z))(7)

切である．提案モデルでは Encoder の出力は非常に疎なベク

この項がない場合，唯一つの category のみを使用するように学トルとなっており，学習の初期段階では情報を持っていない事

習が収束し，どのようなユーザーリクエストに対しても最もあが多い．よって，正しく予想できているという前提の N − 1 単

りふれた単一の返答をしてしまう．しかし，上記の式の計算に語目までの情報が強く優先されてしまい，Decoder が Encoder

必要な実際の中間表現の確率分布を学習前に知ることはできなの出力をあまり考慮せずに返答を学習してしまう．これは，解い．そのため，提案手法では学習中は以下のように計算を行う．

釈可能な内部表現そのものの性能の劣化に繋がるため避けるべ
き状態である．

|Bx |1 ∑p(z) =
p(z|xi )|Bx | i(8)

Bx = {x0 , x1 , x2 , ...}

(9)

我々はこの問題に対処するために，我々は学習時に Teacher

Forcing に使用される返答文の入力の一部に mask をかけた．こBx はミニバッチ学習をする時の一回分のユーザー発話の集合を意味する．p(z) はミニバッチ内の各ユーザー発話 xi を元に算出された内部表現の事後分布である p(z|xi ) の平均として算出する. この項では p̄(z) に何らかの確率分布を仮定し，それにより各 category の使用頻度を制御する．本研究では p̄(z) = uniform（一様分布）とする．これによりミニバッチごとの確率分布の平均が uniform になるようになり，結果，各 category の利用頻度が均等になるように学習が行われる．実用上大きな問題にれにより，Teacher Forcing による性能向上の恩恵を一部得な
がら，Encoder の出力を Decoder が活用するようにした．具体的には教師データの返答の入力について一部の文全体を ⟨msk⟩（mask）に置き換えて学習を行った．⟨msk⟩ は mask したことを表すために導入した特殊単語である．mask された返答の予測の際には使用できる情報が Encoder の出力のみとなるので，Encoder の出力を考慮した Decoder の作成を行うことができる．本実験ではこの処理をランダムにデータ全体の 7 割程度に対して行った．以上のことを踏まえ，提案モデルの概略図を図はならないが，この項は本来偏りがあるであろう確率分布を何3.1 に示す．

らかの確率分布に制限してしまう．今回のクラスタリング実験

3. 4 検索モデルとしての活用の場合，この項は長期的には性能を悪化させてしまうため，学
習初期段階のみ使用した．

3. 3 教師データの返答文への Mask
上記の目的関数の変更とは別に，Encoder の性能向上のために学習時に返答文の入力の一部に mask をかけた．Seq2seqの学習には一般的に Teacher Forcing [5] と呼ばれる手法が利用される．Seq2seq ではまず Encoder へユーザー発話を入力する．その後，Encoder の出力を Decoder に入力し，Decoder

提案モデルは Encoder の出力による有益な解釈可能な内部表現の獲得がなされている場合，学習用のデータセット中から適切な出力を選択する検索モデルとして活用することもできる．
これは，解釈可能な内部表現を元に自動で擬似的に人間による返答の設計することになる．具体的な方法は以下のように示される．

(

ŷ = arg maxŷ∑)
Score(yˆc , yc )

(10)

c∈C

は教師データの返答を再現できるように学習を行う．Teacher

ここで，C は category の集合（i.e., 表現しうる全ての one-hot

Forcing では学習の高速化や性能の向上のために Decoder に対vector）であり，ŷ は検索モデルの出力として使用する返答．

して Encoder の出力に加えて，返答の 1 timestep 前の単語列

yˆc ，yc はそれぞれ学習用のデータセットに含まれるカテゴリ

を入力として加える．つまり，返答の N 単語目を予測する際にごとの，ある返答と返答全体の集合である．Score 関数は 2 つの文の一致度を表す任意の指標を扱うことができ，ある返答文

タセットに含まれる文を元に作成し，各単語の embedding のとカテゴリに含まれる全ての返答文の一致度の平均を算出する

次元数は 300 とした．この際，特定の事前学習の影響をなく関数である．つまり，検索モデルでは返答として各カテゴリ内

すために pre-trained の word embedding は使用しなかった．

で一番他の返答との一致度が高いものを採用する．本実験ではpositional encoding をした後に Encoder と Decoder への入力

Score 関数には BLEU （詳細は 4.3.2 にて記述）を使用した．

とし，Encoder block は 2 層，Decoder block は 1 層とした．また，それぞれの block 内の feed forward layer の次元数を 500，

4 評価・実験
この章では提案モデルの内部表現の解釈可能性と内部表現の変更に伴う返答文生成への影響について実験を行う．4.1 では実験に使用したデータや実験での前処理等の設定，4.2 では使用したニューラルネットのアーキテクチャとハイパーパラメータ，

4.3 では実験で使用する評価指標，4.4 では分析に使用する指標

multi-head attention の head 数を 6，Encoder の dropout rate
を 0.2 とした．
本実験で作成した提案モデルの内部表現に用いている one-hot

vector の次元数 K はクラスタリングの実験において 50，返答の出力に関する実験においては 200 とした．

4. 3 評 価 指 標の説明をする．4.5 では提案モデルの評価を行う．まず，4.5.1

本 実 験 で 使 用 し た 評 価 指 標 は ク ラ ス タ リ ン グ で は NMI

では提案モデルの内部表現の解釈可能性についてユーザー発[17]，homogeneity [11]，completeness [11]，BCubed [1] であ話のクラスタリングを通して評価を行う．これは提案モデルのる．homogeneity は各クラスタに単一のクラスのメンバーのみ

Encoder が，データセット中の複数のユーザー発話を同一の内がどれだけ含まれているのかを表す指標である．completeness部表現にマッピングしているため，クラスタリングのモジューは特定のクラスのすべてのメンバーが同じクラスタにどれだけルとして扱うことができるためである．評価の際には各発話ご含まれているかを表す指標である．この 2 つの指標は対応するとの対話行為（dialogue act）を使用する正解データとして利指標であり，これらの指標を元に総合的なクラスタリングの評

用する．次に，4.5.2 では提案モデルのユーザー発話に対する価指標として NMI が算出される．システムの返答文の作成で返答文の性能の評価を行う．これにより提案モデルで行われては BLEU を評価指標とした．ここでは BCubed と BLEU のいる内部表現の変更による，返答文の生成に関する性能への影

詳細について記述する．

響を確かめる．

4. 1 実 験 設 定
4. 1. 1 データセット
本研究では実験に MultiWOZ [2] を使用した．このデータ
セットはタスク指向の対話コーパスであり，旅行のサポート
サービスを行うための 6 つの異なるドメインを含んでいる．ま4. 3. 1 BCubed
ユーザー発話のクラスタリングの評価指標の一つとして，

BCubed を使用する．ここでは，e がユーザー発話，L(e) とC(e) がそれぞれ正解と予測されたクラスタである．また，(e, e′ )は e′ =| e となる発話のペア全体である．この定義のもと BCubedは以下のようになる．

“greet”, “bye”, “reqmore”) を 1 つ以上含んでいる．multi-turnCorrectness(e, e′ ) =1 iﬀ L(e) = L(e′ ) & C(e) = C(e′ )0 otherwiseの会話が 10,438 件含まれており，8,438 件の会話が train 用，

PrecisionBCubede =た，各発話は 13 の対話行為 (“inform”, “request”, “select”,“recommend”, “not found”, “request booking info”, “oﬀerbooking”, “inform booked”, “decline booking”, “welcome”,

validation 用と test 用に 1,000 件ずつに分割されている．
データセットに対して以下の前処理を行った．提案モデルは単独の発話に対して 1 つの category を割り当てるため，multi-

turn の対話を分割し，個々の発話を独立の対話として扱った．
また，クラスタリングの実験の際に，時間や固有名詞などのslot をより一般的なタグへの変換を行った (例: “18:30” から“⟨time⟩”)．これは住所や電話番号といったユニークな値が多いデータによって語彙数が過剰に増え，ベースラインの性能の悪化を防ぐためである．

′
Meane′ s.t. C(e)∩C(e′ )=∅| [Correctness(e, e )]PrecisionBCubed =Meane [PrecisionBCubede ]RecallBCubede =′Meane′ s.t. L(e)∩L(e′ )=∅| [Correctness(e, e )]RecallBCubed =Meane [RecallBCubede ]F1BCubed =4. 2 ベースモデル
提案モデルはニューラル言語モデルであり，Encoder と De-

Meane [

2 × PrecisionBCubede × RecallBCubede]
PrecisionBCubede + RecallBCubede

coder をモデルのアーキテクチャに含むモデルを想定してい4. 3. 2 BLEU

る．本実験では Transformer [15] をベースとしたモデルで実験システムが生成した返答文の正当性を評価するためにを行った．以下の設定は Transformer のモデルを構築する上での設定である．input と output の単語辞書は train のデー

BLEU [8] [20] を使用した．定義は以下の式である．

BLEU = BP ∗ PREC
SBML
BP = exp(min(0, 1 −))SYSL
SBML =∑(11)

として行うべき行動と紐づくため，対話行為を正解データとし(12)てクラスタリングの整合性を評価することは提案モデルが特定のユーザー発話を適切な返答戦略にマッピングできているかを

BML(s)

(13)

s

∑

∗

arg min |len(s) − len(s )|(14)len(s)(15)len(s) = 文 s の長さ
1 ∑PREC = exp(
ln P recN )2
N ∈{1,2}∑ ∑se∈gramN (s) Clip(c, s)
Prec N = ∑ ∑se∈gramN (s) C(e, s)

(16)

=

s

SYSL =∑

len(s∗ )定量的に図ることができる．
提案モデルのユーザー発話におけるクラスタリングの有用性を確認するために，各種一般的なクラスタリングアルゴリズム
や短文用のクラスタリングアルゴリズムと性能の比較を行う．

sbaseline として使用するモデルは k-means，matrix factorization ベースのモデルとして NMF，短文用のクラスタリング手(17)

法として近年の研究も含め比較的安定して高性能を示している

GSDMM [18] [9] を使用した．
教師データにおける対話行為の種類数（13 種類）を鑑み，各モ(18)

デルのクラスタサイズを 50 としてクラスタリングを行った．評
価指標として NMI ，homogeneity ，completeness，BCubed

C(e, s∗ ), C(e, s))Clip(e, s) = min(max
∗

(19)

s

C(e, s) = s の中に含まれている単語 e の個数(20)を使用した．実験の結果を表 1 に示す．
実験の結果，我々が提案したモデルはクラスタリングの総合

今回の場合はそれぞれ，s はシステムの返答文，s はテスト的な評価指標である NMI と F1BCubed において他のモデル

データの返答文，gramN (s) は文 s から得られる N -gram の集より優れた性能を示した．より詳細には baseline と比較して特合，e は文 s を形態素解析をした単語である．また，N ∈ {1, 2}に completeness，RecallBCubed が優れている．BCubed に∗とした．すなわちユニグラムとバイグラムのみを考慮した．こ

ついて Tukey HSD 検定 [12] をしたところ最も優れたモデルとれは BLEU が一般的に使用される翻訳のタスクと異なり，3 グ

他のモデルでの差は統計的に有意であることが確認された．

ラム，4 グラムの一致は正解となる返答が異なる趣旨で複数パクラスタリング結果の分析のために提案モデルと GSDMM

ターン考えられることの多い対話のタスクには求められないたのクラスタリング例と特徴語を示す．test のデータセットよりめである．

ランダムにユーザー発話をサンプリングし，該当する発話と同一クラスタの発話例と OW によって抽出された特徴語の上

4. 4 分 析 手 法

位 20 件を表 2 に示す．ここでは，2 つのサンプリングされた

ユーザー発話のクラスタリングの結果を分析をするために発話について示した．1 つ目の例は何らかの施設の住所を求め

OW （oﬀer weight）[10] を使用した．OW により各クラスタのる発話である．提案モデルでは同一クラスタの例に住所やその特徴語の抽出を行い，提案手法と従来手法のクラスタリングの他情報を要求している文が確認でき，特徴語においても電話番

特性の違いを分析する．OW の定義を以下に示す．

号や住所，料金など情報の要求対象に用いられる単語が見られ

RW (i) = log[

(r + 0.5)(N − n − R + r + 0.5)]
(n − r + 0.5)(R − r + 0.5)

OW (i) = r ∗ RW (i)

(21)
(22)

n は単語 t(i) が含まれる文の数，N はデータセットに含まれる
文の数，r は単語 t(i) が含まれる関連文の数，R は関連文の数である．ここでの関連文は同一クラスタに割り当てられた文である．

る．GSDMM ではシステムの利用を終了する際の別れの挨拶
等が確認でき，特徴語でも “thanks”，“goodbye” といった単語が見られる．別れの挨拶と伴って頻繁に使用される発話の冒頭の “thanks” にクラスタリングをする上で強く注目してしまい，住所の要求については無視されていると考えられる．このことから，提案モデルは発話内の要求を判断するために重要な単語に適切に注目できていると考えられる．2 つ目の例は情報の要求，特に宿泊先の種類に関する情報を求めている発話であ4. 5 実験結果・考察

る．提案モデルでは宿泊先に限らずレストランなどの検索や推4. 5. 1 ユーザー発話のクラスタリング評価

薦を求める発話が同一クラスタとしてまとめられている．特徴

ここでは提案モデルの内部表現の解釈可能性について，ユー語からも様々な施設の情報に関することがクラスタに含まれてザー発話のクラスタリングを通して評価を行う．提案モデルのいることが確認できる．GSDMM では宿泊場所に関連する情Encoder は複数のユーザー発話を同一の内部表現にマッピング

報を求める発話がまとめられており，特徴語についても宿泊場している．これは提案モデルが対話における発話と返答に関所の詳細に関連する単語が並んでいる．以上より，提案モデル

して，多対一の関係にあることを前提としているためである．

では対話行為に対応する施設の検索，推薦について宿泊場所

よって，提案モデルの Encoder のみに着目するとユーザー発話

等のドメインに縛られずクラスタリングできている．しかし，を限定された数の内部表現にマッピングするクラスタリングの

GSDMM のような宿泊場所といったドメインに厳密なクラス

モジュールとして扱うことができる．

タリングは一つ前の例も含め行われていない．これが提案モデ実験で使用しているデータセットは各発話について対応する

ルにおける completeness，RecallBCubed の向上に繋がって対話行為が設定されている．対話行為は実際にシステムが返答いる一方，homogeneity ，P recisionBCubed の課題点である

BCubedmodel

homogeneity completeness

NMI

P recision

Recall

F1

NMF

0.30450.16300.21240.38330.08220.1353k-means

0.36990.21350.27080.42390.11770.1843

GSDMM

0.41430.24330.30660.4543*0.17720.25490.3286

0.32850.32850.39220.4140* 0.4028*

proposedmodel

表 1 ユーザー発話の対話行為についてのクラスタリング評価（対話行為数: 13）∗ はα=0.01 にて他のモデルとの差が統計的に有意 (BCubed のみ Tukey HSD 検定を実施)

requestno , thanks . i just need to now the postcode .
can i get the postcode for that ? i also need to book a taxi to the ...

proposedcluster example

i need to get the address please .
can i please get the phone number , postcode and entrance fee ?
i actually do not need reservations i just need the phone number ...
could i please get the phone number for that ?

proposed‘phone’, ‘postcode’, ‘address’, ‘the’, ‘number’, ‘?’, ‘and’, ‘their’, ‘please’,

keywords‘get’, ‘can’, ‘fee’, ‘entrance’, ‘what’, ‘give’, ‘me’, ‘could’, ’,’, ‘just’, ‘sounds’no , i think that s going to be all i needed . thanks . have a good day .

GSDMMcluster example

whew , thanks , sorry for all of the confusion . i think that covers ...
i think it might be a good time to end the conversation . i have ...
that was all the questions i had , thanks very much for helping me .
no , thanks . i just need to now the postcode .

GSDMM‘.’, ‘i’, ‘thanks’, ‘set’, ‘all’, ‘thank’, ‘not’, ‘no’, ‘goodbye’, ‘bye’, ‘this’,keywords‘you’, ‘else’, ‘your’, ‘everything’, ‘,’, ‘now’, ‘need’, ‘time’, ‘do’requesti am just looking for information . what kind of hotel ? hotel or guest house ?
no hold oﬀ on booking for now . can you help me find ...

proposedcluster example

hello , i am looking for a restaurant in [value place] . ...
great , can you also get me information or architecture in the area
what do you recommend ?
does it have a star rating of [value count] ?

proposed
keywords‘called’, ‘?’, ‘[hotel name]’, ‘am’, ‘looking’, ‘[restaurant name]’,‘a’, ‘information’, ‘restaurant’, ‘about’, ‘hotel’, ‘area’, ‘[attraction name]’,‘what’, ‘attraction’, ‘do’, ‘can’, ‘particular’, ‘me’, ‘find’
before we do that , what is the name of the guesthouse ? ...

GSDMMcluster example

maybe . is either [value count] a [value count] star hotel ? ...
i am interesting in info about [value count] star hotel -s and ...
do any of them have free parking ?
do those both have [value count] star rating -s and are [value pricerange] ?

GSDMM
keywords‘free’, ‘?’, ‘parking’, ‘star’, ‘hotel’, ‘guesthouse’, ‘[value count]’,‘with’, ‘-s’, ‘wifi’, ‘do’, ‘have’, ‘any’, ‘a’, ‘are’,‘[value pricerange]’, ‘there’, ‘has’, ‘rating’, ‘stars’
表 2 各モデルの同一クラスタの文例と特徴語上位 20 件と考えられる．

の手法に比べ Encoder の出力を疎なベクトルとしている．こ以上の結果から，提案モデルは対話行為に対する優れたクラれに伴い Encoder で本来得られるであろう情報が著しく損なスタリング性能が示された．よって，提案モデルが他のモデル

われることが危惧される．ここでは，我々の提案する変換を内より適切にユーザー発話を該当する返答戦略にマッピングする

部表現に適用した前後でのシステムの返答文の性能を比較する

性能を有することを表し，このモデルの内部表現の解釈を使っことにより，変更の影響について確認を行う．返答文の性能のた返答戦略の活用の可能性を示唆している．

評価についてはデータセットで示されている返答を正解データ

4. 5. 2 システムの返答文の評価とし，システムの返答を BLEU を評価指標として評価を行う．

提案モデルのユーザー発話に対する返答文の性能の評価を行

比較対象は 4.2 で示した Transformer ベースの対話モデルとこう．提案モデルは内部表現の解釈可能性を高めるために，従来れに提案手法を適用したモデル，3.4 で示した検索モデルとして利用したモデルである．また，内部表現の次元数 K は 200

略を構築できるニューラル対話システムの双方のアプローチとした．実験の結果を表 3 に示す．

の長所を享受するための試みを提案した．ニューラル対話モデ
ルの内部表現を解釈可能なものにすることにより，Decoder のtypemean BLEU

出力やテンプレートによる返答，外部のデータベースに基づ

generate

0.2148*いた情報の提示など，様々な戦略を選択することができるよproposed

generate

0.1736

model

retrieval

0.2080model
baseline(Transformer)

うになった．具体的には，ユーザーの発話を人間が解釈可能な

one-hot vector として内部表現として使用するタスク指向の対

表 3 内部表現の変更前後での BLEU によるシステム返答文の評価

話用 Sequence-to-Sequence モデルを作成した．また，提案し（generate: Decoder の出力を利用，retrieval: 検索モデルでのたモデルのユーザー発話に対するクラスタリング能力の評価と出力を利用（詳細は 3.4 に記述））∗ はα=0.01 にて提案モデル

システム返答文についての実験を行った．これにより提案したの retrieval との差が統計的に有意（Tukey HSD 検定を実施）

モデルが従来のモデルに比べ著しい劣化なく，返答戦略の設計に有益な解釈可能な内部表現を獲得できることを示した．

model paireﬀect size

文baseline
vs0.315

proposed (generate)baseline
vs0.071

proposed (retrieval)
proposed (retrieval)
vs

0.244

proposed (generate)
表 4 各モデル対の mean BLEU についての効果量（generate: De-coder の出力を利用，retrieval: 検索モデルでの出力を利用）

type として “generate” で示されているものはシステムの返答として Decoder の出力をそのまま使用したものであり，“retrieval” で示されているものが検索モデルとして提案モデルを使用したものである．
実験の結果，Decoder の出力をそのまま使用したシステム同士の比較では性能の悪化が見られる．また，提案手法の検索モデルとしての利用についても baseline と比較した際，Tukey

HSD 検定において差が統計的に有意であることが確認された．
しかし，各モデル対について効果量 [12] を確認したところ（表4），baseline と提案手法の検索モデルの差についての効果量は0.071 程度であった．効果量が小さいとされる 0.2 より十分に小さいため [4]，統計的には有意であるが実質的な差は極めて小さいことが確認された．検索モデルとしての利用は Decoder
を推論の際には使用をせず，人手での返答戦略の設計を擬似的に train のデータセットを用いて自動で行っていることを意味する．この手法において，内部表現の変更前と著しい性能の差がないことから，少なくとも提案モデルの Encoder は返答を作成する上で内部表現の変更前と同程度の性能であることが分かる．加えて，現状の提案モデルのアーキテクチャを用いてそのままの出力を返答として活用するには，Decoder が性能のボトルネックであることがわかる．

5 ま と め本研究において我々は、人手で返答戦略を設計できる古典的な対話システムの手法と End-to-End で人手を介さずに返答戦

献[1] E. Amigó, J. Gonzalo, J. Artiles, and F. Verdejo. A comparison of extrinsic clustering evaluation metrics based onformal constraints. Inf. Retr., 12(4):461–486, Aug. 2009.
[2] P. Budzianowski, T.-H. Wen, B.-H. Tseng, I. Casanueva,
S. Ultes, O. Ramadan, and M. Gašić. MultiWOZ - a largescale multi-domain wizard-of-Oz dataset for task-oriented
dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 5016–5026, Brussels, Belgium, Oct.-Nov. 2018.
Association for Computational Linguistics.
[3] K. Cao and S. Clark. Latent Variable Dialogue Models andtheir Diversity. arXiv:1702.05962, 2017.
[4] J. Cohen. Statistical Power Analysis for the Bahavioral
Sciences (Second Edition). Psychology Press, 1988.
[5] A. Goyal, A. Lamb, Y. Zhang, S. Zhang, A. C. Courville,
and Y. Bengio. Professor forcing: A new algorithm for training recurrent networks. In NIPS, 2016.
[6] E. Jang, S. Gu, and B. Poole.
CATEGORICALREPARAMETERIZATION WITH GUMBEL-SOFTMAX.
arXiv:1611.01144v5, 2016.
[7] M. C. Mozer. A Focused Backpropagation Algorithm for
Temporal Pattern Recognition, page 137–169. L. Erlbaum
Associates Inc., USA, 1995.
[8] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu. Bleu: amethod for automatic evaluation of machine translation. In
Proceedings of the 40th Annual Meeting of the Association
for Computational Linguistics, pages 311–318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.
[9] J. Qiang, Z. Qian, Y. Li, Y. Yuan, and X. Wu. Short text
topic modeling techniques, applications, and performance:
A survey. CoRR, abs/1904.07695, 2019.
[10] S. Robertson and K. S. Jones. Simple, proven approaches
to text retrieval. Technical Report No. 356, Cambridge:
Computer Laboratory, January 1994.
[11] A. Rosenberg and J. Hirschberg. V-measure: A conditional
entropy-based external cluster evaluation measure. Machine
Learning Research, pages 410–420, 2007.
[12] T. Sakai. Laboratory Experiments in Information Retrieval:
Sample Sizes, Eﬀect Sizes, and Statistical Power. Springer,
2018.
[13] I. Sutskever, O. Vinyals, and Q. V. Le. Sequence to Sequence Learning with Neural Networks. NIPS, 2014.
[14] M. E. Tiancheng Zhao, Kaige Xie. Rethinking Action
Spaces for Reinforcement Learning in End-to-end Dialog
Agents with Latent Variable Models. arXiv:1902.08858,
2019.
[15] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones,

[16]

[17]

[18]

[19]

[20]

A. N. Gomez, L. u. Kaiser, and I. Polosukhin. Attention
is all you need. In I. Guyon, U. V. Luxburg, S. Bengio,
H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett,
editors, Advances in Neural Information Processing Systems 30, pages 5998–6008. Curran Associates, Inc., 2017.
P. Xu and Q. Hu. An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking.
arXiv:1805.01555v1, 2018.
N. Xuan Vinh, J. Epps, and J. Bailey. Information Theoretic Measures for Clusterings Comparison: Variants, Properties, Normalization and Correction for Chance. Machine
Learning Research, 11:2837–2854, 2010.
J. Yin and J. Wang. A Dirichlet Multinomial Mixture
Model-based Approach for Short Text Clustering. SIGKDD,
pages 233–242, 2014.
T. Zhao, K. Lee, and M. Eskenazi. Unsupervised Discrete
Sentence Representation Learning for Interpretable Neural
Dialog Generation. arXiv:1804.08069v1, 2018.
酒井哲也. 情報アクセス評価方法論 検索エンジンの進歩のために. コロナ社, 2015.