# 論文
## タスク指向対話におけるユーザ要求の理解とその根拠の抽出

福永隼也 ${ }^{\dagger} \cdot$ 西川仁 $^{\dagger} \cdot$ 徳永健伸 $\dagger \cdot$ 横野光 $^{\dagger \dagger} \cdot$ 高橋哲朗 $^{\dagger}$

本論文は，データベース検索対話においてデータベースフィールドに直接言及しないが，データベースへのクエリを構成する上で有益な情報をユーザ発話から取り出す課題を提案する。このような情報を本論文では非明示的条件と呼ぶ. 非明示的条件を解釈し，利用することによって，対話システムはより自然で効率的な対話を行うことができる。本論文では，非明示的条件の解釈を，ユーザ発話をデータベースフィールドに関連付け, 同時にその根拠となる発話の断片を抽出する課題として定式化する。この課題を解くために, 本論文では, サポートベクタマシン (SVM), 回帰型畳込みニューラルネットワーク (RCNN), 注意機構を用いた系列変換による 3 つの手法を実装した。不動産業者と顧客との対話を収集したコーパスを用いた評価の結果，注意機構を用いた系列変換による手法の性能が優れていた。

キーワード：夕スク指向対話システム，根拠抽出，サポートベクタマシン，回帰型ニューラルネットワーク，注意機構，系列変換モデル

## Interpretation of Implicit Conditions in Database Search Dialogues

\author{
Shun-ya Fukunaga ${ }^{\dagger}$, Hitoshi Nishikawa $^{\dagger}$, Takenobu Tokunaga ${ }^{\dagger}$, Hikaru Yokono ${ }^{\dagger \dagger}$ \\ and Tetsuro Takahashi ${ }^{\dagger \dagger}$
}

\begin{abstract}
This study focuses on database (DB) search dialogue and proposes to employ user utterance information that does not directly mention the DB field of the back-end system but is useful for constructing DB queries. We name this type of information implicit conditions, the interpretation of which enables the dialogue system to be more natural and efficient in communication with humans. We formalise the interpretation of implicit conditions as the classification of user utterances into the related DB field while simultaneously identifying the evidence for such classification. Introducing this new task is one of the contributions of this paper. We implemented three models for this task: an SVM-based model, an RCNN-based model and a sequence-to-sequence model with an attention mechanism. In an evaluation via a corpus of simulated dialogues between a real estate agent and a customer, the sequence-to-sequence model outperformed than the other models.
\end{abstract}

Key Words: Task-oriented Dialogue System, Evidence Extraction, Support Vector Machine, Recurrent Neural Network, Attention Mechanism, Sequence-to-Sequence Model


## 1 はじめに

対話システムがユーザ発話から抽出するべき情報は, 背後にあるアプリケーションに依存する. 対話システムをデータベース検索のための自然言語インタフェースとして用いる場合, 対話システムはデータベースへのクエリを作成するために，ユーザ発話中で検索条件として指定されるデータベースフィールドとその値を抽出する必要がある。データベース検索対話において, ユーザ発話中からこのような情報を抽出する研究はこれまで多くなされてきた。例えば, Raymond and Riccardi (2007), Mesnil, Dauphin, Yao, Bengio, Deng, Hakkani-Tür, He, Heck, Tur, Yu, and Zweig (2015), Liu and Lane (2016b)は, ATIS (The Air Travel Information System) コーパス (Hemphill, Godfrey, and Doddington 1990; Dahl, Bates, Brown, Fisher, Hunicke-Smith, Pallett, Pao, Rudnicky, and Shriberg 1994)を用いて, ユーザ発話からデータベースフィールドの值を抽出する研究を行っている. ATISコーパスは Wizard-of-Ozによって収集されたユーザと航空交通情報システムとの対話コーパスであり, 各ユーザ発話中の表現には, 出発地や到着日などのデータベースフィールドに対応するタグが付与されている. ATISコーパスを用いた研究の課題は夕グの付与された情報を発話から精度よく抽出することである. これらの研究の抽出対象である出発地や到着日などの情報はユーザ発話中に明示的に出現し, 直接データベースフィールドに対応するため, データベース検索のための明示的な条件となる.

一方，実際の対話には，データベースフィールドには直接対応しないものの，クエリを作成するために有用な情報を含む発話が出現し, 対話システムがそのような情報を利用することで, より自然で効率的なデータベース検索を行うことが可能になる. 例として, 不動産業者と不動産を探す客の対話を考える。不動産業者は対話を通じて客が求める不動産の要件を確認し，手元の不動産データベースから客の要件を満たす不動産を絞り込む. このとき, 客の家族構成は,物件の広さを絞り达む上で有用な情報であろう。しかし, 家族構成は物件の属性ではなく客の属性であるため, 通常, 不動産データベースには含まれない。客の家族構成のように，データベースフィールドには直接対応しないが，データベース検索を行う上で有用な情報を非明示的条件と呼ぶ (Fukunaga, Nishikawa, Tokunaga, Yokono, and Takahashi 2018). 我々は, 非明示的条件を「データベースフィールドに明示的に言及しておらず, 『x ならば一般的に y である』という常識や経験的な知識によってデータベースフィールドと値の組（検索条件）へ変換することができる言語表現」と定義する。例えば，「一人暮らしをします」という言語表現は，物件の属性について明示的に言及していない。しかし, 『一人暮らしならば一般的に物件の間取りは

れは非明示的条件となる。一方，「賃料は 9 万円を希望します」や「築年数は 20 年未満が良いです」のような言語表現は，データベースフィールドに明示的に言及しているため, 非明示的条件ではない．また，「渋谷で探しています」のようにデータベースフィールドが省略されてい

る場合でも，省略の補完によって【エリア】というデータベースフィールドに明示的に言及する表現に言い換えることが可能である場合は非明示的条件とはみなさない. Taylor (1968)による情報要求の分類に照らすと，明示的な検索条件は，ユーザ要求をデータベースフィールドとその値という形式に具体化しているため, 調整済みの要求 (compromised need) に対応する。一方，非明示的条件は，ユーザ自身の問題を言語化しているが検索条件の形式に具体化できていないため, 形式化された要求 (formalised need) に対応する.

非明示的条件を利用する対話システムを実現するためには，以下の 2 つの課題が考えられる.

（1）非明示的条件を含むユーザ発話を，データベースフィールドとその値の組（検索条件）へ変換する。

（2） ユーザ発話中から，(1)で行った検索条件への変換の根拠となる部分を抽出する.

課題 (1) は，非明示的条件を含む発話からデータベースへのクエリを作成するために必要な処理である。図 1 に示す対話では，客の発話に含まれる「一人暮らし」という文言から，〈間取り $\leq 1 \mathrm{LDK}\rangle$ という検索条件へ変換できる，本論文では，課題 (1)を，発話が関連するデータベー スフィールドを特定し，そのフィールドの値を抽出するという 2 段階に分けて考え，第一段階のデータベースフィールドの特定に取り組む. 1つのユーザ発話が複数のデータベースフィー ルドに関連することもあるので，我々はこれを発話のマルチラベル分類問題として定式化する。発話からフィールドの值を抽出する第二段階の処理は, 具体的なデータベースの構造や内容が前提となるため, この論文では扱わず，今後の課題とする。

課題 (2) によって抽出された根拠はデータベースへのクエリに必須ではないが，システムがユーザへの確認発話を生成する際に役立つ。非明示的条件を検索条件へ変換する際に用いるのは常識や経験的な知識であり例外も存在するため，変換結果が常に正しいとは限らない．例えば，不動産検索対話において一人暮らしを考えている客が 2 LDK の物件を希望することもありうる。したがって，システムの解釈が正しいかどうかをユーザに確認する場合がある。この際, システムが行った解釈の根拠を提示することで，より自然な確認発話を生成することができる.図 1 のやり取りにおいて,「一人暮らしをしたいのですが.」というユーザ発話をシステムが〈間

対話例

4月から＊＊大学に入学します.

一人暮らしをしたいのですが.

一人暮らしということですので,間取りは1LDK以下でよろしいですか?検索条件への変換

非明示的条件：一人暮らし

検索条件：間取りฏ1K

図 1 対話と非明示的条件から検索条件への変換の例
取り $\leq 1 \mathrm{LDK}\rangle$ という検索条件へ変換したとする。このとき，単に「間取りは $1 \mathrm{LDK}$ 以下でよろしいですか？」と確認するよりも，「一人暮らしということですので, 間取りは 1LDK 以下でよろしいですか？」とシステムが判断した理由を追加することでより自然な対話となる。また,対話として自然なだけではなく，ユーザがシステムの判断に納得するためにも根拠を提示することは重要である (Gunning 2018; Monroe 2018)。このような確認発話を生成する祭に，ユーザ発話中の「一人暮らし」という表現を〈間取り $\leq 1 L D K 〉 の$ 根拠として抽出することは有用である。

また，非明示的条件を含むユーザ発話が与えられたとき，その非明示的条件に関連するデー タベースフィールドについての質問を生成するためにも抽出した根拠を利用できる。例えば,図 1 中のユーザ発話を【間取り】というデータベースフィールドへ分類し，その根拠として「一人暮らし」を抽出した場合，「一人暮らしということですが，間取りはいかがなさいますか？」 という質問を生成できる。非明示的条件に対応できない対話システムでは，このようなユーザ発話に対して, ユーザ発話を理解できなかったという返答を行うか, まだ埋まっていない検索条件について質問を行うことしかできない.

また，根拠を抽出し，蓄積することにより，対話中でどのような非明示的条件が出現しやすいかということを，システムの開発者が知ることができる。仮に，「一人暮らし」や「家族 4 人」 のような客の家族構成の情報が頻繁に出現することがわかれば，システムの開発者は，家族構成に関係する情報をデータベースに新規に追加するという改良を施すことができる.

本論文では，データベースフィールドへのマルチラベル分類と同時に，根拠抽出を行う．非明示的条件から検索条件への変換の根拠を各発話に対してアノテーションすることはコストが高いため，教師なし学習によって根拠抽出を行う.

本論文の貢献は，データベース検索を行うタスク指向対話において，非明示的条件を含むユー ザ発話をデータベースフィールドと値の組（検索条件）へ変換し，同時にその根拠をユーザ発話中から抽出する課題を提案することである。本稿では，この課題の一部であるデータベースフィールドへの分類と根拠抽出を行うために, (1) サポートベクタマシン (SVM), (2) 回帰型畳达みニューラルネットワーク $(\mathrm{RCNN}),(3)$ 注意機構を用いた系列変換による 3 種類の手法を実装し，その結果を報告する。

本論文の構成は以下の通りである．２節では関連研究について述べ，本論文の位置付けを明らかにする． 3 節では本論文で利用するデータと問題設定について詳述する．4節ではデータベー スフィールドへの分類とその根拠抽出手法について述べる。 5 節では評価実験の結果について述べ，6節で本論文をまとめる.

## 2 関連研究

伝統的なタスク指向対話システムは自然言語理解, 対話状態推定, 方策学習, 自然言語生成の4つのモジュールのパイプラインによって構成される (Chen, Liu, Yin, and Tang 2017). 自然言語理解はさらに, ユーザ意図推定とスロットフィリングの 2 つの処理に分けることができる. ユーザ意図推定はユーザ発話を意図のカテゴリに分類する処理である。一方，スロットフィリングはユーザ発話の意味的な内容をスロットと值の組として出力する処理であり，例えば「ニュー ヨークからシカゴまで行きます」というユーザ発話に対し, 〈出発地=ニューヨーク〉, 〈目的地 =シカゴ〉を出力する。この一般的な枠組みから言えば，我々の取り組む課題はスロットフィリングに相当する。

自然言語理解におけるスロットフィリングは，発話中の各単語に対して，意味的なスロットの IOB タグ (Ramshaw and Marcus 1995) を付与する系列ラベリング問題として定式化されることが多い. 近年では，多くの文献で，この問題を解くための手法として回帰型ニューラルネットワーク (RNN) (Mesnil, He, Deng, and Bengio 2013; Yao, Zweig, Hwang, Shi, and Yu 2013; Mesnil et al. 2015; Vu, Gupta, Adel, and Schutze 2016; Jaech, Heck, and Ostendorf 2016; Liu and Lane 2016b, 2016a; Bapna, Tur, Hakkani-Tür, and Heck 2017) や Long Short-Term Memory (LSTM) (Yao, Peng, Zhang, Yu, Zweig, and Shi 2014; Hakkani-Tür, Tur, Celikyilmaz, Chen, Gao, Deng, and Wang 2016) が用いられている. しかし, これらの文献で捉えようとしているのは発話中で明示的に言及された意味的なスロットのみであり，我々が対象としている非明示的条件はスロットフィリングの対象としていない.

また, 対話状態推定のシェアドタスクとして Dialog State Tracking Challenge 5 (DSTC5) (Kim, D’Haro, Banchs, Williams, Henderson, and Yoshino 2016) がある. DSTC5 は，対話中の各時点での対話状態を推定する課題であり，1つの発話のみではなく，文脈を用いてスロットフィリングを行う必要がある。 そのため, 各時点の発話中に明示的に現れていない値をスロットに埋めることが必要となる．例えば, Hori, Wang, Hori, Watanabe, Harsham, Roux, Hershey, Koji, Jing, Zhu, and Aikawa (2016)は，指示形容詞や指示代名詞によって参照される，発話中には明示的に現れない値を抽出することを目指している。 しかし, 本研究で対象とする非明示的条件は，1 節で述べたように推論を必要とする表現であり，DSTC5ではそのような表現からのスロットフィリングを対象としていない.

タスク指向対話システムにおいて, 非明示的条件からのスロットフィリングを対象とした研究はほとんど存在しない. Celikyilmaz, Hakkani-tür, and Tur (2012)は, 映画検索を行うタスク指向対話システムにおいて, ユーザ発話から, ユーザの求めている映画のジャンルを推定する課題に取り組んでいる。彼らの目的は，ジャンルについて明示的に言及していないユーザ発話からもジャンルの推定を行うことである。例えば, 彼らは “I wanna watch a movie that will make
me laugh." というユーザ発話から, ユーザが求める映画のジャンルが comedyであるということを推定する．彼らの研究の動機は我々とほとんど同じであるが，彼らはジャンルの推定結果たけを出力し, そのユーザ発話からそのジャンルが推定できる理由を提示していない点で, 我々の目的とは異なる。また, 彼らは映画のジャンルという 1 つ属性についてのみ推定を行っているが，我々は複数のデータベースフィールドに対する推定を行う。

近年では，パイプライン処理による伝統的なタスク指向対話システムとは異なり，ひとつひとつのモジュールを明示的に作成せず, ユーザ発話から直接システム発話を生成する End-to-End のタスク指向対話システムも提案されている. Eric, Krishnan, Charette, and Manning (2017)は,知識ベースを検索するユーザ発話に対して，その検索結果を提示することが可能な End-to-End の対話システムを提案している。しかし，このシステムは，与えられたユーザ発話に対して，その検索結果が得られた理由については説明しない. 我々の課題では, 非明示的条件が与えられた際，データベースへのクエリを作成するために変換が必要となるが，システムが必ず正しい変換を行う保証は無い．近年，「説明のできる $\mathrm{AI} 」$ の重要性が指摘されているように (Gunning 2018; Monroe 2018), 自然で効率的な対話を実現するためには, システムによる変換理由の説明やユーザへの確認を行う発話を用意することが必要である。しかし, 現在の End-to-End の枠組みでは，これを実現することは難しい.

## 3 データと問題設定

本論文では，対話コーパスとして不動産検索対話コーパス (Takahashi and Yokono 2017)を用いる.このコーパスは物件を探す客と不動産業者を演じる 2 名の作業者間で行われる日本語テキストチャット対話を収集したものである。対話の目的は客の物件に対する希望を不動産業者が聞き出すことである．不動産業者は実際にデータベースの検索を行うことはしないが，検索に必要な情報が十分得られたと判断した場合に対話を終了する。それぞれの対話において，客は 10 種類のプロファイルのうち 1 つが割り当てられ, そのプロファイルに合致する条件の物件を希望するよう指示されている，客のプロファイルは不動産業者には開示されない．実際のプロファイルの例として以下のようなものがある。「30 代共働き夫婦、保育園坚の子ども 1 人。新婚時代から通勤利便性重視で都心寄りの 1LDK マンションに住んでいたが、2人目を考えるにあたって、少し郊外でも治安の良い地域で広めの家に引っ越したい。」

コーパス中の対話数は 986 対話, 総発話数は 29,058 発話であり, そのうち不動産業者の発話が 14,571 発話, 客の発話が 14,487 発話である. また, 1 対話あたりの平均発話数は 29.5 発話である.

我々は, このコーパス中の各発話に対し, 表 1 に示すデータベースフィールドタグをアノテー
表 1 データベースフィールドタグ

ションした (Fukunaga et al. 2018)1. これらのデータベースフィールドタグは, 日本の不動産情報サイト SUUMO 2 で不動産検索を行う際に指定可能な検索条件をもとに設計した。また，どのデータベースフィールドにも該当しない発話に付与する【その他】タグを定義した。これらのタグを，2 名のアノテータによって 986 対話全てにアノテーションし，そのうち 50 対話については，アノテーションの一致率を調べるために両者によるアノテーションを行った．アノテー 夕には，対象の発話とそれ以前の文脈を見て，その発話で言及されているデータベースフィー ルドをタグ付けするよう指示した。また，どのデータベースフィールドにも該当しない発話に非明示的条件が含まれることを期待し，【その他】タグを付与する際には，その意味内容を自由記述するよう指示した。両者がアノテーションした 50 対話におけるアノテー夕間の Cohen's $\kappa$ (Cohen 1960)は 0.79 であり, アノテーションは十分に一致している.ここで,【その他】タグの意味内容は自由記述でありアノテータによって表記が異なるため, 意味内容の記述の一致は考慮していない.

表 2 に実際の対話とアノテーション例を示す．表中の「店」が不動産業者の発話,「客」が客の発話を表す.タグが“一”となっている発話は，対話を開始したり，客に発話を促すような,対話管理レベルの発話であるため，アノテーションの対象外とした.【その他】タグが付与された発話については，自由記述された意味内容を括弧内に示している。

本論文では，【その他】が付与された客の発話に非明示的条件が含まれると仮定し，それらを 38 種類のデータベースフィールドタグに分類することと, その分類の根拠となる発話の断片を

表 2 対話とアノテーション例

 & 【その他】(住む人数) \\

抽出することを課題とする，客の発話は，その直前の不動産業者側の発話と合わせて，ひとつのテキストとして扱う ${ }^{3}$. 本論文では，これを発話チャンクと呼ぶ，客の発話とその直前の不動産業者側の発話をひとつのテキストとして扱うのは，客が直前の不動産業者の問いに対する単なる肯定／否定の発話をすることがあるためである。例えば，表 2 中の 6 発話目は「はい、そうです。」という客による単なる肯定の発話であり，この発話単体では実質的な情報は得られない.しかし，直前の不動産業者の「現在はご夫婦とお子様お一人ということですね？」という問いと組み合わせることによって家族構成の情報が得られ，【間取りタイプ】のようなデータベー スフィールドへの分類が可能になる。対話コーパス中から, 非明示的条件を含む（【その他】夕


グが付与された客の発話を含む）発話チャンクは全部で 2,642 個収集できた.

1つの非明示的条件から複数のデータベースフィールドへ変換される場合もあるため, データベースフィールドへの分類問題は，通常のマルチラベル分類問題として定式化できる。すなわち，入力の発話チャンク $\boldsymbol{x}$ に対し，データベースフィールドタグの部分集合 $Y \subseteq\{$ 【沿線】,【駅徒歩】, ㄱ\} を出力することが本研究の課題である. また, 分類根拠の抽出は, 入力の発話チャンク $\boldsymbol{x}$ に対する分類結果中のそれぞれのデータベースフィールドタグ $y \in Y$ について，その根拠となる断片の集合 $E_{y} \subseteq \operatorname{Substr}(\boldsymbol{x})$ を出力する問題として定式化する.ここで, $\operatorname{Substr}(\boldsymbol{x})$ は発話チャンク $\boldsymbol{x}$ 中に含まれるすべての部分文字列の集合を表す.

## 4 データベースフィールドへの分類および根拠抽出手法

本論文では, サポートベクタマシン (SVM), 回帰型畳み込みニューラルネットワーク (RCNN),注意機構を用いた系列変換による 3 つの手法を実装する.

## 4.1 SVMによる手法

それぞれのデータベースフィールドタグについて，入力の発話チャンクをそのデータベースフィールドへ変換できるか否かを分類する二値分類器を線形SVM によって作成する。すなわち, 全部で 38 個の二値分類器を作成する。 入力の発話チャンクが与えられたとき, システムの最終的な出力は分類器が正と判断したデータベースフィールドの集合となる．SVM の素性として，発話チャンクの bag-of-words を用いる。素性に使用する単語はコーパス中で 2 回以上出現する名詞, 動詞, 形容詞, 副詞の原形である。発話チャンクの形態素解析には, $\mathrm{MeCab}^{4}$ を使用する。また，数と固有名詞については，抽象化のためにそれぞれ NUM と PROP という記号に置き換える。

分類の根拠抽出には, 各データベースフィールドタグの分類器で学習された素性の重みを用いる，入力の発話チャンク中で，あらかじめ決めた閥値以上の重みを持つ単語を全て抽出し， それらを分類の根拠とする。素性の重みは, 式 (1)によって 0 から 1 に正規化する. ここで, $w$ は正規化前の重み, $w_{\min }$ と $w_{\max }$ はそれぞれ, 学習デー夕に含まれる単語の重みの最小值と最大値である.

$
\hat{w}=\frac{w-w_{\min }}{w_{\max }-w_{\min }}
$
^{4}$ http://taku910.github.io/mecab/
}

## $4.2 \mathrm{RCNN$ による手法}

我々は, Lei, Barzilay, and Jaakkola (2016) が提案した手法を拡張し, 我々の課題に利用する. Lei らの手法は, 商品レビューのテキストが入力として与えられたとき, それぞれの評価項目についてのユーザ評価を回帰によって推定し, その結果の根拠となる部分を入力テキストから抽出するものである．彼らのシステムは，回帰問題を解くニューラルネットワーク（エンコー ダ）と根拠の抽出を行うニューラルネットワーク（ジェネレータ）の2つの要素からなる。エンコーダの学習はレビューテキストに対する真のユーザ評価を用いた教師あり学習によって行われる。一方, ジェネレータの学習は教師なし学習で行われる. 彼らは, より短く, より連続した単語列が根拠として好ましいと仮定し, ジェネレータがそのような根拠抽出を行うよう損失関数を設計している。また，エンコーダは，ジェネレータが正しく根拠を抽出していると仮定し, ジェネレータによって抽出された単語のみをユーザ評価の推定に用いる. 彼らは, 教師あり学習でエンコーダの性能を向上させることで, 間接的にジェネレータの性能を向上させることを狙っている。

我々の課題は, 入力の発話チャンクからデータベースフィールドへのマルチラベル分類である. RCNNによる手法も，SVMによる手法と同様に，マルチラベル分類を各データベースフィー ルドへの二値分類として扱う。それぞれの二値分類とその根拠抽出を行うためにLei らの手法を利用する。本論文で用いる，1つのデータベースフィールドに対するエンコーダとジェネレー タのネットワークをそれぞれ図 2 , 図 3 に示す.

$\boldsymbol{x}_{t}$ を入力発話チャンクの $t$ 番目の単語の埋め込みべクトルとすると, エンコーダは, 入力発話チャンクに対するそのデータベースフィールドへの二値分類の推定結果 $\tilde{y} \in[0,1]$ を，

$
\begin{aligned}
\boldsymbol{h}_{t} & = \begin{cases}f_{e}\left(\boldsymbol{x}_{t}, \boldsymbol{h}_{t-1}\right) & \left(\tilde{z}_{t}=1\right) \\
\boldsymbol{h}_{t-1} & \left(\tilde{z}_{t}=0\right)\end{cases} \\
\tilde{y} & =\sigma_{e}\left(W^{e} \boldsymbol{h}_{m}+\boldsymbol{b}^{e}\right)
\end{aligned}
$

図 2 エンコーダ

図 3 ジェネレー夕

によって計算する。ここで， $\boldsymbol{h}_{t}$ は $t$ 番目の単語までの隠れ状態ベクトルを表し， $\tilde{z}_{t} \in\{0,1\}$ は後述するジェネレータによって $t$ 番目の単語が根拠として抽出されるかどうかを表す. $f_{e}$ は各時点の入力と直前の隠れ状態べクトルを受け取り, 次の隠れ状態べクトルを計算する関数であり，詳細は後述する．式 (2)では， $\tilde{z}_{t}=1$ である場合にのみ隠れ状態べクトルを更新する。これは根拠として選択された単語のみを二值分類に使用することを意味する. 最終的な出力は, 最後の隠孔状態べクトル $\boldsymbol{h}_{m}$ をさらに, 重み行列が $W^{e}$, バイアスが $\boldsymbol{b}^{e}$, 活性化関数がシグモイド関数 $\sigma_{e}$ である順伝播型ニューラルネットワーク (FFNN) に入力した結果である. Lei らの手法では回帰問題を解くために損失関数として二乗損失を用いているが, 我々は二值分類を解くため，代わりに以下の交差エントロピーをエンコーダの損失関数 $\mathcal{L}(\tilde{y}, y)$ として使用する.

$
\mathcal{L}(\tilde{y}, y)=-(y \log (\tilde{y})+(1-y) \log (1-\tilde{y}))
$

ここで $y \in\{0,1\}$ は二值分類の正解である.

ジェネレータは以下の式によって, $t$ 番目の単語を根拠として抽出するかどうかを表す $\tilde{z}_{t} \in\{0,1\}$ を計算する。

$
\begin{aligned}
\overrightarrow{\boldsymbol{h}}_{t} & =\vec{f}\left(\boldsymbol{x}_{t}, \overrightarrow{\boldsymbol{h}}_{t-1}\right) \\
\overleftarrow{\boldsymbol{h}}_{t} & =\overleftarrow{f}\left(\boldsymbol{x}_{t}, \overleftarrow{\boldsymbol{h}}_{t+1}\right) \\
p\left(\tilde{z}_{t} \mid \boldsymbol{x}_{1, t-1}, \tilde{z}_{1, t-1}\right) & =\sigma_{z}\left(W^{z}\left[\overrightarrow{\boldsymbol{h}}_{t} ; \overleftarrow{\boldsymbol{h}}_{t} ; \boldsymbol{s}_{t-1}\right]+\boldsymbol{b}^{z}\right) \\
\tilde{z}_{t} & \sim p\left(\tilde{z}_{t} \mid \boldsymbol{x}_{1, t-1}, \tilde{z}_{1, t-1}\right)
\end{aligned}
$

$
\boldsymbol{s}_{t}=f_{z}\left(\left[\overrightarrow{\boldsymbol{h}}_{t} ; \overleftarrow{\boldsymbol{h}}_{t} ; \tilde{z}_{t}\right], \boldsymbol{s}_{t-1}\right)
$

ここで， $\overrightarrow{\boldsymbol{h}}_{t}, \overleftarrow{\boldsymbol{h}}_{t}$ はそれぞれ単語列を右向き，左向きに入力したときの隠れ状態べクトルを表し， $\vec{f}, \overleftarrow{f}$ はそれぞれの隠れ状態べクトルを更新する関数である。また，隠れ状態ベクトル $s_{t}$ は， $t$単語目までに, どのような単語を根拠として抽出したかを保存するためのべクトルである. これらの 3 つの隠れ状態べクトルを連結して, 重み行列が $W^{z}$, バイアスが $\boldsymbol{b}^{z}$, 活性化関数がシグモイド関数 $\sigma_{z}$ である FFNNに入力し， $\tilde{z}_{t}$ の確率分布 $p\left(\tilde{z}_{t} \mid \boldsymbol{x}_{1, t-1}, \tilde{z}_{1, t-1}\right)$ を推定する。 $\boldsymbol{x}_{1, t-1}$ は 1 単語目から $t$ 単語目までの埋め込みベクトルの列を表し, $\tilde{z}_{1, t-1}$ は 1 単語目から $t-1$ 単語目までの根拠抽出の推定結果を表す. 式 (8) は, 推定した確率分布 $p\left(\tilde{z}_{t} \mid \boldsymbol{x}_{1, t-1}, \tilde{z}_{1, t-1}\right)$ からサンプリングを行い， $\tilde{z}_{t}$ の値を決定する操作を表す。 $\tilde{z}_{t}$ は前述の通りエンコーダに入力する。また, $\tilde{z}_{t}$ を $\overrightarrow{\boldsymbol{h}}_{t}, \overleftarrow{\boldsymbol{h}}_{t}$ と連結し, 関数 $f_{z}$ によって隠れ状態べクトル $s_{t}$ を更新する。ジェネレータには,根拠抽出の正解を与えないが，代わりに根拠として望ましい性質を満たすよう損失関数を設計する．Lei らの手法と同様に，短く，連続した単語列が根拠として望ましいという仮定に基づき，式 (10)のように損失関数を定義する.

$
\Omega\left(\tilde{z}_{1, m}\right)=\lambda_{1} \sum_{t=1}^{m} \tilde{z}_{t}+\lambda_{2} \sum_{t=1}^{m}\left|\tilde{z}_{t}-\tilde{z}_{t-1}\right|
$

ここで， $\tilde{z}_{0}=0$ とする. 式 (10) の第 1 項は根拠が短くなることを, 第 2 項は根拠が連続することを，それぞれ促す罰則項である。これら 2 つの罰則項のバランスを調整するために 2 つのハイパーパラメータ $\lambda_{1}$ と $\lambda_{2}$ がある。エンコーダとジェネレータを合わせた全体の損失関数を,

$
\operatorname{cost}\left(\tilde{z}_{1, m}, \boldsymbol{x}_{1, m}, y\right)=\mathcal{L}(\tilde{y}, y)+\Omega\left(\tilde{z}_{1, m}\right)
$

## とする.

エンコーダとジェネレータにおいて，隠れ状態べクトルの更新に用いる関数 $f_{e}, \vec{f}, \overleftarrow{f}, f_{z}$ はすべて，以下のように，入力べクトル列の bi-gram までの畳み込みを用いて次の時刻の状態を計算する。

$
\begin{aligned}
\lambda_{t} & =\sigma\left(W^{\lambda} \boldsymbol{x}_{t}+U^{\lambda} \boldsymbol{h}_{t-1}+\boldsymbol{b}^{\lambda}\right) \\
\boldsymbol{c}_{t}^{(1)} & =\lambda_{t} \boldsymbol{c}_{t-1}^{(1)}+\left(1-\lambda_{t}\right)\left(W_{1} \boldsymbol{x}_{t}\right) \\
\boldsymbol{c}_{t}^{(2)} & =\lambda_{t} \boldsymbol{c}_{t-1}^{(2)}+\left(1-\lambda_{t}\right)\left(\lambda_{t} \boldsymbol{c}_{t-1}^{(1)}+W_{2} \boldsymbol{x}_{t}\right) \\
\boldsymbol{h}_{t} & =\tanh \left(\boldsymbol{c}_{t}^{(2)}+\boldsymbol{b}\right)
\end{aligned}
$

$\boldsymbol{x}_{t}$ は時刻 $t$ の入力ベクトル， $\boldsymbol{h}_{t-1}$ は時刻 $t-1$ の隠れ状態ベクトルである. $\lambda_{t}$ は忘却係数であり， $\boldsymbol{x}_{t}$ と $\boldsymbol{h}_{t-1}$ によって計算する。 $\boldsymbol{c}_{t}^{(n)}$ は $n$-gram までの畳み込みべクトルであり，ここでは bi-gram までを使用し，次の時刻の状態 $\boldsymbol{h}_{t}$ を計算する.

## 4.3 注意機構を用いた系列変換による手法

対話データからスロットフィリングを行う手法として Hori et al. (2016) が提案する注意機構を用いた系列変換による手法を我々の課題に適用する。この手法は, Dialog State Tracking Challenge 5 (Kim et al. 2016)のために提案された手法であり, 入力として対話中の単語列を受け取ってスロットと値の組の系列を出力する，我々の課題では，出力をデータベースフィールドタグの系列とする。この手法では, SVM やRCNNによる手法とは異なり，1つのネットワー クによりマルチラベル分類を行う.

系列変換のネットワークは, エンコーダとデコーダの 2 つの部分からなる. $\boldsymbol{x}_{t}(1 \leq t \leq m)$ を入力発話チャンクの $t$ 番目の単語の埋め込みべクトルとすると, エンコーダでは以下の双方向 LSTM を用いて，各単語に対応する隠れ状態べクトル $\boldsymbol{h}_{t}$ を計算する.

$
\begin{aligned}
\boldsymbol{h}_{t} & =\left[\boldsymbol{h}_{t}^{(f)} ; \boldsymbol{h}_{t}^{(b)}\right], \\
\boldsymbol{h}_{t}^{(f)} & =\operatorname{LSTM}\left(\boldsymbol{x}_{t}, \boldsymbol{h}_{t-1}^{(f)}\right), \\
\boldsymbol{h}_{t}^{(b)} & =\operatorname{LSTM}\left(\boldsymbol{x}_{t}, \boldsymbol{h}_{t+1}^{(f)}\right) .
\end{aligned}
$

また, デコーダでは，注意機構によって重み付けした各単語の隠れ状態べクトルを用いて，デー タベースフィールドタグの系列を出力する。 $i$ 番目の出力における $t$ 番目の単語の隠れ状態べクトルに対する重み $\alpha_{i, t}$ を,

$
\begin{aligned}
\alpha_{i, t} & =\frac{\exp \left(e_{i, t}\right)}{\sum_{t=1}^{m} \exp \left(e_{i, t}\right)}, \\
e_{i, t} & =\boldsymbol{w}^{T} \tanh \left(W \boldsymbol{s}_{i-1}+V \boldsymbol{h}_{t}+\boldsymbol{b}\right)
\end{aligned}
$

によって計算する。ここで, $\boldsymbol{w}, \boldsymbol{b}$ はべクトルであり $, W, V$ は行列である. デコーダでは $\alpha_{i, t}$ によって重み付けしたエンコーダの隠れ状態ベクトルの和 $\boldsymbol{g}_{i}=\sum_{t=1}^{m} \alpha_{i, t} \boldsymbol{h}_{t}$ を LSTM に入力し,各データベースフィールドの確率を表すべクトル $\boldsymbol{p}_{i}$ を出力する.

$
\begin{aligned}
& \boldsymbol{s}_{i}=\operatorname{LSTM}\left(\boldsymbol{s}_{i-1}, \boldsymbol{y}_{i}, \boldsymbol{g}_{i}\right) \\
& \boldsymbol{p}_{i}=\operatorname{softmax}\left(W_{S O} \boldsymbol{s}_{i-1}+W_{G O} \boldsymbol{g}_{i}+\boldsymbol{b}_{S O}\right)
\end{aligned}
$

ここで， $\boldsymbol{y}_{i}$ は， $i$ 番目の出力を表すベクトルであり，学習時には正解のベクトルを与え，テスト時には以下のように $\boldsymbol{p}_{i}$ から最も確率の高いデータベースフィールドを推定したべクトル $\tilde{\boldsymbol{y}}_{i}$ を与える。

$
\left(\tilde{\boldsymbol{y}}_{i}\right)_{j}= \begin{cases}1 & \left(j=\underset{k}{\arg \max }\left(\boldsymbol{p}_{i}\right)_{k}\right) \\ 0 & (\text { otherwise })\end{cases}
$
$\boldsymbol{y}_{i}$ は出力するデータベースフィールドに対応する要素のみが 1 で, 残りが 0 であるようなべクトルである。本来, 各発話チャンクに付与されるデータベースフィールドタグは系列では無いが, 本手法で学習データとして与える際には, 対応する添字の小さい順に正解のべクトルを作成し系列として与える。学習時の損失関数には交差エントロピー損失を用いる.

Hori et al. (2016)の手法では根拠抽出を行っていないが, 我々は注意機構により計算される重み $\alpha_{i, t}$ が間値よりも大きい単語を, $i$ 番目に出力されるデータベースフィールドの根拠として抽出する。閥値には, 定数か, 各発話チャンクに含まれる単語数の逆数を用いる. 単語数の逆数を閥値に用いる理由は, 発話チャンク中の単語数の違いを考慮するためである. 注意機構による重みは各発話チャンクの単語全体で 1 となるため, 仮に全単語に均等な重みを割り当てた場合, 単語数が多いほど各単語に割り当てられる重みは小さくなる。したがって, 定数の閾値を用いた場合, 発話チャンク中の単語数によって閥値の価値が変わってしまう。このため, 単語数の逆数を閾値とする場合の実験も行う.

## 5 評価実験

## 5.1 データ

我々は, コーパス中の 986 対話を, 客のプロファイルの分布を保ちながら 10 分割し, そのうち 9 つを学習データ, 残り 1 つをテストデータとして用いた. そして， 3 節で説明したように非明示的条件を含む発話チャンクを抽出した。その際, 発話チャンク内のユーザ発話が, 挨拶や対話の開始, 終了のような対話管理レベルの発話であるような発話チャンクは除いた. 学習データは 2,379 個, テストデータは 263 個の発話チャンクからなる.

それぞれの発話チャンク内のユーザ発話には， 3 節で説明したように，【その他】夕グとその意味内容の記述が付与されている．我々は，意味内容の記述をデータベースフィールドタグに写像することで，分類の正解を発話チャンクに付与した. 例えば，「一人暮らしをしたいのですが」という発話に付与された「住む人数」という意味内容の記述は,【間取りタイプ】と【専有面積】の2つのタグに写像される。 また，分類の正解として付与されたそれぞれのデータベー スフィールドに対して, 発話チャンク中の各単語がそのフィールドへの分類の根拠に含まれるか否かを付与し，これを根拠抽出の正解とした。これらのアノテーションは著者のうち 1 人が行った。

## 5.2 実験設定

データ数の制約から, 本論文では【周辺環境】,【間取りタイプ】,【専有面積】,【一部屋の広さ】,【エリア】の5つのデータベースフィールドタグについてのみ評価を行う。これらは, 最も多くの発話チャンクに付与された 5 つタグである。学習データ中でそれぞれのタグが付与

された発話チャンク数は,【周辺環境】について 1,033 , 【間取りタイプ】について 974, 【専有面積】について 964,【一部屋の広さ】について 927,【エリア】について 778 である. 学習データにおける 38 種類のデータベースフィールドタグの分布を図 4 に示す.

SVM による手法には，単語を根拠として抽出するかを決定するための，素性の重みの閥値がハイパーパラメータとして存在する。このハイパーパラメータを決定するために，学習データ中から【周辺環境】が付与された発話チャンクをランダムに 200 個抽出し, 開発データとした. そして, 残りの学習データでSVMによる手法の学習を行い, 開発デー夕によって評価を行った. その結果，閥値を 0.58 とした場合に開発デー夕において最も良い性能を示したため, このハイパーパラメータを 5 のタグについての評価実験で使用した. 1つの発話チャンクに対する素性ベクトルの次元数は 1,730 である。また，不均衡デー夕に対応するためにSVM の正例（負例）に対する正則化パラメータ $C$ を全事例数 $/(2 \times$ 正例（負例）の数 $)$ とすることにより重み付けを行った。

RCNN による手法には，抽出する根拠の単語長と根拠の連続性のバランスを調整する 2 つの

図 4 学習データにおける各データベースフィールドタグの分布
表 3 ニューラルネットワーク手法の学習設定

ハイパーラパメータ $\lambda_{1}, \lambda_{2}$ がある．SVMによる手法で使用したものと同じ開発デー夕を用い,同様の方法で最適なパラメータを求めた結果， $\lambda_{1}=0.021, \lambda_{2}=0.003$ であった. また, 学習時の初期パラメータを，ランダムな值とする場合と，開発データで学習したネットワークのパラメータとする場合の 2 種類の設定で実験を行う. 開発データで学習したパラメータを初期値として用いる理由は, 【周辺環境】についての学習を通して, 他のデータベースフィールドタグに共通の表現を学習していることを期待するためである。単語埋め込みベクトルとして, 学習済みの日本語 Wikipedia エンティティベクトル 5 を用いた。各単語べクトルの次元数は 200 である.エンコーダおよびジェネレータの隠れ状態ベクトルは $s_{t}$ を除き 200 次元とし, $s_{t}$ は 30 次元とした. これらの設定は, Lei et al. (2016)と同一である. その他の学習の設定は表 3 の通りである。ドロップアウトは, Lei et al. (2016)による実装と同様に $s_{t}$ 以外の全ての結合に適用した. ネットワークの総パラメータ数は 694,319 である.

注意機構を用いた系列変換による手法においても，各単語を根拠として抽出するかどうかを決定するための, 注意機構の重みの閾値がハイパーパラメータとして存在する，RCNNによる手法, SVMによる手法と同様の開発デー夕を用い, 同様の方法で最適な間値を求めた結果, その値は 0.0525 であった. Hori et al. (2016)の手法では入力の単語埋め达みの学習も行っているが, ここでは, 分類・根拠抽出部分の比較を行うために, RCNNによる手法と同様の学習済みの単語埋め込みベクトルを用いる。エンコーダおよびデコーダの隠れ状態べクトルは Hori et al. (2016)に倣い 50 次元とした。その他の学習の設定は表 3 の通りである. ドロップアウトは全ての結合に適用した. ネットワークの総パラメータ数は 151,889 である.

## 5.3 評価尺度

各データベースフィールドの二值分類の評価尺度として精度, 再現率, $\mathrm{F}$ 值を使用する。根拠抽出の評価は, 分類に正解した事例のみに対して行い, 評価尺度として BLEU (Papineni, Roukos, Ward, and Zhu 2002) と ROUGE (Lin and Hovy 2003)を用いる. また, これらの尺度の類推として， $N$-gram までの F 值の幾何平均も評価に用いる。 $N$-gram までの BLEU, ROUGE, F 值の幾何平均を，それぞれ BLEU $N$, ROUGE- $N$, F- $N$ とすると, これらは次のように計算でき
^{5}$ http://www.cl.ecei.tohoku.ac.jp/ ${ }^{\text {m-suzuki/jawiki_vector/ }}$
}

る.まず， $\tilde{\boldsymbol{z}}=\left(\tilde{z}_{1}, \tilde{z}_{2}, \cdots, \tilde{z}_{m}\right)$ と $\boldsymbol{z}=\left(z_{1}, z_{2}, \cdots, z_{m}\right)$ を，それぞれ推定された根拠と正解の根拠を表す二値べクトルとする。ここで， $\tilde{z}_{j}, z_{j} \in\{0,1\}(1 \leq j \leq m)$ であり，これらのべクトルの要素が 1 となることは，対応する位置の単語が根拠として選択されることを意味する，推定された根拠と正解の根拠に含まれる $n$-gram の集合をそれぞれ $\tilde{G}_{n}, G_{n}$ とし，式 $(24),(25)$ によって定義する。

$
\begin{aligned}
& \tilde{G}_{n}=\left.\{\{j\}_{j=t}^{t+n-1} \mid 1 \leq t \leq m-n+1 \wedge\left(\prod_{j=t}^{t+n-1} \tilde{z}_{j}\right)=1\right.\}, \\
& G_{n}=\left.\{\{j\}_{j=t}^{t+n-1} \mid 1 \leq t \leq m-n+1 \wedge\left(\prod_{j=t}^{t+n-1} z_{j}\right)=1\right.\} .
\end{aligned}
$

ここで $\{j\}_{j=t}^{t+n-1}$ は $t$ から $t+n-1$ までのインデックスの系列を表す. これらの集合を用いて， BLEU- $N$ ， ROUGE- $N$ ，F- $N$ をそれぞれ式 (26)，(27)，(28)によって計算する.

$
\begin{aligned}
\operatorname{BLEU}-N & =\left(\prod_{n=1}^{N} P_{n}\right)^{1 / N}, P_{n}=\left.\{\begin{array}{ll}
1 & \left(\left|\tilde{G}_{n}\right|=0\right) \\
\frac{\left|\tilde{G}_{n} \cap G_{n}\right|}{\left|\tilde{G}_{n}\right|} & (\text { otherwise) }
\end{array},\right. \\
\operatorname{ROUGE}-N & =\left(\prod_{n=1}^{N} R_{n}\right)^{1 / N}, R_{n}=\left.\{\begin{array}{ll}
1 & \left(\left|G_{n}\right|=0\right) \\
\frac{\left|\tilde{G}_{n} \cap G_{n}\right|}{\left|G_{n}\right|} & (\text { otherwise) }
\end{array},\right. \\
\mathrm{F}-N & =\left(\prod_{n=1}^{N} F_{n}\right)^{1 / N}, F_{n}=\left.\{\begin{array}{ll}
0 & \left(P_{n}+R_{n}=0\right) \\
\frac{2 P_{n} R_{n}}{P_{n}+R_{n}} & \text { (otherwise) }
\end{array} .\right.
\end{aligned}
$

ROUGE- $N$ は一般的に $N$-gram のみの再現率を表すが，本稿では全ての $n$-gram $(n \leq N)$ の再現率の幾何平均を表す。また，BLEUには短すぎる出力に対する罰則を導入することが一般的であるが，本稿の評価では，短すぎる出力に対しては ROUGEの値が小さくなるため，BLEU に対する罰則は導入していない。

根拠抽出の評価における $N$ の範囲を定めるために，テストデータに対して各手法によって抽出された根拠，およびテストデータに付与された根拠抽出の正解に含まれる $n$-gram の数を調査した。その結果を表 4 に示す。表中の「ランダム」と「事前学習」の行はそれぞれ， RCNN の初期パラメータをランダムな値とした場合と, 5.2 項で述べた開発データによって学習したパラメータとした場合の結果である。また，「Seq2Seq」は注意機構を用いた系列変換による手法の結果を表し，「定数」と「逆数」の行はそれぞれ，根拠抽出の閥値を定数とした場合と，発話チャンク中の単語数の逆数とした場合の結果である。閾値を定数とした系列変換による手法を除いて，5-gram 以上は根拠抽出結果にほとんど含まれないことから，根拠抽出の評価は 4-gram
表 4 根拠抽出結果と正解の根拠に含まれる $n$-gram の数

まで行えば十分である。したがって，根拠抽出の評価には BLEU-1 から BLEU-4, ROUGE-1 から ROUGE-4, F-1 から F-4を用いる.

また, 各事例ごとに式 (26), (27), (28) にしたがって BLEU- $N$, ROUGE- $N$, F- $N$ を計算すると, 各事例中の n-gram の少なさから分母が 0 となることが多いため, 全事例での評価にはマイクロ平均を用いる.

## 5.4 実験結果

データベースフィールドへの分類結果を表 5 に示す。また,【周辺環境】、【間取りタイプ】,

【専有面積】、【一部屋の広さ】、【エリア】に対する根拠抽出結果をそれぞれ表 6 から表 10 に示す.データベースフィールドへの分類については全体的に系列変換による手法が良好な結果を示した。なお，系列変換による手法では，根拠抽出の閾値の設定によらず分類結果は同じであるため，表 5 ではまとめて記載している。根拠抽出については全体的に，BLEU- $N$ においては SVM による手法が，ROUGE- $N$ においては，定数を閾値に用いた系列変換による手法がより高い評価值を示した。また, F- $N$ は， $N=1$ の場合は SVMによる手法の評価が高く, それ以上では系列変換による手法の評価が高かった。また， RCNNによる手法の 2 通りのパラメータの

表 5 データベースフィールドへの分類結果

 & 0.789 & 0.796 & 0.793 & $\underline{0.918}$ & 0.865 & $\underline{0.891}$ & 0.891 & 0.874 & 0.882 \\
 & 0.729 & 0.761 & 0.745 & 0.874 & 0.865 & 0.870 & $\underline{0.919}$ & $\underline{0.883}$ & $\underline{0.901}$ \\

 & 0.900 & 0.862 & 0.880 & 0.875 & 0.895 & 0.885 \\

表 6 【周辺環境】に対する根拠抽出結果

表 7 【間取りタイプ】に対する根拠抽出結果

 & 0.525 & 0.444 & 0.404 & 0.507 & 0.342 & 0.192 & 0.106 & 0.000 & 0.414 & 0.264 & 0.160 & 0.000 \\

$\quad$ 逆数 & 0.449 & 0.432 & 0.365 & 0.307 & 0.311 & 0.181 & 0.097 & 0.059 & 0.367 & 0.249 & 0.145 & 0.094 \\

表 8 【専有面積】に対する根拠抽出結果

表 9 【一部屋の広さ】に対する根拠抽出結果

初期値による結果を比較すると, 分類については【周辺環境】以外ではランダムな初期値としたほうが良好な結果であり，根拠抽出についてはあまり差がないことがわかる.

【周辺環境】タグの根拠抽出について，各手法が正しく抽出できた例と抽出を誤った例を図 5 に示す. 図中の網掛けされた単語または単語列は正解の根拠を, 枠で囲まれた単語または単語列は各手法で抽出した根拠を表す. 図中の発話チャンク $\mathrm{a}, \mathrm{d}, \mathrm{g}$ がそれぞれの手法で正しく根拠
表 10 【エリア】に対する根拠抽出結果

を抽出できた例である。ここで抽出できた根拠は，ユーザ発話に関係するデータベースフィー ルドについて質問するシステム発話を生成することに利用できる。例えば，発話チャンク $\mathrm{d} て ゙ ~$ は「治安」という根拠を抽出できているため，「治安のいいところがいいです。」というユーザ発話に対して，「『治安』を気にされているようですが，周辺環境のご希望はございますか？」という発話が可能である。

## 5.5 考察

## 5.5.1 SVM による手法

【周辺環境】への分類において，正解は負例であるにも関わらず正例だと判断した例（偽陽性の誤り）は 24 例存在した。これらの事例を個々に分析した結果, 正例によく出現する単語, すなわち大きな重みを持つ単語が発話チャンクに含まれるために正例だと判断された誤りが， 24 例中 12 例で最も多いことがわかった. これには, 分類の手がかりとなる単語と頻繁に共起するものの単独では手がかりにならない単語が含まれる場合と，発話チャンクの分割方法に問題がある場合の 2 種類がある。前者の場合では，例えば「面」という単語は「治安」という【周辺環境】への強力な手がかりとなる単語と共起しやすいため，大きな重みを持つ。これは，「治安面」という名詞句としてや，「立地面」への希望を尋ねる不動産業者の質問に対してユーザが 「治安の良い地域」と答える形で出現するためである。しかし，「面」という単語が含まれているだけでは【周辺環境】への手がかりとはならない，例えば，以下の発話チャンクには「面」という単語が含まれているものの，【周辺環境】を推論することができないため負例である。

店：お部屋の階数にご希望はございますか？

客：セキュリティーの面から 2 階以上がいいなと思ってます

発話チャンクの分割方法に問題がある例として，以下の発話チャンクにおける「治安面です

## SVMKよる手法

正しく根拠を抽出できた例
a.

$
\begin{aligned}
& \text { 店どういった物件をお探しですか？ } \\
& \text { 客医向けの物件を希望します。 } \\
& \hline
\end{aligned}
$

根拠抽出を誤った例

b. 店2階以上の御希望はございますか？

客帰りが深夜になることもありますので、1階にしておきます。

## RCNNによる手法

正しく根拠を抽出できた例
d. $\begin{array}{ll}\text { 店物件についてその他ご希望はございますか？ } \\ \text { 客治安のいいところがいいです。 }\end{array}$

根拠抽出を誤った例
e. $\begin{array}{ll}\text { 店 } & \text { 近くにコンビニがあると良い等、周りの環境に希望はありますか？ } \\ \text { 客周囲がうるさすぎるような場所は遠慮したいですね。 }\end{array}$
f. $\begin{array}{ll}\text { 店周辺環境についてのご希望はありますか？ } \\ \text { 客買い物が便利なところだと嬉しいです。 }\end{array}$

## 注意機構を用いた系列変換モデルによる手法

正しく根拠を抽出できた例
g. $\begin{array}{ll}\text { 店 } & \text { 御希望のエリアはございますか？ } \\ \text { 客仕事で夜遅い日が多いので、職場の近くで探しています。 }\end{array}$

根拠抽出を誤った例
h. 

i. はい【、共働きで息子が保育園なので、駅から徒歩圏内で、近隣に客いくつか保育園や保育所のあるエリアが希望です。多少郊外でもかまいませんゅ

図 5 【周辺環境】タグに対する根拠の抽出例（網掛け部：正解, 枠囲み部：システムの出力）

ね。のような, 不動産業者が直前のユーザ発話への確認を行う部分に分類の手がかりとなる単語が含まれる場合がある。

店： 治安面ですね。子供が多いエリアがいいなどのご希望はございますか？

客：そうですね。子どもが多いエリアを強く希望します。

これは本来直前の発話チャンクに含まれるべき部分であるが，今回は対話コーパス中の話者交替で機械的に発話チャンクを分割したため，このような例が発生した.

一方，正解は正例であるにも関わらず負例だと判断した例（偽陰性の誤り）は 23 例存在した. そのうち 7 例については, 式 (1)による正規化前の重みが負であり, その絶対値が大きい単語を含む例であった。これらの中には，1つの発話チャンク内で，【周辺環境】に加えてそれ以外のデータベースフィールドに関する言及のある場合があった．例えば，以下の発話チャンクには,「落ち着いた地域」という【周辺環境】を推論可能な表現に加え,「練馬区周辺」という具体的なエリアに対する言及も含まれている。

店： 最寄り駅など、場所はどのあたりでお探しでしょうか？

客： 練馬区周辺で落ち着いた地域を希望します。

このうちの「区」という単語が，絶対値の大きな負の重みを持つために，この発話チャンクは負例だと判断された。これはこの手法がデータベースフィールドへのマルチラベル分類を，各データベースフィールドへの二值分類として扱い，他のデータベースフィールドについて考慮していないために発生した誤りである。また, 偽陽性の誤りの場合と同様に，直前のユーザ発話に対する確認の部分が発話チャンクに含まれてしまい，そこに絶対値の大きな負の重みを持つ単語が存在することにより分類を誤った例もあった.

根拠抽出を発話チャンク中の各単語が根拠に含まれるか否かの二值分類として考え，その混同行列を作成することで，どのような単語を根拠として誤って抽出したか，あるいはどのような単語を根拠として抽出できなかったかを分析する。表 11 は【周辺環境】タグにおけるそれぞれの手法の混同行列であり，表中の数は単語数を表す．SVMによる手法の混同行列を見ると，正解の根拠に含まれるにも関わらず根拠として抽出できなかった単語が 193 語と多い. これらの単語の多くは, 助詞であった. 例えば，図 5 の発話チャンク bでは「が」や「に」などの助詞を抽出できていない。これは，SVMによる手法が素性として用いる単語に助詞が含まれていないためである。また，SVMによる手法で用いられる発話チャンクの素性は bag-of-wordsであり，単語の隣接を無視した素性となっていることも原因である. しかし, 対話システムが, 後続の処理において確認発話を生成する際には, これらの助詞も分類の根拠に含まれることが望ましく，SVMによる手法が助詞を含めて根拠を抽出できるよう素性を改良することが必要である.

表 12 にそれぞれの手法で抽出された根拠と正解の根拠における 1 発話チャンクあたりの平均単語数と平均区間数および区間内単語数（1 区間あたりの平均単語数）の比較を示す。ここで,区間とは，連続して根拠となる単語列のことを指す。表を見ると，SVMによる手法が抽出した根拠の単語数は, 正解の根拠の単語数よりも特に少ない。また, 1 区間あたりの平均単語数（区間内単語数）はほぼ 1 であり，連続した単語列を根拠として抽出できていないことを示す。こ
表 11 【周辺環境】における根拠抽出の混同行列

表 12 根拠として抽出される平均単語数と平均区間数, および 1 区間あたりの平均単語数の比較

 & 単語数 & 区間数 &  & 単語数 & 区間数 &  \\

 & 単語数 & 区間数 &  \\

ランダム & 4.40 & 2.82 & 1.56 & 4.00 & 3.43 & 1.17 \\
事前学習 & 3.60 & 2.19 & 1.64 & 3.07 & 2.49 & 1.23 \\

$\quad$ 定数 & 5.90 & 2.65 & 2.23 & 5.12 & 2.33 & 2.20 \\
逆数 & 2.63 & 1.91 & 1.37 & 2.31 & 1.77 & 1.31 \\

れは先述のとおり, 助詞を根拠として抽出できなかったためである.

素性の重みの大きさと分類根拠としての正しさとの関係を調べるために, 各単語の素性の重みの大きさとその単語がテストデータにおいて正解の根拠に含まれる割合を分析した． 5 つのデータベースフィールドタグについての分析結果を図 6 に示す. 図中の横軸は式 (1) によって 0 から 1 に正規化した素性の重みであり，縦軸は正解の根拠に含まれる割合である．5つのタグにおける，素性の重みの大きさと正解の根拠に含まれる割合との間のピアソンの積率相関係数はそれぞれ $0.39 ， 0.36,0.36 ， 0.39 ， 0.32$ であった.いずれも弱い正の相関であり，必ずしも重みの大きい単語が正解の根拠に含まれるわけではないことを示す.これは上述のように，単独では分類の手がかりとは考えられないにも関わらず，分類の手がかりとなる単語と共起しやすいために大きな重みを持ってしまう単語が存在するためである。例えば，図 5 の発話チャンク cでは，分類の誤り分析でも述べたように「面」という単語が大きな重みを持つために根拠として抽出されているが，正解の根拠には含まれていない.

## 5.5.2 RCNNによる手法

初期パラメータをランダムな値にした場合と開発データによって事前学習を行った場合では,【周辺環境】タグを除いて, ランダムな値とした場合が分類においてより良好な結果であった. これは, 【周辺環境】の正例のみから作成した開発データで学習されたパラメータは, 他のタグへの分類には有効ではないことを示す。一方,【周辺環境】においては性能が向上していることから，他の夕グについても，夕グごとの開発データを用いて事前学習を行うことで性能が向上する可能性がある.

RCNN による手法は，データベースフィールドへの分類を学習する際，発話チャンク中のすべての単語ではなく, 分類の根拠として抽出された単語のみを使用する。したがって, データベースフィールドへの分類の性能が根拠抽出の性能に大きく依存することが予想できる．パラメータを事前学習したRCNNによる手法において分類の性能と根拠抽出の結果との関係を分析するために，テストデータ中の事例を分類が正解したか否かと, 根拠抽出結果と正解の根拠との単語の重なりの有無に基づき 4 種類に分類する. ここで，根拠抽出結果 $\tilde{\boldsymbol{z}}=\left(\tilde{z}_{1}, \tilde{z}_{2}, \cdots, \tilde{z}_{m}\right)$ と正解の根拠 $\boldsymbol{z}=\left(z_{1}, z_{2}, \cdots, z_{m}\right)$ との単語の重なりがあるというのは, $\tilde{z}_{t}=z_{t}=1$ なる $t$ が少なくとも 1 つ存在することである. 正解の根拠がアノテーションされているのは分類の正例のみであるため, この分析は分類の正例のみについて行う.【周辺環境】,【間取りタイプ】,【専

有面積】、【一部屋の広さ】、【エリア】の５つのデータベースフィールドについて，テストデー 夕中の分類の正例を 4 種類に分類し，それぞれの事例数を数えた結果を表 13 に示す.【周辺環境】において，重なりがある 90 例のうち 73 例 (81\%) は分類結果が正解であるのに対し，重なりが無い 23 例中の正解は 14 例 $(60 \%)$ にとどまっている. この傾向は他の 4 つのデータベースフィールドタグについても同様である。このことから, 根拠抽出の性能とデータベースフィー

(a)【周辺環境】

(c)【専有面積】

(e)【エリア】

(b)【間取りタイプ】

(d)【一部屋の広さ】

図 $6 \mathrm{SVM}$ の素性の重みの大きさと正解の根拠に含まれる割合との関係

ルドへの分類性能との間には相関があることがわかる. したがって, 根拠抽出の性能を向上させることで分類の性能も向上する可能性がある.

しかし，表 13 は，RCNNによる手法の根拠抽出が完全に誤っているにも関わらず，分類に正解している例が存在することも示している，我々は【周辺環境】タグについて，推定の根拠と正解の根拠の重なりがないものの，分類に正解している 14 例（表 13 中の，重なりが「無し」 で分類が正解である例）について分析を行った。その結果，分類の手がかりとなっているものの，根拠の正解には含まれない単語があることがわかった。例えば，図 5 中の発話チャンク e では, 「近く」という単語が抽出されているが, この単語は, 【周辺環境】タグへ変換する根拠とは言えず，正解としてアノテーションされていない．しかし，RCNNによる手法はこの例を正しく【周辺環境】タグへ分類することができていた。これは，「近く」という単語が学習デー 夕中の正例において負例よりも 2 倍多く出現し, 【周辺環境】タグへの分類の手がかりとなったためだと考えられる。これは，発話中で人間が分類の根拠だと考える部分と， RCNNによる分類器が手がかりとして使用する部分が異なるということを意味する。この解釈を裏付ける結果として, 同じパラメータのエンコーダに対し, ジェネレータで抽出した単語を入力した場合と,根拠としてアノテーションされた単語, すなわち正解の根拠を入力した場合との分類結果の比較を表 14 に示す。ここで，根拠がアノテーションされているのは分類の正例のみであるため,再現率のみを示している。【専有面積】、【部屋の広さ】、【エリア】については, 正解の根拠を分類に使用しているにも関わらず，再現率はジェネレータの出力を入力した場合よりも低いことがわかる．このことから，エンコーダが正しい分類を行うためには，人間が根拠であると考える部分だけでは不十分であると言える。データベースフィールドへの分類性能を向上させるためには, このような, 根拠としてアノテーションされていないものの, 分類に役立つ情報を利用できるよう手法を拡張する必要がある.

表 13 各データベースフィールドタグの正例を，分類が正解したか否かと，根拠抽出結果と正解の根拠との単語の重なりの有無に基づいて分類した結果

表 $14 \mathrm{RCNN}$ による手法のエンコーダに, ジェネレータの出力を入力した場合と正解の根拠を入力した場合の再現率

表 12 において，RCNNによる手法で抽出された根拠と正解の根拠とを比較すると， RCNNによる手法は正解よりも少ない単語を根拠として抽出している一方, 抽出された区間数は正解よりも多い。その結果 1 区間あたりの平均単語数は正解の半分未満となったものの, SVM による手法のそれよりは若干多く，より長い根拠を抽出していることがわかる。これが， RCNNによる手法がSVM による手法よりも高いROUGE を達成した要因である。また，このことは，より連続した根拠を選ぶように設計したジェネレータの損失関数が期待通りのはたらきをしていることを示している.

表 11 を見ると, 正解の根拠に含まれるにも関わらずRCNNによる手法が根拠として抽出できなかった単語は 165 単語と多い. これらの単語には「が」や「に」のような助詞が多く含まれていた。例えば, 図 5 中の発話チャンク $\mathrm{f}$ では, 正解の根拠が「お買い物が便利」という単語列であるのに対し，推定した根拠では助詞である「が」を抽出できなかった。助詞はどのようなデータベースフィールドにおいても出現するため分類に重要な素性ではない. そのため, 根拠として抽出することが出来なかったと考えられる.

また，RCNNによる手法によって出力された【周辺環境】タグに対する根拠について個々に分析を行ったところ, テストデータ中のすべての事例において疑問符「？」の直後の単語を根拠として抽出することがわかった．疑問符はほとんどの場合において不動産業者による質問の最後の単語であり，その直後の単語というのはユーザ発話の一番最初の単語である。実際に，図 5 中の発話チャンク $\mathrm{d}, \mathrm{e}, \mathrm{f}$ のいずれにおいても，ユーザ発話の一番最初の単語が根拠として抽出されている.【周辺環境】タグへの分類の強力な手がかりとなる語として「治安」という単語があるが，学習デー夕における「治安」の出現のうち $41.3 \%$ 疑問符の直後であるため, RCNN による手法のジェネレータはこの共起を学習したと考えられる。しかし, 実際のテストデータにおいて，疑問符の直後の単語が根拠の正解に含まれる例は全体の $40.4 \%$ だり，これによって根拠抽出の精度が低下した。

RCNN による手法がデータベースフィールドタグへの分類とその根拠抽出の両方において性能が低かった原因として，データの不足が考えられる。本論文では, 学習データに 2,379 個の発話チャンクのみを使用したが，RCNN による手法の元となる論文 (Lei et al. 2016)では, 約 8 万から 9 万のレビューテキストを用いている．我々の課題でもデータを増やすことによって RCNN による手法の性能を改善できる可能性がある。

## 5.5.3注意機構を用いた系列変換による手法

表 12 を見ると, 定数を根拠抽出の閾値として用いた場合は, 正解と比較してより多くの単語を根拠として抽出している。閥値として単語数の逆数を用いた場合も，SVM や RCNNによる手法と比較するとより多くの単語を抽出しており, 正解の単語数や区間内単語数により近い. これが，注意機構を用いた系列変換による手法が根拠抽出において SVM による手法や RCNN

による手法よりも良好な結果となった理由だと考えられる。図 5 の発話チャンク $\mathrm{g}$ は閾値として単語数の逆数を用いた場合の例であるが，SVM や RCNNによる手法で正しく抽出できた例 (a, d) と比較すると，より長い根拠を抽出することができている。実際，SVM や RCNNによる手法で完全に正しい根拠を抽出できた例はいずれも 1 単語のみの根拠であるため, この手法は他の手法と比べてより長い根拠を正しく抽出できたと言える。一方，表 11 見ると，注意機構を用いた系列変換による手法の根拠抽出では，偽陽性の誤りが多く，余分な単語を抽出しすぎていることがわかる．特に，定数を間値とした場合は，この誤りが非常に多い．図 5 の発話チャンクhは，定数を閾値とした場合の例であるが，正解が「治安」のみであるのに対し，推定結果では発話チャンクのほとんどの単語を根拠として抽出してしまっていることがわかる。これは，今回䦭値として用いた値が 0.0525 と非常に小さかったためである。また，発話チャンク i も同様に定数を閥值とした場合の例であるが,「共働きで息子が保育園」という根拠を正しく抽出することができているが，「、」「。」という，根拠にも分類の手がかりにもならない単語が抽出されてしまっている。これは, 注意機構で計算されるこれらの単語の重みが比較的大きいことを示す.したがって，このような単語を抽出しないように，閾値の設定などの抽出方法を工夫する必要がある.

## 5.5.4 非明示的条件を含むか否かの分類

本論文では，あらかじめ非明示的条件を含むとわかっている発話チャンクのみに焦点を当て， データベースフィールドへの分類および根拠抽出の対象とした。しかし, 実際の対話では, 非明示的条件を含まない発話も対話システムに入力されるため，事前に各発話チャンクが非明示的条件を含むか否かの二値分類を行う必要がある。そこで，双方向 RNN (Bi-RNN) と双方向 LSTM (Bi-LSTM) による 2 つの二値分類手法を実装し，その性能を評価する。これらの手法では入力発話チャンク中の単語列を, 順方向と逆方向の RNN または LSTM に入力し, それぞれの最終状態を連結したべクトルを FFNNへ入力することで，正負の二値を出力する．二値分類手法の学習およびテストには, 非明示的条件を含まない発話チャンクも合わせた全ての発話チャンクを用いる．学習に用いる発話チャンクは 13,034 個であり，そのうち 2,379 個 (18.3\%) が非明示的条件を含む。テストに用いる発話チャンクは 1,430 個であり，そのうち 263 個 $(18.4 \%)$ が非明示的条件を含む。用いる単語埋め込みべクトルは 5.2 項で述べたものと同様である.また,双方向 RNN と双方向 LSTM の隠れ状態ベクトルの次元数は 200 とし, その他の学習の設定は表 3 と同様である。二値分類の結果を表 15 に示す. これらのナイーブな手法で $77.4 \%$ の値を達成できているため, さらに洗練された手法を用いることでより高い性能を達成できる可能性がある。
表 15 非明示的条件を含むか否かの二値分類結果

## 6 結論

本論文は，データベース検索を行うタスク指向対話を対象として，ユーザ発話中で明示的に述べられていないユーザ要求の解釈を行う課題を提案した. 我々はこのように明示的に述べられないユーザ要求を非明示的条件と呼び，その解釈を，ユーザ発話を関連するデータベースフィー ルドに分類し，また同時にその根拠となるユーザ発話中の文字列を抽出する課題として定式化した. この課題に対する 3 つの手法として, サポートベクタマシン, 回帰型畳込みニューラルネットワーク，注意機構を用いた系列変換による手法を実装した。不動産に関する対話のコー パスを利用した評価実験の結果，注意機構を用いた系列変換による手法がより良好な結果を示すことがわかった.

本論文では，ユーザ発話をデータベースフィールドに分類することと，発話からその根拠を抽出することにのみ焦点を当てたが，実際にユーザ発話からデータベースクエリを生成するためには，データベースフィールドの値も抽出することが必要である．また，データベースフィー ルドの値を抽出することができれば，「一人暮らしということですので，間取りは1LDK 以下でよろしいですか？」のようなユーザへの確認発話を生成することができる。 そのためには実際の値を含むデータベースが必要となるため，この問題に取り組むことは今後の課題である。また，本論文で取り組んだのは，非明示的条件を含むユーザ発話を，発話ごとに解釈する自然言語理解の課題である。発話ごとに解釈した結果は文脈を考慮していないため，それまでの対話で既に言及されたデータベースフィールドを再び抽出してしまう可能性があり，そのまま対話システムに使用することは不適切である. Dialogue State Tracking Challenge 5 (Kim et al. 2016) で行っているように，それまでにユーザが検索条件として指定したデータベースフィールドを内部状態として記憶しておき，ユーザ発話を解釈するたびにそれを更新する対話状態推定の課題に取り組む必要がある。本論文で提案した手法による分類結果を用いて，対話状態推定を行う手法を考案し，評価することは今後の課題である.

## 参考文献

Bapna, A., Tur, G., Hakkani-Tür, D., and Heck, L. (2017). "Sequential Dialogue Context Modeling for Spoken Language Understanding." In Proceedings of the 18th Annual SIGdial Meeting
on Discourse and Dialogue (SIGDIAL 2017), pp. 103-114.

Celikyilmaz, A., Hakkani-tür, D., and Tur, G. (2012). "Statistical Semantic Interpretation Modeling for Spoken Language Understanding with Enriched Semantic Features." In Spoken Language Technology Workshop (SLT), 2012 IEEE, pp. 216-221.

Chen, H., Liu, X., Yin, D., and Tang, J. (2017). "A Survey on Dialogue Systems: Recent Advances and New Frontiers." SIGKDD Explorations Newsletter, 19 (2), pp. 25-35.

Cohen, J. (1960). "A Coefficient of Agreement for Nominal Scales." Educational and Psychological Measurement, 20 (1), pp. 37-46.

Dahl, D. A., Bates, M., Brown, M., Fisher, W., Hunicke-Smith, K., Pallett, D., Pao, C., Rudnicky, A., and Shriberg, E. (1994). "Expanding the Scope of the ATIS Task: The ATIS-3 Corpus." In Proceedings of the Workshop on Human Language Technology, HLT '94, pp. 43-48.

Eric, M., Krishnan, L., Charette, F., and Manning, C. D. (2017). "Key-Value Retrieval Networks for Task-Oriented Dialogue." In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL 2017), pp. 37-49.

Fukunaga, S., Nishikawa, H., Tokunaga, T., Yokono, H., and Takahashi, T. (2018). "Analysis of Implicit Conditions in Database Search Dialogues." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), pp. 2741-2745.

Gunning, D. (2018). "Explainable Artificial Intelligence (XAI)." https://www.darpa.mil/program/explainable-artificial-intelligence 2018 年 11 月 7 日閲覧.

Hakkani-Tür, D., Tur, G., Celikyilmaz, A., Chen, Y.-n., Gao, J., Deng, L., and Wang, Y.-y. (2016). "Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional RNN-LSTM." In INTERSPEECH-2016, pp. 715-719.

Hemphill, C. T., Godfrey, J. J., and Doddington, G. R. (1990). "The ATIS Spoken Language Systems Pilot Corpus." In Proceedings of the Workshop on Speech and Natural Language, HLT '90, pp. 96-101.

Hori, T., Wang, H., Hori, C., Watanabe, S., Harsham, B., Roux, J. L., Hershey, J. R., Koji, Y., Jing, Y., Zhu, Z., and Aikawa, T. (2016). "Dialog State Tracking with Attention-based Sequence-to-sequence Learning." In 2016 IEEE Spoken Language Technology Workshop (SLT), pp. 552-558.

Jaech, A., Heck, L., and Ostendorf, M. (2016). "Domain Adaptation of Recurrent Neural Networks for Natural Language Understanding." In INTERSPEECH-2016, pp. 690-694.

Kim, S., D'Haro, L. F., Banchs, R. E., Williams, J. D., Henderson, M., and Yoshino, K. (2016). "The Fifth Dialog State Tracking Challenge." In Proceedings of the 2016 IEEE Workshop
on Spoken Language Technology (SLT), pp. 511-517.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

Lei, T., Barzilay, R., and Jaakkola, T. (2016). "Rationalizing Neural Predictions." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), pp. 107-117.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries using N-gram Cooccurrence Statistics." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1 , pp. 71-78.

Liu, B. and Lane, I. (2016a). "Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling." In INTERSPEECH-2016, pp. 685-689.

Liu, B. and Lane, I. (2016b). "Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2016), pp. 22-30.

Mesnil, G., Dauphin, Y., Yao, K., Bengio, Y., Deng, L., Hakkani-Tür, D., He, X., Heck, L., Tur, G., Yu, D., and Zweig, G. (2015). "Using Recurrent Neural Networks for Slot Filling in Spoken Language Understanding." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 23 (3), pp. 530-539.

Mesnil, G., He, X., Deng, L., and Bengio, Y. (2013). "Investigation of Recurrent-NeuralNetwork Architectures and Learning Methods for Spoken Language Understanding." In INTERSPEECH-2013, pp. 3771-3775.

Monroe, D. (2018). "AI, Explain Yourself." Communications of the ACM, 61 (11), pp. 11-13.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318.

Ramshaw, L. and Marcus, M. (1995). "Text Chunking using Transformation-Based Learning." In 3rd Workshop on Very Large Corpora, pp. 82-94.

Raymond, C. and Riccardi, G. (2007). "Generative and Discriminative Algorithms for Spoken Language Understanding." In 8th Annual Conference of the International Speech Communication Association, pp. 1605-1608.

Takahashi, T. and Yokono, H. (2017). "Two Persons Dialogue Corpus Made by Multiple Crowdworkers." In Proceedings of the 8th International Workshop on Spoken Dialogue Systems (IWSDS 2017). 6 pages.

Taylor, R. S. (1968). "Question-Negotiation and Information Seeking in Libraries." College 8 Research Libraries, 29 (3), pp. 178-194.

Vu, N. T., Gupta, P., Adel, H., and Schutze, H. (2016). "Bi-Directional Recurrent Neural Network with Ranking Loss for Spoken Language Understanding." In 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6060-6064.

Yao, K., Peng, B., Zhang, Y., Yu, D., Zweig, G., and Shi, Y. (2014). "Spoken Language Understanding Using Long Short-Term Memory Neural Networks." In Spoken Language Technology Workshop (SLT), pp. 189-194.

Yao, K., Zweig, G., Hwang, M.-y., Shi, Y., and Yu, D. (2013). "Recurrent Neural Networks for Language Understanding." In INTERSPEECH-2013, pp. 2524-2528.

## 略歴

福永隼也：2017 年東京工業大学工学部情報工学科卒業. 同年より東京工業大学情報理工学院修士課程在学中. 学士 (工学). 言語処理学会会員.

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策$\cdot$ メディア研究科修士課程修了. 同年, 日本電信電話株式会社入社. 2013 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. NTTメディアインテリジェンス研究所研究員を経て, 2015 年より東京工業大学情報理工学院助教. 2017 年 IE 経営大学院修士課程修了. 博士 (工学)。自然言語処理, 特に自動要約, 自然言語生成の研究に従事. The Association for Computational Linguistics, 言語処理学会, 人工知能学会, 情報処理学会各会員.

徳永健伸：1983 年東京工業大学工学部情報工学科卒業. 1985 年同大学院理工学研究科修士課程修了. 同年 (株) 三菱総合研究所入社. 1986 年東京工業大学大学院博士課程入学. 現在, 東京工業大学情報理工学院教授. 博士 (工学).専門は自然言語処理, 計算言語学. 情報処理学会, 人工知能学会, 言語処理学会, 計量国語学会, Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association 各会員.

横野光 : 2003 年岡山大学工学部情報工学科卒業. 2008 年同大大学院自然科学研究科産業創成工学専攻単位取得退学. 東京工業大学精密工学研究所研究員, 国立情報学研究所特任研究員, 同研究所特任助教を経て, 2016 年より株式会社富士通研究所研究員. 博士 (工学). 意味解析の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

高橋哲朗：2005 年奈良先端科学技術大学院大学博士後期課程修了. 博士（工
学). 同年株式会社富士通研究所入社. 2008 年〜2010 年ニフテイ株式会社にて Web サービス開発, 2011 年〜2012 年マサチューセッツ工科大学にて客員研究員を経て, 現在富士通研究所にて自然言語処理およびデー夕分析の研究に従事.

(2018 年 8 月 1 日受付)

(2018 年 11 月 15 日再受付)

(2018 年 12 月 10 日採録)