# 知識と話題の埋め込み表現に基づく質問生成と対話システムへの 適用

一料理嗜好インタビューシステムに向けて一

曽傑 $\dagger$ ・中野有紀子†

会話を通して料理に関するユーザの嗜好を獲得する対話システムの実現に向け，本研究ではグラフ構造を持つ大規模知識 Freebase に基づいて, 話題を選択し, 質問を 生成する手法を提案する，知識グラフのエンティティ間の関係を話題とみなし，話題どうしの関連の強さを Wikipedia に基づき学習し, 関連話題を選択するとともに,質問生成時に欠損しているエンティティを知識グラフ埋め込みにより予測・補完す る。これらにより, 話題を幅広く展開しながらユーザの嗜好を質問することが可能 になる。提案手法を実装した質問生成機構を組み込んだインタビュー対話システム を作成し，クラウドソーシングにより被験者を募りユーザスタディを行った。その 結果，1つの料理から話題を展開した対話を長く継続するという効果を示すととも に，提案手法により生成された質問の質を調査した。さらに，対話破綻が一定以下 に抑えられた場合に, 被験者の主観評価において, 話題の多様性や文脈の継続性が 印象づけられることを示した。

キーワード：対話システム，知識グラフ埋め込み
## Question Generation in Dialogue Systems based on Embedding Representation of Knowledge and Topics: Towards Food Preference Interview Systems

\author{
JIE ZENG $^{\dagger}$ and YuKIKo NaKANo ${ }^{\dagger \dagger}$
}

With a goal of building a dialogue system that can acquire food preference of users through conversation, this study proposes a method for selecting topics and generating questions based on a large-scale knowledge graph, Freebase. We define a topic as a relation between two entities in Freebase and create a topic embedding model that learns the similarity between topics based on the Wikipedia corpus. This model is used to select topics related to the current one. Moreover, we create a knowledge graph embedding, which is used to predict and complement missing entities in Freebase. These proposed methods enable to generate questions about user preferences while expanding the topic widely. We developed a web-based text chat system that

generates questions based on the proposed methods and conducted a user study using crowd workers. Results demonstrate that the system can continue a dialogue longer by expanding the topics from a single dish. We also investigated the quality of the questions generated by the system. In addition, we showed that subjects received a better impression of the variation of topics and the continuity of contexts when the dialogue failure occurrence was below a certain level.

Key Words: Dialogue System, Knowledge Graph Embedding

## 1 はじめに

ユーザから情報を取得することは，対話システムの主要な用途の1つである．初期の研究である ATIS (Hemphill et al. 1990) では, 出発地, 目的地, 希望の日時等, フライト検索に必要な情報を得ることが対話システムの目的であった。近年では，ものやサービスに対するユーザ評価や意見を収集することを目的とするインタビュー対話システムも提案されている (Johnston et al. 2013). しかし, 対話システムとのやり取りによって，うまくユーザの嗜好や評価を聞き出すことはまだ十分に達成できていない.

一方，人同士の会話に目を向けると，会話を通して客の好みをうまく聞き出していることがわかる，例えば，ソムリエは，客の嗜好を捉えて客の好みにあった料理やワインを勧めるが，その際，客の好みの料理や食味などについて質問する他にも，ワインや食べ物について，専門家としての知識を使って話題の幅を広げながら会話をしている。その結果，ユーザに負担をかけることなく，ユーザの嗜好をうまく収集している。

また, 商品推薦などの個人化されたサービスでは，ユーザの好みや嗜好の情報が必要であるが, アンケートで数多くの質問項目に回答するのはユーザの負担となることが問題となっている (Smyth 2007; Lam et al. 2008)。そのため, システムとの対話を楽しんでもらいながら，ユー ザの嗜好を聞き出すことができれば有用性は高い.

そこで本研究では，対話を通してユーザの嗜好を獲得する対話システムの実現を目指し，関連する話題を選択し，その話題を展開しながらユーザの料理や材料の好みについて尋ねるインタビュー対話システムを提案する。これを実現するために，本研究では, 分野についての大規模な知識を活用することに着目し，大規模知識を利用した関連話題の選択と質問生成に焦点を当てる.

これまでの大規模知識ベースを用いた対話システムの研究では，大規模知識ベースを用いて関連エンティティやその属性を推論することにより，ユーザからの質問に対して多様なシステム応答を生成すること (Han et al. 2015) や，雑談対話において意味のある返答を生成すること (Moon et al. 2019) が主要な目的であり, ユーザ情報の取得のための質問生成については取り組まれていない.

また, Lee et al. (2015) は知識グラフのエンティティ間の関係を話題とみなし, 話題どうしの関連の強さを大規模テキスト Wikipediaに基づき学習し, 話題のべクトル表現（本研究では「話題埋め込み表現」と呼ぶ.）を作成している。そして，この話題埋め込み表現を用いて関連話題の選択を行うことを提案している。しかし, 話題埋め込み表現を利用し関連話題を選択しても, その話題についての情報が大規模知識に登録されていなければ，応答生成ができないという問題がある．この問題を解決するために，本研究では，知識グラフのベクトル表現（本研究では 「知識グラフ埋め込み表現」と呼ぶ. ）を利用して，欠損した知識を補完（この手続きを本研究では「知識グラフ補完」と呼ぶ.）したうえで，関連話題を用いた質問を生成する手法を提案する.以上の議論から, 本研究では, 話題埋め込み表現を用いて関連話題を選択し, 知識グラフ埋め込み表現を用いて知識補完を行いながら，大規模知識グラフに基づき，質問を生成することができるインタビュー対話システムを提案・実装することを目的とする。これにより，対話の中で言及される料理について多様な話題を展開しつつ，料理に関するユーザの嗜好を聞き出すための質問生成を実現する，さらに，実装したシステムを用いたユーザスタディを実施し，本研究で提案する質問生成手法の有用性を検証する。本研究の貢献を以下に示す.

(1) 話題埋め込み表現を用いて関連話題を選択し，知識グラフ埋め込み表現を用いて欠損している知識の補完を行うことで, 多様なバリエーションの関連話題を選択し, それらについての質問を生成する手法を提案する.

(2) 上記 (1) の提案手法を料理に関するドメインに適用し, 提案手法による質問生成機能を搭載した対話システムを実装する。また，実装した対話システムを用いてユーザスタディを実施し，対話文脈の継続効果があることを示すとともに，提案手法により生成された質問の質を調査する。さらに，対話破綻が一定以下に抑えられた場合には，被験者の主観評価において話題の多様性や文脈の継続性が印象付けられることを示す.

本論文は，以下のように構成される，2 章では，関連研究について述べ， 3 章では大規模知識を用いた関連話題の決定と知識補完による質問生成について述べる。 4 章では, 実装した対話システムについて説明し， 5 章では，評価実験について述べ，質問生成性能について 6 章, 対話生成性能について 7 章で述べる。最後に 8 章では，本研究のまとめと今後の課題を述べる.

## 2 関連研究

ある目的のためにユーザから情報を聞き出す対話としてインタビュー対話がある．例えば,世論調査 (Johnston et al. 2013) や授業評価 (Stent et al. 2006) を目的とした対話システムが開発されている。これらの対話システムでは，ユーザから収集するべき項目に従い，システムがあらかじめ決められた質問をし，ユーザから肯定・否定，あるいは 5 段階評価といった限定的な回答を得る，一問一答に近い対話を行っている。

ユーザが言及した単語について，さらに詳しく尋ねることを目的とした質問生成の研究も行われている。井上他 (2018) はユーザ発話中のキーワードを抽出し，テンプレート「今おっしゃった (キーワード) について, もう少し詳しく説明してください」にキーワードを埋め込み, 掘り下げ質問をしている。また，疑問詞を用いた質問の生成手法として，名詞と疑問詞の N-gram を用いた方式 (Milhorat et al. 2019) や，動詞の格フレームを利用した研究がある (古川他 2018;下岡他 2017). さらに, 片山他 (2018) は機械学習を用いて Twitter のつぶやきから質問を生成する方法を提案している。本研究では，疑問詞を用いた質問生成機構をシステムの基本機能として実装するが，これに加えて，大規模知識を用いた質問生成手法を提案する.

また, システムの質問の仕方や質問内容によって，ユーザから得られる情報が影響されることが報告されている (Pappu and Rudnicky 2014). Hirano et al. (2016)は, 人対人のテキストベースのチャット実験を行い，相手の発話に関連した話題選択が対話へのユーザ満足度に寄与することを報告している。このように，ユーザ応答に応じて適切に関連話題の提供や質問の変更をすることが，会話を続けることに役立ち，そして好みや嗜好といったユーザ情報を引き出すことに貢献すると考える。

このような対話システムを実現するには，幅広い対象に対して，適切な話題を提供することが重要となる. 非タスク指向型対話システムにおける話題の提供や応答生成として, Twitter デー 夕を用いた応答生成 (稲葉他 2014; Higashinaka et al. 2016) や，単語分散表現を用いた話題の提供 (中野, 荒木 2015; Mikami and Hagiwara 2018) が提案されている. これらの研究は様々な話題を提供するという点において，本研究と関連するが，大規模知識を用いて関連話題を選択する方法ではない点, また, 質問生成を目的としていない点において本研究とは手法も目的も異なる。

次に，大規模知識ベースを情報源とした応答生成に関する研究について述べる. Han et al. (2015) は大規模知識ベース Freebase を用いて, 知識ベース中に存在する対象と関連のある知識を用いて応答生成を行っている。また, Lee et al. (2015) は Wikipedia と Freebase を用いて, ユーザの質問に対して関連した回答をするシステムを作成している。例えば，ビル・ゲイッの両親に関する話題から, 関連話題として, ビル・ゲイツの子供へと話題を遷移する。彼らは, Wikipedia 記事から複数の Freebaseの述語（親や子供のように，対象間の関係を表す）を抽出し, 抽出した述語の並びを Skip-gramにより学習することにより, 話題（述語）どうしの近さを表現する埋め込み表現を作成している。本研究では, Lee et al. (2015)の方式を参考に話題の埋め込み表現の作成を行うが, これに加え, 選択した関連話題についての知識が大規模知識に存在しない場合には, 知識グラフ埋め込み表現を用いた知識グラフ補完 (Bordes et al. 2013; 藤岡他 2018) を用いて解決する。話題埋め込み表現による関連話題選択や, 知識グラフ補完について，それぞれ手法は提案されているが，本研究の目的は，これらを統合することにより，多様な話題について質問生成する手法を提案することである.
一方，料理に関連した研究では，近年，楽天レシピ1やクックパッド2のようなユーザ投稿型の料理レシピサイトが普及し, 大規模なレシピの情報を利用して, 料理に対する味の推定 (松長他 2015), オノマトぺを含む食味表現推定 (松長他 2015), オノマトぺによるレシピ検索 (渡辺,中村 2015) などの研究が行われている。また, ユーザの嗜好を推定し， ユーザに料理，レストラン,レシピなどを推薦する研究も行われている (Trattner and Elsweiler 2017). 推薦によく用いられるアルゴリズムとして, 内容ベースと協調フィルタリングがある。 内容べースの方式では, ユーザがレシピにつけた評価に基づき，そのレシピの材料にスコアを付与し，さらに材料のスコアを用いて未評価のレシピについても評価値を求め, 推薦を行う (Freyne and Berkovsky 2010).協調フィルタリングでは，アイテムへの評価の付け方，つまり嗜好が自身と似ているユーザを見つけ, そのユーザが好むアイテムを推薦する推薦方式である. しかし, これらのアルゴリズムを用いた料理推薦システムの問題点として, 多数のアイテム（料理やレシピ等）に関してユー ザに評価してもらう必要があり, それが容易ではないという点がある (Trattner and Elsweiler 2017). そこで, ユーザとのインタラクションの中で, 料理についての嗜好や評価を含むユーザ情報を収集する技術として，本研究で提案する質問方式は役立つと考える.

## 3 大規模知識を用いた関連話題の決定と知識グラフ補完による質問生成

本章では, はじめに, 本研究で用いる大規模知識 Freebase について述べ, 続いて話題埋め达み表現と知識グラフ埋め达み表現の作成について述べる。最後に, 質問生成における話題埋め込み表現と知識グラフ埋め込み表現の利用について説明する.

## 3.1 大規模知識 Freebase

Freebase は Metaweb 社発のオープンな知識データベースであり, Freebase における知識は, RDF (The Resource Description Framework) という構造化されたデータ形式をとり，主語 (Subject, 以降 $\mathrm{S}$ と呼ぶ), 述語 (Predicate, 以降 $\mathrm{P}$ と呼ぶ), 目的語 (Object, 以降 $\mathrm{O}$ と呼ぶ）というトリプル構造からなる. Freebase は 19 億トリプルもの知識を持ち, 多くの要素は http://rdf.freebase.com/ns/m.abc123（あるいは一部省略し， m.abc123）のような URI の形式で表される (Chah 2017). ある対象についての知識例として,「カルボナーラ」の知識トリプルの一部を表 1 に示す.

Freebase 上ではカルボナーラのエンティティには, ユニークな識別子 (machine identifier, mid) として「m.0273gv」が与えられている.ここでカルボナーラ識別子を $\mathrm{S}$ とした場合, この $\mathrm{S}$ が複数の述語 $\mathrm{P}$ を持ち, それぞれの目的語 $\mathrm{O}$ として文字列や, 数値, 別の識別子を持つ. 例えば,


カルボナーラの P である food.dish.ingredients のＯ を参照すると, 材料の 1 つである「パルミジャーノ・レッジャーノ」を示す識別子 m.01sbt1 が得られる.

## 3.2 話題埋め込み表現と知識グラフ埋め込み表現の作成

## 3.2.1 Wikipedia による話題埋め込み表現の作成

関連性の高い話題を選択するために，話題の近さを扱うべクトル空間を作成する。本研究では，Freebaseの材料やジャンルなどを示す述語 P を話題とする. そして Lee et al. (2015)の手法に基づき, Wikipedia 文書中から, 記事名の単語（e.g. カルボナーラ）をSとした場合の述語 P を抽出し, その並びを話題の流れと見なし, Skip-gramで学習を行うことで話題の近さを表すべクトル空間を作成する。以下の手順 (a), (b) に詳細を示す.

(a) Wikipedia 記事から述語の並びを抽出: まず, Wikipedia 記事から述語の抽出を行う．図 1 に「カルボナーラ」記事からの述語抽出例を示す.「カルボナーラ」記事タイトルを $\mathrm{S}$ とし, Freebase においてこれとの間に $\mathrm{P}$ リンクが定義されているエンティティ $(\mathrm{O})$ を本文中から抽出する。例えば，本文中のエンティティ「グアンチャーレ」，「パンチェッタ」を $\mathrm{O}$ とした時に， P として，材料を示す food.dish.ingredients が得られ，「ローマ」を O とした時には，P としてジャンルを示す food.dish.cuisine が得られる. これら抽出された P の並びを, 記事ごとに作成する。なお, P の抽出は, Wikipedia 英語版の料理に関係する記事を対象とする。その理由は,

表 1 「カルボナーラ」が持つ知識トリプル例

図 1 「カルボナーラ」記事からの述語 $(\mathrm{P})$ 抽出例
日本語版に比べ英語版の方が記事の内容が詳細であったからである. Wikipedia 記事が料理に関係するかどうかの判定には，Wikipedia 記事に記載されたカテゴリを使用する．手順としては, 日本語語彙体系 (池原他 1997) において, 食料カテゴリの下位カテゴリである食品, 料理,嗜好品に分類される単語を人手で英単語に翻訳し, それらが Wikipedia 記事のカテゴリ記述中に含まれていれば料理に関係する記事とみなす。表 2 に料理に関する Wikipedia 記事と得られた述語 $(\mathrm{P})$ の詳細を示す.

(b) Skip-gram による話題埋め込み表現の作成: (a) で得た料理記事ごとに抽出した P の並びを話題の系列と見なし, Skip-gramを用いて学習を行う (Mikolov et al. 2013). Skip-gram はPの並びに対して, ある $\mathrm{P}$ とその周辺の $\mathrm{P}$ の出現確率を高めるよう学習する。その結果として, 話題間の近さを $\mathrm{P}$ のべクトル間の距離として計算することができる。本研究では, このべクトル空間を以降,「話題埋め込み表現」と呼ぶ. Skip-gramを用いた学習として, ライブラリの Gensim³ を利用し, window 幅は 5 とし, 各話題 $(\mathrm{P})$ を 100 次元で表現するモデルの学習を行った.

表 3 に学習した話題埋め込み表現において, 材料を示す P:food.dish.ingredients の最近傍 5 つの P を示す. P:food.dish.ingredients の最近傍として，料理のジャンルを示す food.dish.cuisine が出現している。続いて料理のタイプを示すfood.dish.type_of_dish1が現われている.

表 2 料理に関係する Wikipedia 記事と得られた述語 $(\mathrm{P})$ の詳細.()内の数値は標準偏差を示す.

 \\

表 3 話題埋め込み表現における P:food.dish.ingredients の最近傍述語上位 5 つ
^{3}$ Gensim: https://radimrehurek.com/gensim/ (version 3.4.0)
}

## 3.2.2話題埋め込み表現を用いた関連話題の選択

上記の話題埋め込み表現により, 現在の話題である $\mathrm{P}$ に関連する話題（P'と表記）を選択することができるようになる. 例えば, 「カルボナーラ」について図 2 のような話題遷移が可能となる. はじめに, カルボナーラを S としたトリプルから, 赤線で示した材料を示す P:food.dish.ingredients とその目的語 $\mathrm{O}$ のパンチェッタを用いて質問したとする。その後,この話題に関連した話題を提供する際に，P:food.dish.ingredients に近い話題 $\mathrm{P}^{\prime}$ を話題埋め込み表現により取得する。ここで表 3 に示すように話題 food.dish.ingredients と最も近い話題として P':food.dish.cuisine が選択される。その結果, 図 2 の破線で示される, カルボナーラを $\mathrm{S}$, food.dish.cuisine を $\mathrm{P}$ ', イ夕リア料理を O とするトリプルを用いて，システムの次の質問を現在の話題と関連付けたものにすることが可能になる。質問生成方法については， 後に 3.3 節で説明する.

## 3.2 .3 知識グラフ埋め込み表現を用いた知識グラフ補完

3.2.2 節では話題埋め込み表現を用いた話題遷移について述べた.しかし, 話題埋め込み表現のベクトル空間中で近傍として選ばれた述語 $\mathrm{P}$ を持つ知識トリプルが Freebase 中に必ずしも存在するわけではないという問題が存在する。例えば，Freebase において，「餃子」というエンティティは, Pとして food.dish.cuisineを持つ.この $\mathrm{P}$ から, 話題埋め込み表現において距離の近い関連話題として, P':food.dish.ingredients を選んだところ, 餃子を $\mathrm{S}$, food.dish.ingredients を $\mathrm{P}^{\prime}$ とする知識トリプルは存在せず，その目的語 $(\mathrm{O})$ を得ることはできず，知識トリプルの利用を前提とした質問生成ができない.

このような知識グラフの問題に対して, 知識グラフのベクトル表現である知識グラフ埋め込み表現を利用し, 明示的に与えられていないノードやリンクについて予測・補完を行う技術として知識グラフ補完 (Knowledge graph completion) がある. 本研究では知識グラフ埋め达み表現のモデルの 1 つとして, TransE (Bordes et al. 2013)を用いる. TransE はトリプル構造の知識について，S，O をべクトル空間上の点とし，それを結ぶ $\mathrm{P}$ をべクトルとし，以下の式を満たすようにトリプル構造を空間に配置する。

図 2 話題埋め込み表現を利用した「カルボナーラ」についての話題遷移例

$
S+P \approx O
$

これを用いることにより, 所望の $\mathrm{O}$ が知識トリプルに存在しなくても， S と Pを用いたべクトル演算により空間上での予測が可能となる.

以下に TransE を用いた知識グラフ埋め込み表現の作成方法を説明する.

(i) 食に関する知識トリプルの抽出: TransE の学習データとして, 食に関する知識トリプルを Freebase より抽出した. そのために, エンティティのカテゴリやタイプを表す P: type.object.type に着目し，このリンクのO が料理や材料など食についての分類を示す food.foodであるとき，その $\mathrm{S}$ を取得した。つまり P: type.object.type， O: food.food を持つエンティティ $(\mathrm{S})$ を食に関連したエンティティとした。次に，このようなエンティティを $\mathrm{S}$ または $\mathrm{O}$ に持つすべての知識トリプルを収集した。その結果, 食に関する知識トリプル数は 267,019 , エンティティ種類数 (S,O) は $127,214, \mathrm{P}$ 種類数は 764 となり, これらを学習データとした.

(ii) TransE を用いた知識グラフ埋め込み表現の作成: TransEの学習には, 知識グラフ埋め込み表現の学習用ライブラリ OpenKE (Han et al. 2018)を使用し, 次元数 100 で学習した。また,学習された知識グラフ埋め込み表現において，学習されたパラメータを使いべクトル演算を行うと， 1 つの予測に 30 秒程度かかるため, 特徴空間内での超平面による空間分割に相当する近似最近傍探索 (Approximate nearest neighbor) を用いて計算を高速化した.これには近似最近傍探索を実装したライブラリ Annoy ${ }^{4}$ 用いた。これにより，演算処理時間は 0.1 秒以下に高速化することができた.

以上の手順で Freebase に存在しないトリプルについて補完を可能にした. 例えば，「餃子」を $\mathrm{S}$ とした場合, $\mathrm{P}^{\prime}$ :food.dish.ingredients の対象となる O が存在しない問題について, TransEによる O の予測結果を表 4 に示す。値が小さいほど類似度が高いことを示す. 表に示されるように, 穀粉, ネギ, 食肉など, 餃子の材料と考えられるものが類似度において上位に予測されている.

以上，現在の話題対象である料理や材料を $\mathrm{S}$ とし，話題埋め込み表現を用いてにこれに関連した話題 ( $\left.\mathrm{P}^{\prime}\right)$ を選択することができ, さらに，選択された $\mathrm{P}^{\prime}$ においてその対象となる $\mathrm{O}$ が存在しない場合には, 知識グラフ埋め込み表現を用いてO となる対象を予測・補完することができる.

## 3.3 話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問の生成（質問方式 Rel)

本節では，前節までに作成した，話題埋め込み表現と知識グラフ埋め込み表現を利用した知識グラフ補完を組み合わせた関連質問（質問方式 Rel）の生成方法について説明する.
^{4}$ Annoy: https://github.com/spotify/annoy (version 1.15.0)
}

表 4 TransEによる S:餃子 P': food.dish.ingredients からの O の予測（類似度: $\sqrt{2-2 * \cos (v, e)}, v$ : 演算により得られた予測ベクトル $, e:$ エンティティベクトル)

図 3 話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問の生成プロセス

話題埋め込み表現と知識グラフ埋め込み表現を用い，図 3 に示す手順により，関連質問を生成する。はじめに，話題の遷移元として直近で使用した料理エンティティ $\mathrm{S}$ と直近で使用した $\mathrm{P}$ をシステム内部状態（4.3 節で後述）から取得する。そして，直近の $\mathrm{P}$ に関連する話題 $\mathrm{P}$ 'と

定数取得する ${ }^{5}$.

さらに，これら複数の近傍 $\mathrm{P}^{\prime}$ からそれぞれに対応する $\mathrm{O}$ を取得し，これら $\mathrm{SP} \mathrm{O}$ を質問卜リプルの候補とする。O は原則 Freebase から取得するが，Freebase に存在しなければ，知識グラフ埋め込み表現を用いて予測する。得られた質問トリプル候補の中からランダムに 1 つ選択
^{5} \cos$ 類似度へのしきい値を設けた取得制限は行っていない.
}

 \\

表 5 述語 $\mathrm{P}$ とそれに対応するトリプルを用いた質問テンプレート例. 質問文中の表現について複数の候補がある場合に, [] 内で候補を|で区切って示している.

トの例を表 5 に示す. Freebaseの料理や材料の知識, 話題埋め込み表現に出現しやすい 25 種類の $\mathrm{P}$ について各 $1 \sim 2$ パターンのテンプレートを作成した. 実装では近傍 $\mathrm{P}$ の取得数は 10 , 知識グラフ補完により 1 組の $\mathrm{S}, \mathrm{P}$ から O のベクトルを予測し，このＯのベクトルから最近傍エンティティを 3 つ取得し，Oの候補として補完しだ．テンプレートを用いた質問文生成時に知識グラフ補完を行った O を用いる時は，「ですが」と言い切らず，「であると予想しますが」などのように不確定な表現にする。

## 4 対話システムの実装

本章では，話題埋め込み表現と知識グラフ埋め込み表現を用いた質問方式を実装した対話システムについて説明する。

## 4.1 提案手法の概要

図 4 に実行例と用いる質問方式を示す。実行例に示すように，実装した対話システムでは， 3 章で提案した話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問 (Rel) に加え, 文脈初期化質問 (Init)，疑問詞を用いた質問 (WH)，Freebaseトリプルを用いた質問 (Frb) の 3 種類の質問方式を追加した。追加した質問方式については 4.5 節で説明する.

会話は, 文脈初期化質問 Init（例. 図 4 【実行例】のS1：好きな食べ物は何ですか？）から開始される。この質問により, 最初の話題となる料理名や材料名をユーザから聞き出す. システムは，ユーザ応答から得られた料理名または材料名に対応するエンティティ（以後，キーエン
$ のベクトル,$e$ :エンティティベクトルとすると $\sqrt{2-2 * \cos (v, e)}$ を用いた類似度計算を行うが，類似度へのしきい値を設けた取得制限は行っていない。
}
【実行例】(S:システム発話，U:ユーザ発話）

【質問方式】

図 4 実行例と用いる質問方式

ティティと呼ぶ）を抽出し，これらに関連した質問を生成する。そしてそれに対してユーザが回答する。したがって，会話はシステム主導で進行する。図 4 の実行例では，U1 中の「カレー ライス」がキーエンティティとして認識される.

S2 では，キーエンティティ「カレーライス」について深掘りする狙いで，疑問詞を用いた質問 WH を行っている．S3，S4 は知識を用いた質問である．S3 では，「カレーライス」(S)の P: ジャンルが日本料理である, という知識を Freebase 中のトリプルから得ることにより, 質問を行っている (Frb). S4では, 一つ前の S3 で提供した話題（P:ジャンル）に関連する話題として,話題埋め込み表現を用いて, $\mathrm{P}^{\prime}$ : 材料の話題が選択されている。ここで，カレーライスの材料についての知識が Freebase には存在しないという問題が生じる. このように, Freebase において知識が欠落している場合には, 3.3 節の手法を使い, 知識グラフ埋め込み表現により, 知識を補完した上で S4 が生成される (Rel).

図 5 にシステム構成図を示す。主要なモジュールとして，入力理解部，質問方式決定部，質問生成部，内部状態を持つ。おおまかには，まず，ユーザ入力文が入力理解部で処理され，キー エンティティが得られると，質問方式決定部では，そのキーエンティティについて，質問方式セット（例：Init, WH, Frb, Rel）の中から質問方式が決定され，質問生成部で決定した質問方式を用いて質問が生成される，という流れになる，以下では各モジュールについて説明する.

## 4.2 入力理解部

本システムは Freebase に存在する料理や材料のエンティティを起点に, 質問を生成する。そのため, 入力理解部では, 料理または材料のエンティティをキーエンティティとして, ユーザ入力文から 1 つ抽出する。 具体的には, 料理エンティティは Freebase より, P:type.object.type, O:food.dish を持つエンティティ $(\mathrm{S})$ とし, 材料エンティティはP:type.object.type, O:food.ingredient を持

図 5 システム構成図

つエンティティ $(\mathrm{S})$ とし, 各エンティティの日本語ラベルマに該当するものをユーザ入力文より取得する ${ }^{8}$.

また，入力理解部では，対話をスムーズに継続することが困難な状態である対話破綻 (Martinovsky and Traum 2006; Higashinaka et al. 2015)を検知するために，不明や否定を表す表現リストをあらかじめ作成し，ユーザ発話中にこれらの表現が含まれていれば対話破綻とみなし，質問方式決定部に伝え，新たな料理名や材料名を聞き出す文脈初期化質問 Initを生成する。具体例として，システムは次のような場合に対話破綻と判断した：システムの質問に対し, システム発話への理解不能を表す「わかりません」が入力された場合 ${ }^{9}$, システム発話への否定（例えば，「○○は好きですか？」という質問についてユーザが「○○は嫌いです」と回答） が入力された場合，予測補完した知識が正しくないとユーザが判断した場合（例えば，システム発話「ラーメンの材料にジャガイモが使われていると予想しますが...」といった知識の予想による発話に対し,「ジャガイモは使われていません」と異議を示す).

## 4.3 内部状態

内部状態では, 以下の 3 種類の履歴が管理・更新される.
^{9}$ Freebase のエンティティの中にはフィッシュケーキやクワハーダといった一般的に知られていない単語も存在する.このようななじみのないエンティティを用いたシステム発話に対してユーザが不明を表明し，対話破綻を招く可能性が高い。これを回避するために，日本語 Wikipedia にて出現頻度が 40 未満である単語（エンティティ）は質問生成から除外することとした。
}

キーエンティティ履歴：ユーザ入力文から抽出した最新のキーエンティティを保持する。また，適用した質問方式を適用済み質問方式セットに保持する。

料理エンティティ履歴：入力理解部で抽出したキーエンティティの中で，料理エンティティであるもののみを保持する。直近の料理エンティティを $\mathrm{S}$ とて使用し，質問を生成する質問方式が Frb か $\operatorname{Rel}$ の場合に，この履歴を参照する.

質問トリプル履歴：質問方式 Frb, Rel において使用したトリプルを保持する。このトリプル履歴から直近の P を参照し, 関連話題の遷移元として質問方式 Rel で使用する。

## 4.4 質問方式決定部

質問方式決定部では，入力理解部から送信される情報と内部状態の情報を参照し，採用する質問方式を決定する。具体的には，システムが認識した最新のキーエンティティに対し，あらかじめ設定された質問方式セット 10 に含まれる質問方式を 1 度ずつ適用するという制約の下で，質問方式を 1 つ選択する。なお,この制約は評価実験（5 章）において，あるキーエンティティに対して設定された各質問方式の適用回数を均一に設定し, 利用可能な質問方式の違いによる効果を検証するためである。ここでは，質問方式セット (Init, WH, Frb, Rel)を例に, Algorithm 1 に質問方式決定アルゴリズムの詳細を示す.

入力理解部が対話破綻を検知した場合には，新たなキーエンティティ入力を促す文脈初期化


質問 Init を適用する（アルゴリズム Line: 1 2). 対話破綻ではない場合には, 現在のキーエンティティについての未適用の質問方式セットを, 文脈初期化質問 Init を除いた質問方式セットと最新キーエンティティでの適用済み質問方式セット $(\mathcal{M})$ の差分より求める（アルゴリズム Line: 4).未適用質問方式セットが空である場合には, 現在のキーエンティティについて全ての質問方式を適用した（質問生成に必要な情報の不備により，実際には生成できなかった場合も含む）ことを意味する。この場合，新たなキーエンティティ入力を促す文脈初期化質問 Init を適用する（アルゴリズム Line: 5～6). アルゴリズム Line: 7 8 では， ユーザの発話したキーエンティティについて, 直ちに知識を用いた質問方式を用いるのではなく, キーエンティティそのものへの深堀り質問として質問方式 WH を優先的に適用する。記いずれの場合にも当てはまらない場合には，未適用質問方式セットのうちランダムに 1 つ選択する（アルゴリズム Line: 10).

## 4.5 質問生成部

質問方式決定部により決定された方式を用いて質問文を生成する。ここでは， 3 章で述べた方式以外の既存技術による 3 種類の質問方式についてのみ説明する.

## 口 文脈初期化質問（質問方式 Init）

あらたなキーエンティティを得るための 5 種類の文脈初期化質問テンプレートの中からランダムに選択する。例えば，「最近何を食べましたか？」「好きな食べ物はなんですか？」などがある。

## ■疑問詞を用いた質問（質問方式 WH）

キーエンティティについて，具体的にユーザの好みやこだわりを引き出す狙いで，疑問詞「どんな」を用いたテンプレート「どんな＋\$キーエンティティ＋が好きですか？」の\$部分にキー エンテイティの語を代入して質問文を生成する.

## ■ Freebase トリプルを用いた質問（質問方式 Frb）

Freebaseトリプルを用いた質問 (Frb) は, Freebase に存在するキーエンティティを S とする質問生成可能なトリプルからランダムに 1 つ取得し, ジャンルや材料などを示す述語 $\mathrm{P}$ を話題とみなし，テンプレートに適用することにより質問文を生成する。これは Freebase を用いた最もシンプルな質問文生成であり，すでに Han et al. (2015)によって提案・実装されている手法である。質問生成のテンプレートは 3.3 節で提案した表 5 のテンプレートを用いる. 例えば $\mathrm{S}:$ 力ルボナーラ, P:food.dish.cuisine, O：イタリア料理, のトリプルに対し, P:food.dish.cuisineの 1つめの質問文テンプレートを適用すると，「カルボナーラのジャンルはイタリア料理ですが、 イタリア料理で好きな料理は何ですか？」という質問文が生成される.

## 5 ユーザスタディの実施

3 章で質問生成手法を提案し，4章では，それを実装した対話システムを構築した。本章では,対話システムにおける本手法の有用性を検証することを目的とし，評価実験を行う．

## 5.1 実験の概要

話題埋め込み表現と知識グラフ補完を組み合わせた質問生成手法が対話システムにおいてどのような効果を持つのかを検証するために，被験者にシステムとの対話を行ってもらうユーザスタディを実施した。話題埋め込み表現の利用の有無や知識グラフ補完の有無により, 利用可能な質問生成手法の異なる 3 つの条件を設定し（5.3 節）, 各被験者が 3 つの条件全てを実施する被験者内実験デザインを採用した。また, 評価指標として，1: 提案手法による質問の妥当性,

2: 対話文脈の継続性に加え，3: アンケートによる被験者の主観評価を用いた.

## 5.2 実験手法

実験は Web アプリケーション上で行われ，システム質問に対する応答を入力欄にタイプし，

送信ボタンを押すことにより，システムとの会話を行ってもらった。システムと被験者とのやりとりは対話履歴欄に表示される。すべての実験条件でユーザに 50 回の入力を指示し，ユーザの入力回数が 50 回に達し, それに続くシステム応答を表示したのち対話は停止し, 対話終了ボタンを押すことで対話結果がサーバに送信される.

また，各条件の対話終了後，評価アンケートのページにアクセスし，付録表 12 に示す 20 項目からなる 5 段階リッカート尺度のアンケートに回答するよう求めた. また, 自由記述欄も設けた。

被験者はクラウドソーシングサイトで募集した 48 人である. 分析対象として, 対話終了ボタン押し忘れにより対話履歴結果に不備が生じた 1 名, 対話中に同一の回答を 30 回以上繰り返した被験者 1 名のデータを除いた 46 人のデータを使用した.

## 5.3 実験条件

各被験者には以下に示す 3 つ実験条件 (BL, TE, TE+KE) の全てを実施してもらい, 条件の順序はランダムに決定した. 表 6 は各実験条件でシステムが生成可能な質問方式セットを示している。この質問方式セットに含まれる各質問方式を，直近のユーザ入力文より得られたキー エンティティに対し， 1 度ずつ適用するよう質問方式決定アルゴリズム（4.4 節）を設計した. この設計は同一の質問方式による質問の繰り返しを避け，あるキーエンティティに対して設定された各質問方式の適用回数を均一にするためのものである。 たたし，条件 BL は，他の 2 条件よりも生成可能な質問方式が 1 種類少ないため, Frb 質問を 2 回適用することにより, 質問

 &  &  &  \\

表 6 各実験条件と質問方式セット．※ $\mathrm{TE}, \mathrm{TE}+\mathrm{KE}$ と質問方式適用回数を統一するため, Frb を 2 回適用する。

方式適用回数を全条件で統一した.

## ■ ベースライン (Baseline: BL)

インタビューシステムの基本機能として, Init, WH, Frbの質問方式のみを生成できるシステムを実装し，これをべースライン条件とする。したがって，この条件では，話題埋め达み表現と知識グラフ埋め込み表現を用いた関連質問 (Rel) は行わず，大規模知識の利用については， Freebaseのトリプルを使った質問 (Frb)のみが可能となる.

## 話題埋め込み表現 (Topic-Embedding: TE)

条件 BL で利用可能な 3 種類の質問方式に加え, Freebase に存在する知識の範囲内で話題埋め込み表現による関連質問 Relを生成する。これは, Lee et al. (2015)の手法に相当する，つまり，この条件では，知識グラフ埋め込み表現を用いた知識グラフ補完は行わず，話題埋め込み表現により選択された関連話題に関して Freebase 中に知識が存在しなければ，その関連質問は生成しない.

## 話題埋め込み表現＋知識グラフ埋め込み表現

## (Topic-Embedding + Knowledge-Graph-Embedding: TE+KE)

条件 BL で利用可能な 3 種類の質問方式に加え, 知識グラフ補完を行いながら話題埋め込み表現による関連質問 Relを行う。つまり，本条件が提案手法を実装したシステムである。条件 TEでは, 話題埋め込み表現による関連話題は Freebase に存在する知識のみに限られるが，条件 $\mathrm{TE}+\mathrm{KE}$ では選択する関連話題に関する知識が欠損していれば，知識グラフ補完を行う。条件 TE と条件 TE+KE を比較することにより，話題埋め込み表現による関連質問 Relにおける知識グラフ補完の効果を検証することができる。

## 6 関連質問 (Rel) の質問生成性能評価

本章では, 提案手法である関連質問 (Rel) について, 話題埋め込み表現から選択された関連話題についての知識が Freebase に存在しない場合に, 知識グラフ補完を行うことで, 質問候補の作成可能率が向上し, 話題のバリエーションが増えることを評価実験の結果から確認する。また，知識グラフ補完により得た知識トリプルの適切性，質問文の回答性の評価を行った。

## 6.1 関連質問 (Rel) の質問候補作成可能率と話題のバリエーションの比較

はじめに，関連質問 (Rel) について，話題埋め込み表現により選択された関連話題を用いて質問候補となりうるものを作成できた割合として質問候補作成可能率を算出した。また質問候補作成可能である時に提供可能な話題の種類数を算出した. Rel 質問の質問候補作成可能率は以下の式により算出した.

$
R e l \text { 質問の質問候補作成可能率 }=\frac{R e l \text { 質問の質問候補作成可能回数 }}{R e l \text { 質問の適用回数 }}
$

Rel 質問の質問候補作成可能回数は, 直近の料理エンティティ $\mathrm{S}$ と話題埋め达み表現により選択した 10 個の近傍話題 $\mathrm{P}^{\prime}$ を組み合わせ（3.3 節)，それぞれに対応する $\mathrm{O}$ を取得し, 利用可能な SPO トリプル候補数を求め ${ }^{11}$, その候補数が 1 以上であれば質問候補作成可能とみなし, その回数を表す. Rel 質問を備える条件 $\mathrm{TE}, \mathrm{TE}+\mathrm{KE}$ の Rel 質問の質問候補作成可能率の平均値を表 7 に示す. 知識グラフ補完を行わない条件 TEでは, Rel 質問の質問候補作成可能率は 0.18 であるが，補完を行うことで条件 $\mathrm{TE}+\mathrm{KE}$ では， Rel 質問の質問候補作成可能率は 0.81 に向上した。

また, 1 回の Rel 質問候補作成可能時に提供可能な話題 $\mathrm{P}$ の種類数（最大 10 話題）の平均を算出した. その結果, 条件 TEは 1.13 であるのに対し, 条件 TE+KE では 4.56 であり, 提供可能な話題の種類数も増加することが確認された.

次に，各条件において，知識を用いた質問が生成された回数と話題のバリエーションを算出した．知識を用いた質問の回数は，1対話当たりの Frbと Rel 質問の合計回数と定義した. 話

表 7 Rel 質問の質問候補作成可能率
^{\prime}$ の生成文テンプレートが存在し, これまでの対話に同じトリプルを用いた質問を行っていない.
}

図 6 知識を用いた質問の回数 $(* p<.05 * * p<.01)$

図 7 話題のバリエーション $(* * p<.01)$

題のバリエーションは，各対話において Frb もしくは Rel 質問の生成に用いられた P の種類数とした。 どちらも対応のあるデータであり，かつ 3 群間で等分散性があるため，統計検定には Tukey-Kramer 法を用いた.

図 6 に知識を用いた質問の回数の平均を示す. 条件 $\mathrm{TE}+\mathrm{KE}$ が条件 $\mathrm{BL}, \mathrm{TE}$ より有意に回数が多かった $(p<.01, p<.01)^{12}$. 同様に, 図 7 の話題のバリエーションにおいても, 条件 $\mathrm{TE}+\mathrm{KE}$ が条件 $\mathrm{BL}, \mathrm{TE}$ より有意に多かった $(p<.01, p<.01)$.

以上, 知識グラフ補完により, 関連話題を用いた質問の質問候補作成可能率が大きく改善したことで，提案システムは知識を用いた質問をより多く生成でき，また話題のバリエーションもより豊富になっていることを確認した。

## 6.2 知識グラフ補完と関連質問 (Rel) の評価

本節では，関連質問 $\operatorname{Rel}$ の中でも，特に知識グラフ補完を利用して生成された質問の質を評価するために，質問生成に用いた知識トリプル $(\mathrm{S}, \mathrm{P}, \mathrm{O})$ の適切性と生成された質問文への回答性を調査した。

評価対照データとして以下の 2 つの質問サンプルを作成した.

知識グラフ補完により得られた知識トリプルから生成された質問サンプル：条件 $\mathrm{TE}+\mathrm{KE}$ に
$ とし, Freebase に存在するトリプル（質問候補）から 1 つ選択して質問生成するのに対し, 条件 TE の Rel 質問（知識グラフ補完なし）では, 話題埋め込み表現を用いて関連話題として P を 10 個（実験設定）選択し, それらのトリプルを得て, その中からランダムに 1 つトリプルを選び, 質問生成を行うが, Freebase に定義されているトリプル数が少ないため，関連話題を選択しても，そのトリプルを取得することができず，多くの場合 Rel 質問候補の作成に失敗する。そのため, 質問候補の作成可能率の高い Frb のみを用いる条件 BL の方が結果的に質問回数が多くなったと考えられる.
}

て知識グラフ補完を適用して生成された Rel 質問 100 個.

Freebase に存在する知識トリプルから生成された質問サンプル：Freebase に存在する知識トリプルを用いて生成された Frb, Rel（知識グラフ補完なし）質問 134 個.これはすべての実験条件からサンプリングした.

上記の 2 つの質問サンプル群について, 知識トリプルの適切性と質問文の回答性の評価を行った. これら相互の影響を避けるために， 2 つの評価作業は独立して行った. また，この評価は 5 章のユーザスタディに関わっていない評価者 2 名で行った.

## 6.2.1 評価 $1:$ 知識グラフ補完により得られた知識トリプルの適切性

評価者は，知識トリプルの適切性として，ある $\mathrm{S}$ が与えられた場合の $\mathrm{P}$ と , それぞれの適切性を評価した．Sは対話中にユーザが言及したキーエンティティである．Ｏ～～～と P に対応する目的語であり, Freebase 中のエンティティである場合と, 知識グラフ補完により補完したエンティティである場合がある。 $\mathrm{P}$ の適切性は, 対象 $(\mathrm{S})$ に対しての話題 $(\mathrm{P})$ として適切であるか $(\bigcirc)$, 不適切とは言えないがやや違和感を感じるか $(\triangle)$, あるいは不適切だと感じるか $(\times)$ で評価してもらった。また, $\mathrm{O}$ の適切性は, 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ を考慮した上で, 目的語 $(\mathrm{O})$ が適切か $(O)$, 不適切とは言えないがやや違和感を感じるか $(\triangle)$, 不適切だと感じるか (x) を評価してもらった（付録 B）.

わせて許容できる，ラベル×を許容できない，の 2 つに分類した場合, Freebase に存在する知

} & \multicolumn{3}{|c|}{} \\

表 8 知識トリプルの適切性. () 内の数値は 2 名の評価者から得られた評価の総数を示す.したがって,両者の評価が一致しない場合もそれぞれの評価をカウントした.

表 9 両評価者が $\mathrm{O}$ の補完を適切でないと判断した知識トリプル例．P の（）内は直前の O が表すエンティティの性質を示し, 複数の性質がある場合には, |で区切っている.

識トリプルでは, 許容できるとした評価の割合が $96.6 \%$, 知識グラフ補完により得られた知識トリプルでは，許容できるとした評価の割合が $87.5 \% て ゙ あった ． ＼mathrm{~ 知識ク ゙ ラフ補完により得られ ~}$

て，ユーザが言及したキーエンティティ $(\mathrm{S})$ に対し，知識グラフ補完による Rel 質問の話題埋め込み表現から選択された話題 $(\mathrm{P})$ について, 許容できるという評価が $87.5 \%$ でることがわかった.

次に, $\mathrm{O}$ の適切性の評価については, $\mathrm{P}$ の適切性の評価に依存するため, $\mathrm{P}$ の適切性において評価者の一方が許容できない（Pの評価が×）と評価したものを排除した. その結果, Freebase に存在する知識トリプル中の $\mathrm{O}$ について許容できるとした評価の割合は $86.2 \%$ だった。一方,知識グラフ補完により得られた知識トリプル中の $\mathrm{O}$ の適切性は, 許容できるとした評価の割合は $19.4 \%$ であった。つまり，O の補完を適切でないと判断した評価の割合は $80.5 \%$ と高いことを示す。例えば，知識グラフ補完を適用した知識トリプルの中で，両評価者が $\mathrm{O}$ の適切性に× をつけたものを表 9 に示す.

このように，知識グラフ補完により O を正しく補完する割合は低いと言わざるを得ず，補完を用いたトリプルから構成する質問文に対する評価にも影響していると考えられる.

実装に用いた知識グラフ埋め込み表現のモデル TransE について欠点が指摘されており, 改良したアルゴリズムによるモデルは他に提案されている (Trouillon et al. 2016; Nguyen 2017).今後, 新しいモデルも取り入れながら, 知識グラフ補完の精度を向上させることで, 不適切な補完を減らすことができると考える.

## 6.2.2 評価 2 : 知識グラフ補完を用いた関連質問 $(\mathrm{Rel)$ の回答性}

評価者は知識トリプルの適切性（6.2.1 節）で使用した同じ質問サンプルの知識トリプルから,対話で実際に生成された質問文を提示し, 回答可能であれば $\bigcirc$, 回答不能ではないがやや違和感を感じる場合は $\triangle$, 回答不能であれば×と評価してもらった.

せて許容できる，×を許容できないとものして，2つに分類した. Freebase に存在する知識トリプルから生成された質問では, 回答可能 $(\bigcirc)$ である割合が $76.9 \%$ でり， $\triangle$ 合わせると許容できる割合は $92.9 \%$ にる。これは知識トリプルの適切性評価から予測できる結果である。一

} & \multicolumn{3}{|c|}{} \\

表 10 システム質問文の回答性. () 内の数値は 2 名の評価者から得られた評価の総数を示す.したがって，両者の評価が一致しない場合もそれぞれの評価をカウントした.

表 11 O の補完が不適切でありながら，質問文の回答性は許容できると判断された例

方，知識グラフ補完により得られたトリプルを用いた Rel 質問では，許容できると判断された割合は $65 \%$ でった，6.2.1 節で述べたように，補完した $\mathrm{O}$ において，適切性が許容範囲である

容できるという判断が大幅に増えた。

表 11 に補完した O の適切性については許容できないが, 質問の回答性評価では許容できると判断された例を示す。具体的には，知識グラフ補完により得られたトリプルを用いた Rel 質問のうち, 知識トリプルの適切性（6.2.1 節）の評価において, $\mathrm{P}$ の適切性は許容でき $(\mathrm{O} \triangle)$, $\mathrm{O}$ の補完は適切でない $(\times)$ と判断され，質問文の回答性の評価では許容できる（質問文の回答性の評価が○か $\triangle)$ と判断されたものである。各システム質問文の前半では，補完した $\mathrm{O}$ からなる知識トリプルが出現し, その $\mathrm{O}$ にいての適切性では不適切 $(\times)$ と評価したものの,質問文の後半は間違いがない表現であるため, 回答性という観点で評価すると回答不能から,回答不能ではないがやや違和感を感じる $(\triangle)$ へ許容範囲を広げたと考えられる．このように，質問文テンプレートの中で補完された知識をどう利用するのかによって，生成された質問文への評価が影響されるため，知識補完の性能向上だけでなく，質問文の表現や，その回答性についても今後さらに検討する必要がある.

## 7 対話生成性能評価

前章では，ユーザスタディの中でシステムから生成された個別の質問文，特に Rel 質問の質

について評価した。本章では，対話全体への影響やユーザの印象評価を含め，対話システムの観点から提案手法の効果を検証する.

## 7.1 対話生成における仮説

提案手法による対話への効果として，対話文脈の継続性と被験者の主観評価についての仮説を設定し，検証する。

【仮説 1 】条件 BL は関連話題を使った質問は行わず, 条件 TE は選択された関連話題について Freebase に存在する範囲でのみ質問するのに対し, 条件 TE $+\mathrm{KE}$ では, Rel 質問の質問候補作成可能率が上がることにより，関連話題へと展開する可能性が高い。そのため, 条件 $\mathrm{TE}+\mathrm{KE}$ では関連話題への展開が連鎖的に起こり，他の 2 条件に比べ，1つのキーエンティティから話題を展開した対話をより長く継続すると予想される。

【仮説 2 】条件 BL，TE はユーザの言及する料理や材料について Freebase に定義されている知識を使った質問に限られるのに対し, 条件 TE $+\mathrm{KE}$ では知識グラフ補完により多くの料理や材料について多様な話題を用いた質問が対話に出現すると考える。そのため，ユーザは条件 $\mathrm{TE}+\mathrm{KE}$ での対話は他の条件と比べ, ユーザの発言をシステムが理解し, 話題のバリエーションが多く,関連性のある応答を行い，対話を継続させ，ユーザから会話や情報を引き出している印象をもつと予想される。

## 7.2 文脈継続性の比較【仮説 1 】

仮説 1 を検証するために，文脈あたりのターン数に着目して分析した。ここで文脈とは，ユー ザ入力から得られた 1 つのキーエンティティをきっかけとし，他のエンティティへと話題を派生しつつ対話を継続した区間とし，ある文脈初期化質問 (Init) から次の Init 質問までの対話区間と定義した。なぜなら, Init 質問は対話開始時, 対話破綻時, および現在のキーエンティティについての適用可能な質問方式を全て使い切ってしまった時に生成されるため，そこを文脈の区切りとみなせると考えたからである.

各条件の文脈あたりの平均ターン数のグラフを図 8 に示す。対応のあるデータであり，かつ 3 群間に等分散性が認められないため, 統計検定には Wilcoxon 符号付き順位検定を用いた.

条件 TE+KEの文脈あたりの平均ターン数が最も多く, 条件 BL, TE との間に有意差 $(p<.01$, $p<.01)$ があった．条件 $\mathrm{TE}$ は他条件に比べ，知識を用いた質問回数が有意に少ないことから (6.1 節), ユーザから新しいキーエンティティを引き出す機会が少なく, 結果として他条件に比べ，文脈あたりの平均ターン数も有意に少なくなったと考えられる．以上，「仮説 1 : 条件 $\mathrm{TE}+\mathrm{KE}$ では, 他の 2 条件に比べ, 1 つのキーエンティティから話題を展開した対話をより長く継続すると予想される」は支持された.

そこで，実際に実験において観察された条件 TE+KE における対話継続の様子を説明する.

図 8 文脈あたりの平均ターン数 $(* p<.05 * * p<.01)$

図 9 に, 条件 $\mathrm{BL}$ と $\mathrm{TE}+\mathrm{KE}$ の対話例を示す. 条件 $\mathrm{BL}$ の対話（対話例 1）は Freebase に存在する知識のみを用いて質問を行い，比較的破綻なく対話は進行している。しかし，対話例 1 中のキーエンティティ「青魚」に対し，「青魚」の知識トリプルからジャンル話題を用いた Frb 質問 （対話例 1-Sys_34）を生成するが，ユーザの応答は「イタリアンも好きです」であり，そこから新たな料理名，材料名のキーエンティティを得られない。そこでシステムは 2 回目の Frb 質問の適用を試みるが，先ほど使用した知識トリプルが「青魚」について Freebase 中で定義されている唯一のトリプルであったため, Frb 質問の生成に失敗し，結果的に初期化質問 Init（対話例 1-Sys_35）が生成され，文脈がリセットされる。このような場合に, 条件 TE+KEでは, 知識グラフ補完を用いることで Freebase に定義されていない知識についての質問生成を可能にしている。例えば，対話例 2-Sys_26で，Frb 質問をしたのち，Sys_27では, Rel 質問により Freebaseに定義されていない材料についての話題を用いて質問している。また, 対話例 3-Sys_8で Frb 質問をしたのち，対話例 3-Sys_9では，料理「たこ焼き」に何を添えるかについての質問を生成している。このように Freebase に知識が存在しない，または少ない状況で，知識グラフ補完による Rel 質問により，ユーザから幅広い情報を得る機会を増やし，また，新たな料理名をユーザから引き出し，それを種として質問をすることで対話を継続できたと考える。

## 7.3 主観評価結果

仮説 2 を検証するため, 実験協力者には各条件での対話終了後, 付録表 12 に示したアンケー トに回答してもらった。全被験者の主観評価に加えて, 知識グラフ補完の失敗が原因となった対話破綻による主観評価への影響を考慮し，知識グラフ補完による Rel 質問を備えた条件 $\mathrm{TE}+\mathrm{KE}$ において，対話が他条件と同程度にうまくいった対話に限定した場合の主観評価も調査した。他

図 9 条件 $\mathrm{BL}$ と条件 $\mathrm{TE}+\mathrm{KE}$ での対話例

条件と同程度に対話がうまくいった基準として，対話破綻回数を用いた．知識グラフ補完を行わない条件 $\mathrm{BL}, \mathrm{TE}$ での対話中の対話破綻回数の中央值が 2 回であることから, 条件 $\mathrm{TE}+\mathrm{KE}$ を含め全条件で対話破綻回数が 2 回以下であるデー夕（被験者 10 人）を対象とし, 分析した.

システムの全体的な印象についての質問項目（Q1-Q7）に加え, 提案手法の効果を評価するために，次に示す 5 つの評価指標について分析した。システムの質問はユーザの発話と関連したものであったか（関連性：Q8, 11, 15），システムはユーザの発話を理解して質問していたか (理解：Q9,10), 話題のバリエーションは豊富であったか (バリエーション：Q12,13,14）, システムはユーザから会話や情報を引き出していたか（情報引き出し：Q16, 19），対話の継続性 （継続性：Q17, 18,20）の5つの指標について，それぞれ該当する質問項目の評価値をまとめ,条件間の評価値の差について Wilcoxon 符号付き順位検定を行った。

システムの全体的印象 (Q1-Q7) については, 全データおよび対話破綻回数が 2 回以下のデー

タともに条件に差がないことを確認した.

次に，上で定義した 5 つの評価指標について，全被験者による主観評価結果を図 10 ，対話破綻回数が 2 回以下の被験者による主観評価結果を図 11 に示す.「関連性」と「理解」については，全被験者のデータを用いた場合と対話破綻回数が 2 回以下のデータのみ分析した場合のどちらにおいても，条件間に有意差は認められなかった。

一方,「バリエーション」と「継続性」については，全データを分析対象とした場合は条件間に差は認められなかったが，対話破綻回数が 2 回以下の場合のみを分析すると，条件 $\mathrm{TE}+\mathrm{KE}$ は条件 $\mathrm{BL}, \mathrm{TE}$ と比較して「バリエーション」の評価は有意に高かった $(p<.05, p<.05)$.「継続性」についても，条件 $\mathrm{TE}+\mathrm{KE}$ は条件 $\mathrm{BL}, \mathrm{TE}$ よりも評価値が高く, 有意傾向が見られた

図 10 全被験者による 5 つの指標に関する主観評価結果 $(\dagger p<.1)$

図 11 対話破綻が 2 回以下の被験者による 5 つの指標に関する主観評価結果 $(\dagger p<.1 * p<.05)$
$(p<.1, p<.1)$.

「情報引き出し」については, 全データでは, 条件 TE+KE と条件 BL, TE との間に有意傾向が見られた $(p<.1, p<.1)$. 対話破綻回数が 2 回以下のデータでは, 条件 $\mathrm{TE}+\mathrm{KE}$ と条件 $\mathrm{BL}$ の間に有意差があったが $(p<.05)$, 条件 TEとの間には有意差は認められなかった.

以上, 仮説 2 について, 全被験者のデータを使用した場合では, 条件 TE+KE は条件 BL, TE より，「情報引き出し」の評価値が高く，その差には有意傾向がみられた．また，対話破綻回数が少ない場合には, 条件 $\mathrm{TE}+\mathrm{KE}$ は条件 BL より,「バリエーション」,「情報引き出し」の評価值は有意に高く,「継続性」の評価值でも有意傾向がみられた。条件 TE との比較では,「バリエーション」の評価値は有意に高く，「継続性」においても TE $+\mathrm{KE}$ の方が評価が高く，その差には有意傾向がみられた.

以上の結果は, 6.1，7.2 節で述べた客観評価の結果と一致するものであり, システムの特長がユーザの印象評価にも表れていることが確認できた。対話破綻回数が少ない場合に限定した分析では期待した結果が得られたが, 全データでは効果がかなり限定的であったことから, 対話破綻を防ぐことが, 対話システムにおいて提案手法の長所を活かすためには不可欠であることが明らかになった。

## 8 まとめ

本研究では，料理に関するユーザの嗜好を引き出すインタビュー対話に向けて，様々な料理についての関連話題を用いた質問を行う対話システムを作成した. グラフ構造を持つ大規模知識を利用し, 知識グラフのエンティティ間の関係を話題とみなし, 話題どうしの関連の強さを大規模テキスト Wikipediaより学習し, Skip-gramにより話題埋め込み表現を作成することで,関連話題の選択を可能にした。また，質問生成時に欠損している知識を知識グラフ埋め込み表現を用いて知識グラフ補完を行うことで，関連話題を用いた質問の候補作成可能率を大きく改善し, 提供する話題のバリエーションを増やした。知識グラフ補完の質的な評価も行った。その結果, 知識グラフ補完を行った知識トリプルにおいて，Pが適切，あるいは不適切とは言えないがやや違和感を感じると評価された場合に，O が適切であると判断された割合は $19.4 \%$ と低い結果であったが，知識グラフ補完により得られたトリプルから構成した質問文について，回答可能, あるいは回答不能ではないがやや違和感を感じると判断された割合は $65 \%$ あった.

クラウドソーシングで募集した被験者に, Web 上のシステムとの対話をする評価実験を行った結果, 関連話題の選択と知識グラフ補完を組み合わせた提案システムは, 話題のバリエーションに富み, ユーザの言及した料理名や材料名をきっかけとした会話をより長く継続できることがわかった。また，対話破綻回数が 2 回以下の被験者に限り，比較的，対話がうまくいったと考えられる場合に，提案システムはバリエーション，そして，有意傾向にとどまるが継続性に

ついても，肯定的な主観評価が得られることがわかった.

今後の課題として，まず，本稿で提案した質問は不確実な知識を用いているため，対話破綻やシステムの応答に対してユーザが異論を示す状況が見られた. このような問題に対して, 知識グラフ埋め込み表現を作成するモデルの改良による知識グラフ補完精度の向上や，知識トリプルを用いた質問の表現を工夫することで対話の継続が期待できる。本研究では知識トリプルの SPO が揃った前提のもとで質問を組み立てたが，「S で好きな材料 $\left(=P^{\prime}\right)$ はありますか?」のように，Sについて関連述語として推定した $\mathrm{P}^{\prime}$ だけで質問することも考えられるが，今回の実験設定では生成されないため，これらを含めた検討が今後必要である。また，対話の中でユー ザから正しい知識を教えてもらうといった知識獲得を行い，対話を継続しつつ，知識べースの更新や知識グラフ埋め込み表現を改良するなどの方向性も考えられる。

その他に，関連話題選択方法の改良も必要である。本手法では，関連話題の近さを扱う目的でWikipedia からの話題の抽出を行っており，抽出した話題も，料理ドメインにおける Freebase の述語を対象としている。そのため, 人間どうしの会話で行われるような話題のバリエーション, 話題選択とは異なる可能性がある。これについては, 例えば, Moon et al. (2019)を参考にし，大規模な対話コーパスと知識グラフを結びつけたデータを使い，深層学習を用いて対話履歴を考慮した知識トリプルの選択を行うといった改良が考えられる。

加えて, 対話で得られた情報が，ユーザの嗜好を実際に捉えているか，料理推薦などに役立つかの調査も必要である.

## 謝 辞

本研究は JSPS 科研費 $19 \mathrm{H} 01120,19 \mathrm{H} 04159$, JST AIP 日独仏 AI 研究 JPMJCR20G6, およびJST ムーンショット型研究開発事業 JPMJMS2011 の助成を受けたものである.

## 参考文献

Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., and Yakhnenko, O. (2013). "Translating Embeddings for Modeling Multi-relational Data." In Advances in Neural Information Processing Systems, pp. 2787-2795.

Chah, N. (2017). "Freebase-triples: A Methodology for Processing the Freebase Data Dumps." arXiv preprint arXiv:1712.0870\%.

Freyne, J. and Berkovsky, S. (2010). "Intelligent Food Planning: Personalized Recipe Recommendation." In Proceedings of the 15th International Conference on Intelligent User Interfaces, pp. 321-324. ACM.
藤岡勇真, 林克彦, 中野幹生, 駒谷和範 (2018). 対話システムにおける知識グラフの埋め込み表現を用いた応答生成の試み. SIG-SLUD, 5 (02), pp. 88-89. [Y. Fujioka et al. (2018). Response Generation for Dialogue Systems by use of Knowledge Graph Embedding. SIG-SLUD, 5 (02), pp. 88-89.].

古川智雅, 吉野幸一郎, 須藤克仁, 中村哲 (2018). 格フレームを用いた質問生成によって深掘りを行う対話システム. SIG-SLUD, 5 (02), pp. 94-95. [T. Furukawa et al. (2018). Dialogue System for Detailed Conversation Based on Question Generation using Case Frame. SIG-SLUD, 5 (02), pp. 94-95.].

Han, S., Bang, J., Ryu, S., and Lee, G. G. (2015). "Exploiting Knowledge Base to Generate Responses for Natural Language Dialog Listening Agents." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 129-133.

Han, X., Cao, S., Lv, X., Lin, Y., Liu, Z., Sun, M., and Li, J. (2018). "OpenKE: An Open Toolkit for Knowledge Embedding." In Proceedings of EMNLP, pp. 139-144.

Hemphill, C. T., Godfrey, J. J., and Doddington, G. R. (1990). "The ATIS Spoken Language Systems Pilot Corpus." In Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 87-95.

Higashinaka, R., Kobayashi, N., Hirano, T., Miyazaki, C., Meguro, T., Makino, T., and Matsuo, Y. (2016). "Syntactic Filtering and Content-based Retrieval of Twitter Sentences for the Generation of System Utterances in Dialogue Systems." In Situated Dialog in Speech-Based Human-Computer Interaction, pp. 15-26. Springer.

Hirano, T., Higashinaka, R., and Matsuo, Y. (2016). "Analyzing Post-dialogue Comments by Speakers-How Do Humans Personalize Their Utterances in Dialogue?-." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 157-165.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. [S. Ikehara et al. (1997). Goi-Taikei—A Japanese Lexicon.].

稲葉通将, 神園彩香, 高橋健一 (2014). Twitter を用いた非タスク指向型対話システムのための発話候補文獲得. 人工知能学会論文誌, 29 (1), pp. 21-31. [M. Inaba et al. (2014). Candidate Utterance Acquisition Method for Non-task-oriented Dialogue Systems from Twitter. Transactions of the Japanese Society for Artificial Intelligence, 29 (1), pp. 21-31.].

井上昂治, 原康平, 相原邦光, 中村静, 高梨克也, 河原達也 (2018). 自律型アンドロイド ERICA

による就職面接対話. SIG-SLUD, 5 (02), pp. 62-65. [K. Inoue et al. (2018). Job Interview Dialogue Performed by Autonomous Android ERICA. SIG-SLUD, 5 (02), pp. 62-65.].

Johnston, M., Ehlen, P., Conrad, F. G., Schober, M. F., Antoun, C., Fail, S., Hupp, A., Vickers, L., Yan, H., and Zhang, C. (2013). "Spoken Dialog Systems for Automated Survey Interviewing." In Proceedings of the SIGDIAL 2013 Conference, pp. 329-333.

片山太一, 大塚淳史, 光田航，齋藤邦子，富田準二 (2018). 相手の発話を深掘りするための質問生成技術. 人工知能学会第 32 回全国大会論文集, 4G103. 一般社団法人人工知能学会. [T. Katayama et al. (2018). Question Generation to Deepen Your Talk. In Proceedings of the Annual Conference of JSAI 32nd Annual Conference, 4G103.].

Lam, X. N., Vu, T., Le, T. D., and Duong, A. D. (2008). "Addressing Cold-start Problem in Recommendation Systems." In Proceedings of the 2nd International Conference on Ubiquitous Information Management and Communication, pp. 208-211.

Lee, K., Seo, P. H., Choi, J., Koo, S., and Lee, G. G. (2015). "Conversational Knowledge Teaching Agent That Uses a Knowledge Base." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 139-143.

Martinovsky, B. and Traum, D. (2006). "The Error is the Clue: Breakdown in Human-Machine Interaction." Tech. rep., University of Southern California Marina del Rey, CA, Inst for Creative Technologies.

松長大樹, 道満恵介, 平山高嗣, 井手一郎, 出口大輔, 村瀬洋 (2014). 料理画像及び素材一覧に基づく料理の味推定に関する検討. 信学技報, 114 (204), pp. 31-36. [H. Matsunaga et al. (2014). A Study on Tastes Estimation of Food Based on Food Images and Ingredients. Technical Report of IEICE, 114 (204), pp. 31-36.].

松長大樹, 道満恵介, 平山高嗣, 井手一郎, 出口大輔, 村瀬洋 (2015). 料理画像及び素材一覧に基づく料理の食味表現推定. 信学技報, 114 (485), pp. 41-46. [H. Matsunaga et al. (2015). Taste and Texture Estimation of Food Based on Food Image and Ingredients List. Technical Report of IEICE, 114 (485), pp. 41-46.].

Mikami, Y. and Hagiwara, M. (2018). "Topic Expansion Method Considering Randomness for Dialogue System." Transactions of Japan Society of Kansei Engineering, 17 (3), pp. 365-373.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Milhorat, P., Lala, D., Inoue, K., Zhao, T., Ishida, M., Takanashi, K., Nakamura, S., and Kawahara, T. (2019). "A Conversational Dialogue Manager for the Humanoid Robot ERICA." In Advanced Social Interaction with Agents, pp. 119-131. Springer.

Moon, S., Shah, P., Kumar, A., and Subba, R. (2019). "Opendialkg: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854.

中野哲寞, 荒木雅弘 (2015). 雑談対話システムにおける単語分散表現を用いた話題展開手法. 言語処理学会第 21 回年次大会発表論文集, pp. 269-272. [A. Nakano and M. Araki (2015). Zatsudan Taiwa Sisutemu niokeru Tango Bunsan Hyogen wo Mochiita Wadai Tenkai Syuho. In Proceedings of the 21st Annual Meeting for the Association for Natural Language Processing, pp. 269-272.].

Nguyen, D. Q. (2017). "An Overview of Embedding Models of Entities and Relationships for Knowledge Base Completion." arXiv preprint arXiv:1703.08098.

Pappu, A. and Rudnicky, A. (2014). "Knowledge Acquisition Strategies for Goal-oriented Dialog Systems." In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 194-198.

下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖 (2017). 音声対話ロボットのための傾聴シ

ステムの開発. 自然言語処理, 24 (1), pp. 3-47. [K. Shitaoka et al. (2017). Active Listening System for a Conversation Robot. Journal of Natural Language Processing, 24 (1), pp. 3-47.]. Smyth, B. (2007). "Case-based Recommendation." In The Adaptive Web, pp. 342-376. Springer. Stent, A., Stenchikova, S., and Marge, M. (2006). "Dialog Systems for Surveys: The Rate-aCourse System." In 2006 IEEE Spoken Language Technology Workshop, pp. 210-213. IEEE.

Trattner, C. and Elsweiler, D. (2017). "Food Recommender Systems: Important Contributions, Challenges and Future Research Directions." arXiv preprint arXiv:1711.02760.

Trouillon, T., Welbl, J., Riedel, S., Gaussier, É., and Bouchard, G. (2016). "Complex Embeddings for Simple Link Prediction." In International Conference on Machine Learning, pp. 2071-2080.

渡辺知恵美, 中村聡史 (2015). オノマトペロリ: 味覚や食感を表すオノマトぺによる料理レシピのランキング. 人工知能学会論文誌, 30 (1), pp. 340-352. [C. Watanabe and S. Nakamura (2015). Onomatoperori : Ranking Cooking Recipes by using Onomatopoeias which Express their Tastes and Textures. Transactions of the Japanese Society for Artificial Intelligence, 30 (1), pp. 340-352.].

## 付録

## A アンケート項目

ユーザスタディ（5 章）で使用したアンケート項目を表 12 に示す.

 & Q11 &  \\

表 12 アンケート項目

## B知識トリプルの適切性評価の詳細

6.2.1 節で行った知識トリプルの適切性の評価作業の詳細を示す. 表 13 に知識トリプルの適切性評価作業シートと評価の例を示した。評価シートの各行には, 評価対象の $\mathrm{S}, \mathrm{P}, \mathrm{O}$ の組と, $\mathrm{P}$ の適切性，および $\mathrm{O}$ の適切性の評価を記入する闌が設けられている。表 13 では，評価記入欄に評価の例が記載されている。評価対象とした SPO は，補完された $\mathrm{O}$ も含み，実際に質問生成に使用された知識トリプルである。Pについては，Freebaseの述語を自然言語の表現で示している。表現の候補が複数ある場合には [] 内で示し，候補を|で区切っている。

表 13 知識トリプルの適切性評価作業シートと評価の例

評価者は，はじめに P の適切性を評価するよう指示された，具体的には，「評価シート中の対象 $(\mathrm{S})$ に対しての話題 $(\mathrm{P})$ の適切性を判断し, 以下の 3 つのいずれかを選び, 評価シートに記入してください」, と指示した.

$\mathrm{P}$ の適切性：

○: 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として適切.

$\triangle$ : 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として不適切とは言えないが, やや違和感を感じる.

$x$ : 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として不適切.

次に，Oの適切性を評価するよう指示した。具体的には，「対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ を考慮した上で, 目的語 $(\mathrm{O})$ の適切性を判断し，以下の 3 つのいずれかを選び，評価シートに記入してください」, と指示した.

$\mathrm{O}$ の適切性：

$\bigcirc$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として適切.

$\triangle$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として不適切とは言えないが，やや違和感を感じ

る.

$x$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として不適切.

なお，評価者は，知識トリプルの適切性を評価するため，エンティティについて調べることを許可された。

## 略歴

曽傑：2017 年成蹊大学理工学部情報科学科卒業. 2019 年同大学院理工学研究科修士課程修了. 現在, 同研究科博士課程在籍. 自然言語処理, 対話システムの研究に従事. 人工知能学会学生会員.

中野有紀子：1990 東京大学大学院教育学研究科修士課程修了. 同年, 日本電信
電話（株）入社. 2002 MIT Media Arts \& Sciences 修士課程了。2002-2005 (独) 科学技術振興機構社会技術研究開発センター専門研究員, 2005-2008 東京農工大学大学院工学府特任准教授, 成蹊大学理工学部情報科学科准教授を経て, 現在, 成蹊大学理工学部情報科学科教授. 知的で自然なユーザインタフェースの実現に向けて，人との言語・非言語コミュニケーションが可能な会話エージェントの研究に従事. 博士 (情報理工学). ACM, 人工知能学会,電子情報通信学会, 情報処理学会各会員.

(2020 年 10 月 31 日受付)

(2021 年 2 月 8 日再受付)

(2021 年 3 月 12 日採録)