# 雑談対話システムにおける対話破綻を生じさせる発話の類型化

東中竜一郎 $\dagger \cdot$ 荒木 雅弘 ${ }^{\dagger \dagger} \cdot$ 塚原 裕史 ${ }^{\dagger \dagger} \cdot$ 水上 雅博 ${ }^{+\dagger \dagger}$
}

本稿では，雑談対話システムにおける対話破綻を生じさせる発話の類型を提案する.対話破綻の類型に関して先行研究では，「理論に基づいた類型」と「データに基づい た類型」が提案されてきた. 前者は, 依拠している人どうしの対話についての理論 が，雑談対話システムの対話破綻現象を捉えるのに適さないことが多いという問題点がある．後者は，データを取得したシステムの対話破綻にしか対応できないとい う限界がある。本稿では，これら二つの類型の問題点をそれぞれが補い合う形で統合し, 雑談対話システムにおける対話破綻を生じさせる発話の類型を新しく作成し た。対話破綻類型アノテーション実験の結果, この統合的な類型は以前に提案され た類型と比較して, Fleiss の $\kappa$ 值において高い一致率を達成し, 安定したアノテー ションが行えることがわかった.

キーワード：雑談対話システム，対話破綻，エラー類型化
## Classification of Utterances that Lead to Dialogue Breakdowns in Chat-oriented Dialogue Systems

\author{
Ryuichiro Higashinaka ${ }^{\dagger}$, Masahiro Araki ${ }^{\dagger \dagger}$, Hiroshi Tsukahara ${ }^{\dagger \dagger \dagger}$ and \\ MASAHIRO MizUKAMI ${ }^{\dagger \dagger \dagger \dagger}$
}

This study proposes a taxonomy of errors in chat-oriented dialogue systems. Previously, two taxonomies were proposed, one theory-driven and the other data-driven. The former suffers from the fact that dialogue theories for human conversation are often not appropriate for categorizing errors made by chat-oriented dialogue systems. The latter has limitations in that it can only cope with system errors for which data exist. This paper integrates these two taxonomies to create a comprehensive taxonomy of errors in chat-oriented dialogue systems. It was determined that, with our integrated taxonomy, errors can be reliably annotated with a higher Fleiss' kappa compared with the previously proposed taxonomies.

Key Words: Chat-oriented Dialogue Systems, Dialogue Breakdown, Taxonomy of Errors


## 1 はじめに

近年, 社会的側面から雑談対話システムが注目を集めている (Wallace 2009; Banchs and Li 2012; Higashinaka et al. 2014; Ram et al. 2018). 雑談対話システムの実装手法としてニューラルネットワークを用いた手法が広く研究されており, 有望な結果がいくつか得られている (Vinyals and Le 2015; Zhang et al. 2018; Dinan et al. 2019; Adiwardana et al. 2020; Roller et al. 2020). しかし, これらのシステムの性能はまだ満足できるものではなく, 対話破綻が生じるようなシステムのエラーがしばしば見られる.

システムのエラーを減らす方法のひとつは, どのような種類のエラーが生じやすいのかを分析し，そのエラーを削減する手立てを考えることである。このような目的において，エラーの類型化は有用である。これまで，タスク指向対話システムにおいてはいくつかのエラー類型が提案されており (Dybkjær et al. 1996; Bernsen et al. 1996; Aberdeen and Ferro 2003; Dzikovska et al. 2009), システムの性能向上において効果を発揮してきた. 雑談対話システムにおいても同様のアプローチがなされてきており, 東中らは「理論に基づく類型」と「データに基づく類型」の二つの観点の異なる類型を提案している (Higashinaka et al. 2015a, 2015b) ${ }^{1}$.

しかし, 前者の「理論に基づく類型」は, Griceの会話の公準 (Grice 1975) や隣接ぺアの概念 (Schegloff and Sacks 1973) など, 人どうしの対話を対象とした理論が元になっているため, 人とシステムとの対話において生じるエラーと適合しない点が多いという問題点があった。また後者の「データに基づく類型」は，分析に用いたデータのみから引き出されたエラー類型であり, 潜在的に生じ得るエラーや未知のシステムで生じる可能性があるエラーがカバーできていないという限界がある。これらの理由から, これらの類型はアノテーションの一致率が低いという問題や，エラーの概念化があまりうまくできていないという問題を抱えている (Higashinaka et al. 2019).

本稿では, 雑談対話システムにおける新しい対話破綻の類型を提案する。これまでに提案された二つの類型に基づいて, それぞれの類型の利点と欠点を明らかにしたうえで, 統合的な類型を作成した. そして, この統合的な類型の適切性をアノテーションの一致率を用いて評価したところ, Fleiss の $\kappa$ 値が専間作業者間で 0.567 , クラウドワーカー間で 0.488 となり, 既存の類型よりも高い值となった。また，アノテーションにおいて判断が困難とされた事例もほとんど見られなかった。このことから，統合的な類型はエラーの概念化が適切になされており, 雑談対話システムの分析に適するものになっているといえる.


## 2 従来の類型とそれらの統合

東中らは雑談対話システムのエラーについて,「理論に基づく類型」(Higashinaka et al. 2015a) と「データに基づく類型」(Higashinaka et al. 2015b)の 2 種類を提案している.

「理論に基づく類型」は，対話における人どうしの協調的な振る舞いを説明する対話理論に基づき，対話理論が説明する原則から逸脱した現象をエラーとして位置づけている。それに対して「データに基づく類型」は，雑談対話システムの対話データの分析に基づいて典型的なエラーを抽出したものである。この類型では，対話破綻を生じさせたシステム発話に対してアノテータがそのエラー内容を説明するコメントを付与し，それらのコメントにクラスタリング手法を適用して，得られた個々のクラスタに名前を付与したものをエラー類型としている.

## 2.1 理論に基づく類型

「理論に基づく類型」 (Higashinaka et al. 2015a; 東中他 2016) は, 人どうしの協調的な対話の原則とされる Griceの会話の公準 (Grice 1975) に主として基づいている. Griceの会話の公準は，対話において一般的に成り立つ協調性の原則を，量・質・関連性・様態のそれぞれの観点から規定している。一方, 対話の構成要素をスコープの広さで分類すると, 発話・隣接ペア (Schegloff and Sacks 1973)・対話内文脈・対話外の環境となる. 協調性の原則とスコープは原則として直交する概念であるので, これらの組み合わせでエラー類型を規定できるとして考案されたものが，この類型である．ただし，協調性の原則とスコープの組み合わせにおいて，「発話」 に対する「関連性」の逸脱は定義できないので除かれている。また，分析に用いた対話デー夕中に観測された，人どうしの対話では現れない対話システム固有のエラーについては，該当するスコープ内に付け加えられている.

この類型では，エラーの種類は表 1 に示す 16 種類となっている．大分類にスコープ, 小分類に主として Griceの会話の公準を位置づけた対応となっている.

この類型は, アノテーションの一致率によって評価された. 具体的には, 対話破綻のアノテー ションが行われたデータを対象とし，特に対話破綻を引き起こすと考えられる発話に対して，エラーの種類を付与することで行われた。アノテーションの一致率（Fleissの $\kappa$ 值）は，大分類で 0.400, 小分類で 0.239 と低いものであったと報告されている (Higashinaka et al. 2015a). このように低い一致率となった原因としては, 評価に用いた人とシステムとの雑談対話において対話破綻が高頻度で起こっており，人を対話相手とする場合とは異なる振る舞いをユーザがした結果, 対話そのものが人どうしのものとはかなり異なったものになっていたということが考えられる。それゆえ, 人どうしの対話における協調性を前提とした理論がうまく当てはまらない対話であったにも関わらず, その観点からエラーを分類しようとしたため, アノテーションの一致率が結果として低くなったものと考えられる。このことを支持するデータとして, ひとつの対

 &  \\

矛盾 & 基盤化欠如 (Lack of common ground) \\
& 非常識 & 一般常識欠如 (Lack of common sense) \\
社会性欠如 (Lack of sociality)

表 1 理論に基づく類型

話中で最初に出現するエラー（小分類）に対するアノテーションの一致率が 0.32 であったのに対して, 2 回目以降のエラーに対するものは 0.19 であったことが報告されている (Higashinaka et al. 2019).

## 2.2 データに基づく類型

「データに基づく類型」(Higashinaka et al. 2015b) は，対話破綻アノテーション時に破綻発話に対して付けられたコメントをクラスタリングすることによって作成された。コメントを付与したアノテータは主として対話システムの研究者である. クラスタリングに際しては, 事前にクラスタ数を決めることが難しいことから，データに基づいてクラスタ数を自動的に決めることができるノンパラメトリックベイズの一手法である Chinese restaurant process (CRP) (Pitman 1995) が用いられている。約 1,500 のコメントを対象にクラスタリングを行った結果, 17 個のクラスタが得られ，これに基づいて表 2 に示すエラー類型が決められた。なお，類型名はクラスタ毎のコメントを人手で観察することによって決められている.

このようにして決められた類型は, アノテーションの一致率に基づいて評価された (Higashinaka et al. 2019). その結果,「理論に基づく類型」よりもこの類型の方が Fleiss の $\kappa$ 値が高いことが報告されている.

近年, 同様の方法で作成された類型を用い, 対話システムの評価や改善を目指す研究も報告されている. Seeら (See and Manning 2021) は， 特定の対話システムのログにおけるユーザの

表 2 デー夕に基づく類型

ネガティブな反応からエラー類型を作成し，ユーザが不満を抱く原因の特定を図っている.

しかし「データに基づく類型」は，類型作成時の対話データに大きく依存するという問題点がある。対話システムとの対話ログ分析の結果として得られた類型は，現在も進展を続ける技術の特定の時期におけるシステムの誤り傾向の分析に基づいていることになり，今後の技術の進展によって対話システムが異なる振る舞いを示したときに生じ得るエラーには適用できない可能性がある.

## 2.3 類型の統合手順

前節までの分析に基づき，我々は二つの類型を統合するという考えに至った。「理論に基づく類型」は人とシステムとの対話に対して適用が難しい状況があるが，「データに基づく類型」は理論が捉えきれていないそのような対話現象を適切に扱えることが期待できる。一方で，「デー 夕に基づく類型」がカバーできていない現象が潜在的・将来的にあり得るという欠点は,「理論に基づく類型」の考え方に基づいてより包括的な対話現象をカバーする方向で補える. このようにこれらの類型は統合することで，より良い類型となることが期待できる。

まず統合にあたり，既存類型が原則としているシングルラベルアノテーションからマルチラベルアノテーションへと枠組みを変更した。これは，たとえばユーザからの質問に答えないだけでなく，非常識な内容の発言を行うなど，ひとつのシステム発話が複数のエラーを含む可能性を考慮したものである。実際，「理論に基づく類型」の実験結果においてスコープをまたがる
混同が多く見られており (Higashinaka et al. 2015a), 複数のレベルで生じたエラーをカバーするためにマルチラベルアノテーションへの移行は必然であると考えた.

次に「理論に基づく類型」に対して，人とシステムの対話に当てはまりやすいように拡張を試みた。対話システムの起こすエラーは， Grice の会話の公準に基づいて判断できる不適切性をときとして大きく逸脱していることが観察されることから，大きく逸脱するケースを切り出して「形式」のエラーとして捉えることにした. そしてそれ以外を「内容」のエラーとして捉えることにした。なお，スコープについてはまずは大枠を残して考えた。

逸脱の仕方を表す「形式」においては，スコープの狭い順に，言語表現としての標準的な規範（発話レベル），隣接する発話の機能の関係 (Allen and Core 1997)（応答レベル），話題の関連性（文脈レベル）, 社会的規範（環境レベル）を設定することとした。これらは人どうしの対話において通常守るべき形式を表しており，それらからの逸脱は検出しやすく，また概念化もしやすいと考えられる．あるエラーがこれらの形式からの逸脱に当てはまらない場合，「内容」 に問題があると考える。すなわち内容に関しては，当該スコープでの形式が守られているにもかかわらず，そのスコープに原因が存在して対話が破綻している現象を指すことと定義できる。

そして,「理論に基づく類型」と「データに基づく類型」のエラータイプを, 形式・内容とスコープで構成したフレームに当てはめた。ここで，「理論に基づく類型」において「環境」と規定されたスコープについては，我々の方針として守るべき形式として社会規範を導入したことから,「社会性」というスコープ名に置き換えていることに注意されたい。この当てはめの結果,大半のエラータイプは設定したフレームにうまく収まったが，一部のエラータイプはフレームにうまく収まるよう合併・削除・分割・追加が必要であった.

合併・削除については, 東中ら (Higashinaka et al. 2019)の指摘に基づき, 概念的に近い「表現エラー」と「用法エラー」を統合して発話レベルの形式のエラーとし, 曖昧性あるいは対話システムへの理解を必要とする観点からアノテーションが困難であると指摘されている「対話不成立」、「解析エラー」，「会話のずれ」は取り除いた。また，「データに基づく類型」において 「発話無視」とされていたものは, 典型的な隣接ぺアに応じて「依頼無視」「提案無視」「挨拶無視」に分割した（「質問無視」は既に用意されていた）.

このプロセスにおいて，応答レベルの「内容」に当てはまるエラーが見つからなかった。しかし, 応答の形式は守っているものの, 対話破綻が生じるような発話とはどのようなものかという議論から，「期待無視」（次節参照）のエラーを追加した，加えて，誤った情報を含む発話が, 常識欠如, 矛盾, 意図不明などに分散していると考えられたことから, そのような誤りを 「誤情報」のエラーとして切り出して，新規に追加した。

最後に，「理論に基づく類型」において「大分類－類型名」（例：応答一関係）のように呼ばれていたものを「「データに基づく類型」の呼び方に合わせて類型名のみでそのエラーがわかりやすくなり，かつ他のエラーとの区別がつきやすくなるように名称変更を行った.

## 3 統合的な類型

前章での議論に基づいて作成したエラー類型の統合案を表 3 に示す. エラー類型の種類は I1 から I17（I は Integrated の頭文字）までの計 17 種類となり，個々のエラー類型は対話におけるスコープと, 逸脱の種類（形式または内容）の組み合わせでグループ化される．以下では,個々のエラータイプの詳細を対話例（大半は実対話データ，一部作例）を示しながら説明する.

## 3.1 発話レベルのエラー

## 3.1.1 形式の逸脱

発話レベルにおける形式に関するエラーは，対話を行っている言語の形式からの逸脱を表す.

日本語としての妥当な文字列, 文構造をなしていないものがこのカテゴリに当てはまる.

(I1) 解釈不能： 発話の意味内容がまったく理解できないような発話. たとえば，意味のない単語の羅列や誰も理解できないスラング, 断片的な発話など.

(1) Withha （発話をどうにも解釈しようがない）

(I2) 文法エラー： 文を構成する要素の欠落や誤用によって, 文意が汲み取れない発話.

（2）熱中症に気をつけか？？

## 3.1.2 内容の逸脱

単語の意味的組合せの誤用により，内容が汲み取れない，あるいは明らかに事実と異なる意味内容になっているもの.

(I3) 用法エラー： 文法的には問題はないが, 発話の中で一般に用いられないような言葉の用

表 3 統合的なエラー類型
法が用いられている発話. たとえば，単語や表現の組み合わせが意味をなさなかったり， ある述語について相応しくない主語が用いられていたりするなど.

(3) 小説は日露戦争がなるのです（小説は日露戦争がなるものではない）

（I4）誤情報： 明らかに事実とは異なる内容が含まれている発話.

(4) ビートルズのボブディランの新しいアルバムが出ましたね（ボブディランはビートルズのメンバーではない)

## 3.2 応答レベルのエラー

## 3.2.1 形式の逸脱

応答レベルの形式は, Dialog Act Markup in Several Layers (DAMSL)2における機能の対応に基づいている. DAMSL では発話の持つ前向き機能 (forward looking function)を, 発話後の対話相手の信念や行為に影響を及ぼすものと捉え, 後ろ向き機能 (backward looking function) をそれ以前の前向き行為に関連する機能と捉えている.

この考えに基づき, 直前のユーザ発話が質問や提案などの前向き機能を持つとき, システム発話がそれに対応する後向き機能を有していないものを応答レベルにおける形式の逸脱と位置づけた.

(I5): 質問無視： ユーザの質問を無視している発話．具体的には，質問で聞かれている回答種別（たとえば，命題の真偽，確認への YES/NO，同意／不同意, 選択肢からの選択, $5 \mathrm{~W} 1 \mathrm{H}$ 型の質問, 人名, 地名, 理由, 方法など）とタイプが合った内容を含まない返答をしている発話 3 .

(5) U: 何を食べているのですか？

S：スポーツは好きですか

(6) U: 横須賀は何県ですか？

$\mathrm{S}$ : 横浜から横須賀に引っ越すのです

(I6)：依頼無視： 相手からの「〜して下さい」のような依頼に対し, 適切な後向き機能を有しない発話。

(7) $\mathrm{U}$ : 今度買ってきて下さい

S: やはり暑い季節に合わせたコスチュームになっているのでしょうかね？


(I7): 提案無視： 相手からの「〜しましょう」という提案に対し, 適切な後向き機能を有しない発話.

(8) $\mathrm{U}$ : 趣味の話をしましょう

$\mathrm{S}$ : 裏磐梯と台湾なら, どちらが楽しいでしょうか？

(I8): 挨拶無視：相手からの挨拶に対し, 適切な後向き機能を有しない発話.

(9) U: そろそろ帰りますね。

$\mathrm{S}$ : こんにちは. （別れる挨拶に対して，会った時の挨拶をしている）

## 3.2 .2 内容の逸脱

直前のユーザ発話に対する応答の形式は合っているが, 期待されている内容が含まれていないもの.

(I9)：期待無視： 前向き機能を有する相手からの発話に対し, 適切な後向き機能を有する発話としての形式は満たしているが，期待されている内容を含まない応答．あまりに情報がなかったり遠回しだったりする応答で, 内容が妥当ではないと考えられる応答.

(10) U: 好きなスイーツありますか？

S：あります。（肯定的な返答の場合には，そのスイーツの名前を具体的に答えることが期待されている)

この例は一見妥当な応答に見えるが，協調的に対話を進めている文脈ではこのような応答が不適切となることがある.

## 3.3 文脈レベルのエラー

ここでは，文脈レべルの形式を話題の関連性維持と定義した。すなわち，話題からはずれる発話や意図の不明確性・必要な要素の欠落などによって現在の話題を継続することが難しい状況を文脈レベルの形式からの逸脱と捉える。それに対して，話題は維持されているものの，矛盾や不要な繰り返しを含む発話を内容の逸脱とした.

## 3.3.1 形式の逸脱

(I10): 発話意図不明確： 発話そのものは理解でき，かつ応答内容と話題との関係も分かるが, その内容をなぜ発話したのかという意図が明示されず，かつ文脈からも意図が分からない発話. 関係性を表す要素（たとえば，接続詞や状況説明）が不足しているなど.

$
\mathrm{U}: \text { こんにちは. 私はイチゴが好きです. あなたは？ }
$

S：私はりんごが好きです

$\mathrm{U}:$ 赤い色っていいですよね.

S: イチゴは美味しいですね（りんごが美味しいと言っていたのに，なぜ突然イチゴに言及するのか意図が不明確)

(I11)：話題遷移エラー： 直前に相手が話していた話題と異なる話題へ説明なく遷移させる発話. ユーザの新しい話題に遷移する発話に対して, 理由なく元の話題に戻す発話も含む. なお, 話題とは何について話しているかということを表す。話題の粒度は, 食事, ファッション， スポーツ，美容，健康，旅行などのカテゴリで表現できる程度のものとする。

$\mathrm{S}:$ おー.クラリネットはいいですね.

U：難しかったですが，とても楽しかったです

S: ヘえ〜そうなんですか. 何のパンが一番好きですか？

なお，隣接する発話が明確な話題を持たない場合, このエラータイプは適用されない. また，前の発話がこれまでの話題の終端となり得る後ろ向き機能を持つ発話であるとき，当該発話によって話題の遷移が発生しても，このエラータイプは適用されない。たとえば，以下は話題遷移エラーには当てはまらない.

S: あなたはテレビでオリピックの放送を見ますか？

$\mathrm{U}: はい ，$ 見たいですね.

S:こんな日は鍋料理が食べたいですね.

(I12): 情報不足： 発話に含むべき要素（主として修飾句, および主語や目的語などの格要素） が含まれていないために意味（何を言っているか）が理解できない，もしくは，理解しづらい発話.

(14) U:おはよう。最近はすずしいですよ.

S：好きですよ（何が好きかわからない）

(15) U:それはちょっと高すぎるでしょ？

$\mathrm{S}:$ 温度差がひどいですよねえ（何の「温度差」なのか分からない.）

## 3.3.2 内容の逸脱

これまでの文脈で基盤化された内容に言及し，それらに対して矛盾する発話や不要な繰り返しを行っている発話.

(I13)：自己矛盾：これまでに話者自身が発話した内容と矛盾している内容を含む発話．ただし，矛盾とは平叙文・質問文に関わらず，発話内容に含まれる内容の辻褄が合わないことを指す。

(16) U：どこの出身ですか？

$\mathrm{S}$ ：愛知の知多ですよ．知多半島にあります.

$\mathrm{U}$ : 愛知ですかあ. いいところですね.

S：それから名古屋で就職が決まったことですね.

U: どんな仕事をするんですか？

S：専業主婦ですよ。（就職が決まったという内容と矛盾する）

(I14): 相手の発話との矛盾：これまでに相手が発話した内容と矛盾している内容を含む発話 (矛盾の定義については, 自己矛盾の場合と同様)。また, 相手が言った内容について, それを否定するような質問も含む。

$
\begin{aligned}
& \text { S: セリーグとパリーグはどちらが好きですか？ } \\
& \text { U: セリーグが好きです. } \\
& \text { S: セリーグは嫌いなんですね. }
\end{aligned}
$

(I15): 繰り返し：これまでに自身が発話した文字列をただ繰り返しただけのような発話. なお，単語を言い換えただけのような発話も繰り返しに含む。また，執拗に聞き直すような発話の繰り返しも含む。

(18) S: 映画が楽しみです

$\mathrm{U}:$ そうですか

$\mathrm{S}:$ あはい

$\mathrm{U}:$ 他に好きなものは?

S：映画が楽しみですね

## 3.4 社会レベルのエラー

## 3.4.1 形式の逸脱

言葉使いが社会の儀礼・礼節に反しユーザを不快にする, あるいは差別的で悪意がある発話.

(I16)：社会性欠如：相手，もしくは，特定の社会集団に対して気遣わないような失礼な言い方や言い回しが用いられている発話.
$\mathrm{U}:$ このまえ○○
（国名が入る）に行ってきました
S: ○○の人って頭悪いですよね

## 3.4.2 内容の逸脱

内容が社会通念／知識と反するにもかかわらず，根拠もなく断定あるいは肯定している発話.

(I17)：常識欠如： 常識とは異なる内容が発話に含まれている発話. 一般的な事実とは異なることを無根拠に主張したり，ある社会集団において大多数に信じられている事柄に対して逆の意見を述べたりするなど。

(20) U: 熱中症の話をしたいの？

S：熱中症はいいですよねー

## 3.5 エラーの独立性・排他性

このようにして定めた類型において, その成り立ちからエラーの独立性・排他性を定義しておくべきものがある.

まず，発話レベルで破綻している発話に対しては，その該当するエラー以外のエラーは生じないものとする。「解釈不能」は日本語かどうかもわからないということであり，「文法エラー」「用法エラー」「誤情報」は内容が解釈できないということなので，それによって以降のレベルでの対話の形式や内容が満たされているかどうかの判断はできないと考える.

また, 文脈レベル・形式の枠にある「発話意図不明確」と「話題遷移エラー」,「発話意図不明確」と「情報不足」は同時にはエラーとなり得ず排他的に扱われる。これは 3.3 .1 節で述べたように，「発話意図不明確」が話題に追随できていることを前提としているのに対して，「話題遷移エラー」は不自然に話題が遷移している，「情報不足」は話題との関係が不明という前提があり，定義からこれらは両立しない.

## 4 評価

統合的な類型を用いてエラータイプのアノテーションを行い, アノテータ間の一致率を評価した. 比較のため,「理論に基づく類型」と「データに基づく類型」についても，同じデータ ・同じアノテータで評価を行った。

## 4.1 手順

エラータイプのアノテーションにあたり， 3 節の定義・例示に加えて，それぞれのエラーの背景や注意点などを加えたマニュアルを作成した ${ }^{4}$. また, アノテーション作業中の入力ミスをなくすために，表計算ソフトで入力が行えるワークシートとその作業マニュアルを別途用意した．表計算ソフト上では排他性について処理をあえて行わなかった。これは，アノテータに
^{4}$ https://github.com/ryuichiro-higashinaka/taxonomy-of-errors
}

マニュアルを正確に理解してもらえているかを確認するためである。排他性については，アノテーション後に著者でチェックし，排他条件を満たさないものについては修正を依頼した.

アノテーション対象のデータは, 対話破綻検出チャレンジで用いられた DBDC および DBDC2 のデータ (Higashinaka et al. 2016, 2017)5である. このデータにおける対話は DCM (大西，吉村 2014), DIT (Tsukahara and Uchiumi 2015), IRS (Ritter et al. 2011)の 3 種類の日本語雑談対話システムとユーザとのテキストチャットによって行われた. データ中のすべてのシステム発話に対して, 30 名のアノテータによって破綻度合いのラベル (B (breakdown): 明らかな破綻, PB (possible breakdown): 違和感あり，NB (not a breakdown): 破綻ではない) が付けられている.今回の評価実験では, これらのうち, 半数（15名）以上のアノテータが $\mathrm{B}$ または $\mathrm{PB}$ と付けた発話を破綻発話と認定し, それらに対してエラー類型のアノテーションを行った。

データセットは計 400 対話からなる。このデータセットを漸進的な評価・改良に用いるために各 80 対話からなる 5 つのデータセット A から Eに分割した．結果として，データセット A， $\mathrm{B}, \mathrm{C}$ を用いることで統合案を順次改良し（具体的には，判定が割れた事例を分析し，より良い類型にするために，混同行列を作成し，混同が多い類型の組み合わせについて類型の改訂を行う等)，データセット D で最終的な評価を行った。データセット $\mathrm{E}$ は将来の改良・評価のため現時点では未使用である。評価に用いたデータセット D には 599 個の破綻発話があり，これらをエラー類型アノテーションの対象とした.

アノテータは，その属性に基づいて 2 グループに分割された。 1 つのグループは言語資源作成タスクに精通した専門作業者 2 名からなり, もうひとつのグループはクラウドワーカー 10 名 （20 代から 50 代の女性 6 名男性 4 名, クラウドソーシングサービス会社6による認定ワーカー） からなる．クラウドワーカーを評価に加えた理由は, 今回提案するエラー類型が適切に概念化され非専門家にも容易に理解可能なものであることを検証するためである.

すべてのアノテータは統合的な類型, および,「理論に基づく類型」と「データに基づく類型」 のマルチラベルアノテーションを行った.「理論に基づく類型」と「データに基づく類型」については, 先行研究 (Higashinaka et al. 2015a, 2019) においてシングルラベルアノテーションが実施されているが，2.3 節で述べた通り，ひとつの発話が複数のエラーを含みうることからマルチラベルアノテーションを実施した。なお，「データに基づく類型」については， 2.3 節で述べた東中らの考察 (Higashinaka et al. 2019) と同様の根拠に基づき，「対話不成立」，「解析エラー」,「会話のずれ」のラベルを取り除き，「表現エラー」と「用法エラー」のラベルを統合した。その結果, 「理論に基づく類型」では表 2 に示した 16 種類,「データに基づく類型」では 13 種類のエラータイプでアノテーションが行われた。アノテータは，それぞれのエラータイプの定義
^{5}$ https://dbd-challenge.github.io/dbdc3/datasets

 }^{6}$ https://www.lancers.jp/


と事例が記述されたマニュアルに従い，表計算ソフト上でアノテーションを実施した。

## 4.2 アノテーションー致の評価尺度

我々はアノテーション一致の評価尺度として, Fleissの $\kappa$ 値 (Fleiss and Cohen 1973) を改良して用いた。重み付きの Cohen の $\kappa$ 值を用いている先行研究 (Rosenberg and Binkowski 2004; Ravenscroft et al. 2016)を参考に，重み付き Fleiss の $\kappa$ 值を定義した.

まず，重み付きのアノテータ間一致率 $P_{a}$ を，マルチラベルアノテーションを考慮して以下のように定義した。

$
P_{a}=\frac{1}{N} \sum_{n=1}^{N} \frac{\sum_{c=1}^{C} \sum_{\left(l, l^{\prime}\right)} w_{n c l} w_{n c l^{\prime}}}{\sum_{c=1}^{C} \sum_{\left(l, l^{\prime}\right)}\left(w_{c n l}{ }^{2}+w_{c n l^{\prime}}{ }^{2}\right) / 2}
$

ここで, $w_{n c l}$ は対象発話番号 $n$ にアノテータ $l$ がエラータイプ $c$ を割り当てたときの重みである. 本来この重みはアノテータのマルチラベリングの頻度やエラータイプの出現頻度, さらにはアノテータが複数ラべルの重みを自ら割り当てた際の値などを反映させるべきであるが，計算が複雑になるため今回は対象発話番号 $n$ にアノテータ $l$ が付けたラベルの個数の逆数とした. また, $N$ はアノテーション対象発話の総数, $C$ はエラータイプの種類数で, $\sum_{\left(l, l^{\prime}\right)}$ はすべてのアノテータの組に関する和を示している.

この定義より，重み付き Fleiss の $\kappa$ 値は $\kappa=\left(P_{a}-P_{\epsilon}\right) /\left(1-P_{\epsilon}\right)$ で計算される. ここで, $P_{\epsilon}$ は,

$
P_{\epsilon}=\sum_{c=1}^{C}\left(\frac{1}{N L} \sum_{n=1}^{N} \sum_{l=1}^{L} w_{n c l}\right)^{2}
$

であり， $L$ はアノテータ数である。この重み付き一致率と, 通常の Fleiss の $\kappa$ 値は, 重みが 1 のときに同じ式となる.

本 $\kappa$ 值は, Fleiss の $\kappa$ 值を, マルチラベルアノテーションにおける一致率を評価できるように独自に拡張したものであり, 我々の知る限り, マルチラベルアノテーションにおける $\kappa$ 値の 3 人以上の場合への拡張についての文献は他に見られない.

## 4.3 結果

実験の結果得られた重み付き Fleiss の $\kappa$ 值を表 4 に示す. 統合的な類型の一致率は専門作業者間で 0.567 , クラウドワーカー間で 0.488 であり,「理論に基づく類型」や「データに基づ 〈類型」と比べて高い値となっている。このことから，提案類型は安定したアノテーションが可能であり，有効な類型であるといえる.

「理論に基づく類型」と「データに基づく類型」では専門作業者のほうが $\kappa$ 值が低く, 提案類型では逆になっている理由は, 類型の定義の曖昧性によるものではないかと考えている. 具体

表 4 重み付き Fleiss の $\kappa$ 値

的には，「理論に基づく類型」と「データに基づく類型」における類型の定義は，提案類型に至る過程のものであり，曖昧性があったと考えられる。一般に専門作業者は自身の理解や経験に基づく文脈や用法の細かな違いも踏まえた広範な判断基準に従って厳密にアノテーションを行うが，各自の定義がずれていれば，作業が厳密な分だけ $\kappa$ 値が低くなる，一方，クラウドワー カーの場合, 専門作業者ほどの厳密さを持たないため, このような $\kappa$ 值の低下は起きづらい.今回の提案類型では，エラーの定義が明確化されたため，定義のずれが解消され，専門作業者については $\kappa$ 值が高まり, クラウドワーカーの值を上回ったと考えられる.

なお，今回アノテータには，判断が難しい，あるいは不可能であると思った場合，最も当て嵌まると思われるものを選択しつつ，その旨をコメントとして残すように依頼していた。今回そのようなコメントを残したアノテータはクラウドワーカーにはおらず，専門作業者からのコメントも 1 件（「該当するものがない」）のみであった。このことから，今回の類型が，起こりうる破綻のパターンを十分カバーしたものであると考えることができる.

発話毎の一致割合について, クラウドワーカーによるアノテーション結果において 5 名（すなわち半数）以上が一致している発話の割合を調べた。統合的な類型では，全 599 発話のうち, 507 発話で半数以上一致となり，そうならなかった発話は 92 発話であった.

これに対して「理論に基づく類型」のアノテーションでは, 全 599 発話のうち, 126 発話が半数以上一致, そうならなかった発話が 473 発話となった. この 473 発話のなかで, 396 発話は統合的な類型で半数以上一致となった．統合的な類型による改善が多く見られた事例は, 応答一不理解および応答－意図不明が (I5) 質問無視に集約された事例，スコープの決定がアノテーションが分かれる要因となった, 応答－無関係と文脈－無関係話題が (I10) 発話意図不明確に集約された事例などである。 さらに，(I4) 誤情報カテゴリの導入によって, 応答-無関係, 文脈一関連性不明, 環境一一般常識欠如に分かれていたアノテーションが集約される事例が見られた.

「データに基づく類型」のアノテーションでは，全 599 発話のうち， 347 発話が半数以上一致, そうならなかった発話が 252 発話となった. この 252 発話のなかで, 193 発話は統合的な類型で半数以上一致となった。「理論に基づく類型」の場合と同様に，(I4）誤情報カテゴリの導入は効果的であった. また, 意図不明や話題遷移エラーが (I10) 発話意図不明確に集約された.

統合的な類型のクラウドワーカーによるアノテーション結果から計算した混同行列を図 1 に示す. 混同行列の各要素は以下の式によって求めた.

図 1 統合的な類型の混同行列. I1-I17 は表 3 で定義されたエラータイプを表している。なお，対角成分より上の部分は，行列が対称であることから省略している.

$
m_{c c^{\prime}}=\sum_{\left(l, l^{\prime}\right)} \sum_{n=1}^{N} w_{n c l} w_{n c^{\prime} l^{\prime}} /\left(\begin{array}{l}
L \\
2
\end{array}\right)
$

これはあるアノテータがラベル $c$ と付けた事例に対して, 別のアノテータがラベル $c^{\prime}$ と付けた回数の重み付き平均値を表す. 対角要素の値から見て相対的に大きな値となっている非対角要素は，混同が生じていると解釈することができる.

これによると, (i) (I5) 質問無視と (I10) 発話意図不明確, (ii) (I10) 発話意図不明確と (I11)話題遷移エラー, (iii) (I10) 発話意図不明確と (I12) 情報不足との間で混同が見られる.

(i) の混同パターンについては, (I5) 質問無視と (I10) 発話意図不明確が同じ発話に対して同時に付けられている事例も多かったことから，質問への回答になっていない発話の解釈が難しく，なぜ適切な応答ができなかったのかわからないという判断につながったのではないかと考えられる。

(ii) の混同パターンについては，「発話における話題」の捉え方に個人差があったと考えられる. 典型的な対話例を以下に示す.

(21) U: 死に慣れるのは怖いね

$\mathrm{S}:$ えっ！！？？テトラポットから落ちたんですか？

$\mathrm{U}:$ 落ちていません

S: スイカは木から生えていないですよ.

この対話例の最後のシステム発話では，システムは唐突にスイカについて話し始めている，スイカという単語に着目したアノテータは無理な話題の遷移を表す (I11) 話題遷移エラーと捉えた一方,「死」と「木が生える」という言葉に関連性を感じたアノテータは発話の意図がわから

ないことを表す (I10) 発話意図不明確と捉えたと考えられる.

(iii)の混同パターンについては, 短いシステム発話に対して頻繁に観測されたことから, 対話文脈の情報をどれほど補って解釈できるかということについての個人差によって生じていると考えられる。

(22) U: 国内と海外ではどちらが好きですか.

S：旅行は高いですね

$\mathrm{U}:$ プランによっては安く行けますよ.

S: プランは良いですね

この対話例の最後のシステム発話では, プランの何がどのように良いのかが説明されていない. この発話に対して文脈によって補えきれない要素が特定できたアノテータが (I12) 情報不足, 発話をまったく文脈に位置づけられないアノテータが (I10) 発話意図不明確と判断したものと考えられる。

## 4.4 エラータイプの分布

統合的な類型におけるエラータイプの分布を表 5 に示す. 分布を計算する際に用いたデータは，前節で用いた 3 種類の対話システム (DCM, DIT, IRS) との対話データと，今回分析したデータには含まれていない2つの新しい対話システム Hobbyist (HBY) (杉山他 2020; Sugiyama et al. 2021) 7 , ILYS-AOBA (ILA) (藤原他 2020) 8 との対話データである. これらのデー夕に対して, 2 名の専門作業者が, 対話破綻検出, 破綻類型ラベリングの順でアノテーションを行った. 新しい対話システムの対話データは対話システムライブコンペティション 3 (東中他 2020) の予選で収集された 10 対話9を用いた. HBY は日本語版 BlenderBot (Roller et al. 2020) である. Transformer encoder-decoder モデルを採用し, Twitter から得られた約 21 億個の発話対で事前学習を行い，日本語版の PersonaChat (Zhang et al. 2018) や EmpatheticDialogues (Rashkin et al. 2019) のデータに加え，内製のチャットコーパスを用いて fine-tuning を行っている. ILA は HBY に近いアーキテクチャを採用しているが, 学習データは HBY と比べて小規模である.

分布を見ると, DCM, DIT, IRS の 3 つのシステムでは, (I5) 質問無視と (I10) 発話意図不明確が多かったが，近年のニューラルネットワークベースのシステムである HBY と ILA では (I4) 誤情報と (I13) 自己矛盾が比較的多いことがわかる. これは, 近年のシステムでは主要な問題点が，対話を形式的に成立させるということから，話されている内容やパーソナリティの一貫性を維持することに移っていることを示しているといえる.


表 5 エラータイプの分布. 頻度上位 3 つまでを太字で示している.

なお, DCM, IRS では (I4) 誤情報や (I13) 自己矛盾が, DIT では (I13) 自己矛盾が比較的少ない傾向にある。誤情報は近年の生成型の手法によく見られるエラー（いわゆるハルシネーション (Maynez et al. 2020)）であり，矛盾は，話がある程度つながるようになったからこそ顕在化するエラーである，表 5 に示す通り, DCM, DIT, IRS の全体傾向としては, (I5) 質問無視や (I10) 発話意図不明確が多い，質問無視や発話意図不明確が多いと話が進まず，文脈的なエラー が現れにくいため, DCM, IRS では (I4) 誤情報や (I13) 自己矛盾が, DIT では (I13) 自己矛盾が比較的少なくなっていると考えられる.

杉山らの文献 (杉山他 2020) では, HBY の不自然な発話として「矛盾, 話題の飛び, キーワー ド関係誤り，事実誤認」が挙げられており，これは本類型の I13（矛盾）, I10（話題の飛び）, I4（キーワード関係誤り，事実誤認）にあたり，いずれも他の類型と比較して高い頻度で出現している．また，藤原らの文献 (藤原他 2020) では, ILA で評価が低くなった発話として「文脈と矛盾する応答」が挙げられているが, これは本類型の (I13) 自己矛盾にあたり, 我々の分析でも，他の類型と比較して頻度が高くなっている。この分析を通じて，提案類型を定める上で考察の対象としていない雑談対話システムについても，ある程度エラーの傾向を捉えることができていることがわかる.

## 5 おわりに

本稿では，雑談対話システムにおけるエラーの新しい分類法を提案した。これまでに提案された「理論に基づく類型」と「データに基づく類型」を統合し，統合的な類型を作成した，統合的な類型を重み付き Fleiss の $\kappa$ 值で評価したところ，提案類型は既存のものよりも優れていることがわかった。いくつかのエラータイプの間にはまた混同が見られるものの， $\kappa$ 値はアノテーションを信頼するのに十分な高さを示している.

今後の課題として，英語など他の言語へも類型の適用を広めたい。本類型の考案は日本語を対象に行ったが，類型化の枠組みは言語に依存していない。しかしながら，実際に英語圈の対話システムに対してどのような類型が得られるかは明らかではない。日本語のより多様な対話システムでの破綻に対して類型をより洗練させながら，他の言語に対しても一般性があるかを確認していきたい．他の可能性としては，対話モデルの頑健性を高める unlikelihood training (Li et al. 2019) における人工的なエラー生成のガイドラインとして用いることが考えられる. さらに提案類型はシステムによるエラーを減らすという目的以外にも, 対話の破綻が起きた後に回復する方法の検討に用いることができる (Higashinaka et al. 2020). 修復 (Purver et al. 2018),明確化要求 (Liu et al. 2014; Stoyanchev et al. 2013; Rodríguez and Schlangen 2004), ユーザの不満検出 (See and Manning 2021) など，ミスコミュニケーション時に人々がどのように反応するかを理解するための様々な研究が行われており，我々は本類型を，対話破綻を中心とした様々な対話現象の対応を考えるための指針として，利用していけるのではないかと考えている.

## 謝 辞

本論文の一部は, The 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2021) で発表したものです (Higashinaka et al. 2021).

## 参考文献

Aberdeen, J. and Ferro, L. (2003). "Dialogue Patterns and Misunderstandings." In Proceedings of ISCA Workshop on Error Handling in Spoken Dialogue Systems, pp. 17-21.

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." arXiv preprint arXiv:2001.09977.

Allen, J. and Core, M. (1997). "Draft of DAMSL: Dialog Act Markup in Several Layers." https://www.cs.rochester.edu/research/cisd/resources/damsl/.

Banchs, R. E. and Li, H. (2012). "IRIS: A Chat-oriented Dialogue System Based on the Vector Space Model." In Proceedings of the ACL 2012 System Demonstrations, pp. 37-42.

Bernsen, N. O., Dybkjær, H., and Dybkjær, L. (1996). "Principles for the Design of Cooperative Spoken Human-Machine Dialogue." In Proceedings of ICSLP, Vol. 2, pp. 729-732.

Dinan, E., Logacheva, V., Malykh, V., Miller, A., Shuster, K., Urbanek, J., Kiela, D., Szlam, A., Serban, I., Lowe, R., Prabhumoye, S., Black, A. W., Rudnicky, A., Williams, J., Pineau, J., Burtsev, M., and Weston, J. (2019). "The Second Conversational Intelligence Challenge (ConvAI2)." arXiv preprint arXiv:1902.00098.

Dybkjær, L., Bernsen, N. O., and Dybkjær, H. (1996). "Grice Incorporated: Cooperativity in Spoken Dialogue." In Proceedings of COLING, Vol. 1, pp. 328-333.

Dzikovska, M. O., Callaway, C. B., Farrow, E., Moore, J. D., Steinhauser, N., and Campbell, G. (2009). "Dealing with Interpretation Errors in Tutorial Dialogue." In Proceedings of SIGDIAL, pp. 38-45.

Fleiss, J. L. and Cohen, J. (1973). "The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability." Educational and Psychological Measurement, 33 (3), pp. 613-619.

藤原吏生, 岸波洋介, 今野堸人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎 (2020). ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. SIG-SLUD, B5 (02), pp. 110-115. [R. Fujihara, et al. (2020). ILYS aoba bot: A Chatbot Combining Rules and Large-Scale Neural Response Generation. SIG-SLUD, B5 (02), pp. 110-115.].

Grice, H. P. (1975). "Logic and Conversation." In Cole, P. and Morgan, J. (Eds.), Syntax and Semantics 3: Speech Acts, pp. 41-58. New York: Academic Press.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2019). "Improving Taxonomy of Errors in Chat-Oriented Dialogue Systems." In Proceedings of IWSDS, pp. 331-343.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2021). "Integrated Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 89-98.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015a). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 87-95.

東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳, 水上雅博 (2016). テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析. 自然言語処理, 23 (1), pp. 59-86. [R. Higashinaka, et al. (2016). Text Chat Dialogue Corpus Construction and Analysis of Dialogue Breakdown. Journal of Natural Language Processing, 23 (1), pp. 59-86.].

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., and Kaji, N. (2017). "Overview of Dialogue Breakdown Detection Challenge 3." In Proceedings of Dialog System Technology Challenge.

Higashinaka, R., Funakoshi, K., Kobayashi, Y., and Inaba, M. (2016). "The Dialogue Breakdown Detection Challenge: Task Description, Datasets, and Evaluation Metrics." In Proceedings of LREC, pp. 3146-3150.

東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良

子, 水上雅博, 小室允人, ドルサテョルス (2020). 対話システムライブコンペティション 3. SIG-SLUD, B5 (02), pp. 96-103. [R. Higashinaka, et al. (2020). The Dialogue System Live Competition 3. SIG-SLUD, B5 (02), pp. 96-103.].

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open-domain Conversational System Fully Based on Natural Language Processing." In Proceedings of COLING, pp. 928-939.

Higashinaka, R., Mizukami, M., Funakoshi, K., Araki, M., Tsukahara, H., and Kobayashi, Y. (2015b). "Fatal or Not? Finding Errors that Lead to Dialogue Breakdowns in Chat-oriented Dialogue Systems." In Proceedings of EMNLP, pp. 2243-2248.

Higashinaka, R., Tsunomori, Y., Takahashi, T., Tsukahara, H., Araki, M., Sedoc, J., Banchs, R. E., and D'Haro, L. F. (2020). "Overview of Dialogue Breakdown Detection Challenge 5." In Proceedings of WOCHAT+DBDC5.

Li, M., Roller, S., Kulikov, I., Welleck, S., Boureau, Y.-L., Cho, K., and Weston, J. (2019).

"Don’t Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training." arXiv preprint arXiv:1911.03860.

Liu, A., Sloan, R., Then, M.-V., Stoyanchev, S., Hirschberg, J., and Shriberg, E. (2014). "Detecting Inappropriate Clarification Requests in Spoken Dialogue Systems." In Proceedings of SIGDIAL, pp. 238-242.

Maynez, J., Narayan, S., Bohnet, B., and McDonald, R. (2020). "On Faithfulness and Factuality in Abstractive Summarization." In Proceedings of ACL, pp. 1906-1919.

大西可奈子, 吉村健 (2014). コンピュータとの自然な会話を実現する雑談対話技術. NTT DoCoMo テクニカル・ジャーナル, 21 (4), pp. 17-21. [K. Onishi and T. Yoshimura (2014). Konpyuta tono Shizen na Kaiwa wo Jitsugen Suru Zatsudan Taiwa Gijyutsu. NTT DoCoMo Technical Journal, 21 (4), pp. 17-21.].

Pitman, J. (1995). "Exchangeable and Partially Exchangeable Random Partitions." Probability Theory and Related Fields, 102 (2), pp. 145-158.

Purver, M., Hough, J., and Howes, C. (2018). "Computational Models of Miscommunication

Phenomena." Topics in Cognitive Science, 10 (2), pp. 425-451.

Ram, A., Prasad, R., Khatri, C., Venkatesh, A., Gabriel, R., Liu, Q., Nunn, J., Hedayatnia, B., Cheng, M., Nagar, A., King, E., Bland, K., Wartick, A., Pan, Y., Song, H., Jayadevan, S., Hwang, G., and Pettigrue, A. (2018). "Conversational AI: The Science Behind the Alexa Prize." CoRR, abs/1801.03604.

Rashkin, H., Smith, E. M., Li, M., and Boureau, Y.-L. (2019). "Towards Empathetic Opendomain Conversation Models: A New Benchmark and Dataset." In Proceedings of $A C L$, pp. 5370-5381.

Ravenscroft, J., Oellrich, A., Saha, S., and Liakata, M. (2016). "Multi-label Annotation in Scientific Articles-The Multi-label Cancer Risk Assessment Corpus." In Proceedings of LREC, pp. 4115-4123.

Ritter, A., Cherry, C., and Dolan, W. B. (2011). "Data-driven Response Generation in Social Media." In Proceedings of EMNLP, pp. 583-593.

Rodríguez, K. J. and Schlangen, D. (2004). "Form, Intonation and Function of Clarification Requests in German Task-Oriented Spoken Dialogues." In Proceedings of SEMDIAL, pp. 101-108.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Shuster, K., Smith, E. M., Boureau, Y.-L., and Weston, J. (2020). "Recipes for Building an Open-domain Chatbot." arXiv preprint arXiv:2004.13637.

Rosenberg, A. and Binkowski, E. (2004). "Augmenting the Kappa Statistic to Determine Interannotator Reliability for Multiply Labeled Data Points." In Proceedings of HLT-NAACL (Short Papers), pp. 77-80.

Schegloff, E. A. and Sacks, H. (1973). "Opening Up Closings." Semiotica, 8 (4), pp. 289-327.

See, A. and Manning, C. (2021). "Understanding and Predicting User Dissatisfaction in a Neural Generative Chatbot." In Proceedings of SIGDIAL, pp. 1-12.

Stoyanchev, S., Liu, A., and Hirschberg, J. (2013). "Modelling Human Clarification Strategies." In Proceedings of SIGDIAL, pp. 137-141.

杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治 (2020). Transformer encoder-decoder モデルによる趣味雑談システムの構築. SIG-SLUD, B5 (02), pp. 104-109. [H. Sugiyama, et al. (2020). Development of Conversational System Talking about Hobby using Transformer-based Encoder-Decoder Model. SIG-SLUD, B5 (02), pp. 104-109.].

Sugiyama, H., Mizukami, M., Arimoto, T., Narimatsu, H., Chiba, Y., Nakajima, H., and Meguro, T. (2021). "Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems." arXiv preprint arXiv:2109.05217.

Tsukahara, H. and Uchiumi, K. (2015). "System Utterance Generation by Label Propagation Over Association Graph of Words and Utterance Patterns for Open-domain Dialogue Systems." In Proceedings of PACLIC, pp. 323-331.

Vinyals, O. and Le, Q. (2015). "A Neural Conversational Model." arXiv preprint arXiv: 1506.05869 .

Wallace, R. S. (2009). "The Anatomy of A.L.I.C.E." In Parsing the Turing Test, pp. 181-210. Springer.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I have a dog, do you have pets too?" In Proceedings of ACL, pp. 2204-2213.

## 略歴

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008

年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所・NTT コミュニケーション科学基礎研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィールド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

荒木雅弘：1988 年京都大学工学部卒業. 1993 年京都大学大学院工学研究科

博士課程研究指導認定退学. 京都大学工学部助手, 同総合情報メディアセンター講師を経て, 現在京都工芸繊維大学大学院工芸科学研究科准教授. 対話システムの開発方法論の研究に従事. ACL, ISCA，情報処理学会等各会員.博士 (工学).

塚原裕史 : 1996 年中央大学大学院理工学研究科物理学専攻博士前期課程修了.

1999 年博士後期課程修了. 2000 年日立ソフトウェアエンジニアリング株式会社入社. 2005 年より, 株式会社デンソーアイティーラボラトリ。人工知能を応用した車載情報システム，音声対話を利用した車載機器向けユーザインタフェースの研究開発に従事. 日本物理学会, 人工知能学会, 言語処理学会, 情報処理学会各会員. 博士 (理学).

水上雅博: 2012 年同志社大学理工学部卒業. 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 2017 年同研究科博士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学基礎研究所に所属. 自然言語処理及び対話システムに関する研究に従事. 博士（工学）.

(2021 年 9 月 30 日受付)

(2022 年 1 月 14 日再受付)

(2022 年 2 月 22 日採録)