\section{はじめに}
\label{sec:intro}近年，社会的側面から雑談対話システムが注目を集めている\cite{wallace2009anatomy,banchs2012iris,higashinaka-EtAl:2014:Coling,alexa}．雑談対話システムの実装手法としてニューラルネットワークを用いた手法が広く研究されており，有望な結果がいくつか得られている\cite{vinyals2015neural,zhang2018persona,dinan2019second,adiwardana2020humanlike,roller2020recipes}．しかし，これらのシステムの性能はまだ満足できるものではなく，対話破綻が生じるようなシステムのエラーがしばしば見られる．システムのエラーを減らす方法のひとつは，どのような種類のエラーが生じやすいのかを分析し，そのエラーを削減する手立てを考えることである．このような目的において，エラーの類型化は有用である．これまで，タスク指向対話システムにおいてはいくつかのエラー類型が提案されており\cite{dybkjaer1996grice,bernsen1996principles,aberdeen2003,dzikovska2009dealing}，システムの性能向上において効果を発揮してきた．雑談対話システムにおいても同様のアプローチがなされてきており，東中らは「理論に基づく類型」と「データに基づく類型」の二つの観点の異なる類型を提案している\cite{higashinaka2015towards,higashinaka2015fatal}\footnote{東中らはこれらをそれぞれトップダウン，ボトムアップと呼んでいるが，本稿ではより適切に内容を表していると考えられる表現である「理論に基づく類型」「データに基づく類型」を採用した．}．しかし，前者の「理論に基づく類型」は，Griceの会話の公準\cite{gri:log}や隣接ペアの概念\cite{schegloff1973opening}など，人どうしの対話を対象とした理論が元になっているため，人とシステムとの対話において生じるエラーと適合しない点が多いという問題点があった．また後者の「データに基づく類型」は，分析に用いたデータのみから引き出されたエラー類型であり，潜在的に生じ得るエラーや未知のシステムで生じる可能性があるエラーがカバーできていないという限界がある．これらの理由から，これらの類型はアノテーションの一致率が低いという問題や，エラーの概念化があまりうまくできていないという問題を抱えている\cite{higashinaka2019improving}．本稿では，雑談対話システムにおける新しい対話破綻の類型を提案する．これまでに提案された二つの類型に基づいて，それぞれの類型の利点と欠点を明らかにしたうえで，統合的な類型を作成した．そして，この統合的な類型の適切性をアノテーションの一致率を用いて評価したところ，Fleissの$\kappa$値が専門作業者間で0.567，クラウドワーカー間で0.488となり，既存の類型よりも高い値となった．\rev{また，アノテーションにおいて判断が困難とされた事例もほとんど見られなかった．}このことから，統合的な類型はエラーの概念化が適切になされており，雑談対話システムの分析に適するものになっているといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{従来の類型とそれらの統合}
\label{sec:previous}東中らは雑談対話システムのエラーについて，「理論に基づく類型」\cite{higashinaka2015towards}と「データに基づく類型」\cite{higashinaka2015fatal}の2種類を提案している．「理論に基づく類型」は，対話における人どうしの協調的な振る舞いを説明する対話理論に基づき，対話理論が説明する原則から逸脱した現象をエラーとして位置づけている．それに対して「データに基づく類型」は，雑談対話システムの対話データの分析に基づいて典型的なエラーを抽出したものである．この類型では，対話破綻を生じさせたシステム発話に対してアノテータがそのエラー内容を説明するコメントを付与し，それらのコメントにクラスタリング手法を適用して，得られた個々のクラスタに名前を付与したものをエラー類型としている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{理論に基づく類型}「理論に基づく類型」\cite{higashinaka2015towards,東中2016}は，人どうしの協調的な対話の原則とされるGriceの会話の公準\cite{gri:log}に主として基づいている．Griceの会話の公準は，対話において一般的に成り立つ協調性の原則を，量・質・関連性・様態のそれぞれの観点から規定している．一方，対話の構成要素をスコープの広さで分類すると，発話・隣接ペア\cite{schegloff1973opening}・対話内文脈・対話外の環境となる．協調性の原則とスコープは原則として直交する概念であるので，これらの組み合わせでエラー類型を規定できるとして考案されたものが，この類型である．ただし，協調性の原則とスコープの組み合わせにおいて，「発話」に対する「関連性」の逸脱は定義できないので除かれている．また，分析に用いた対話データ中に観測された，人どうしの対話では現れない対話システム固有のエラーについては，該当するスコープ内に付け加えられている．この類型では，エラーの種類は\tabref{tbl:top-down}に示す16種類となっている．大分類にスコープ，小分類に主としてGriceの会話の公準を位置づけた対応となっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{07table01.tex}\caption{理論に基づく類型}\label{tbl:top-down}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%この類型は，アノテーションの一致率によって評価された．具体的には，対話破綻のアノテーションが行われたデータを対象とし，特に対話破綻を引き起こすと考えられる発話に対して，エラーの種類を付与することで行われた．アノテーションの一致率（Fleissの$\kappa$値）は，大分類で0.400，小分類で0.239と低いものであったと報告されている\cite{higashinaka2015towards}．このように低い一致率となった原因としては，評価に用いた人とシステムとの雑談対話において対話破綻が高頻度で起こっており，人を対話相手とする場合とは異なる振る舞いをユーザがした結果，対話そのものが人どうしのものとはかなり異なったものになっていたということが考えられる．それゆえ，人どうしの対話における協調性を前提とした理論がうまく当てはまらない対話であったにも関わらず，その観点からエラーを分類しようとしたため，アノテーションの一致率が結果として低くなったものと考えられる．このことを支持するデータとして，ひとつの対話中で最初に出現するエラー（小分類）に対するアノテーションの一致率が0.32であったのに対して，2回目以降のエラーに対するものは0.19であったことが報告されている\cite{higashinaka2019improving}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データに基づく類型}「データに基づく類型」\cite{higashinaka2015fatal}は，対話破綻アノテーション時に破綻発話に対して付けられたコメントをクラスタリングすることによって作成された．コメントを付与したアノテータは主として対話システムの研究者である．クラスタリングに際しては，事前にクラスタ数を決めることが難しいことから，データに基づいてクラスタ数を自動的に決めることができるノンパラメトリックベイズの一手法であるChineserestaurantprocess(CRP)\cite{pitman95}が用いられている．約1,500のコメントを対象にクラスタリングを行った結果，17個のクラスタが得られ，これに基づいて\tabref{tbl:bottom-up}に示すエラー類型が決められた．なお，類型名はクラスタ毎のコメントを人手で観察することによって決められている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\input{07table02.tex}\caption{データに基づく類型}\label{tbl:bottom-up}\vspace{-0.5\Cvs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%このようにして決められた類型は，アノテーションの一致率に基づいて評価された\cite{higashinaka2019improving}．その結果，「理論に基づく類型」よりもこの類型の方がFleissの$\kappa$値が高いことが報告されている．近年，同様の方法で作成された類型を用い，対話システムの評価や改善を目指す研究も報告されている．Seeら\cite{see-manning-2021-understanding}は，特定の対話システムのログにおけるユーザのネガティブな反応からエラー類型を作成し，ユーザが不満を抱く原因の特定を図っている．しかし「データに基づく類型」は，類型作成時の対話データに大きく依存するという問題点がある．対話システムとの対話ログ分析の結果として得られた類型は，現在も進展を続ける技術の特定の時期におけるシステムの誤り傾向の分析に基づいていることになり，今後の技術の進展によって対話システムが異なる振る舞いを示したときに生じ得るエラーには適用できない可能性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{類型の統合手順}\label{subsec:integration}前節までの分析に基づき，我々は二つの類型を統合するという考えに至った．「理論に基づく類型」は人とシステムとの対話に対して適用が難しい状況があるが，「データに基づく類型」は理論が捉えきれていないそのような対話現象を適切に扱えることが期待できる．一方で，「データに基づく類型」がカバーできていない現象が潜在的・将来的にあり得るという欠点は，「理論に基づく類型」の考え方に基づいてより包括的な対話現象をカバーする方向で補える．このようにこれらの類型は統合することで，より良い類型となることが期待できる．まず統合にあたり，既存類型が原則としているシングルラベルアノテーションからマルチラベルアノテーションへと枠組みを変更した．これは，たとえばユーザからの質問に答えないだけでなく，非常識な内容の発言を行うなど，ひとつのシステム発話が複数のエラーを含む可能性を考慮したものである．実際，「理論に基づく類型」の実験結果においてスコープをまたがる混同が多く見られており\cite{higashinaka2015towards}，複数のレベルで生じたエラーをカバーするためにマルチラベルアノテーションへの移行は必然であると考えた．次に「理論に基づく類型」に対して，人とシステムの対話に当てはまりやすいように拡張を試みた．対話システムの起こすエラーは，Griceの会話の公準に基づいて判断できる不適切性をときとして大きく逸脱していることが観察されることから，大きく逸脱するケースを切り出して「形式」のエラーとして捉えることにした．そしてそれ以外を「内容」のエラーとして捉えることにした．なお，スコープについてはまずは大枠を残して考えた．逸脱の仕方を表す「形式」においては，スコープの狭い順に，言語表現としての標準的な規範（発話レベル），隣接する発話の機能の関係\cite{allen97}（応答レベル），話題の関連性（文脈レベル），社会的規範（環境レベル）を設定することとした．これらは人どうしの対話において通常守るべき形式を表しており，それらからの逸脱は検出しやすく，また概念化もしやすいと考えられる．あるエラーがこれらの形式からの逸脱に当てはまらない場合，「内容」に問題があると考える．すなわち内容に関しては，当該スコープでの形式が守られているにもかかわらず，そのスコープに原因が存在して対話が破綻している現象を指すことと定義できる．そして，「理論に基づく類型」と「データに基づく類型」のエラータイプを，形式・内容とスコープで構成したフレームに当てはめた．ここで，「理論に基づく類型」において「環境」と規定されたスコープについては，我々の方針として守るべき形式として社会規範を導入したことから，「社会性」というスコープ名に置き換えていることに注意されたい．この当てはめの結果，大半のエラータイプは設定したフレームにうまく収まったが，一部のエラータイプはフレームにうまく収まるよう合併・削除・分割・追加が必要であった．合併・削除については，東中ら\cite{higashinaka2019improving}の指摘に基づき，概念的に近い「表現エラー」と「用法エラー」を統合して発話レベルの形式のエラーとし，曖昧性あるいは対話システムへの理解を必要とする観点からアノテーションが困難であると指摘されている「対話不成立」，「解析エラー」，「会話のずれ」は取り除いた．また，「データに基づく類型」において「発話無視」とされていたものは，典型的な隣接ペアに応じて「依頼無視」「提案無視」「挨拶無視」に分割した（「質問無視」は既に用意されていた）．このプロセスにおいて，応答レベルの「内容」に当てはまるエラーが見つからなかった．しかし，応答の形式は守っているものの，対話破綻が生じるような発話とはどのようなものかという議論から，「期待無視」（次節参照）のエラーを追加した．加えて，誤った情報を含む発話が，常識欠如，矛盾，意図不明などに分散していると考えられたことから，そのような誤りを「誤情報」のエラーとして切り出して，新規に追加した．最後に，「理論に基づく類型」において「大分類－類型名」（例：応答－関係）のように呼ばれていたものを，「データに基づく類型」の呼び方に合わせて類型名のみでそのエラーがわかりやすくなり，かつ他のエラーとの区別がつきやすくなるように名称変更を行った．\clearpage%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{統合的な類型}
\label{sec:integrated}前章での議論に基づいて作成したエラー類型の統合案を\tabref{tbl:integrated}に示す．エラー類型の種類はI1からI17（IはIntegratedの頭文字）までの計17種類となり，個々のエラー類型は対話におけるスコープと，逸脱の種類（形式または内容）の組み合わせでグループ化される．以下では，個々のエラータイプの詳細を対話例（大半は実対話データ，一部作例）を示しながら説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{07table03.tex}\caption{統合的なエラー類型}\label{tbl:integrated}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{発話レベルのエラー}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{形式の逸脱}発話レベルにおける形式に関するエラーは，対話を行っている言語の形式からの逸脱を表す．日本語としての妥当な文字列，文構造をなしていないものがこのカテゴリに当てはまる．\begin{description}\item[(I1)解釈不能：]{発話の意味内容がまったく理解できないような発話．たとえば，意味のない単語の羅列や誰も理解できないスラング，断片的な発話など．\begin{exe}\exWithha（発話をどうにも解釈しようがない）\end{exe}}\item[(I2)文法エラー：]{文を構成する要素の欠落や誤用によって，文意が汲み取れない発話．\begin{exe}\ex熱中症に気をつけか？？\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{内容の逸脱}単語の意味的組合せの誤用により，内容が汲み取れない，あるいは明らかに事実と異なる意味内容になっているもの．\begin{description}\itemsep=0mm\item[(I3)用法エラー：]{文法的には問題はないが，発話の中で一般に用いられないような言葉の用法が用いられている発話．たとえば，単語や表現の組み合わせが意味をなさなかったり，ある述語について相応しくない主語が用いられていたりするなど．\begin{exe}\ex小説は日露戦争がなるのです（小説は日露戦争がなるものではない）\end{exe}}\item[(I4)誤情報：]{明らかに事実とは異なる内容が含まれている発話．\begin{exe}\exビートルズのボブディランの新しいアルバムが出ましたね（ボブディランはビートルズのメンバーではない）\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{応答レベルのエラー}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{形式の逸脱}応答レベルの形式は，DialogActMarkupinSeveralLayers(DAMSL)\footnote{\url{https://www.cs.rochester.edu/research/cisd/resources/damsl/RevisedManual/}}における機能の対応に基づいている．DAMSLでは発話の持つ前向き機能(forwardlookingfunction)を，発話後の対話相手の信念や行為に影響を及ぼすものと捉え，後ろ向き機能(backwardlookingfunction)をそれ以前の前向き行為に関連する機能と捉えている．この考えに基づき，直前のユーザ発話が質問や提案などの前向き機能を持つとき，システム発話がそれに対応する後向き機能を有していないものを応答レベルにおける形式の逸脱と位置づけた．\begin{description}\itemsep=0mm\item[(I5):質問無視：]{ユーザの質問を無視している発話．具体的には，質問で聞かれている回答種別（たとえば，命題の真偽，確認へのYES/NO，同意／不同意，選択肢からの選択，5W1H型の質問，人名，地名，理由，方法など）とタイプが合った内容を含まない返答をしている発話\footnote{以降の対話例において，Uはユーザの発話，Sはシステムの発話を表す．}．\begin{exe}\ex\begin{xlist}\exi{U:}何を食べているのですか？\exi{S:}スポーツは好きですか\end{xlist}\ex\begin{xlist}\exi{U:}横須賀は何県ですか？\exi{S:}横浜から横須賀に引っ越すのです\end{xlist}\end{exe}}\item[(I6):依頼無視：]{相手からの「～して下さい」のような依頼に対し，適切な後向き機能を有しない発話．\begin{exe}\ex\begin{xlist}\exi{U:}今度買ってきて下さい\exi{S:}やはり暑い季節に合わせたコスチュームになっているのでしょうかね？\end{xlist}\end{exe}}\item[(I7):提案無視：]{相手からの「～しましょう」という提案に対し，適切な後向き機能を有しない発話．\begin{exe}\ex\begin{xlist}\exi{U:}趣味の話をしましょう\exi{S:}裏磐梯と台湾なら，どちらが楽しいでしょうか？\end{xlist}\end{exe}}\item[(I8):挨拶無視：]{相手からの挨拶に対し，適切な後向き機能を有しない発話．\begin{exe}\ex\begin{xlist}\exi{U:}そろそろ帰りますね．\exi{S:}こんにちは．（別れる挨拶に対して，会った時の挨拶をしている）\end{xlist}\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{内容の逸脱}直前のユーザ発話に対する応答の形式は合っているが，期待されている内容が含まれていないもの．\begin{description}\itemsep=0mm\item[(I9):期待無視：]{前向き機能を有する相手からの発話に対し，適切な後向き機能を有する発話としての形式は満たしているが，期待されている内容を含まない応答．あまりに情報がなかったり遠回しだったりする応答で，内容が妥当ではないと考えられる応答．\begin{exe}\ex\begin{xlist}\exi{U:}好きなスイーツありますか？\exi{S:}あります．（肯定的な返答の場合には，そのスイーツの名前を具体的に答えることが期待されている）\end{xlist}\end{exe}この例は一見妥当な応答に見えるが，協調的に対話を進めている文脈ではこのような応答が不適切となることがある．}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{文脈レベルのエラー}ここでは，文脈レベルの形式を話題の関連性維持と定義した．すなわち，話題からはずれる発話や意図の不明確性・必要な要素の欠落などによって現在の話題を継続することが難しい状況を文脈レベルの形式からの逸脱と捉える．それに対して，話題は維持されているものの，矛盾や不要な繰り返しを含む発話を内容の逸脱とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{形式の逸脱}\label{sec:context-form}\begin{description}\itemsep=0mm\item[(I10):発話意図不明確：]{発話そのものは理解でき，かつ応答内容と話題との関係も分かるが，その内容をなぜ発話したのかという意図が明示されず，かつ文脈からも意図が分からない発話．関係性を表す要素（たとえば，接続詞や状況説明）が不足しているなど．\begin{exe}\ex\begin{xlist}\exi{U:}こんにちは．私はイチゴが好きです．あなたは？\exi{S:}私はりんごが好きです\exi{U:}赤い色っていいですよね．\exi{S:}イチゴは美味しいですね（りんごが美味しいと言っていたのに，なぜ突然イチゴに言及するのか意図が不明確）\end{xlist}\end{exe}}\item[(I11):話題遷移エラー：]{直前に相手が話していた話題と異なる話題へ説明なく遷移させる発話．ユーザの新しい話題に遷移する発話に対して，理由なく元の話題に戻す発話も含む．なお，話題とは何について話しているかということを表す．話題の粒度は，食事，ファッション，スポーツ，美容，健康，旅行などのカテゴリで表現できる程度のものとする．\begin{exe}\ex\begin{xlist}\exi{S:}おー．クラリネットはいいですね．\exi{U:}難しかったですが，とても楽しかったです\exi{S:}へえ～そうなんですか．何のパンが一番好きですか？\end{xlist}\end{exe}なお，隣接する発話が明確な話題を持たない場合，このエラータイプは適用されない．また，前の発話がこれまでの話題の終端となり得る後ろ向き機能を持つ発話であるとき，当該発話によって話題の遷移が発生しても，このエラータイプは適用されない．たとえば，以下は話題遷移エラーには当てはまらない．\begin{exe}\ex\begin{xlist}\exi{S:}あなたはテレビでオリピックの放送を見ますか？\exi{U:}はい，見たいですね．\exi{S:}こんな日は鍋料理が食べたいですね．\end{xlist}\end{exe}}\item[(I12):情報不足：]{発話に含むべき要素（主として修飾句，および主語や目的語などの格要素）が含まれていないために意味（何を言っているか）が理解できない，もしくは，理解しづらい発話．\begin{exe}\ex\begin{xlist}\exi{U:}おはよう．最近はすずしいですよ．\exi{S:}好きですよ（何が好きかわからない）\end{xlist}\ex\begin{xlist}\exi{U:}それはちょっと高すぎるでしょ？\exi{S:}温度差がひどいですよねえ（何の「温度差」なのか分からない．）\end{xlist}\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{内容の逸脱}これまでの文脈で基盤化された内容に言及し，それらに対して矛盾する発話や不要な繰り返しを行っている発話．\begin{description}\itemsep=0mm\item[(I13):自己矛盾：]{これまでに話者自身が発話した内容と矛盾している内容を含む発話．ただし，矛盾とは平叙文・質問文に関わらず，発話内容に含まれる内容の辻褄が合わないことを指す．\begin{exe}\ex\begin{xlist}\exi{U:}どこの出身ですか？\exi{S:}愛知の知多ですよ．知多半島にあります．\exi{U:}愛知ですかぁ．いいところですね．\exi{S:}それから名古屋で就職が決まったことですね．\exi{U:}どんな仕事をするんですか？\exi{S:}専業主婦ですよ．（就職が決まったという内容と矛盾する）\end{xlist}\end{exe}}\item[(I14):相手の発話との矛盾：]{これまでに相手が発話した内容と矛盾している内容を含む発話（矛盾の定義については，自己矛盾の場合と同様）．また，相手が言った内容について，それを否定するような質問も含む．\begin{exe}\ex\begin{xlist}\exi{S:}セリーグとパリーグはどちらが好きですか？\exi{U:}セリーグが好きです．\exi{S:}セリーグは嫌いなんですね．\end{xlist}\end{exe}}\item[(I15):繰り返し：]{これまでに自身が発話した文字列をただ繰り返しただけのような発話．なお，単語を言い換えただけのような発話も繰り返しに含む．また，執拗に聞き直すような発話の繰り返しも含む．\begin{exe}\ex\begin{xlist}\exi{S:}映画が楽しみです\exi{U:}そうですか\exi{S:}あはい\exi{U:}他に好きなものは？\exi{S:}映画が楽しみですね\end{xlist}\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{社会レベルのエラー}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{形式の逸脱}言葉使いが社会の儀礼・礼節に反しユーザを不快にする，あるいは差別的で悪意がある発話．\begin{description}\itemsep=0mm\item[(I16):社会性欠如：]{相手，もしくは，特定の社会集団に対して気遣わないような失礼な言い方や言い回しが用いられている発話．\begin{exe}\ex\begin{xlist}\exi{U:}このまえ○○（国名が入る）に行ってきました\exi{S:}○○の人って頭悪いですよね\end{xlist}\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{内容の逸脱}内容が社会通念／知識と反するにもかかわらず，根拠もなく断定あるいは肯定している発話．\begin{description}\itemsep=0mm\item[(I17):常識欠如：]{常識とは異なる内容が発話に含まれている発話．一般的な事実とは異なることを無根拠に主張したり，ある社会集団において大多数に信じられている事柄に対して逆の意見を述べたりするなど．\begin{exe}\ex\begin{xlist}\exi{U:}熱中症の話をしたいの？\exi{S:}熱中症はいいですよねー\end{xlist}\end{exe}}\end{description}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{エラーの独立性・排他性}このようにして定めた類型において，その成り立ちからエラーの独立性・排他性を定義しておくべきものがある．まず，発話レベルで破綻している発話に対しては，その該当するエラー以外のエラーは生じないものとする．「解釈不能」は日本語かどうかもわからないということであり，「文法エラー」「用法エラー」「誤情報」は内容が解釈できないということなので，それによって以降のレベルでの対話の形式や内容が満たされているかどうかの判断はできないと考える．また，文脈レベル・形式の枠にある「発話意図不明確」と「話題遷移エラー」，「発話意図不明確」と「情報不足」は同時にはエラーとなり得ず排他的に扱われる．これは\ref{sec:context-form}節で述べたように，「発話意図不明確」が話題に追随できていることを前提としているのに対して，「話題遷移エラー」は不自然に話題が遷移している，「情報不足」は話題との関係が不明という前提があり，定義からこれらは両立しない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価}
\label{sec:evaluation}統合的な類型を用いてエラータイプのアノテーションを行い，アノテータ間の一致率を評価した．比較のため，「理論に基づく類型」と「データに基づく類型」についても，同じデータ・同じアノテータで評価を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{手順}\label{sec:procedure}エラータイプのアノテーションにあたり，\ref{sec:integrated}節の定義・例示に加えて，それぞれのエラーの背景や注意点などを加えたマニュアルを作成した\footnote{\url{https://github.com/ryuichiro-higashinaka/taxonomy-of-errors}}．また，アノテーション作業中の入力ミスをなくすために，表計算ソフトで入力が行えるワークシートとその作業マニュアルを別途用意した．\rev{表計算ソフト上では排他性について処理をあえて行わなかった．これは，アノテータにマニュアルを正確に理解してもらえているかを確認するためである．排他性については，アノテーション後に著者でチェックし，排他条件を満たさないものについては修正を依頼した．}アノテーション対象のデータは，対話破綻検出チャレンジで用いられたDBDCおよびDBDC2のデータ\cite{higashinaka:lrec2016,higashinaka2017overview}\footnote{\url{https://dbd-challenge.github.io/dbdc3/datasets}}である．このデータにおける対話はDCM\cite{docomo},DIT\cite{tsukahara:paclic2015},IRS\cite{ritter2011data}の3種類の日本語雑談対話システムとユーザとのテキストチャットによって行われた．データ中のすべてのシステム発話に対して，30名のアノテータによって破綻度合いのラベル（B(breakdown):明らかな破綻，PB(possiblebreakdown):違和感あり，NB(notabreakdown):破綻ではない）が付けられている．今回の評価実験では，これらのうち，半数（15名）以上のアノテータがBまたはPBと付けた発話を破綻発話と認定し，それらに対してエラー類型のアノテーションを行った．データセットは計400対話からなる．このデータセットを漸進的な評価・改良に用いるために各80対話からなる5つのデータセットAからEに分割した．\rev{結果として，データセットA,B,Cを用いることで統合案を順次改良し（具体的には，判定が割れた事例を分析し，より良い類型にするために，混同行列を作成し，混同が多い類型の組み合わせについて類型の改訂を行う等）}，データセットDで最終的な評価を行った．データセットEは将来の改良・評価のため現時点では未使用である．評価に用いたデータセットDには599個の破綻発話があり，これらをエラー類型アノテーションの対象とした．アノテータは，その属性に基づいて2グループに分割された．1つのグループは言語資源作成タスクに精通した専門作業者2名からなり，もうひとつのグループはクラウドワーカー10名（20代から50代の女性6名男性4名，クラウドソーシングサービス会社\footnote{\url{https://www.lancers.jp/}}による認定ワーカー）からなる．クラウドワーカーを評価に加えた理由は，今回提案するエラー類型が適切に概念化され非専門家にも容易に理解可能なものであることを検証するためである．すべてのアノテータは統合的な類型，および，「理論に基づく類型」と「データに基づく類型」のマルチラベルアノテーションを行った．「理論に基づく類型」と「データに基づく類型」については，先行研究\cite{higashinaka2015towards,higashinaka2019improving}においてシングルラベルアノテーションが実施されているが，\ref{subsec:integration}節で述べた通り，ひとつの発話が複数のエラーを含みうることからマルチラベルアノテーションを実施した．なお，「データに基づく類型」については，\ref{subsec:integration}節で述べた東中らの考察\cite{higashinaka2019improving}と同様の根拠に基づき，「対話不成立」，「解析エラー」，「会話のずれ」のラベルを取り除き，「表現エラー」と「用法エラー」のラベルを統合した．その結果，「理論に基づく類型」では\tabref{tbl:bottom-up}に示した16種類，「データに基づく類型」では13種類のエラータイプでアノテーションが行われた．アノテータは，それぞれのエラータイプの定義と事例が記述されたマニュアルに従い，表計算ソフト上でアノテーションを実施した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アノテーション一致の評価尺度}我々はアノテーション一致の評価尺度として，Fleissの$\kappa$値\cite{fleiss1973equivalence}を改良して用いた．重み付きのCohenの$\kappa$値を用いている先行研究\rev{\cite{rosenberg-binkowski-2004-augmenting,ravenscroft2016multi}}を参考に，重み付きFleissの$\kappa$値を定義した．まず，重み付きのアノテータ間一致率$P_a$を，マルチラベルアノテーションを考慮して以下のように定義した．\begin{equation}P_a=\frac{1}{N}\sum_{n=1}^{N}\frac{\sum_{c=1}^{C}\sum_{(l,l')}w_{ncl}w_{ncl'}}{\sum_{c=1}^{C}\sum_{(l,l')}({w_{cnl}}^2+{w_{cnl'}}^2)/2},\end{equation}ここで，$w_{ncl}$は対象発話番号$n$にアノテータ$l$がエラータイプ$c$を割り当てたときの重みである．本来この重みはアノテータのマルチラベリングの頻度やエラータイプの出現頻度，さらにはアノテータが複数ラベルの重みを自ら割り当てた際の値などを反映させるべきであるが，計算が複雑になるため今回は対象発話番号$n$にアノテータ$l$が付けたラベルの個数の逆数とした．また，$N$はアノテーション対象発話の総数，$C$はエラータイプの種類数で，$\sum_{(l,l')}$はすべてのアノテータの組に関する和を示している．この定義より，重み付きFleissの$\kappa$値は$\kappa=(P_a-P_{\epsilon})/(1-P_{\epsilon})$で計算される．ここで，$P_{\epsilon}$は，\begin{equation}P_{\epsilon}=\sum_{c=1}^{C}\left(\frac{1}{NL}\sum_{n=1}^{N}\sum_{l=1}^{L}w_{ncl}\right)^2,\end{equation}であり，$L$はアノテータ数である．この重み付き一致率と，通常のFleissの$\kappa$値は，重みが1のときに同じ式となる．\rev{本$\kappa$値は，Fleissの$\kappa$値を，マルチラベルアノテーションにおける一致率を評価できるように独自に拡張したものであり，我々の知る限り，マルチラベルアノテーションにおける$\kappa$値の3人以上の場合への拡張についての文献は他に見られない．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{結果}実験の結果得られた重み付きFleissの$\kappa$値を\tabref{tbl:kappa}に示す．統合的な類型の一致率は専門作業者間で\rev{0.567}，クラウドワーカー間で0.488であり，「理論に基づく類型」や「データに基づく類型」と比べて高い値となっている．このことから，提案類型は安定したアノテーションが可能であり，有効な類型であるといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{07table04.tex}\caption{重み付きFleissの$\kappa$値}\label{tbl:kappa}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\rev{「理論に基づく類型」と「データに基づく類型」では専門作業者のほうが$\kappa$値が低く，提案類型では逆になっている理由は，類型の定義の曖昧性によるものではないかと考えている．具体的には，「理論に基づく類型」と「データに基づく類型」における類型の定義は，提案類型に至る過程のものであり，曖昧性があったと考えられる．一般に専門作業者は自身の理解や経験に基づく文脈や用法の細かな違いも踏まえた広範な判断基準に従って厳密にアノテーションを行うが，各自の定義がずれていれば，作業が厳密な分だけ$\kappa$値が低くなる．一方，クラウドワーカーの場合，専門作業者ほどの厳密さを持たないため，このような$\kappa$値の低下は起きづらい．今回の提案類型では，エラーの定義が明確化されたため，定義のずれが解消され，専門作業者については$\kappa$値が高まり，クラウドワーカーの値を上回ったと考えられる．}\rev{なお，今回アノテータには，判断が難しい，あるいは不可能であると思った場合，最も当て嵌まると思われるものを選択しつつ，その旨をコメントとして残すように依頼していた．今回そのようなコメントを残したアノテータはクラウドワーカーにはおらず，専門作業者からのコメントも1件（「該当するものがない」）のみであった．このことから，今回の類型が，起こりうる破綻のパターンを十分カバーしたものであると考えることができる．}発話毎の一致割合について，クラウドワーカーによるアノテーション結果において5名（すなわち半数）以上が一致している発話の割合を調べた．統合的な類型では，全599発話のうち，507発話で半数以上一致となり，そうならなかった発話は92発話であった．これに対して「理論に基づく類型」のアノテーションでは，全599発話のうち，126発話が半数以上一致，そうならなかった発話が473発話となった．この473発話のなかで，396発話は統合的な類型で半数以上一致となった．統合的な類型による改善が多く見られた事例は，応答－不理解および応答－意図不明が(I5)質問無視に集約された事例，スコープの決定がアノテーションが分かれる要因となった，応答－無関係と文脈－無関係話題が(I10)発話意図不明確に集約された事例などである．さらに，(I4)誤情報カテゴリの導入によって，応答－無関係，文脈－関連性不明，環境－一般常識欠如に分かれていたアノテーションが集約される事例が見られた．「データに基づく類型」のアノテーションでは，全599発話のうち，347発話が半数以上一致，そうならなかった発話が252発話となった．この252発話のなかで，193発話は統合的な類型で半数以上一致となった．「理論に基づく類型」の場合と同様に，(I4)誤情報カテゴリの導入は効果的であった．また，意図不明や話題遷移エラーが(I10)発話意図不明確に集約された．統合的な類型のクラウドワーカーによるアノテーション結果から計算した混同行列を\figref{fig:confusion_matrix_crowdworkers}に示す．混同行列の各要素は以下の式によって求めた．\pagebreak\begin{equation}m_{cc'}=\sum_{(l,l')}\sum_{n=1}^{N}w_{ncl}w_{nc'l'}/\binom{L}{2},\end{equation}これはあるアノテータがラベル$c$と付けた事例に対して，別のアノテータがラベル$c'$と付けた回数の重み付き平均値を表す．対角要素の値から見て相対的に大きな値となっている非対角要素は，混同が生じていると解釈することができる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{29-2ia7f1.pdf}\end{center}\hangcaption{統合的な類型の混同行列．I1--I17は\tabref{tbl:integrated}で定義されたエラータイプを表している．なお，対角成分より上の部分は，行列が対称であることから省略している．}\label{fig:confusion_matrix_crowdworkers}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%これによると，(i)(I5)質問無視と(I10)発話意図不明確，(ii)(I10)発話意図不明確と(I11)話題遷移エラー，(iii)(I10)発話意図不明確と(I12)情報不足との間で混同が見られる．(i)の混同パターンについては，(I5)質問無視と(I10)発話意図不明確が同じ発話に対して同時に付けられている事例も多かったことから，質問への回答になっていない発話の解釈が難しく，なぜ適切な応答ができなかったのかわからないという判断につながったのではないかと考えられる．(ii)の混同パターンについては，「発話における話題」の捉え方に個人差があったと考えられる．典型的な対話例を以下に示す．\begin{exe}\ex\begin{xlist}\exi{U:}死に慣れるのは怖いね\exi{S:}えっ！！？？テトラポットから落ちたんですか？\exi{U:}落ちていません\exi{S:}スイカは木から生えていないですよ．\end{xlist}\end{exe}この対話例の最後のシステム発話では，システムは唐突にスイカについて話し始めている．スイカという単語に着目したアノテータは無理な話題の遷移を表す(I11)話題遷移エラーと捉えた一方，「死」と「木が生える」という言葉に関連性を感じたアノテータは発話の意図がわからないことを表す(I10)発話意図不明確と捉えたと考えられる．(iii)の混同パターンについては，短いシステム発話に対して頻繁に観測されたことから，対話文脈の情報をどれほど補って解釈できるかということについての個人差によって生じていると考えられる．\begin{exe}\ex\begin{xlist}\exi{U:}国内と海外ではどちらが好きですか．\exi{S:}旅行は高いですね\exi{U:}プランによっては安く行けますよ．\exi{S:}プランは良いですね\end{xlist}\end{exe}この対話例の最後のシステム発話では，プランの何がどのように良いのかが説明されていない．この発話に対して文脈によって補えきれない要素が特定できたアノテータが(I12)情報不足，発話をまったく文脈に位置づけられないアノテータが(I10)発話意図不明確と判断したものと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{エラータイプの分布}統合的な類型におけるエラータイプの分布を\tabref{table:ana}に示す．分布を計算する際に用いたデータは，前節で用いた3種類の対話システム(DCM,DIT,IRS)との対話データと，今回分析したデータには含まれていない2つの新しい対話システムHobbyist(HBY)\cite{hobbyist,sugiyama2021empirical}\footnote{\url{https://github.com/nttcslab/japanese-dialog-transformers}}，ILYS-AOBA(ILA)\cite{ilys-aoba}\footnote{\url{https://github.com/cl-tohoku/ILYS-aoba-chatbot}}との対話データである．これらのデータに対して，2名の専門作業者が，対話破綻検出，破綻類型ラベリングの順でアノテーションを行った．新しい対話システムの対話データは対話システムライブコンペティション3\cite{livecompe3jp}の予選で収集された10対話\footnote{\url{https://dialog-system-live-competition.github.io/dslc3/data.html}}を用いた．HBYは日本語版BlenderBot\cite{roller2020recipes}である．Transformerencoder-decoderモデルを採用し，Twitterから得られた約21億個の発話対で事前学習を行い，日本語版のPersonaChat\cite{zhang2018persona}やEmpatheticDialogues\cite{rashkin-etal-2019-towards}のデータに加え，内製のチャットコーパスを用いてfine-tuningを行っている．ILAはHBYに近いアーキテクチャを採用しているが，学習データはHBYと比べて小規模である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\input{07table05.tex}\caption{エラータイプの分布．頻度上位3つまでを太字で示している．}\label{table:ana}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%分布を見ると，DCM,DIT,IRSの3つのシステムでは，(I5)質問無視と(I10)発話意図不明確が多かったが，近年のニューラルネットワークベースのシステムであるHBYとILAでは(I4)誤情報と(I13)自己矛盾が比較的多いことがわかる．これは，近年のシステムでは主要な問題点が，対話を形式的に成立させるということから，話されている内容やパーソナリティの一貫性を維持することに移っていることを示しているといえる．\rev{なお，DCM,IRSでは(I4)誤情報や(I13)自己矛盾が，DITでは(I13)自己矛盾が比較的少ない傾向にある．誤情報は近年の生成型の手法によく見られるエラー（いわゆるハルシネーション\cite{maynez-etal-2020-faithfulness}）であり，矛盾は，話がある程度つながるようになったからこそ顕在化するエラーである．\tabref{table:ana}に示す通り，DCM,DIT,IRSの全体傾向としては，(I5)質問無視や(I10)発話意図不明確が多い．質問無視や発話意図不明確が多いと話が進まず，文脈的なエラーが現れにくいため，DCM,IRSでは(I4)誤情報や(I13)自己矛盾が，DITでは(I13)自己矛盾が比較的少なくなっていると考えられる．}\rev{杉山らの文献\cite{hobbyist}では，HBYの不自然な発話として「矛盾，話題の飛び，キーワード関係誤り，事実誤認」が挙げられており，これは本類型のI13（矛盾）,I10（話題の飛び）,I4（キーワード関係誤り，事実誤認）にあたり，いずれも他の類型と比較して高い頻度で出現している．また，藤原らの文献\cite{ilys-aoba}では，ILAで評価が低くなった発話として「文脈と矛盾する応答」が挙げられているが，これは本類型の(I13)自己矛盾にあたり，我々の分析でも，他の類型と比較して頻度が高くなっている．この分析を通じて，提案類型を定める上で考察の対象としていない雑談対話システムについても，ある程度エラーの傾向を捉えることができていることがわかる．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:summary}本稿では，雑談対話システムにおけるエラーの新しい分類法を提案した．これまでに提案された「理論に基づく類型」と「データに基づく類型」を統合し，統合的な類型を作成した．統合的な類型を重み付きFleissの$\kappa$値で評価したところ，提案類型は既存のものよりも優れていることがわかった．いくつかのエラータイプの間にはまだ混同が見られるものの，$\kappa$値はアノテーションを信頼するのに十分な高さを示している．今後の課題として，英語など他の言語へも類型の適用を広めたい．本類型の考案は日本語を対象に行ったが，類型化の枠組みは言語に依存していない．%\rev{しかしながら，実際に英語圏の対話システムに対してどのような類型が得られるかは明らかではない．日本語のより多様な対話システムでの破綻に対して類型をより洗練させながら，他の言語に対しても一般性があるかを確認していきたい．}他の可能性としては，対話モデルの頑健性を高めるunlikelihoodtraining\cite{li2019dont}における人工的なエラー生成のガイドラインとして用いることが考えられる．さらに提案類型はシステムによるエラーを減らすという目的以外にも，対話の破綻が起きた後に回復する方法の検討に用いることができる\cite{higashinaka2020overview}．修復\rev{\cite{Purver2018}}，明確化要求\rev{\cite{liu-etal-2014-detecting,stoyanchev-etal-2013-modelling,Rodrguez2004FormIA}}，ユーザの不満検出\cite{see-manning-2021-understanding}など，ミスコミュニケーション時に人々がどのように反応するかを理解するための様々な研究が行われており，我々は本類型を，対話破綻を中心とした様々な対話現象の対応を考えるための指針として，利用していけるのではないかと考えている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本論文の一部は,The22ndAnnualMeetingoftheSpecialInterestGrouponDiscourseandDialogue(SIGDIAL2021)で発表したものです\cite{higashinaka2021taxonomy}.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{07refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{東中竜一郎}{%2001年慶應義塾大学大学院政策・メディア研究科修士課程，2008年博士課程修了．2001年日本電信電話株式会社入社．2020年より，名古屋大学大学院情報学研究科教授．NTT人間情報研究所・NTTコミュニケーション科学基礎研究所客員上席特別研究員．慶應義塾大学環境情報学部特別招聘教授．2004年から2006年まで英国シェフィールド大学客員研究員．質問応答システム・対話システムの研究に従事．人工知能学会，言語処理学会，情報処理学会，電子情報通学会各会員．博士（学術）．}\bioauthor{荒木雅弘}{%1988年京都大学工学部卒業．1993年京都大学大学院工学研究科博士課程研究指導認定退学．京都大学工学部助手，同総合情報メディアセンター講師を経て，現在京都工芸繊維大学大学院工芸科学研究科准教授．対話システムの開発方法論の研究に従事．ACL，ISCA，情報処理学会等各会員．博士（工学）．}\bioauthor{塚原裕史}{%1996年中央大学大学院理工学研究科物理学専攻博士前期課程修了．1999年博士後期課程修了．2000年日立ソフトウェアエンジニアリング株式会社入社．2005年より，株式会社デンソーアイティーラボラトリ．人工知能を応用した車載情報システム，音声対話を利用した車載機器向けユーザインタフェースの研究開発に従事．日本物理学会，人工知能学会，言語処理学会，情報処理学会各会員．博士（理学）．}\bioauthor{水上雅博}{%2012年同志社大学理工学部卒業．2014年奈良先端科学技術大学院大学情報科学研究科修士課程修了．2017年同研究科博士課程修了．同年，日本電信電話株式会社入社．現在，NTTコミュニケーション科学基礎研究所に所属．自然言語処理及び対話システムに関する研究に従事．博士（工学）．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}