\label{sec:introduction}人間と日常会話などの雑談をおこなう雑談対話応答生成システムは，医療や教育をはじめとした様々な分野で注目され\cite{Litman2016:UsingConversations,Addlesee2019:CurrentChallenges}，研究開発が活発におこなわれている．特に近年，深層学習技術の発展を背景に急速に研究が進行した深層学習ベースの雑談対話応答生成システムは，対話履歴に対して流暢な応答を生成できることが知られている\cite{Zhang2020:DIALOGPT,Adiwardana2020:Humanlike,Roller2021:Recipes}．しかし，人間と自然な雑談が可能なシステムの実現に向けては，さらなる改良の余地がある．たとえば，近年の雑談対話応答生成システムが生成する応答でさえ自身の直前の発話とは矛盾する主張をするなど，人間同士の会話では生じないような誤りを含むことがある\cite{Adiwardana2020:Humanlike,Roller2021:Recipes}．システムの改良に取り組むうえで，その性能を費用や時間をかけず低コストで評価する指標の存在は大きい．たとえば機械翻訳の研究では，システムが生成した翻訳文と参照訳の間の$n$-gramの一致を評価するBLEU\cite{Papineni2002:BLEU}という指標がシステム性能の自動評価に用いられる\cite{Sutskever2014:SequenceToSequence,Bahdanau2015:Jointly,Luong2015:Effective,Vaswani2017:Attention}．機械翻訳の研究において，BLEUは人間による評価に代わるほどの信頼性を持つ評価指標ではない\cite{Stent2005:EvaluatingEvaluation,Callison2006:Reevaluating,Smith2016:Climbing}ものの，人手評価と一定の相関を持つ評価が可能であることが知られている\cite{Reiter2018:Structured}．そこで機械翻訳の研究では，BLEUを用いて一定の精度でコストをかけず評価しながらシステムの改良を繰り返すという効率的な開発プロセスが分野に定着することで，技術が飛躍的に発展した．一方，雑談対話応答生成の研究では，機械翻訳研究でのBLEUに相当するような分野全体に共有されている評価指標が存在しているとは現状言い難い．たとえば，雑談対話応答生成システムの自動評価においてもBLEUはしばしば用いられる\cite{Sordoni2015:ContextSensitive,Wen2015:SemanticallyConditioned,Li2016:DiversityPromoting,Zhang2020:DIALOGPT}が，人手評価との間には相関がまったく認められないことが報告されている\cite{Liu2016:HowNotEvaluate}．この原因として，対話には一つの対話履歴に対し妥当な応答が複数存在するという性質が存在することが挙げられる．この性質により，用意した有限個の参照応答との$n$-gramの一致を評価するBLEUでは，参照応答には類似しないが適切な応答が低く評価される可能性があり，信頼性の高い評価をおこなうことは難しい．たとえば「好きな果物は？」という対話履歴に対しては「リンゴが好きです。」という応答も「メロンかな」という応答も妥当だが，参照応答が「リンゴが好きなんです。」だった場合，共通した$n$-gramを含まない後者の応答はスコア$0$として扱われる．雑談対話応答生成システムの自動評価方法の設計にあたっては，この性質への対処が重要となる．本論文では，この性質の影響を受けにくい雑談対話応答生成システムの自動評価方法として，対話応答選択と呼ばれる選択問題を用いた評価に着目する．対話応答選択は，与えられた対話履歴に続く適切な応答（以下，正例と呼ぶ）を選択肢（以下，応答候補と呼ぶ）から選択するタスクである．雑談対話応答生成システムは応答を生成するためのシステムだが，応答候補中の各発話の生成確率を計算し，最も生成確率が高い候補をシステムの選択とみなすことで選択問題を解くことができる．対話応答選択を用いた評価は，次の二つの特長から，分野全体が共有する雑談対話応答生成システムの自動評価指標に適していると考えられる．一つめは，適切な応答が複数存在するという対話の性質の影響を回避したシステム評価が可能となる点である．対話応答選択ではシステムの選択する応答が候補内のものに限られるため，適切ではあるが正例と類似しない応答が出力され低く評価されるといった事態を回避できる．二つめは，システムの性能を正解率という統一的な指標で測ることができる点である．BLEUなどのシステム応答自体を評価する指標では，単語分割処理などの違いが評価結果に影響を与える可能性があるため，先行研究での報告値にもとづいたシステム間の比較が難しい場合がある．一方で，対話応答選択による評価ではシステムの性能を正解率で測るため，先行研究の報告値をもとにシステム性能を比較することが容易である．対話応答選択では，応答生成システムが実際に生成する応答の質自体を評価することはできないため，人手評価に代わる評価の枠組みとはなりえない．しかし，少なくとも適切な応答を生成可能なシステムであれば適切な応答を選択することが可能であると仮定すると，システムが適切な応答を生成しうるかを確認することができるため，対話応答選択は日々のシステム改良の成果を確認するための継続的な評価への利用に適した枠組みといえる．ただし，従来の対話応答選択の枠組みは負例の獲得方法において改善の余地がある．一般的に，対話応答選択の応答候補のうち不正解となる候補（以下，負例と呼ぶ）には，対話履歴や正例とは無関係な対話データから無作為に抽出してきた発話を用いる\cite{Lowe2015:Ubuntu,Gunasekara2019:DSTC7Noetic}．このとき，無作為抽出により収集された負例には，(a)正例とかけ離れすぎていて容易に負例と判別できる発話や，(b)応答として誤りとはいえない発話が含まれる可能性がある．まず(a)について，たとえば「好きな果物は？」という対話履歴に対し「体調が悪いです。」という発話が負例として抽出されたとする．この発話は対話履歴中の「果物」という単語と明らかに無関係な「体調」という単語を含む．そのため，単語を比較していくだけで対話履歴との関連性が低い候補であることがわかり，負例であると推測できてしまう．このような負例の混入によって，システムが対話の内容を理解していなくとも正解できる選択問題が構築されうる．次に(b)について，対話ではある発話が無数の対話履歴に対する応答として成立することもあるため，対話履歴や正例と無関係な対話データから負例として無作為抽出した発話が必ずしも応答として不適切であるとは限らない．とりわけ「わかりません」など，さまざまな対話履歴に対して応答として成立し対話データセット中に頻出する発話が，負例として無作為抽出されることが考えられる．このような発話が負例となっている問題については，妥当であるにも関わらず選択すると不正解と見なされる候補が存在することになり，システムの性能が不当に低く見積もられるという事態につながる可能性がある．負例を無作為抽出で取得した場合，(a)や(b)のような発話により対話応答選択によるシステム評価の有効性は低下するおそれがある．本論文では，雑談対話応答生成システムの自動評価の枠組みとして分野全体で共有される指標の実現に向け，前述した不適切な負例を応答候補から除いた対話応答選択による評価を考える．具体的には，各問題の正例に類似する発話のうち応答として成立しないものだけを厳選して負例として用いることで，(a)や(b)のような応答候補の混入を抑制した対話応答選択テストセットの構築方法を提案する．提案する構築方法に従って実際にテストセットを構築し，雑談対話応答生成システムを対話応答選択で評価したところ，既存の広く用いられている自動評価指標と比べて人手評価と強く相関することを実験により確認した．本論文の主要な貢献は以下の三点である．\begin{itemize}\item雑談対話応答生成システムの評価に適した対話応答選択テストセットの構築方法を提案した．\item提案する方法に従い，実際に対話応答選択テストセットを構築し公開した\footnote{\url{https://github.com/cl-tohoku/eval-via-selection}}．\item提案する方法で構築したテストセットを用いた対話応答選択による雑談対話応答生成システムの評価結果が，既存の広く用いられている自動評価指標と比べて，人間による評価結果と強く相関することを実験により確認した．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%