# 「負例を厳選した対話応答選択による 対話応答生成システムの評価」の執筆をふりかえって

佐藤 志貴 $\dagger$

## 1 はじめに

本稿では, 言語処理学会 2022 年度最優秀論文賞を受賞した「負例を厳選した対話応答選択による対話応答生成システムの評価」について述べる，とくに，研究の着想に至る経緯や, 原論文採録までの過程で得た学びに焦点を当てる．研究の詳細に関しては原論文を参照されたい.

## 2 原論文の概要

本研究は，ニューラル雑談対話システムの性能の自動評価手法を提案するものである．性能と言っても様々な評価軸が考えられるが「意味的に妥当な応答を生成可能か」に注目している.雑談対話システムの性能評価で最も注意が必要であると著者が考えるのは, 妥当な応答が無数に存在する，という対話の性質である。この性質こそが対話の面白さと考えることもできるが, 雑談対話システムの性能評価を難しくする要素でもある. 特に BLEU (Papineni et al. 2002) など, これまで広く使われてきた参照応答との類似度に基づく評価を困難なものにする。

本研究では, この性質の影響を受けにくい雑談対話応答生成システムの自動評価手法として,対話応答選択を用いた評価に着目した。対話応答選択は，与えられた対話履歴に続く適切な応答（以下，正例と呼ぶ）を選択肢（以下，応答候補と呼ぶ）から選択するタスクである。雑談対話応答生成システムは応答を生成するシステムだが, 応答候補中の各発話の生成確率を計算し,最も生成確率が高い候補をシステムの選択とみなすことで選択問題を解くことができる。選択問題であれば回答は選択肢中の応答に限られるため, 適切だが参照応答と類似しない応答が出力されシステムが不当に低く評価されるといった事態を回避できる.

本研究の取り組みは, 対話応答選択による雑談対話システムの自動評価に適した評価用デー タセットの作成である。特に，対話応答選択における負例をどのように選定することで有効なシステム評価が可能かに焦点を当てた．対話応答選択における負例の一般的な収集手法として，無関係な対話に含まれる発話の無作為抽出が挙げられる (Lowe et al. 2015; Gunasekara et al. 2019). しかし, この手法では (a) 対話履歴と無関係な単語等を含むために対話の内容を考慮せ

ずに不正解と判別できてしまう発話や，(b) 対話履歴に対する応答として必ずしも妥当ではないと言い切れない発話が負例として収集される可能性がある。そこで本研究では，こうした負例が評価データセットに混入することを防ぐため，正例をクエリとして検索された類似発話のうち, 応答として妥当ではないものを人手によって取り出すことで負例を収集する手法を提案した. 提案法により構築した評価データセットを用いた対話応答選択によって複数の雑談対話システムを性能順に並び替えたとき，既存の自動評価法や負例を無作為抽出したときと比べ，人手評価と相関するシステムのランキングを作成可能であることを実験で確認した.

## 3 本研究の着想に至った経緯とその後

原論文は, The 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020) で発表したもの (Sato et al. 2020) に実験等を補強したうえで執筆した論文である。そのため,ここでは ACL 2020 で発表した論文について述べる.

ACL 2020 で発表した論文を執筆したのは著者が修士課程 1 年目のことであったが，学部生の頃はどちらかといえば雑談システム自体を構築することに興味があり, 自身の研究も雑談システムの応答生成法に関するものを行っていた。当時は右も左もわからないながら研究を進めていったが，提案手法により生成される応答の意味的な妥当性の検証において苦しんだ。最終的にシステム応答の妥当性を検証する際の手法といえば当時も近年も変わらず人手評価となるが，システム改良を重ねていく合間に低コストで妥当性を評価する手立てがないため，自身で応答の質を確認しつつ問題点を洗い出していくしかなかったのだ。今でこそ人手評価との相関が一定程度確認されている対話システム自動評価手法が様々提案されている. しかし, 当時の先行研究では広く使われている自動評価といえば, 先述した問題を抱える BLEU 程度しかなかった. そのとき, 雑談対話システム開発には人間の主観に沿う自動評価指標が必要であると強く感じた.

以上のようなスタートから, 実際に本研究を進めていった。この研究を始めたのは著者が修士課程 1 年目の夏前頃からであったが, 当初から ACL 2020 への投稿を具体的な目標としていた. これは，とにかく修士課程 1 年目の間に国際会議への投稿に挑戦してみたいという理由から決めたものだった，ただ，評価手法の提案のような，時間さえあればいくらでもマイナーチェンジできる可能性のある研究では，締切を早い段階で決めないとズルズルと投稿が後ろ倒しになることも考えられる．結果的には，この研究ではこの方針が功を奏したのではないかと感じる.

## 4 執筆で得られた学び

ACL2020に向けた執筆は，初めての査読ありの執筆，英語での執筆ということで，採択に至るまでに得た学びや細かい失敗は数え切れない。そのなかには研究に臨む姿勢も含まれる。ただ，それらは必ず他者に当てはまるかも明確ではないため, 少し本記事の趣旨とは異なる可能性もあるが，ACL2020 執筆に向け予め知っておけばよかった具体的な学びをいくつか挙げることにする。特にこれから初めて国際会議に挑戦する方の参考になれば幸いである.

## 4.1 学び 1: 研究ログはいつ人に見られてもいい程度に整理して残す

研究に関わるデータやメモを隈なく保存するということは研究において基礎中の基礎であり，当然著者も本研究に取り組むなかで発生するそれらを保存した. しかし, 今にして思うと, 「そのデータが今後どのように使われうるか」という想像に欠けていたように感じる. 特にそのことを強く感じたのは，「研究データの一部を共有してほしい」というメールを昨年受け取ったときだった. そのデータは残っていたものの, 付随するスクリプトの読みやすさやファイル名などがお世辞にも整理されているとはいえず，なかにはメモを見なければなんのファイルなのか思い出せないものもあったのだ．結局メールでデータを共有する際には，かつての作業を思い起こしながら，コメントを付与したりファイル名を解釈可能なものに一部変更する必要があり, それなりのコストに。「どんな情報の共有を依頼されるかわからないのだら, どんなデータも気持ちよく人に見せられる程度に日頃から整理すべき」というのは，もちろん朧げには誰しも想像できる。しかし, 初めて国際会議に論文を出す時には,「世界中のたくさんの研究者が自分の研究に興味を持って, 本当に直接コンタクトをとってくる」ということは, 当時の著者同様になかなか実感しにくい部分があるのではと感じるし，なんたか自意識過剰なのではないかと思ってしまうのかもしれない。たた，論文執筆の責任にはこのようなデータ管理も含まれている. 著者としても，今後は「いまやっている実験のデータは，いますぐに誰かに見せても理解しやすい形式になっているか」を日頃から自分に問いかけながら研究を進めていきたい.

## 4.2 学び 2: 順調だからこそ, ふと手を離すことが重要な場合も

複数の研究プロジェクトであったり業務を抱えていることのメリットの一つとして，一方でうまく行かない時でも, 気分転換がてら他方に取り組むことでモチベーションを維持できることが挙げられるのではないかと考える。しかし, 自分にとってこの研究は, 順調に進んでいてモチベーションも高い状態で手を離したことでうまくいった稀有な例である.この研究は修士課程 1 年目の夏前から始めたわけだが，当初から比較的研究は順調に進み，初めての国際会議へ良い論文が投稿できるかもしれないと，モチベーションも高く維持できていた．たた，夏の後半に 1 ケ月を超えるフルタイムでのインターンシップへの参加が事前に決まっていたため, 順
調に進んでいるなかで，この研究を本格的に進めることは難しくなった，論文投稿まで時間が有り余っているというわけでもないなか, 長期間手を離すことで，締め切りに間に合わない可能性も出てくる。なにより，再開した時に高いモチベーションを持てるだ万うか. インターンシップ開始時は不安も感じた。しかし, インターンシップ期間をいま振り返ると, この研究にとっても非常に充実したものであったように思う．自分の研究のことを頭のなかで考える程度の時間はあるが，実験を進めることは難しい，そんなもどかしさと共に日々を過ごすうち，これまではある程度盤石だと思い猪突猛進に実験を進めていた研究の大元のストーリーであったり実験設定に，脆弱性が存在することに気付けたのである，インターンシップ前の自分は，高いモチベーションのもと，とにかく研究を前へ進めていこうという気持ちばかりを尊重して，そういった穴には目を向けられていなかった。この段階でそれらに気づけていなかったら，結果的には後から大きく遠回りすることになり，ACL2020での採択や原論文の受賞にもつながらなかったかもしれない. モチベーションが高い状態だからこそ， ふと手を止めてみて，自分が先走り過ぎていないか振り返ってみることが重要なこともあるかもしれない.

## 4.3 学び 3: むやみに謝らない

個人的にはこれが最も重要だと考えている。何の話かというと，リバッタルである。論文を投稿すると, 国際会議にしろ論文誌にしろ, リバッタルの機会が与えられることがある. 全く欠点のない論文でもない限り，そこで様々な指摘をもらうことになる。なかでもよくある指摘としては「説明が足りない」「ここで言っていることがわからない」などが挙げられる。これらに対するリバッタルを書く時，普段日本で生活している方であれば，どうしても「申し訳ございません」という文から始めたくなるのではないかと個人的には思っている．謝罪も日常のコミュニケーションの潤滑油の一つとして扱う（と著者は解釈している）日本文化に染まった著者も例に漏れず，まずは軽めの謝罪からドラフトを書き始めた，ただ，その冒頭はすぐに指導してくださった方によって消されることになった．理由は単純明快．悪いことをしていないのだから謝る必要はない．これはリバッタルの性質を改めて考えてみると，極めて重要なのだとわかる，論文投稿者の目線で考えた時，そもそもリバッ夕ルの目的は，レビューをしたレビュアーの気分を良くすることではない，レビューとリバッタルの応酬を見せて，メタレビュアー に「投稿者側の言い分のほうが正しい」ということを納得してもらうことが目的である。そんななかで謝罪をしてしまうと「詳しくは不明だが，この著者にはなにか後ろめたい部分があるのか」という印象を与えかねない，もちろん重要なのは反論の中身ではあるが，国際会議では採択率が $20 \%$ を下回る場合もあるなど競争が激化している。ボーダー付近の論文が大量に存在する昨今では，この小さな印象が採否を左右する可能性も考えられる。もちろんレビュアーへ対するリスペクトはしっかりしたうえで，それでも「正しいことを言っているのはこちらです」 ということが正しく伝わる言葉選びは重要となるということを学んだ.

## 5 おわりに

本研究は, 初めての評価に関する研究への挑戦, 初めての国際会議への挑戦, 初めての論文誌への挑戦，初めてづくしとなる挑戦の機会を与えてくれた，学びは数知れず，上述のものだけでは全く書き足りない，今回，そんな一際思い入れの深い研究で賞をいただけたことには，素直な喜びのほかに，尊敬する師の栄誉が讃えられた誇らしさのようなものも感じる。まだまだ未熟者ではあるが, 得られた経験や想いも糧にして, 引き続き研究活動に邁進していきたい.

## 謝 辞

查読や賞選考に関わってくださった皆様, 原論文掲載までの過程や本稿執筆に関してお世話になった編集委員の皆様に感謝申しげます。また，共著者の皆様，沢山の助言をくたさった東北大学自然言語処理研究グループの皆様にお礼申し上げます.

## 参考文献

Gunasekara, C., Kummerfeld, J. K., Polymenakos, L., and Lasecki, W. (2019). "DSTC7 Task 1: Noetic End-to-End Response Selection." In Proceedings of the 1st Workshop on NLP for Conversational AI, pp. 60-67.

Lowe, R., Pow, N., Serban, I., and Pineau, J. (2015). "The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 285-294.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Sato, S., Akama, R., Ouchi, H., Suzuki, J., and Inui, K. (2020). "Evaluating Dialogue Generation Systems via Response Selection." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 593-599.

## 略歴

佐藤志貴：2019 年東北大学工学部卒業. 2021 年東北大学大学院情報科学研究科博士前期課程修了. 現在, 東北大学情報科学研究科博士課程取得に向け研究を進めている. 2021 年度より日本学術振興会特別研究員 (DC1)