# 対話システムは疑問符なしで適切な応答生成できる 一音声対話を目的とした，疑問文に対する応答生成の調査一

水本智也 ${ }^{1}$ 山崎天 ${ }^{1}$ 吉川克正 ${ }^{1}$ 大萩雅也 ${ }^{1}$ 川本稔己 ${ }^{1,2}$ 佐藤敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
\{tomoya.mizumoto, takato.yamazaki, katsumasa.yoshikawa,
masaya.ohagi, toshiki.kawamoto, toshinori.sato\}@linecorp.com

## 概要

人が音声で対話する際，テキストベースの対話とは異なる現象が見られる. テキストベースの場合,疑問文は疑問符“?”を付けることが一般的であるが，音声対話では語尾を上げて疑問を表すことがある。音声認識エンジンには疑問文に対して“?”が付与されないものも多くあり，音声対話システムを作る際に障害となり得る。例えば，音声で「適切な応答生成できる？」と入力された際に，文末の“?” があるかないかで文意は異なり，システムがすべき適切な応答も変わる. 本研究では, “?”の有無が対話システムに与える影響を調査し，またどのような発話がより対話に影響するか実例を元に考察する。

## 1 はじめに

スマートフォンやスマートスピーカーの普及に伴い，音声によってデバイス操作することが一般的となってきた. 対話システム研究の分野においても自然言語処理の枠を越えて，ロボットや CG エージェントを使って，ユーザとマルチモーダルな音声対話を行うコンペティションが開催されている $[1,2,3]$ が，コンペティションに参加した多くの対話システムは書き言葉コーパスを使って作られている.

音声で対話を行う際は，テキストベースの対話にはない難しさが生じる. その中の一つに音声認識されたテキストに句読点や疑問符 (以下，“?”) などの記号 (約物) が付与されていない問題がある. そのような問題に対処するために約物の自動付与の研究も行われている $[4,5,6]$.

入力文に約物がないと，入力文が平叙文か疑問文か区別できない問題が生じる．音声対話では語尾を上げて疑問を表現することがあり，テキストにすると疑問とわからないことがある．例えば，NLP2023

図 1 疑問文に対する応答の評価の例。疑問に対する応答のため，二番目三番目は不適当な応答となる。

に参加するか聞く際，「NLP2023 に参加する？」と語尾を上げて疑問として聞くことができるが，音声認識でテキストに起こされると「NLP2023 に参加する」となる．疑問であった情報は落ち，テキストベース対話を想定した既存の対話システムは平叙文と認識し，応答生成に失敗する可能性がある.

そこで本研究では，対話コンペティションでも主流のテキストベース対話を想定したシステムが，音声認識で得られた，疑問符のない疑問発話にどれだけ頑健か調査する。“?”の有無が応答生成に影響しなければ，音声対話システムを作る際に既存の対話システムをそのまま使用できる。一方，“?”が応答生成に影響すれば，入力文に“？”を付与するなど， システムが疑問とわかる工夫をする必要がある.

“?”の影響調査のため，文末が “?” のものとそうでないものを用意し，それらに対し対話システムで応答を生成し，その応答を人手で評価，分析した (図 1). 評価・分析の結果として, “?”が対話システムの応答生成に与える影響は大きいことがわかり，またこの問題の解決のために音声情報などテキスト以外の情報が必要であることが示唆された.

## 2 調査方法

## 2.1 対象とする現象と比較方法

テキストに付与される約物は疑問符だけでなく，句読点や感嘆符，鉤括弧など多岐にわたる．本研究

では，問題の簡単化のため“?”だけを対象とする. また, 音声対話において, 発話が長くなると一発話中に複数文入ることがあり，句点や疑問符が入る箇所もそれに応じて増えるが，発話内に複数文ある場合でもテキストの最後の“?”のみを対象とする.例えば「沖縄好き NLP 行きます」のような発話があった際に，本来は「沖縄好き？ NLP 行きます？」 のように“好き” の後ろにも“?” が入るのが適切である. 今回は「沖縄好き NLP 行きます？」のようにテキスト末尾に入る記号のみを対象とする。

文末の “?" の比較対象として，文末記号を記号なしにした場合と句点“。”にした 2 種類を用いる.記号なしは音声認識結果のテキストをそのまま使った場合を想定している. 句点は，仮に約物の自動付与に失敗した場合に悪影響があるかを調査するために用いる. 図 1 のように各事例に対して応答を生成し，疑問に対する応答であるかを評価する。

応答生成のために検証対象のユーザ発話だけでなく, 文脈として過去の発話履歴も入力として使用する.これは，該当する発話が短いなど，一発話のみからの応答生成が難しい場合があるためである。また，一般的な音声対話においてユーザが疑問から始める場合は少なく，ある程度の文脈を使って応答を生成する方が現実的な設定であるため, 本研究では文脈も使用して応答生成を行う. 本研究では, 対象のユーザ発話含め 4 発話を入力とする.

## 2.2 使用する対話データ

特徴の異なるタイプの対話での “?” の影響を調査するため，三つのデータを使用する。一つ目は名大会話コーパス [7] 1) (以下， NUCC), 二つ目は対話システムライブコンペティション 5 の LINE チームのオープントラック予選の対話履歴 (以下，Open),三つ目は同じく対話システムライブコンペティション 5 の LINE チームのシチュエーショントラック予選の対話履歴 (以下，Situation)である.

NUCC は日本語母語話者の雑談対話を人手で書き起こしたものである. データの中には, 複数人で対話をしているものもあるが，二人で対話しているもののみを使用する. 音声対話したものを人手で書き起こしたデータであるため, 音声認識誤りなどは含まれていないが，括弧などで場の雾囲気や笑い声なども情報として付記されている. 本研究では，そのような情報は削除して純粋な発話のみを使用する.

1) https://mmsrv.ninjal.ac.jp/nucc/
Open は，コンペティション評価者と LINE のオー プントラック対話システム [8] との雑談対話の履歴である. 雑談のトピックはいくつか用意されており, アニメ, 観光地, 時事など多岐にわたる. 評価者と対話システムは音声でやり取りし，評価者の発話は音声認識エンジンの Google Speech Recognition を使ってテキスト化される. 評価者の発話には音声認識誤りが含まれている可能性があり, 約物も付与されていない. 本研究のために，音声認識されたテキスト末尾に句点，疑問符を人手で付与した.

Situation は，コンペティション評価者と LINE のシチュエーショントラック対話システム [9] との, シチュエーションに沿った対話履歴である. 本を失くしたことを謝るシチュエーションであり，また敬称無しで呼び合う仲という設定で比較的親しい間柄に近く, 丁寧語 (です，ますなど) があまり出ない対話となっている ${ }^{2}$. Open 同様に, 音声認識されたテキスト末尾に句点，疑問符を人手で付与した.

2.1 節で説明したように，ユーザ発話のテキスト末尾が “?”で終わっているもののみを対象とする. NUCC は全てが人による発話であるが，今回は “?” がある発話をユーザ発話とみなし, その前に発話しているユーザを対話システムとみなすことで調査用データを作成した. 全てのデータセット， 100 対話例ずつ作成した. Open は “?” が含まれる発話が 100 に満たなかったため, 以下の例のように “ますか”や“ですか”など疑問を表す助詞 “か”で終わっている発話の “か”を削除することで対話例を水増しした。

(1) 行きますか？～行きます？

## 2.3 対話システム

本研究では，異なる性質を持つ対話システムで疑問符の有無の影響を調査するため, 以下の二つのシステムを用いる。一つ目は, 2022 年に開催されたコンペティションにおいて優勝した HyperCLOVA [10] ベース ${ }^{3)}$ の対話システムである。もう一つは， 2020 年に開催されたライブコンペティション [12] のオー プントラックで優勝した Trasformer ベースの対話システム $[13,14]$ を使用する.

HyperCLOVA ベースの対話システムは，プロンプトプログラミングによって実現されている. NUCC

2）シチュエーションの詳細はホームページ参照.

3）HyperCLOVA は GPT-3 [11] と同様の性質を持つ日本語基盤モデルを含むシステムである.
表 14 人の評価結果の一致率.

と Open のデータに対して応答を生成する際は， LINE のオープントラック対話システム [8] で使われた一般的なプロンプトを使用する. Situation のデー タに対して応答を生成する際は，LINE のシチュエーショントラック対話システム [9] の謝罪フェー ズのプロンプトを使用する。また， HyperCLOVA は 82 Billion パラメータのものを使用する。

Trasformer ベースの対話システムは Twitter のリプライデータで Transformer [15] を事前学習しており, そこから対話ログを使って finetune している. 本研究では, JPersonaChat [13] で finetune されたモデルを使用する ${ }^{4)}$ 、ハイパーパラメータは, 先行研究実験時と同様のものを使用する. HyperCLOVA ベースの対話システムと同様，生成する直前の 4 発話をシステムに入力して応答を生成する.

## 2.4 評価方法

“?”が対話システムに与える影響調査のため, システムが生成した応答を人手で評価した. 評価は著者を含む社内の NLP エンジニア 8 名で行い， NUCC・Open・Situation それぞれ 4 名ずつで評価した. 評価に際しては，対話システムが良い応答ができているかという観点ではなく，疑問文に答えた応答になっているかで評価した. 本研究の評価では,計算の簡単化のため “ $\bigcirc$ ” か “ $\times$ ” の二択で評価した.評価者には，対話システムが応答生成する際に使った文脈を含めて提示し，疑問文に答えられているかを評価してもらった。評価労力の削減のため，一つの対話事例ごとに二つのシステムと三つの文末記号の組み合わせとなる六つの応答結果をまとめて提示した. システムや文末記号による先入観やバイアスが入ることを防ぐため，どのシステム，どの文末記号によるものかは記載せず，各対話例ごとにランダムに並び替えた．評価ツールにはエクセルを用いて，Appendix の図 2 に示す形で評価した。

4 人の評価結果の一致率を調べるために Fleiss のカッパ係数を計算した. 一致率を表 1 に示す. Open と Situation については 70 を越えており高い一致率である. NUCC に関しても Kappa 係数 58 となっており, 4 人の結果でも比較的一致している.


表 2 文末の記号ごとの，対話システムが質問と認識して応答を生成できた割合. “Tr.” は Transformer ベース, “HC” は HyperCLOVA ベースの対話システムを表す.

## 3 実験結果

文末記号を変えた際の対話システムの応答を人手評価した結果を表 2 に示す。それぞれ 4 名で評価しており，その内の 3 名以上が“○”を付けているものの割合を示している. システムやデータに関わらず，文末が“?”のものが高い精度を出しており，疑問発話に対する応答を生成する場合は“?”乍付ける必要があることが分かる。

システム間で比較すると Transformer ベースの対話システムは，“？”がある場合とない場合で，およそ $30 \%$ の精度差があり“?”の果たす役割が大きいことがわかる. HyperCLOVA ベースの対話システムは“?”がある場合とない場合でおよそ $20 \%$ の精度差で Transformer ベースのものに比べると差は小さいが，それでも大規模なパラメータを持つ汎用モデルによる対話システムにおいても“?”の重要度は高いことがわかる. Situation に対する HyperCLOVA の結果は差が小さいが，これはシチュエーションがかなり限定されており，プロンプトにもそれが反映されているからだと考える。 しかし，それでも $10 \%$ の差はあり，プロンプトが作り込まれていても“?" は重要であることが示唆される。

記号なしと“。”とを比較するとシステムやデー タに関わらず大きな差はない。このことから仮に “?”の自動付与に失敗して疑問文に対して“。”を付与してしまっても，音声認識結果をそのまま使う場合と同等の質の対話は維持できると言える.

## 4 考察

本節では，実際の対話例を元に分析する。対話システムによって生成された応答例を表 3 に示す. 比較を容易にするため, 最後のユーザ発話以外の文脈は同じで最後のユーザの疑問発話が助詞 “か” で終わるものとそうでない場合での応答結果を比較する．疑問を表す助詞 “か” で終わっている場合は， “?"が無くとも疑問系と識別できるため，表中の上の例のように全て適切な応答が生成できている。一
表 3 対話システムの実際の応答生成例。システムカラムの “HC” は HyperCLOVA ベース, “Tr.” は Trasformer ベースを表し，“なし”,“。”，“?”は文末記号を表す．右端に、があるものは人手評価で適切な応答とされたものである.

 &  &  & $\checkmark$ \\

表 4 “?”以外の場合で，HyperCLOVA の対話システムは疑問に答えられたが Transformer では失敗した対話例.

方，“あります”のように平叙文の形で文が終わっている場合は，現状の対話システムでは疑問文と認識して応答を生成できずに，“ユーザが行ったことがある”と捉えて応答生成していることがわかる．表 3 の例にも示すように“?”が無くても疑問に対して応答生成できるものの多くは，先述した例のように疑問を表す助詞で文が終わっているものや $(2 \mathrm{a})$, いわゆる $5 \mathrm{~W} 1 \mathrm{H}$ のような疑問詞がある場合 (2b) であった. それに対して，“?”がないと応答生成が難しいものは“?”がないと人間でも平叙文として捉えてしまう可能性があるもの (2c)である.

(2) a. YouTube は見ますか

b. どんな場所です

c. オランダに行ったことある

議論を深めるために，文末が“?”"でない場合に疑問に答えられなかった例を中心に分析する。表 4 に HyperCLOVA ベースでは疑問に答えた応答を生成できたが，Transformer ベースでは失敗した例を示す. 発話単体では疑問と判断するのは難しいが, HyperCLOVA ベースのシステムは文脈から疑問であ
ると判断できたと考える.この例のように文脈から疑問として判断し応答生成できる例もあるが，“?” がない場合に失敗しているものは $20 \%$ 程度ある。参考に Appendix の表 5 に“?”がない場合に疑問に答えた応答が生成できない他の発話例を示す.これらの対話例は，疑問符の自動付与もテキストのみから行うのは難しい，また，日本語対象ではないが，音声入力への約物の自動付与の先行研究でも，その精度は 8 割程度である $[4,5,6]$. この問題を解決していくには，言語情報だけで応答生成することは難しく，テキスト処理の枠を越えて，音声や顔の表情も同時に使った応答生成をする必要があると考える。

## 5 おわりに

本研究では、対話システムの応答生成において,文末の “?” が生成結果に与える影響について調査した. その結果，“?”がある場合とない場合を比較すると, “?" がある場合に適当な応答を返す割合が 20〜30\%ほど高く，対話の応答生成において“?”が果たす役割が大きいことがわかった.

疑問符がない場合に失敗する例を見ると，疑問符がないと疑問とわからないものがほとんどであった. 文脈を含めてもテキストのみで疑問と判断するのが難しいものもあり，今回は対象としていないが音声対話には音声認識誤りの問題もある.これらの問題を解決するためには，テキスト処理を越えて音声や顔の表情を使った応答生成をする必要がある.

複数文ある際の句点や疑問符，また読点の有無が応答の質に影響を与えるかは課題として残っている. また, 日本語以外での言語で疑問符の有無が応答生成に影響するかの検証も今後の課題としたい。

## 謝辞

本研究の評価を手伝ってくださった LINE NLP チームの内海慶氏，小林滉河氏，馬越雅人氏に感謝する.

## 参考文献

[1] Ryuichiro Higashinaka, Takashi Minato, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Dialogue robot competition for the development of an android robot with hospitality. In Proc. of 2022 IEEE 11th Global Conference on Consumer Electronics, 2022.

[2] Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Overview of Dialogue Robot Competition 2022. In Proc. of the Dialogue Robot Competition 2022, 2022.

[3] 東中竜一郎, 高橋哲朗, 堀内颯太, 稲葉通将, 佐藤志貴, 船越孝太郎, 小室允人, 西川寛之, 宇佐美まゆみ,港隆史, 境くりま, 船山智. 対話システムライブコンペティション 5. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 93-100, 2022.

[4] Jumon Nozaki, Tatsuya Kawahara, Kenkichi Ishizuka, and Taiichi Hashimoto. End-to-end Speech-to-PunctuatedText Recognition. In Proc. of Interspeech, pp. 18111815, 2022.

[5] Yaoming Zhu, Liwei Wu, Shanbo Cheng, and Mingxuan Wang. Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus. In Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 7272-7276, 2022.

[6] Xinxing Li and Edward Lin. A 43 Language Multilingual Punctuation Prediction Neural Network Model. In Proc. of Interspeech, pp. 1067-1071, 2020.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and Grammatical Features of Spoken and Written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora. In Proc. of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[8] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. HyperCLOVA を用いた音声雑談対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 113-118, 2022.

[9] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシナリオ誘導と HyperCLOVAを利用した応答生成によるハイブリッド対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 124-129, 2022.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang,
Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[11] Tom B Brown, Benjamin Mann, et al. Language Models are Few-Shot Learners. In Proc. of Advances in Neural Information Processing Systems, pp. 1877-1901, 2020.

[12] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博,小室允人, Dolça Tellols. 対話システムライブコンペティション 3. 第 90 回人工知能学会言語・音声理解と対話処理研究会, pp. 96-103, 2020.

[13] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[14] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モデルによる趣味雑談システムの構築. 第 90 回人工知能学会言語・音声理解と対話処理研究会, pp. 104-109, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

## A 参考情報

図 2 評価に使ったエクセルのサンプル。

表 5 HyperCLOVA ベースの対話システムで，文末“?”の場合は適切な応答ができたもので，“。”と記号なしの場合両方で応答に失敗したユーザ発話の例.

 & 富士山には登ったことあります & 私は電話してないあなたかけてみた \\