# 提示候補とクエリの差分を用いた チャットボットの新規問い合わせ抽出手法

戸田隆道
株式会社 AI Shift
toda_takamichi@cyberagent.co.jp
友松祐太
株式会社 AI Shift
tomomatsu_yuta@cyberagent.co.jp
杉山雅和
株式会社 AI Shift
sugiyama_masakazu@cyberagent.co.jp

## 1 背景

近年カスタマーサポートの分野においてチャットボットによるサポートが注目を集めており、メールにはない返信のリアルタイム性や電話と比べた際の気軽さから、現在多くの企業で導入されている。加えて、これまで人間のカスタマーサポートオペレー ターが対応していた問い合わせをチャットボットによる自動応答で代替することで、人手の工数を削減することが期待されている。一方で、チャットボッ卜自体を運用するためのメンテンナンス作業に人手を掛ける必要があるという課題がある。

メンテナンス作業の中でも特に人手を掛ける必要があるのは回答候補の再設計である。これは回答までたどり着けず、途中で離脱してしまったユーザー のクエリを、正しい回答に紐付ける作業である。大きく分けて既存の回答に紐付ける場合と、新規に回答を作成して紐付ける場合の 2 通りのパターンが存在する。我々はこれまでに前者に関して、作業を効率化するために発話のクラスタリングを行う手法の分析 [1]・提案 [2] やその実装 [3], [4]、完全自動化のための分析 [5] などを行ってきた。今回の研究では後者の新規に回答を作成して紐付ける場合に関して、効率化の手法を提案する。加えて実際のカスタマーサポートで利用されているチャットボットのログに適用して評価する。

## 2 関連研究

以前我々は回答候補の再設計の効率化として発話のクラスタリングを行う手法の提案 [2] を提案した。 この手法は対話ログのクラスタリングを行い、類似する問い合わせをまとめる。加えて重要度スコアを計算し、まとめられた問い合わせの中で代表的なものを抽出する。これにより作成の手間が大幅に減ることに加え、問い合わせのボリュームゾーンもわかるので、頻出する問い合わせから優先度をつけて回答ペアの作成に取り組むことができるようになった [3]。だが、これらの手法では新規に回答を作成して紐付ける場合は考慮されていない。

用意された回答の中に無い問い合わせを作成する手法として中西らの研究 [6] がある。この手法は文章間の類似度を算出し、類似度が高い文章間の質問を入れ替えることで回答のない質問を作成している。加えて単語べクトルの $\cos$ 類似度や BLEU スコアを用いてその問題の難易度も算出している。

チャットボットが対話の中で未知の話題についてユーザーに問いかける手法として Reshmi らの研究 [7] がある。この手法は対話の中でチャットボットが自発的に未知語に対してユーザーに質問をしてボキャブラリーを増やしていく。

## 3 提案手法

今回我々が提案する新規回答の作成効率化の手法は、ユーザーの問い合わせ履歴から新規回答を作るべき問い合わせを抽出し、グループ化して提示する。この手法は大きく4つの手順で実行される。

1. 回答提示に失敗している問い合わせを抽出

2. 提示回答との単語の差分を抽出

3. 抽出された差分単語がキーワードである問い合わせを抽出

4. キーワードとその係り受けの ROOT でグルーピング

以下より各手順の詳細について説明する。

## 3.1 回答提示に失敗している問い合わせの 抽出

チャットボットに問い合わせを行うと、チャットボットは回答候補の中から問い合わせに近いと思われる候補を 1 つないし複数提示する。ユーザーに 「提示された回答では抱える問題を解決できない」 と判断された場合、ユーザーは別の文言で再検索するか対話から離脱することが想定される。

我々の提供するチャットボットプロダクト AI Messenger ${ }^{1)}$ ではこの部分のフィードバックを適切にとるために、提示候補に加えて「この中にはない」 という候補を提示している。本手法ではこの「この中にはない」を選択された問い合わせを回答提示に失敗している問い合わせとして抽出する。

## 3.2 提示回答との単語の差分の抽出

前節の手順で抽出された回答提示に失敗している問い合わせについて、実環境で利用されたログを分析すると、正しく回答を提示出来ていたのではないかと思われるログがある。以下に、ある決済系サー ビスで抽出された例を表 1 に示す。尚、一部の単語はデータ取り扱いの都合上マスキングしている。

表 1 問い合わせ $\mathbf{Q}$ に対して正解と思われる提示回答 $\mathbf{A}$

このようなログが溜まってしまう原因として、特に困りごとの無いユーザーがテスト的にチャットボットを使ったことが考えられるが、今回の手法ではこういったデータは除外したい。

そこで提示候補全てと問い合わせを単語分割した上で名詞と動詞の終止形に絞り、単語の差分を考える。問い合わせに含まれる単語が全て提示候補に含まれている場合は上記で示したような、「この中にはない」を選択されたが、正しく回答を提示出来ていたものとして除外されることを期待する。

## 3.3 抽出された差分単語がキーワードであ る問い合わせの抽出

これまでの手順で、正確に回答提示に失敗している問い合わせを抽出することができた。今回の手順

1) https://www.ai-messenger.jp/
ではこの問い合わせからキーワードを抽出する。 キーワード抽出には $\mathrm{GiNZA}^{2)}$ を用いた係り受け解析を利用する。

我々がこれまで多くのカスタマーサポートのデー タを分析した経験上、ユーザーの問い合わせは主語名詞にかかっている格助詞で以下の 3 パターンに分類されると考えている。

・「XXができない」のようなガ格系円キーワードは、格助詞の「が」がかかっている XX

・「○○を $\triangle \triangle$ したい」のようなラ格系キーワードは、格助詞の「を」がかかっている $\bigcirc \bigcirc$

・「口ロにうえしたい」のようなニ格系

いる $\square \square$

このパターンで抽出されたキーワードが、前手順で抽出された問い合わせと提示回答の単語の差分 (問い合わせに含まれるが提示回答に含まれない) と一致する問い合わせを抽出する。

## 3.4 キーワードとその係り受けの ROOT で グルーピング

前手順で抽出されたキーワードと、その問い合わせ文章の ROOT をキーフレーズとして、抽出された問い合わせ群をグルーピングする。例えば「住所の番地が表示されない」という問い合わせに関しては、格助詞「が」が掛かっている主語名詞の「番地」 がキーワードとなり、ROOT の「表示」と合わせて 「番地-表示」がキーフレーズとなる。

図 1 キーフレーズ抽出の例

キーフレーズでグルーピングされた問い合わせ郡を、新規に回答を作成するための候補として運用者に提示する。これにより、回答候補の再設計の作業の効率が向上することが期待できる。

## 4 評価

我々の運用するチャットボットプロダクト、AI Messenger で実際に使用されたカスタマーサポート向け用例ベースチャットボットのログデータに提案手法を適用する。ログデータは発話日時、発話種別


(ユーザーかチャットボットか)、発話内容、及び対話のユニーク IDをもっており、対象は決済系のドメインとオークションサイト系のドメインで、2020 年 10 月 1 日から 1 週間分の対話になる。

## 4.1 前処理

発話が 7 文字以上、 20 文字未満のものに絞った。文字数が少なすぎる場合は、単語のみで問い合せされている場合が多い。逆に文字数が多すぎる場合は、メールの文章のような長文かつ複数の文章が問い合わせられている場合が多い。これらはこれまでのチャットボット運用で得た知見で、どちらも係り受け解析ができないため提案手法適用前に除外する。

## 4.2 結果

提案手法を用いて抽出した結果を以下に示す。

## 4.2.1 決済系ドメイン

集計情報
- 対話数: 26952

・抽出キーフレーズ数: 39
- 抽出発話数: 92

図 2 決済系ドメインの抽出キーフレーズ数 (数が多いため上位 5 件のみ)

抽出発話例 (キーフレーズ: いつ-使える)

・くサービス名>はいつ使えますか

・いつまでくサービス名>使えない？

・<サービス名>はいつ使えるか？

抽出発話例 (キーフレーズ: どこ-ある)

・ログイン画面はどこにありますか

・<機能名>ボタンはどこにありますか

## 4.2.2 オークションサイト系ドメイン

集計情報
- 対話数: 7150

・抽出キーフレーズ数: 5

$\cdot$抽出発話数: 15

図3オークションサイト系ドメインの抽出キーフレー ズ数

抽出発話例 (キーフレーズ: 番地-表示)

・番地が表示されない

・落札者の番地が表示されていない

・落札者情報に番地が表示されていない

## 5 考察

抽出発話を見てみると、例えばオークションサイト系ドメインの「番地-表示」をキーフレーズとするグループなど、適切なものが抽出できているように見光、概ね提案手法はうまく働いていると思われる。 3.3 節で分類された格助詞による分類だが、これらはさらに文章の構成要素から「○○は何ですか？」のような質問系や「XX ができない」のような不可能系など、より詳細なカテゴリに分類できるため、本手法の発展として、より詳細なグルーピングを行えることが期待できる。

## 5.1 抽出割合について

抽出率は $0.14 \sim 0.20 \%$ となっている。この値はチャットボットの運用を継続するに従って下がっていくと予想できる。今回適用した 2 つのドメインは 1 年以上継続してチャットボットを運用していたため、回答が十分に成熟しており、新規に回答を作成すべき問い合わせが少なかったのではないかと考えられる。

## 5.2 突発的な問い合わせの増加について

決済系ドメインの「いつ-使える」をキーフレーズとするグループだが、こちらは、発話例文中にあるサービスが、ちょうどログの期間中障害で停止していたため、このような問い合わせが多く来ていたようだった。このように、障害や特定の期間のイベントの影響で、普段されない問い合わせが突発的に増えることが予想できる。

## 5.3 場所を聞く疑問詞

決済系ドメインの「どこ-ある」をキーフレーズとするグループだが、これらはサービスの UI に難点がある場合に多く問い合わせられるのではないかと考えられる。今回の例では件数が少ないが、同じものに関して多くの問い合わせがある場合にUIを完全するなど、カスタマーサポートだけでなく、サー ビスの改善にも活用出来るのではないかと期待できる。

## 6 おわりに

本稿では、チャットボットのメンテンナンス作業を効率化するため、メンテナンス作業の中でも特に人手をかける必要があるのは回答候補の再設計のうち、新規に回答を作成して紐付ける場合に関して、効率化の手法を提案した。加えて実際のカスタマー サポートで利用されているチャットボットのログに適用した。

概ね良い結果を得られたが、運用時間経過に伴う抽出割合の変化や突発的な問い合わせの増加など、 ログの期間やドメインの種類などより詳細な分析が必要だと思われる。またキーフレーズが「どこ-ある」のグループは UI 変更などのサービス改善にも役立つことが期待できる。

今後は、我々の運用システム [3], [4]への実装も視野に入れてより詳細な分析を続けたい。

## 参考文献

[1] 戸田隆道, 黒岩稜, 杉山雅和, 友松祐太. チャットボッ卜運用における対話クラスタリング. 言語・音声理解と対話処理研究会, No. 2, pp. 91-92, 2019.

[2] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用における新規問い合わせ候補の抽出. 言語処理学会第 26 回年次大会発表論文集, 2020.

[3] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用効率化のための新規問い合わせ候補抽出システム. 人工知能学会第 34 回全国大会発表論文集, 2020.
[4] 友松祐太, 戸田隆道, 杉山雅和. Ai チャットボットのためのチューニング支援システム. 言語・音声理解と対話処理研究会, No. 2, pp. 30-32, 2020.

[5] 戸田隆道, 杉山雅和, 友松祐太. 自動質問応答における連続発話からの類義クエリ抽出. 言語・音声理解と対話処理研究会, No. 2, pp. 91-95, 2020.

[6] 中西真央, 小林哲則, 林良彦. 答えのないことを答える machine reading comprehension. 言語処理学会第 24 回年次大会発表論文集, 2018 .

[7] S RESHMI and KANNAN BALAKRISHNAN. Implementation of an inquisitive chatbot for database supported knowledge bases. SADHANA, Vol. 41, No. 10, pp. 11731178,2016