言語処理学会 第24回年次大会 発表論文集 (2018年3月)

質問応答システムの基盤化と応答可能性の判定
谷岡 広樹 ∗

中谷 良平 †

与儀 涼子 †内田 佳孝 †∗†徳島大学 情報センター
株式会社ワークスアプリケーションズ

tanioka.hiroki@tokushima-u.ac.jp,{nakatani r, yogi s, uchida yo}@worksap.co.jp

1

はじめに内容に未知語が含まれる場合に，暗黙的な確認要求を応答するのチャットボットについて提案している．本

ビジネスシーンを想定した業務システムとして，システムにおいても，基盤化が必要と判断した場合は，Chatbot や質問応答システムの構築を検討する際には，応答不可能な質問に対する適切に対応することが求められる．質問応答システムが応答不可能な質問に対応するためには，ユーザからの質問に対して適切に応答できるか否かを判定する必要がある．また，適切に応答できると判断した場合は応答するが，適切に応答できないと判断した場合は，適切に応答できない旨を応答するか，さらに適切に応答できるようになるための応答を行う必要がある．これは，対話システムの基盤化 [4, 12] の必要性を判断し，基盤化を試みることに相当する．
質問応答システムが，基盤化が必要な質問に対して，
1) 語彙の曖昧性，2) 領域知識の曖昧性，3) 意図の信頼性，4) システムの情報不足，の 4 つの問題を解消することの必要性，その基盤化の方法論については，
NTCIR-13 STC-2 [6] において，対話の基盤化を目指した応答文生成 [10] により一定の成果が示されている．しかしながら，質問応答システムが，ユーザからの質問を分析し，質問に対して適切に応答できるか否か (基盤化が必要か否か) を判定する手法については，未解決であった．
本稿では，ユーザの質問文を解析して形態素及び単語分散表現で表し，サポートベクトルマシン (SupportVector Machine; SVM) [3] を用いて自動分類する手法を提案する．また，自動分類に関する実験を行い，その精度を評価したので報告する．

基盤化を実現するために明示的な確認要求や暗黙的な2確認要求を行うことが考えられる．

図 1: Structure of Question Answering system.
基盤化の必要性があると判断した場合は，確認要求関連研究と提案手法を行うなどの方法が考えられるが，業務システムにお関連研究 [10] では，ユーザと自動応答システムの相いては，ユーザの業務効率や満足度を下げないために，互理解や対話の基盤化が必要な場合の自動応答の方法

やみくもに対話を継続するのではなく，他のシステムを提案している．また，駒谷ら [9] は，ユーザの発話へリダイレクトするなどの対応が必要となる．あるい― 651 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: Examples of test data. A line includes user question, candidate answer, search score, and availability.
ユーザ質問

想定質問

検索スコア

応答可否

控除証明書がまだ届いてないのですがどうすればよい？

保険会社から保険料の控除証明書原本が届かず、締切日までに提出できそうにないのですが・・・。
保険会社から届いた証明書が旧姓のままなのですが、大丈夫ですか?。

0.456643

10.456643

0

保険会社から届いた証明書を紛失してしまいました。どうすれば良いですか?

0.456643

0

申告書に黒ペンで記入してしまったのですが、どうしたらいいですか?

0.591946

0

今年、住宅を購入しました。住宅借入金等特別控除を受けるためには、どうすれば良いですか ?
12 月に転居しますが、転居前、転居後どちらの住所を記入すればいいですか? また、まだ転居先の住所が決まっていない場合はどうすれば良いですか?

0.34721710.321280

今年家を買ったのですがどうすればいいですか?

は，人間の担当者へ質問文を転送するなどの速やかなword2vec の単語分散表現を用いる．このとき，特徴対応が必要となる．そこで本稿では，ユーザの質問文量の重みには検索スコアに特徴量の頻度を乗じたものが質問応答システムで応答可能か否かについて，ユーを用いる．また，非線形カーネルの 1 つである RBF

ザの質問文と想定問答集である小規模コーパスを用いカーネルを用い，その他のパラメータは交差検定によて, 事前に学習した SVM で判定する方法を提案する．

る精度を基準に最適化を行うものとする．

システム構成3

評価実験

4

本稿で提案する質問応答システムは図 1 で表すよう特定の用途に特化した質問応答システムを構築するに，ユーザ質問分析部，想定質問検索部，応答可能性判ことを目的として，評価実験を行う．具体的には，年定部，応答文生成部の 4 つの部分で構成される．ユー

末調整に関する企業内の FAQ データを事前に用意し，ザは，質問を自然文で入力し，質問応答システムから想定問答集である FAQ のデータセットを用いて応答適切な応答文を得ることを期待しているものとする．

可能であるか否かを判定する．このとき，人手で応答3.1

可否を判断したものと比較することで，本システムの形態素解析と単語分散表現精度を評価する．

ユーザ質問分析部は，まずユーザの質問文を形態素解析し，分かち書きされた単語を用いてベクトル化

4.1

実験条件

し Bag-of-Words (BoW) とする．形態素解析器には，評価実験には，年末調整についての想定質問と応答

MeCab [7] と Sudachi [11] の 2 つを比較のために利文のセット 90 件，評価用のユーザの質問文 51 件，ユー用する．MeCab の辞書は IPADIC [2]，Sudachi の辞

ザの質問文に対する検索結果として得られた想定質問書は同梱されているシステム辞書を用いた．

が適切であるか否かについて，ユーザの質問文が想定

本システムでは，同義語などの言い換え表現へ対応するため，Bag-of-Words の他に，word2vec [1] によ質問と合致しているか否かで判断し，応答可否 (1:可，0:否) を付与したものを実験データ (表 1) とする．

る 200 次元の単語分散表現 (Embedding) を採用する．

事前に，実験データを形態素解析器により分かち書

word2vec による単語分散表現は，質問応答システム

きし，単語 ID による単語ベクトルを生成する．なお，のデータベースにインデックスされているコンテンツ

Sudachi の分割モードは A，B，C の 3 つあり，A はを対象に学習を行ったものを利用する．

UniDic [8] 短単位相当，B と C は固有表現相当であ3.2

る．本実験の実験データに対しては，B と C の解析

文書検索とサポートベクトルマシン

結果に違いがなかったため，B/C としてまとめる．加

想定質問検索部は，ユーザの質問文をクエリとしてえて，word2vec により単語分散表現を取得し，単語検索エンジン [5] を用いて文書検索し，想定質問と検ベクトルを生成する．SVM での学習には，これら単索スコアを取得する．応答可能性判定部は，SVM を用語ベクトルを利用する．

いて，ユーザの質問文，想定質問，検索スコアを入力

SVM のカーネルには RBF カーネル，C 値 (−c)

データ，応答可能性の可否を二値分類により判断する．

は交差検定 (−v2) で最も精度の高いものを使用する．

SVM の入力データの特徴量は，ユーザの質問文及また，再現率 (Recall) と適合率 (Precision) のバラン

び想定質問を分かち書きした結果の単語 ID，またはスを調整するために，weight (−wi) を用いる．

― 652 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: Evaluation results for predicting availability.
解析器

分割モード

ベクトル表現交差検定

MeCab
SudachiA (UniDic 短単位相当)
B/C (固有表現相当)
A (UniDic 短単位相当)
B/C (固有表現相当)

BoW
BoW
BoW
Embedding
Embedding
Embedding

81.22%
82.10%
80.35%
80.79%
81.22%
80.79%MeCabSudachi

参考文献[1] word2vec:Toolforcomputing
continuous
distributed
representations
ofwords.
https://code.google.com/p/word2vec.
[Online;accessed 10-November-2017].

図 2: Precision-Recall curve in Bag-of-Words.

[2] IPA dictionary: mecab-ipadic-2.7.0-20070801, 2007.
(Accessed 4 Aug 2017).
[3] C.-C. Chang and C.-J. Lin. LIBSVM: A libraryfor support vector machines. ACM Transactions
on Intelligent Systems and Technology, 2:27:1–27:27,
2011.
[4] H. H. Clark and S. E. Brennan. Grounding in communication. In L. Resnick, J. Levine, and S. Teasleyeds., Perspectives on Socially Shared Cognition, pp.
127–149. American Psychological Association, 1991.

図 3: Precision-Recall curve in word embeddings.

4.2

実験結果

表 2 に示すように，2-folds の交差検定の結果に有意差は認められない．しかしながら，Bag-of-Words の場合は，再現率 0.5 以下の場合で適合率が高く (図 2)，

Embedding の場合は，再現率 0.6 以上での適合率が高かった (図 3)．また，MeCab よりも Sudachi が全体にやや高い適合率となった．

5

おわりにユーザの質問文を形態素解析器で分かち書きした単語及び単語分散表現を用い，SVM で判定を行うことで応答可能性を判定する機能を提案し，判定精度を検証した．Sudachi の分割モード B/C を利用した場合に適合率が高いが，これは単語の分割単位が長いために，特徴的な単語が抽出できたためであると考えられる．単語分散表現を利用した場合に再現率が高いが，これは単語分散表現により，同義語などの言い換え表現が評価対象となっているためであると考えられる．
今後は，実験結果をより詳細に分析し，辞書の拡充や大規模な単語分散表現の利用することにより，未知語や想定問答集に含まれない単語に対応することで,さらなる精度向上を図りたい．

[5] elastic. Elasticsearch: Restful, distributed search &analytics. https://www.elastic.co/, 2017. [Online;accessed 19-June-2017].
[6] R. Higashinaka, Y. Miyao, Y. Arase, andM. Nomoto. Overview of the NTCIR-13 Short Text
Conversation Task 2 (Japanese subtask). In Proceedings of NTCIR-13, 2017.
[7] T. KUDO. Mecab : Yet another part-of-speech andmorphological analyzer. 2005.
[8] T. Ogiso, M. Komachi, Y. Den, and Y. Matsumoto.
Unidic for early middle japanese: a dictionary formorphological analysis of classical japanese. In
N. Calzolari, K. Choukri, T. Declerck, M. U. Dogan,
B. Maegaard, J. Mariani, J. Odijk, and S. Piperidis
eds., LREC, pp. 911–915. European Language Resources Association (ELRA), 2012.
[9] K. Ono, R. Takeda, E. Nichols, M. Nakano, andK. Komatani. Lexical acquisition through implicit
confirmations over multiple dialogues. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 50–59, Saarbrcken, Germany, August 2017. Association for ComputationalLinguistics.
[10] H. Tanioka. Response Generation for Grounding inCommunication at NTCIR-13 STC Japanese Subtask). In Proceedings of NTCIR-13, 2017.
[11] WAP Tokushima Laboratory of AI and NLP.
Sudachi:Japanese morphological analyzer.
https://github.com/WorksApplications/Sudachi,
2018. [Online; accessed 9-January-2018].
[12] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学.
対話システム. 自然言語処理シリーズ, No. 7. コロナ社, 2015.

― 653 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.