言語処理学会 第25回年次大会 発表論文集 (2019年3月)

行政対話システムにおける検索エンジン TSUBAKI と BERT を併用した FAQ 検索の高度化
坂田 亘† 柴田 知秀‡§ 田中 リベカ‡§ 黒橋 禎夫‡§¶†‡
LINE 株式会社
京都大学§
科学技術振興機構 CREST ¶国立情報学研究所 CRIS
wataru.sakata@linecorp.com {shibata, tanaka, kuro}@nlp.ist.i.kyoto-u.ac.jp

1

はじめにる。本研究の場合、Q と A を入力として Q と A の関連度を学習する。

対話システムが徐々に我々の生活に浸透してきてお本論文では、検索エンジン TSUBAKI によるクエり、企業サイトへの導入のみならず、社会課題解決にリと Q の類似度計算と、BERT によるクエリと A の向けた活用に期待が高まっている。我々はコミュニティ関連度計算を併用することにより、クエリと FAQ のの活性化や行政サービスの円滑化を目的とし、対話シ柔軟なマッチングを行う手法を提案する。提案手法のステムをベースとした行政と市民の新たなコミュニ概要を図 1 に示す。ユーザ発話 (クエリ) に対してクエケーションチャネルの構築を目指している [8]。コミュ

リと Q の類似度とクエリと A の関連度を併用し、対ニケーションチャネルの核となるのは行政サービスに

象自治体 FAQ のリストから適切な FAQ を検索し、シ関する問い合わせへの自動応答であり、行政サイト上ステム発話とする。学習には全国自治体の FAQ ペーの「よくある質問」(FAQ) を知識源として応答する。

ジから収集した QA ペアを用いる。

一般に、ユーザからの問い合わせ (クエリと呼ぶ) とクラウドソーシングを利用して行政への質問を収集

FAQ の各 QA の表現にはズレがあり、柔軟なマッチングが課題となる。我々の行政対話システムでは自動獲得した同義語を用いた柔軟なマッチングが行える検索エンジン TSUBAKI[3] を用いている。QA の各 Qを 1 文書とみなしてクエリとの柔軟なマッチングを行い、クエリに対してスコアの高い Q を含む QA をシステムの応答とする。しかし、記号マッチングでは解消できない表現のズレが存在する。
クエリと FAQ のマッチングにおいて使えるもう一つの手がかりはクエリと FAQ の A の関連度である。
行政サイトには FAQ リストを提供している自治体も多いことから Q と A のペアは比較的容易に入手でき、ここから Q と A の関連度を学習することができる。Qと A の関連度を学習できれば、クエリと各 QA の Aとの関連度を計算し関連度が高い QA をシステム発話とすることができる。
Yahoo!知恵袋などのコミュニティQA サイトの QAペアを情報源として質問応答や対話を行う研究は多くあるが ([6][7])、本研究では Q と A の関連度の学習に近年提案された BERT[1] を用いる。BERT は様々な問題に応用可能な強力なモデルであり、GLUE やSQuAD などの多くのタスクで SOTA を更新していし実験を行ったところ、提案手法はベースラインよりも高いスコアを示すことを確認した。

2

提案手法

2.1

TSUBAKI によるクエリ・Q の類似度計算

TSUBAKI は OKAPI BM25 [2] をベースとしたモデルである。単語単位でのインデキシングの他に係り受け単位でインデキシングしており、構造的言語処理による文書検索を可能にしている。自動獲得した同義語を用いた柔軟なマッチングが可能である。本研究で利用するにあたり、行政ドメインにおける同義語を獲得し、拡充している [9]。

2.2

BERT によるクエリ・A の関連度計算

2.2.1

BERT

BERT は 入 力 文 の 強 力 な encoding を 行 え る
Transformer[5] をベースとし、大規模な生テキストでpre-training し、各タスクで fine-tuning するモデルで文分類問題、文ペア分類、質問応答などのタスクに適― 1022 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

¡¢£Z¤¥8¦K§¨©ªW#«¬-®¯!"#$%&'(WXY!"#$2345+
YYYY65*
ZXY=>?@#ABCD!"#$#%&'()*+,-./0
YYYYEF8!"#$GH
YYYY-+IJ+*KL#£°± 8¦K
YYYYMNCV1!"#$2345+65§¨©ªZ#_²-®¯*789*+(:;5./<=>?@#ABCDEF8!
"#$GH-+IJ+*KL#MNCOPQ#34RS2
TU5+*./<V

WXY[\+]^8_/K
YYYYY`abcdefg
YYYYY25h*
ZXYijk\lH'Ok
YYYYY\OmnOopq
YYYYYrOstuvV

WXY!"#$2%&5+YYYYwx;y*H5z{0ZXY|}8~•2€•/‚YYYYƒ„#…K†‡ˆ‰"
YYYY#$8ŠJ+VWXY‹ŒH•#Ž••2
YYYYY‘’5h*
ZXY“”•–”—0xYY1•_˜Ž•™š›YYYYœ••72žŸV))図 1: 提案手法の概要*+#$%&'())

用されている。大規模コーパスでの pre-training によ先してランキングし、残りを単純統合するものが考えり、タスクのデータ量が少ない場合でも高い精度を達られる。

成することができる。本研究で扱うのは質問と回答に具体的には TSUBAKI、BERT それぞれが出力した対する文ペア分類となる。質問と回答を連結して入力スコア上位 10 件を以下の 2 つの方法で統合する。とし Transformer を適用することにより、質問と回答単純統合 TSUBAKI、BERT の検索結果上位 10 件のの関連性を賢く捉えることができる。

2.2.2

スコアを加算し、ランキングする。ただし、予備実験の結果を踏まえ TSUBAKI の検索結果のみ

クエリ・A の関連度計算に含まれているものを除外する。

ある自治体 Gi の FAQ ページに QA ペアが Mi 個TSUBAKI 優先統合 TSUBAKI の検索結果上位 10存在するとき、各 QA ペアを {Qi,1 , Ai,1 }, {Qi,2 , Ai,2

件の中にスコアが閾値 α 以上のものがあり、それ}, ..., {Qi,Mi , Ai,Mi } とする。学習は全自治体の全 QAが BERT の上位 10 件にも含まれている場合、そペア Qi,j , Ai,j を正例とし、Qi,j に対して Ai′ ,j ′ をラれらを優先的に 1 位から順にランキングし、残りンダムに選択することにより生成した負例を学習デーの候補に対しては単純統合と同様の方法でスコアタとして BERT により二値分類する。具体的には Qを加算しランキングする。と A の関連度を score(Q, A) と定義すると、正例に対しては score(Qi,j , Ai,j ) が 1 になるように、負例に対しては score(Qi,j , Ai′ ,j ′ ) が 0 になるように学習する。
検索時は検索対象の行政自治体 (Gt とする) の QAペアを用い、すべての QA ペアに対してユーザーのクエリ q と回答のスコア score(q, At,j ) (j = 1, · · · , Mt )を計算し、スコア上位を検索結果とする。

スコアを統合するにあたり、TSUBAKI のスコアはクエリが長いほど高くなる傾向にあるので、(クエリ中の自立語の数) × k1 + (クエリ中の係り受けの数) × k2を満点とみなし、この値で割って正規化する1 。

実験

3

我々が実証実験を行っている尼崎市を対象自治体と2.3し実験・評価を行った。尼崎市の行政ページには QATSUBAKI と BERT の併用ペアが約 1,700 件存在する。

上記で導入した TSUBAKI によるクエリと Q の類似度計算と、BERT によるクエリと A の関連度計算を3.1評価セット併用することにより、ロバストで柔軟なマッチングを実現する。併用の方法は TSUBAKI のスコアと BERTのスコアを単純に加算し、ランキングを統合するものである。もう一つの方法として、TSUBAKI のスコアが高い場合はクエリと Q で重複している語が多く正解である可能性が特に高いので、そのような QA を優クラウドソーシングを用いて行政自治体への質問(クエリ) を収集した。クエリの例を表 1 に示す。このようなクエリが 443 件得られた。次に、各クエリに対1 BERT が出力するスコアは 0 から 1 までの値をとるので正規化の必要はない。

― 1023 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

戸籍謄本の発行をして欲しいのですが、代金はいくらかかかりますか？
母子健康手帳を発行して頂きたいのですが、手続きには何が必要ですか？
新築住宅を購入することを考えているのですが、減額措置について教えて欲しいです。
センタープールのファン送迎バスはどの駅から出ていますか

TSUBAKI
Bi-LSTM
BERT
提案手法 (単純統合)
提案手法 (T 優先)

P@1
0.488
0.349
0.494
0.627
0.642

MAP MRR NDCG
0.535 0.571 0.478
0.439 0.471 0.429
0.568 0.616 0.583
0.644 0.701 0.634
0.656 0.712 0.644

表 2: 実験結果 (提案手法の “T 優先” は TSUBAKI 優
先統合を示す)表 1: クラウドソーシングで収集したクエリの例
して TSUBAKI、BERT が 10 件出力し、1 件ずつに対してユーザのクエリに関係しているかどうかについは k1 = 4, k2 = 2 としし、TSUBAKI 優先統合の閾値α は 0.3 とした。て以下の 4 分類を人手で付与した。

3.3

A 正しい情報が書いてある。

実験結果と考察

実験結果を表 2 に示す。まず、クエリと A の関連度

B 関連情報が書いてある。
C トピックは同一であるが関連情報が書かれていない。
D 関係ない情報が書いてある。

のみを考慮する手法を比べると、BERT は Bi-LSTMを大きく上回っており、このタスクでの BERT の有効性を示すことができた。TSUBAKI と BERT を比TSUBAKI、BERT の出力の中に正しく回答できてべると P@1 の値はほぼ同じであるが、他の尺度ではいる QA が見つからない質問については、キーワード

BERT が上回っており、BERT は多くの正解を返すを変えながら検索を行い関連している QA を見つけ上ことができていることがわかる。そして、提案手法は

記と同様の分類を付与した。関連している QA が一つ

TSUBAKI または BERT 単体を上回っており、統合も見つからない回答は評価セットから除外した。そのする有効性を示せた。2 種類の統合の方法を比べると、結果、338 クエリに対する評価セットが得られた。

TSUBAKI を優先した統合がわずかに上回っていることがわかる。

3.2

実験設定

評価例を表 3 に示す。1 つ目の例では TSUBAKI は評価尺度として、上位 1 件に対する精度 P@1、MRR(Mean Reciprocal Rank)、MAP (Mean Average Precision)、nDCG (normalized Discounted CumulativeGain) を用いた。MRR, MAP, nDCG ではそれぞれ上位 10 件を対象に計算を行った。P@1, MAP, MRR はカテゴリ A, B, C すべてを正解とした。nDCG ではカ
テゴリ A、B、C の評価レベルをそれぞれ 3、2、1 とした。

BERT の pre-training には日本語 Wikipedia すべて(約 1,800 万文) を利用し、fine-tuning には収集した行政自治体 21 市の QA ペア計 2 万件を用いた。入力テキストには形態素解析器 Juman++ [4] を適用し単語分割を行った。

BERT の比較手法として BiLSTM を用いたモデルを採用した。Q と A それぞれを BiLSTM に入力し、Q、Aの forward と backward の層を全て連結し、MLP に通すことにより 2 値分類を行った。入力層では word2vecで pretraining したものを初期値として利用した。

BERT、BiLSTM モデルともに 1 つの正例に対して24 の負例をランダムにサンプルして学習した。2.3 節「相談」がマッチしているだけのキャリア相談に関するQA を出力してしまっているが、BERT は正しい QAを出力できている。

2 つ目と 3 つ目はいずれも提案手法で 1 位が正解している例である。3 つ目の例については提案手法 (T優先) で正解しているが、提案手法 (単純統合) では不正解となった例である。これは TSUBAKI で「住民票」や「どこで行う」などがマッチしていることから確信度が高く、優先して採用したことによって正解できたものであり、単純に統合すると誤ったものが 1 位となっていた。

4 つ目の例はいずれの手法でもうまく回答できなかったものである。BERT ではクエリ中の「楽器」と A 中の「音楽」の関連性を捉えられているが誤った QA を返している。正しい回答として「Q : 青少年センターの館内施設の案内・利用時間・休館日について」という項目があり、A 部分に青少年センターには音楽室があること、市民はセンター内の施設を利用できることが書かれてある。これを回答するためには A 部分のさらなる深い理解が必要である。

で説明した TSUBAKI のスコアの正規化の際の係数― 1024 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

クエリTSUBAKI
Q: キャリア相談を受けたいの職場のパワハラ相ですが談を受けている窓
1
1
A: 相談場所。尼崎市竹谷町２
口はありますか？
×○丁目１８３番地出屋敷リベル
３階...
Q: 医療従事者の免許申請（新免許の更新はどこ規、籍訂正・書換え、再交付）で行えばいいです1
1はどこで行っていますかか？
××
A: 医師、歯科医師、保健師についての免許申請を...
Q: 運転免許証の更新の手続き
2 について教えてほしい2○ A: 運転免許証の更新手続きに ×つきましては...
住民票が必要です
Q: 住民票は何処（どこ）で何が、時間外とか土 1 時（いつ）取れますか
1
日に取ることは出 ○ A: ... 住民票は平日と土曜日に ×来ますか？
取得することができます...
Q: 住民票や戸籍謄抄本を第三2 者にとられることがある...
2
× A: 正当な理由があれば第三者 ×からの請求が法により認め...
楽器の練習に使え
Q: 期日前投票所の場所はどこる場所はありませ 1 ですか
1んか?
× A: 期日前投票所は市内に３カ ×所あります...

BERT
Q: 仕事関係の問題で弁護士に相談したい
1
A: 賃金、解雇、労働災害など○
専門的かつ高度な労働問題について...
Q:【高齢者バス特別乗車証】バ
ス券の更新には、本人がいか
1
ないとだめですか○
A: 原則、ご本人で申請手続きをしてください。...
Q: バス券の更新申請は代理人でもできますか2
A: 原則、ご本人で申請手続き ×をしてください...
Q: マイナンバー付きの住民票は代理人でも取得できますか？ 1
A: マイナンバー付きの住民票 ○は、本人または同一世帯に...
Q: 住民票の記載内容を電話で問合せすることができますか。 2
A: お電話では住民票の内容は ×お答えできません...
Q: 尼崎市少年音楽隊について教えて下さい1
A:「尼崎市少年音楽隊」には、 ×合唱隊、吹奏楽隊、...

提案手法 (T 優先)
Q: 弁護士の労働相談を受けることはできるのか
A: 賃金、解雇、労働災害など専門的かつ高度な労働問題について...
Q: 運転免許証の更新の手続きについて教えてほしい。
A: 運転免許証の更新手続きにつきましては...

Q: バス券の更新申請は代理人でもできますかA: 原則、ご本人で申請手続きをしてください...
Q: 住民票は何処（どこ）で何時（いつ）取れますか
A: ... 住民票は平日と土曜日に取得することができます...
Q: マイナンバー付きの住民票は代理人でも取得できますか
A: マイナンバー付きの住民票
は、本人または同一世帯員に...
Q: 尼崎市少年音楽隊について教えて下さい
A:「尼崎市少年音楽隊」には、合唱隊、吹奏楽隊、...

表 3: 評価例 (表中の○ × はラベル ABC を○とみなしたものである)

4

おわりに
本論文では検索エンジン TSUBAKI によるクエリと Q の類似度計算と、BERT によるクエリと A の関連度計算を併用することにより、クエリと FAQ の柔軟なマッチングを行う手法を提案し、それぞれを単独で用いるよりも高い精度を達成できることを示した。
今後の課題としては前の発話を参照し適切に文脈を考[3] Keiji Shinzato, Tomohide Shibata, Daisuke Kawahara, Chikara Hashimoto, and Sadao Kurohashi.
TSUBAKI: An open search engine infrastructure fordeveloping new information access methodology. InIJCNLP2008, pp. 189–196, 2008.
[4] Arseny Tolmachev, Daisuke Kawahara, and Sadao
Kurohashi. Juman++: A morphological analysis
toolkit for scriptio continua. In EMNLP2018, pp.
54–59, Brussels, Belgium, 2018.
[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz
Kaiser, and Illia Polosukhin. Attention is all youneed. In NIPS2017, pp. 5998–6008. 2017.

慮することなどがあげられる。

謝辞
本研究は科学技術振興機構 CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援のもとで行われた。行政 FAQ サイトのデータを提供していただいた東北大学乾・鈴木研究室の山口健史氏に感謝します。

参考文献[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding.
arXiv preprint arXiv:1810.04805, 2018.
[2] Stephen E. Robertson, Steve Walker, Micheline
Hancock-Beaulieu, Aarron Gull, and Marianna Lau.
Okapi at trec. In Text REtrieval Conference, 1992.

[6] Yu Wu, Wei Wu, Ming Zhou, and Zhoujun Li. Sequential match network: A new architecture formulti-turn response selection in retrieval-based chatbots. In ACL2017, 2017.
[7] Zhao Yan, Nan Duan, Peng Chen, Ming Zhou, Jianshe Zhou, and Zhoujun Li. Building task-oriented
dialogue systems for online shopping. In AAAI2017,
pp. 516–525, 2017.
[8] 田中リベカ, 坂田亘, 柴田知秀, 黒橋禎夫, 橋本泰一. 対話
ボットをベースとした行政と市民の新たなコミュニケー
ションチャネルの構築. 情報処理学会 第 81 回年次大会,2019.
[9] 坂田亘, 柴田知秀, 黒橋禎夫. 行政サイトの FAQ ページを利用した対話フローチャートの自動生成とそれに基づく対話ボットの構築. 言語処理学会第 24 回年次大会,pp. 65–68, 2018.

― 1025 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.