言語処理学会 第26回年次大会 発表論文集 (2020年3月)

旅行情報サイトのレビューを用いた抽象的な要求に対する根拠付き推薦文の生成
叶内 晨 ∗ 1
1

根石 将人 2

林部 祐太 1

株式会社リクルート Megagon Labs, Tokyo2

岡崎 直観 3東京大学

3東京工業大学

推薦文を出力するシステムを構築する．実験では，根拠

1 はじめにコールセンターなどの対話型サービスで，自然言語処文判定と推薦文言い換えを段階的に行うモデルと両方を理技術を利用した機械による対話システムの導入が進一括で行うモデルの 2 種類を比較した．結果として，よんでいる．しかしながら，言語タスクの難しさや現在のり精度の高い段階的モデルでは，BLEU スコア 41.54 で対話システムの限界から，未だ人手が欠かせない状況要求に対する根拠付きの推薦文を生成できることを示しである．例えば，旅行情報サイトにおける対話型の宿推た．本研究で構築したデータセットは公開予定である．

薦サービスでは，ユーザが提示する要求に合わせてオペ2 根拠説明データセットの構築

レータが宿を推薦する必要がある．この際，ユーザは日

本節では，ユーザからの抽象的な要求に対して，根拠を程や人数などの具体的な要求だけでなく，「子連れに優含んだ推薦文を生成するためのデータセット構築の手順しい宿が良い」などの抽象的な要求 を提示することがを説明する．本研究では，旅行情報サイトじゃらん net2

ある [1]．具体的な要求はルールとして使うことで条件の宿に関するレビューデータのタイトルと本文を利用すに合致した宿の検索が可能だが，抽象的な要求は曖昧性る．レビュー本文（以下，「本文」という）には，ユーが高く対処が難しい．抽象的な要求に対してオペレータ

ザの実体験に基づく宿のサービスの描写やそれに対するは，宿の推薦と同時に「こちらの宿は，キッズスペース感想が記述され，一方でレビュータイトル（以下，「タもあり子連れにオススメです」と推薦根拠も提示するこイトル」という）には，その中でも特に満足した点が一とが多い．このような抽象的な要求に対する推薦根拠の言で要約して記述されやすい．この要約記述されたタイ

提示は，推薦の説得力を増すだけでなく，ユーザのよりトルは，対話型サービスにおいてユーザが提示する「子具体的な要求を引き出すことを可能にする．

連れに優しい宿」などの抽象的な要求と表現が類似する

1

本研究では，抽象的な要求に対して根拠を含んだ推薦ことがある．また，それらのタイトルを抽象的な要求と文を提示する対話システムの実現を目指す．具体的にみなした場合，その本文には要求に対する推薦根拠が記は，宿推薦のための対話システムを対象として，抽象的述されていると捉えられる．そこで本研究では，宿のレな要求と推薦対象の宿のレビューデータが与えられた状

ビューデータについてタイトルの一部を抽象的な要求と況下で，(1) レビュー本文から推薦根拠を含む文を抽出みなし，本文からその要求に対応する根拠を含む文を抽し，(2) 得られた根拠文を推薦文へ言い換える．

出し，さらにその根拠文を推薦文へ言い換える．

まず，根拠を含む文の抽出のために，旅行情報サイトのレビューデータに対して，そのタイトルの一部を抽象データセット構築のための全体のパイプラインを図 1に示す．処理は次の 3 段階である．

的な要求とみなし，レビュー本文の各文が要求に対応す

1. レビュータイトルから抽象的な要求を収集る根拠を含むかをクラウドソーシングを用いてアノテー「宿」を表す表現を含むなどのルールにより，抽象ションし，根拠文判定データセットを構築する．次に，的な要求とみなせるタイトルを収集する．
推薦文言い換えのために，クラウドソーシングを用いて， 2. 根拠文判定（クラウドソーシングを利用）
上記で得た根拠文を推薦文として適切な文へ言い換え，収集した要求をタイトルにもつレビューについて，本推薦文言い換えデータセットを構築する．最後に，以上文の各文がその要求に対する根拠を含むか判定する．の 2 つからなる根拠説明データセットを利用することで， 3. 推薦文言い換え（クラウドソーシングを利用）要求と推薦対象の宿のレビューを入力として根拠を含む要求の根拠を含むと判定された文を，その要求をも∗ shin187nlp@megagon.ai

つユーザに対する根拠付きの推薦文へと言い換える．

1 本研究おいて，抽象的な要求とは具体的な商品や体験・サービスを指定しない要求のことを指す．

2 https://www.jalan.net/― 29 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 根拠説明データセット構築のパイプライン
表 1: 収集した抽象的な要求の例と収集数・利用数
収集数
利用数
拡張前
拡張後
拡張前 拡張後綺麗
綺麗なホテル
綺麗です
15k
71k
4.6k
寛げる旅館
寛げました
8k
80k
4.6k
ゆっくり
接客
親切な宿
対応が親切
10k
143k
4.6k
便利
便利なホテル
観光に便利
4k
113k
3.6k
子連れ 子供に優しい宿 子供に優しい
3k
81k
3.6k
景色
絶景のホテル
絶景でした
1k
34k
3.1k
食事
美味しい宿
美味しい朝食
1k
145k
3.1k
コスト
コスパ良い宿
コスパ最高
5k
89k
3.1k
最高の宿最高でした
33k
278k
3.6k
グッド
その他
昭和な宿
昭和の雰囲気19k
297k 16.0k

カテゴリ

表 2: 根拠文の数とレビュー数

例

根拠文の数
なし
1文
2文3 文以上

レビュー数
24,034 (48.1%)
21,675 (43.4%)
3,464(7.0%)827(1.7%)て，収集数を大幅に増加し，データの偏りを軽減できた．
また一方で要求表現のバリエーションも増加した．利用数には，本研究においてデータセット構築のために利用したレビュー数を示す．

2.2 根拠文判定データセットの構築

2.1 抽象的な要求の収集
本研究では，タイトルの一部が抽象的な要求と類似す要求に対する根拠文抽出のために，Yahoo!クラウドることに着目し，タイトルを選別することで抽象的な要 ソーシング8 を用いてアノテーションをした．この際，タ求を収集する．実際のタイトルには，本研究が対象とす スクを 2 段階のシンプルなサブタスクに分けることで，る「子連れに優しい宿」のような表現以外にも，「お世話 ワーカーが直感的に作業できるようにした．になりました」や「初めての利用」など，抽象的な要求

まず 2.1 節で収集したレビューを対象とし，タイトルとはみなせないノイズも多い．そこで，宿に関する要求 と関係する文を本文から抽出した．具体的には，タイト「タイトル」でを低ノイズかつ網羅的に収集するため，「宿・ホテル」な ルおよび文分割した本文すべてを提示し，どの宿を表す表現を含むタイトルを抽出した．さらに， あることがわかる文にチェックしてください，という質「USJ の隣のホテル」のような具体的な名所を含むタイトルなどを，追加のルール3 で排除した．

問により，本文の各文がタイトルに関係するか判定した．
次にタイトルに関係すると判定された文に対して，タ収集したデータに偏りがある可能性を考慮して，Su- イトルに対応する根拠が含まれるか判定した．具体的にdachiPy(v0.3.4)4 による形態素解析結果の代表表記を用 は，タイトルと対象の本文 1 文のみを提示し，「タイトいて表記揺れを吸収し，頻度上位のものから人手によっ ル」なぜなら〜だから，と言える根拠を本文は含みますて確認することで，要求をカテゴリ5 分けした．結果，カか，という質問により，タイトルに対応する根拠が文にテゴリ間の収集数の偏りだけでなく，いくつかのカテゴ 含まれているか判定した9 ．
リのデータが予想に反して少ないことが分かった．この1 段階目の関係文判定タスクは，表 1 の利用数に示し

原因として，宿を表す表現に連結されにくい要求 の存在 た 5 万レビューを対象とし，2 段階目の根拠文判定タス
6が確認されたため，抽出したタイトルから宿を表す表現 クは，関係文判定タスクにおいてワーカー 5 人のうち 3を除いたものと同じ内容語を含むタイトルも抽出対象7人以上がタイトルに関係すると答えた 45,190 文を対象ととし，収集する要求表現を拡張した．

した．品質向上のためにアノテーションは 1 件につき 5

表 1 に収集した抽象的な要求の例を示す．拡張によっ 人で行い，また各タスクにおいて答えを用意したチェッ
3 ルールは以下．固有名詞を含まない．
「宿」以外の内容語を 1 語ク問題を設け，これに正解したワーカーのデータのみ採以上含む．句点を含まない．3 文字以上 15 文字以下など．
用した．根拠文判定タスクにおいて，ワーカー 5 人のう
4 https://github.com/WorksApplications/SudachiPy
5 データの比率調整とエラー分析のために，著者が適当に作成した．
8 https://crowdsourcing.yahoo.co.jp/
6 例えば，9 2 文以上の組み合わせにより根拠として意味を成す場合も考えら「美味しい宿」より「ご飯が美味しい」と記述されやすい．
7 例えば，綺麗な宿→綺麗 (宿を除く) →綺麗です (収集対象を拡張)れるが，タスク簡単化のために単一文毎にアノテーションした．

― 30 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 3: ワーカー間の推薦文の一致数
一致数
3 人以上一致
2 人一致
一致なし
根拠なし報告ネガティブ報告3.1 根拠文予測タスク

文の数
7,646 (24.4%)
13,850 (44.2%)
6,438 (20.5%)
1,155(3.7%)
2,262(7.2%)

実験設定 2.2 節で構築したデータセットのうち根拠文と判定された文を正例，それ以外の文を負例とし，要求の根拠が含まれる文かを予測する二値分類問題とした．デー
タはレビュー単位でランダムに 8：1：1 の比率で分割し，学習データ：検証データ：テストデータ = 40,000 件

表 4: 根拠文予測の F1 スコア
F1

ロジスティック回帰
47.92（202k 文）：5,000 件（25k 文）：5,000 件（25k 文）としBERT
74.07

た．以降の実験でもすべて同じ分割のデータを用いる．

ち 3 人以上が根拠を含むと答えた文を根拠文とした．
表 2 に，レビュー毎の要求に対する根拠文の数の分布を示す．約半数のレビューは，タイトルに記述された要求に対する根拠が本文内に含まれていることが分かる．

2.3 推薦文言い換えデータセットの構築

分類器にはロジスティック回帰10 と BERT[2] を利用した．ロジスティック回帰の素性には，タイトルと本文をそれぞれ SentencePiece11 で分割後，tf-idf ベクトルとword2vec(CBOW)12 の平均ベクトルをそれぞれ作成し，各ベクトルやタイトルと本文の差分ベクトルなどを利用した．BERT は，SentencePiece で分割後，データセットと2.2 節で根拠を含むと判定された各文を対象とし，クラ 同一情報源の大規模なレビューデータで pre-train した．
ウドソーシングを用いて，タイトルに記述された要求をfine-tuning 時は，入力として，[CLS] トークン，要求，もつユーザに対する根拠付きの推薦文へと言い換えた．
タイトルと 2.2 節で根拠文と判定された文を提示し，「タイトル」の宿を探している人に対して「〜なのでこの宿[SEP] トークン，本文の順に連結したものを与え，[CLS]トークンに対応する最終層の上に 1 層の出力層を接続したモデルで，根拠文かどうかの二値分類問題を解いた．

がオススメです」と根拠付きの説明をしてください，というタスクを設計した．作業前の事前の説明として，必精度 各分類器による予測結果を表 4 に示す．BERT によ要に応じた元の根拠文の修正は認めつつ，可能な限り元る分類結果の F1 スコアは 74.07 となり，ロジスティッの表現を用いて作文することを指示した．例外として，ク回帰をおよそ 26 点上回った．

要求の感情表現がネガティブで推薦文として相応しくな 3.2 根拠文からの推薦文言い換えタスク
い場合と，与えられた文に根拠が記述されていない場合 実験設定 根拠文から推薦文への言い換えを実験した．2.3
節で構築したデータのうち，対応する推薦文が 3 文以上は，別途報告するよう指示した．

本タスクは 2.2 節でワーカー 5 人のうち 3 人以上が根 あるデータのみを用いた．根拠文毎に複数ワーカーの推拠を含むと答えた 31,351 文を対象とした．品質向上の 薦文があるが，それらすべてを学習データとして扱った．
ため，1 文につき 5 人がアノテーションし，また要求がネ文生成モデルは，FAIRSEQ13 の実装を利用し， Lu-ガティブであるチェック問題を設定し，これを適切に報 ong らの LSTM に基づくモデル [3] と，Vaswani らの告したワーカーのアノテーションデータのみ採用した． Transformer[4] を用いた．前処理として推薦文の共通文チェック問題は通過しているものの，何も入力されてい 末である「この宿がオススメです」という表現を削除ないなどの問題がある推薦文は，ルールによるフィルタ 後，SentencePiece で分割した．モデルの入力には，要求，リングを行い，残ったデータを後続の実験に利用した． [SEP] トークン，根拠文の順に連結したものを用いた．
評価には，SentencePiece による分割結果に対する表 3 に，作成した推薦文における 5 人のワーカーの一致数を示す．言い換え時に，元の文を抽出するだけで「の BLEU を測定した．BLEU 測定時は，複数のワーカーで」に接続できる場合，推薦文が一致する傾向があった． が作成した推薦文から 1 つをランダムに抽出したものを参照訳として用いた．

3 実験

2 節で構築したデータセットを用いて，(1) 要求と各文 精度 根拠文入力時の推薦文生成の BLEU スコアを表 5が与えられた時の根拠文の予測モデル，(2) 要求とその に示す．「言い換えなし」は入力をそのまま出力した場合根拠文が与えられた時の推薦文の生成モデル，(3) 要求である．両モデルとも BLEU は非常に高く，また LSTMと本文が与えられた時にそれらを一括で行うモデルを構 モデルは Transformer を 7 点ほど上回った．
築した．まず，根拠文予測と推薦文生成について個別に

10 https://scikit-learn.org評価し，その後，それらを組み合わせたモデルと両方を11 https://github.com/google/sentencepiece

一括で行うモデルの 2 種類を比較評価した．

13 https://github.com/pytorch/fairseq

12 https://radimrehurek.com/gensim/models/word2vec.html― 31 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 5: 根拠文入力時の推薦文生成の精度
手法
言い換えなしLuong らの LSTM
Vaswani らの Transformer

表 6: レビュー入力時の推薦文生成の精度
手法
段階的モデル (BERT → LSTM)
一括モデル (LSTM)

BLEU
49.17
67.10
59.50

BLEU
41.54
18.20

F1
62.21
46.74

表 7: レビュー入力時の推薦文生成の例
タイトル
本文
正解の推薦文（参照文）
見晴らしが 初日はチェックイン前にプレミアム観光券を購入してから，東 [お部屋は名古屋城が綺麗に見える最高でした 山動物園にイケメンゴリラのシャバーニに会いに行き，翌日は ところなので],[お部屋は名古屋城
リニア・鉄道館に行って満喫しました．お部屋は名古屋城が綺 が綺麗に見えるところで，子供達麗に見えるところで，子供達も大喜びでした．...．
も大喜びでしたので]
わんこ連れ 夫婦 2 人と父，わんこ 2 匹でお世話になりました．...．お部 [ペット可能ホテルはまだまだがっで満足!
屋はゆったりしていて，大きな窓からは海が一望でき，とって かりする所が多い中，こちらのホも満足できました．...．ペット可能ホテルはまだまだがっかり テルはお薦めですので],[ペットとする所が多い中，こちらのホテルはお薦めです．...．
楽しめるので]子連れにオ 一歳四カ月の子供がいるので，夕食は部屋出しなのと貸切温泉 [子供にも優しく接してくれるのススメの旅 があるプランに惹かれて宿泊しました．...．敷き布団が年季が で],[温泉や接客は良く，子供にも館入っている感じで薄かったのでもっと厚いと良かったかな．温 優しく接して貰えてたので]
泉や接客は良く，子供にも優しく接して貰えて良かったです．

3.3 要求とレビュー入力時の推薦文生成タスク

段階的モデル
一括モデル
名古屋城が綺麗に見え お部屋は名古屋城が綺るところで，子供達も 麗に見えるので大喜びでしたのでペット可能ホテルはと お部屋はゆったりしてても便利なのでいて，大きな窓からは海が一望でき，とっても満足できましたので温泉や接客は良く，子 プールや接客は良く，供にも優しく接して貰 子供にも優しいのでえたのでが原因と考えられる．3 例目は，一括モデルにおいて，実験設定 要求と本文 1 件を入力とし，根拠付きの推薦 「温泉」が「プール」として出力されてしまい，事実と文を生成する実験（3.1 節と 3.2 節を一括で行う実験）を 異なった説明をしている．
行った．要求に対する根拠が本文になく推薦文がないレ

4 おわりにビューも存在するため，その場合には推薦文ではなく，根本研究では，抽象的な要求に対する根拠付きの推薦文拠がないことを示す特殊トークンの出力を正解とした． を提示するため，根拠説明データセットとそのシステムモデルには，3.1 節と 3.2 節を組み合わせて段階的にを構築し，評価した．近年，感情分析や推薦において根処理する，段階的モデルと，Luong らの LSTM を用い拠情報は注目されており [6, 7, 8, 9, 10, 11]，Zhao らは，て end2end で両方を一括で処置する，一括モデルを用い 楽曲の推薦における自然言語文の推薦根拠提示がユーザた．段階的モデルは，まず，BERT で本文の各文が要求 のクリック率を大幅に向上することを示している [12]．
に対する根拠文であるか予測後，根拠文があった場合の 今後の展望としては，Zhao らのような実システムへのみ予測時のスコアが最大の 1 文を入力として，推薦文を 導入を考えている．また，本研究では，システムに入力生成した．一括モデルでは，根拠に対する推薦文がある する宿のレビューは与えられるものとして扱ったが，こレビューに対しては推薦文を出力し，それ以外に対して の選定を自動で行うことなどが課題である．
は根拠がないことを示す特殊トークンを出力するように参考文献学習した．一括モデルの入力には，要求，[SEP] トーク[1] Yuliang Li, Aaron Feng, Jinfeng Li, Saran Mumick, Alon Halevy, Vivian Li,and Wang-Chiew Tan. Subjective databases. Proc. VLDB Endow., 2019.
ン，本文の順に連結したものを用いた．評価には，3.2 節 [2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT:
Pre-training of deep bidirectional transformers for language understanding. In
NAACL-HLT, 2019.と同様の BLEU と，マクロ平均の F1 スコア14 を用いた．
[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches
to attention-based neural machine translation. In EMNLP, 2015.
精度 表 6 に，両モデルの精度を示す．段階的モデルは[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you
BLEU スコアが 41.54 となり，一括モデルよりも 23 点
need. In NIPS, 2017.
高い．一括モデルは根拠がないと過剰に予測してしまう [5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad:
100,000+ questions for machine comprehension of text. In EMNLP, 2016.
傾向があった．F1 スコアは BLEU に比べて根拠がない [6] Ying Chen, Sophia Yat Mei Lee, Shoushan Li, and Chu-Ren Huang. Emotion
cause detection with linguistic constructions. In COLING, 2010.
ことを正解した時の加点が大きいく，段階的モデルでは [7] Lin Gui, Dongyin Wu, Ruifeng Xu, Qin Lu, and Yu Zhou. Event-driven emotion cause extraction with corpus construction. In EMNLP, 2016.
62.21 となり，一括モデルを 15.5 点上回った．
[8] Evgeny Kim and Roman Klinger. Who feels what and why? annotation of aliterature corpus with semantic roles of emotions. In COLING, 2018.
表 7 にモデルの出力例を示す．1 例目は，どちらのモ[9] Haijing Liu, Yang Gao, Pin Lv, Mengxue Li, Shiqiang Geng, Minglan Li, andHao Wang. Using argument-based features to predict and analyse review helpデルも生成に成功している．2 例目は，一括モデルにおfulness. In EMNLP, 2017.
いて，生成文のみを見ると自然な推薦文だが，今回の要 [10] Koji Murakami, Eric Nichols, Suguru Matsuyoshi, Asuka Sumida, Shouko Masuda, Kentaro Inui, and Yuji Matumoto. Statement map: assisting information
求に対する根拠としては適切でない．「わんこ連れ」がcrediblity analysis by visualizing arguments. In WICOW, 2009.
[11] Nazneen Fatema Rajani, Bryan McCann, Caiming Xiong, and Richard Socher.
低頻度な要求表現であり，うまく認識できなかったこと
Explain yourself! leveraging language models for commonsense reasoning. InACL, 2019.
14 SQuAD[5] の評価と同様に，参照訳と生成結果の bag-of-tokens の[12] Guoshuai Zhao, Hao Fu, Ruihua Song, Tetsuya Sakai, Zhongxia Chen, Xing
重複を F1 スコアで計算する．ただし，根拠文がないレビューに対しXie, and Xueming Qian. Personalized reason generation for explainable songては，根拠がないと答えた場合にスコア 1, それ以外は 0 とする．
recommendation. ACM Trans. Intell. Syst. Technol., 2019.

― 32 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.