言語処理学会 第24回年次大会 発表論文集 (2018年3月)

対話型情報収集のための質問生成における否定辞挿入効果について
濱下 昌克 †∗† 筑波大学情報学群情報科学類

乾 孝司 ‡村上 浩司 §新里 圭司 §‡ 筑波大学大学院システム情報工学研究科§ 楽天技術研究所

定辞を挿入する効果に関し，以下の３項目の調査をお1 はじめにこなう．

近年，レビューテキストを解析することによって，• 調査１）否定辞を挿入した方が適切な質問文があサプライヤ（製造者や EC サイト運営者）は商品やるか？

サービスに対するユーザの意見や評判を容易に入手で• 調査２）どのような質問内容で否定辞を挿入するきるようになった．しかし，レビューテキストの中にとよいか？

は一言だけの短い書き込みも多く見られるのが現状で• 調査３）否定辞挿入を考慮した質問文生成が実現あり，当然ながらこのような書き込みから得られる情できるか？

報は非常に少なくなる．例えば，「いまいち」と書かれた書き込みからは，ユーザが対象商品に対して否定的

なお，本研究では，宿泊施設予約サイト「楽天トラな評価をしていると判断できるが，「どの部分が」，「なベル*1 」を題材にしている．そのため，本稿で示す例

ぜ？」否定的評価につながったかを知る由もない．

文等もすべて宿泊施設に関するものである．

上記のような状況においては，ユーザからのレビュー書き込みを待つ従来型の受動的なレビューサイトシス

2 質問文の形式

テムではなく，対話型インタフェースを備えたシステ

質問文への否定辞挿入効果を検証する前に，本研究ムが効果的であると考えられる．すなわち，書き込みで扱う質問文の形式について述べる．質問文は以下にが短い場合，システムがユーザに対して能動的に「□□示すテンプレートに基づいて生成する．の◯◯はいかがでしたか？」のような問いかけをおこ
テンプレート

なうことで，ユーザから追加の感想を引きだすような[クエリ] は [質問内容語] （かったですか｜でしシステムである．このような問いかけシステムでは，たか）？

いつ／どのような問いかけをユーザに対しておこなう



かを制御する質問生成モジュールが重要な構成要素にテンプレートにはスロットが２つ用意されており，文なると言える．

頭のスロット [クエリ] は入力として与えられる情報

本研究では，上記の質問生成モジュールのうち，ユー収集の対象である．また，[質問内容語] はクエリに応ザに対して発する問いかけの文言（以下，質問文ともじて埋め込まれる具体的な質問内容に関する語句であ呼ぶ）に注目する．同一内容の問いかけを発するにもる．文末表現は質問内容語の品詞に基づいて適切な一さまざま文言を選択することができ，例えば，「◯◯は方が選択される．

不便でしたか？」と問いかける場合と「◯◯は不便でこのテンプレートによって実際に生成される質問文はなかったですか？」と否定辞を挿入した場合では意の例を以下に示す．例に示すように，スロット [クエ図している質問内容は同一でも，ユーザが受ける印象リ] の値に応じてスロット [質問内容語] に適切な語句には違いがある可能性がある．そこで本稿では，上記を自動選択することで多様な内容の質問文生成をおこ

例のように特に否定辞に注目し，問いかけの文言に否なえる．

∗ 代表連絡先：m.hama@mibel.cs.tsukuba.ac.jp*1 https://travel.rakuten.co.jp/― 544 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.


生成例１


たな質問文を用意することで，質問文の対を作成する．

朝食は美味しかったですか？


生成例２




• ＜否定辞なし＞
朝食は美味しかったですか？

• ＜否定辞あり＞

ベッドは心地良かったですか？



朝食は美味しくなかったですか？

3 調査

このような質問文の対を 3.1 節で述べたすべての語句

3.1 共通設定について作成する．

情報収集対象となるクエリ，すなわちテンプレー

そして，上記の対データを楽天トラベルに精通してトの第１スロットに埋め込む語句として以下を使用いる１名の被験者に提示し，1 節で述べた対話型インした．

タフェースによる問いかけに使用する質問文として，より適切と思われる質問は＜否定辞なし＞と＜否定• 立地，露天風呂，ベッド，掃除，朝食，夕食，ランチ，味付け，空調，受付，接客，サービス

辞あり＞のどちらであるかを判断してもらった．この際，被験者にはひとつの質問文対が１行になるよう提また，情報収集対象に対する質問内容，すなわちテ示したが，＜否定辞なし＞と＜否定辞あり＞の左右のンプレートの第２スロットに埋め込む語句は形容詞と順序については質問文対ごとに無作為に入れ替えた．

した．具体的には IPA 辞書*2 のうち，品詞が形容詞，また，両者の適切さに違いがないと感じられた場合はあるいは名詞（形容動詞語幹）となる単語とした．ク

そのように判断してもらうことにし，そのような事例エリ毎に適切な質問内容は異なることから，今回は以は以下の集計から取り除いた．

下の手続きに従って，上記単語から質問内容語として【調査結果】相応しい単語をクエリ毎に自動的に選択した．

調査の結果，どのクエリに対しても一定の割合で否定辞を挿入した方が良いと判断された質問文が存在

1. CaboCha[3] を利用して，楽天データ公開（第３回）で公開されたレビューデータ [5] から係り受
け情報を取得．

し，クエリあたりの平均で 18.7% の対が否定辞を挿入した方が良いと判断されていた．このことから，どのようなクエリでも質問内容によっては否定辞を挿入し

2. この情報を参照することで，クエリを含む文節とた方が良い事が確認された．

質問内容語の候補語句を含む文節との間の係り受
け共起頻度を算出．

以下に判断結果の例を示す．


否定辞なしの方が良いと判断された質問文の例

3. クエリ毎に頻度の高い（最大で）上位 100 件の単

サービスは丁寧でしたか？

語を選択．

ランチは美味しかったですか？
空調は良好でしたか？

クエリ「朝食」に対して選択された質問内容語の例


否定辞ありの方が良いと判断された質問文の例を以下に示す．

• 美味しい，良い，ない，残念，欲しい，嬉しい，満

露天風呂は狭くなかったですか？

足，安い，素晴らしい，可能

受付は無愛想ではなかったですか？

3.2 調査１）否定辞を挿入した方が適切な質問文があるか？

サービスは中途半端ではなかったですか？

3.3【調査方法】

調査２）どのような質問内容で否定辞を挿入するとよいか？

まず，2 節のテンプレートから生成できる質問文に対【調査方法】

して，質問内容語の後ろに否定辞「ない」を挿入し新調査１から，質問内容によって否定辞を挿入した方が良い事がわかった．そこで次に，どのような質問*2 https://ja.osdn.net/projects/ipadic/― 545 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表1

内容の時に否定辞を挿入するとよいかについて調査

調査２の結果する．

仮定

質問内容のなかには，あらかじめ良い評価の回答が期待できるものと，悪い評価が予想されるものがある．
被験者

このうち，「露天風呂が狭い」のように，悪い評価が予否定辞あり

否定辞なし

否定辞あり

871

否定辞なし

75253

想される質問内容の場合，直接的な表現で問いかけをおこなうとユーザに対して悪印象を増幅させてしまう可能性がある．そこでまず，悪い評価が予想される内
被験者＜否定辞なし＞，仮定＜否定辞あり＞

容についての質問を生成する場合は質問内容に否定辞接客は悪かったですか？

を挿入した方がよいという仮定をおくことにした．そ立地は不便でしたか？

して，調査１の質問文対データに対して，被験者の代わりに以下の否定辞挿入判定法によって，＜否定辞な空調は煩かったですか？


被験者＜否定辞あり＞，仮定＜否定辞なし＞し＞と＜否定辞あり＞のどちらがより適切な質問文であるかを機械的に判定し，その結果と調査１の被験者



サービスは望ましくなかったですか？

の判断結果を比較した．

ここまでの調査から，質問内容が否定的な評価極性• 否定辞挿入判定法：（negative polarity）となる場合には否定辞を挿入したある質問文に対して，テンプレートの第２スロッ方がよいことがわかった．このことは，否定極性の場トに入る質問内容語が否定的な評価極性をもつ単合，否定辞を挿入することで評価極性を反転させ肯定語の場合を「悪い評価が予想される質問内容」と極性（positive polarity）となる文言で問いかけをおして考えて否定辞を挿入する．そうでない場合はこなった方が良い場合があることが確認できた．しか否定辞を挿入しない．ここで，単語が否定的な評し，必ずしも上記の通りではなく，質問内容が否定的価極性をもつか否かについては高村らの単語感情な評価極性であっても否定辞を挿入しない方がよい事

極性対応表 [4] を独自に人手で宿泊施設（楽天ト例も少なからず存在しており，より詳細な否定辞挿入ラベル）分野にチューニングした辞書を利用した．

判定法の検討が必要である．

3.4【調査結果】

調査３）否定辞挿入を考慮した質問文生成が実現できるか？

結果を表 1 に示す．両者の一致率は 0.817 であり，【調査方法】比較的高い値となった．また，被験者が＜否定辞あり調査２で示した質問生成時に適用する否定辞挿入判＞を選択した事例のうち，仮定も＜否定辞あり＞を選定法は改善の余地があるとは言え，否定辞挿入を全く択した事例の割合は 0.989 であり，人が否定辞を挿おこなわない場合と比べてどちらが良いかは不明であ入したい質問内容に関しては否定辞挿入判定法で対応る．そこで，調査３として両者の有効性を比較・検証できることがわかる．しかし一方で，仮定で＜否定辞する．

あり＞を選択した事例のうち，被験者も＜否定辞あり

本調査では，まず，調査２の否定辞挿入判定法を適＞を選択した事例の割合は 0.537 に留まっており，こ用して生成された質問文を調査１と同じ被験者に提示のことから，否定辞挿入判定法では挿入する必要のなし，各質問文が対話型インタフェースによる問いかけい質問内容に対して過挿入する傾向があることがわに使用する質問文として適切か否かを改めて判断してかった．

もらった．調査１では質問文の対に対して相対的な判以下に両者の違いが生じた事例に関して，被験者が判断した方の質問文の例を示す．

断を求めたが，今回は単独の質問文に対して絶対的な判断を求めた．この結果，適切な質問文であると判断された文集合を正解質問文セットとする．
次に，上記で被験者に提示した質問文について，調査１で述べた係り受け共起頻度で順序付けをおこな― 546 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表2

否定辞

調査３の結果MAP

ユーザからの質問や命令に対し，システムがその応答考慮0.941として質問に回答したり命令を受けた動作を実行する考慮しない0.634

ものである．そのため，本研究で目標とするような，ユーザへ能動的に働きかけ，ユーザから情報を収集すい，正解質問文セットを参照することで，この順序のるような動作は想定されていない．

よさを評価する．評価指標には MAP 指標 [6] を用い

曽ら [1] は料理評価情報を収集する対話システムをる．このデータセットには否定辞が挿入された質問文提案している．彼らの研究は，ユーザから具体的な感が含まれている．また，被験者に提示した質問文のう想を引き出そうとする点で本研究と非常に近い．しかち，否定辞が挿入された質問文をすべて削除した文集

し，本研究で扱った否定辞挿入の効果など，モダリティ合を作成し，この文集合に対して同じく係り受け共起的な要素に注目した質問文生成については議論されて頻度で順序付けをおこない，この順序のよさを MAPいない．

指標で計測する．このデータセットには否定辞が挿入された質問文が含まれていない．最後に２つの MAP

5 おわりに指標値を比較することで，両者のそれぞれの有効性を本稿では，ユーザに問いかけを行うことによって確認する．

ユーザから能動的に追加の感想を引き出すシステムの【調査結果】

実現に向け，質問生成時に質問文に否定辞を挿入する

結果を表 2 に示す．この結果から，否定辞挿入判定効果に関して調査した．

法によって適切でない質問文も生成されるが，否定辞今後は，否定辞挿入判定の規則性について詳細分挿入を全くおこなわない場合に比べると良好な結果が析をおこなっていきたい．また，否定辞以外のモダリ得られていることが確認できた．また，各クエリで最ティ的要素にも注目し，問いかけの文言がもつニュアも順位の高い否定辞を含む質問文の平均順位は 6.4 位ンスの違いについて調査を進めたい．

だった．このことからも否定辞は質問文を構成する重参考文献要な要素であることがわかる．
順序付け上位で生成された質問文の例を以下に示す．


順序付け上位の質問文の例（クエリ：露天風呂） [1] 曽傑，高瀬裕，中野有紀子. 対話システムによるユーザの料理評価収集. 言語・音声理解と対話処

露天風呂は良かったですか？

理研究会, 2017, B5(02), 94-95.

露天風呂は狭くなかったですか？

[2] VINYALS, Oriol; LE, Quoc. A neural conversa-

露天風呂は素晴らしかったですか？


順序付け上位の質問文の例（クエリ：味付け）

tional model. arXiv preprint arXiv:1506.05869,2015.
[3] 工藤拓, 松本裕治. チャンキングの段階適用による味付けは良かったですか？

日本語係り受け解析. 情報処理学会論文誌, 2002,

味付けは美味しかったですか？

43(6): 1834-1842.

味付けは辛くなかったですか？


順序付け上位の質問文の例（クエリ：サービス） [4] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌, 2006,

47(2): 627-637.

サービスは良かったですか？

[5] 楽天データ公開 - Rakuten Institute of Technol-

サービスは嬉しかったですか？

ogy

サービスは素晴らしかったですか？

https://rit.rakuten.co.jp/data release ja

[6] 岸田和明. 情報検索における評価方法の変遷とそ

4 関連研究の課題. 情報管理, 2011, 54(8): 439-448.

近年では深層学習に基づく一問一答型の対話システ
ム [2] への関心が高まっているが，これらは基本的に― 547 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.