デジタルトランスフォーメーションの未来を切り拓く先進的メディア処理技術――コンタクトセンタAI

機械読解

自然言語理解深層学習

機械読解による自然言語理解への挑戦

AI（人工知能）の文章読解力に注目が集まっています．AIに人間が用いる言葉（自然言語）を理解させることはとても難しい課題ですが，近年では深層学習の適用により大幅にAIの読解力が向上しました．本稿では，マニュアルに書かれた業務知識を理解し，お客さまの言葉を理解して質問に適切に応答するエージェントの実現をめざして研究開発を進めている機械読解技術について紹介します．

機械読解と自然言語理解に し だ

きょうすけ

おおつかあ つ しの も となりちか

西田 京介
大塚 淳史
野本 済央

さいとう/斉藤 いつみに し だ

こうすけ

あ さ の

ひ さ こ

/西田 光甫/浅野 久子NTTメディアインテリジェンス研究所

ことでオペレータを支援することをめにおける実用化に向けた課題の解決にざしています（図 1 ）．

取り組んでいます．本稿では，私たちコンタクトセンタにおけるお客さま

機械読解は新しい研究分野ですが，応対をAI（人工知能）技術により支深層学習の発展および大規模なデータ援するために，NTTメディアインテセットの整備により急速に発展していリジェンス研究所（MD研）では機械ます．特に，スタンフォード大学が作読解について研究開発に取り組んでい成した機械読解データセットSQuAD（1）ます．機械読解とはAIがマニュアルにおいて，2018年 1 月にAIが人間を初期の機械読解研究の問題設定でや契約書などのテキストを読んで質問上回る回答精度を達成したことで，こは，知識源として扱うテキストは 1 つに応答する技術で，人間が日常的に用の研究分野に大きな注目が集まりましに限定されていました．しかし，コンいる言葉を理解する「自然言語理解」た．しかし，SQuADの問題設定は比タクトセンタをはじめとした実際の応の実現に挑戦するものです．コンタク

較的単純であり，より難しい問題設定

用シーンでは，多数のテキストから質トセンタでは，検索用にマニュアルかにおいてAIはまだ人間の読解力には問に対する回答を発見する必要がありらFAQを事前に準備しなくても，マ及びません．MD研では，研究用のデーます．すべてのテキストを機械読解モ

ニュアルに書かれた内容を正確に読みタセットを用いた学術的な競争の中でデルにより詳細に読み解くのではシス

解いてピンポイントに回答を発見する

技術を磨きながら，コンタクトセンタ

テム動作が遅くなってしまうので，回の機械読解に関する研究成果について紹介します．

多数のテキストから回答を発見する「大規模機械読解技術」

答に必要な文書を高速かつ正確に絞り込まなければなりません．
コンタクトセンタ

電話，3）技術を確立しました（2）（．この技術

機械読解による支援

質問
応答

は，まず高速に動作するキーワード検AI

確認
オペレータ

お客さま 質問

そこでMD研では，大規模機械読解索技術を用いて質問に関連するテキス
トを大まかに絞り込み，次にニューラ

契約書・マニュアルなど

チャット

ル検索モデルにより正確にテキストを絞り込み，最後にニューラル読解モデ
ルにより回答を発見します（図 2 ）．
この際，ニューラル検索 ・ 読解を同時

図1

コンタクトセンタと機械読解に 1 つのモデルで学習することで，検索精度が大きく向上しました．これに12NTT技術ジャーナル 2019.7

特 集
ケースがあるため，これらすべてを理【質問】あんしん保険の弁護士費用特約はどのような場合に対象外になりますか？

【応答】事故の相手が不明である場合など，相手の方に法律上の損害賠償請求を行うことができないとき

関連テキスト

大規模テキスト集合
（知識源）

検索

読解（回答抽出）

あんしん保険の弁護士費用特約は，自動車事故などにより保険契約者が怪我などをされたり，自らが所有する自動車・家屋などの財物を壊されたりすることによって，相手の方に法律上の損害賠償請求をするために支出された弁護士費用や，弁護士などへの法律相談・書類作成費用などを保険金としてお支払いする特約です．ただし，保険金のお支払い対象となる費用に関しては，当社の同意を得たうえで支出された費用に限ります．また，事故の相手が不明である場合など，相手の方に法律上の損害賠償請求を行うことができないときは，本特約は対象外となりますのでご注意ください．

解し抽出することが重要な課題として知られています（4）．
そこでMD研では，文書要約の技術を拡張したモデルを機械読解モデルと組み合わせることによって，説明型機械 読 解 技 術 を 確 立 し ま し た（5），(6)（図3）．文書要約技術ではテキスト中の重要な文を要約として抽出しますが，提案手法では回答のために重要な文を根拠文として抽出します．このニュー

図2

大規模機械読解

ラル根拠抽出モデルが根拠文を抽出すると同時にニューラル読解モデルが回答を発見することで，根拠が複数の文に分かれてしまうような難しい質問に【質問】おじいちゃんの癌が見つかったのですが私の保険で入院費用をもらえますか？

回答

対しても，回答 ・ 根拠双方を精度良くはい.

提示することを実現しています．本技

根拠文

テキスト集合二親等以内の親族の放射線治療は入院給付金日額の10倍を補償します．

回答＆
根拠文の発見

図3

放射線治療は癌の主要な治療法の1 つである．

説明型機械読解術によって，英語Wikipedia記事への質問に対して回答とその根拠を出力する機械読解タスクHotpotQA（4）において，発表当時リーダーボードの 1 位を獲得することができました．

質問があいまいな場合に問い返す「改定質問生成技術」
機械読解の研究用データセットではより，英語Wikipediaの500万記事をいため，機械読解モデルが出力した回回答が一意に特定できるように作成さ知識源とした機械読解タスクにおい答の妥当性を人間が確認できることはれたものが主流ですが，コンタクトセて，発表当時世界最高の回答精度を達重要な機能となります．人間が回答のンタなどで実際にお客さまが入力する成することができました．

妥当性を確認するためには，回答の根質問では，質問の意図があいまいで，拠となる情報がテキスト中のどこに書回答を特定できない場合があります．

いてあるのかを機械読解モデルが提示

このような場合に人間のオペレータのすることが有用となります．しかし，ようにAIが適切に質問の意図を問い機械学習に基づくAIでは回答が正回答の根拠となる情報はテキスト中の返すことができれば，より自然なコしいことを100%保証することは難し

複数の文に分かれて記述されているミュニケーションが実現できます．

複数個所に書かれた根拠を理解し提示する「説明型機械読解技術」

NTT技術ジャーナル 2019.7

13

デジタルトランスフォーメーションの未来を切り拓く先進的メディア処理技術――コンタクトセンタAI

そこでMD研では，あいまいな質問ではなく，「 1 回の事故による弁護士質問によって回答が変わります．これを機械読解が回答できる具体的な質問特約の保険金の限度額はいくら」と「法により，従来よりも多様な質問に対しに書き換える改訂質問生成技術を確立

律相談 ・ 書類作成についての弁護士特て機械読解を適用することができます．

（図 4 ）．提案手法では，約の限度額はいくら」といった複数の質問に対する機械読解の回答の候補を改訂質問を生成し，質問者に自身が聞抽出し，回答候補ごとに質問のあいまきたいことに近い質問がどちらであるい性を解消した改訂質問を生成しまかを選択させるように問い返します．

現在の機械読解の問題設定は，回答す．例えば，「弁護士特約の限度額はこの例では，質問者が前者を選択したを知識源となるテキストから抽出するいくら」という質問をした際，改訂質場合の回答は「300万円」，後者は「10ことが主流です．しかし，スマートデ問生成では，回答を直ちに提示するの万円」といったように，選択した改訂

バイスやチャットボットでは，より自（7）（，8）しました

スタイルを指定して回答を生成する「生成型機械読解技術」

然な文章を生成することが求められます．しかし，回答の生成は難易度が高【質問】
解約金はいくら？

く，さらに学習データが不足している

具体的な質問 1
契約期間内での回線解約・定期契約のない料金プランへの変更時の解約料金はいくら？

パケットプランの解約について2 年間同一回線の継続利用が条件となり，契約期間内での回線解約・定期契約のない料金プランへの変更時などには，9500円の解約金がかかります．ただし，更新月のときには無料になります．

【応答】9500円
具体的な質問 2更新月のときの解約金はいくら？

【応答】無料図4

ため，これまで世界的に研究は進んでいませんでした．
そこでMD研では，テキストに書いていない表現を生成して応答可能な生,成型機械読解技術を確立しました（9）（10）（図 5 ）．例えば，「レッカー移動の受付時間は？」と質問した際に，「レッカー移動の受付時間は24時間365日で改訂質問生成す」のように，テキストのみでなく質問の内容を適切に含めた自然な応答を作成できることが特徴です．また，提【質問】レッカー移動はいつでも対応してもらえるの？
【長さ】30単語【応答】はい，車両牽引サービスは24時間365日対応い た し て お り ます．専用デスクにお電話いただければ，業者を手配します．

テキスト
保険契約の対象となる車が事故・故障・トラブル等で走行不能になった場合に，専用デスクにお電話いただければ，業者を手配して牽引や応急処置を行うサービス特約です．基本契約に必ず付帯されます．
車両牽引サービスと付帯サービス（応急対応サービス，燃料切れ時ガソリン給油サービス，臨時宿泊サービス，トラブル相談サービス）からなり，24時間365日対応いたしております．各サービスについての詳細は以下の表をご覧ください．
（JAF会員の方にはサービスに追加の優遇措置が設けられております．
）

図5

生成型読解・回答要約

案手法は，複数の異なる回答スタイルの機械読解データを同時に学習し，生成時に回答スタイルを選択できるようにしました．これにより，学習データ出力長を考慮してテキストに含まれない表現を出力が不足する問題を解決しています．提案手法は，検索エンジンの実ログを用いたオープンドメインなQAを行う
MS MARCO（11）の回答スタイルの異なる 2 タスクにおいて，発表当時リーダーボードの 1 位を獲得することができました．

14

NTT技術ジャーナル 2019.7

特 集

回答の長さを制御する「回答要約技術」の実現をめざしていきます．機械読解
は人間が用いる自然な言葉の理解という難しい挑戦であり，コンタクトセン

お客さまからの質問に応答する

タをはじめ，NTTグループのさまざチャットボットにおいては，機械読解

まなエージェントAIサービスにおいモデルが長い回答を出力した場合にそてイノベーションを起こせると考えてのまま提示するとお客さまが読み難いいます．MD研では，人間と自然にコため，回答の長さを適切に調整するこミュニケーションが可能なAIの実現とが望まれます．また，スマートフォをめざして，今後も研究開発に取り組ンで回答を読む場合とPCで回答を読みます．

む場合など，状況に応じて回答の長さを適切に調整することで，よりお客さまや状況に合わせた柔軟な回答が可能になると考えられます．
そこでMD研では，ニューラルネッ
トを用いて長さをコントロール可能な回答要約技術を確立しました（12）（図4）．本技術では，テキスト中の重要な個所を特定するニューラルネットのモデルと，特定した個所から回答を要約（生成）するニューラルネットのモデルを組み合わせることによって質問に対して適切に回答を要約する機能を実現しています．
回答を要約する際に，長さの情報をベクトル化して与えることによって，任意の長さで回答を出力することが可能となります．

今後の展開
機械読解技術をコンタクトセンタにおけるマニュアルを対象とした質問応答に適用する中で実用化に向けた課題を発見し，さらに技術改善にフィードバックしていくことで，AIによるオペレータの支援，さらには，自動応対

generative reading comprehension,” arXiv,
1901.02262, 2019.
（10） 西 田 ・ 斉 藤 ・ 西 田 ・ 篠 田 ・ 大 塚 ・ 浅 野 ・ 富田：“回答スタイルを制御可能な生成型機械読解，” 言語処理学会第25回年次大会, pp.1720, 2019.
（11） P. Bajaj, D. Campos, N. Craswell, L. Deng, J.
Gao, X. Liu, R. Majumder, A. McNamara, B.
Mitra, T. Nguyen, M. Rosenberg, X. Song, A.
Stoica, S. Tiwary, and T. Wang：“MSMARCO: A human generated machine reading
comprehension dataset，” arXiv, 1611.09268v3,2018.
（12） 斉 藤 ・ 西 田 ・ 大 塚 ・ 西 田 ・ 浅 野 ・ 富 田：“クエリ ・ 出力長を考慮可能な文書要約モデ
ル，” 言語処理学会第25回年次大会, pp.497500, 2019.

■参考文献（1） P. Rajpurkar, J. Zhang, K. Lopyrev, and P.
Liang：“SQuAD: 100,000+ questions formachine comprehension of text,” Proc. ofEMNLP 2016, pp.2383-2392, Austin, U.S.A.,
Nov. 2016.
（2） 西田 ・ 斉藤 ・ 大塚 ・ 浅野 ・ 富田：“情報検索とのマルチタスク学習による大規模機械読解，” 言語処理学会第24回年次大会, pp.963966, 2018.
（3） K. Nishida, I. Saito, A. Otsuka, H. Asano, andJ. Tomita：“Retrieve-and-read: Multi-task
learning of information retrieval and reading
comprehension,” Proc. of CIKM 2018,
pp.647-656, Torino, Italy, Oct. 2018.
（4） Z. Yang, P. Qi, S. Zhang, Y. Bengio, W. W.
Cohen, R. Salakhutdinov, and C. D. Manning：“HotpotQA: A dataset for diverse, explainablemulti-hop question answering,” Proc. ofEMNLP 2018, pp.2369-2380, Brusseles,Belgium, Oct. 2018.
（5） 西 田 ・ 西 田 ・ 永 田 ・ 大 塚 ・ 斉 藤 ・ 浅 野 ・ 富田：“抽出型要約との同時学習による回答根拠を提示可能な機械読解，” 言語処理学会第25回年次大会, pp.25-28, 2019.
（6） K. Nishida, K. Nishida, M. Nagata, I. Saito, A.
Otuka, H. Asano, and J. Tomita: “Answeringwhile Summarizing: Multi-task Learning forMulti-hop QA with Evidence Extraction,”
arXiv, 1905.08511, 2019.
（7） A. Otsuka, K. Nishida, I. Saito, H. Asano, andJ. Tomita：“Specific question generation forreading comprehension,” Proc. of AAAI
2019 Reasoning for Complex QA Workshop,
Honolulu, U.S.A., Jan. 2019.
（8） 大 塚 ・ 西 田 ・ 斉 藤 ・ 西 田 ・ 浅 野 ・ 富 田：“問い返し可能な質問応答：読解と質問生成の同時学習モデル，” 第11回データ工学と情報マ
ネジメントに関するフォーラム, A3-3, 2019.
（9） K. Nishida, I. Saito, K. Nishida, K. Shinoda, A.
Otsuka, H. Asano, and J. Tomita：“Multi-style（後列左から） 大塚 淳史/ 野本 済央/
西田 京介（前列左から） 斉藤 いつみ/ 浅野 久子/
西田 光甫
機械読解の研究を通じて学術的に世界で一番の技術を創るとともに，実社会の中でたくさんのお客さまの役に立つAIサービスの実現をめざして研究開発に取り組んでいきます．

◆問い合わせ先NTTメディアインテリジェンス研究所
知識メディアプロジェクト
TEL 046-859-2674
FAX 046-859-2116
E-mail kyosuke.nishida.rx hco.ntt.co.jp

NTT技術ジャーナル 2019.7

15