特集

メディア研究から人の活動を支援・代替する AI 技術の研究開発へ

応対分析

文書要約AI

顧客接点業務を支援 ・ 代替する知識 ・
言語処理技術にしだきょうすけ京介

齋藤あまかすてつお

いそ西田
NTT メディアインテリジェンス研究所では，長年培ってきた自然言語処理技術をコアコンピタンスの 1 つとして，コンタクトセンタやオフィスの生産性向上に資する知識 ・ 言語処理技術を研究開

甘粕

哲郎にしおかしゅういち

さいとうくにこ

邦子
かずゆき

磯 和之

発しています．本稿では，現在取り組んでいる技術のうち，言語モ

西岡

デル ・ 文書要約技術 ・ 応対分析技術について紹介します．

NTT メディアインテリジェンス研究所

はじめに秀一とはこれまで難しいとされてきました．しか し，2018 年 10 月 に Google が 発 表 し た

NTT メディアインテリジェンス研究所でBERT（1）の出現により，自然言語理解の研究は，コンタクトセンタ向け技術として，業務開発には大きなパラダイムシフトが発生しまマニュアルや FAQ などの文書を解析し，おした．例えば，機械読解という，テキストの客さまに応対するオペレータへ適切な文書を内容を理解して質問に回答する「文章読解提示する知識・言語処理技術を研究開発して力 」 が 求 め ら れ る タ ス ク（2）に お い て は，きました．昨今，コンタクトセンタだけでなBERT を利用した AI により人間の回答スコくオフィスにおいても，オペレータ・社員のアを大きく上回った例も報告されています．

さらなる生産性向上に関するニーズがあるこ

機械読解以外の自然言語処理タスクにおいてとから，大規模な文書や多様な応対を理解・も性能が大幅に改善しており，言語モデルは生成する技術に取り組んでいます．以下に，

AI の言語理解能力の実現に関する基盤技術

文書を扱うための言語モデルと，その言語モとして注目が集まっています．

デルを用いた文書要約技術について説明した言語モデルとは，文章のもっともらしさを後，お客さまとオペレータ間の応対に関する推定するモデルです（図 1 ）．例えば，「今日分析技術について述べます．

は誕生日なので○○を食べた」という文章の言語モデル BERT による自然言語理解の発展
AI（人工知能）が人間の言葉を理解するこ○○の部分については「ケーキ」のほうが「卵」よりも自然と感じる方が多いと思います．また，「今日はいい天気だ」と「洗濯日和だ」の 2 文が連続して出現するのは自然に

2020.1069

特集

メディア研究から人の活動を支援・代替する AI 技術の研究開発へ

Wikipediaなど大量のテキスト集合（教師なし）

事前学習①単語の穴埋め問題→単語の予測
今日は誕生日なので○○を食べた

Fine-tuning
言語モデル
BERT

○○は？
◎「ケーキ」
△
「卵」

洗濯日和だ

質問： 保険Aは何を保障しますか？

質問文と回答文の関係性判断と回答の穴埋め問題としてタスク適応

言語モデル BERT感じられるでしょう．BERT は，このようなの BERT を作成するとともに，言語モデル

単語の穴埋め問題（単語の予測）と，連続すを文書要約（3），（4），文書検索（5），質問応答（6），（7）る 2 文間の関係性判断（次の文であるかの予などのタスクにおいて活用する技術を研究し測）を Wikipedia のすべての文章など大量ています．いずれも単純に BERT を適用すのテキスト集合を基に事前学習しています．

るのではなく，これまでの自然言語処理およ

こうして得られた言語モデル BERT をベー

び深層学習の研究により得られた知見を活かスとして，さまざまなタスク依存のデータセッすことで，高い性能を実現しています．また，

トで学習（Fine-tuning）することにより，BERT の特性・内部動作について調査（8）する

テキストをジャンルごとに分類するタスク，ことで，BERT の欠点を改善した NTT 独自

質問の回答となるフレーズを抜き出すタスク，の言語モデルの構築をめざして研究を進めてなどのさまざまな応用タスクに適用でき，さいます．

らに応用タスクでの学習データが多く得られない場合においても高い性能を実現できるようになりました．

70

回答： …月額2000円のAはケガを保障します．…

関係あり

図1

タスク依存
データセット（教師あり）

タスク例）質問の回答フレーズ抽出② 2 文間の関係性判断→次の文であるかの予測
今日はいい天気だ

タスク依存モデル
分類：テキスト分類，対話行為など
抽出：固有表現抽出，抽出読解など

長さを指定して文書を要約する「文書要約技術」

BERT は自然言語処理の研究分野に大きな先ほどの言語モデルを活用した技術の代表

衝撃を与え，現在も世界中にて言語モデルの例として文書要約技術を紹介します．文書要構築・活用の研究が行われています．NTT

約は古くから取り組まれてきた技術分野です

メディアインテリジェンス研究所では，日本が，コンタクトセンタなどにおける顧客接点語のテキストデータを大量に収集して日本語業務においては，お客さまからの質問に対し2020.10

特集て AI が検索・質問応答の結果として長い文いきます．また，言語モデルのさらなる競争

章を返却するとお客さまが読み難いため，文力強化をめざして，モデルの大規模化，また，章の「長さ」を適切に調整することが望まれより自然な文を生成するための生成型言語モます．

デルの構築とこれに基づく要約技術の確立（4）

そこで NTT メディアインテリジェンス研
究所では，ニューラルネットを用いて長さをコントロール可能な文書要約技術を確立しました（3）．私たちのモデルは，文章中の重要な個所を特定する抽出モデルと，元の文章から要約文を生成する生成モデルとを組み合わせなど，最新の言語処理研究の成果を取り入れながら技術開発を進める予定です．

コンタクトセンタの通話からの知見を活かすための技術■顧客接点の支援での課題た構成になっており，抽出モデルは言語モデ

これまで，NTT メディアインテリジェン

ルをベースに学習しています．指定した長さ（11）ス研究所では，「自動知識支援システム」に応じて抽出モデルが出力する重要な単語のを開発してきました．これは，お客さまとの個数を制御し，この重要語と元文を両方考慮

会話の内容に応じた文書を自動的に検索し，して要約文を生成することで，長さを制御可提示する技術です．オペレータを知識面で支能でかつ高い精度で要約可能なモデルを実現援するとともに，適切な情報で速やかに応対しました．

することで，お客さまとの関係性も向上させ

NTT メディアインテリジェンス研究所でるものでした．

確立した文書要約技術は，NTT コミュニケー

一方，オフィス DX（デジタルトランスションズで展開する COTOHA API 要約機フォーメーション）や新型コロナウイルス感能のコアエンジンとして活用されています（9）．

染症流行によるビジネススタイルの変化に伴文書を入力すると要約文書を出力するサービ

い，コンタクトセンタには新たな役割が求め

スが COTOHA Summarize として提供開始

られています．その 1 つが，インサイドセーされており，ご契約いただいたお客さまには，ルスと呼ばれる営業手法での役割です．イン

Web ブラウザで閲覧したサイトの要約文を

サイドセールスとは，これまでの専任の営業生成するツールも無償で提供されていま員が対面営業でニーズの汲み取りや商談の成す約まで行う手法に対し，ニーズ把握など商談®

．今後，NTT グループへの技術展開を（10）さらに進めていく予定です．のきっかけとなる情報のヒアリングを，電話加えて，文書要約だけではなく対話をターやWeb 会議で行いながら相手と継続なコミュゲットとした要約技術，要約の観点やキーニケーションを維持し，受注・契約の可能性

ワードを外部から指定可能な要約技術など，が高まったところで営業員を派遣する手法で要約技術の高度化に向けて研究開発を進めてす．この手法によるお客さまとの対応を担う

2020.1071

特集

メディア研究から人の活動を支援・代替する AI 技術の研究開発へを改善します．そうした分析，改善業務コンタクトセンタが増えています．

も支援する必要があります．

この役割におけるコンタクトセンタの課題■問診支援技術としては以下のようなものがあります．

上記の課題を解決するために私たちは「問・オペレータの生産性の一層の向上：応対診支援技術」を開発しました．

後の報告作成について，会話の流れが複雑で話題も多岐にわたる商談の中から，本技術は， ２ つの要素からなります（図応対で重要だった情報を取り出し集約す2 ）． １ つは，お客さまとの一連の応対内容るための支援が必要となります．

を話題ごとの区間に特定する技術です．もう・営業情報分析の生産性向上：オペレータ

1 つは，前者で特定した区間から質問，回答，を統括する立場では，各オペレータが実説明といった重要な発話を抽出する技術です．

施するお客さまとの商談に含まれる成約お客さまの課題や要望を引き出すための営の見込み，お客さまニーズの傾向，その業会話では，お客さまの回答に応じて話題が他会話の傾向を把握・分析します．分析次々と変化するという特徴があります．これした情報から，計画やオペレータの業務までの技術ではそのようなダイナミックな状

応対（実際はテキスト化された音声が入力）
1．話題ごとの区間を切り出し，話題オペレータ を特定

お客さま

2．話題区間ごとに，質問，回答，説明発話を抽出

先日お伺いしていた，プレゼンシステムの件はいかがですか？

質問

区間 1
いや最近は，コロナウイルスの対応に追われて，検討できないんですよ． ［話題］

回答

コロナウイルスは困りますよね．

話題：プレゼンシステム
質問
先日お伺いしていた，プレゼンシステムの件はいかがですか？

回答
いや最近は，コロナウイルスの対応に追われて，検討できないんですよ．

プレゼンシステム

話題：リモートワーク

そうなんですよ．

質問

そうしましたら，リモートワークが多くなっていますか？

質問
区間 2

作業はできるんだけど，打合せが難［話題］しい．電話会議には人数限界あって．

回答

Web会議の導入をされたらいかがでしょう．大人数でも大丈夫ですよ．

説明

リモートワーク

そうしましたら，リモートワークが多くなっていますか？

回答
作業はできるんだけど，打合せが難しい．電話会議には人数限界あって．

…

…

説明
Web会議の導入をされたらいかがでしょう．大人数でも大丈夫ですよ．

…

図2

72

2020.10

問診支援技術

話題ごとに抽出された発話から重要なものを報告に活用する．
ま た，集 約 す る
ことで営業分析に活用．

特集

況に対応できなかったため，まず話題の変化点をしっかりとらえることにしました．これが 1 番目の技術の特徴です．会話に現れる話
題の変化点に特徴的な表現を利用した機械学習により，同じ話題の区間を特定し，話題に特徴的な表現を利用した機械学習により話題の種別を取得しています．次に， 2 番目の技術の特徴としては，質問や回答など重要な発話に含まれる特徴的な表現を利用した機械学習により，話題ごとにオペレータやお客さまの質問や回答の発話を抽出します．
オペレータは，本技術による話題ごとに区間で分割された通話テキストを用いることで，通話終了後，お客さまのニーズや予算などについて聞き出した個所をすばやく見つけ出し，報告書の作成ができます．また，多くの通話

Pre-training of Deep Bidirectional Transformers forLanguage Understanding，” NAACL-HLT (1), pp. 41714186, 2019.
（2） 西田 ・ 斉藤 ・ 大塚 ・ 西田 ・ 野本 ・ 浅野：“ 機械読解による自然言語理解への挑戦，” NTT 技術ジャーナル，Vol. 31,
No. 7, pp. 12-15，2019.
（3） 斉藤 ・ 西田 ・ 西田 ・ 大塚 ・ 浅野 ・ 富田 ・ 進藤 ・ 松本：“ 出力長制御と重要箇所の特定を同時に行う生成型要約，” 2020年度人工知能学会全国大会，2020．
（4） 斉藤 ・ 西田 ・ 西田 ・ 浅野 ・ 富田：“ 事前学習済 Sequenceto-Sequence モデルと重要度モデルの結合による生成型要約，” 言語処理学会第26回年次大会 , pp. 4-29, 2020.
（5） 長谷川 ・ 西田 ・ 加来 ・ 富田：“ 高速な情報検索に向けた文
脈考慮型スパース文書ベクトルの獲得，” 2020年度人工知能学会全国大会 , 2020.
（6） K. Nishida, K. Nishida, I. Saito, H. Asano, and J. Tomita ：“Unsupervised Domain Adaptation of Language Models forReading Comprehension，” LREC, pp. 5392-5399, May 2020.
（7） 西田 ・ 西田 ・ 斉藤 ・ 浅野 ・ 富田：“ 回答の根拠を解釈可能な機械読解，” 言語処理学会第26回年次大会 , pp. 1-19, 2020.
（8） 大杉 ・ 斉藤 ・ 西田 ・ 浅野 ・ 富田：“ マスク化言語モデルと系列長に関する分析，” 2020年度人工知能学会全国大会 ,2020.
（9） https://api.ce-cotoha.com/contents/index.html（10） https://www.ntt.com/about-us/press-releases/news/article/2020/0423.html（11） 長谷川 ・ 関口 ・ 山田 ・ 田本 “ オペレータの応対を支援する自動知識支援システム，” NTT 技術ジャーナル，Vol. 31，
No. 7，pp. 16-19, 2019．

からこれらの情報を集約することで，営業情報の分析の支援が可能となります．
これらの技術は音声での応対だけでなく，最近増えているチャットによるコンタクトセンタへの適用もめざしています．

お わりに今後，大規模な文書や多様な応対を理解・生成する技術として，多様な文書レイアウトを読み解き，必要な情報を高速・高精度に探索可能とする技術や，より詳細に会話内容を把握し，お客さまも気が付きにくいニーズなどを掘り起こす，戦略的な会話をサポートする技術に取り組む方針です．
■参考文献（1） J. Devlin, M. W. Chang, K. Lee, and K. Toutanova: “BERT:（左から）西田  京介/ 甘粕  哲郎/ 西岡  秀一/磯  和之 / 齋藤  邦子

オフィス業務の生産性向上を実現するため，企業活動において常に生成 ・ 蓄積されている文書 ・応対ログなどから，知識を抽出 ・ 活用する知識 ・
言語処理技術の研究開発に取り組んでいきます．

◆問い合わせ先NTT メディアインテリジェンス研究所
社会知識処理プロジェクト
E-mail ai-p-ml hco.ntt.co.jp

2020.1073