語感の認識と要約生成への適用
Automatic Recognition of Polarity and its Application to Summary Generationが伺える。 語感を批判的、あるいは好意的な態度といったクラスに分類するためには、各クラスに特徴的な素性(特徴量)を学習する必要がある。しかし、分類に有効な特徴量を定義することは容易ではない。近年、高度な情報処理の実現を目指して、生物の神経回路網を模倣した深層学習の有効性が広く認知されるようになってきた。本研究は、膨大なテキストデータを対象

福本 文代 ( Fumiyo Fukumoto, Ph. D.)とし深層学習を用いることにより分類に有効な特徴量

山梨大学 大学院医工農学総合研究部 教授を定義することなく、テキスト中に陽に表れていない(Professor, Integrated Graduate School of Medicine, Engineering,and Agricultural Sciences, University of Yamanashi)

語感を抽出・分類し、その結果を利用することにより人が入力した否定的な文をその意味を保持したまま肯言語処理学会 ACL
受賞：Best Award FLP 2020, KEOD Best Paper Award 賞 (2012 年)
研究専門分野：計算言語学、自然言語処理

定的な表現に変換し提示する手法を提案する。
２．研究の背景あらまし

近年、深層学習が盛んに研究されていることを背景

近年、 Twitter や Line などのソーシャルネットワに、 深層学習を用いた文の言い換え、 すなわち与えークサービスの普及により、いつでもコミュニケーシられた 2 文が同じ意味か否かを判定する研究が多く行ョンを図ることが可能となっている。しかし同時に安われている [1、2、3]。 それらの多くは、 事前学習、易にメッセージを送信できるがゆえに、送信者の意図すなわち大量のデータを用い事前に言語モデルを学習が正しく伝わらず誤解され、結果的に受信者の心情を傷づけるなど、 人間関係に支障をきたす場合がある。
文における書き手の意図は、肯定的や否定的といったすることにより文の意味表現を獲得した結果を用い、対象となる 2 文が同じ意味か否かを判定する手法である。

語から得られる雰囲気や感覚である語感と密接に関係

Devlin らは Bidirectional Encoder Representationsする。 本研究では、 膨大なテキストデータを対象とfrom Transformers (BERT)と呼ばれる深層学習に基づし、深層学習を用いることにより極性を認識する手法

くモデルを提案した[4]。 BERT は、 大量のデータをを提案する。さらに円滑なコミュニケーションを支援

用 い 2 つ の タ ス ク 、 す な わ ち Masked Languageするために、入力した否定的な文をその文意を保持しModeling である入力の一定割合のトークンを Mask とたまま、 肯定的な文を生成する手法を提案する。

呼ばれるトークンに置き換えたのち、元のトークンを推定するというタスクと、 Next Sentence Prediction

１．研究の目的である 2 文を入力し、 それらが連続した文であるか

本研究は、人間同士の円滑なコミュニケーションを否かを判断するタスクによりモデルを学習する手法で支援するために、 人が入力した否定的な文/文書をそある。 こうして学習されたモデルは、 ファインチュの意味を保持したまま肯定的な表現に変換し提示するーニング、すなわち入力文が肯定か否定かを判定する手法を提案する。否定、 肯定的な表現を認識するため極性判定など実際のタスクに併せてモデルのパラメーに、文中の語から得られる雰囲気や感覚を表す語感にタをチューニングすることにより、各タスクにおいて注目する。例えば、 “議論を放棄した”において”放State-of-the-art な結果が得られることが報告され棄した”から書き手の断念に対する否定的な態度が強ている。

く表れている。 一方、“丁寧に考えたい” における文の極性を変更する研究としては Liらの研究が存在“丁寧に”のように早急な判断を避け細かいところまする[5]。 Li らは文中において、 文の極性に関係しで神経を使うという表現から、書き手の肯定的な態度ないコンテンツを保持し、極性を変更する手法を提案
1

TELECOM FRONTIER No.109 2020 AUTUMN

語感の認識と要約生成への適用
Automatic Recognition of Polarity and its Application to Summary Generation

した。彼らは文の元の極性に関係する句を文から削除し、文の極性に関係する新しい句と削除後の文とを深３．１

層学習により統合することにより極性を変更した。実極性の判定

本研究では、 深層学習の一手法である XLNet を用

験では、 先行研究と比較し22%の精度向上が確認でき

い、 入力文/文書の極性判定を行う。 XLNet はている。 しかし、 変更後の文意が変更前と比較し差Bidirectional Encode Representation from異が生じる場合があることが報告されている。

Transformers (BERT)の弱点である双方向の情報を同同義な文の生成としてIyyerらの研究がある[6]。

時に扱えないという問題に対し、単語の位置情報を保Iyyerは、 文とユーザが生成したい構文の情報を入力持したまま単語の予測順序を入れ替えるという手法をとし、その構文に合わせ入力文と同義な文を生成する

提案することにより高精度な言語モデルを実現した。

手法を提案している。 彼らは逆翻訳、 すなわち元言本研究では XLNet を用い、 極性判定を行った。 具体

語(例えば日本語)を目的言語 (例えば英語)に翻訳し的には、 極性のラベル、 すなわち肯定/否定が付与さた結果に対し、英語翻訳結果を日本語へ翻訳しなおす

れた大量のデータを用い XLNet により言語モデルを手法を用い、その過程で得られる文の変換情報を利用構築し、 このモデルを用い、 入力文/文書の極性を判することにより、同義で自然な文を生成することに成断した。

功している。
本研究ではこれまでの研究を一歩進め、膨大なテキス３．２

候補データの抽出

トデータを対象とし、深層学習を用いることにより極生成の候補となる肯定を示すデータを抽出する。抽性を認識した結果を用い、 入力した否定的な文/文書

出には WordNet と呼ばれる英語のシソーラスを用いるをその文意を保持したまま、肯定的な文を生成する手[8]。 WordNet を用いた肯定文/ 文書の抽出では、 入法を提案する。本研究は書き手それぞれの意見の根底力した否定文中にある動詞/形容詞を識別し、WordNetにある意図を自動的に認識するために語感に注目したから各動詞、 及び形容詞の同義語を抽出する。 表 1

点、語感と深層学習を有機的に統合することにより、に WordNet に記載されている形容 詞とその同義語の意味よりもさらに抽出が困難な語感を認識する点に独例を示す。

自の特徴がある。
表 1: WordNet の形容詞単語とその同義語例
３．研究の方法

単語 (形容詞)

同義語

difficulthard,challenging,ambitious,arduous,embarrassing,sticky,unenviable,baffling,elusive,knotty,problematic,tough,problematical, catchy,tricky,delicate,ticklish, touchy
図１ 本手法の枠組み
本研究の枠組みを図 1 に示す。 本研究は 3 つの処

goodwell, fortunate

happy

well-chosen,felicitous

理、 すなわち、 (1) 極性の判定、 (2) 候補データの抽出、 (3) 肯定文の要約生成からなる。

処理(1) で得られた各肯定文/文書において, 否定文
2TELECOM FRONTIER No.109 2020 AUTUMN

語感の認識と要約生成への適用
Automatic Recognition of Polarity and its Application to Summary Generationの同義語を含む文/文書を全て抽出し、 生成の候補データとする。
３．３

肯定文への要約生成生成の候補データを用いることにより、入力された否定文/文書から肯定文/文書を要約、 生成する。 否定的な表現である入力文/文書に対し、 Word Mover
Distance (WMD) [9]と呼ばれる文/文書同士の意味的F 値は Recall と Precision の調和平均を示し、 最大な類似度計算尺度を用い、 入力文/文書に最も類似す値である 1 に近づくほどよい精度であることを示す。

る文を候補データのリストから抽出し、 提示する。

F 値は 0.951 であり、 高精度で肯定文/文書を抽出でWMD は、 分散表現(意味空間)で表した文中に出現するきることを確認した。 次に肯定文/文書を収集するた各単語に対し、単語間の意味的な類似度を距離としてめに未ラベルのレビューデータ 70,000 文書を用い、求め、原文/文書と目的文/文書との距離の積の総和がXLNet を適用し極性を判定した。 その結果、 肯定、最小となるような値を求めることにより両者の意味的否定と判定されたデータはそれぞれ 56,881, 13,119な類似度を計算する尺度である。

文書であった。 肯定と判断された 56,881 文書を生成のための候補リストとして用いた。

４．実験

肯定文/文書の要約生成の評価を行うために、 Yelp

本手法の有効性を検証するために実験を行った。実データセットから否定的な内容を示すレビュー文書を

験では、 Yelp データセットを利用した。 Yelp データ

20,000 文書取得した。 各文書に対し、 動詞、 及びセットは、 1,569,264 からなるレビューテキストのデ形容詞を抽出するために spaCy を用いた。 否定的なータであり、 各データは 4 種からなるスターマーク

レビュー文書から抽出された動詞、及び形容詞例を以が付与されている。 このうち、 1 及び 2 は否定を示下に示す。

し、 3 及び 4 は肯定を示す。 先ず、 肯定/否定の判定を行う XLNet の精度を検証するために、 Yelp デー[例 1] Last summer I had an appointment to get

タから無作為に 560,00 及び 38,000 レビューを抽出し、new tired and had to wait a super long time.

それぞれ訓練、 テストデータとし精度を求めた。 実
験結果を表 2 示す。

[例 2] They seem overpriced, too.

表 2 極性判定結果

例 1、 及び例 2 において下線は動詞、 波線は形容詞を示す。

予測結果
正解ラベル

TP 18,077

FN928

生成結果に対する評価として(1) 生成された文/文書

FPTN 18,077

が肯定的な意味を示すか、 また(2) 生成された文/文923

書が肯定的な意味を示し、かつ入力である否定的な文
表 2 において True Positive(TP), True Negative(TN),/文書と同義であるかについて検証を行った。 生成結False Positive(FP), False Negative(FN)はそれぞれ果から無作為に 100 文/文書を抽出し、 (1)及び(2)の肯定であると正しく判定できたデータ、否定であると各々について大学院生 6 名による多数決により評価を正しく判定できたデータ、誤って肯定であると判定し実施した。 評価結果を表 2 に示す。

たデータ、誤って否定であると判定したデータ数を示す。 さらに下記で示される F 値を用いた。
表 3 生成結果
3

TELECOM FRONTIER No.109 2020 AUTUMN

語感の認識と要約生成への適用
Automatic Recognition of Polarity and its Application to Summary Generation

評価基準

図 2 によると、 WMD が 0.50 ときの正解率は 41%で文数

肯定文生成95あり WMD の値が減少するに従い正解率が上がることが肯定文生成かつ入力と同義

42わかる。 WMD の最小値は 0.301 であり、 そのときの正解率は 60%であった。 肯定文/文書の生成は 95%と表 3 より、 否定から肯定へ極性を変更できた割合高精度で生成が可能となっているのに対し、 原文/原は 95%であり高精度で肯定文/文書が生成できている

文書の意味を保持したまま肯定的な表現で生成提示すことがわかる。 一方、 原文の意味を保持したまま否るためには、 現在の WMD による手法では限界がある。

定を肯定に変換生成できた割合は 42%であった。 生成

今後、 Generative Pre-Training model (GPT)[10] な

結果例を以下に示す。

ど言語モデルと知識ベースを利用することにより文/文書を生成する手法について検討する必要がある。

[例 1][入力]: I have never in my history of dining out

５．まとめ

been to a place that did and did not care about

本研究では、 円滑なコミュニケーションを支援する

their

ために、入力した否定的な文をその文意を保持したまcustomers.

Good

prices,nicedecor,tasteless food.

ま、 肯定的な文を生成する手法を提案した。 肯定/否

[出力]: The service was good, and the food can be

定を表現する語感に注目し、膨大なテキストデータかbetter for the price we paid. Excellent!

ら深層学習により肯定/否定を分類した。 さらに単語の分散表現に基づく距離尺度を利用することにより、否定的な入力文/文書をその意味を保持したまま肯定[例 2][ 入 力 ]:For

theprice,

Iwas的な表現を生成・提示する手法を提案した。 .Yelp レ

incredibly

disappointed.

ビュ文書を用いた実験の結果、 95%の精度で肯定的な[出力]：I had no experience for the price but now

表現を生成することが確認できた。 一方、 原文の意

I have changed my mind.

味を保持したまま肯定的な表現へ生成する検証では、正解率は 60%であった。 今後の課題として、 確率モ

本手法では原文の意味を保持するために Word Mover

デルに基づく言語モデル、及び既存の知識ベースを組Distance (WMD)と呼ばれる類似度尺度を用いている。

み合わせた生成モデルを提案することにより精度を向そこで、 WMD による類似度と肯定文生成かつ入力と同上させる必要がある。 またより自然な文/文書を生成義であると判定された文/文書との割合を図 2 に示す。

するために必要な語義、 構文、 意味知識を体系的に整理する必要がある。

割合 (%)

70
参考文献

60

[1] Xiandong, Liu, Pengcheng He, Weizhu chen, and50

Jianfeng

Gao,“Multi-TaskDeep

Neural40

Networks for Natural Language Understanding”,

30

Proc. of the 57th Annual Meeting of the0.5

0.45

0.40.35

Association for Computational Linguistics, pp.

0.3

WMDによる距離4487-4496, 2019.
[2] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng,

図 2: WMD による距離と入力文/文書と同義である文/文書の割合

Hao Tian, Hua Wu, Haifeng Wang, “ERNIE2.0: A
Continual4Pre-Training

FrameworkforTELECOM FRONTIER No.109 2020 AUTUMN

語感の認識と要約生成への適用
Automatic Recognition of Polarity and its Application to Summary Generation

Language Understanding”, arXiv:1907.12412,“Language Models are Unsupervised Multitask

2019.

Learners”,openai.com/blog/better-language-[3] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao,models/Jiangnan Xia, Liwei Peng, Luo Si, “StructBERT:Incorporating Language Structures into Pretraining for Deep Language Understanding”,

この研究は、平成２８年度ＳＣＡＴ研究助成の対象と

arXiv:1908.04577, 2019.

して採用され、平成２９～令和元年度に実施されたも[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andのです。

Kristina Toutanova, “BERT: Pre-training of Deep
Bidirectional

Transformers

forLanguage

Understanding”, Proc. of the 2019 Conference ofthe North American Chapter of the AssociationforComputational

Linguistics:

Human

Language Technologies, pp. 4171-4186, 2019.
[5] Juncen Li, Robin Jia, He He, and Percy Liang,“Delete, Retrieve, Generate: A Simple Approach
to Sentiment and Style Transfer”, Proc. of
NAACL-HLT, Association for Computational
Linguistics, pp. 1865-1874, 2018.
[6] Mohit Iyyer, John Wieting, Kevin Gimpel, andLuke

Zettlemoyer,

Generationwith“Adversarial
Syntactically

ExampleControlled

Paraphrase Networks”, Proc. of NAACL-HLT,
Association for Computational Linguistics, pp.
1875-1885, 2018.
[7] Zhilin Yang, Zihang Dai, Yiming Yang, JaimeCarbonell, Ruslan Salakhutdinov, and Quoc V. Le,“XLNet: Generalized Autoregressive Pretraining
for Language Understanding”, arXiv: 1906.08237,
2020.
[8] Christiane Fellbaum, “WordNet: A Electronic
Lexical Database”, Cambridge, MA, MIT Press,
1998.
[9] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, andKilian Q. Weinberger, “From Word Embeddings
to Document Distances”, Proc. of the 32ndInternational Conference on Machine Learning,
pp. 957-966, 2015.
[10] Alee Radford, Jeffrey Wu, Rewon Child, DavidLuan,Dario

Amodei, andIlya Sutskever,
5TELECOM FRONTIER No.109 2020 AUTUMN