第１１回産業日本語研究会・シンポジウム

自然言語処理によるニュース記事執筆の現状と課題
岡崎 直観

東京工業大学 情報理工学院
okazaki at c.titech.ac.jp
https://www.nlp.c.titech.ac.jp/

自然言語処理：人間のように言葉を理解・生成できるロボット

機械翻訳

質問応答

対話エージェント

自動要約

ある言語の文章を別の言語に翻訳する

自然言語で与えられた質問に答える

コンピュータと人間の間で会話をする

情報を集約して文章を生成する

情報検索

情報抽出

意見・感情分析

教育支援

大量の文書の中から必要なものを探す

文章から事実や知識を抽出する

文章から人間の主観的評価を抽出する

人間が良い文章を書くように支援する1

ニュース記事と自然言語処理
 ニュース記事をコーパスとして利用 正しい日本語の「お手本」に統語解析・意味解析の「お手本」を付与
 例: 京都大学テキストコーパス（1995年版毎日新聞）

 データジャーナリズム: テキストを分析してニュースの種を得る
 様々なテキストデータをマイニングして，社会を観測する

 ロボットジャーナリズム: 自動もしくは半自動で記事を生成する
 記事の自動生成 記事の自動校正
 見出しの自動生成

2データジャーナリズム3データジャーナリズム (data-driven journalism, computational journalism)
データを収集，整形，整理，分析，可視化，公表することで，新しいニュースを発見したり，ニュースを分かりやすく伝えようとする報道
データ処理による記事化
 データ: データを収集して構造化
 フィルタ: データから知識を抽出 可視化: グラフィックなどで表現
 ストーリー: 分析結果から記事のストーリーを作る
株価のデータを載せただけの記事はデータジャーナリズムとは呼ばない

データジャーナリズム (Lorenz, 2010)

Mirko Lorenz. 2010. Data driven journalism: What is there to learn?
http://mediapusher.eu/datadrivenjournalism/pdf/ddj_paper_final.pdf
4Reading the Riots (Guardian)

https://www.theguardian.com/uk/interactive/2011/dec/07/london-riots-twitter5Full-text visualization of the Iraqi War Logs (AP)
分析の狙い
 WikiLeaksが公開したイラク戦争に関する機密文書をネットワーク可視化

分析方法
 各文書 の単語 をTF*IDFで重み付け・ベクトル化
 各文書を重みの高い3つの単語で表現
 文書をノード，文書間のコサイン類似度でエッジを作成
 ノードの色は事件タイプ
 Gephiでネットワーク可視化
http://jonathanstray.com/a-full-text-visualization-of-the-iraq-war-logs
6

Message Machine (ProPublica)

http://www.propublica.org/special/message-machine-you-probably-dont-know-janet7

東日本大震災ビッグデータワークショップ（Project 311）

https://sites.google.com/site/prj311/
8

東日本大震災時の誤情報の拡散・終息過程の可視化 (鍋島+, 2013)

鍋島 啓太, 渡邉 研斗, 水野 淳太, 岡崎 直観, 乾 健太郎. 2013. 訂正パターンに基づく誤情報の収集と拡散状況の分析. 自然言語処理,20(3):461–484. （言語処理学会 2013年度論文賞）
9

参院選公示日前のツイートの分析
分析の狙い 政策・政党名でツイートを検索し，日ごとのツイート数，関連語を分析

分析方法 ツイート総数が衆院選前と比べ３割減（参院選への関心低い）
 共産党に関するツイートが増加
 維新の会のツイートは激減
 ネット選挙に関連して，未成年のリツイート問題が話題に 原発を含むツイートが依然多い
2013年7月3日 朝日新聞朝刊（６面）「611万 もう一つの民意」
10

国会議事録からのキーワード抽出

アントニオ猪木氏のキーワード
2019年7月2日 朝日新聞デジタル公開
https://www.asahi.com/senkyo/senkyo2019/special/politipedia/
11ツイート分析の流れ
ツイート数計測

検索

関連語抽出
リツイート分析

ダウンロードその他の分析

ツイート分析の流れ
社民党Facebookの「萌えみずほたん」が似てなすぎると話題にまさかの萌え化：社民党の福島瑞穂党首が萌え化してFacebookに降臨
社民党の福島瑞穂が萌えキャラ化！！
お前らのみずほたんだろ形態素解析で名詞を認識

各名詞の出現頻度を計測

関連語頻度萌え4

みずほたん2

Facebook2

福島瑞穂

2

関連語抽出の例（名詞の頻度計測）12報道において大切なポイント 分析結果の正確性に責任を持つ
 自然言語処理の意味解析の精度は低い
 分析方法に対して100%の精度を保証する必要がある

 分析手法の透明性を確保する
 一般読者を想定し，分かりやすい分析・結果が望まれる
 「頻度」よりも性能のよい統計尺度（例えばTF*IDF）が使えない 特定の団体・政党への利益・不利益にならないように，中立性を保つ
 報道だけでなく，様々な局面で手法の透明性の確保は重要 可視化も重要 一般読者の目を引くようなデータの見せ方を考える
13

ロボットジャーナリズム（自動化報道）

14

記事の自動生成（AP通信, Automated Insights社）

この記事の要素はZacks Investment Researchから提供されたデータを用い，Automated Insightsにより生成された
https://www.apnews.com/32a904607c112a15524439fda93ede63/Bank-of-Nova-Scotia-reports-3Q-profit
15

深層ニューラルネットワークによる記事生成: RotoWireコーパス
NBA バスケットボールの試合のスタッツとそのダイジェストの組が収録されているコーパス（約4,900事例）．ニューラル文章生成モデルの性能はBLEUス
コアで10～15くらいで，実応用には程遠い

RotoWireデータセットのデータと記事の例 (Wiseman+ 2017)
Sam Wiseman, Stuart M. Shieber, and Alexander M. Rush. 2017. Challenges in data-to-document generation. In Proc. of EMNLP,
pp.2243-2253.
16

言語生成技術が報道の現場で使われるために (Leppänen+ 2017)
 透明性：報道機関の内部・外部の人が，報道のプロセスを監視，確認，批判，および干渉できる
 正確性：報道内容が客観的な事実に基づき，読者を誤解させない
 修正可能性とドメイン適応性：新しいドメインの記事を生成するときに，システムを容易に修正できる 流暢さ：一貫性があって流暢な文章を生成できて，読者の満足度を損なわない データの入手性：構造化されてたデータベースが入手できる
 ニュースの話題性：読者が興味を持つような話題のニュースを生成できる
Leo Leppänen, Myriam Munezero, Mark Granroth-Wilding, amd Hannu Toivonen. 2017. Data-Driven News Generation for Automated
Journalism. In Proc. of INLG, pp.188-197.
17

記事の自動校正: 新聞記事ができるまで紙面記者

編集者
校閲者

デザイナー

デジタル版

18

記事の自動校正: 編集前後の記事の活用 (Tamori+ 2017)
 記事の編集操作の履歴データは残っていない
 記事をどのような編集操作で書き換えたのか分からない

 類似度を用い，編集前後の記事の文の対応関係を自動的に分析
A 裁判員経験者の意見を生かそうと宇都宮

a 宇都宮地裁が裁判員経験者と裁判官、地裁は１２日、 裁判員経験者と裁判官、検察官、 弁護士による意見交換会を開いた。 B今年１～８月にかけて裁判員として審理に参加した９人が出席し、 審理日程や評議についての感想や改善点などを話した。 C参加した裁判員経験者は 「社会の中で責任を果たす自覚を持った」、 「貴重な経験ができた」 などという前向きな感想が多かった一方、 「弁護士の冒頭陳述がわかりにくかった」 などの課題も指摘された。 …

検察官、 弁護士による意見交換会を開いた。 b 裁判員経験者からは 「社会の中で責任を果たす自覚を持った」、 「貴重な経験ができた」 などという前向きな声が出た
一方、「弁護士の冒頭陳述がわかりにくかった」 といった課題も指摘された。 c 意見交
換会は１２日に開かれ、 今年１～８月にかけて裁判員として審理に参加した９人が出席。 d 審理日程や評議についての感想や改善点などを話した。 …

編集・校閲前の記事

最終版の記事c と d の 2 文に分割

Hideaki Tamori, Yuta Hitomi, Naoaki Okazaki, and Kentaro Inui. 2017. Analyzing the Revision Logs of a Japanese Newspaper forArticle Quality Assessment. In Proc. of the 2017 EMNLP Workshop: Natural Language Processing meets Journalism, pages 46–50.
19記事の自動校正: 記事の編集操作の推定 (Tamori+ 2017)
 編集距離と同様のアルゴリズムで編集操作を推定
 2015年10月から2016年9月までの新聞記事の編集前後の記事から 文アライメントを求めることで2,197,739文対を獲得
 1,108,750文対は編集なし，1,088,989文対は何らかの編集あり裁判員経験者の意見を生かそうと宇都宮地裁はが１２日、 裁判員経験者と裁判官、 検察官、 弁護士による意見交換会を開いた。
（文 A から a への修正）参加した裁判員経験者からは 「社会の中で責任を果たす自覚を持った」、 「貴重な経験ができた」などという前向きな声が出た感想が多かった一方、 「弁護士の冒頭陳述がわかりにくかった」 などの（文 C から b への修正）といった課題も指摘された。
意見交換会は 12 日に開かれ、 今年１～８月にかけて裁判員として審理に参加した９人が出席し、。
（文 B から c,d への修正）
審理日程や評議についての感想や改善点などを話した。

編集操作の推定
Hideaki Tamori, Yuta Hitomi, Naoaki Okazaki, and Kentaro Inui. 2017. Analyzing the Revision Logs of a Japanese Newspaper for
Article Quality Assessment. In Proc. of the 2017 EMNLP Workshop: Natural Language Processing meets Journalism, pages 46–50.
20

深層学習による記事の自動校正 (Hitomi+ 2017)
 提案モデル エンコーダ: 双方向LSTM
 デコーダ: 文生成（注意機構付きLSTM）と編集操作予測のマルチタスク

 評価結果評価対象すべての文対編集された文対変更されなかった文対

GLEU

70.68

68.63
87.44

WER

23.90
35.55

16.17

BLEU

74.48

65.31
82.51

 多くの個所は変更されずに残るので，BLEUスコアは高めの値となる
 変更箇所に対する再現率は6.28%と低い
Yuta Hitomi, Hideaki Tamori, Naoaki Okazaki, and Kentaro Inui. 2017. Proofread Sentence Generation as Multi-Task Learning with
Editing Operation Prediction. In Proc. of IJCNLP, pages 436-441.
21

記事から見出しの自動生成
ウェブサービスとして一般公開中

記事から自動生成

多言語音声翻訳コンテストのオプションAPIとして提供中

https://headline.okazakilab.org/
22出力長を制御できる見出し生成モデル (Takase+ 2019) エンコーダ・デコーダによる自動要約
 翻訳元を記事本文，翻訳先を要約文とした「機械翻訳」
 日本語の新聞記事からの見出し生成の研究は少ない

 機械翻訳と異なるのは出力長の制御
 機械翻訳では入力の情報をすべて翻訳したら終了
 エンコーダ・デコーダに出力長を制御する機構が必要
入力: 記事の本文

出力: 要約

位置エンコーディングによる長さ制御（左: 長さ40文字，右: 長さ80文字）
Sho Takase and Naoaki Okazaki. 2019. Positional Encoding to Control Output Sequence Length. In Proc. of NAACL, pp. 3999-4004.
23出力長制御の効果 (Takase+ 2019)
提案手法は出力長を正確に制御できる（出力長を指定して）要約を生成した際の長さの分散手法

ベースライン (Transformer)
先行研究 (Kikuchi+ 16)
提案手法

10文字

13文字

26文字

0.005

0.002

0.002

8.989

0.000

5.581

0.000

2.510
0.000

要約の質も向上する生成された要約と人間の要約の類似度（ROUGE-L）

手法

ベースライン (Transformer)
先行研究 (Kikuchi+ 16)
提案手法

10文字

13文字

26文字

35.76

38.47

37.54

31.31

40.83

39.12

43.30

36.18
41.21

Sho Takase and Naoaki Okazaki. 2019. Positional Encoding to Control Output Sequence Length. In Proc. of NAACL, pp. 3999-4004.
24

記事から逸脱した見出しの削減
仮説: 本文から逸脱した見出しが生成されるのはタスクや訓練データの問題？
 記事が見出しを含意しない記事が学習データに含まれているのではないか？

検証結果: 学習データにも問題あり記事が見出しを含意する割合 (%)

 本文の一部だけを見出し生成器の入力として与えると、情報が不足する

データセット

先頭
3文

全文

 入力文章に含まれない情報が見出しに現れる事例が全体の30-40%ある

先頭1文

Gigaword

70.3―

92.8

JAMUL―

61.4

94.2

 含意関係認識器で学習データを精錬

実験結果: 学習データから無理な事例を取り除くと見出しの忠実性が改善した
 ROUGEの向上は確認できないが、記事と見出しの含意率は向上（自動・人手評価）
学習データ

ROUGE-1

ROUGE-2

ROUGE-L

含意率

人手評価

無理な事例を除去しない

48.08

22.21

40.02

90.29%

89.91%

無理な事例を除去する

45.62

20.55

38.10

92.26%

92.66%

松丸 和樹, 高瀬 翔, 岡崎 直観. 含意関係に基づく見出し生成タスクの見直し. 第240回自然言語処理研究会, 2019年6月.
松丸 和樹, 高瀬 翔, 岡崎 直観. 見出し生成の忠実性の改善. 言語処理学会第26回年次大会 (NLP2020), 2020年3月.
26

自然言語処理によるニュース記事執筆の課題
 日々生み出されている貴重なデータを保存していない
 記事の編集履歴を保存していない
 記事と短文要約との対応関係を保存していない
 ……
 人材不足 新聞社の売上高は減少傾向が続いている
 データがあっても分析・活用できる人材が社内にいない
 正確性に関する高いハードル 新聞記事の生成を完全自動にすることは困難
 記者や編集者の作業を軽減できる性能・仕組みが必要

27

おわりに謝辞
 東京工業大学: 高瀬翔氏，松丸和樹氏
 朝日新聞社: 田森秀明氏，人見雄太氏，田口雄哉氏，浦川通氏
 時事通信社: 朝賀英裕氏，川上貴之氏

参考文献
 岡崎 直観. データジャーナリズムとデータ科学. 電子情報通信学会誌, 99(4):339–346, 2016年.
 岡崎 直観. ロボットジャーナリズ
ムの現状と課題. 映像情報メディア学会誌, 72(2):70–75, 2018年.

28