言い換え技術の研究動向(Mid 2018)藤田 篤
情報通信研究機構 (NICT)

h"p://paraphrasing.org/~fujita/

本資料についてテキスト量は多めlサーベイ資料として作成・更新
nl

ただし数式や性能評価の数値はほとんど含まず

講演に用いる際，すべてには言及しない

凡例
知識の例
オブジェクト: 言語表現
l 色塗り文字(これ，これ):対応箇所，差分，ハイライト (要統一)l

参考文献の見出しはWeb上の文献リストに対応
h"p://paraphrasing.org/
l 最終更新は2015年9月 à 近々更新予定
l2

言い換え (paraphrase)
換言，言い替え，パラフレーズ
モノ: 同じ意味内容を表す，同言語の異なる言語表現
l コト: ある表現の言い換えを生成する行為l

飲み物がすぐに出てくる。
多様性
あまり待たずに飲める。
多義性
研究用のマウスを発注した。
意味空間

言語空間
3

同じ意味を表す言語表現
言い換え: 同一言語内l生成時: 必ずしも全体を変更するとは限らない，目的指向
出生届を居住地の市区町村の役所に提出してください。
お住まいの市区町村の役所に出生届をご提出ください。

翻訳: 異言語間l

生成時: 一部を除いて全体を変更，訳すこと自体が目的
お住まいの市区町村の役所に出生届をご提出ください。
Please submit noAﬁcaAon of birth to the publicoﬃce of the municipality where you live.

4

言い換えに関する研究の全体像
5つのレイヤ(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

5工学的な研究
基礎と応用(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

6

(L4) 言い換えの計算機構 (1/2)
言い換え認識 (paraphrase recogniAon / idenAﬁcaAon)
入力: 同一言語の複数(一般的に2つ)の異なる言語表現
l 出力: 入力された言語表現が同義か否か(2値分類)ln

似ている程度([0,1]や[1,5])を求めさせる場合もある

意味空間
言語空間

...

応用

...

入力1
出力1 = 同義

...

...

入力2
出力2 = 同義でない

情報検索，剽窃検出l 質問応答，複数文書要約 (言い換え生成も併用)
l7

(L4) 言い換えの計算機構 (2/2)
言い換え生成 (paraphrase generaAon)
入力: ある言語表現，目的に応じた評価基準
l 出力: 入力と同じ意味，同じ言語の異なる言語表現の集合
lnただし，与えられた評価基準を満たすもの

意味空間
言語空間

...
入力

...

...

...
出力

評価基準を満たす
言語空間の部分空間

応用
人間向け: 簡単化，文圧縮，音声合成(TTS)の前処理
l 機械向け: MT前処理 (e.g., 未知語à既知語)l8

(L3) 知識の整備
言い換えの処理に必要な知識l

語の素性/意味記述
nle.g., 項構造/意味役割，動詞の使役・受身の可否

表現間の関係に関する知識
ne.g., 同義の語句の辞書 (言い換え知識)l

言い換え知識の自動獲得 (paraphrase acquisiAon)

語 窮地 ↔ 苦境

重傷 ↔ 大ケガ

句 脚光を浴びる ↔ 注目される
n

重傷を負う ↔ 大ケガをする

e.g., 派生語，反義語，特質構造，上位-下位，部分-全体

全貌はまだまだ不明
言い換えの種類(L1/L2)と一緒に考える必要あり [藤田+ 04]
l End-to-Endのアプローチでは今のところ無視されがちln

本当に不要かはまだ分からない

9

(L5) 応用技術と言い換え

人間向け

言い換え生成言い換え認識文章執筆支援剽窃検出

文章読解支援翻訳メモリ検索TTS前処理

情報検索
文書要約

MT後編集

機械処理向け

質問応答

ステガノグラフィ

東ロボ

MTのモデル拡張

データマイニング

MT前編集

10

(比較的)言語学的な研究
全体像の俯瞰と特定の範囲の現象の理解(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

11

(L1) 言い換えの分類体系
これは言い換え?
健は悟から車を買った。
悟は健に車を売った。

主題/焦点が異なるが明示的意味は等しい

暑すぎませんか?
窓を開けてくれませんか?

語用論的意味が等しい

うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

常に真とは限らない

分類の意義
人間が行っている計算の種類の俯瞰l 応用の際の取捨選択の判断材料l12

(L2) 言い換えの事例研究
特定の範囲の言い換えが成立する原理の説明
le.g., 機能動詞構文と動詞句の言い換えn「〜がつく」
決着がつく

説明がつく

弾みがつく

決着する

説明できる

弾む
弾める

意味の等価性を丁寧に考える題材
le.g., 機能動詞構文と動詞句の言い換え
割れたマイセンの弁償を求めた。

態度...を弁償させた。

...を弁償させようとした。

...を弁償してもらった。

...を弁償してもらおうとした。

事実性

13

言い換えについて研究する意義
コミュニケーションの円滑化
l

中心的メディアは言語 (テキスト，音声)
相手や状況に合わせて言い換える (言い換え生成)n 同じことを言っていると理解する (言い換え認識)n

工学的重要性: 様々な応用の基盤技術
l

個々の表現は必ずしも意味的に互いに素ではない

科学的興味: ことばの意味に迫るための良い例題l

本当に迫ろうとしているかどうかはさておき

14本資料を作成した目的
研究の広がりや課題について知ってもらうl

工学的な研究n3種類: 言い換え認識，言い換え生成，言い換え知識獲得
深層学習の波l データセットl 評価における課題lnl

応用研究: 多数あるので簡単に(比較的)言語学的な研究
現象の網羅と類型化
n 事例研究: 多数あるので簡単にn(会話ができる)仲間を増やす
地に足の着いた研究l データやツールを作ったり，使ってもらったり
l

15

もくじ
(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)16言い換えとは何か?
内包的定義: 辞書における語釈
le.g., 岩波国語辞典 (第7版)
言い換える: いったん言った言葉を他のに言い直す。
また、(分からせるために)他の表現に変えて言う。

le.g., 新明解国語辞典 (第7版)
言い換える:(1)同じ内容を、別の言葉で説明する。
(2)前とは別のことを言う。

le.g., 明鏡国語辞典 (第2版)
言い換える:(1)同じ事柄を別のことばで言う。
(2)前言をとりやめて別のことを言う。
17

言い換えとは何か?
内包的定義: 辞書における語釈
le.g., LDOCE
paraphrase(v): to express in a shorter, clearer, or
diﬀerent way what someone has said or wriaen
paraphrase(n): a statement that expresses in a shorter, clearer, or
diﬀerent way what someone has said or wriaenle.g., COBUILD
paraphrase(v): If you paraphrase someone or paraphrase
something that they have said or wriaen, you express
what they have said or wriaen in a diﬀerent way.
paraphrase(n): A paraphrase of something wriaen or spoken
is the same thing expressed in a diﬀerent way.

18言い換えとは何か?
外延的定義: それらしいものを集めてみる
語彙的，構文的，談話的，...
l 網羅できるか?
l

しのぎをけずる

そっくりだ

激しく戦う

瓜二つだ

健は悟から車を買った。

その車が一台の自転車と衝突した。

悟は健に車を売った。

その車と一台の自転車が衝突した。

今週当選したのは、奈良県の男性でした。
今週は、奈良県の男性が当選しました。

19

意味の同一性(同義性)に関する議論の意義
人間が行っている計算の種類の俯瞰
全貌の解明，関連する概念との境界の整理
l 「言い換えは大事ですよね〜」à 本当に言い換え?
l

暑すぎませんか?
窓を開けてくれませんか?
うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

l

自動化の際の道標n

目的や応用に応じた取捨選択，優先順位決め

20

意味処理の例題としての言い換え同義であるとは?
“Paraphrases are approximate conceptual equivalence
among outwardly diﬀerent material” [De Beaugrande+ 81]
l “Every two forms (in language) contrast in meaning” [Clark 92]
l

同義性を考える3つのレベル [佐藤 99]
a. 語用論的意味が等しい
b. 参照先が等しい
c. 明示的意味が等しい

21

a. 語用論的意味が等しい
コミュニケーションにおける発語の役割
暑すぎませんか?
窓を開けてくれませんか?

新鮮な空気が欲しい，だから窓を開けてくれ，という依頼・指示言語行為論 [AusAn 62]
発語内行為 (IllocuAonary act): 言葉の背後にある効力
l 発語媒介行為 (perlocuAonary act): 聞き手への効果l

状況によって多様な解釈を持ちうる
人間は推論しうるl ただし，真の解釈は話者のみぞ知る(匂わせておいて，そうではないとも言える)
l22

b. 参照先が等しい
参照的意味 (referenAal meaning)
バルセロナの10番は先日のクラシコで無得点に終わった。
L. メッシは先日のR・マドリード戦でゴールをあげられなかった。
2008年〜l

バルセロナの視点

異なる状況下では偽 (あるいは不自然)
e.g., ロナウジーニョ, リケルメ, リバウド, ...
n e.g., バルセロナ戦, バルセロナとR・マドリードの試合nl

談話あるいはそれを超えた意味
テキストの外側のエンティティの参照 (外界照応)
n 文脈における認知的な意味 [Milićević, 07]n23

c. 明示的意味が等しい
真理値意味論的意味 / 命題論理 / denotaAon
健は悟から車を買った。
悟は健に車を売った。
l

誰でもが説明可能
言語知識と世界知識に基づいて
n 空気が読めなくてもnl

言外の意味 (connotaAon) は異なりうる[Edmonds 99][Inkpen+ 06]
主題・焦点
n 様式 (e.g., 形式性，丁寧さ)
n 感情・態度 (e.g., “スラっとした” vs. “ガリガリの”)n24定義を振り返る
何らかの違いが想定・許容されている
le.g., LDOCE
paraphrase(v): to express in a shorter, clearer, or
diﬀerent way what someone has said or wriaen
paraphrase(n): a statement that expresses in a shorter, clearer, or
diﬀerent way what someone has said or wriaenl“Every two forms (in language) contrast in meaning” [Clark 92]
Near-synonymous [Edmonds 99]
n Approximate conceptual equivalence [De Beaugrande+ 81]
n Quasi-paraphrases [Bhagat+ 13]nl

特定の文脈において許容できる差を見極めるという問題

25

“blunder” と “error” の比較[Edmonds 99]
AcAvity

ACTOR

PersonCORE denota3on

ATTRIBUTE

DeviaAonATTRIBUTE

Stupidity

ACTEE

CriAcism

MisconcepAon

ATTRIBUTE

PejoraAve

CAUSE-OF

ACTOR“blunder”

Severitylow

DEGREE“error”

highlow

mediumhighConcreteness26

違いを生じさせるねらい
発信者と受信者の間の情報伝達の促進 (または阻害)l

人間どうしの対話
発話内容の確認 [高塚 99]
n 社会的な関係を保ったり押しつけたりするためnlle.g., 仲間うちにおけるメンツや連帯感 [国広 00]

目的に応じた要請n

簡単化: 難解 à 平易
l

慇懃無礼化

要約: 長い à 短いn 推敲: まわりくどい，ぎこちない，冗長 à 明瞭
n 客観化: 感情的 à 非感情的n27

言い換え (paraphrase)
換言，言い替え，パラフレーズ
モノ: 同じ意味内容を表す，同言語の異なる言語表現
l コト: ある表現の言い換えを生成する行為l

飲み物がすぐに出てくる。
多様性
あまり待たずに飲める。
多義性
研究用のマウスを発注した。
意味空間

言語空間
28

関連する概念
含意 (entailment), 推論 (inference)l

異なる明示的意味(それらに対応する表現)間の関係

川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
含意
テキスト間含意関係(誰かの)推論「雪国」の著者は川端康成である。
推論した内容のテキスト化
創元社は川端康成の「雪国」
でずいぶんと有名になった。

意味空間

言語空間
29

含意関係 (entailment)
P à Q (Pが成り立つならばQが成り立つ)
l

QàPも真とは限らない
川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
「雪国」の著者は川端康成である。

テキスト間含意関係

エベレストは世界で最も高い山である。
エルブルス山はエベレストより低い。
l

語彙的含意 (lexical entailment) [Miller+ 85]
nibbleeat

具体的な方法，上位概念

forgetknow

前提

has startedlテキスト外の
世界知識も要参照

started

時間的推移言い換え ≡ 両方向の含意 [Dagan+ 05]
30

(誰かの)推論 (inference)
真理値の同一性は保証されない
数学や論理学における「導出」の意味の推論ではない
l 誰もが同じように推論する/できるとは限らない
lnl

語用論における発語内行為とも異なる

ただしこの計算が役立つ場合もある [Pantel+ 07]
川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
創元社は川端康成の「雪国」でずいぶんと有名になった。
うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

31

まとめ
同義性を考える3つのレベル [佐藤 99]
a. 語用論的意味が等しい
b. 参照先が等しい
c. 明示的意味が等しい

関連する概念推論可能な関係
含意関係

言い換え

32

もくじ
(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)33言い換え認識
タスクの定義入力: 同一言語の複数(一般的に2つ)の異なる言語表現
l 出力: 入力された言語表現が同義か否か(2値分類)ln

似ている程度[0,1]を求めさせる設定は適切か?

意味空間
言語空間

...

応用

...

入力1
出力1 = 同義

...

...

入力2
出力2 = 同義でない

情報検索，剽窃検出l 質問応答，複数文書要約 (言い換え生成も併用)
l34

2値分類問題/回帰問題としての定式化
教師あり機械学習の例題
学習フェーズl 判定フェーズ
l

性能評価
学習データ同様の正解付きデータを用いる
l 2値分類: 再現率，精度，それらのF値，AUCln

STSでは相関係数(Pearson’s r, Spearman’s ρ)も用いられる特殊ケース: 知識の自動獲得
同義の文対の収集 [Dolan+ 04][Fader+ 13][Xu+ 14][Lan+ 17]
l 同義の語句の収集 (= 言い換え知識獲得)l35

言い換え認識手法の大まかな分類
シンボリックなアプローチ
語句や部分構文木の対応関係の集約[Takahashi+ 03][Finch+ 05][Madnani+ 12] [Watanabe+ 12]
l 抽象概念上での照合 [Issa+ 18][Yanaka+ 18]l

分散表現に基づくアプローチ
文の分散表現の類似度(足し算最強説) [WieAng+ 16]l 語レベルの対応から総合的に判断 [Yin+ 15]l

複数のCNNフィルタと複数のプーリング [He+ 15]
n 文脈を考慮した単語分散表現を用いた多層CNN [He+ 16]nl生成モデルによる文全体の変換尤度 [Mallinson+ 17]

36

シンボリックなアプローチ (1/3)
素性l

表層的な素性
MT向け自動評価尺度: BLEU等 [Finch+ 05][Madnani+ 12]
n 表層n-gramの重複度 [Liu+ 11]nl

言語解析の結果得られる素性
統語構造の照合結果 [Das+ 09]
n 述語項構造の照合結果 [Watanabe+ 12]
n Abstract Meaning RepresentaAon (AMR) の照合結果 [Issa+ 18]
n

定量化手法
l

SVMs [Finch+ 05][Das+ 09][Issa+ 18]nl

RBFカーネルがよく用いられる線形回帰 [Madnani+ 12]
37シンボリックなアプローチ (2/3)
種々の語彙資源を用いた対応付け [Watanabe+ 12]
semantic relation
composition
layer
projection
layer

@
@

⌘

P

P

T: ６月２９日の(On June 29)

C

@
@

@

⌘

|

⌘

@

P

P

大飯原子力発電所の

@

@
P

^

P

P

再稼働に対する

抗議行動の

参加者に!

(of the protest)(The attendance)

国会議員が含まれていた。

(legislators)(included)

S

A

⌘

S

@

⌘

S

A

A
A

H:

|

(against reactivation of Oi Nuclear Power Plant)

Salignment
layer

|

C

A

@

S
S
A

^

S
A

|

大飯原発再稼働の

抗議活動に

参加した

人は

いないというのは誤りである。

(for reactivation of Oi Plant)(the protest)(attended)(people who)

(there were no)(it is wrong that)

T: The attendance of the protest against reactivation of Oi Nuclear Power Plant on June 29 included legislators.
H: It is wrong that there were no people who attended the protest for reactivating Oi Nuclear Power Plant.

38

シンボリックなアプローチ (3/3)
意味表現の照合
FrameNet [Ellsworth+ 07], AMR [Issa+ 18]
l 基本論理式 [Yanaka+ 18]l

統語解析 à 高階論理式 à 基本論理式 (DAGで表現)
n 学習時: 非対応箇所から公理を生成
n 判定時: 学習済の公理を用いて非対応箇所を単一化
nA lady is cusng up some ﬁsh ﬁnely

Some ﬁsh is being cut into pieces by a woman

lady

woman

x1

x2

subj

obj

ﬁsh

x3

x4

subj

obj

e1
cut

up

e2
ﬁnely

ﬁsh
x5

piece

cut

語

x1 (lady(x1) à woman(x1))

句

e1 (cut(e1) up(e1) ﬁnely(e1) à x5 (into(e1, x5) piece(x5)))39

分散表現に基づくアプローチ (1/3)[He+ 16]

文の分散表現の類似度
studies and visualized our models to show the clear
benefits of modeling pairwise word interactions for
similarity measurement.

単語分散表現の平均 [WieAng+ 16]l LSTM [WieAng+ 16]
2 Related Workl

4. 19-Layer
Deep ConvNet

語レベルの対応から総合的に判断lFeature engineering was the dominant approach inmost previous work; different types of sparse features were explored and found useful. For example, n-gram overlap features at the word andcharacter levels (Madnani et al., 2012; Wan et al.,2006), syntax features (Das and Smith, 2009; Xu etal., 2014), knowledge-based features using WordNet (Fellbaum, 1998; Fern and Stevenson, 2008)
and word-alignment features (Sultan et al., 2014).
The recent shift from sparse feature engineering to neural network model engineering has significantly improved accuracy on STS datasets.
Most previous work use sentence modeling with a“Siamese” structure (Bromley et al., 1993). For example, Hu et al. (2014) used convolutional neuralnetworks that combine hierarchical structures withlayer-by-layer composition and pooling. Tai et al.
(2015) and Zhu et al. (2015) concurrently proposed
tree-structured long short-term memory networks,
which recursively construct sentence representations
following their syntactic trees. There are manyother examples of neural network-based sentencemodeling approaches for the STS problem (Yin andSchütze, 2015; Huang et al., 2013; Andrew et al.,2013; Weston et al., 2011; Socher et al., 2011;
Zarrella et al., 2015).

文中の各語の分散表現

事前学習 [Mikolov+ 13]
n 再帰的オートエンコーダ [Socher+ 11]
n BiLSTMで文脈を考慮 [He+ 16]nlf ocusCube
On

th
em
at

th
er e

s it

ca

ts

Ca

s
ts

n
to

at
em
th

i

2. Pairwise Word
Interaction Modeling

単語類似度行列のまとめ上げ
nl

3. Similarity Focus Layer

各種プーリング[Socher+ 11][Yin+ 15][He+ 16]

simCube

On

th
em
at

th
er e

s it

ca

出力層: 回帰/Sotmax

ts

Ca

s
ts

it

o

t
ma
he
t
n

1. Context ModelingCats Sit On the Mat

On the Mat There Sit Cats

Figure 1: Our end-to-end neural network model,
consisting of four major components.
40分散表現に基づくアプローチ (2/3)
Siamese構造のCNNs [Yin+ 15]
単語情報の抽象化
l 多層化により構造的対応関係を表現
l 動的プーリング+
スタッキングl 事前学習l

MulA-perspecAve化[He+, 15]類似度尺度
l プーリング方法
l CNNの形状
l41

分散表現に基づくアプローチ (3/3)
折り返し翻訳としての尤度 [Mallinson+ 17]lP(s2|s1) = ∑t P(s2|t)P(t|s1)
P(t|s1): L1àL2はn-bestデコード
n P(s2|t): L2àL1は各tからs2をforced decodingnl

NMTだと容易かつ滑らか
How many calories in a handful of strawberries?

L1àL2

The number of calories in a handful of strawberries.

L1ßL2

…

42

言い換えコーパス (文単位，正負例両方)
人間の手が入ったもの
小説の複数訳 (英語) [Barzilay+ 01]
l MT自動評価用の複数参照訳 (英語) [NIST 03][LDC 10;13]
l MSRP: MSR ニュース言い換えコーパス (英語) [Dolan+ 04]
l MSR ビデオ記述コーパス (英語，仏語) [Chen+ 11]
l NTCIR RITE-2: 含意関係認識データ (日本語) [Watanabe+ 13]
l WikiAnswers: 質問文 (英語) [Fader+ 13]
l MS COCO: 画像キャプション (英語) [Lin+ 14]
l SemEval STS: 意味的類似度コーパス (英語) [Agirre+ 14]
l SemEval SICK: 構成的な文間関係データ (英語) [Marelli+ 14]
l Twiaer 言い換えコーパス (英語) [Xu+ 14][Lan+ 17]
l Quora: 極めて大規模な質問文対 (英語) [Quora 17]l43言い換えコーパス (文単位，ラベルなし)
自動収集・生成されただけのもの
ParaNMT-50M: 人間訳とMT訳の対 [WieAng+ 17c]l OpusParCus: 多言語字幕からの抽出物 (6言語) [Creutz 18]l44これまでの研究の知見
表層的な手がかりが(十分に)有効
表層的な類似度
l 語彙的素性についてはスパースネス対策が有効
l

METEOR/TERpで局所的な言い換えを考慮 [Madnani+ 12]
n Natural Logic & 隠れクラス [Watanabe+ 12][Guo+ 14]
n 行列・テンソル分解 [Ji+ 13]
n 分散表現 [Yin+ 15][He+ 15;16][WieAng+ 15;16;17a]nl

統語構造やリッチな言語資源を用いても微々たる改善

実は誤謬
標本バイアス: 実世界の問題の分布からの乖離 [Xu+ 14]
l e.g., MSRP [Dolan+ 04]l

編集距離が8-20の文対
n 評価用データの66.5%が正例 (常に「同義」でF値79.9)
n45

NTCIR RITE-2 [Watanabe+ 13]
false negaAve の例
ヤブレガサは日本では、本州、四国、九州に分布し、山地の林下の斜面などに生育する。

☓ ヤブレガサは日本では、北海道、本州、四国、九州

ID20
正解率14%に分布し、山地の林下の斜面などに生育する。
太陽暦とは、地球が太陽の周りを回る周期を基にして作られた暦で、ユリウス暦は太陽暦の一種である。

☓ ユリウス暦は、地球が太陽の周りを回る周期を基にしID91
正解率33%て作られた暦で、太陽暦の一種である。
第4飛行隊は、かつて存在した南アフリカ空軍の飛行隊である。

☓ 第3飛行隊は、かつて存在した南アフリカ空軍の飛行隊である。
ID65
正解率48%46

NTCIR RITE-2 [Watanabe+ 13]
false posiAve の例
筆箱とは、鉛筆、シャープペンシル、
消しゴム、定規などを入れる物である。
筆箱は、鉛筆、消しゴム、定規、シャーペンなどを収めた箱だ。
サウスポーは、左利きのことである。
左利きの人を指す言葉として「サウスポー」がある。
忍者は、漫画のキャラクターとして頻繁に登場する。
忍者を題材とする漫画は、数多い。

ID292
正解率19%

ID86
正解率19%
ID26
正解率10%

47

言い換え認識技術の評価用データの要件
3つの要件 [藤田+ 15]l

分布の自然さ: 目的から逆算して考える
各応用でどんな言い換えを捉えたいか?
n 分布も正負の基準も異なりうる [Dagan+ 05]nl

正負例のバランス: 要議論
自明な事例のみから学習できるか? (cf. 美術品の鑑定眼)
n 境界をうまくとらえるような負例も必要 [Zaenen+ 05]n

言い換えの種類ごとの半自動事例生成/収集 [Fujita+ 05]
l e.g., Winograd Schema Challengeの最小ペア [Levesque 11]ll

プリミティブさ: 担保可能 [Kaneko+ 13][藤田+ 15]n

独立な部分問題への分解と分類
公平な評価: 惜しい誤答に部分点，まぐれ正解を減点
l 一貫性のあるエラー分析が可能になるl48

評価用データの作り方の大まかな分類
ある範囲のテキストセットにアノテーション
形態素解析，構文解析，固有表現抽出
l 語義曖昧性解消，情報抽出
l 述語項構造解析，照応解析，レビュー解析
l 日本語校正，英語校正
l

ある範囲の問題セットに模範解答を付与
MT，自動要約 (1つないし複数)
l 情報検索 (見つけられる限り)
l 言語生成，言い換え生成 (無数ではあるが)lあたりをつけてから人手で選別 (言い換え認識)
任意のテキスト対はほぼ間違いなく言い換えではない
l 標本バイアスの回避 vs 人的コストの低減
l49

分布の自然さと正負例のバランス
自明な正例
理想的な
評価用事例集合

非自明な例
(境界例)

自明な負例

多様性

ヒューリスティクスで収集できる事例集合
50

NTCIR RITE-2の事例の分解例 [藤田+ 15]
ID90-4『トンネルズ&トロールズ第5版』はケン・セント・アンドレらによってデザインされた。
助詞の交替『トンネルズ&トロールズ第5版』がケン・セント・アンドレらによってデザインされた。
態の交替
ケン・セント・アンドレらが『トンネルズ&トロールズ第5版』をデザインした。
分裂文『トンネルズ&トロールズ第5版』をデザインしたのはケン・セント・アンドレらである。
節と名詞句の交替

節と名詞句の交替
ケン・セント・アンドレらは『トンネルズ&トロールズ第5版』のデザイナーである。
分裂文『トンネルズ&トロールズ第5版』のデザイナーは
ケン・セント・アンドレらである。

スコープの変更

ケン・セント・アンドレは『トンネルズ&トロールズ第5版』のデザイナーの一人である。

スコープの変更

分裂文『トンネルズ&トロールズ第5版』のデザイナーの一人はケン・セント・アンドレである。

51

データ作成時の精度にも問題人間によるfalse posiAve
The stock rose $2.11, or about 11 percent, to close
Friday at $21.51 on the New York Stock Exchange.
PG&E Corp. shares jumped $1.63 or 8 percent to$21.03 on the New York Stock Exchange on Friday.
Samsung halts producAon of its Galaxy Note 7 as baaery problems linger.
#Samsung temporarily suspended producAon of
its Galaxy #Note7 devices following reports

原因は何?
データ作成時のインストラクション?
l 作業者の資質? [Xu+ 14][Lan+ 17]
l RSTで作業者をスクリーニングできる?
l

言い換え生成の評価も同様
52

もくじ(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)53言い換え生成タスクの定義入力: ある言語表現，目的に応じた評価基準
l 出力: 入力と同じ意味，同じ言語の異なる言語表現の集合
lnただし，与えられた評価基準を満たすもの

意味空間
言語空間

...
入力

...

...

...
出力

評価基準を満たす
言語空間の部分空間

応用
人間向け: 簡単化，文圧縮，音声合成(TTS)の前処理
l 機械向け: MT前処理 (e.g., 未知語à既知語)l54

他のタスクとの関係
text-to-text: MT，文書要約，簡単化
共通点: 妥当な解は複数存在，事前に網羅することは困難
l MTとの違い: 言い換え生成はMTの特殊版
l

単一の言語内の変換
n 与えられた評価基準を満たす必要がある
n 入力全体を書き換える必要はない
nl

文書要約，簡単化との違い: 大部分が重複有用な言い換えとそうでないもの
n 言い換え以外にも有用な操作，処理がある
n

言い換え認識l

言い換え生成可能 à 言い換え認識可能
逆は一般に不可能
n cf. MT (生成) vs 対訳検索 (認識)n55

一般的な言い換え生成の手順
1. テキスト評価l

目的や制約に沿っていない箇所を同定
簡単化: e.g., 語の難易度，構文パタンの難易度
n MT前編集: e.g., 未知語の有無や数n 文圧縮: e.g., 文の長さn2. 仮説生成l

必要な箇所を言い換えた候補を複数生成
入力の一部を書き換える
n 入力全体を書き換える: e.g., 単言語MTn

3. テキスト評価l

目的や制約に照らして最適な候補を選択

56

過剰生成の例「損害賠償を求める」 [Fujita+ 07]
損害が賠償される損害が賠償させる損害が賠償する
損害を賠償される損害を賠償させる
損害を賠償する損害に賠償される損害に賠償させる
損害に賠償する損害で賠償される損害で賠償させる
損害で賠償する賠償が損害される賠償が損害させる賠償が損害する
賠償を損害される賠償を損害させる賠償を損害する
賠償に損害される賠償に損害させる
賠償に損害する
賠償で損害される賠償で損害させる
賠償で損害する
損害賠償が求める
損害賠償に求める損害賠償で求める損害が賠償されたことが求める
損害が賠償されたことを求める
損害が賠償されたことに求める損害が賠償されたことで求める損害が賠償されることが求める
損害が賠償されることを求める
損害が賠償されることに求める損害が賠償されることで求める損害が賠償させたことが求める
損害が賠償させたことを求める
損害が賠償させたことに求める損害が賠償させたことで求める損害が賠償させることが求める
損害が賠償させることを求める
損害が賠償させることに求める損害が賠償させることで求める損害が賠償したことが求める
損害が賠償したことを求める
損害が賠償したことに求める損害が賠償したことで求める損害が賠償することが求める
損害が賠償することを求める
損害が賠償することに求める損害が賠償することで求める損害が求める
損害を求める
損害に求める
損害で求める
損害の賠償が求める 賠償が求める損害の賠償を求める 賠償を求める
損害の賠償に求める 賠償に求める損害の賠償で求める 賠償で求める損害を賠償されたことが求める損害を賠償されたことを求める
損害を賠償されたことに求める損害を賠償されたことで求める損害を賠償されることが求める損害を賠償されることを求める
損害を賠償されることに求める損害を賠償されることで求める損害を賠償させたことが求める損害を賠償させたことを求める
損害を賠償させたことに求める損害を賠償させたことで求める損害を賠償させることが求める損害を賠償させることを求める
損害を賠償させることに求める損害を賠償させることで求める損害を賠償したことが求める損害を賠償したことを求める
損害を賠償したことに求める損害を賠償したことで求める損害を賠償することが求める損害を賠償することを求める
損害を賠償することに求める損害を賠償することで求める損害に賠償されたことが求める損害に賠償されたことを求める
損害に賠償されたことに求める
損害に賠償されたことで求める損害に賠償されることが求める損害に賠償されることを求める
損害に賠償されることに求める
損害に賠償されることで求める損害に賠償させたことが求める損害に賠償させたことを求める
損害に賠償させたことに求める
損害に賠償させたことで求める損害に賠償させることが求める損害に賠償させることを求める
損害に賠償させることに求める
損害に賠償させることで求める損害に賠償したことが求める損害に賠償したことを求める
損害に賠償したことに求める
損害に賠償したことで求める損害に賠償することが求める損害に賠償することを求める
損害に賠償することに求める
損害に賠償することで求める損害で賠償されたことが求める損害で賠償されたことを求める
損害で賠償されたことに求める損害で賠償されたことで求める損害で賠償されることが求める損害で賠償されることを求める
損害で賠償されることに求める損害で賠償されることで求める損害で賠償させたことが求める損害で賠償させたことを求める
損害で賠償させたことに求める損害で賠償させたことで求める損害で賠償させることが求める損害で賠償させることを求める
損害で賠償させることに求める損害で賠償させることで求める損害で賠償したことが求める損害で賠償したことを求める
損害で賠償したことに求める損害で賠償したことで求める損害で賠償することが求める損害で賠償することを求める
損害で賠償することに求める損害で賠償することで求める損害された賠償が求める損害された賠償を求める
損害された賠償に求める損害された賠償で求める損害される賠償が求める損害される賠償を求める
損害される賠償に求める損害される賠償で求める損害させた賠償が求める損害させた賠償を求める損害させた賠償に求める損害させた賠償で求める損害させる賠償が求める損害させる賠償を求める
損害させる賠償に求める
損害させる賠償で求める

損害した賠償が求める
損害した賠償を求める
損害した賠償に求める
損害した賠償で求める
損害する賠償が求める
損害する賠償を求める
損害する賠償に求める
損害する賠償で求める

青字のみ文法的な表現，赤枠のみ同義の表現

57

仮説生成手法の例 (1/4)
統語構造の変換 [Lavoie+ 00][Takahashi+ 01][Zhu+ 10]l必要になる後処理の分類・体系化 [藤田+ 03]

た

X4
X5

なかっ

X9

飲ま

X7

X8

(助動詞: ない)

X2

(VMS)

X3

(動詞)

(係助詞: しか)

(名詞)

X4
X5

X1

(助動詞: だ)X6

(係助詞: は)

(非自立: の)

(VMS)

(動詞)

た

(副助詞: だけ)

X7

だ

(名詞)

は

だけ

は

しか

の

酒

彼

酒

飲ま

有名な

有名な

は
彼

58

仮説生成手法の例 (2/4)
単言語パラレルデータ à オートマトンl

MulAple-sequence alignment [Barzilay+ 03]
flattenedtolevelled’sdetroit
*e*

Begin

a

*e*
building*e*building
blastedindetroit*e*toleveled
*e*

End

*e*

razed

was

groundtheleveled

into

ashes

down

reducedtorubble59

仮説生成手法の例 (3/4)
単言語パラレルデータに対する単言語MTl句に基づく統計的MT (PBSMT) [Quirk+ 04][Wubben+ 10]

Of the 36 wounded , four people , including one child , were hospitalized , Dzheirkhanov said .

Dzeirkhanov said 36 people were injured and that four people , including a child , had been hospitalized .

ニューラルMT (NMT) [Prakash+ 16][Cao+ 17][Li+ 17][Gupta+ 18]
small kiaen is sisng ina bowl <EOS>la<BOS> a

cat

that

is

sisng inabowl <EOS> 60

仮説生成手法の例 (4/4)
MTによる折り返し翻訳 [Sun+ 12][Mallinson+ 17]
単言語パラレルデータは小規模にしか存在しない
à 対訳コーパスを活用
l 人間の評価との相関: SMT < NMTl

How many calories in a handful of strawberries?

L1àL2

The number of calories in a handful of strawberries.

L1ßL2

…

61

言い換えの仮説生成手法の比較
入力の一部を書き換える手法✓ 事例研究の成果を取り込める可能性☓ 複数の言い換えの組み合わせ制御が困難

入力全体を書き換える手法✓ 既存のツールを援用可能 (e.g., MTのツール)✓ フレームワークの数学的背景☓ 特定の一部分のみを書き換えるという制御が困難

62

テキスト評価
評価基準(目的や制約)に照らして最適な候補を選択
簡単化: e.g., 語の難易度，構文パタンの難易度
l MT前編集: e.g., 未知語の有無や数
l 文圧縮: e.g., 文の長さl書き換えた箇所とその他の部分の整合性の検証
変換知識の適用条件は一般的に不完全 (過剰生成が前提)
l 入力全体を生成し直した場合も
l

アプローチ
フィルタリング: 禁則処理など
l ランキング: 候補間の比較 (cf. MTのn-bestリランキング)l 自動訂正: 活用・屈折の修正や助詞の修正など
l63

言い換え生成の評価
出力を得るたびに人間が評価生じうる誤りの全体像 [藤田+ 03]
l MTの評価基準に倣ったライカート尺度 [Callison-Burch 08]l

文法性 (流暢さ): 5段階
n 原文との意味の等価性: 5段階nl

数値評価ではなく決定木による分類 [Fujita 13c]

少数の参照出力との照合による自動評価: cf. MT
MT向け自動評価尺度の援用: BLEU，METEOR，TER
l 言い換え向けに提案されたもの
lPEM: MT結果を「意味」とみなして照合 [Liu 10]
n PINC: 参照出力ではなく原文との非類似度 [Chen+ 11]
n iBLEU: BLEUと(1-PINC)の線形補間 [Sun+ 12]n64言い換え生成の課題
効率的かつ再現性のある評価手法の確立
l

出力を得るたびに人間による評価が必要
妥当な解は複数存在，事前に網羅することは困難
n 自動評価は妥協案?
nl

結局は目的依存
文章執筆支援: 候補を提示できればあとは人間任せ
n MT前編集: 非文法的でもなんとかなるn

仮説生成部の改良l

頑健性: 多様な言い換えの実現
言い換えの種類ごとに適した手法の高度化と統合
n 必要な語彙知識の整備
n ニューラル言い換え生成の未来nl

正確性: テキスト評価に頼り過ぎないn

語彙意味論などの深い知識の導入

65

もくじ
(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)66言い換えの処理に必要な知識 [藤田+ 04]
必要性が論じられているものl

語の素性/意味記述
nle.g., 項構造/意味役割，動詞の使役・受身の可否

表現間の関係に関する知識
ne.g., 同義の語句の辞書 (言い換え知識)l

言い換え知識の自動獲得 (paraphrase acquisiAon)

語 窮地 ↔ 苦境

重傷 ↔ 大ケガ

句 脚光を浴びる ↔ 注目される
n

重傷を負う ↔ 大ケガをする

e.g., 派生語，反義語，特質構造，上位-下位，部分-全体

全貌はまだまだ不明
言い換えの種類(L1/L2)と一緒に考える必要あり [藤田+ 04]
l End-to-Endのアプローチでは今のところ無視されがちln

本当に不要かはまだ分からない

67

古典的な言い換え知識
人手で記述された構文的な言い換え規則
l変形文法 [Harris 81]
NP1 V1 (+AUX) V2 (-AUX) NP2
à NP2 V1 BE V2-PP by NP1l

能動態 à 受動態

Meaning-Text Theory [Mel’čuk+ 87]
X

Oper1(S0(X))
↔

I
Y

I
Y

II

動詞句 ↔
機能動詞構文S0(X)68言い換え知識
何らかの手がかりで同義性を担保する
表現1
表現2
意味空間

言語空間

人間が設定した概念ラベル: Synset ID，見出し語
l 文脈: bag-of-(周辺の表現)，bag-of-(対訳フレーズ)
l 同一の情報源: 原文書，イベント，動画
l etc.
l69

人間が設定した概念ラベル (1/2)
同じ概念IDを持つ語句
le.g., WordNet [Miller+ 85]
02526085: achieve, accomplish, aaain, reach
05793554: basis, base, cornerstone, foundaAon, ...
achieve ↔ accomplishlbase ↔ basis

最大の課題: 人手が必要
ne.g., 新語，固有表現

google (v) ↔ search the Web using Google
先進的音声翻訳研究開発推進センター ↔ ASTREC

70

人間が設定した概念ラベル (2/2)
見出し語と語釈文の対応付け
各種整形 [藤田+ 00][梶原+ 13]
l 項構造の対応付け [Kaji+ 02][青山+ 07][Sasano+ 13]l

圧縮する

気体や固体に圧力をかけてその体積を小さくする。

XがYを圧縮する ↔ XがYの体積を小さくする

同じ語に対する複数の辞書の語釈文 [村田+ 04]
あべこべ
順序・位置などの関係がさかさまに入れかわっていること。
順序・位置・関係がひっくり返っていること。

課題: スケーラビリティと恣意性
人間向けの辞書の存在が前提
l Webから定義文を拾ってくる [Hashimoto+ 11]l71言い換え知識の自動獲得
タスクの定義入力: コーパス等の言語資源
l 出力: 同義表現の集合(一般に対)の集合
ln

ただし文よりも小さなテキスト断片とすることが多い“sub-sentenAal paraphrases”

知識の規模
変形ルールや表現対の手書き (102〜104)
l コーパスからの自動獲得 (106〜109)l72

文脈: Bag-of-(周辺の表現)
分布仮説 [Harris 54][Firth 57]“類似する文脈でよく使われる表現は似た意味を持つ”
l e.g., 単言語コーパス中の左右のn-gram，構造上の隣接要素
l e.g., “Tezgüno” [Pantel+ 02]
lnwine, cognac, whiskey と似ている à アルコール飲料
A boale of tezgüno is on the table
Everyone likes tezgüno
Tezgüno makes you drunk
We make tezgüno out of cornl

必ずしも同義とは限らない
同義 resembles ↔ looks like反義 decrease ↔ increase

類義 tezgüno ↔ wine

上位・下位 liquor ↔ wine73

文脈: Bag-of-(対訳フレーズ)
他の言語の表現を意味表現とみなす [Bannard+ 05]“pivoAng”
l 分布仮説における「文脈」よりも信頼できる
l 対訳コーパスから自動的に獲得できる
lni.e., 単語アラインメント + 対訳フレーズ対の抽出
P(s2|s1) = ∑t P(s2|t)P(t|s1)

自動的に学習した翻訳テーブル
thrown into jail ||| festgenommen
imprisoned||| festgenommen
under control||| unter kontrollein check||| unter kontrolle
thrown into jail ↔ imprisoned

under control ↔ in check74

同一の情報源に対する異なる言語化
単言語パラレルコーパス
数式の言語化 [Barzilay+ 02]
l 同一の原文書に対する複数の翻訳[Barzilay+ 01][Pang+ 03][WieAng+ 17b][Arase+ 17][Creutz 18]l

At least 12 people lost their lives in last week’s ﬁghAng.
Last week’s ﬁght took at least 12 lives.
The ﬁghAng last week killed at least 12.

単言語コンパラブルコーパスl

画像や動画の内容の言語化 [Chen+ 11][Lin+ 14]
A person breads a pork chop.
A woman is coaAng a piece of pork with breadcrumbs.
75

同一のイベントについて述べた複数の記事
単言語コンパラブルコーパスの自動構築
同じ内容とは限らないが類似する情報を含む
l 異なる通信社の記事
ln

編集距離に基づくクリーニング [Dolan+ 04]

Google News の見出しの対応付け [Wubben+ 09]
l 同じ語に対する複数の定義文の獲得 [Hashimoto+ 11]
l 同じトピックやURLに言及するtweets [Xu+ 14][Lan+ 17]
l QAサイトの関連する質問文 [Fader+ 13][Quora 17]l

対応箇所の抽出
細粒度の固有表現体系 + 分布仮説 [Shinyama+ 02]
l MulAple-sequence alignment [Barzilay+ 03]
l 統語構造上の部分木の対応付けと評価[Hashimoto+ 11][Arase+ 17]l76言い換え知識獲得における課題
カバレージと精度の両立
l

制約の導入 = 上澄み抽出

精度
スケーラビリティup
単言語パラレル
コーパス(小) &部分対応付け(強)制約

クリーニング性能up
計算効率up
制約

対訳コーパス(中) &pivoAng (中)単言語コーパス(大) &共起表現の類似度(弱)
カバレージ

77

スケールしそうなアプローチ (1/2)
Web à 単言語コンパラブルコーパス à 知識抽出lWebから得られる複数の定義文の部分対応付け[Hashimoto+ 11][Yan+ 13]
1. 定義文らしさの判定
2. 依存構造木上の全部分木の列挙
3. 対応する動詞句の発見 (対応するか否かの判定)骨粗鬆症骨粗鬆症とは、骨の量が減り、骨がもろくなってしまう病気だ。
骨粗鬆症とは、骨量が低下し、骨が折れやすくなる病気だ。
骨の量が減る ↔ 骨量が低下する
骨がもろくなってしまう ↔ 骨が折れやすくなる

78

スケールしそうなアプローチ (2/2)
高品質な知識を単言語コーパスで拡張 [Fujita+ 15]
airports in Europe ↔ European airports
amendment of regulaAon ↔ amending regulaAonshould be noted that ↔ is worth noAng that

1. 知識の抽象化 (事例のパターン化)
X:φ in Y:φ ↔ Y:an X:φ
X:ment of Y:φ ↔ X:ing Y:φshould be X:ed that ↔ is worth X:ing that

2. 具体例の抽出

単言語コーパス

cohesion in Europe ↔ European cohesion
democracy in Europe ↔ European democracy
increase in HaiA ↔ HaiAan increasetransportaAon in suburb ↔ suburban transportaAon
economy in Uruguay ↔ Uruguayan economy
amendment of documents ↔ amending documents
amendment of protocol ↔ amending protocol
investment of resources ↔ investing resources
recruitment of engineers ↔ recruiting engineers
should be highlighted that ↔ is worth highlighting thatshould be reiterated that ↔ is worth reiterating thatshould be stated that ↔ is worth stating that79言い換え知識の自動獲得 (1/2)[Barzilay+ 01] 自動獲得の草分け
l単言語パラレルコーパス (小説の複数訳，4.5万文対)à 英語，9,483表現対，文脈なしの精度92%[Bannard+ 05] “pivoAng”初登場 à 標準法として定着l

多言語対訳コーパス (Europarl 英-独西，103万文対)à 英語，数については言及なし，文脈なしの精度65%à 文脈ありの精度30% [Callison-burch 08][Callison-burch 08] CCG制約の導入
l

多言語対訳コーパス (Europarl 英-10言語，160万文対)à 英語，370万表現対(*)，文脈ありの精度55%[Ganitkevitch+ 13] コーパスの拡大，文脈類似度の付加
ll

多言語対訳コーパス (英語-各種欧州言語， 1.06億文対)à 英語，7,600万表現対(*) + 9,360万パターン対
多言語対訳コーパス (スペイン語-各種欧州言語，1,500万文対)
à スペイン語，1.06億表現対(*) + 5,530万パターン対(*) 適用条件ごとに1件 create equal: VP/(NP/NNS) ↔ creaAng equal

80言い換え知識の自動獲得 (2/2)[De Saeger+ 09] 大規模コーパス&名詞クラス化
l単言語コーパス (Web文書，5000万文書)
à 日本語，170万パターン (に対して1つ以上の言い換え)[Hashimoto+ 11] 大規模コンパラブルコーパスの自動獲得l単言語コーパス (Web文書，6億文書)
à 日本語コンパラブルコーパス3,000万定義文対
à 日本語，30万表現対 (推定)，文脈ありの精度94%[Mizukami+ 14] “pivoAng”を日本語に適用
l2言語対訳コーパス (日英, 2400万語)
à 日本語，4,700万表現対[Fujita+ 15] 大規模コーパスを用いた語彙的拡張
l2言語対訳コーパス (英仏，200万文対)+ 単言語コーパス (報道記事，5,200万文)
à 英語，6,380万表現対 + 25.2万パターン対，文脈ありの精度61%81言い換え知識獲得のもう一つの課題
精密化
l言い換えが成立する条件
e.g., CCG制約 [Callison-burch 08]
n e.g., 左右n-gram [Marton 09]
n“phrase embedding”
l 表現対の意味的関係 [Pavlick+ 15]ln

置換可能な文脈があるものは含めておきたいが…

Figure 2: Distribution of entailment relations in different sizes of PPDB. Distributions are estimated from our manual annota-

82言い換え知識ベース等
人間の手が入った言い換え知識等
WordNet [Miller+ 93]
l 日本語WordNet [Bond+ 12]
l 日本語機能表現辞書「つつじ」 [松吉+ 08]
l ALAGIN動詞含意関係DB [Hashimoto+ 09;11]l ALAGIN日本語異表記対DB [Kojima+ 10]l

自動獲得された言い換え知識
ALAGIN日本語パターン言い換えDB [De Saeger+ 09]
l TERp 付属のデータ (英語) [Snover+ 09]
l METEOR 付属のデータ (6言語) [Denkowski+ 11]
l PPDB: CCG制約つき言い換えDB (21言語) [Ganitkevitch+ 13]
l PPDB-Ja: 日本語言い換えDB [Mizukami+ 14]
l Lexpanded PPDB: 語彙的に拡張したPPDB (4言語) [Fujita 16]
l

83

もくじ
(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)84

応用技術と言い換え

人間向け

言い換え生成言い換え認識文章執筆支援剽窃検出

文章読解支援翻訳メモリ検索TTS前処理

情報検索
文書要約

MT後編集

機械処理向け

質問応答

ステガノグラフィ

東ロボ

SMTのモデル拡張

データマイニング

MT前編集

85

人間向け言い換え認識・生成
e.g., 複数文書要約 [Barzilay 03]86人間向け言い換え認識e.g., 情報検索 [Shibata+ 08]

かぜ ↔ 感冒，風，風邪
薬を ↔ 薬，薬品，薬となる物質，薬物
服用するときの ↔ 服薬，服用，薬を飲む留意 ↔ 気をつける，用心，注意，心に留める87

人間向け言い換え生成e.g., ろうあ者向けのテキスト簡単化 [Inui+ 03]
平易，明瞭

難解，まわりくどい88テキスト簡単化 ≠ 言い換え
言い換え (のサブセット) である必要はない
l

伝達内容の省略
言語表現の難解さは制御できてもn 難解な概念はどうしても伝えられない à 抽象化，省略nl

情報の構造化・可視化
ne.g., 箇条書き，文字装飾，図示

用途に合わせた簡単化
制限言語 [Huijsen 98]: 翻訳しやすいl 産業日本語 [熊野+ 09]: 人間・計算器の解釈が容易
l やさしい日本語 [庵+ 13]: 日本語非母語話者でも分かるlnle.g., NHK “News Web Easy” [田中+ 13]

小学生向け語彙平易化 [梶原+ 15]
89

MTへの各種応用[Shirai+ 93][Doi+ 04]
入力文の書き換え [Xu+ 05][Nanjo+ 12]

訳文の後編集...

入力文の拡張[Onishi+ 10][Du+ 10][Jiang+ 11]...
MT訳の自動評価

調整用データの拡張[Madnani+ 07]

翻訳モデルの拡張

翻訳モデル[Snover+ 09][Denkowski+ 11][Dreyer+ 12]

参照訳[Callison-Burch 06][Marton+ 09][Fujita+ 13]

学習コーパスの拡張[Bond+ 08][Nakov+ 11]

対訳コーパス90

応用を考える際の要検討事項
全自動か人間の支援という位置付けかどの種類の言い換えが必要か?
i.e., どのような違いを吸収したいか?
l 言外の意味l

主題・焦点
n 様式 (e.g., 形式性，丁寧さ)
n 感情・態度nl

指示的意味
テンス，モダリティ，述語や項の具体性
n cf. 語用論的意味，参照先の同一性
n cf. 含意，推論
n

91

もくじ
(5) pp.85-91 (7)(L5) 応用技術への導入

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(2) pp.34-52 (19)(3) pp.54-65 (12)(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(4) pp.67-83 (17)(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析(1) pp.17-32 (16)(6) pp.93-112 (20)92言い換えの分類
分類の意義
人間が行っている計算の種類の俯瞰l 自動化の際の道標
l

既存の分類(等)
Phrase-level, Sentence-level, Discourse-level [IWP 2005]l 関係を説明する言語学要素に基づく3階層21種類 [Vila+ 11]
l 自動獲得した表現対を8種類に分類 [Max+ 12]
l Lexical, Phrasal, SyntacAc [Ganitkevitch+ 13]
l 語彙的な観点での分類 [Bhagat+ 13]
l 大まかな6分類 [Lan+ 17]
l 2階層25分類をMSRPにアノテーション [Kovatchev+ 18]l93言い換えの分類における課題
原子性
Emma burst into tears and he tried to comfort her.
Emma cried, and he tried to console her.
文レベルの言い換え?

網羅性
自動獲得結果の分析
l 内省もフル活用
l

分類基準の客観化
研究者間での会話の道具(メタ言語)とするため
l e.g., 見かけ以上の素性の付与
l94

我々の分類体系
v3 5種類の大分類と60種類の小分類 [Fujita 10]v1 乾解説論文 [乾+ 04]
l v2 『言い換えのあれこれ』hap://paraphrasing.org/
l v4 科研費『多言語対照版』をエンドレスにまとめ中l[A] 文を超える[B] 節を超える

根[C] 純粋に統語的

文内
節内[D] 語彙構文的[E] 語彙的

操作対象の範囲に基づく分類

一般性(生産性)に基づく分類
95

[A] 文を超える言い換え
複数の節の分割・統合・再構成
スウェーデンの首都ストックホルムから南西部に位置するスモーランド地方が別名「ガラスの王国」とも呼ばれているのは、
この地方にある2つの大きな町カルマルからベクショーにかけて、
16ものガラス工場が点在しているからだ。
スモーランド地方は、スウェーデンのストックホルムから南西部に位置する。この地方は別名「ガラスの王国」とも呼ばれている。それは、この地方にある2つの大きな町カルマルからベク
ショーにかけて、16ものガラス工場が点在しているからだ。

96

[B] 節を超える言い換え
分裂文 ↔ 無標文
今週当選したのは、奈良県の男性でした。
今週は、奈良県の男性が当選しました。

否定表現の移動
返信しなければ、申込は取り消されます。
返信すれば、申込は取り消されません。

節による連体修飾 ↔ ノ格による連体修飾
目的地は屋根が赤い建物です。
目的地は赤い屋根の建物です。

埋め込み節 ↔ 並列節
97

[C] 純粋に統語的な言い換え
取り立て助詞の移動
ご飯は食べずに、辛いおかずばかりを食べていた。
ご飯は食べずに、辛いおかずを食べてばかりいた。

否定表現の言い換え
彼は有名な酒しか飲まなかった。
彼が飲んだのは有名な酒だけだった。

98

[E] 語彙的な言い換え
一般化不可能な(つまり完全に語彙的な)言い換え
à 網羅的な収集が不可欠l

内容語句
太平洋を一望する桂浜公園の丘陵に建設された。
太平洋を見渡せる桂浜公園の高台に建てられた。

l

慣用表現
岡山市は「ひかり都市」として脚光を浴びることとなりました。
岡山市は「ひかり都市」として注目されることとなりました。

l

機能表現
秋には紅葉を見に多くの人が訪れるそうだ。
秋には紅葉を見に多くの人が訪れるらしい。
99

[D] 語彙構文的な言い換え
統語構造を変える言い換えではあるがl

語彙依存性がある
彼はペンキを壁に塗った。
彼はペンキで壁を塗った。
その映画は多くの人々に感動を与えた。
その映画は多くの人々を感動させた。

l

語彙意味的な情報が不可欠
n

細粒度の述語項構造情報
lne.g., 意味役割，選択制限/選好，特質構造

語間の関係に関する情報
le.g., 語彙的派生関係，反義関係

100

[D]の一種: 態の交替
ヲ à ガ の受動態

ガ à ヲ の使役

先生は(ガ)その学生を褒めた。

彼は(ガ)心労でやつれた。

その学生は(ガ)先生に褒められた。

心労が彼をやつれさせた。

ニ à ガ の受動態

ガ à ニ の使役

彼女は(ガ)彼に指輪をねだった。

彼は(ガ)その失敗で自信をなくした。

彼は(ガ)彼女に指輪をねだられた。

間接受身

その失敗が彼に自信をなくさせた。

誰かが彼の自転車を盗んだ。
彼は(ガ)誰かに自転車を盗まれた。

101

[D]の一種: 動詞交替
自他交替

授受の交替

傘が雨を濡らす。

健は悟から車を買った/借りた。

傘で雨が濡れる。

悟は健に車を売った/貸した。

自他交替・再帰

場所格交替

円のレートが下がった。

彼はペンキを壁に塗った。

円がレートを下げた。

彼はペンキで壁を塗った。

フランスの領地が拡大した。

湧出動詞の交替

フランスが領地を拡大した。

柳が芽をふく。

相互格の交替柳に芽がふく。

その車が一台の自転車と衝突した。
その車と一台の自転車が衝突した。
102

[D]の一種: 品詞交替/範疇交替
機能動詞構文 (名詞 ↔ 動詞)
その映画は多くの人々に感動を与えた。
その映画は多くの人々を感動させた。

形容詞 ↔ 動詞
風が強くなってきたようだ。
風が強まってきたようだ。

名詞 ↔ 形容詞
日焼けのため肌が赤みを帯びている。
日焼けのため肌が赤くなっている。

103

[D]の一種: 構造変換
節と句の主辞交替

連体修飾 ↔ 連用修飾

仕事がとても魅力的だ。

有意義な週末をお過ごしください。

とても魅力的な仕事だ。

名詞句の主辞交替

週末を有意義にお過ごしください。

処理の効率化が必要だ。

1件の開示請求があった。

効率的な処理が必要だ。

開示請求が1件あった。

格と副詞の主辞交替
英語の教育を徹底する。
英語を徹底的に教育する。

連体修飾 ↔ 格
彼の顔が真っ赤だ。
彼は顔が真っ赤だ。

104

まとめ
5種類の大分類と60種類の小分類 [Fujita 10]
ポスト [乾+ 04] [藤田 07]l 原子性，(網羅性)，操作対象の範囲，一般性(生産性)l TODO: 必要な言語資源，影響の及ぶ範囲，差分の分類
l[A] 文を超える[B] 節を超える

根[C] 純粋に統語的

文内
節内[D] 語彙構文的[E] 語彙的

操作対象の範囲に基づく分類

一般性(生産性)に基づく分類
105

議論 (1/3): 分類体系の妥当性文というのは形式的な単位に過ぎないl「節を超える」と「節内」の区別の方が単純[E] 語彙的な言い換えに押し込めるのがイマイチな例
l

個々の語に依存するが生産性は高くない言い換え
Bill ﬂew across the ocean.
Bill crossed the ocean by plane.

l

ドメイン知識が不可欠な言い換え
ローマは連敗を2で止めた。
ローマは3試合ぶりに勝点を得た。
L. メッシは先日のR・マドリード戦で無得点に終わった。
L. メッシは先日のR・マドリード戦でゴールをあげられなかった。
106議論 (2/3): 各々の実現方法[A-C] 種類は少ない à 過剰生成を許容しつつ書く[D] 統語と意味の相互作用を要解明 à 語彙意味論
Meaning-Text Theory [Mel’čuk+ 87]
l 語彙概念構造 [Jackendoﬀ 91]
l 生成語彙論 [Pustejovsky 95]
l FrameNet [Baker+ 98]
l Verb classiﬁcaAon [Levin 93]
à VerbNet [Kipper+ 00]l

大規模な言い換え知識獲得によって，[E]と同じように扱える見込みが出てきた．

[E] 要丸覚え à 自動獲得に頼るしかないl

既存の語彙資源も最大限に活用
ne.g., シソーラス，辞書の定義文

107

議論 (3/3): 現象を網羅することの難しさ
内省の限界
ロングテール性
l

頻出:
n

l

中程度:
n

l

e.g., 機能動詞構文à単一の動詞+αe.g., 与格交替，場所格交替

極めてレア:
n

新設する

止まる

新しく作る

経験を持っている
経験したことがある

更にレア:
n

l

e.g., 漢語動詞à和語動詞+α

停止する

e.g., 源泉の交替

彼はペンキを壁に塗った。
彼はペンキで壁を塗った。

柳が芽をふく。
柳に芽がふく。
108

我々の試み (1/2)
既存のデータ中の事例の分解・分類 [藤田+ 15]
元データ収集時のバイアスの問題
l Twiaer URLのアプローチは有用そう [Lan+ 17]l『トンネルズ&トロールズ第5版』はケン・セント・アンドレらによってデザインされた。
助詞の交替『トンネルズ&トロールズ第5版』がケン・セント・アンドレらによってデザインされた。
態の交替
ケン・セント・アンドレらが『トンネルズ&トロールズ第5版』をデザインした。
分裂文『トンネルズ&トロールズ第5版』をデザインしたのはケン・セント・アンドレらである。
節と名詞句の交替

節と名詞句の交替
ケン・セント・アンドレらは『トンネルズ&トロールズ第5版』のデザイナーである。
分裂文『トンネルズ&トロールズ第5版』のデザイナーは
ケン・セント・アンドレらである。

スコープの変更

ケン・セント・アンドレは『トンネルズ&トロールズ第5版』のデザイナーの一人である。

スコープの変更

分裂文『トンネルズ&トロールズ第5版』のデザイナーの一人はケン・セント・アンドレである。

109

我々の試み (2/2)
MT向け前編集を通じた事例収集 [宮田+ 15;16;17]
MT
出生届を居住地の市区町村の役所に提出。

Birth registraAons submiaed to the publicoﬃce of the municipality where you live.

出生届を居住地の市区町村の役所に提出してください。

Please submit it to the city hall of the city,ward, town or village of the place ofresidence registraAon of a new birth.

出生届を居住地の市区町村の役所にご提出く
ださい。

Submit them to the oﬃce of city, ward,
town or village of the place of residence
birth cerAﬁcates.

居住地の市区町村の役
所に出生届をご提出ください。

Please submit birth registraAons to the city
hall of the city, ward, town or village of theplace of residence.

お住まいの市区町村の役所に出生届をご提出ください。

Please submit noAﬁcaAon of birth to the
public oﬃce of the municipality where you
live.

110

収集した前編集事例
4データセット(各100文) à NICTのGPMT
12,867事例
l MTのポテンシャル: 90%超の文に対して良質な翻訳を達成
l 病院内会話ドメインは元々得意
l

書き換え数

原文の数

データ
セット

(標準偏差)

Total

Avg.

Med.

Max

MT可能

原文まま

病院

12.1 (4.5)

1199

12.0

3

105

97

40

自治体

21.3 (12.0)

2119

21.2

14.5

89

97

3

BCCWJ

26.9 (16.0)

3823

38.2

26.5

209

86

0

Reuters

34.8 (12.6)

5546

55.5

45

258

93

4

平均文長

111

事例の分解と書き換えの種類の分類
蓄えられた事例は必ずしもプリミティブではない
à 人手で分解 à 2階層53種類 [宮田+ 17]
十日前後で登録のクレジットカードから引き落としを行います。
1. プリミティブな書き換えへの分解
2. 表層的な対応と差分の抽出〜で〜から〜→〜から〜で〜

3. 書き換えの種類の類型化(大域的に)語順変更

登録のクレジットカードから十日前後で引き落としを行います。

〜を行います→〜が行われます

態の変更

登録のクレジットカードから十日前後で引き落としが行われます。

112

残っている研究課題(まとめに代えて)113

研究課題: 工学的な観点から
知識開発: 様々な種類の言い換えのカバー
知識の形式
l 資源の集約l 効率的な評価手法の確立
l計算機構の高度化
言い換え元の表現の多義性解消
l 評価用データセットの構築
l 汎用化を目指すよりは目的も含めてNN化?
l

応用
効果の多寡の調査 (oracle)l 言い換えの種類ごとの選択的な利用
ln

言い換え以外の問題も含めた全体の見通し
114研究課題: 言語学的な観点から包括的な分類体系の構築
現象分析，知識獲得，応用のいずれの場面でも必要
l 作り方や評価方法の検討
l 言語横断的な現象の体系化と分析 (道半ば)l

散歩に出かける
take a walk

散歩する
walk

faire une promenade
dar un paseo

promenerpasear115