同義の言語表現(言い換え)を処理する技術の研究動向
藤田 篤
情報通信研究機構
h"p://paraphrasing.org/~fujita/

自己紹介藤田 篤 (ふじた あつし)(国研)情報通信研究機構
先進的音声翻訳研究開発推進センター
先進的翻訳翻訳技術研究室 主任研究員 (6年目)
専門: 計算言語学，自然言語処理
自然言語表現の言い換え: FYs 1999-, 21年目
l 翻訳 (機械翻訳，人間の翻訳): FY 2003, FYs 2011-, 10年目
l2

本資料についてテキスト量は多めlサーベイ資料として作成・更新
nl

ただし数式や性能評価の数値はほとんど含まず

講演に用いる際，すべてには言及しない

凡例
知識
オブジェクト: 言語表現
l 色塗り文字(これ，これ): 対応箇所，差分，ハイライトl

参考文献の見出しはWeb上の文献リストに対応
h"p://paraphrasing.org/
l 2019年6月時点で約800件
l3今回の講演のゴール
会話ができる仲間を増やす
情報共有
l そのための「ことば」の共有
l研究の広がりや課題について知ってもらうl(比較的)言語学的な研究(L1) 定義と境界，分類体系
n (L2) 事例研究
nl

工学的な研究(L3) 知識やデータの整備
n (L4) 言い換え計算機構: 言い換え認識，言い換え生成n (L5) 応用技術における活用
n4言い換え (paraphrase)
換言，言い替え，パラフレーズ
モノ: 同じ意味内容を表す，同言語の異なる言語表現
l コト: ある表現の言い換えを生成する行為l

飲み物がすぐに出てくる。
多様性
あまり待たずに飲める。
多義性
研究用のマウスを発注した。
意味空間

言語空間
5

同じ意味を表す言語表現
言い換え: 同一言語内l生成時: 必ずしも全体を変更するとは限らない
出生届を居住地の市区町村の役所に提出してください。
お住まいの市区町村の役所に出生届をご提出ください。

翻訳: 異言語間l

生成時: 一部を除いて全体を変更
お住まいの市区町村の役所に出生届をご提出ください。
Please submit noCﬁcaCon of birth to the publicoﬃce of the municipality where you live.

いずれも目的指向l

結果物の用途，言語使用域などを要考慮
6

言い換えに関する研究の全体像
5つのレイヤ(L5) 応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

7

工学的な研究
基礎と応用(L5) 応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

8

(L4) 言い換えの計算機構 (1/2)
言い換え認識 (paraphrase recogniCon / idenCﬁcaCon)
入力: 同一言語の複数(一般的に2つ)の異なる言語表現
l 出力: 入力された言語表現が同義か否か(2値分類)ln

似ている程度([0,1]や[1,5])を求めさせる場合もある

意味空間
言語空間

...

応用

...

入力1
出力1 = 同義

...

...

入力2
出力2 = 同義でない

情報検索，剽窃検出l 質問応答，複数文書要約 (言い換え生成も併用)
l9

(L4) 言い換えの計算機構 (2/2)
言い換え生成 (paraphrase generaCon)
入力: ある言語表現，目的に応じた評価基準
l 出力: 入力と同じ意味，同じ言語の異なる言語表現の集合
lnただし，与えられた評価基準を満たすもの

意味空間
言語空間

...
入力

...

...

...
出力

応用
人間向け: 簡単化，文圧縮，音声合成(TTS)の前処理
l 機械向け: MT前編集 (e.g., 未知語à既知語)l10

(L4) 表と裏? 卵が先か鶏が先か?
“生成可能ならば正しい言い換え， “認識可能ならば探索空間内の候補をできなければ正しくない”
すべて判定することで生成可能”[Takahashi+ 03][Roy+ 19]

言い換え認識言い換え生成2つが近づいてきている例
Sequence-to-sequence (Encoder-Decoder; EncDec) は認識にも使える生成モデル [Mallinson+ 17][Roy+ 19]
l 認識器を報酬に用いた生成器の強化学習とその生成器から識別器を訓練する逆強化学習 [Li+ 18]l11

(L3) 知識の整備
言い換えの「説明」に必要な知識l

言語的な知識n

語句の素性/意味記述
lne.g., 項構造/意味役割，動詞ごとの使役や受身の可否

表現間の関係に関する知識
le.g., 同義の語句の辞書 (言い換え知識)ü 言い換え知識の自動獲得 (paraphrase acquisiCon)

語 窮地 ↔ 苦境

重傷 ↔ 大ケガ

句 脚光を浴びる ↔ 注目される
nl

重傷を負う ↔ 大ケガをする

e.g., 派生語，反義語，上位/下位，部分/全体，特質構造

世界知識，ドメイン知識
連敗をkで脱出 ↔ (k+1)試合ぶりの勝ち点
森保ジャパンの10番 ↔ 中島翔哉
12

(L5) 応用技術と言い換え

人間向け

言い換え生成言い換え認識文章執筆支援剽窃検出

文章読解支援翻訳メモリ検索TTS前処理

情報検索
文書要約

MT後編集
ステガノグラフィ

質問応答
入試問題への解答

MTのモデル拡張

機械処理向け

MT前編集

データマイニング

データの拡充13

(比較的)言語学的な研究
全体像の俯瞰と特定の範囲の現象の理解(L5) 応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

14

(L1) 言い換えの分類体系
これは言い換え?
健は悟から車を買った。
悟は健に車を売った。

主題/焦点が異なるが明示的意味は等しい

暑すぎませんか?
窓を開けてくれませんか?

語用論的に同じ効果を持ちうる

うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

常に真とは限らない

分類の意義
人間の言語処理を俯瞰する道標
l 応用の際の取捨選択の判断材料l15

(L2) 言い換えの事例研究
特定の範囲の言い換えが成立する原理の説明
le.g., 機能動詞構文と動詞句の言い換えn「〜がつく」
決着がつく

説明がつく

弾みがつく

決着する

説明できる

弾む
弾める

意味の等価性を厳密に考える題材
le.g., 機能動詞構文と動詞句の言い換え
割れたマイセンの弁償を求めた。

態度...を弁償させた。

...を弁償させようとした。

...を弁償してもらった。

...を弁償してもらおうとした。

事実性

16

言い換えについて研究する意義
コミュニケーションの基盤
情報伝達，意思疎通
l 中心的メディアは言語 (テキスト，音声)l

相手や状況に合わせて言い換える (言い換え生成)n 同じことを言っていると理解する (言い換え認識)n

工学的重要性: 様々な応用の基盤技術
l

個々の表現は必ずしも意味的に互いに素ではない

科学的興味: ことばの意味に迫るための良い例題l

本当に迫れているかどうかはさておき

17言い換えの工学的研究の歴史
NLP/CLのトップ会議 + arXiv

L4, End-to-End

50
EACL
NAACL
ACL
COLING
EMNLP
arXiv

45
40
35

L3/L4, 知識の自動獲得と汎用ツール

30
25
20

L2/L5, 辞書+規則

15
10
5

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000

1999

1998

1997

1996

1995

0

[Barzilay+ 01][Bannard+ 05] [Ganitkevitch+ 13][Dolan+ 04][Socher+ 11]18

最近のトレンド
ニューラルネットワークによるモデル化
l

言い換え認識:CNN [Yin+ 15][He+ 15][He+ 16][Gong+ 18]
n Transformerを用いた事前学習 + ﬁne-tuning[Radford+ 18][Devlin+ 18][Yang+ 19]nl

言い換え生成:RNN [Prakash+ 16][Cao+ 17][Gupta+ 18][Li+ 18][Roy+ 19]
n 制約付きデコーディング [Colin+ 18][Hu+ 2019][Kajiwara 19]n 出力の多様化 [Xu+ 18][Park+ 19][Kumar+ 19]n

評価用データセット
Quora QuesCon Pairs (QQP) [Iyer+ 17]
l NAACL 2019でも新たに3件
lne.g., チャレンジセット: PAWS [Zhang+ 19]
19

今日紹介すること(L5) 応用技術応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

20

言い換えとは何か?
内包的定義: 辞書における語釈
le.g., 岩波国語辞典 (第7版)
言い換える: いったん言った言葉を他のに言い直す。
また、(分からせるために)他の表現に変えて言う。

le.g., 新明解国語辞典 (第7版)
言い換える:(1)同じ内容を、別の言葉で説明する。
(2)前とは別のことを言う。

le.g., 明鏡国語辞典 (第2版)
言い換える:(1)同じ事柄を別のことばで言う。
(2)前言をとりやめて別のことを言う。
21

言い換えとは何か?
内包的定義: 辞書における語釈
le.g., LDOCE
paraphrase(v): to express in a shorter, clearer, or
diﬀerent way what someone has said or wriqen
paraphrase(n): a statement that expresses in a shorter, clearer, or
diﬀerent way what someone has said or wriqenle.g., COBUILD
paraphrase(v): If you paraphrase someone or paraphrase
something that they have said or wriqen, you express
what they have said or wriqen in a diﬀerent way.
paraphrase(n): A paraphrase of something wriqen or spoken
is the same thing expressed in a diﬀerent way.

22

言い換えとは何か?
外延的定義: 具体例を集めてみる
l

網羅はできない à (L1) 現象の類型化が大事しのぎをけずる

そっくりだ

激しく戦う

瓜二つだ

健は悟から車を買った。

その車が一台の自転車と衝突した。

悟は健に車を売った。

その車と一台の自転車が衝突した。

今週当選したのは、奈良県の男性でした。
今週は、奈良県の男性が当選しました。

23

どうしてこんな話をしているのか?
現象や問題を定義せずに(理解せずに)解けない
全体像の把握l 関連する概念との境界の整理
ln“言い換えは大事ですよね〜” à 本当に言い換え?
暑すぎませんか?
窓を開けてくれませんか?
うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

l

自動化を検討する際の道標n

目的や応用に照らして取捨選択，優先順位決め

24

意味処理の例題としての言い換え同義であるとは?
“Paraphrases are approximate conceptual equivalence
among outwardly diﬀerent material” [De Beaugrande+ 81]
l “Every two forms (in language) contrast in meaning” [Clark 92]
l

同義性を考える3つのレベル [佐藤 99]
a. 語用論的意味が等しい
b. 参照先が等しい
c. 明示的意味が等しい

25

a. 語用論的意味が等しい
コミュニケーションにおける発語の役割
暑すぎませんか?
窓を開けてくれませんか?

l

新鮮な空気が欲しい，だから窓を開けてくれ，という依頼/指示言語行為論 [AusCn 62]

聞き手のリアクション

発語内行為 (IllocuConary act): 言葉の背後にある効力
n 発語媒介行為 (perlocuConary act): 聞き手への効果nl

状況によって多様な解釈を持ちうる
人間は推論しうるn ただし，真の解釈は話者のみぞ知る(匂わせておいて，そうではないとも言える)n26

b. 参照先が等しい
参照的意味 (referenCal meaning)
バルセロナの10番は先日のクラシコで無得点に終わった。
L. メッシは先日のR・マドリード戦でゴールをあげられなかった。
2008年〜l

バルセロナの視点

異なる状況下では偽 (あるいは不自然)
e.g., ロナウジーニョ，リケルメ，リバウド，...
n e.g., バルセロナ戦，バルセロナとR・マドリードの試合nl

談話あるいはそれを超えた意味
テキストの外側のエンティティの参照 (外界照応)
n 文脈における認知的な意味 [Milićević, 07]n27

c. 明示的意味が等しい
真理値意味論的意味 / 命題論理 / denotaCon
健は悟から車を買った。
悟は健に車を売った。
l

誰でも説明可能言語知識と世界知識に基づいて
n 空気が読めなくてもnl

言外の意味 (connotaCon) は異なりうる[Edmonds 99][Inkpen+ 06]
主題，焦点
n 様式 (e.g., 形式性，丁寧さ)
n 感情，態度 (e.g., “スラっとした” vs. “ガリガリの”)n28定義を振り返る
何らかの違いが想定・許容されている
le.g., LDOCE
paraphrase(v): to express in a shorter, clearer, or
diﬀerent way what someone has said or wriqen
paraphrase(n): a statement that expresses in a shorter, clearer, or
diﬀerent way what someone has said or wriqenl“Every two forms (in language) contrast in meaning” [Clark 92]
Near-synonymous [Edmonds 99]
n Approximate conceptual equivalence [De Beaugrande+ 81]
n Quasi-paraphrases [Bhagat+ 13]nl

特定の文脈において許容できる差を見極めるという問題

29

“blunder” と “error” の比較[Edmonds 99]
AcCvity

ACTOR

PersonCORE denota3on

ATTRIBUTE

DeviaConATTRIBUTE

Stupidity

ACTEE

CriCcism

MisconcepCon

ATTRIBUTE

PejoraCve

CAUSE-OF

ACTOR“blunder”

Severitylow

DEGREE“error”

highlow

mediumhighConcreteness30

違いを生じても言い換える理由
発信者と受信者の間の情報伝達の促進 (または阻害)l

人間どうしの対話
発話内容の確認 [高塚 99]
n 社会的な関係を保ったり押しつけたりするためnlne.g., 仲間うちにおけるメンツや連帯感 [国広 00]

相手を騙すため除染で取り除いた土(=汚染土)
除染土l

目的に応じた要請n

簡単化: 難解 à 平易
lcf. 慇懃無礼化〜してください。
〜していただけますと幸甚です。

要約: 長い à 短いn 推敲: まわりくどい/ぎこちない/冗長 à 明瞭
n 客観化: 感情的 à 非感情的n31

言い換え (paraphrase)
換言，言い替え，パラフレーズ
モノ: 同じ意味内容を表す，同言語の異なる言語表現
l コト: ある表現の言い換えを生成する行為l

飲み物がすぐに出てくる。
多様性
あまり待たずに飲める。
多義性
研究用のマウスを発注した。
意味空間

言語空間
32

関連する概念
含意 (entailment), 推論 (inference)l

異なる明示的意味(それらに対応する表現)間の関係

川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
含意
テキスト間含意関係(誰かの)推論「雪国」の著者は川端康成である。
推論した内容のテキスト化
創元社は川端康成の「雪国」
でずいぶんと有名になった。

意味空間

言語空間
33

含意関係 (entailment)
P à Q (Pが成り立つならばQが成り立つ)
l

QàPも常に真とは限らない
川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
「雪国」の著者は川端康成である。

テキスト間含意関係

エベレストは世界で最も高い山である。
エルブルス山はエベレストより低い。
l

語彙的含意 (lexical entailment) [Miller+ 85]
nibbleeat

具体的な方法，上位概念

forgetknow

前提

has startedlテキスト外の
世界知識も要参照

started

時間的推移言い換え ≡ 両方向の含意 [Dagan+ 05]
34

(誰かの)推論 (inference)
真理値の同一性は保証されない
数学や論理学における「導出」の意味の推論ではない
l 誰もが同じように推論する/できるとは限らない
lnl

語用論における発語内行為とも異なる

ただしこの計算が役立つ場合もある [Pantel+ 07]
川端康成は「雪国」などの作品でノーベル文学賞を受賞した。
創元社は川端康成の「雪国」でずいぶんと有名になった。
うちの子はトマトをよく食べる。
うちの子はトマトが好きだ。

35

このパートのまとめ
言い換えとは?
l

同義性を考える3つのレベル [佐藤 99]
a. 語用論的意味が等しい
b. 参照先が等しい
c. 明示的意味が等しいl

関連する概念推論可能な蓋然的な関係
含意関係

言い換え

※サイズは適当です36今日紹介すること(L5) 応用技術応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

37

言い換え認識
タスクの定義入力: 同一言語の複数(一般的に2つ)の異なる言語表現
l 出力: 入力された言語表現が同義か否か(2値分類)ln

似ている程度[0,1]を求めさせる設定は適切か?

意味空間
言語空間

...

応用

...

入力1
出力1 = 同義

...

...

入力2
出力2 = 同義でない

情報検索，剽窃検出l 質問応答，複数文書要約 (言い換え生成も併用)
l38

2値分類問題/回帰問題としての定式化
教師あり機械学習の例題
訓練フェーズl 予測フェーズ
l

性能評価
訓練データ同様の正解付きデータを用いる
l 2値分類問題: 再現率，精度，それらのF値，ROCのAUC
ln

実数値予測: Pearson’s r, Spearman’s ρ

特殊ケース: 知識の自動獲得
同義の文対の収集 (= テストベッドの構築)
l 同義の語句の収集 (= 言い換え知識獲得)l39

言い換え認識手法の大まかな分類
シンボリックなアプローチ
語句や部分構文木の対応関係の集約[Takahashi+ 03][Finch+ 05][Madnani+ 12] [Watanabe+ 12]
l 抽象概念上での照合 [Issa+ 18][Yanaka+ 18]l

ニューラルネットワーク(NN)を用いたアプローチ
RNNで得た文の分散表現の類似度 [WieCng+ 16]
l CNNで語レベルの対応を畳み込んで判断 [Yin+ 15]l

複数のCNNフィルタと複数のプーリング [He+ 15]
n 単語類似度テンソルの畳み込み [He+ 16][Gong+ 18]nlTransformerを用いた事前学習 + ﬁne-tuningnl

OpenAI GPT [Rdford+ 18], BERT [Devlin+ 18], XLNet [Yang+ 19]

生成モデルで文全体の変換尤度を推定[Mallinson+ 17][WieCng+ 17;18]
40

シンボリックなアプローチ (1/3)
素性l

表層的な素性
MT向け自動評価尺度: BLEU等 [Finch+ 05][Madnani+ 12]
n 表層n-gramの重複度 [Liu+ 11]nl

言語解析結果の照合
統語構造 [Takahashi+ 03][Das+ 09]
n 述語項構造 [Watanabe+ 12]
n FrameNet [Ellsworth+ 07]
n Abstract Meaning RepresentaCon (AMR) [Issa+ 18]n

学習のフレームワークlSVMs [Finch+ 05][Das+ 09][Issa+ 18]nl

密な実数値素性なのでRBFカーネルがよく用いられる線形回帰 [Madnani+ 12]
41

シンボリックなアプローチ (2/3)
種々の語彙資源を用いた対応付け [Watanabe+ 12]
semantic relation
composition
layer
projection
layer

@
@

⌘

P

P

T: ６月２９日の(On June 29)

C

@
@

@

⌘

|

⌘

@

P

P

大飯原子力発電所の

@

@
P

^

P

P

再稼働に対する

抗議行動の

参加者に!

(of the protest)(The attendance)

国会議員が含まれていた。

(legislators)(included)

S

A

⌘

S

@

⌘

S

A

A
A

H:

|

(against reactivation of Oi Nuclear Power Plant)

Salignment
layer

|

C

A

@

S
S
A

^

S
A

|

大飯原発再稼働の

抗議活動に

参加した

人は

いないというのは誤りである。

(for reactivation of Oi Plant)(the protest)(attended)(people who)

(there were no)(it is wrong that)

T: The attendance of the protest against reactivation of Oi Nuclear Power Plant on June 29 included legislators.
H: It is wrong that there were no people who attended the protest for reactivating Oi Nuclear Power Plant.

42

シンボリックなアプローチ (3/3)
意味表現の照合
FrameNet [Ellsworth+ 07], AMR [Issa+ 18]
l 基本論理式 [Yanaka+ 18]l

統語解析 à 高階論理式 à 基本論理式 (DAGで表現)
n 訓練時: 非対応箇所から公理を生成nn

語

x1 (lady(x1) à woman(x1))

句

e1 (cut(e1) up(e1) ﬁnely(e1) à x5 (into(e1, x5) piece(x5)))

予測時: 学習済の公理を用いて非対応箇所を単一化

A lady is cuwng up some ﬁsh ﬁnely

Some ﬁsh is being cut into pieces by a woman

lady

woman

x1

x2

subj

obj

ﬁsh

x3

x4

subj

obj

e1
cut

up

e2
ﬁnely

cut

ﬁsh
x5

piece

43

NNを用いたアプローチ (1/6)
Siamese構造のCNNs [Yin+ 15]
単語情報の抽象化
l 多層化により構造的対応関係を表現
l 動的プーリング+
スタッキングl 各CNNの事前学習
lMulC-perspecCve化[He+, 15]類似度尺度
l プーリング方法l44

NNを用いたアプローチ (2/6)[He+ 16]

文の分散表現の類似度
studies and visualized our models to show the clear
benefits of modeling pairwise word interactions for
similarity measurement.

単語分散表現の平均 [WieCng+ 16]
l RNNの最終状態2 [WieCng+
16]
Related Workl

4. 19-Layer
Deep ConvNet

語レベルの対応から総合的に判断lFeature engineering was the dominant approach inmost previous work; different types of sparse features were explored and found useful. For example, n-gram overlap features at the word andcharacter levels (Madnani et al., 2012; Wan et al.,2006), syntax features (Das and Smith, 2009; Xu etal., 2014), knowledge-based features using WordNet (Fellbaum, 1998; Fern and Stevenson, 2008)
and word-alignment features (Sultan et al., 2014).
The recent shift from sparse feature engineering to neural network model engineering has significantly improved accuracy on STS datasets.
Most previous work use sentence modeling with a“Siamese” structure (Bromley et al., 1993). For example, Hu et al. (2014) used convolutional neuralnetworks that combine hierarchical structures withlayer-by-layer composition and pooling. Tai et al.
(2015) and Zhu et al. (2015) concurrently proposed
tree-structured long short-term memory networks,
which recursively construct sentence representations
following their syntactic trees. There are manyother examples of neural network-based sentencemodeling approaches for the STS problem (Yin andSchütze, 2015; Huang et al., 2013; Andrew et al.,2013; Weston et al., 2011; Socher et al., 2011;
Zarrella et al., 2015).

文中の各語の分散表現

事前学習 [Mikolov+ 13]
n 再帰的オートエンコーダ [Socher+ 11]
n BiLSTMで文内文脈を考慮 [He+ 16]nlf ocusCube
On

th
em
at

th
er e

s it

ca

ts

Ca

s
ts

n
to

at
em
th

i

2. Pairwise Word
Interaction Modeling

単語類似度行列のまとめ上げ

MulC-perspecCve (=キューブ状)n 各種プーリング[Socher+ 11][Yin+ 15][He+ 16][Gong+ 18]nl

3. Similarity Focus Layer

simCube

On

th
em
at

th
er e

s it

ca

ts

Ca

s
ts

it

o

t
ma
he
t
n

1. Context Modeling

出力層: 回帰/Soxmax

Cats Sit On the Mat

On the Mat There Sit Cats

Figure 1: Our end-to-end neural network model,
consisting of four major components.
45

NNを用いたアプローチ (3/6)
Transformerを用いた事前学習 + ﬁne-tuningl

OpenAI GPT [Radford+ 18]
Transformer w/ L2Rの自己注意機構
n 連結した2文の単語相互作用を自己注意機構で捕捉
nFigure 1: (left) Transformer architecture and training objectives used in this work. (right) Input
transformations for fine-tuning on different tasks. We convert all structured inputs into token
sequences to be processed by our pre-trained model, followed by a linear+softmax layer.

46

NNを用いたアプローチ (4/6)
Transformerを用いた事前学習 + ﬁne-tuningl

BERT [Devlin+ 18]
双方向の情報を参照するTransformern Masked言語モデル
n 出力層: 左端の[CLS]に対応する位置に判定結果
n

BERT (Ours)
T1

T2

...

Trm

Trm

...

OpenAI GPT

ELMo

TN

T1

T2

...

TN

Trm

Trm

Trm

...

Trm

Trm

Trm

...

Trm

Trm

Trm

...

Trm

E1

E2

...

EN

E1

E2

...

EN

T1

T2

...

TN

Lstm

Lstm

...

Lstm

Lstm

Lstm

Lstm

Lstm

...

Lstm

Lstm

Lstm

...

EN

E1

E2

...
...

Input

[CLS]

my

dog

is

cute

[SEP]

he

likes

play

##ing

[SEP]

Token
Embeddings

E[CLS]

Emy

Edog

Eis

Ecute

E[SEP]

Ehe

ElikesEplay

E##ing

E[SEP]

Segment
Embeddings

EA

EA

EA

EA

EA

EA

EB

EB

EB

EB

EB

Position
Embeddings

E0

E1

E2

E3

E4

E5

E6

E7

E8

E9

E10

Lstm

Lstm

47

NNを用いたアプローチ (5/6)
Transformerを用いた事前学習 + ﬁne-tuningl

XLNet [Yang+ 18]
BERTのMasked言語モデルの疑似トークンはノイズ
n L2RとR2Lの文脈の問題をトークンの並べ替えで考慮
n

x%

($)

h$

h#

($)

h%

x%

($)

h"

($)

($)

h$

h#

($)

h%

($)

h"

($)

mem (#)

h#

(#)

h$

(#)

h%

(#)

h"

(#)

mem (#)

h#

(#)

h$

(#)

h%

(#)

h"

mem (+)

x#

x$

x%

x"

mem (+)

x#

x$

x%

x"

Factorization order: 3 à 2 à 4 à 1

Factorization order: 2 à 4 à 3 à 1

x%

($)

h$

h#

($)

h%

(#)

x%

($)

h"

($)

($)

h$

h#

($)

h%

($)

h"

($)

mem (#)

h#

(#)

h$

(#)

h%

(#)

h"

(#)

mem (+)

h#

(#)

h$

(#)

h%

(#)

h"

mem (+)

x#

x$

x%

x"

mem (+)

x#

x$

x%

x"

Factorization order: 1 à 4 à 2 à 3(#)

Factorization order: 4 à 3 à 1 à 2

48

NNを用いたアプローチ (6/6)
生成モデルで文全体の変換尤度を推定l

折り返し翻訳としての尤度 [Mallinson+ 17]nP(s2|s1) = ∑t P(s2|t)P(t|s1)
P(t|s1): L1àL2はn-bestデコード
l P(s2|t): L2àL1は各tからs2をforced decodinglnl

NMTだとPBSMTよりもforced decodingが容易
日本で怪我や病気をしたときはどうすれば良いのでしょうか?

L1àL2

日本でけがをしたり病気になった
場合はどうすればよいですか。

L1ßL2

……
…

疑似パラレルデータからモデルを訓練 [WieCng+ 17;18]n

L1-L2対訳データのL2をL1’に翻訳してL1’-L1データを得る
49

言い換え認識技術のテストベッド (1/2)
GLEU [Wang+ 18] に含まれているもの (英語)MRPC (MSRP): ニュース, 3.7k [Dolan+ 04]
l SemEval STS: 意味的類似度, 7k [Agirre+ 14][Cer+ 17]
l Quora QuesCon Pairs (QQP): 質問文対, 364k [Iyer+ 17]l

言い換えの研究でよく使われているもの (英語)中英MTの自動評価用複数参照訳, サイズ未確認 [Huang+ 02]
l WikiAnswers: 質問文対, 18M [Fader+ 13]
l SemEval SICK: 構成的な文間関係データ, 10k [Marelli+ 14]
l Twiqer 言い換えコーパスl

PIT-2015, 19k [Xu+ 14]
n Twiqer News URL, 52k [Lan+ 17]n50言い換え認識技術のテストベッド (2/2)
その他，人間の手が入ったデータ (英語)
小説の複数訳, 45k [Barzilay+ 01]
l MSR ビデオ記述コーパス, 85k [Chen+ 11]
l MS COCO: 画像キャプション, 330k [Lin+ 14]
l PAWS: 自動生成文の修正結果, 108k [Zhang+ 19]
l ComQA: 質問文, 4.8kクラスタ [Abujabal+ 19]
l Para-Quality: 人間の作例の分析, 6k [Yaghoub-Zadeh-Fard+ 19]l

日本語のデータl

NTCIR RITE-2: 含意関係認識データ [Watanabe+ 13]n

開発用: 83/548, 評価用: 70/548

その他
OpusParCus: 多言語字幕からの抽出物, 2k * 6言語 [Creutz 18]
l ParaNMT-50M: 人間訳とMT訳の対 [WieCng+ 18]51lこれまでの研究の知見
表層的な手がかりが(十分に)有効
語句の重複度l 語彙的素性についてはスパースネス対策が有効
l

METEOR/TERpで局所的な言い換えを考慮 [Madnani+ 12]
n Natural Logic & 隠れクラス [Watanabe+ 12][Guo+ 14]
n 行列・テンソル分解 [Ji+ 13]n

統語構造やリッチな言語資源を用いても微々たる改善l NNで高い精度
ln

特に大規模な単言語データでの事前訓練が有効“簡単すぎる”としてSuperGLEU [Wang+ 19] では除外
本当?
52

実は誤謬かもしれない
標本バイアス: 実世界の問題の分布からの乖離
l

MSRP [Dolan+ 04]
編集距離が8-20の文対のみ
n 評価用データの66.5%が正例 (常に“同義”と言えばF値79.9)nl

WikiAnswers [Fader+ 13], QQP [Iyer+ 17]n

質問文対のみ人間の判定誤り“非専門家がfalse posiCveを増やす” [Xu+ 14]
l 判定にかかった時間の例
l

MSRP [Dolan+ 04] は5800件を4〜6人日で評価
n PAWS [Zhang+ 19] は平均24秒/事例 à5人で多数決
n 事例研究向けのデータ収集 [藤田+ 06] では平均8.5分/事例nl

現象の限定，ガイドラインあり，不一致は議論して解消
53

NTCIR RITE-2 [Watanabe+ 13]
false posiCve の例
ヤブレガサは日本では、本州、四国、九州に分布し、山地の林下の斜面などに生育する。

☓ ヤブレガサは日本では、北海道、本州、四国、九州

ID20
正解率14%に分布し、山地の林下の斜面などに生育する。
太陽暦とは、地球が太陽の周りを回る周期を基にして作られた暦で、ユリウス暦は太陽暦の一種である。

☓ ユリウス暦は、地球が太陽の周りを回る周期を基にしID91
正解率33%て作られた暦で、太陽暦の一種である。
第4飛行隊は、かつて存在した南アフリカ空軍の飛行隊である。

☓ 第3飛行隊は、かつて存在した南アフリカ空軍の飛行隊である。
ID65
正解率48%54

NTCIR RITE-2 [Watanabe+ 13]
false negaCve の例
筆箱とは、鉛筆、シャープペンシル、
消しゴム、定規などを入れる物である。
筆箱は、鉛筆、消しゴム、定規、シャーペンなどを収めた箱だ。
サウスポーは、左利きのことである。
左利きの人を指す言葉として「サウスポー」がある。
忍者は、漫画のキャラクターとして頻繁に登場する。
忍者を題材とする漫画は、数多い。

ID292
正解率19%

ID86
正解率19%
ID26
正解率10%

55

言い換え認識技術の評価用データの要件
3つの要件 [藤田+ 15](a) 分布の自然さ: 目的から逆算して考える
各応用でどんな言い換えを捉えたいか?
n 分布も正負の基準も異なりうる [Dagan+ 05]n(b) 正負例のバランス: 要議論
自明な事例のみから学習できるか? (cf. 美術品の鑑定眼)
n 境界をうまくとらえるような負例も必要 [Zaenen+ 05]n

言い換えの種類ごとの半自動事例生成/収集 [藤田+ 06]
l e.g., Winograd Schema Challengeの最小ペア [Levesque 11]ln

負例サンプリングのご利益 [Mikolov+ 13][Devlin+ 18](c) プリミティブさ: 担保可能 [Kaneko+ 13][藤田+ 15]n

独立な部分問題への分解と分類
公平な評価: 惜しい誤答に部分点，まぐれ正解を減点
l 一貫性のあるエラー分析が可能になるl56

(a) 評価用データの作成方法の大分類
ある範囲のテキストセットにアノテーション
形態素解析，構文解析，固有表現抽出
l 語義曖昧性解消，情報抽出
l 述語項構造解析，照応解析，レビュー解析
l 日本語校正，英語校正
l

ある範囲の問題セットに模範解答を付与
MT，自動要約 (1つないし複数)
l 情報検索 (見つけられる限り)
l 言語生成，言い換え生成 (無数ではあるが)lあたりをつけてから人手で選別 (言い換え認識)
cf. 人間の内省の限界 [宮田+ 17][Yaghoub-Zadeh-Fard+ 19]
l 任意のテキスト対はほぼ100%負例
l 標本バイアスの回避 vs 人的コストの低減
57
l

(a)&(b) 分布の自然さと正負例のバランス
自明な正例
理想的な
評価用事例集合

非自明な例
(境界例)

自明な負例

多様性

ヒューリスティクスで収集できる事例集合
58

新しい試み: 表層的な類似度からの脱却
Twiqer上の多様な候補表現の自動収集 + 人手で判定lPIT-2015 [Xu+ 14]nl

同じ時期に投稿され，アンカーを共有するツイート

Twiqer URL [Lan+ 17]nl

同一の語または言い換え同じ新聞記事に言及しているツイート

Twiqerならではの特徴
幅広いトピックn くだけた表現が多いn

The new Ciroc ﬂavor has arrived
Ciroc got a new ﬂavor comin out
CO2 levels mark ‘new era’ in the world’s changing climate.
CO2 levels haven’t been this high for 3 to 5 million years.
59新しい試み: 敵対的な事例に特化
敵対的候補事例の自動生成 + 人手で判定
lcf. Winograd Schema Challenge [Levesque 11](真の)分離超平面近傍?
n パターンはかなり限定されるnl

PAWS: 単語の並べ替え [Zhang+ 19]n

候補事例の自動生成
品詞タグの制約つきで言語モデルによる並び替え (ほぼ負例)
l NMTによる折り返し翻訳 (ほぼ正例) [WieCng+ 18]l

Flights from New York to Florida.
Flights to Florida from NYC.

☓

Flights from Florida to New York.

60

(c) 事例の分解 [Kaneko+ 13][藤田+ 15]
どのような部分問題をどこまで解けたのかの分析用
le.g., NTCIR RITE-2のID90-4『トンネルズ&トロールズ第5版』はケン・セント・アンドレらによってデザインされた。
助詞の交替『トンネルズ&トロールズ第5版』がケン・セント・アンドレらによってデザインされた。
態の交替
ケン・セント・アンドレらが『トンネルズ&トロールズ第5版』をデザインした。
分裂文『トンネルズ&トロールズ第5版』をデザインしたのはケン・セント・アンドレらである。
節と名詞句の交替

節と名詞句の交替
ケン・セント・アンドレらは『トンネルズ&トロールズ第5版』のデザイナーである。
分裂文『トンネルズ&トロールズ第5版』のデザイナーは
ケン・セント・アンドレらである。

スコープの変更

ケン・セント・アンドレは『トンネルズ&トロールズ第5版』のデザイナーの一人である。

スコープの変更

分裂文『トンネルズ&トロールズ第5版』のデザイナーの一人はケン・セント・アンドレである。

61

人間の判定誤り: 特にfalse posiCveが問題
何が原因?
データ作成時のインストラクション?
l 作業者の資質? [Fujita 13][Xu+ 14][Yaghoub-Zadeh-Fard+ 19]l

言い換え生成の人間評価でも同じ問題が生じうる
ガイドラインの充実?
l 人数を増やして吸収?
l

The stock rose $2.11, or about 11 percent, to close
Friday at $21.51 on the New York Stock Exchange.
PG&E Corp. shares jumped $1.63 or 8 percent to$21.03 on the New York Stock Exchange on Friday.
Samsung halts producCon of its Galaxy Note 7 as baqery problems linger.
#Samsung temporarily suspended producCon of
its Galaxy #Note7 devices following reports62このパートのまとめ
言い換え認識同一の言語の複数の異なる言語表現が同義か否かを判定
l 共通テストベッドの功罪l

MSRP [Dolan+ 04] が研究を促進
n これまでの知見
n

データは少ない à 事前学習 + ﬁne-tuning が優勢
l GLEU [Wang+ 18] のうち3つが関連タスクだったがSuperGLEU [Wang+ 19] では“簡単すぎる”として除外
ln

誤謬の可能性
標本バイアス [Xu+ 14][Lan+ 17][Zhang+ 19]
l 人間の判定誤り [Fujita 13][Xu+ 14][Yaghoub-Zadeh-Fard+ 19]ll

どんな現象を同一視したいか?
n

何のため?
63

今日紹介すること(L5) 応用技術応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

64

言い換え生成タスクの定義入力: ある言語表現，目的に応じた評価基準
l 出力: 入力と同じ意味，同じ言語の異なる言語表現の集合
lnただし，与えられた評価基準を満たすもの

意味空間
言語空間

...
入力

...

...

...
出力

応用
人間向け: 簡単化，文圧縮，音声合成(TTS)の前処理
l 機械向け: MT前編集 (e.g., 未知語à既知語)l65

一般的な言い換え生成の手順(1) テキスト評価l

目的や制約に沿っていない箇所を同定(2) 仮説生成l

必要な箇所を言い換えた候補を複数生成(過剰生成)
入力の一部を書き換える
n 入力全体を書き換える: i.e., 単言語MTn(3) テキスト評価l

目的や制約に照らして最適な候補を選択

66

テキスト評価(1)&(3) 評価基準(目的や制約)に応じた評価
簡単化: e.g., 語の難易度，構文パタンの難易度
l MT前編集: e.g., 未知語の有無や数
l 文圧縮: e.g., 文の長さl(3)言い換え後処理l

書き換えた箇所とその他の部分の整合性の検証
変換知識の適用条件は一般的に不完全 (過剰生成が前提)
n 入力全体を生成し直した場合も
n

l

アプローチ
フィルタリング: 禁則処理など
n ランキング: 候補間の比較 (cf. MTのn-bestリランキング)n 自動訂正: 活用・屈折の修正や助詞の修正など
n67

仮説生成の(極端な)例“損害賠償を求める” [Fujita+ 07]
損害が賠償される損害が賠償させる損害が賠償する
損害を賠償される損害を賠償させる
損害を賠償する損害に賠償される損害に賠償させる
損害に賠償する損害で賠償される損害で賠償させる
損害で賠償する賠償が損害される賠償が損害させる賠償が損害する
賠償を損害される賠償を損害させる賠償を損害する
賠償に損害される賠償に損害させる
賠償に損害する
賠償で損害される賠償で損害させる
賠償で損害する
損害賠償が求める
損害賠償に求める損害賠償で求める損害が賠償されたことが求める
損害が賠償されたことを求める
損害が賠償されたことに求める損害が賠償されたことで求める損害が賠償されることが求める
損害が賠償されることを求める
損害が賠償されることに求める損害が賠償されることで求める損害が賠償させたことが求める
損害が賠償させたことを求める
損害が賠償させたことに求める損害が賠償させたことで求める損害が賠償させることが求める
損害が賠償させることを求める
損害が賠償させることに求める損害が賠償させることで求める損害が賠償したことが求める
損害が賠償したことを求める
損害が賠償したことに求める損害が賠償したことで求める損害が賠償することが求める
損害が賠償することを求める
損害が賠償することに求める損害が賠償することで求める損害が求める
損害を求める
損害に求める
損害で求める
損害の賠償が求める 賠償が求める損害の賠償を求める 賠償を求める
損害の賠償に求める 賠償に求める損害の賠償で求める 賠償で求める損害を賠償されたことが求める損害を賠償されたことを求める
損害を賠償されたことに求める損害を賠償されたことで求める損害を賠償されることが求める損害を賠償されることを求める
損害を賠償されることに求める損害を賠償されることで求める損害を賠償させたことが求める損害を賠償させたことを求める
損害を賠償させたことに求める損害を賠償させたことで求める損害を賠償させることが求める損害を賠償させることを求める
損害を賠償させることに求める損害を賠償させることで求める損害を賠償したことが求める損害を賠償したことを求める
損害を賠償したことに求める損害を賠償したことで求める損害を賠償することが求める損害を賠償することを求める
損害を賠償することに求める損害を賠償することで求める損害に賠償されたことが求める損害に賠償されたことを求める
損害に賠償されたことに求める
損害に賠償されたことで求める損害に賠償されることが求める損害に賠償されることを求める
損害に賠償されることに求める
損害に賠償されることで求める損害に賠償させたことが求める損害に賠償させたことを求める
損害に賠償させたことに求める
損害に賠償させたことで求める損害に賠償させることが求める損害に賠償させることを求める
損害に賠償させることに求める
損害に賠償させることで求める損害に賠償したことが求める損害に賠償したことを求める
損害に賠償したことに求める
損害に賠償したことで求める損害に賠償することが求める損害に賠償することを求める
損害に賠償することに求める
損害に賠償することで求める損害で賠償されたことが求める損害で賠償されたことを求める
損害で賠償されたことに求める損害で賠償されたことで求める損害で賠償されることが求める損害で賠償されることを求める
損害で賠償されることに求める損害で賠償されることで求める損害で賠償させたことが求める損害で賠償させたことを求める
損害で賠償させたことに求める損害で賠償させたことで求める損害で賠償させることが求める損害で賠償させることを求める
損害で賠償させることに求める損害で賠償させることで求める損害で賠償したことが求める損害で賠償したことを求める
損害で賠償したことに求める損害で賠償したことで求める損害で賠償することが求める損害で賠償することを求める
損害で賠償することに求める損害で賠償することで求める損害された賠償が求める損害された賠償を求める
損害された賠償に求める損害された賠償で求める損害される賠償が求める損害される賠償を求める
損害される賠償に求める損害される賠償で求める損害させた賠償が求める損害させた賠償を求める損害させた賠償に求める損害させた賠償で求める損害させる賠償が求める損害させる賠償を求める
損害させる賠償に求める
損害させる賠償で求める

損害した賠償が求める
損害した賠償を求める
損害した賠償に求める
損害した賠償で求める
損害する賠償が求める
損害する賠償を求める
損害する賠償に求める
損害する賠償で求める

青字のみ文法的な表現，赤枠のみ同義の表現

68

仮説生成手法の例 (1/5)
統語構造の変換 [Lavoie+ 00][Takahashi+ 01][Zhu+ 10]l

知識のボトルネック

た

X4
X5

なかっ

X9

飲ま

X7

X8

(助動詞: ない)

X2

(VMS)

X3

(動詞)

(係助詞: しか)

(名詞)

X4
X5

X1

(助動詞: だ)X6

(係助詞: は)

(非自立: の)た
(副助詞: だけ)

X7

だ

(名詞)

(VMS)

(動詞)

は

だけ

は

しか

の

酒

彼

酒

飲ま

有名な

有名な

は
彼

69

仮説生成手法の例 (2/5)
MTによる折り返し翻訳 [Sun+ 12][Mallinson+ 17]
単言語パラレルデータは小規模にしか存在しない
à 対訳コーパスを活用
l 人間の評価との相関: SMT < NMT
l 大規模な対訳コーパスがあれば片道でOK [WieCng+ 17;18]l

日本で怪我や病気をしたときはどうすれば良いのでしょうか?

L1àL2

日本でけがをしたり病気になった
場合はどうすればよいですか。

L1ßL2

……
…

70

仮説生成手法の例 (3/5)
単言語パラレルデータからの学習
l句に基づく統計的MT (PBSMT) [Quirk+ 04][Wubben+ 10]

Of the 36 wounded , four people , including one child , were hospitalized , Dzheirkhanov said .

Dzeirkhanov said 36 people were injured and that four people , including a child , had been hospitalized .

ニューラルMT (NMT) [Prakash+ 16][Cao+ 17][Gupta+ 18][Li+ 18][Roy+ 19]
small kiqen is siwng ina bowl <EOS>la<BOS> a

cat

that

is

siwng inabowl <EOS> 71

仮説生成手法の例 (4/5)
最大マージン逆強化学習 [Li+ 18]

言い換え認識言い換え生成1. 生成器の訓練: e.g., EncDec は P(s2|s1) を最大化
2. 評価器の訓練: i.e., 報酬関数の定義
正例と負例à強化学習: 言い換え認識器を教師あり学習
n 正例のみà逆強化学習: 生成器の出力から評価器を学習
n

YとY’を直接比べない (cf. 生成器のteacher forcing)l 類似度(X,Y’)と類似度(X,Y)の差を最大化
l カリキュラム学習: 簡単な(類似度(X,Y)が高い)事例を重視
l3. 評価器の報酬に基づいて生成器をﬁne-tuning
入力 (X) How far is Earth from Sun?
生成器の出力 (Y’) What is the distance between Sun and Earth?
参照出力 (Y) How many miles is it from Earth to Sun?
72

仮説生成手法の例 (5/5)
変分オートエンコーダ (variaConal auto-encoder; VAE)
最初の試み [Gupta+ 18]
l 強化学習で多様化 [Park+ 19]
l 教師なしニューラル言い換え生成lnl

ベクトル量子化VAE [Roy+ 19]

統語的制約 + マルチタスク学習nvon Mises-Fisher-Gaussian VAE [Chen+ 19]

勉強中につき文献のみ紹介73

言い換えの仮説生成手法の比較
入力の一部を書き換える手法✓ 事例研究の成果を取り込める可能性☓ 複数の言い換えの組み合わせ制御が困難

入力全体を書き換える手法✓ 既存のツールを援用可能 (e.g., MTのツール)✓ フレームワークの数学的背景☓ 特定の一部分のみを書き換えるという制御が困難nà 制約付きデコーディング

74新しい試み: 制約付きデコーディング
特定の表現を出力する/しないという制約
MT用の技術 [Hokamp+ 17][Post+ 18] の応用
l 語彙的な制約: 含めたい/たくない語句lL2からの翻訳のガイド [Hu+ 19; ParaBank]n L1から直接言い換え，出力語彙の制御 [Kajiwara 19]nl

統語的な制約:
テンプレートを入力 [Iyyer+ 18]
n 統語的タグの加減を指定 [Colin+ 18]
n XàZの言い換え時に文法は別の入力Yに似せる [Chen+ 19]nl[Hu+ 19]

制約は応用側の要請を要実装 [Inui+ 03]75

新しい試み: 出力の多様化
テキスト生成タスクの正解は一般に複数
なるべく多様な良い例を出力したい
l 複数のデコーダを，互いが異なるように訓練 [Xu+ 18]
l 強化学習で揺らす [Park+ 19]
l サーチの際に劣モジュラ関数を最大化 [Kumar+ 19]l

候補中のn-gramの異なり数n 可能な系列との類似度
n[Xu+ 18]76

言い換え生成技術の性能評価
出力を得るたびに人間が評価lライカート尺度 [Callison-Burch 08]
文法性 (流暢さ): 5段階
n 原文との意味の等価性: 5段階nl

決定木による人間の誘導 [Fujita 13]

少数の参照出力との照合による自動評価: cf. MT
言い換え認識用のテストベッドの援用
l MT向け自動評価尺度の援用: BLEU，METEOR，TER
l 言い換え生成向けに提案されたもの
lPEM: 各々のMT結果どうしの照合 [Liu 10]
n PINC: 参照出力ではなく原文との非類似度 [Chen+ 11]
n iBLEU: BLEUと(1-PINC)の線形補間 [Sun+ 12]
n disCnct-N: 候補中のN-gramの異なり数(多様性) [Li+ 16]n77言い換え生成の課題
仮説生成部の改良
l

正確性と柔軟性:
目的指向の制約など，色々と制御したい
n テキスト評価に問題を先送りしないnl

多様性: やはり言語知識が必要になりそう

効率的かつ再現性のある評価手法の確立
l

出力を得るたびに人間による評価が必要
妥当な解は複数存在，事前に網羅することは困難
n 自動評価は妥協案?
nl

結局は目的依存
文章執筆支援: 候補を提示できればあとは人間任せ
n MT前編集等のデータ拡充: 非文法的でもなんとかなるn78このパートのまとめ
言い換え生成ある言語表現から，目的に応じた評価基準を満たす，
入力と同じ意味，同じ言語の異なる言語表現の集合を出力
l NNによる仮説生成: MT向け技術の援用
l

技術的進展: (逆)強化学習，VAE，教師なし
n 新しい試み: 制約付きデコーディング，出力の多様化
nl

課題
正確性，頑健性，多様性の両立
n 効率的かつ再現性のある評価手法の確立
nl

どんな種類の言い換えを生成したいか?
n

何のため?

79

言い換えに関する研究の全体像
今日紹介したこと(L5) 応用技術応用技術における活用

機械翻訳，評判情報処理，質問応答，文書要約，簡単化(L4) 汎用的な言い換え計算機構

言い換え認識，言い換え生成，評価・誤り分析(L3) 言い換えの計算に必要な知識の整備

大規模知識獲得，言い換え知識ベース・コーパスの構築(L2) 事例研究

事例の収集と分析，計算アルゴリズム，必要な知識の同定，誤り分析(L1) 分類体系

定義と境界，現象の網羅・類型化，多言語対照分析

80研究課題: 工学的な観点から(L5) 応用から考えるl(L1) 解決したい現象を定義する à 言い換え? その他?
言い換え分類体系はここに寄与
n 自動化できたときのご利益を見積もる
nl(L4)&(L5) 評価基準を定義する
言い換え認識? 言い換え生成? その他?
n (L3) 評価用データセットも構築するn(L4) 計算機構の高度化(L4) アルゴリズム: 表現の多義性や文脈の考慮
l (L4) 評価手法: 効率的な手法の確立(特に言い換え生成)l (L3) 知識開発: 知識の形式のデザイン，資源の集約
ln(L2) 言い換えの種類とセットで81

(L5) 応用を考える際の要検討事項
全自動か人間の支援という位置付けかどの種類の言い換えが必要か?
i.e., どのような違いを吸収したいか?
l 言外の意味l主題，焦点n 様式 (e.g., 形式性，丁寧さ)
n 感情，態度 (e.g., “スラっとした” vs. “ガリガリの”)
n

l

指示的意味
テンス，モダリティ，述語や項の具体性
n cf. 語用論的意味，参照先の同一性
n cf. 含意，推論n82

(L3) 知識の整備
言い換えの「自動処理」に知識は必要か?
End-to-Endのアプローチでは無視されがちl 不要ということが示されたわけではないl

陽に記述しないと扱えない言語現象の存在
n 知識の使いみちnEnd-to-Endのモデルの外側
l 訓練データへの注入l83

研究課題: 言語学的な観点から(L1) 包括的な分類体系の構築
いずれの場面でも必要
l 作り方や評価方法の検討
l 言語横断的な現象の体系化と分析 (cf. [Levin 93])l

散歩に出かける
take a walk

散歩する
walk

faire une promenade
dar un paseo

promenerpasear84