自動生成した言い換え文における動詞結合価誤りの自動検出手法
藤田篤†

乾健太郎†

松本裕治†

本稿では，語彙・構文的言い換えにおいて頻繁に生じる動詞結合価誤りの検出方法を提案する．
われわれは，コーパスから獲得した大規模な正例に基づいて結合価の適格さを定量化するモデ
ルと，人手で収集した小規模の負例に基づいて結合価の不適格さを定量化するモデルを構築し，これら 2 つのアンサンブルによって，精度の高い誤り検出器を実現した．また，能動学習の採用によって，誤り検出に対して貢献度が高い負例を効率良く収集できることを確認した．
キーワード : 言い換え，テキスト修正，言語モデル，誤り検出，動詞結合価，機械学習

Automatic Detection of Verb Valency Errors in Paraphrasing
FUJITA Atsushi†

INUI Kentaro†

MATSUMOTO Yuji†

This paper argues the issue of transfer errors in paraphrasing. Our previous investigation into transfer
errors revealed that verb valency errors occur frequently, irrespective of the types of transfer. Motivated by this finding, we propose an empirical method to detect incorrect verb valences occurring inparaphrasing Japanese sentences. Our error detection model involves ensembling of two error detection models that are separately trained on a large collection of unlabeled positive examples and a smallcollection of labeled negative examples. An experiment showed that our ensemble method achieved
79.4% 11-point average precision, a 13.3 point improvement over the model trained only on positive
examples. We also propose a selective sampling scheme to reduce the cost of labeling examples.
Keywords : parapharasing, text revision, language model, error detection, verb valency, machinelearning

1

はじめに

近年，言い換えの自動生成は，自然言語処理のさまざ
まなタスクに応用可能な要素技術として，注目されるようになってきた [16, 1]．報告されている応用例として
は，たとえば，機械翻訳 (MT; Machine Translation) [20]，質問応答 (QA; Question Answering) [14, 19]，情報検索(IR; Information Retrieval) [12]，あるいは読解支援のための表現の簡単化 [3, 10] などが挙げられる．
QA や IR においては，大規模なテキストデータの中から関連情報をもれなく抽出したいという要求がある．
このため，検索表現を拡張するために言い換えが用いられている．この文脈で重要なのは，さまざまな語形
変化，表記の揺れ，同義表現などを生成することであり，生成される表現自体が言語的に適格である必要はない．一方，読解支援のように，人間が読むために言い換える場合，言い換えた後の表現が言語的に適格でなくてはならない．ところが，適格な言い換えを生成するために適用条件を書き尽くすことは困難である．類義語間の静的な意味の違いを国語辞典の語釈文から抽出するという試みもあるが [17]，任意の表現間の意味† 奈良先端科学技術大学院大学 情報科学研究科
Graduate School of Information Science, Nara Institute of Science andTechnology{atsush-f,inui,matsu}@is.aist-nara.ac.jpの違いを捉える，あるいはあらゆる文脈を考慮して言い換え表現対（言い換えパタン）を獲得するというという報告は現状では存在しない．したがって，言い換
えパタンは概して不完全であり，さまざまな変換誤りが生じる可能性がある．
この問題に対し，われわれは，言い換えの自動生成にテキスト修正処理を導入し，その実現可能性と効果を調査している．これまでに，さまざまな種類の語彙・構文的言い換えにおける変換誤りの種類を整理し，各変換誤りが生じる傾向について調査した [5]．
文献 [5] で得られた知見の一つとして，トランスファ
規則の種類にかかわらず動詞結合価に関する誤りが頻出するということが挙げられる．動詞結合価に関する誤りとは，例文 (1t) のような選択制限の違反，あるいは例文 (2t) のような動詞格構造の誤りである1 ．

(1) s. 資質と能力を持った「個人」が世代や国境を超えたネットワークで結ばれる。
t. ∗ 資質と能力を持った「個人」が世代や国境を上回ったネットワークで結ばれる。
(2) s. チームプレーに徹する。
t. ∗ チームプレーに貫く。
r. チームプレーを貫く。
1 本稿の例中，s., t., r. は各々言い換え前の文，言い換え後の文，修正後の言い換え文を指す．

動詞結合価に関する誤りは，文中の動詞や名詞，慣用
表現を別の語句に言い換えた場合，あるいは態交替，動詞交替によって格要素/格助詞が変化した場合に頻出する．とくに前者の語彙レベルの言い換えは，多くの言
い換えアプリケーションにおいて重要な役割を担うため，この誤りは，最も優先して解消すべき問題の一つであるといえる．
このような背景から，本稿では，言い換えに必要な修正処理の一つとして，言い換え文中の動詞結合価に関する誤りを自動的に検出する方法について論じる．動
詞結合価が適格であるか否かは個々の単語（動詞，名詞）に依存しているため，誤り検出にあたっていくつかの問題がある．これらを踏まえ，本稿では，個々の単語に基づく統計的なモデルを提案する．
以下，2 節では，言い換えにおける誤り検出タスクの性質について述べる．3 節では，動詞結合価の性質について考察し，本稿で取り組むタスクを定義する．コーパスから得られる大規模な正例と人手で作成した小規模な負例に基づくわれわれの誤り検出モデルについて
4 節で述べ，5 節で誤り検出の評価実験について述べる．
学習データを効率的に獲得するために導入した能動学
習について 6 節で述べ，7 節でまとめる．

2

言い換えにおける誤り検出

われわれは，言い換えの自動生成を次の 3 ステップに分解して考えている．すなわち，
トランスファ: 言い換えパタン，あるいは規則を適用
し，ある入力テキストに対して可能な言い換え候
補の集合を生成する．
誤り検出: 各言い換え候補を評価し，言語的な誤り，および言い換えとしての誤りを検出する．
修正: 検出した変換誤りを，可能ならば修正し，そうでなければ言い換え候補を棄却する．
言い換えにおける誤り検出・修正処理は，統計的機械翻訳における翻訳候補選択（デコーディング） [2, 7]と類似しているように見える．どちらも，候補生成の後処理として，個々の候補の尤もらしさを言語モデルに照らして評価するためである．
ただし，異なる側面もある．言い換えシステムは，テキストの簡単化や制限言語への変換など，特定のタスクへの応用を目的して構築されることが多い．そして，このようなシステムで用いられる言い換えパタンは，「難解な語から平易な語へ」など，目的に応じた制約を受けるため，任意の入力文に対して必ずしも適格な言い換えを生成できるとは限らない．したがって，デコー
ディングのように候補を比較してより好ましい候補を選択するだけではなく，誤り検出処理では，適切な言い換え候補を生成できない場合には「言い換え不可能である」と出力しなくてはならない．

また，誤り検出・修正処理の実現にあたって，われわれは，構文レベルの依存構造を仮定している．理由は次の通りである．

• 日本語は比較的語順が自由な言語である．したがって，n-gram などの表層よりも依存構造を扱う方が正確な言語モデルを構築できると考えられる．
• われわれが開発を進めている言い換えエンジン
K URA [21] を含めて，既存の日本語言い換えシス
テムの多くが，依存構造に基づくトランスファ方式
で言い換えを実現している．これらのシステムでは，言い換え後の文がたとえ言語的に適格でなくても，その依存構造を参照することが可能である．

3 動詞結合価に関する誤りの検出
3.1 評価対象
本稿では，トランスファによって置換，あるいは依存構造を変更された単語を含む動詞格構造を対象とする．ここで，動詞格構造とは，一つの動詞とその格要素からなる構造を指すものとする．以下，動詞格構造
中の個々の 3 つ組  動詞 v, 格助詞 rel, 名詞 n を単に
v, rel, n で表す．
例文 (1t)，(2t) は， 超える, を, 国境 ， 貫く, に, チ
ームプレー  という，動詞格構造中の一つの v, rel, n
が不適格な例である．一方，次の例文 (3t) は， ある,が, 言葉 ， ある, に, 各地  が適格であるにもかかわらず，これらの共起が不適格な例である．

(3) s. 文語体、しかも難解な言葉が随所にある。
t. ∗ 文語体、しかも難解な言葉が各地にある。
これらの事例から，任意の動詞格構造について結合価の適格/不適格を人手で分類するならば，次のような決定木に準ずるであろう．
動詞結合価の適格性判定• v, rel, n が 1 つでも不適格ならば不適格．
• すべての v, rel, n が適格– 兄弟格要素の共起が不適格ならば不適格．
– 兄弟格要素の共起も適格ならば適格．

ところで，文献 [5] において収集した動詞結合価に関する誤り事例 162 事例のうち，例文 (3t) のように各
v, rel, n が適格でも兄弟格要素の共起が適格でない事
例は 8 事例であった．われわれは，この問題はそれほど深刻ではないと考え，個々の v, rel, n を適格/不適格の 2 つのクラスに分類する問題に単純化する．
動詞結合価の適格性判定（本稿における判定基準）• v, rel, n が 1 つでも不適格ならば不適格．
• すべての v, rel, n が適格ならば適格．

3.2

動詞結合価の誤り検出の難しさ

単純には，人手で構築した動詞結合価辞書に照らすことで，動詞結合価の誤りを検出できると考えられる．
ただし，この手法では，以下に示す問題がある．

1. 動詞結合価辞書の規模拡大・洗練にはコストがかかる．コーパスを用いて半自動的に構築・拡充する試みもあるが作業の難易度は高い [6]．
2. 既存の結合価辞書は，慣用句などの例外を扱えるほど整備されていない．また，選択制限の指定に用いられている名詞シソーラスも，言い換えにおける単語間の細かな用法の違いを捉えるには粗い2 ．
また，受身や使役など，動詞にヴォイスが後続する場合に結合価がどう変化するかも，動詞結合価
辞書には記載されていない．
3. 動詞結合価の適格/不適格を決定的に分けることしかできない．緩やかなマッチング手法を考えるとしても，名詞のシソーラス上の距離を用いると，2.
の問題に帰結してしまう．
Utsuro ら，Miyata らは，ある名詞がある動詞の下位範
疇を満たすか否かを最大エントロピー法，ベイジアン・
ネットワークなどの確率モデルで推定している [22, 15]．
これらの手法を応用すれば統計的，確率的アプローチ
によって 1. および 3. の問題は解消できるが，人手で作成したシソーラスを用いるのであれば，2. の問題が残る．

言い換え前の文
コーパス
1

言い換え

係り受け解析

共起用例

4

言い換え後の文
2

5

語彙を制限
3

6

PLSIの
パラメタ推定人手による評価

確率分布

負例集合

モデル
Pos

モデル
Neg

図 1: 提案モデル
大規模な正例とごく少数の負例を効率よく組み合わせる手法として，われわれは，正例，負例のそれぞれのみを用いた誤り検出モデルを別々に構築し，これら2 つを組み合わせる手法を提案する．以降，正例のみに基づく誤り検出モデルを P os，負例のみに基づく誤り検出モデルを N eg ，および両モデルのアンサンブルモデルを Ens と表す．以下本節では，各モデルについて詳述する（図 1 も参照されたい）．

4.2 統計に基づく誤り検出モデル P os

4

提案モデル

4.1

アプローチ

3.2 項で挙げた 2. の問題を避けるために，シソーラ
スのような人手で構築された知識を用いず，個々の単語そのものを扱う．動詞は，ヴォイスが付属して構文的な受身，使役の形を取る場合は，元の動詞と区別する．
ここで，誤り検出器を構築するためのデータに関する制約がある．誤り検出を個々の言い換え候補を適格/
不適格の 2 つのクラスに分類する問題として捉えるのであれば，正例と負例の両者を用いて機械学習に基づく分類器を構築するアプローチが考えられる．しかしながら，正例がコーパスから大規模に獲得できるのに対して，負例は大規模には入手できない．さらに，個々の単語そのものを扱うとなると，v, rel, n の共起空間は非常に大きくなるため，事例は非常にスパースである．ゆえに，サポート・ベクタ・マシン (SVMs; Support
Vector Machines) など，優れた性能が報告されている 2
値分類アルゴリズムを用いて誤り検出モデルを構築しても有効に働くとは期待できない．
2 NTT 日本語語彙大系で約 2,700 クラス．われわれは，文献 [4] において，より細かい粒度のシソーラスの同概念語間の言い換えでさえも結合価誤りが生じることを観察している．また，（ほぼ）同じ意
味の単語であるからといって，用法まで同じであるとは限らない．

モデル P os は正例のみを用いて構築する．コーパスから獲得できる正例は極めて大規模であるため，さまざまな単語について 3 つ組 v, rel, n の生起確率
P (v, rel, n) を見積もった場合，ある程度信頼できると考えられる．P (v, rel, n) を推定するさまざまな手法の中で，今回は，分布クラスタリング [18] に基づいて単語の共起を潜在的な意味からの同時発生とみなす
PLSI (Probabilistic Latent Semantic Indexing) [8] を検討した．また，ベースラインとして，頻度のディスカウ
ントに基づく Good-Turing 法を用いた．
v, rel, n を v, rel と n の共起とみなすと，PLSI における共起確率 P (v, rel, n) は次式で与えられる．
P (v, rel, n) =P (v, rel|z)P (n|z)P (z)z∈Z

ここで，z は共起の潜在的な意味クラス（隠れクラス）を指す3 ．式中の確率的パラメタ P (v, rel|z)，P (n|z)，
P (z) は，EM アルゴリズムによって推定できる [8]．
P (v, rel, n) が与えられれば，相互情報量などのさ
まざまな共起尺度を用いて，v, rel, n の適格さを推定することができる．今回は，共起確率そのもの (P rob)，v, rel と n の相互情報量 (M I)，および v, rel と n の3 本タスクの文脈では，『v, rel, n の共起の意味』を表すものと考える．トランスファ前後の語の意味を比較するのとは異なる．

Dice 係数 (Dice) の 3 つを検討した．すなわち，モデル
P os は，任意の入力 v, rel, n に対して，P rob，M I ，もしくは Dice をスコアとして出力する．

4.3

P (v, rel, n)P (v, rel)P (n)2 × P (v, rel, n)P (v, rel) + P (n)M I(v, rel, n)= log

Dice(v, rel, n)=

負例に基づく誤り検出モデル Neg

3 つ組 v, rel, n の共起空間は非常に広大であるため，P (v, rel)，もしくは P (n) が低い場合，P os が推定する v, rel, n の尤度は信頼度が低くなる．この欠点は，負例を用いることで補うことができる可能性があるが，Good-Turing 法や PLSI の確率計算に負例を用いることはできない．
そこで，負例のみに基づく誤り検出モデル N eg を構築した．利用できる負例の数がごく少数であること，共起空間に対してスパースであることを考慮し，k-最近隣検索法 (k-Nearest Neighbor) を採用した．入力の
v, rel, n と任意の学習済事例 v , rel , n  との距離を計算するための素性として，P os の構築において得られる，隠れクラス z ∈ Z への帰属確率分布 P (z|v, rel, n)を用いた．また，任意の事例間の距離は，確率分布同士の分布類似度で与えた．分布類似度の尺度としては，Jensen-Shannon divergence ，および α-skew divergenceを用いた．文献 [13] において，この 2 つの分布類似度
は優れた実験結果をもたらすと報告されている4 ．
以下，入力の v, rel, n，および任意の学習済事例
v , rel , n  の，隠れクラスへの帰属確率分布をそれぞれ q = P (z|v, rel, n)，r = P (z|v , rel , n ) とし，各分布類似度の定義を示す．

=

1[D (q  aveq,r ) + D (r  aveq,r )]2

D (P1 (X)  P2 (X)) =

P1 (x) logx∈X

P1 (x)
P2 (x)

ここで，aveq,r は q と r の平均であり，D は KullbackLeibler (KL) divergence である．JS は，KL divergenceに確率 0 への耐性と対称性を持たせたものである．

α-skew divergence (Sα )Sα (q, r)=D (q  α · r + (1 − α) q)

Sα では，q と r の重み付き平均を KL divergence の参照
側確率分布としており，式中のパラメタ α (0 ≤ α ≤ 1)
4 “類似度” と呼ばれるが，実際の計算値は 2 つの確率分布が類似しているほど 0 に近く，“距離” を示している．

kScoreN eg=

1
λi di (q, r)k i=1

ここで，i は類似度の順位であり，λi は，個々の近隣事
例に対する重みである．

4.4 P os と Neg のアンサンブルモデル Ens
モデル P os は正例のみを，モデル N eg は負例のみを用いて構築しているため，それぞれ異なる性質を持つと想像できる．この 2 つのモデルを組み合わせることに
よって各々が相補的に働くと予想し，アンサンブルモデ
ル Ens を構築した．今回は，モデル P os，N eg が出力するスコア自身を用いて Ens 自身のスコア ScoreEnsを決定した．
モデル P os は確率 (0 ≤ P rob ≤ 1)，あるいは共起尺度 (−∞ ≤ M I, Dice ≤ ∞)，モデル N eg は分布類似度(0 ≤ ScoreN eg ≤ ∞) というように，出力されるスコアの尺度は異なる．そこでまず，各モデルのスコアを
信頼度 CP os ，CN eg (0 ≤ CP os , CN eg ≤ 1) に写像する．
具体的には，訓練データの交差検定によって，モデルが出力するスコアに対するモデルの精度を信頼度とする写像関数を導出する．Ens は，次式に示す CP os とCN eg の重み付き平均をスコアとして出力する．

ScoreEns = βCP os + (1 − β)CN eg
ここで，β (0 ≤ β ≤ 1) はモデルの重みである．

Jensen-Shannon divergence (J S)
JS(q, r)がその重みである．ただし，事前に最適な α の値を推定することはできない [13]．
モデル N eg が入力の v, rel, n に対して与えるスコ
ア ScoreN eg は，v, rel, n とその k 個の最近隣事例との分布類似度 di (J S または Sα ) の重みつき平均とした．

5 誤り検出実験
5.1 モデルの訓練および評価事例の作成
モデルの訓練，および評価事例の作成の手順を以下に示す．図 1 も参照されたい．

1. 新聞記事 19 年分5 の係り受け解析結果6 から，のべ
53,157,450 組，異なり 7,993,331 組の v, rel, n を収集した．名詞は 65,384 語，動詞は 33,884 語であった7 ．
2. のべ 2,000 回以上出現した名詞 3,365 語，動詞 2,516
語に語彙を制限した．格助詞も，頻度の高い “が”，“を”，“に”，“で”，“へ”，“から”，“より” の 7 つと
5 毎日新聞 9 年分，日経新聞 10 年分，のべ 25,061,504 文．
6 係り受け解析には CaboCha [11] を用いた．
7 格の交替現象を直接扱うため，“れる/られる”，“せる/させる”，などの接尾辞を後続する場合は，これを含めて動詞一語としている．

5.2

評価方法

動詞結合価に関する誤り検出実験の結果は，以下に示す再現率 R，および精度 P で評価した．

R =
P

=

モデルが検出に成功した変換誤り事例の数
変換誤り事例の数モデルが検出に成功した変換誤り事例の数モデルが変換誤りとラベル付けした事例の数モデルが出力するスコア（確信度）に対して閾値を設けることで，モデルを 2 値分類器として扱うことができる．すなわち，閾値以下の値を持つ事例を変換誤り，
閾値を超える値を持つ事例を適格な事例として分類することになる．また，この閾値を変化させることで，ラ
ベル付けする事例の数を制御し，再現率- 精度カーブ（R-P カーブ）を描画することができる．個々の R-P
カーブは，R = 0.0, 0.1, . . . , 1.0 の 11 点平均精度で評
価した．

5.3

実験結果

5.1 項で作成した 3,169 事例を用いて動詞結合価の誤り検出の実験を行った．以下，各誤り検出モデルごと
8 http://cl.aist-nara.ac.jp/˜taku-ku/software/plsi/
9 人手による事例評価は 3.1 項 1 つ目の決定木に基づく．すなわ
ち，兄弟格要素の共起も考慮している．

表 1: モデル P os の 11 点平均精度 (PLSI)

尺度 \ |Z|

P rob
MI
Dice

100
0.62470.64260.64592000.62670.64620.6466500
0.62830.64020.64401,000
0.63400.65150.64821,500
0.63600.66060.65532,000
0.63310.66080.6547

1
0.9
0.8
0.7
Precision

した．1. で得た 3 つ組のうち，異なりで 3,628,345
組がこの制限語彙で表現されており，v, rel の異なりは 16,899 種，v, rel と n の共起行列要素充填率は 6.38%であった．
3. 2. で得た 3 つ組を PLSI 学習パッケージ8 に入力し，確率的パラメタを推定した．隠れ変数の個数 |Z|は 100，200，500，1,000，1,500，2,000 とした．
4. 評価事例（かつモデル N eg の訓練に用いるための負例）を作成するために，日経新聞 2000 年分の記事からランダムに取り出した 90,000 文を言い換え
エンジン K URA [21] に入力し，さまざまな種類の約 28,000 のトランスファ規則 [5] を網羅的に適用して言い換え事例 7,167 事例を生成した．
5. 4. で生成した言い換え事例から，動詞格構造が変化しており，かつ動詞格構造のすべての名詞，動詞，格助詞が 2. で制限した語彙に含まれる 3,169
事例を取り出した．
6. 最後に，5. で得た事例，および事例に含まれる
3,706 組の v, rel, n を人手で適格/不適格に分類した9 ．結果，事例としては正例 2360，負例 809
を，v, rel, n としては正例 2,854，負例 852 を得た．ここで得た事例を誤り検出実験の評価に用い，v, rel, n の負例のみをモデル N eg の学習に
用いた．

0.6
0.5
0.4

PLSI, Prob
PLSI, MI
PLSI, Dice
Good-Turing, MI
Good-Turing, Dice

0.3
0.2
0

0.1

0.2

0.3

0.4

0.5
0.6
Recall

0.7

0.8

0.9

1

図 2: モデル P os の R-P カーブ (|Z| = 2, 000)に 11 点平均精度を示し考察する．また，比較のために，
既存の動詞結合価辞書を用いた誤り検出の精度も示す．

5.3.1 P os の誤り検出能力モデル P os の誤り検出能力の評価結果を表 1，および図 2 に示す．M I と Dice はほぼ同等の 11 点平均精度を得ており，共起確率そのものを分類に用いた場合(P rob) よりもわずかながら優れていた．比較的低コスト
な Good-Turing 法を用いて共起確率を推定した場合，11点平均精度は，P rob が 0.3951 10，M I が 0.5178 ，Dice
が 0.5793 であった．図 2 が示す通り，PLSI を用いて共起確率を推定した方が Good-Turing 法よりも顕著に優れた精度を得ており，計算コストをかける価値はあったといえる．また，最も高い 11 点平均精度を得たのは，|Z| = 2, 000，PLSI，M I であった．

5.3.2 N eg の誤り検出能力
モデル N eg は 5 分割交差検定によって評価した．分
布類似度の重みは，最も近い（順位が低い）事例ほどその距離を信頼するという意味で λi = 1/i とし，さまざまなパラメタの組み合わせによって得られた 11 点平均精度を表 2 および表 3 に示す．また，各パラメタに関する考察結果を以下に示す．
隠れクラス数について : P os と同様に，PLSI の隠れク
ラス数 |Z| を大きくするほど高い精度を得た．表 2
10 Good-Turing 法において共起確率をスコアとして用いることは，共起事例の頻度を用いるのと同義である．

表 2: モデル N eg の 11 点平均精度 (k = 1)

尺度 \ |Z|

JS
S0.01
S0.25
S0.5
S0.75
S0.99

100
0.6002
0.63660.61050.60600.60300.6082200
0.62130.65330.62840.62300.62500.6341500
0.67900.69230.68560.68210.68070.68431,000
0.69610.6976
0.69960.70040.69780.69901,500
0.71150.71400.71380.71450.71370.7090

表 4: モデル Ens の 11 点平均精度 (|Z| = 2, 000, PLSI,
2,000
0.71340.71650.71850.71770.71500.7117

M I, S0.25 , k = 1)β
11 点平均精度
β
11 点平均精度

0.1
0.75060.6
0.77780.2
0.77510.7
0.75200.3
0.78990.8
0.72350.4
0.79370.9
0.68990.5
0.79041

表 3: モデル N eg の 11 点平均精度 (|Z| = 2, 000, S0.25 )1
0.718515
0.669720.704420
0.66743
0.693025
0.665550.681630
0.6638が示す通り，精度は |Z| = 2, 000 では収束の傾向を見せている．
分布類似度の尺度について : Sα は α の値によってはJS を上回る精度をもたらした．ただし，|Z| と最も優れた精度をえる α の値に相関は見られない．
これらは，文献 [13] と同様の観察結果である．
参照する最近隣事例の個数について : |Z| = 1, 500〜
2, 000 では，試行したすべての尺度のもとで k = 1
で最も良い 11 点平均精度を得た．また，|Z| = 100〜1, 000 でも，ほとんどの場合，k = 1 または k = 2
で最も良い 11 点平均精度を得た．共起空間が非常に広大かつスパースであるため，複数の最近隣事
例を参照したことがノイズになった，また，|Z| を大きくする（より多くの素性を考慮する）ことによって距離の計算が精密になり，ノイズの影響が大きくなったと解釈できる．
表 2 および表 3 に示したさまざまなパラメタの組み合
わせの結果，|Z| = 2, 000，S0.25 ，k = 1 で最も高い 11点平均精度を得た．

5.3.3

0.9

10
0.6730Ens の誤り検出能力

誤り検出モデル P os，N eg のアンサンブルモデル
Ens の構築には，それぞれの評価において最も高い 11点平均精度を得たパラメタを採用した．すなわち，両モデルについて |Z| = 2, 000，P os については PLSI，
M I ，N eg については S0.25 ，k = 1 である．
N eg と同様に 5 分割交差検定による評価を，表 4，および図 3 に示す．表 4 は，P os，N eg（が出力するスコアに対する信頼度）に対する重み β を変化させた場合の 11 点平均精度を示している．現状のパラメタでは，
N eg をやや重視した場合 (β = 0.4) に最も高い 11 点平均精度，約 79.4% (0.7937) を得た．これは，P os の最高精度を約 13.3 ポイント，N eg の最高精度を約 7.5 ポ
イント上回っている．図 3 からは，まず，低再現率の範囲では N eg の方が P os よりも優れており，高再現率の範囲では P os の方が N eg よりも優れているという特徴を持っていたことが分かる．これに対して Ens
は，あらゆる再現率の範囲で両者をしのぐ精度を得て

0.8
0.7
Precisionk
11 点平均精度k
11 点平均精度

0.6
0.5
0.4
(Ens) beta=0.4(Pos) PLSI, MI(Neg) S_0.25, k=2

0.3
0.2
0

0.1

0.2

0.3

0.4

0.5
0.6
Recall

0.7

0.8

0.9

1

図 3: モデル Ens の R-P カーブ (|Z| = 2, 000, β = 0.4)
おり，P os と N eg が相補的に作用しているといえる．

5.4 比較実験
比較のため，5.1 項で作成した事例集合に対する結合価辞書ベースの誤り検出精度を示す．
われわれが構築したモデルと異なり，動詞結合価辞
書が，評価用事例集合中のすべての動詞を評価できるとは限らない．実際，NTT 日本語語彙大系 [9] にエントリを持つ動詞は，全 v, rel, n（のべ）中，89.3%であった（被覆率 89.3%）．そして，下位範疇および選択
制限を満たすか否かで個々の v, rel, n の適格/不適格を判定し，それらの組み合わせによって事例の適格/ 不適格を判定した結果，誤り検出の再現率は 59.7%，精度は 42.8%であった．高頻度語のみ用いたため被覆率は高いが，誤り検出能力が高いとは言えない．

6 能動学習の導入
負例を用いることによって，統計のみに基づくモデルと比較して誤り検出の精度を向上させることができた．しかしながら，前節で示した実験では高頻度語のみを対象としていたということを無視するわけにはいかない．より多くの語を扱えるように N eg ，および Ensを訓練するには，より大規模かつ多様な負例が必要になる．したがって，負例を収集するコストをいかにして削減するかが次の課題となる．われわれはこの課題に対して，能動学習を試行した．

0.8

能動学習は，未知の事例に対するモデルの出力をもとに次に学習（人手でラベル付け）すべき事例を決定
し，モデルの学習を効率良く進める手法である．ラベ
ル付けする事例が少数であっても，有益な事例を選択的に収集できれば，高精度なモデルを構築できる．
われわれの誤り検出モデル N eg においては，次の性質を満たす 3 つ組 v, rel, n が，有益な学習事例になると考えられる．すなわち，

1000

Selective Sampling
Random Sampling900# of obtained negative triplets (boxes)

選択的サンプリング
11-point average precision (lines)

6.1

800
0.75
700
600
0.7

500
400
300

0.65
200
100

選好基準 1 正例ではない．

0.61000 1500 2000 2500 3000
# of sampled triplets3706

図 4: Ens の学習曲線 （棒グラフ:収集した負例の数，
折れ線グラフ:11 点平均精度）
1
0.9
0.8
0.7
Precision

これらを考慮して，ラベル付けの候補となる 3 つ組に対して優先度を与え，もっとも優先度が高い 3 つ組に人手で適格/不適格のラベルを付与する．以下，3 つ組
を便宜的にサンプルと呼ぶ．
サンプルがいかに正例らしくないかは，P os によって推定できる．また，サンプルと既にラベル付けされている負例との類似度は，N eg によって算出できる．
P os が出力する，サンプルの生起確率を p，N eg が出
力する，サンプルとその最近隣事例（負例）の距離を
s として，次のような選好関数を作成した．

0
100 500

選好基準 2 すでに収集済の負例との類似度が低い（距離が大きい）．

0.6
0.5

P ref erence =−s log(p)0.4

Fully trained
Selectively trained 1000 triplets
Selectively trained 500 triplets
Randomly trained 500 triplets
Trained with seed 100 triplets

0.3

この式では，値が大きいほどラベル付けの優先度が高いとする．p が低いほど好ましいので符号を反転させている．また，広大な共起空間の広い範囲をカバーするようなサンプルの方が，学習に大きく寄与するであろうと予測し，学習済の負例との距離 s を重視するため，p の対数を用いてスケーリングしている．

6.2

実験

能動学習は次に示す手順で行った．

1. 5.1 項で収集した 3,706 組の v, rel, n からランダ
ムに 100 サンプルを取り出し，初期の学習事例とした．内訳は，正例 84，負例 16 であった．残りの 3,606 サンプルを能動学習の候補とした．
2. 学習の候補の各々に対して，P os および N eg によって，p，s を算出し，先に示した選好関数によって優先度を付与する．優先度を算出するための N eg
パラメタとしては |Z| = 2, 000，S0.25 を用いた．
3. もっとも優先度が高いサンプルを取り出し，適格/
不適格のラベルを付与する．不適格（負例）であれ
ば，N eg の学習事例に追加し 2. に戻る．適格（正例）であれば，次に優先度が高いサンプルを取り出す．
4. 候補が無くなるまで 2.，3. を繰り返す．

0.2
0

0.1

0.2

0.3

0.4

0.5
0.6
Recall

0.7

0.8

0.9

1

図 5: Ens の R-P カーブ

6.3 実験結果と考察
選択的サンプリング，および比較対象としてランダ
ムサンプリングによる学習の結果を図 4 に示す．図 4の棒グラフと折れ線グラフはそれぞれ，収集した負例の数，11 点平均精度を表している．また，実線と点線はそれぞれ，選択的サンプリングとランダムサンプリ
ングを表している．また，学習の各時点での R-P カー
ブを図 5 に示す．
図 4 の棒グラフが示す通り，われわれが用いた選好関数によって，ランダムサンプリングと比較して優先的に負例を選択できている．また，折れ線グラフからは，収集された負例が，誤り検出においても効果的であったということが分かる．とくに，学習の初期段階で顕著な精度の向上が見られる．ランダムサンプリン
グでは 3 つ組 1,500 個にラベル付けした時点で 11 点平均精度 75%を達成しているのに対し，選択的サンプリ
ングでは，3 つ組 500 個にラベル付けした時点で早くも同じ精度に到達している．11 点平均精度の伸びは，サンプル数 100〜500 に比べて，500〜3, 000 では緩やかになっている．これは，学習の候補の中で最も有効

な 3 つ組のほとんどが学習初期で選択されたからだと解釈できる．また，図 5 の R-P カーブからも，選択的
サンプリングの方がランダムサンプリングに比べて早い段階で顕著に良い精度を得ていることが分かる．

7

おわりに

本稿では，語彙・構文的言い換えにおいて頻繁に生じる動詞結合価誤りの検出方法を提案した．われわれは，コーパスから獲得した大規模な正例に基づいて結合価の適格さを定量化するモデル P os，人手で収集した小規模の負例に基づいて結合価の不適格さを定量化するモデル N eg ，およびこれら 2 つをアンサンブルした誤り検出モデル Ens を構築した．評価実験では，11点平均精度で 79.4%を得た．これは，正例のみを用いた誤り検出モデルよりも 13.3 ポイント高い精度である．
また，能動学習の採用し，誤り検出に対して貢献度が高い負例を効率良く収集できる可能性を示した．
引き続き，次に示す課題に取り組む予定である．

• 言い換え全体に対する貢献度を評価する．
• 大規模語彙でモデルを構築し，誤り検出精度，能動学習において同様の傾向が得られるか否かを検
証する．

参考文献
[1] ACL. The 2nd International Workshop on Paraphrasing:
Paraphrase Acquisition and Applications (IWP), 2003.
[2] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della
Pietra, and Robert L. Mercer. The mathematics of machinetranslation: parameter estimation. Computational Linguistics, Vol. 19, No. 2, pp. 263–311, 1993.
[3] John Carroll, Guido Minnen, Darren Pearce, Yvonne Canning, Siobhan Devlin, and John Tait. Simplifying text for
language-impaired readers. In Proceedings of the 9th Conference of the European Chapter of the Association for
Computational Linguistics (EACL), pp. 269–270, 1999.
[4] 藤田篤, 乾健太郎. 語釈文を利用した普通名詞の同概念
語への言い換え. 言語処理学会第 7 回年次大会発表論文集, pp. 331–334, 2001.
[5] 藤田篤, 乾健太郎. 語彙的言い換えに必要な知識の部品化. 情報処理学会自然言語処理研究会予稿集, NL-149-5,
pp. 31–38, 2002.

[8] Thomas Hofmann. Probabilistic latent semantic indexing.
In Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), pp. 50–57, 1999.
[9] 池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦（編）. 日本語語彙大系: CD-ROM
版. 岩波書店, 1997.
[10] Kentaro Inui, Atsushi Fujita, Tetsuro Takahashi, Ryu Iida,
and Tomoya Iwakura. Text simplification for reading assistance: a project note. In Proceedings of the 2nd International Workshop on Paraphrasing: Paraphrase Acquisition
and Applications (IWP), pp. 9–16, 2003.
[11] 工藤拓, 松本裕治. チャンキングの段階適用による日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp.
1834–1842, 2002.
[12] 黒橋禎夫. 言葉の意味を計算機で扱う. 言語処理学会第6 回年次大会チュートリアル資料, pp. 21–28, 2000.
[13] Lillian Lee. On the effectiveness of the skew divergence forstatistical language analysis. In Proceedings of the 8th International Workshop on Artificial Intelligence and Statistics, pp. 65–72, 2001.
[14] Dekang Lin and Patrick Pantel. Discovery of inference
rules for question answering. Natural Language Engineering, Vol. 7, No. 4, pp. 343–360, 2001.
[15] Takashi Miyata, Takehito Utsuro, and Yuji Matsumoto.
Bayesian network models of subcategorization and their
MDL-based learning from corpus. In Proceedings of the
4th Natural Language Processing Pacific Rim Symposium(NLPRS), pp. 321–326, 1997.
[16] NLPRS. NLPRS’01 Workshop on Automatic Paraphrasing:
Theories and Applications, 2001.
[17] Hiroyuki Okamoto, Kengo Sato, and Hiroaki Saito. Preferential presentation of Japanese near-synonyms using definition statements. In Proceedings of the 2nd International
Workshop on Paraphrasing: Paraphrase Acquisition andApplications (IWP), pp. 17–24, 2003.
[18] Fernando Pereira, Naftali Tishby, and Lillian Lee. Distributional clustering of English words. In Proceedings of the
31st Annual Meeting of the Association for Computational
Linguistics (ACL), pp. 183–190, 1993.
[19] Deepak Ravichandran and Eduard Hovy. Learning surface text patterns for a question answering system. In Proceedings of the 40th Annual Meeting of the Association for
Computational Linguistics (ACL), pp. 215–222, 2002.
[20] 白井諭, 池原悟, 河岡司, 中村行宏. 日英機械翻訳における原文自動書き換え型翻訳方式とその効果. 情報処理学
会論文誌, Vol. 36, No. 1, pp. 12–21, 1995.

[6] Sanae Fujita and Francis Bond. A method of adding new
entries to a valency dictionary by exploiting existing lexical
resources. In Proceedings of the 9th International Conference on Theoretical and Methodological Issues in MachineTranslation (TMI), pp. 42–52, 2002.

[21] Tetsuro Takahashi, Tomoya Iwakura, Ryu Iida, Atsushi Fujita, and Kentaro Inui. K URA: a transfer-based lexicostructural paraphrasing engine. In Proceedings of the 6th
Natural Language Processing Pacific Rim Symposium (NLPRS) Workshop on Automatic Paraphrasing: Theories andApplications, pp. 37–46, 2001.

[7] Ulrich Germann, Michael Jahr, Kevin Knight, Daniel
Marcu, and Kenji Yamada. Fast decoding and optimal decoding for machine translation. In Proceedings of the 39th
Annual Meeting of the Association for Computational Linguistics (ACL), pp. 228–235, 2001.

[22] Takehito Utsuro, Takashi Miyata, and Yuji Matsumoto.
Maximum entropy model learning of subcategorizationpreference. In Proceedings of the 5th Workshop on Very
Large Corpora (VLC), pp. 246–260, 1997.