DEIM Forum 2016 G2-3

CRF による英語時制誤り検出の一手法
松井悠太郎†

新妻弘崇 ††

太田学†† , †† 岡山大学大学院自然科学研究科 〒 700–8530 岡山県岡山市北区津島中三丁目 1 番 1 号
E-mail: †{matsui, ohta}@de.cs.okayama-u.ac.jp, ††niitsuma@suri.cs.okayama-u.ac.jp
あらまし 英語学習者が書く英文には誤りが多く含まれ, その誤りの種類は多岐にわたる. その中でも動詞の時制に関する誤りは多く, その誤りを検出することは難しい. 本稿では, この動詞の時制誤りを検出する手法を提案する. 具体
的には, Conditional Random Field を利用して, 時制誤り検出の問題を, 文章中の動詞に正しい時制ラベルを割り当て
る系列ラベリング問題と捉える. 時制誤り情報付きのデータセットを用いて誤り検出の実験をおこない, 提案手法の誤り検出性能を評価した. 時制誤り検出実験の結果, 提案手法の F0.5 は, KJ コーパスでは 0.360, CLC FCE Dataset では 0.329 であった. また, 時制誤り検出における有効な素性は, 動詞の見出し語, 副詞, 等位接続詞などであった.
キーワード

誤り検出, CRF, 時制, 英語

1. は じ め にⱟ鑁

通信技術の発達やグローバル化の流れに伴い, 英語は国際コ

19%

ミュニケーションの手段として世界中で使用されている. British‫➭ך׉‬Council [1] によると, 英語話者の数は約 17.5 億人であり, そのせ鑁‫⽃ך‬醱46%

数は世界の人口の 1/4 に相当する. また, 英語を第二言語ある
いは外国語として学習する者の数は, 2020 年までに 20 億人に

13%

儗ⵖ

達すると予想している. 英語は母語話者の間のみで使用するも8%のではなく, リングワ・フランカとして非母語話者も英語を使

⵸縧鑁

13%

う機会は増えている. そのため, 英語学習者を支援する技術が重要となる. 例えば, Grammarly（注 1）, Ginger（注 2） といった英作文

図 1 KJ コーパスに頻出する誤りの種類のスペルや文法の誤りを自動で校正するサービスが公開されている. また, 言語学習支援に関する研究も盛んにおこなわれ, 英
語文法誤りの訂正性能を競う Helping Our Own (HOO) [2] [3],表 1 英語学習者がよく犯す文法誤りの訂正性能
誤りの種類

Conference on Computational Natural Language Learning(CoNLL) Shared Task [4] [5] が開催された.
英語の文法誤り訂正では, 誤りの種類を限定することが一般的である. しかし, 英語学習者の英文には多くの誤りが含まれ,

CoNLL2014 Shared Task

Mizumoto らの手法

再現率

再現率 適合率

F値

冠詞

0.5885

0.359

0.761

0.488

前置詞

0.3826

0.262

0.585

0.361

動詞の時制

0.2619

0.102

0.170

0.128

誤りの種類は多岐にわたる. 日本人大学生によって書かれた
英文エッセイを文法誤り情報とともにまとめた Konan-JIEM

英語の文法誤り訂正では, 冠詞と前置詞の誤りが訂正の対象とLearner Corpus Third Edition (KJ コーパス) [6] に頻出するされることが多い. HOO2011 [2], HOO2012 [3], CoNLL2013

誤りを図 1 に示す. KJ コーパスでは, 冠詞誤りが最も頻出しShared Task [4], CoNLL2014 Shared Task [5] では, 冠詞と前ており, その後に名詞の単複, 前置詞, 動詞の時制と続いている.

置詞の誤りは訂正の対象とされた. 一方, 動詞の時制誤りは,

この上位 4 種類の誤りの数が KJ コーパスの誤りのおよそ半数

CoNLL2014 Shared Task で初めて訂正の対象となった. 表 1を占めている. また, Cambridge Learners Corpus (CLC) からに冠詞, 前置詞, 動詞の時制の誤り訂正における CoNLL2014

First Certificate in English (FCE) の Writing 試験の回答をShared Task の最良の再現率（注 4）と, Mizumoto [8] らの手法の抽出し, 文法誤り情報とともにまとめた CLC FCE Dataset [7]

最良の F 値などを示す. CoNLL2014 Shared Task, Mizumotoでも, 冠詞, 前置詞, 動詞の時制に関する誤りは頻出する （注 3）.

らの手法, どちらの結果でも冠詞と前置詞に比べ, 時制誤りの訂

どちらのコーパスにおいても冠詞, 前置詞, 動詞の時制の誤りが

正性能は目に見えて低い.

多い.
（注 1）：http://www.grammarly.com/

このような背景から, 本稿では, 英語学習者が犯す文法誤りの中でも高い割合を占め, 訂正の難しい動詞の時制誤りを検出（注 2）：http://www.getginger.jp/（注 3）：冠詞の欠落誤りは 6 番目, 前置詞の置換誤りは 5 番目, 時制誤りは 4 番（注 4）：すべての誤りを対象とした場合, False Positive を数えることが難しく

目に頻出する.

適合率の計算ができないため, CoNLL2014 では再現率のみ報告されている.

する手法を提案する. 具体的には, Lee [9] と Tajiri ら [10] のように誤り検出対象の文の文脈情報を考慮して時制誤りを検出す
る. そのため, 時制誤り検出の問題を文章中の動詞に対して, 前
後のラベルを考慮した上で正しい時制ラベルを割り当てる系列

CD

NN

DT

NN

VBD

DT

NN

.

One

night

a

man

had

a

dream

.

nummoddet

ラベリング問題と捉え, Conditional Random Field (CRF) を

nmod:tmod

用いる. 本研究では, 検出対象とする動詞の時制を定義し, 時制
本稿は, 以下の構成をとる. 2. 節では時制誤りの検出と訂正いて述べる. 4. 節では提案する時制誤り検出手法について説明する. 5. 節では提案手法の評価実験をおこなう. 6. 節では本稿のまとめと今後の課題を述べる.

2. 関 連 研 究
冠詞と前置詞の誤りは英語学習者の英文に多く含まれるため,研究の対象にされることが多い. 一方, 同様に誤りが多い動詞の時制については, 誤りを検出することが難しいため, これまでにほとんど研究がされていない.

Lee [9] は, 一つ前の動詞の時制を考慮して時制を予測した.
動詞の時制は, 発話時 (point of speech, S), 基準時 (point ofreference, R), 事件時 (point of event, E) という三つの要素から決定される [11]. 例えば, 過去形では事象の起こった時点 (=E) と言及の時点 (= R) は同時であり, いずれも発話の時点 (=S) より前にある (R = E < S). 現在完了形では事象の起こった時点 (= E) は発話の時点 (= S) より前にあり, 発話の時点と言及の時点 (= R) が一致する (E < S = R). 一文の中に「基準時」と「事件時」が明示されていない場合は, その文の前後か
ら時制を決める必要がある. 例えば, 前に一度出た名詞を示すには, 代名詞や定冠詞を用いる. 動詞もこれと同様の性質を有する. 具体的には, 前の動詞の「基準時」と同じ時点にある場
合は, 前の動詞の時制と同じものと推測される [12]. そこで Lee
は, 時制の予測を系列ラベリング問題と捉え, CRF を用いた.
素性は, 動詞の原形や主語, 一つ前の動詞などの統語・語彙的な特徴と時間を表す特徴とした. 実験では, Penn Treebank [13]を用いて時制の予測性能を評価した. 精度は, 最頻出の時制を選択するモデルの 45.5%に対して, CRF モデルは 58.3%と報告されている. また, CRF モデルに一つ前の正しい時制ラベルを追加して学習させたときの精度は 62.2%であった. ただし, この手法は従属節内の動詞を対象としていない.

Tajiri ら [10] は, 大域的文脈情報を用いて時制誤りの検出と訂正をした. 時制の決定は時制誤り検出対象文前後の情報, す
なわち大域的な文脈に大きく依存する. これは時制誤りの検出と訂正を非常に困難にしている一因である. 大域的文脈情報を考慮するため, 文章中に現れる各動詞句に対して, 周囲のラベルを考慮した上で正しい時制ラベルを割り当てる系列ラベリン
グ問題を考えた. この系列ラベリングには CRF を用いている.
素性は, 一つ前の動詞句の時制や構文解析器より得た動詞句の特徴などとした. また, 時制誤りの検出と訂正システムの構築

det

薉俑

⣛㶷ꟼ⤘

dobj

図 2 Stanford Parser の構文解析結果の例の決定に有用な素性を提案し, 時制誤り検出性能を向上させる.
の関連研究を紹介する. 3. 節では動詞の選択と時制の同定につnsubjㅷ鑁‫ؚة‬のため, 相互添削型 SNS Lang-8（注 5） から時制誤りコーパスを作成した.

実験では, 時制誤りコーパスを学習に 10 万エント

リ, テストに 1,000 エントリ用いて, 検出と訂正性能を評価した. テストデータは 16,308 の動詞句を含み, そのうち 1,072 の動詞句が時制誤りである. 時制誤りの検出と訂正の適合率と再現率は, 多クラスの SVM と最大エントロピーモデルより CRF
モデルの方が高かった.

3. 動詞の選択と時制の同定
本節では, まず, 3. 1 節で構文解析器 Stanford Parser について説明する. 次に, 3. 2 節で時制誤り検出の対象となる動詞の選択, 3. 3 節で選択した動詞の時制を同定する方法について述べる.

3. 1 Stanford Parser
自然言語処理の基礎技術には, 文を単語に区切って品詞を付与する「形態素解析」, 語の間の係り受け構造などを決定する「構文解析」などがある. 構文解析器によって得られる構文情報を利用することで, 英文が持つ言語構造を認識できる. そのため, 本研究では, 構文解析器 Stanford Parser（注 6） を用いる.

Stanford Parser による解析例として, 英文 “One night a
man had a dream.” に対する品詞タグ付けと依存構造を図 2に示す. 依存構造は, 単語がほかの単語とどのように関連するかを, ラベル付き有向グラフで表現している. このグラフでは,ノードが単語を, ラベル付きエッジが主辞から従属語への依存関係を表す. ラベルは文法的機能を示し, 例えば, “dream” は“had” の dobj (直接目的語) であり, “a” は “dream” の det(限定詞) である.
依存構造は, 依存関係の種類として文法的機能を直接的に表現するのに用いることができる. また, 品詞は, 文の内容を示
す単語の文法的な機能や形態などに基づいた分類である. 本
研究では, Stanford Parser の品詞タグ付けと依存関係 (Typed

Dependency [14]) を用いて, 動詞に関する情報を取得する. この依存関係を以下では Typed Dependency と呼ぶ. Typed

Dependency は約 50 種類ある [15]. また, これを主辞 (支配者)と従属語 (依存者) の 2 項関係で表す. 例えば, 図 2 の “had”と “dream” の dobj は, dobj(had, dream) と表現する.

3. 2 動詞の選択
時制誤り検出では, 時制が決まる動詞を選択する必要がある.
表 2 に時制が決まる動詞と決まらない動詞の例を示す. 表の上
二つの動詞の時制は決まる. しかし, 助動詞として機能する動（注 5）：http://lang-8.com/（注 6）：http://nlp.stanford.edu/software/lex-parser.shtml

表2

時制が決まる動詞と決まらない動詞

例

時制

表4

時制が決まらない動詞

A bird is flying high up in the sky.

現在進行形

―

The moon was mirrored in the lake.

過去形―

能動態の時制の同定

動詞の品詞タグ

aux
be

do

auxpass
have

過去形

VBD

現在形

VB/VBP/VBZ
VB/VBP

過去形

VBD

Spring has come.

―

助動詞として機能する動詞

The show must go on.

―

助動詞の後の動詞

The snows began to melt.

―

to 不定詞I felt my heart beat violently.

―

目的格補語

Turn the lights on.

―

命令形

He had a book stolen from the library.

―-ed 分詞VBP/VBZ

He goes running every morning.

―-ing 分詞

VB

現在形

VB/VBP/VBZ○

VBN

VB/VBP

未来形
過去完了形

VBD

現在完了形

VB/VBP/VBZ
VBG

時制

will be

○

未来完了形
過去進行形

VBD

現在進行形
○

VBN

VBD

VBN

VB/VBP/VBZ

VBN

VB/VBP

未来進行形
過去完了進行形
現在完了進行形○

未来完了進行形

VBZ

A bird is flying high up in the sky.
同定する処理は以下のようになる.

aux

図 3 進行形の助動詞 be に該当（ 1 ） 選択した動詞の Typed Dependency から, aux と auxpassの依存者の見出し語と品詞タグを収集する.

詞や助動詞の後の動詞などは, 時制が決まらない. そのため, 時
制誤り検出では, 時制が決まる動詞のみを選択する必要がある.
動詞を選択する処理は以下のようになる.
（ 1 ） 英文を Stanford Parser で解析し, 品詞タグと Typed De-

pendency を取得する.

（ 2 ） 選択した動詞の品詞タグと aux, auxpass の依存者の見出
し語と品詞タグから, 表 4, 表 5 の条件に一致した時制をその動詞の時制とする.
動詞の態によって, 時制を決定する構成要素が異なる. そのため, 能動態と受動態に分けて時制を同定する. 能動態と受動（ 2 ） 動詞に関する品詞タグ VB, VBD, VBG, VBN, VBP, VBZが付いた単語を検出対象の動詞の候補として収集する.
（ 3 ） 収集した各単語の品詞と Typed Dependency から, 表 3の条件を満たす単語を候補から除外し, 残った単語を時制
誤りの検出対象の動詞とする.

態の時制の同定を表 4, 表 5 にそれぞれまとめる. 表中の「○」は, aux の依存者に “will” があることを示す.
例として, 英文 “A bird is flying high up in the sky.” における動詞の時制を同定する. この例文で選択される動詞は“flying” であり, 図 4(a) で示すように, その品詞タグは VBG,
aux の依存者は “is” である. “is” の見出し語と品詞タグは, そ

例として, 英文 “A bird is flying high up in the sky.” の検出れぞれ “be” と VBZ である. “flying” には auxpass がないた

対象の動詞を選択する. この例文を Stanford Parser で解析す

め, 動詞の態は能動態となる. 能動態の場合, 表 4 の条件を用いると, 動詞に関する品詞タグは “is” に VBZ, “flying” に VBGて時制を同定する. “flying” の動詞の品詞タグは VBG, aux はが付与され, “is” と “flying” が検出対象の動詞の候補となる.

“be” のみで, その品詞タグは VBZ, auxpass はない. 表 4 の次に, “is” と “flying” が表 3 の条件を満たす場合には, 候補か条件に一致する時制は「現在進行形」である. よって, “flying”

ら除外する. “is” の見出し語は “be” であり（注 7）, 図 3 で示すの時制は「現在進行形」と同定される.

“is” は表 3 の条件を満たすた

同様に, 英文 “The moon was mirrored in the lake.” におけめ, 検出対象外の動詞であり, 時制誤りの検出対象の動詞とはる動詞の時制を同定する. この例文の選択される動詞は “mir-しない. 同様に “flying” が検出対象外の動詞であるかを判定す

rored” であり, 図 4(b) で示すように, その品詞タグは VBN,

る. “flying” は表 3 のいずれの条件も満たさないため, 検出対

auxpass の依存者は “was” である. “was” の見出し語と品象の動詞である. よって, 例文の時制誤りの検出対象の動詞は

詞タグは, それぞれ “be” と VBD である. “mirrored” には“flying” が選択される.

auxpass があるため, 動詞の態は受動態となる. 受動態の場合,

3. 3 時制の同定

表 5 の条件を用いて時制を同定する. “mirrored” の動詞の品

時制誤りを検出するためには, 学習者の時制と正解の時制を

詞タグは VBN, aux はなく, auxpass の “be” の品詞タグは同定する必要がある. 本研究では, tense (過去, 現在, 未来) とVBD である. 表 5 の条件に一致する時制は「過去形」である.

aspect (基本, 完了, 進行, 完了進行) を組み合わせた全部で 12

よって, “mirrored” の時制は「過去形」と同定される.

ように aux の依存者である.

種類の形式を「時制」と定義した [16] [17]. 3. 2 節で選択した動詞の時制を同定する. 動詞に時制誤りがある場合は, 時制誤り

4. 時制誤り検出の手法を訂正していない英文から学習者の時制, 時制誤りを訂正した

本節では, 提案する時制誤り検出の手法について説明する. ま

英文から正解の時制を同定する. 動詞に時制誤りがない場合は,ず, 4. 1 節で提案手法の概要を述べる. 次に, 4. 2 節で系列ラベ同一の英文から学習者の時制と正解の時制を同定する. 時制を

リングに用いる CRF について説明する. 4. 3 節では学習に用いる素性, 4. 4 節では素性テンプレートについて述べる.

（注 7）：見出し語は Stanford Parser を用いて取得する.

表 3 時制誤りの検出対象外の動詞と判定する条件
除外する動詞条件

進行形の助動詞 be候補となる単語の見出し語は “be” であり, aux の依存者である場合

受動態の助動詞 be候補となる単語の見出し語は “be” であり, auxpass の依存者である場合

助動詞 do候補となる単語の見出し語は “do” であり, aux の依存者である場合

助動詞 have

候補となる単語の見出し語は “have” であり, aux の依存者である場合

助動詞の後の動詞候補となる単語は aux の支配者であり, その依存者の見出し語が “be”, “do”, “have”, “will” 以外の助動詞である場合

to 不定詞候補となる単語は mark の支配者であり, その依存者の品詞タグが TO である場合

目的格補語候補となる単語は that 節などの節内に位置せず, ccomp の依存者であり, 支配者の単語が知覚動詞, 使役動詞などである場合

命令形候補となる単語の品詞タグは VB であり, nsubj または nsubjpass の支配者ではない場合-ed 分詞候補となる単語の品詞タグは VBN であり, aux または auxpass の支配者ではない場合-ing 分詞候補となる単語の品詞タグは VBG であり, aux の支配者ではない場合

VBG

VBN

A bird is flying high up in the sky. The moon was mirrored in the lake.
aux

auxpass(a) 能動態(b) 受動態

図 4 時制の同定の例

表5
動詞の品詞タグ

aux
be

do

(4) でその素性を利用して CRF により時制を推定する. (5) で受動態の時制の同定
auxpasshave

時制

will be
VBD

過去形

VBP/VBZ

現在形

VB

未来形

VBN

過去完了形

VBN

現在完了形

VBN

未来完了形

VBD

VBG

過去進行形

VBP/VBZ

VBG

現在進行形

VBG

未来進行形

VBG

過去完了進行形

VBG

現在完了進行形

VBG

未来完了進行形VBN○

VBD
VB/VBP/VBZ
VB/VBP

○

○

VB
VBN

VBD

VBN

VB/VBP/VBZ

VBN

VB/VBP○

学習者が使用した表層的な時制と CRF で推定した時制が異なる場合, 時制誤りを検出する.

4. 2 CRF
CRF [18] は系列ラベリング問題などに用いられる識別モデ
ルの一つである. 系列データやラベルの前後の依存関係の特徴を素性として記述できるため, 多様な属性を参照しつつ, 前後のラベルの組み合わせを考慮できる. Hidden Markov Model(HMM) [19] と比較して, CRF は様々な素性を同時に考慮できる点に特徴がある. 本研究で定義した CRF が出力する時制ラ

4. 1 提案手法の概要

ベルは, tense と aspect を組み合わせた 12 種類の時制の形式

先行研究 [9] [10] で指摘されているように, 時制誤りの検出は,である. 学習に用いる素性については 4. 3 節で述べる.

対象の動詞に関する情報だけでは不十分であり, 文脈情報を考4. 3 動詞から獲得する素性慮する必要がある. そのため, 時制誤り検出の問題を, 文章中の本研究では, 工藤が作成した CRF++（注 8） を利用して時制ラ

動詞に正しい時制ラベルを割り当てる系列ラベリング問題と捉ベルを付与する. 学習に用いる素性を表 6, その素性を獲得する

え CRF を用いる. 本研究における, 時制誤り検出の処理は以条件を表 7 にまとめる. 素性の獲得には Stanford Parser を用

下のようになる.

いる. 例えば, tmod は時間副詞を素性とする. 例として, 英文“I wrote a letter to him yesterday.” の tmod の獲得について（ 1 ） 入力文の解析（ 2 ） 動詞の選択 (3. 2 節)
（ 3 ） 素性の生成 (4. 3 節)
（ 4 ） 時制の推定（ 5 ） 時制誤りの検出説明する. この例文で選択される動詞は “wrote” であり, 図 5に示すように, 表 7 の tmod の獲得条件を満たしている. そのため, 例文の tmod は “yesterday” となる.

Tajiri ら [10] は, 構文関係を考慮するため, 主語, 助動詞, 副詞などの素性を用いている. 提案手法は, より詳しい構文の情報を取り入れた. object, co-conj, quote, pass, neg, interrog,

wish, subjunct は, Tajiri らの提案にはない素性である.
4. 4 素性テンプレート

まず, (1) で Stanford Parser を用いて与えられた英文から

4. 3 節の方法で動詞から獲得した素性を用いて, CRF++で品詞タグと Typed Dependency を取得する. (2) で構文解析の用いる素性テンプレートを作成する. その素性テンプレートを結果から時制誤りの検出対象となる動詞を選択する. (3) で選択した動詞に関する素性を構文解析の結果を用いて生成する.

（注 8）：http://taku910.github.io/crfpp/

表 7 素性の獲得条件
獲得する素性獲得条件

tlearn3. 3 節で示した方法で, 動詞の時制を同定する.

lemma

Stanford Parser を用いて動詞の見出し語を獲得する.

subject

動詞が nsubj または nmod agent の支配者である場合, その依存者の単語を分類する.

object

動詞が dobj または nsubjpass の支配者である場合は真.

tmod

動詞が nmod:tmod の支配者である場合, その依存者の単語を獲得する.

adverb

動詞が advmod の支配者である場合, その依存者の単語を獲得する. ただし, 依存者の品詞が WRB である場合は除く.

co-conj

動詞が conj の支配者または依存者である場合, その依存関係の特徴となる単語を獲得する.
動詞が mark の支配者である場合, その依存者の単語を獲得する. または, 動詞が advmod の支配者であり, その依存者の品詞が WRB である場

sub-conj

合は, その依存者の単語を獲得する.
次の四つの条件のどれかを満たす場合は真. (1) sub-conj に単語がある場合 (2) 動詞が acl:rel の依存者である場合 (3) 動詞は nsubj または

sub-clausedobj または nsubjpass の支配者であり, その依存者の品詞タグが WP または WDT の場合 (4) 動詞が ccomp の依存者である場合
main-clause

sub-clause が偽の場合は真.

quote

動詞が “ ” 内にある場合は真.

pass

動詞が auxpass の支配者である場合は真.

neg

動詞が neg の支配者である場合, その依存者の単語を獲得する

interrog

文中の品詞タグ . が ? の場合は真.

wish

動詞が “wish” である場合は真subjunct

動詞は that 節中に動詞の原形を用い, その動詞に “that” が伴う場合は真表 6 動詞から獲得する素性

表 8 素性テンプレート

略語

内容

素性値

局所的素性

tlearn

学習者が使用した時制12 種類の時制<lemma(0)>lemma

動詞の見出し語

動詞の見出し語

subject

主語

人, 物, “it”, なし<tmod(0)> <tmod(0), tlearn(0)>object目的語

0, 1<adverb(0)> <adverb(0), tlearn(0)>

tmod

時間副詞

時間副詞

<co-conj(0)> <co-conj(0), tlearn(0)>adverb

その他副詞

その他副詞

co-conj

等位接続詞

0, 1

<quote(0)> <quote(0), tlearn(0)>sub-conj

従属接続詞

従属接続詞

<pass(0)> <pass(0), lemma(0), tlearn(0)>sub-clause

従属節内に存在0, 1<neg(0)> <neg(0), lemma(0), tlearn(0)>main-clause 主節内に存在

0, 1<subject(0)> <subject(0), lemma(0), tlearn(0)><object(0)> <object(0), lemma(0), tlearn(0)><sub-conj(0)> <sub-conj(0), tlearn(0)><sub-clause(0)> <main-clause(0)> <sub-clause(0), main-clause(0), tlearn(0)><interrog(0)> <interrog(0), lemma(0), tlearn(0)>
大域的素性

quote

“ ” 内に存在

0, 1

pass

態

0, 1

<co-conj(-1), tlearn(-1)> <co-conj(-1), tlearn(-1), tlearn(0)>

neg

否定

否定

<co-conj(1), tlearn(1)> <co-conj(1), tlearn(1), tlearn(0)>interrog

疑問

0, 1

wish

動詞の wish0, 1<wish(-1)> <wish(-1), tlearn(0)>subjunct

仮定法現在が適用される単語

0, 1<subjunct(-1)> <subjunct(-1), tlearn(0)><main-clause(-1), tlearn(-1)> <main-clause(-1), tlearn(-1), tlearn(0)>VBD

I wrote a le!er to him yesterday.
nmod:tmod

図5

素性 tmod<main-clause(1), tlearn(1)> <main-clause(1), tlearn(1), tlearn(0)>誤り検出に有効な素性について検討する.

5. 1 実 験 環 境
5. 1. 1 使用ツール
構文解析器は Stanford Parser 3.6.0, CRF は CRF++ 0.58を用いる. CRF++のパラメータはデフォルトの値を利用した.

表 8 にまとめる. この素性テンプレートは 24 の局所的素性と5. 1. 2 実験データ

12 の大域的素性の合計 36 の素性で構成されている. 表 8 の各

時制誤り検出実験には, 時制誤り情報付きのデータが必要と素性の括弧内の数字は, ラベルを付与する対象の動詞の相対位なる. そのため, 英文とともに文法誤り情報をまとめた KJ コー

置を表し, 0 がその対象動詞である.

パス（注 9） と CLC FCE Dataset（注 10） を用いる.

5. 評 価 実 験ただし, 時制（注 11）

以外のすべての誤り (冠詞誤りや前置詞誤りなど) は訂正した.

また, CLC FCE Dataset の時制誤りは, 助動詞の誤り

本節では, 4. 節で提案した時制誤り検出手法の性能を評価実験により検証する. まず, 5. 1 節で実験環境ついて述べる. 次に,

5. 2 節で時制誤りの検出実験をおこなう. 最後に, 5. 3 節で時制

（注 9）：http://www.gsk.or.jp/catalog/gsk2012-a/（注 10）：http://ilexir.co.uk/applications/clc-fce-dataset/（注 11）：KJ コーパスでは v tns, CLC FCE Dataset では TV が時制誤りを表す.

選択, 助動詞の後の動詞の形, 態などの誤りを含んでいる. これて上回る. また, 表 10, 表 11 において提案手法と MF を比較らの誤りは, 定義した時制とは異なる種類の誤りのため, 訂正しすると, Recall 以外の指標はすべて上回る. 提案手法の Recall

た. KJ コーパスと CLC FCE Dataset の統計情報を表 9 にまが MF を下回ったのは, 学習者の時制を素性として取り込んでとめる. KJ コーパスは 3,855 の動詞を含み, そのうち 306 の動いるためである. 学習者の時制を取り込むと, Precision が向上

詞 (7.94%) が時制誤りである. CLC FCE Dataset は 51,575

する代わりに Recall が低下する. これは, 多くの事例においての動詞を含み, そのうち 2,061 の動詞 (4.00%) が時制誤りであ

学習者の時制と正解の時制が一致するためである. F0.5 で説明

る. いずれのデータセットについても 5 分割交差検定で評価したように, 文法誤り訂正においては Precision が Recall よする.

りも重要である. そのため, 本研究では Recall の低下よりも

5. 1. 3 評 価 指 標

Precision を向上させることを優先した.

時制誤り検出の評価指標として, Precision (P), Recall (R),同じ CRF を用いる CRF-TJR と比較すると, 表 10 では

F1.0 , F0.5 , Accuracy を用いる. Precision は, 誤りとして検Recall, F1.0 , 表 11 では Recall, F1.0 , F0.5 が上回る. Precision

出した中で, 実際に誤りであったものの割合である. Recall

は CRF-TJR の方が高く, Recall は提案手法の方が高い傾向

は, すべての誤り中で, 検出できたものの割合である. F1.0 は,にある. 表 11 の提案手法と CRF-TJR の Precision の差にPrecision と Recall の調和平均である. F0.5 は, CoNLL2014

比べ, 表 10 の Precision の差は大きい. そのため, 表 10 では

Shared Task [5] で用いられた指標である. この指標は, 文法誤Precision を重視する F0.5 は CRF-TJR を下回る結果となっり訂正では, Precision が Recall よりも重要であるという考えた. 表 9 の誤り率から, どちらのデータセットでも 90%以上のに基づいている. Accuracy は, すべての動詞の中で, 検出, 非動詞の時制は正しいことがわかる. 誤りがスパースであるため,検出の判定が正しいものの割合である. これらの指標は, 以下

互いに Recall が低い. また, 互いに Accuracy は 0.9 を超えての式で表される.

いる. これは, 表層の時制を素性として取り込んでいるため, 検TP
TP + FPTP
Recall =TP + FN
2×P×R
F1.0 =
P+R(1 + 0.52 ) × P × R
F0.5 =
0.52 × P + R
TP + TN
Accuracy =TP + FP + FN + TN
Precision =出自体が頻繁には起こらず, TN が大きくなるためである.
表 10 の 250 個の FN のうち, 動詞を選択できなかったもの
が 13 個ある. 同様に, 表 11 の 1,761 個の FN のうち, 動詞を選択できなかったものが 72 個ある. これは, Stanford Parser によるタグ付与が誤ったために, 動詞を選択できなかった. 構文解析器による動詞のタグ付与は, 混同することが多々ある [6]. 例
えば, 英文 “I sing together.” の動詞 “sing” の正しい品詞タグ
は VBP である. しかし, “sing” の語形は非三人称現在形と原形が同じため, VB が付与されることがある. 同様に, “felt” のTP (True Positive) は, システムが時制誤りを検出し, 実際に語形は過去形と過去分詞が同じため, VBD または VBN が付与

誤っていた動詞の数を示す. FP (False Positive) は, システム

されることがある. また, 英文 “I frightened.” の “frightened”

が検出したが, 誤っていなかった動詞の数を示す. FN (False

は, VBD または JJ が付与されることがあり, 動詞と形容詞がNegative) は, システムが検出しなかったが, 実際は誤っており混同されることがある. このように, 動詞に対するタグ付与は,検出する必要があった動詞の数を示す. TN (True Negative)

正しい品詞タグが付与されないことがある. 提案手法は構文解

は, システムが誤りを検出せず, 実際に誤っていなかった動詞の析結果に基づいて処理をするため, その結果に瑕疵があると正数を示す.

しく動詞を選択できない.

5. 1. 4 比 較 対 象

5. 3 時制誤り検出における有効な素性実験では, 以下の二つの時制誤り検出手法と提案手法を比較

時制誤り検出における有効な素性について検討する. 図 6(a)する.

に KJ コーパス, 図 6(b) に CLC FCE Dataset において, 特定

CRF-TJR: 2. 節で紹介した Tajiri ら [10] の素性テンプレーの素性を除いて時制誤りを検出した結果をそれぞれ示す. どちトを用いた CRF モデル.

らのデータセットでも lemma, adverb, co-conj を素性から除谷本:

検索エンジンを用いたモデル. 表 10 の Precision, Re-

くと, ほかの素性を除いた場合に比べて F0.5 の低下が大きい.

call, F1.0 は, 論文 [20] に記載されている結果である. F0.5 は本反対に, 時制誤り検出においてむしろない方がよい素性はデー稿で算出した.

タセットによって異なる. KJ コーパスでは neg, CLC FCE

MF: 最も使用頻度の高い時制を選択するモデル. KJ コー

Dataset では sub-conj がそのような素性の一つといえる. こ

パス, CLC FCE Dataset ともに「現在形」の使用頻度が最もれらの素性は, もう一方のデータセットでは有効な素性として高い.

機能している. これはデータセットの英文に何かしらの偏りが5. 2 時制誤りの検出実験
表 10 に KJ コーパス, 表 11 に CLC FCE Dataset を用いあるためと考えられる.
特定の時制の時間関係を明確にするため, 時を表す副詞が共た時制誤り検出の結果をそれぞれ示す. 表 10 において, 提案手

起することが多い [21]. また, 先行研究 [9] [10] でも, 時を表す副法と谷本の手法を比較すると, 提案手法がすべての指標におい詞を時制の決定に大きな影響を与える要因と見なしている. そ表 9 実験データの統計情報
略称

ファイル数

文数

単語数 動詞の数 時制誤りの数 誤り率 (%)

233

3,246

26,306

3,855

306

7.94

1,244 35,881 480,120

51,575

2,061

4.00

KJ コーパス
CLC FCE Dataset

表 10 KJ コーパスにおける時制誤り検出の結果
手法

TP

FP

FN

TN Precision

Recall

F1.0

F0.5

Accuracy

提案手法

56

62

250

3,487

0.475

0.183

0.264

0.360

0.919
0.923

CRF-TJR
谷本

MF

47

259

3,510

0.547

0.154

0.240

0.362

―

39

―

―

0.348

0.146

0.206

0.273

―

1,391

213

2,158

0.063

0.304

0.104

0.074

0.584

―

93

表 11 CLC FCE Dataset における時制誤り検出の結果
手法

TP

FP

FN

提案手法

300

326

1,761 49,188

CRF-TJR

279

281

1,782 49,233

1,150 26,563

911 22,951

0.041

MF

TN Precision

Recall

F1.0

F0.5

Accuracy

0.479

0.146

0.223

0.329

0.960

0.498

0.135

0.213

0.324

0.960

0.558

0.077

0.051

0.306

のため, 時間副詞を素性とする tmod を除いた場合の F0.5 が最も低下すると予想していた. しかし, 実際には F0.5 はあまり低下しない. 実は tmod の獲得率は, KJ コーパスでは 2.14%,

CLC FCE Dataset では 2.04%である. よって, 文章中に時間副詞が現れることが少ないため, tmod は時制誤り検出性能にあまり影響しなかったと考えられる.

6. お わ り に
本稿では, CRF を用いて英語の時制誤りを検出する手法を提案した. 提案手法ではまず, 与えられた英文から Stanford

Parser を用いて品詞タグと Typed Dependency を取得する.
この品詞タグと Typed Dependency を用いて, 動詞の選択, 時制の同定, 動詞の素性の獲得をおこなう. 獲得した素性を用いて CRF により時制を推定して, 時制誤りを検出した.
実験では, 時制誤り情報付きのデータセットである KJ コー
パスと CLC FCE Dataset を用いて提案手法を評価した. 時制
誤り検出実験では, KJ コーパスにおける F0.5 は 0.360, CLC

FCE Dataset における F0.5 は 0.329 であった. Tajiri ら [10]と比較すると, Precision は Tajiri らの方が高く, Recall は提案手法の方が高い傾向にあった. 時制誤り検出における有効な素性は, 動詞の見出し語, 副詞, 等位接続詞などであった.
今後の課題として, より多くの時を表す表現を素性に取り込
むことが挙げられる. 時間副詞を素性とする tmod の獲得率
は, KJ コーパスでは 2.14%, CLC FCE Dataset では 2.04%であった. よって, tmod だけでは, 時を表す表現を獲得するには十分ではない. また, そもそも時を表す表現は文章中にあまり現れない可能性がある. そのため, 別の表現を獲得することも含めて, 時制の手がかりを検討する必要がある. また, 構文解析
器による動詞のタグ付与は, 混同することが多々ある. 提案手法は, 構文解析結果に依存しているため, その結果に瑕疵があると正しく処理できない恐れがある. 実用性を高めるためには,潜在するほかの種類の誤りを同時に考慮する必要がある.

文

献[1] “The English eﬀect: the impact of English, what it’s worth
to the UK and why it matters to the world,” British Council, 2013.
[2] Dale, R. and Kilgarriﬀ, A., “Helping Our Own: The HOO
2011 Plilot Shared Task,” Proceedings of the 13th European
Workshop on Natural Language Generation, pp. 242–249,
2011.
[3] Dale, R., Anisimoﬀ, I. and Narroway, G., “HOO 2012: A
Report on the Preposition and Determiner Error Correction Shared Task,” The 7th Workshop on the Innovative
Use of NLP for Building Educational Applications, pp. 54–
62, 2012.
[4] Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C. andTetreault, J., “The CoNLL-2013 Shared Task on Grammatical Error Correction,” Proceedings of the 17th Conference on Computational Natural Language Learning: Shared
Task, pp. 1–12, 2013.
[5] Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto,
R. H. and Bryant, C., “The CoNLL-2014 Shared Task on
Grammatical Error Correction,” Proceedings of the 18th
Conference on Computational Natural Language Learning:
Shared Task, pp. 1–14, 2014.
[6] Nagata, R., Whittaker, E. and Sheinman, V., ”Creatinga mannually error-tagged and shallow-parsed learner corpus,” Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language
Techonologies, pp. 1210–1219, 2011.
[7] Yannakoudakis, H., Briscoe, T. and Medlock, B., ”A New
Dataset and Method for Automatically Grading ESOL
Texts,” Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language
Technologies, pp. 180–189, 2011.
[8] Mizumoto, T., Hayashibe, Y., Komachi, M., Nagata, M.
and Matsumoto, Y., “The Eﬀect of Learner Corpus Size in
Grammatical Error Correction of ESL Writings,” Proceedings of COLING 2012: Posters, pp. 863–872, 2012.
[9] Lee, J., “Verb Tense Generation,” Procedia-Social and Behavioral Sciences, Vol. 27, pp. 122–130, 2011.
[10] Tajiri, T., Komachi, M. and Matsumoto, Y., “Tense and Aspect Error Correction for ESL Learners Using Global Context,” Proceedings of the 50th Annual Meeting of the Association for Computational Languistics, pp. 198–202, 2012.

0.390F0.5 0.370

F0.5

0.350
0.330

0.350
0.330

0.310

0.310

0.290

0.290
0.270

0.270

0.250

0.250

0.230
0.210

0.230

(a) KJ コーパス(b) CLC FCE Dataset

図 6 各素性を除いた時制誤り検出の結果 (F0.5 )[11] Reichenbach, H., Elements of Symbolic Logic, The Macmillan Company, 1947.
[12] Webber, B. L., “Tense as discourse anaphor,” Computational Linguistics, Vol.14, No. 2, pp.61–73, 1988.
[13] Marcus, M., Santorini, B. and Marcinkiewicz, M. A.,“Building a Large Annotated Corpus of English: The Penn
Treebank,” Computational linguistics, Vol. 19, No. 2, pp.
313–330, 1993.
[14] de Marneﬀe, M.-C., MacCartney, B., Manning, C. D., “Generating Typed Dependency Parses from Phrase Structure
Parsers,” Proceedings of LREC, Vol. 6, No. 2006, pp. 449454, 2006.
[15] de Marneﬀe, M.-C. and Manning, C. D., “Stanford typed
dependencies manual,” 2008.
[16] Thomson, A. J. and Martinet, A. V., A Practical English
Grammar, Forth edition, Oxford University Press, 1986.
[17] Celce-Murcia, M. and Larsen-Freeman, D., The Grammar
Book: An ESL/EFL Teacher’s Course, SECOND EDITION, Heinle & Heinle, 1999.
[18] Laﬀerty, J., McCallum, A. and Pereira, F., “Conditional
Random Fields: Probablistic Models for Segmenting andLabeling Sequence Data,” Proceedings of the 18th International Conference on Machine Learning, pp. 282–289, 2001.
[19] Seymore, K., McCallum, A. and Rosenfeld, R., “Learning
hidden Markov model structure for information extraction,”
AAAI-99 Workshop on Machine Learning for Information
Extraction, pp. 37–42, 1999.
[20] 谷本太郁由, 検索エンジンを用いた英文誤り検出に関する研究,
岡山大学大学院, 修士論文, 2012.
[21] 神保尚武, 「英語の時制と副詞の共起関係」, 早稲田商学, Vol.
298, pp. 221–242, 1982.