言語処理学会 第21回年次大会 発表論文集 (2015年3月)

英語学習者コーパスのための句構造アノテーション
永田亮†

坂口 慶祐††† 甲南大学知能情報学部 †† Johns Hopkins University
E-mail: †nagata-nlp2015@hyogo-u.ac.jp, ††keisuke@cs.jhu.edu

うに，構文情報付き学習者コーパスの公開は関連する分野に

1. は じ め に大きく貢献するであろう．

本稿では，英語学習者コーパスを対象にした句構造アノ

そこで，本稿では，学習者英語を対象とした句構造アノテーションについて述べる．本研究の目的は，学習者特有のテーション手法を提案する．本研究の貢献は次の 3 点である：

言語現象に対して信頼性の高い句構造アノテーションを実現（1）学習者特有の言語現象に対して一貫性の高いアノテーすることにある．更に，本稿では，実際に句構造を付与したションを実現するための手法を提案する；（2）アノテーショ

学習者コーパスについて考察を行い，提案手法の有効性と問ン精度と学習者特有の句構造規則を示すことにより提案手法

題点について議論する．の有効性を検証する；（3）構築したコーパスを公開する（注 2）．

学習者コーパス向けの構文アノテーションに関しては，既に多くの研究が存在する．Nagata ら [3] は，品詞／句情報をアノテーションする手法を提案している．Foster [2] は，構
文情報付き母語話者コーパスに誤りを自動的に埋め込むこと

2. 基 本 方 針
アノテーション規則を策定するに先立ち，基本方針として次の 5 項目を制定した：で，誤りを含むコーパスを生成する手法を提案している（た(P1) 一貫性の重視だし，学習者の傾向を真に反映したものではない）．また，(P2) 規則集合の最小化

Ragheb ら [4] は，学習者英語を対象とした依存構造アノテー(P3) 表層形の重視ション手法を提案し，依存構造アノテーションにおける問題(P4) 編集距離の最小化点を明らかにしたという点で重要な位置づけにある．

(P5) 直感に基づいたアノテーション

一方で，学習者コーパス向けの構文アノテーション研究に「(P1) 一貫性の重視」は，提案アノテーション手法では，は未解決の問題も存在する．著者らが知る限り，学習者コー一貫性を最も重視するということを述べたものである．一般

パスを対象にした句構造アノテーションは存在しない（注 1）．に，アノテーション規則の複雑さと得られる情報量はトレー

句構造は依存構造に比べて，（i）語順に関する情報を直接取ドオフの関係にある．複雑な規則は，より詳細な情報を提供り扱える，（ii）構文構造を句対句という抽象的なレベルで表するかもしれないが，一貫性の高いアノテーションが行えな現できるというメリットがある．
（i）の性質により，語順の誤ければ，得られるコーパスの価値は低い．そこで，アノテーりを含む学習者の英文に対し，どのような句で語順の誤りがション規則を作成する際に複数の候補がある場合は，一貫性起こりやすいかを明らかにすることができる．更に，（ii）にが高くなるものを採択することとした．

より，学習者の特徴を句構造規則や構文木で表現できる．実「(P2) 規則集合の最小化」も，アノテーションの一貫性に際に， 5. で示すように，我々が構築したコーパスにおいて関するものである．句構造規則の数が増加するにつれて，ア学習者特有の句構造規則と木構造を発見することができた．

ノテーション作業は複雑になる傾向にある．そこで，新たなこのように，学習者の特徴を句構造規則，構文木として分析

句構造規則を追加する際には，規則の数が少なくなる方法をすることは第二言語習得の観点からも興味深い．本研究の最採択する方針とした．ここで，この方針は規則集合全体に及終的な目的は，母語話者の句構造規則に，どのような規則をぶことに注意する必要がある．新しい句構造規則の追加は，追加／削除することで学習者の英文を生成することが可能と既存の規則の修正，更なる規則の追加を引き起こす場合があなるのかを明らかにすることである．

るが，これらの全てを考慮して，規則集合の変化が極力少なまた，学習者コーパスを対象とした依存構造／句構造アノくなる方法を採択することとした．

テーションに共通した問題点として，コーパスが一般に公開「(P3) 表層形の重視」は，トークンの表層形に従いアノされていないという問題もある．誤り情報が付与されたコーテーションを行うことを要求する．学習者コーパスでは，誤パスの公開により文法誤り検出の性能が飛躍的に向上したよりに起因して一つのトークンに対して複数のアノテーション候補が考えられることがある．例えば，“*My university life（注 1）：Foster [2] の手法では，句構造付きのコーパスを生成できるが，上述の通り学習者の傾向を真に反映したものではない．

（注 2）：詳しくは，http://nlp.ii.konan-u.ac.jp/ を参照のこと．

― 24 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

is enjoy.” では，“enjoy” は表層形に従うと動詞，文脈に従S

うと形容詞や名詞などが候補となる．このとき，（P3）は表NP VP-ERR

層の品詞である動詞を選択することを要求する．これは，上の例のように，文脈に従うと選択肢が複数となることが多くIϕ ADJP一貫性を低下させる原因となるためである．
「(P4) 編集距離の最小化」は，誤りを含む文から正しい文を復元する方法を規定する．アノテーションに際して，正busyとなる．この機能タグにより主辞が脱落していたとしても，しい文が必要となることは少なくないが，通常，複数の訂正既存の PTB-II をそのまま適用することができる．

候補が考えられる．
（P4）は，訂正前後の編集距離が最小となるものを正しい英文として選択することを要求する．

主辞の脱落を同定するためには正しい英文を復元する必要がある．その際に，基本方針（P4）が重要な役割を果た

以上の基本方針が適用できないケースについては，「(P5)

す．例えば，“*I want to happy.” では，訂正候補として少直感に基づいたアノテーション」を行うこととした．ただし，なくとも “I want to be happy.”（編集距離 1）と “I want

一貫性の低下を避けるため，基本方針の優先順位は（P1）–happiness.”（同 3）の二つを想定することができるが，（P4）（P5）の順とする．

により，前者を採択し，脱落があるとする：“(S (NP I) (VPwant (VP (PP to) (VP-ERR ϕ (ADJP happy)).)”．

3. アノテーション規則

3. 2 余剰タイプのアノテーション

本アノテーション規則で基礎となるのは，学習者の英文を余剰タイプとは，不要な語が挿入された誤りのことであ対象とした品詞／句情報アノテーションガイドライン [3] である．例えば，“*She discussed about it.” では下線部が不要る．このガイドラインでは，Penn Treebank II-style brack-である．

eting guidelines [1]（以降，PTB-II と省略）のタグセットを

この例において，“about” の品詞はそれほど自明でない．表

採択している．従って，提案手法も，同じタグセットとアノ層形からは前置詞と解釈することができる一方で，“discuss”

テーションガイドラインに準じる．ただし，PTB-II の機能は前置詞を必要としないことから前置詞でないと主張するこ

タグ，副詞タグ，空要素については対象外とする．とも可能である．この例のように，余剰タイプの誤りは，表これらのタグセットとアノテーションガイドラインをもと層形と文脈が要求する品詞に不一致を引き起こす．に，学習者英語向けのアノテーション規則を作成するにあた

そこで，基本方針（P3）を利用して，表層形に従い品詞をり，大きな問題となるのは文法誤りである．文法誤りは，脱決定する．よって，上述の “about” は前置詞とする．より落，余剰，置換の 3 タイプに分類されることが多く，本稿で上層の構造は，PTB-II を表層形の品詞に適用して決定できも，この 3 タイプに分けてアノテーション規則を説明するることが多い（このことは，同時に（P2）も満たす）．上述（注 3）．なお，規則に関する完全な記述については，コーパスに付随したアノテーションガイドラインを参照されたい．の例の場合，“(S (NP She) (VP discussed (PP (IN about)(NP it)))).)” とタグ付けできる．

3. 1 脱落タイプのアノテーション

一方で，既存の PTB-II を適用できない場合もある．具体脱落タイプとは必要な語句が脱落している誤りのことである．例えば，“*I am student.” では限定詞の脱落がある．

例として，“*It makes me to happy” を考えてみる．
（P3）により，“*It/PRP makes/VBZ me/PRP to/TO happy/JJ”

幸い，既存の PTB-II により大部分の脱落タイプの誤りをと容易に品詞を決定できる．しかしながら，PTB-II には品取り扱うことができる．例えば，上述の例では，限定詞の脱詞列 “TO JJ” に適用できる規則がなく，新たな句構造規則

落に関係なく，表層形に従い次のようにタグ付けが行える：

が必要となる．このとき，三つの単語をまとめて句とする方(S (NP I) (VP am (NP student)).)（注 4） ．

法には次の三種類がある：

一方，句の主辞（head）の脱落は問題となることがある．
例えば，“*I busy.” では，動詞が脱落しているため，文を表to happy

す S 構造をアノテートすることができない．
この問題を解決する手段として，機能タグ “-ERR” を提案する．この機能タグは，当該句の主辞が脱落していることを表す．具体的には，対応する句のタグに “-ERR” を付け，主me tome

to happy

この中で，最初の案が最も直感にあう．より形式的には，次のように説明することができる．二番目の案は後置詞を暗に仮定する．これは，英語の前置詞システムと競合し，PTB-IIの規則の広範囲に影響が及ぶ（（P1）に反する）．同様に，三辞の脱落を “ϕ” により表す．上述の例の場合，番目の案は，代名詞，前置詞，形容詞から新たな句を生成す（注 3）：実際には，語順の誤り，フラグメント，メカニクスの誤りなどに対応するためのアノテーション規則も存在する．
（注 4）：これ以降の例では，議論に直接関係ない部分の構造は略記する．

ることに相当し，PTB-II への影響が大きい．一方で，一番目の案では，前置詞は別の句（ただし，通常は形容詞句とでは― 25 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

ないが）と前置詞句を生成できることを考慮すると PTB-IIの誤りなどにより品詞が特定できない語に使用する．XP は，への影響が最も少ない．また，一番目の案では，誤りにより句の境界や主辞が不明である際に使用する．

S

4. コーパスアノテーションNP?

meTO ADJP

提案手法を利用して，句構造アノテーションを行った．対象コーパスとして，Konan-JIEM learner corpus [3]（以降，KJ コーパスと省略）を選択した．KJ コーパスには，品詞とto happyと示されるように，三つの単語から S を生成できるため，よ句の情報が人手で付与されており，本作業では，その情報をり上層の構造との整合性が高い．よって，一番目の案を採択には，同コーパスの文法誤りの情報も利用した．ただし，アすることとする．残された問題は，当該句の名前を決定する

ノテーションの効率を考慮し，本作業では主動詞と前置詞のことである．候補として，上層の S を導ける前置詞句と形容脱落のみアノテーションした．これは，その他の主辞脱落に詞句が考えられる．前述の通り，前置詞は別の句と共に前置

対しては，既存の PTB-II が適用できる場合が多いためであ詞句を構成できることを考慮すると前置詞句とするのが妥当

る．適用できない場合は，XP で対応することとした．

そのまま利用した．更に，主辞の脱落のアノテーションの際そうである．また，句の主辞性を考慮すると，直接の子要素アノテーション作業には，プロのアノテータ二人が参加に主辞になりえる語がある場合，その語の品詞で句の名前をした．まず，一人目の作業者が全データのアノテーションを決定することは自然である．以上の議論により，当該句を前行った．作業終了後，結果に関して作業者と著者で議論を行置詞句とする．最終的に，上述の例文は，“(S (NP It) (VPい，アノテーション規則を一部修正した．修正後の規則を用

makes (S (NP me) (PP (TO to) (ADJP happy)))))” とタ

いて，同じ作業者がアノテーション結果の再チェックを行っグ付けする．

た．次に，コーパスから 30 文書をサンプリングし，トライ

これらの手順は，次のように一般化できる：（a）直感的にアルセット（11 文書，122 文，919 トークン）と評価セット

まとまりが良い句を採択する（ただし，その際には新たに追（19 文書，211 文，1,785 トークン）に分割した．最後に，二加される規則の数を最小とする方法を採択），（b）句のラベ

人目の作業者が両セットのアノテーションを行った．トライ

ルは，その句内の直下の語（語がない場合は句）のうち主辞アルセットについては，必要に応じて最初のアノテータと相となることができるもののタグにより決定する．

談することを許し，作業終了時に，二人の結果の差異を提示

3. 3 置換タイプのアノテーションした．評価セットは独立に作業を行った．

置換タイプとは，別の語に置き換える必要がある誤りを指全ての作業終了後，二人の作業者間の一致率を求めた．具す．置換後も同じ品詞となる誤りであれば，既存の PTB-II

体的には，一人目の作業者の結果を正解データとみなして，がそのまま利用できる．従って，新たな句構造規則を作成す

再現率，適合率，F 値，完全一致率を求めた（EVALB（注 7）とる必要はない．

パラメタ COLLINS.prm を用いた）．

一方，二つの品詞に渡る置換の場合，表層形と文脈が要求

表 1 に，評価結果を示す．表 1 より，一致率が非常に高する品詞に不一致が生じるため特別な処置が必要となる（注 5）．

いことがわかる．このことは，誤りが頻出する KJ コーパス

例えば，“*I went to the see.”（正しくは “sea”）では，動詞（平均誤り率 1.3 個／文）に対して，提案手法で一貫した句構と名詞の間で曖昧性がある．提案手法では，従来研究 [3], [4]造アノテーションを実現できたことを示す．実際，文法誤りでも採択されている二層のタグ付けを行う．二層のタグ付けに起因したアノテーションミスは非常に少ない結果となった．とは，表層形／文脈の品詞両方をタグ付けすることである．

不一致の最も大きな原因は，主語と主動詞の間にある副詞句提案手法では，特別なタグ “CE：表層の品詞：文脈の品詞”の解釈であった（例：I often go）．PTB-II では，動詞句の子で 2 種類の品詞をタグ付けする（注 6）．CE より上層の構造に要素，S の子要素どちらとしてもよいため，二人の作業者間ついては，文脈の品詞に基づいて決定する．

で不一致が頻繁に見られた（従って，厳密にはアノテーショ

基本的には，3. 1– 3. 3 で述べた方法により句構造アノテー

ンミスとは言えない）．一致率が非常に高い別の理由として，ションを行うが，これらの規則が適用できない言語現象も存

KJ コーパスでは，平均文長が比較的短く（平均 8.0 語），複在する．その場合，UK と XP タグで対応する．UK は表記

雑な構文が少ないことも挙げられることに注意する必要がある．書き手のレベルが向上し，構文が複雑になったとしても（注 5）：正確には，NN と NNS のような置換であれば，PTB-II が適用可能である．問題となるのは，名詞と動詞のように品詞の大分類が異なる場合である．詳しくは，ガイドラインを参照のこと．

同様な一致率が達成できるかは更なる調査が必要である．今回の結果は，少なくとも KJ コーパスと同レベル（novice〜（注 6）：実際のアノテーションでは，XML を用いて二種類の品詞をコーディングする（例：<CE suf=”VB” con=”NN”>see</CE>）．

（注 7）：http://nlp.cs.nyu.edu/evalb/― 26 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1： アノテーションの一致率．

Set

再現率

適合率

F 値

完全一致率

Trial

0.980

0.981

0.980

Test

0.966

0.980

0.973

表 2： 特徴的な句構造規則．
過剰使用

過小使用

0.910

PP → ϕ NP

S → S , NP VP .

0.853

S → XP VP .

S→S:S.

VP → ϕ ADJPNP → NP JJ NN

PP → ϕ S

S → ADVP VP

PP → TO UP

VP → VB VPSBAR → IN NN TO S

NP → NP NP

S → XP .

NP → NP , NP

S → ADVP NP ADVP VP .

VP → VBD SBAR

VP → VBP S ADVP

VP → ADVP VBN PP

VP → ϕ NP

VP → VBN S

intermediate）の英文に対しては一貫性の高いアノテーションが実現できることを示唆する．

5. 考察

前節で，一貫性の高い句構造アノテーション結果が得られたが，このアノテーションが学習者の特徴を適切に記述しているかは更なる議論が必要である．一貫性を重視する提案手法ではシンプルな規則を好むため，学習者の特徴を十分に反映していない可能性もある．

干渉として英語に転移したと分析できる．
一方，過少使用のカラムは，KJ コーパスでは複雑な構文

そこで，アノテーション結果から特徴的な句構造規則を抽の使用が少ない傾向にあることを示す．例えば，右辺に S，出するというパイロットスタディを行った．抽出の基本アイデ

SBAR，VBN を含む規則が半数を占めるが，いずれも複雑

アは，KJ コーパスと母語話者コーパス（Penn Treebank-II），な構文を導入する規則である．KJ コーパスの書き手は，こそれぞれから得られる句構造規則を比較するというものであれらの規則を十分に習得していない可能性が高い．従って，る．句構造規則を A → B ，その条件付き確率を p(B|A) とこれらの規則を（学習者が理解しやすい形で）提示することしたとき， A → B の特徴度をは，効果的な学習支援となると期待できる．このように，句s(A → B) = log

pL (B|A)pN (B|A)

構造アノテーションは，学習者英語の特徴を明らかにするだ(1)

けではなく，学習支援のための重要なデータにもなる．と定義した（L と N により学習者コーパスと母語話者コー

以上の通り，シンプルな手法に基づくにもかかわらず，得パスを区別する）．条件付き確率は，予期尤度推定法によりられた結果は示唆に富むものである．このことは提案手法で推定した．頻度を求める際には，機能タグ，副詞タグ，空要

学習者の特徴（少なくともその一部）を適切に記述できるこ素を削除し，コーパス間の差異を極力減らすようにした．まとを示す．同様な分析を構文情報付きコーパスなしで網羅的た，統語的特徴をより明確にするため，終端記号及び前終端に行うことは困難であろう．

記号のみから成る規則は対象外とした．更に，今回用いた

6. お わ り に母語話者コーパスに頻出する数量表現を含む規則（例：(NP
本稿では，英語学習者コーパス向けの句構造アノテーショ(QP 100 million) yen)）も対象外とした．
表 2 に，特徴度の昇順／降順でソートした句構造規則の上位 10 件を示す．昇順／降順のカラムは，KJ コーパスで過剰に対して一貫性の高いアノテーションを実現するための基本方針とアノテーション規則を提案し，（2）アノテーション精／過小使用される規則に対応する．
過剰使用カラムでは，主辞の脱落を示す ϕ が多く含まれることがわかる．このことは，母語話者コーパスでは ϕ が定義されないことを考慮すると驚くべきことではない．しかしながら，表 2 に示される規則は，どのような統語環境で主辞の脱落が起こりやすいかも明らかにする．例えば，名詞句の前に位置する前置詞の脱落に加え，S を導く前置詞句における脱落も明らかにしている（例：*I am goodンについて述べた．本研究では，（1）学習者特有の言語現象

playingfootball.）．より興味深い規則として “VP → ϕ ADJP” を挙げることができる．実際にどのような文でこの規則が使用されているかコーパスを調査したところ， 3. 1 で構文木を示した “*I busy.” のような形容詞述語文における動詞の脱落に対応することが明らかとなった．このことは，「形容詞述語文ではコピュラが省略可能である」という日本語の性質が母語度と学習者特有の句構造規則を示すことにより提案手法の有効性を示した．現在，作成したコーパスを公開中である．今後は，より洗練された抽出手法（例えば，一部語彙化した規則や部分木のマイニング）を用いて，更なる学習者の特徴解明に取り組む予定である．
参考文献[1] A. Bies et al., “Bracketing guidelines for Treebank II-stylePenn Treebank project,” 1995.
[2] J. Foster, “Treebanks gone bad: generating a Treebankof ungrammatical English,” 2007 Workshop on Analytics
for Noisy Unstructured Data, pp.39–46, 2007.
[3] R. Nagata et al., “Creating a manually error-tagged
and shallow-parsed learner corpus,” Proc. of 49th ACL,pp.1210–1219, 2011.
[4] M. Ragheb et al., “Defining syntax for learner language
annotation,” Proc. of 24th COLING, pp.965–974, 2012.

― 27 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.