言語処理学会 第25回年次大会 発表論文集 (2019年3月)

日本語作文の自動誤り訂正における統計的機械翻訳とニューラル機械翻訳の性能評価
藤本 恭子 ††

水本 智也 ‡

井上 一成 †‡

明石工業高等専門学校 電気情報工学科

理研 AIP奧村 紀之 §§

大手前大学 現代社会学部† {e1433@s., kinoue@}akashi.ac.jp, ‡ tomoya.mizumoto@riken.jp § noriyuki@otemae.ac.jp

1

はじめに

関連研究

2

第二言語として日本語を習得しようとする外国人に本論文の評価対象である統計的機械翻訳およびニュー

とって，文法，綴り，語彙選択などの誤りを検出し，訂ラル機械翻訳を用いた自動誤り訂正システムは，学習者正することは容易ではない．また，日本語学習者のための文と人手による添削文を対にした大規模なテキストの日本語教師の数はおよそ 6 万人である一方で，学習者データを必要とする．水本ら [1] は，大規模学習者コーの数はおよそ 365 万人であり，学習者 1 人あたりの教師

パスとフレーズベース統計的機械翻訳 (SMT) を用いたの数が不足しているのが現状である（2015 年現在）．

日本語作文の自動誤り訂正の手法を提案している．この

本研究では，日本語教師が行う仕事の一つである日本語研究では，日本語作文を対象とした自動誤り訂正におけ作文の添削を，自動誤り訂正システムを用いて代替する

る，相互添削型 SNS から取得した大規模な学習者コーことで日本語教師の負担を減らすことを目的とする．英パスの有用性を示している．

語の自動誤り訂正は深層学習を使った手法を含め多くのChollampatt ら [3] は多層畳み込みニューラルネット

手法が提案されて研究が進んでいる [3] 一方で、日本語

ワーク (CNN) を用いることで，英語作文の自動誤り訂の自動誤り訂正は水本らの統計的機械翻訳（SMT）を正を試みている．この CNN を用いた自動誤り訂正は，使った誤り訂正以来ほとんど行われていない [1]．

従来の SMT を用いた英語作文の自動誤り訂正に比べて本研究では，主として日本語学習者によって書かれた日本語作文に含まれる種々の誤りを検出し訂正する手法
として，英語の自動誤り訂正で使われているニューラル
機械翻訳（NMT）技術を利用した誤り訂正手法を構築する．一般に，日本語のような明示的な区切りを持たな
い言語を扱う場合，分かち書きの技術が必要となる．しかし，たとえ文法的に正しい文であっても分かち書きが正しく行われる保証ははく，誤りを含む文に対する分か
ち書きの頑健性は保証されない．そのため英語を対象とした誤り訂正技術を日本語に適用する際，分かち書きに

F0.5 値が 13.63 ポイント上回っている．学習者の文は局所的な誤りが多く，文法誤りも近隣語にのみ依存することから，より小さな窓幅でたたみ込んだ CNN は局所的な誤りの訂正に強いと報告されている．局所的な誤りは日本語の作文でも多く見られることから，本研究でもCNN の訂正システムを用いる．本研究では，NMT の中でも CNN を用いた自動誤り訂正を日本語作文を対象に実施した．

提案手法

3かかる問題を解決する必要がある．また、別の問題とし本節では，大規模学習者コーパスと NMT を用いた自て同じ表層の単語でも異なる用法になる曖昧性の問題が

動誤り訂正システムを作成し，従来の SMT を用いた自ある．

動誤り訂正システムとその性能を比較評価する．NMT

これらの問題を解決するため、本稿では，形態素解析を用いた自動誤り訂正システムを作成する上で，よりシ器を使用しない文字単位での対応によるモデル，分かちステムとして有用な誤り訂正を実現することが大きな目書きの結果に品詞情報を付与したモデルをそれぞれ構築標となる．英語と異なり日本語の場合，単語に区切られ

し，日本語の自動誤り訂正の性能評価を行った．その結ていないため，訂正をする前に単語に分割する必要があ

果、水本らの SMT による誤り訂正手法に対し，GLEU

るが，誤りを含んだ文では正しく分かち書きできない可

スコアで 13.65 ポイントの改善が見られた．また，NMT

能性がある．また，別の問題として，同じ表層の単語でに基づく誤り訂正手法に適したモデルは文字単位での対も品詞が異なると訂正されやすい単語も変わると考える．

応によるモデルであることを確認している．

本研究ではこれらの問題に対して入力とするコーパス― 414 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

の形式を変えることで対処する．まず最初に基本的な単応コーパスに含まれるテキストデータの例である．
Learner: ま た 寝 よ う と し ま し ょ う 。
Correct: ま た 寝 て み る と し ま し ょ う 。

語-単語対応コーパスの話をした後、文字-文字対応コー
パスと品詞情報付き単語-単語対応コーパスについて説明する．なお，実験に使用した 3 つのコーパスは全て文字-文字対応コーパスは，形態素解析器を用いないた

Chollampatt ら [3] のモデルを用いて学習する．

め，単語-単語対応コーパスに現れるような解析誤りの3.1

影響を受けない．

単語-単語対応コーパス

一般的に機械翻訳で日本語から他言語に変換する場

3.3

品詞情報付き単語-単語対応コーパス

合，単語に分割してから翻訳を行う．本研究において，品詞情報付き単語-単語対応コーパスは，分かち書き

日本語学習の自動誤り訂正に向けた学習に用いるテキにおける品詞の違いを考慮したものである．以下は，品

ストデータ (学習者の文と人手による添削文の対) に含詞情報付き単語-単語コーパスに含まれるテキストデー

まれる各文を分かち書きしている．分かち書きを行っ

タの例である．
Learner: こん<名詞> いち<名詞> は<助詞> !!<名詞>
Correct: こんにちは<感動詞> !!<名詞>

たテキストデータを単語-単語対応コーパスとする．な
お分かち書きには，mecab-ipadic を辞書として用いた

MeCab0.9961 を使用する．以下に単語-単語対応コーパ

品詞情報付き単語-単語コーパスでは，分かち書きをしスに含まれるテキストデータの例を示す．Learner は学たテキストデータに MeCab の出力結果から得た品詞情

習者の文，Correct は人手による添削文である．

報を利用してタグを付与している．

Learner: また 寝よ う と し ましょ う 。
Correct: また 寝 て みる と し ましょ う 。

実験4

水本ら [1] は学習者の文に分かち書きを行う際の問題点

実験では，3 つのコーパスを使って日本語作文の自動として，学習者の文に対して正しい分かち書きができな

誤り訂正システムを作成し，それぞれのシステムを定量

い点を挙げている．表 1 は，学習者の文と人手による添的，定性的に検証する．また，SMT と NMT のそれぞれ

削文のそれぞれを分かち書きした例である．

用いた自動誤り訂正システムの性能を評価するために，
ベースラインとして水本らの研究の再現実験を実施した．

表 1: 分かち書きの例
原文
分かち書きした文Learner

こんいちは!!

こん いち は !!

Correct

こんにちは!!

こんにちは !!

実験には既存の統計的機械翻訳システム Moses4.02 と単語アライメントツールとして GIZA++3 を利用した．

4.1

データセット

本研究では，水本らが発表した相互添削型 SNS であ
分かち書きされた学習者の文と人手による添削文の分る Lang-8 から抽出した大規模学習者コーパス (Lang-

かち書き結果を比較すると，学習者の文には形態素解析

8 Learner Corpora) を用いた．また，日本語作文を自誤りが含まれており，人手による添削文と対応を取るこ

動誤り訂正の対象とするという観点から，全作文デーとができない．また，単語-単語対応コーパスは，同じ

タのうち，学習者の母語に関わらず日本語の作文デー

単語でも場合によっては品詞や用法が異なる可能性があタ 28,978 エッセイ分 (2,345,274 文対) のみを抽出した．

る．例えば，「そうよ」という文と「このよはむじょう

Lang-8 Learner Corpora の特徴として，添削文にコメ(この世は無常)」という文のそれぞれに形態素解析を行ントが付与されることが挙げられる．添削文にコメント

うと，それぞれの文に含まれる「よ」という単語は，「そが存在する場合，本来必要のない文が添削文に挿入されうよ」の場合は助詞，「このよはむじょう」の場合は名詞ていることとなり，学習者の文とのレーベンシュタインとなる．コーパスの性質上，これらの「よ」は同じ語彙

距離は大きくなる．レーベンシュタイン距離とは，1 文とされるが，日本語作文内に現れた時，品詞の異なる同字の挿入・削除・置換によって、一方の文字列をもう一じ単語が同じ文脈で用いられることはない．これらの問方の文字列に変形するのに必要な手順の最小回数として題を解決するのが，次の文字-文字対応コーパスおよび定義される．

品詞情報付き単語-単語対応コーパスである．

3.2

そのため，水本ら [1] の手法と同様に，学習者の文と人手による添削文のレーベンシュタイン距離が 5 以上で文字-文字対応コーパス

文字-文字対応コーパスは，学習に用いるテキストデー
タに文字分割を行ったものである．以下は文字-文字対ある場合は，その文対を学習コーパスから除去した．
また，Yoon-Hyung ら [2] の研究では，機械翻訳におい2 http://www.statmt.org/moses/

1 http://taku910.github.io/mecab/

3 https://github.com/moses-smt/giza-pp/― 415 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

て長い文を翻訳することへの問題点を挙げている．SMTのうち，文字-文字対応コーパスが最も高い GLEU スコを用いた自動誤り訂正では，学習者の文と人手による添アを記録し，単語分割を用いたコーパスに比べて平均で

削文で単語同士の対応関係を解析する単語アライメン

2.6 ポイント以上 GLEU スコアが高くなった．

トという処理を行うため，構文が曖昧であると解析に問題が生じる．本研究では，この問題を解決するため，読みやすい文の限界を 80 文字と定め，80 文字以上で構成される文を長い文と仮定した．そして，80 文字以上の長い文を除去した．これらの処理を行った結果，全体

4.3

定性評価

表 3 から表 8 に，日本語作文の自動誤り訂正における各システムの実際の出力例を示す．表 3 は評価対象である 4 つ全てのシステムで訂正ができた例である．
表 3: 全てのシステムで訂正できた例
学習者の文
そのよるを祭りがおわります。

の 13.6%(312,415 文対) が除去された．本節以降，残りの 2,027,459 文対を用いて学習を行うこととする．訓練
データと開発データには Lang-8 Learner Corpora を使システムの出力

そのよる祭りがおわります。

用し，テストデータには日本語学習者による日本語/母人手による添削

そのよる祭りがおわります。

4

語発話の対照言語データベース [4] を用いた．訓練デー
タは 2,022,059 文対，開発データは 5,400 文対，テスト

どのシステムも 1 文字から 3 文字程度の短い単語の挿入

データは 4,952 文対である．訓練は開発セットで最良のや削除を行う訂正は，いくつか訂正ミスがあるもののほ

BLEU スコア [6] を示した Epoch 数で終了している．

とんど問題なく行えた．

4.2

単語-単語対応コーパスを用いたシステムの正しい出

定量評価

実験結果は GLEU[5] を使って評価する．評価の際，全力例を表 4 に示す．
表 4: 単語-単語対応コーパスの出力例
学習者の文
子どもに親しくしられません。

てのシステムを同じ基準で評価するため，システムからの出力文は一度スペースの無い日本語作文に加工し，その後分かち書きを行った．GLEU では，評価システム

システムの出力

子どもに親しくできません。

の出力と人手による添削文の 4-gram 一致率から，学習

人手による添削

子どもと親しくできません。

者の文と評価システムの出力には存在し正解文に存在しない 4-gram が多いほど減点することによって評価する． 単語-単語対応コーパスを用いたシステムでは，入力され表 2 に各自動誤り訂正システムの GLEU スコアを示す． たテストデータに対して，“しられません” を “できません” に変換できた他，“びっくりした” を “びっくりしま

表 2: 各自動誤り訂正システムの GLEU スコア
入力コーパス
MT の種類 GLEUした”, “味があります” を “味がします” といったより人
間らしい表現に置換訂正をすることも可能であった．こ

学習者の文

-

42.11

単語-単語

のように，単語-単語対応コーパスを用いたシステムは，

NMT

48.70

添削の際に頻繁に注意される語彙の置換に秀でる一方，

文字-文字

NMT

51.35

品詞情報付き単語-単語“やっぱり” を “やぱり” とする，入力ミスなどが原因の

NMT

48.60

文法と関わりのない誤りはあまり訂正されなかった．

単語-単語 (Baseline)

SMT

37.70

表 5 は文字-文字対応コーパスを用いたシステムの正しい出力例である．

SMT を用いた自動誤り訂正システムと NMT を用い

表 5: 文字-文字対応コーパスの出力例
学習者の文
私のために、煙草を吸あない。

た自動誤り訂正システムを比較すると，文字-文字対応
コーパスで学習した NMT を用いたシステムの方が 13.65
ポイント GLEU スコアが高い．また，学習者の文における GLEU スコアと各自動誤り訂正システムの GLEU
スコアを比較してみても，SMT を用いたシステムが学
習者の文の GLEU スコアを約 5 ポイント下回ったのに対して，NMT を用いたシステムは学習者の文の GLEU
スコアを 18 ポイント以上上回った．
次に，NMT を用いた自動誤り訂正システムにおける入力コーパスに着目する．提案した 3 種類のコーパス
4 http://db3.ninjal.ac.jp/contr-db/

システムの出力

私のために、煙草を吸わない。

人手による添削

私のために、煙草を吸わない。

文字-文字対応コーパスを用いたシステムは，このように “吸あない” を “吸わない”, “結婦式” を “結婚式” といった 1 文字の挿入，置換，削除など，局所的な誤りの訂正に強いことが分かった．
品詞情報付き単語-単語対応コーパスを用いたシステ
ムの誤り訂正は，学習者の文をより人間らしい表現に置換訂正できる点で単語-単語対応コーパスを使ったシス― 416 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

テムと誤り訂正の傾向が似ていた．しかし，表 6 に示

多い．水本らは，SMT を用いた日本語作文の自動誤り

すような名詞を組み合わせた文が全く違う文章に置き換

訂正において，学習データとテストデータのドメインがわってしまうといった特徴が見られた．

一致しているほど，再現率が高くなったと述べており，

NMT を用いた日本語作文の自動誤り訂正に関しても，

表 6: 品詞情報付き単語-単語コーパスの出力例
学習者の文
作文課題 2システムの出力よろしくお願いします。

人手による添削

作文課題 2

学習データとテストデータのドメインが一致していれば，さらに人手の添削に近い誤り訂正が可能だと考えられる．

また，表 7 のように単語-単語対応コーパスと品詞情報付き単語-単語対応コーパスに共通して，学習データに含まれない固有名詞が未知語 (<unk>) として訂正文に現れてしまうという特徴があった．

おわりに

6

本研究では，大規模学習者コーパスと NMT を用いた
自動誤り訂正システムを作成し，従来の SMT を用いた
自動誤り訂正システムとその性能の比較評価を行った．
英語作文の自動誤り訂正の分野で高い成果を挙げた手法

表 7: 分かち書きを用いるシステム共通の出力例
学習者の文
ナークは仏になります。

を，日本語作文にも適応することで，従来の SMT を用システムの出力<unk>は仏になりました。

ポイント優れた自動誤り訂正システムを構築することが人手による添削

ナークは僧になります。

できた．

いた自動誤り訂正システムよりも GLEU スコアで 13.65

その一方で，未知語問題や学習や評価に用いたテキス
表 8 に示すように，SMT を用いた自動誤り訂正におトデータのドメインの違いなど，自動誤り訂正システム

ける特徴として，文章内に新たな語彙を追加したり，語として不完全なところも多く確認された．今後は，未知彙を代替するような訂正に優れていることが分かった． 語問題への取り組みやテキストデータを精査し，システ
ム性能の向上を目指す．

表 8: 単語-単語対応モデル (SMT) の出力例
学習者の文
一度見るつもりです。
システムの出力

一度この目で見るつもりです。

人手による添削

一度見てみたいです。

しかしながら，この特徴は以下の例のように不要な情報

参考文献[1] 水本 智也・小町 守・永田 昌明・松本 裕治 (2013)「日本語学習者の作文自動誤り訂正のための語学学
習者 SNS の添削ログからの知識獲得」,『人工知能学会論文誌』28, p420-432, 人工知能学会.

[2] Yoon-Hyung Roh, Young-Ae Seo, Ki-Young Lee,Sung-Kwon Choi(2001)「Long Sentence Partitioning using Structure Analysis for Machine Transla人手による添削文，Output はシステムの出力文である．
tion」NLPRS，November 27th, 2001.
Correct: 祭礼は朝から始まります。

を文章に入れてしまう原因にもなりやすい．Correct は

Output : 祭礼は朝 7時から始まります。

5[3] Shamil Chollampatt and Hwee Tou Ng(2018)「Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction」
AAAI-18, February 2nd-7th, 2018.

考察
本実験で用いた学習データは相互添削型 SNS の添削

ログ，テストデータは日本語を母語としない日本語学習者による作文課題とその添削結果である．以下に示す
ように，相互添削型 SNS の添削ログ (添削ログ) は，コ
ミュニケーションを行うツールを利用したものであるた
め，砕けた表現が多い一方、日本語学習者による作文課
題とその添削結果 (作文課題) には，堅い表現が多い．
添削ログの文例: 遠藤さんカワ (・∀・)イイ!!
作文課題の文例: 今年、「ハリラヤ」が二回あります。

つまり，それぞれの文章は用いられる場面や日本語の習熟度が違う為，誤りの傾向にも違いがあると予想される．例えば，添削ログに含まれる文には助詞誤りの訂正が多く，作文課題含まれる文には語彙や表現の訂正が[4] 宇佐美 洋・籠宮 隆之・椙本 総子 (2004)「『日本語学習者による日本語/母語発話の対照言語データベース』の設計」,『聴覚研究会資料』34, p253-p258, 日
本音響学会．
[5] Napoles Courtney, Sakaguchi Keisuke, Post Matt,
Tetreault Joel(2015)「Ground Truth for Grammatical Error Correction Metrics」,『Proceedings of the
53rd Annual Meeting of the Association for Computational Linguistics and the 7th International
Joint Conference on Natural Language Processing』, p.588-p.593, Association for Computational
Linguistics．
[6] Kishore Papineni, Salim Roukos, Todd Ward, WeiJing Zhu(2002)「BLEU: amethod for Automatic
Evaluation of Machine Translation」, 『Proceedings of the 40th Annual Meeting of the Association
for Computational Linguistics』, p01-p1040 , ACL.

― 417 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.