言語処理学会 第26回年次大会 発表論文集 (2020年3月)

写真を用いた英文記述問題の低コストな自動採点方法の検討
古屋昭拓†

亮††

永田James Tomko†† 甲南大学 †† 甲南大学知能情報学部
E-mail: †{s1771095,f1970001}@ s.konan-u.ac.jp., ††nagata-nlp2020@ ml.hyogo-u.ac.jp.

モデルを用いて文生成を行うことが多い．言語モデルを用い

1. は じ め にる場合，入力画像に対して，任意の文の生成確率を推定する

記述式問題の採点は時間とコストを要するため，自動採点ことができる．画像（写真）の内容に即した文であれば生成の研究が盛んに行われている．特に，英語を対象にした研究確率は高くなり，逆に画像と関連が低い文であれば生成確率が盛んである．例えば，日本語文を英文に翻訳する和文英訳は低くなる．また，言語モデルの性質により，誤りが多く含問題の自動採点 [6] や自由記述を対象にしたエッセイライティまれるなど不自然な文の生成確率は低くなる．このように，ングの自動採点 [1], [2] など多くの研究が存在する．

生成確率の大小は，写真描写問題の採点に深く関連すること

本稿では，研究例の少ない写真描写問題の自動採点を対象が期待できる．にする．詳細は，2. で説明するが，写真描写問題とは与えら

本稿では，パイロットスタディとして，画像キャプションれた写真の内容を描写する英文を作成する記述式問題である生成手法 [4] の写真描写問題の自動採点への流用可能性を調（注 1）．写真描写問題では，重要なライティング能力の一つで査する．具体的には，写真描写問題 6 問を対象にして，同手ある風景や状況を適切に描写するという能力を直接問えると法から得られる文の生成確率と写真描写問題のスコアの関係いう利点がある（和文英訳やエッセイライティングでは直接を調査した結果を報告する．また，その結果に基づき，低コ問いにくい）．また，写真という制約があるものの記述内容

ストで高性能な自動採点を実現するために必要となる技術との自由度は比較的高く，使用する語句と表現の多様性という残された課題を考察する．

面からもよい点がある．
写真描写問題の採点は大きく二つの観点から行われる．一2. 写真描写問題

点目は，写真の内容である．すなわち，写真の内容に即した写真描写問題は，与えられた写真の内容に合う英文を書く文を作成しなければならない．二点目は，英文としての正し問題である．様々なバリエーションが考えられるが，例えばさである．文の理解を妨げるような誤りは減点対象となる．

TOEIC（注 2）のライティングテストでは，与えられた二つの語以上をまとめると，写真描写問題の採点は，写真の内容，英句を使用して，一文で解答することが求められる．TOEIC文の内容，および英文の文法的正しさを考慮して行う必要がライティングテストの公式ガイド [3] によると，同テストである．

は，（1）適切な語句を用いること，（2）写真に基づいた文で恐らく，オーソドックスな自動採点方法は，問題ごとに訓あること，（3）文法的に正しい一文であることが模範解答の練データを作成し，専用の採点器を作成する方法であろう．

条件として挙げられている．一方で，意味が正しく伝わる限すなわち，写真と解答を入力すると採点結果（スコア）を出り，綴りや句読点の誤りは評価に影響を与えないとされてい力するような採点器である．しかしながら，この方法は，訓る．具体的な採点スケールは 4 段階であり，各スコアは表 1

練データの作成に時間とコストを要する．問題ごとに，写真のように定められている．と模範解答が異なるため，毎回，解答を収集し，人手で採点

本研究では，この問題形式と採点方法を参考にする．異なしなければならない．理想的には，問題ごとに，そのようなる点は次のとおりである．表 1 からわかるように，スコア 0

訓練データを作成せずとも自動採点ができることが好ましい．

点は単純な規則で判定可能であるので本研究では対象外とす

言い換えれば，できるだけ低コストな自動採点の枠組みの実る．したがって，以降では，スコアが 1〜3 点の三段階評価現が望まれる．

を考える．また，「二つの語句を含むかどうか」と「一文で書そこで，本稿では，低コストな写真描写問題の自動採点かれているかどうか」は採点に大きな影響を与えるが，これ方法の検討を行う．基本的なアイデアは，既存の画像キャプも単純な規則で判定可能であるため本研究では考慮の対象外

ション生成モデルを写真描写問題の自動採点に流用するといとする．以降，このような設定の写真描写問題を考える．

うものである．画像キャプション生成では，ニューラル言語（注 1）：写真の内容を口述する問題形式も考えられるが，本稿では，記述式問題のみを考える．

（注 2）：https://www.iibc-global.org/toeic.html― 693 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1： 写真描写問題の採点スケール（公式ガイド [3] より抜粋）．
採点スケール

採点ポイント
以下の特徴を持つ 1 文で構成されている

3

・文法的誤りがない
・与えられた 2 つの語（句）を適切に使っている・写真と関連する内容が記述されている以下の特徴を持つ 1 文もしくは複数以上の文で構成されている

2

・文の理解を妨げない程度の文法的誤りが一箇所以上ある・与えられた 2 つの語（句）を使っている。ただし、1 つの文中でなかったり、語形が正確でない
・写真と関連する内容が記述されている以下の特徴のいずれかを示している

1・文の理解を妨げる誤りがある
・与えられた 2 つの語（句）の片方、もしくは両方ともを使っていない
・写真と記述内容の関連性がない

0無解答。英語以外の言語で書かれている。英文で使われることのない記号が使用されている

表 2：

3. パイロットスタディ

公式問題集から得たデータの解答数．

問題番号

スコア 1

スコア 2

スコア 3

合計

053816153816253816

ド [3] に掲載されている写真描写問題の模擬問題 6 問を使用

353816した．スコア 3 点と 2 点のものについては，解答例として収453715

3. 1 使用データ
パイロットスタディで使用するデータとして，公式ガイ録されているものを使用した．スコア 1 点のものについては，

553816与えられた語句が使用されていない，または二文以上で書か合計

30184795

れているなど本研究で対象外としている例しか収録されてい表 3：ないため使用しなかった．代わりに，当該の問題以外の問題学習者から得たデータの解答数．

問題番号

スコア 1

スコア 2

スコア 3

合計

074011

選択し，スコア 1 点の例として使用した．このデータセット

118211を以降，問題集データセットと呼ぶことにする．表 2 に，問2010111

題集データの統計量を示す．

355010

更に，実際の英語学習者の解答も用いた．大学生 11 人に446111

上述の模擬問題 6 問を解いてもらった．辞書は使わず，コン

591111

合計

2634565で，スコアが 3 点または 2 点である解答文をランダムに一つピュータを用いて記述してもらった．記述時間は 30 分以内とした．この結果を第二著書が採点した．以降，このデータセットを学習者データセットと呼ぶことにする．表 3 に，学習者データセットの統計量を示す

3. 2 方るような手法であれば，画像が与えられたときの文の生成確率を任意の文に対して推定することができる．この生成確率

（注 3）

．

は，文が画像の内容に合致していれば高くなり，逆に，画像法

1. で述べたように，画像キャプション生成手法 [4] を流用に無関係であれば低くなるはずである．

した．この手法は，CNN でエンコードした画像情報を，注以上の考え方に基づき，上述のデータセットに対する生意機構を用いて参照し，LSTM ベースの言語モデルでキャプ成確率を推定した．推定には，訓練済みの画像キャプションションを生成する．

生成モデル（注 4）を用いた．解答文は，全て小文字に変換し，通常の画像キャプション問題であれば出力は自然言語の文トークンに分割した．また，カンマとピリオドは削除した．

であるが，自動採点では，採点対象の文に与えられるスコア解答文の長さからの影響を低減するために，生成確率の幾何を推定する．画像キャプション生成手法を写真描写問題の採平均をとった．更に，問題ごとに生成確率の最大値で除する点に流用するためには，文を生成するのではなくスコアに対ことで，生成確率を正規化した．以上の手順で，問題集デー応する数値を推定するように出力を変更しなければならない．

タセットと学習者データセットそれぞれについて，正規化し幸いなことに，手法 [4] のようにデコーダが言語モデルであた生成確率のヒストグラムを作成した．なお，上述の画像（注 3）：問題番号 3 番の問題については，解答なしの答案があったため解答（注 4）：https:

数合計が他より一つ少ない．

//github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning― 694 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ϭϮションを生成したところ，3 枚については関連したキャプショϭϬンが生成できた．残り 3 枚については関連が低いキャプショϴ

ンを生成した．後者では，写真をうまく認識できていない可能性が高いため，以降，両者を分けて議論する．

3. 3 結果ゎ⟅ᩘ

キャプション生成モデルで，各問題の写真に対して，キャプηαΠ̐ηαΠ̏ϲϰϮ

図 1 と図 2 に，問題集データセットの解答文に対するヒϬ

ストグラムを示す．前者がキャプション生成に成功した問題，

Ϭ͘ϭ Ϭ͘Ϯ Ϭ͘ϯ Ϭ͘ϰ Ϭ͘ϱ Ϭ͘ϲ Ϭ͘ϳ Ϭ͘ϴ Ϭ͘ϵṇつ໬ࡋࡓ⏕ᡂ☜⋡

後者がキャプション生成に失敗した問題に対応する．
両図における大きな傾向として，スコア 1 点の解答の大部

ηαΠ̑

ϭ

図 1： 問題集データセットのヒストグラム（キャプション生成に成分は，生成確率が低い区間に集中することがわかる．また，功した問題）．

キャプション生成に成功した問題では，生成確率 0.4 より大ϭϮのことから，キャプション生成に成功する写真については，

ϭϬ

生成確率により，写真と関連がない解答をある程度の精度でϴ排除できるといえる．
一方で，スコア 2 点と 3 点の解答については，一部，生成ゎ⟅ᩘ

きい区間には，スコア 1 点の解答はないこともわかる．以上

ηαΠϯηαΠ̐ηαΠ̏ϲϰ

確率が高い区間に分類されるものもあるが，区間 0〜0.3 に大Ϯ部分が位置している．これらの区間の解答については，スコϬ

アがうまく弁別できていないことになる．特に，キャプション生成に失敗した写真ではこの傾向が強い．したがって，正Ϭ͘ϭ Ϭ͘Ϯ Ϭ͘ϯ Ϭ͘ϰ Ϭ͘ϱ Ϭ͘ϲ Ϭ͘ϳ Ϭ͘ϴ Ϭ͘ϵṇつ໬ࡋࡓ⏕ᡂ☜⋡

しくキャプションが生成できる写真を問題に用いることが重図 2： 問題集データセットのヒストグラム（キャプション生成に失敗した問題）．

要であることがわかる．幸い，正しくキャプションが生成できるかどうかは事前（問題作成前）に確認できるため，大きϭϮな問題にはなりにくい．

ϭϬ成功した問題，後者がキャプション生成に失敗した問題に対ゎ⟅ᩘ

図 3 と図 4 に，学習者データセットの解答文に対するヒストグラムを示す．以前と同様に，前者がキャプション生成にϭ応する．

ηαΠ̑ηαΠ̐ηαΠ̏ϴϲϰϮ

両図より，学習者データセットでは，スコアの弁別がよりϬ難しくなっていることがわかる．スコア 3 点については（そもそも数が極端に少ないが），ある程度高い生成確率が得らϬ͘ϭ Ϭ͘Ϯ Ϭ͘ϯ Ϭ͘ϰ Ϭ͘ϱ Ϭ͘ϲ Ϭ͘ϳ Ϭ͘ϴ Ϭ͘ϵṇつ໬ࡋࡓ⏕ᡂ☜⋡

れているが，スコア 1 点と 2 点については，生成確率が低い

図 3： 学習者データセットのヒストグラム（キャプション生成に成功した問題）．

ものも高いものもあり，全体的にうまく弁別できていない．
特に，スコア 2 点の解答文の多くが区間 0〜0.1 に位置してϭϮ

いことは重大である．この理由については，次節で考察する．

ϭϬ察

ηαΠ̑

ηαΠ̐

ηαΠ̏

ϴ

前節の結果より，生成確率により，スコアの弁別ができる部分はあるが，スコア 1 点と 2 点の部分については課題が残ゎ⟅ᩘ

4. 考ϭϲϰϮ

ることを確認した．特に，生成確率が低い区間では弁別がうϬまくいかないことを確認した．

Ϭ͘ϭ Ϭ͘Ϯ Ϭ͘ϯ Ϭ͘ϰ Ϭ͘ϱ Ϭ͘ϲ Ϭ͘ϳ Ϭ͘ϴ Ϭ͘ϵ

弁別がうまくいかない理由の一つに，綴り誤りを挙げることができる．学習者データセットは多数の綴り誤りを含む．
また，問題集データセットも綴り誤りを含む．今回使用した

ϭṇつ໬ࡋࡓ⏕ᡂ☜⋡
図 4： 学習者データセットのヒストグラム（キャプション生成に失敗した問題）．

画像キャプション生成モデルでは，綴り誤りがある単語は，未知語として扱われる．一方で，使用した採点基準は，「意味― 695 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

が正しく伝わる限り，綴りや句読点の誤りは評価に影響を与えない」と規定している．したがって，綴り誤りのある単語と認識して採点が行われる．実際，問題集データセットでもtennice や tenis などの綴り誤りが出現したが，採点には影響を与えていなかった（注 5）．この部分で，画像キャプション生ゎ⟅ᩘが出現しても，意味が正しく伝わる限り，正しい綴りの単語成モデルと採点基準に不一致がある．実際，図 5 に示すようϭϮϭϬϴϲϰϮϬに，綴り誤りを修正して，学習者データセットの生成確率のηαΠ̐ηαΠ̏Ϭ͘ϭ Ϭ͘Ϯ Ϭ͘ϯ Ϭ͘ϰ Ϭ͘ϱ Ϭ͘ϲ Ϭ͘ϳ Ϭ͘ϴ Ϭ͘ϵヒストグラムを求めると，スコア 1 点の解答については，うまく弁別できることがわかる．

ηαΠ̑

ϭ

ṇつ໬ࡋࡓ⏕ᡂ☜⋡
図 5：

正しい綴りの単語でも未知語となることがあり，綴り誤り綴り誤りを訂正した学習者データセットのヒストグラム（キャプション生成に成功した問題）．と同じ問題を引き起こす．例えば，stroller や forgets などの単語は語彙に存在せず，未知語扱いとなっていた．また，過5. お わ り に去形の単語や現在分詞も未知語扱いとなる傾向がみられた．
これは，画像キャプションでは，過去形や進行形が使用され本稿では，低コストな写真描写問題の自動採点の実現を目指して，画像キャプション生成手法の自動採点への流用につることが少ないことに起因する．
綴り誤りを含む未知語の問題は，未知語の分散表現を得る

いてパイロットスタディを行った．具体的には，写真描写問手法を利用して緩和できる．例えば，文献 [5] などを用いて題 6 問を対象にして，画像キャプション生成手法から得られ未知語に対する分散表現を得て，（画像キャプション生成モデる文の生成確率と写真描写問題のスコアの関係を調査した．

ル内の）既知語の分散表現と合わせて，画像キャプション生その結果，生成確率でスコアを弁別できる部分もあるが，高成の言語モデルへの入力とすることで，実質，未知語のない精度の自動採点を実現するためには，さらなる改善が必要な状態で，解答文の生成確率を計算できる．

ことを確認した．特に，綴り誤りを含む未知語と軽微な文法別の問題として，軽微な文法誤りがある．例えば，問題集

誤りの認識について改善が必要なことを示した．未知語につ

データセットでは，“near a building” とすべきところを “atいては，分散表現の作成を工夫することで改善できる可能性

near building” とした誤り（前置詞の余剰と冠詞の抜け）は，があることを示した．また，画像キャプション生成を利用し軽微な文法誤り（文の理解を妨げない程度の文法的誤りが一た学習者へのフィードバック情報の生成についても述べた．

箇所以上ある）と判定され，スコア 2 点と採点されていた．

今後は，データセットの拡充を行い，調査の範囲を拡大す一方で，英語としては不自然であるので，言語モデルは生成る予定である．現在，独自の写真描写問題 75 問に対して，40確率を低く見積もる傾向にある．これも，画像キャプション人分の解答を収集中である．このデータを用いて，低コスト生成モデルと採点基準の不一致となる．この不一致のため，で高性能な自動採点技術を開発する予定である．
参考文献

スコア 1 点と 2 点の弁別がうまくいかないと分析できる．軽微な文法誤りについては，文法誤り訂正技術を用いて予め修正してから自動採点を行うという対応策が考えられる．
以上のように改善すべき点はいくつもあるが，画像キャプション生成手法の自動採点への流用には，学習者へのフィードバックという面でよい点もある．言語モデルから得られる各単語の生成確率を利用することで，誤っている箇所を同定できる可能性がある．また，改善のための提案として生成確率が高い単語列を学習者に与えることも考えられる．更に，注意機構から得られる重みを利用することで，写真のどの部分をうまく描写できていないか，どの単語が写真の描写として適切でないかを認識できる可能性がある．それらの情報を用いて，学習者に対話的にフィードバックを与えることも考えられる．

[1] D. Alikaniotis, H. Yannakoudakis, and M. Rei, “Automatic text scoring using neural networks,” Proc. of 54th
Annual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pp.715–725, 2016.
[2] Y. Attali and J. Burstein, “Automated essay scoring withE-rater v.2.0,” The Journal of Technology, Learning, andAssessment, vol.4, no.3, pp.3–30, 2006.
R スピーキングテス[3] Educational Testing Service, TOEIC ⃝ト/ライティングテスト公式ガイド, 国際ビジネスコミュニ
ケーション協会, 2010.
[4] K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville,R. Salakhudinov, R. Zemel, and Y. Bengio, “Show, attend and tell: Neural image caption generation with visual attention,” Proc. of 32nd International Conference
on Machine Learning, pp.2048–2057, 2015.
[5] 五十川 真生，梶原 智之，荒瀬 由紀，“大域的な類似度と部分文字列を用いた未知語分散表現の生成手法,” 言語処理学会第25 回年次大会発表論文集, pp.1049–1052, 2019.
[6] 西村 則久，明関 賢太郎，安村 通晃，“英作文における自動添削システムの構築と評価,” 情報処理学会論文誌, vol.40,no.12, pp.4388–4395, 1999.

（注 5）：今回使用した公式ガイドには，採点例と採点理由が記載されている．

― 696 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.