(57)【要約】      （修正有）【課題】採点の精度、信頼性を向上させた記述式試験採点プログラム及び記述式試験採点方法を提供する。【解決手段】記述式試験採点プログラムは、コンピュータに、採点の基準となる文字列情報及び採点の対象となる文字列情報に対して形態素解析を行う形態素解析手順と、形態素解析手順により解析した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を算出するアライメント手順と、アライメント手順により算出した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係に基づいて、採点の基準となる文字列情報及び採点の対象となる文字列情報の類似性に関する情報を算出する類似性算出手順と、類似性算出手順により算出した類似性に関する情報に基づき前記採点の基準となる文字列情報の点数を算出する採点手順を実行する。【選択図】図５
2019185754.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
採点の基準となる文字列情報及び採点の対象となる文字列情報に対して形態素解析を行う形態素解析手順と、
前記形態素解析手順により解析した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を算出するアライメント手順と、
前記アライメント手順により算出した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係に基づいて、前記採点の基準となる文字列情報及び採点の対象となる文字列情報の類似性に関する情報を算出する類似性算出手順と、
前記類似性算出手順により算出した類似性に関する情報に基づき前記採点の対象となる文字列情報の点数を算出する採点手順を実行させるための記述式試験採点プログラム。
【請求項２】
前記アライメント手順において、前記類似性算出手段が算出した類似性に関する情報が最大となるように前記採点対象となる文字列情報の形態素及び前記採点の基準となる文字列情報の形態素の対応関係を算出する請求項１記載の記述式試験採点プログラム。
【請求項３】
記述式試験の受験者の解答情報に基づいて前記採点の基準となる文字列情報を修正する請求項１記載の記述式試験採点プログラム。
【請求項４】
採点の基準となる文字列情報及び採点の対象となる文字列情報に対してコンピュータにより形態素解析を行う形態素解析手順と、
前記形態素解析手順により解析した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を前記コンピュータにより算出するアライメント手順と、
前記アライメント手順により算出した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係に基づいて、前記採点の基準となる文字列情報及び採点の対象となる文字列情報の類似性に関する情報を前記コンピュータにより算出する類似性算出手順と、
前記類似性算出手順により算出した類似性に関する情報に基づき前記採点の対象となる文字列情報の点数を前記コンピュータにより算出する採点手順とを有する記述式試験採点方法。
【請求項５】
前記採点手順において、キーワード、含まれていれば不正解とする語又は文末に含まれていれば不正解とする語が前記採点対象となる文字列情報に含まれているか否かに基づいて前記採点の対象となる文字列情報の点数を算出することを特徴とする請求項１記載の記述式試験採点プログラム。
【請求項６】
前記採点手順により前記採点の対象となる文字列情報の点数を算出できるか否かを判断する自動採点可能性判断手順と、
前記自動採点可能性判断手順により、前記採点手順によって点数を算出できないと判断された前記採点の対象となる文字列情報をクラスタリングするクラスタリング手順と、を有することを特徴とする請求項１記載の記述式試験採点プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記述式試験採点プログラム及び記述式試験採点方法に関するものである。
【背景技術】
【０００２】
下記非特許文献１が、最も近い従来技術と思われる。この論文では、2020年度に大学入試センター試験に導入予定の記述式問題の自動採点のコスト削減を図る方法が提案されている。そこでは、記述式問題が複数の採点者によって採点されることを考慮して、予め採点済みデータを教師データとして、正解と不正解の二値分類問題として学習し、二人目の採点者として、その学習結果を活かす提案である。数百人規模の解答データを用いて実験し、SVM、CNN(畳み込みニューラルネットワーク) ともに90%近くの精度で分類できることがわかった。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】寺田他，ニューラルネットワークを用いた記述式問題の自動採点，言語処理学会第22回年次大会発表論文集, pp.370-373(2016)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
大学入試センター試験を想定した場合、ここ数年の受験者数から、55万人弱の答案データを想定してもよいと考える。このとき、従来技術では、次のような課題がある。
【０００５】
（１）二人目の採点者としての方法ならば、55万人弱の答案を一度は人の手で採点する必要があり、大きなコストがかかることには変わりない。
【０００６】
（２）仮に、55万人弱の答案のうち、1万人分の答案を人の手で採点し、採点済みデータとして学習し、それを残り54万人分の答案に対して、学習結果を適用した場合の精度の保証は何もない。
【０００７】
（３）90%の精度は高いと言えるかもしれないが、データ数が55万と考えた場合、約5万は、正解と不正解を間違えるという意味である。これは、受験生本人にとって大きな問題であり、信頼できる分類とは言えない。
【０００８】
（４）正解と不正解の二値分類のため、記述式問題によくある部分点を与えることはできない。部分点を与えられるように、上述の従来技術において、多値分類に変更することは可能であるが、当然、精度は落ちる。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、採点の精度、信頼性を向上させた記述式試験採点プログラム及び記述式試験採点方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一つの手段によれば、上記課題を解決するために、記述式試験採点プログラムを、コンピュータに、採点の基準となる文字列情報及び採点の対象となる文字列情報に対して形態素解析を行う形態素解析手順と、形態素解析手順により解析した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を算出するアライメント手順と、アライメント手順により算出した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係に基づいて、採点の基準となる文字列情報及び採点の対象となる文字列情報の類似性に関する情報を算出する類似性算出手順と、類似性算出手順により算出した類似性に関する情報に基づき前記採点の対象となる文字列情報の点数を算出する採点手順を実行させるものとした。
【００１１】
さらに、アライメント手順において、類似性算出手段が算出した類似性に関する情報が最大となるように採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を算出するものとすると望ましい。
【００１２】
さらに、記述式試験の受験者の解答情報に基づいて採点の基準となる文字列情報を修正すると望ましい。
また、採点手順において、キーワード、含まれていれば不正解とする語又は文末に含まれていれば不正解とする語が採点対象となる文字列情報に含まれているか否かに基づいて前記採点の対象となる文字列情報の点数を算出することが望ましい。
また、採点手順により採点の対象となる文字列情報の点数を算出できるか否かを判断する自動採点可能性判断手順と、自動採点可能性判断手順により、採点手順によって点数を算出できないと判断された採点の対象となる文字列情報をクラスタリングするクラスタリング手順と、を有するものとすれば、現在の採点設定では自動採点できない文章に共通する特徴が明確になるため、有効なキーフレーズやNGワードを人手により設定することが容易となるため、望ましい。
【００１３】
また、本発明の他の観点によれば、記述式試験採点方法を、採点の基準となる文字列情報及び採点の対象となる文字列情報に対してコンピュータにより形態素解析を行う形態素解析手順と、形態素解析手順により解析した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係を前記コンピュータにより算出するアライメント手順と、アライメント手順により算出した採点対象となる文字列情報の形態素及び採点の基準となる文字列情報の形態素の対応関係に基づいて、採点の基準となる文字列情報及び採点の対象となる文字列情報の類似性に関する情報をコンピュータにより算出する類似性算出手順と、類似性算出手順により算出した類似性に関する情報に基づき採点の対象となる文字列情報の点数をコンピュータにより算出する採点手順とを有するものとすると望ましい。
【発明の効果】
【００１４】
本発明によれば、採点の精度、信頼性を向上させた記述式試験採点プログラム及び記述式試験採点方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態例による自動採点方法の概要を示す図である。
【図２】本実施例によるアライメントの例を示す図である。
【図３】本実施例によるスコアリングの例を示す図である。
【図４】本実施例による形態素解析の例を示す図である。
【図５】本実施例による類似性の判定の手順を示す図である。
【図６】本実施例による類似性の算出の具体例を示す図である。
【図７】記述式試験の採点基準の例を示す図である。
【図８】実施例２の自動採点方法の概要を示す図である。
【図９】実施例２における、シーケンスアライメントの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態例及び実施例を説明するが、本発明の実施形態は以下に説明する実施形態例、実施例に限定されない。
【００１７】
従来技術では、上述の論文以外でも、二人目の採点者としての方法の提案がほとんどであるが、本発明では、一人目の採点者として自動採点のシステムを想定している。
【００１８】
通常、採点基準を定めたり、また、解答者である受験生に対しても、使うキーワードや文字数制限などを設定している場合がほとんどである。このような事情を考慮して、次のような手順で採点する（図１参照。）。
【００１９】
１．手順１
正答の設定：解答者に課している条件や採点基準を設定する。例：必須キーワード、文字数制限、条件キーフレーズなど。条件キーフレーズとは、重要な単語を含む短い文章のことである。条件キーフレーズによる採点を行うことで、重要な単語とその並び、自然な文章かどうかを判定する。また、部分点の付与なども可能となる。
【００２０】
２．手順２
正解と不正解の文書データを用意：正解と不正解の文書データをある程度用意する。答案のうち、正解の文書データ全てを用意する必要はない。
【００２１】
３．手順３
図１の構成図をもとに、解答の入力、正解/不正解文群との照合、問題の必要条件を満たしているか、条件キーフレーズの有無の確認を行う。ここで、正解あるいは不正解と判定できた解答は自動採点できたことになるが、判定できなかった場合は、手動採点となる。なお、解答の入力については、人がコンピュータに入力することも可能であるが、受験生の解答用紙を文字認識ソフトウェアで認識して自動的に認識する方が労力・採点時間の軽減の観点から望ましい。
【００２２】
４．手順４
自動採点と手動採点の結果、解答の結果を正解と不正解文群に定期的に追加する。これらをもとに、クラスタリングとアライメントを行い、新たな条件キーフレーズとして追加する。
【実施例１】
【００２３】
以下、本発明の実施例を、用語の説明とともに説明する。
【００２４】
アライメントとは、2個もしくは3個以上の配列の類似性の判定に利用される技術であり、文字間の適切、最適な対応関係を求める技術である。図２に、アライメントの概念を説明した図を示す。
図３に、本実施例の点数（スコア）の算出方法を示す。２つの配列を並べた時、（１）位置pにある２つの文字が一致する場合（マッチ）、（２）位置pにある２つの文字が不一致の場合（ミスマッチ）、（３）位置pにおいて、片方の配列の文字に対して、もう片方の配列の文字が存在しない場合（ギャップ）を判別する。そして、判別した結果、例えばマッチの場合は＋1点、ミスマッチは−1点、ギャップは−1点として点数を算出する。これはあくまでも採点の一例であり、文字の重要性に応じて加点、減点する点数を変化させることが好ましい。算出したスコアを最大化するように整列するアルゴリズムを用いることが好ましい。
【００２５】
図４は、アライメントを行う前提となる形態素解析の概要を説明する図である。文字列を品詞（例えば、代名詞、格助詞、固有名詞、動詞など）の情報を元に形態素（意味を持つ最小単位）に分割する。そして、文字列を形態素に分割した形態素配列に基づき、アライメント、すなわち文字列を構成する形態素配列を、基準となる形態素配列と比較し、対象文字列の点数（スコア）を算出する。
【００２６】
本実施例の手順の概略を図５により説明する。まず、基準となる文字列（基準文字列）及び採点対象となる文字列に対し、形態素解析を行い形態素に分割する（５０２）。形態素解析をした基準文字列及び採点対象文字列に対し、アライメント（例えば、Needleman-Wunsch algorithmによるアライメント）を行う（５０３）。そして、アライメントを行った基準対象文字列と採点対象文字列を比較し、類似性を判定し、点数（スコア）を算出する（５０４）。点数を最大化するように、基準文字列を整列しても良い。
【００２７】
採点対象となる文字列に対する点数を算出した具体例を図６に示す。基準文字列が「私は今から東京に行く」、採点対象文字列が「私は東京に行く予定だ」だとする（６０１）。基準文字列を形態素に分解し、「私  は  今から  東京  に  行く」とし、採点対象文字列を形態素に分割し、「私  は  東京  に  行く  予定だ」とした（６０２）。形態素に分解した基準対象文字列と採点対象文字列に対し、それらを構成する形態素の品詞に基づいてアライメントを行うと、基準文字列は、「私  は  今から  東京  に  行く  −」、採点対象文字列は、「私  は  −  東京  に  行く  予定だ」となる（６０３）。ここでは、大まかにいえば、基準文字列を構成する形態素の品詞に対応するように、採点対象文字列を構成する形態を並べ替える。ここで、「−」は、採点対象文字列に、基準文字列を構成する形態素の種類（例えば品詞）の形態素が存在しないことを意味している。逆に、基準対象文字列に、採点対象文字列を構成する形態素の種類の形態素が存在しない場合も「−」が表示される。このようにアライメントを行った基準文字列と採点対象文字列を比較すると、基準対象文字列と採点対象文字列では、7単語中6単語が一致しており、類似性が85.7%であることが分かる。例えば、この類似性をそのまま採点対象文字列の点数（スコア）とすることが考えられる。
【００２８】
図７は、平成２９年５月１６日に公表された大学入試センター試験の記述式問題の例である。この例では、「正答例」として「景観を守るガイドラインによって、治安が維持され観光資源として活用されること。」とされており、この正答例を基準文字列としても良い。
【００２９】
また、「正答の条件」として「40字以内で書いているもの」という文字数の条件があり、この文字数の条件を満たしているか否かを最終的な点数の算出に反映させても良い。また、それ以外の「正答の条件」についても、最終的な点数の算出に反映させても良い。
【００３０】
本実施例の効果は、次のとおりである。
（１）一人目の採点者として、採点できる。
（２）採点の流れから、最初は自動採点の割合はシミュレーションにより30%ぐらいを見込んでいるが、採点が進むにつれて、条件キーフレーズが拡充していき、自動採点する割合は100%になることがわかっている。
（３）自動採点された答案については、高精度の採点結果を維持できる。シミュレーションでは、正解と不正解とも100%であった。
（４）条件キーフレーズとアライメントにより、記述式問題に部分点の設定が可能である。
【実施例２】
【００３１】
1. 自動採点システム
提案する自動採点システムについて、1.1節ではシステム構成、1.2節以降では採点アルゴリズムについて述べる。
【００３２】
1.1 システム構成
システムの構成図を図８に示す。あらかじめ人手により設定された採点設定をもとに自動採点を行う。自動採点部分により正解不正解の判断ができない場合、手動採点に移行する。デジタル化された文字列データを入力とし、正解・不正解の二値を結果として出力する。採点結果付きのデータをテストデータとして用いる場合には、手動採点にまわった解答をクラスタリングし、特徴を可視化することで採点設定改善の支援を行う。
採点設定として、以下の項目を設定する。
・文字数制限(範囲内でなければ不正解とする。)
・事前置き換え単語(表記を統一するために採点前に置き換える語)
・NGワード(含まれていれば不正解とする語)
・NGエンドワード(文末に含まれていれば不正解とする語)
【００３３】
1.2 一次採点
採点設定をもとに、満たすべき条件を全て満たしているかを確認する。一つでも満たしていない場合、不正解であると判定し、採点を終了する。全て満たしている場合、キーフレーズ比較の処理へ移行する。採点済み解答との比較では、正解不正解の結果に基づいて蓄積された採点済み解答データと、新たに採点をおこなう解答データを比較し、同一の場合即座に正解不正解の判断を行い、採点を終了する。採点が行われた解答は採点結果とともに採点済み解答に追加される。
【００３４】
1.3 キーフレーズ比較
Needleman-Wunsch Algorithmというシーケンスアライメントアルゴリズムによって解答文とキーフレーズの比較を行う。このアルゴリズムは2つの配列において、一致する文字数を最大にし、不一致の数が最小になるようスコア関数を用いて配列を並び替えることで最適な配列を得る。採点を行う解答文と各キーフレーズについて形態素解析を行った後にシーケンスアライメントを行うことで、解答文とキーフレーズとの共通部分・非共通部分を抽出することができる。その様子を図９に示す。これにより、単語の並びに着目して解答文とキーフレーズとの一致率を計算し、設定されているいくつかのキーフレーズの中から最も類似した文章を選択することや、非共通部分を抽出し、比較を行うことができる。
抽出された非共通部分について、表記揺れの補正と類義語の置換を行う。単純な文字列の比較では、同一の単語であっても漢字とひらがなのように表記が異なる場合に正しく採点を行うことができない。また、「人」と「人間」のように、同じ意味を持つ単語についても表記が異なるため正しく採点を行うことができない。そこで本システムでは、読み方や単語の意味カテゴリに着目して同一の意味であるかどうかを判断することで表記方法に依存しない採点を行う。
【００３５】
1.4 採点設定の改善支援
採点結果付きのテストデータがあり、採点設定を改善することができる場合、テストデータの採点終了後に手動採点にまわった解答をクラスタリングする。現在の採点設定では自動採点できない文章に共通する特徴が明確になるため、有効なキーフレーズやNGワードを人手により設定することが容易となる。
【００３６】
2. 実験
提案する自動採点システムを用いた実験について、2.1節では実験設定、2.2節では結果について述べる。
【００３７】
2.1 実験設定
中学生を対象に行われた模試の記述式問題3科目分それぞれ約1200人分の解答データについて採点を行う。その後、採点設定の改善をして再度採点を行う。問題の特徴を以下に示す。
・国語  20字以内穴埋め形式
・社会  25字以内穴埋め形式
・理科  文字数制限無し  自由記述形式
評価の指標として、自動採点率と採点精度を算出する。自動採点率は、全解答文のうち本システムで自動採点の対象となった解答の割合を表し、採点精度は、自動採点を行なった解答のうち正しく採点できている解答の割合を表す。
【００３８】
2.2 実験結果
実験結果を表１、表２に示す。
【表１】
2019185754.tif 000003
【表２】
2019185754.tif 000004
表１、２より、全ての問題に対して非常に高い精度で採点できていることが分かる。また、採点設定を改善することで、自動採点率・採点精度ともに向上していることが分かる。教科別で見ると理科が最も良い結果が得られていることが分かる。これは、理科は単語を答える問題に近いため、表現の幅が小さく、採点設定が容易であったことが理由だと考えられる。明確な答えが存在し、文字数制限や使用単語の指定などによって表現の幅が小さくなればなるほど自動採点率・採点精度は向上すると考えられる。
【００３９】
3. おわりに
本実施例では、大学入学共通テストに記述式問題が導入されることを背景として、日本語記述式問題の自動採点を行うシステムを提案した。国語社会理科の3教科それぞれ約1200 人分の模試の解答データに対して実験を行った結果、100%に近い精度で約60%の解答を自動採点することができ、採点にかかるコスト削減に繋がることを確認できた。従来の自動採点手法と比較すると、採点結果付きのデータを必要とせず、高い精度で自動採点が行える点において優位性があると考えられる。
今後の展望として、より自由度の高い文章においてどれだけ有効であるかを検証するとともに、100%の採点精度を維持しながら自動採点率の改善を行っていく必要がある。
【産業上の利用可能性】
【００４０】
本発明は、記述式試験採点プログラム及び記述式試験採点方法として産業上の利用可能である。
【符号の説明】
【００４１】
５０１  採点対象文章と採点基準文章の設定
５０２  形態素解析
５０３  アライメント
５０４  類似性判定
６０１  採点対象文章と採点基準文章の例
６０２  形態素解析の例
６０３  アライメントの例
６０４  類似性の例
【図１】
2019185754.tif 000005
【図２】
2019185754.tif 000006
【図３】
2019185754.tif 000007
【図４】
2019185754.tif 000008
【図５】
2019185754.tif 000009
【図６】
2019185754.tif 000010
【図７】
2019185754.tif 000011
【図８】
2019185754.tif 000012
【図９】
2019185754.tif 000013