ルーブリックに基づくレポート自動採点システム
山本 恵 1), 梅村 信夫 2), 河野 浩之 3)
1) 名古屋外国語大学 現代国際学部
2) 名古屋学芸大学 メディア造形学部
3) 南山大学 理工学部
yamamoto@nufs.ac.jp

Automated Report Scoring System Based on the Rubric
Megumi Yamamoto1), Nobuo Umemura2), Hiroyuki Kawano3)
1) School of Contemporary International Studies, Nagoya Univ. of Foreign Studies2) School of Media and Design, Nagoya Univ. of Arts and Scienses
3) Faculty of Science and Engineering, Nanzan Univ.
概要
レポート評価では、採点者（評価者）による採点結果のばらつき、同一採点者内での採点の偏り、過度の作業負担などが問題視されている。改善に向け、レポート評価のルーブリック（記述的・客観的な採点指標）を基盤とした、レポート自動採点システムを提案する。システムでは、教員の手動採点用として策定したルーブリックの 5 つの評価観点を細分化し、自動採点用ルーブリックとも言うべき評価項目を設定する。また評価項目から自動採点可能な項目（自動採点結果の信頼性が高いもの）を抽出し、それらの計算結果を説明変数とする予測モデルに基づいて評価観点や成績レベルを推測する。評価実験を通して、①評価観点「文書スタイル」に帰属する項目と観点の手動採点結果間、②5 つの評価観点間すべてについて相関を認めた。①・②から、「文書スタイル」の諸項目を精査することによって、レポート自動採点の実現および予測精度の向上が可能と考える。

1 はじめに
著者らは、学生のレポート作成能力育成および 教 員 の 採 点 を 支 援 す る LMS (LearningManagement System) 上の自動採点システムの開発を試みている。
レポート評価では、採点者（評価者）による採点結果のばらつき、同一採点者内での採点の偏り、採点者の時間的負担など、様々な問題がある。多くの採点者はチェックリストや採点時の評価指標（いわゆるルーブリック）を定めて評価の厳正化を保つ努力をしている。したがって自動採点システムを構築するにあたり、こうしたルーブリックを基盤に採点のアルゴリズムを設計することは自然である。
折しも昨今の大学教育では、アクティブラーニング（能動的学習）の必要性やそれらの授業ですることは困難であり、レポートや論文、プレゼンテーションなど、いわゆるパフォーマンス評価が採用される。特にレポートは、学習者の知識はもとより、思考力や問題解決能力など多くの習熟度を測ることができ、今後ますます有用な評価方法として利用されるであろう。したがって学生のレポート作成指導、教員の採点の厳正化、負担軽減が希求の課題である。
これらの問題を解決するための自動採点シス
テムの開発にあたり、本稿では、ルーブリックの提案、ならびに、自動採点対象となる評価観点・評価項目と評価のアルゴリズムを検討する。また、自動採点対象項目の採点結果から、他の評価観点を推測可能かどうか検討し、システムの基盤となる部分の確立をめざす。

2 先行研究の評価の厳正化について議論されている。このよ

本章では、自動採点システムの先行研究の概うな授業での学修成果を従来のテスト形式で評価観および、代表的なシステムの採点方法について述べる。e-rater や Jess の特徴と問題点を述べた

価基準は e-rater の構造、組織、内容をそのまま踏後、ルーブリックの必要性について述べる。

襲しており、修辞、論理構成、内容という観点で評

2.1 自動採点システム価している。10 点満点で総合点を算出する。3 つ自由記述文の試験には、小論文（エッセイ）タの観点の重み付けは 5:2:3 であるが、ユーザーがイプと短答式タイプがある。ここでは著者らが対変更可能である[6]。

象とする小論文の自動採点システムに着目する。

2.2 ルーブリックの必要性

自動エッセイ評価システムの研究は 1960 年代

石岡は、自動採点システムに望まれる要件の議の Page（アメリカ）に始まったとされる[1]。その論で、e-rater V.2.0 および Jess は論題によらず評後、自然言語処理や情報検索技術の進歩、コーパ価モデルは一定で、評価基準表に従った採点を行スの利用により、様々な手法によるアプローチがっている、として妥当性を述べている[7]。ここで見られ、現在も研究が進んでいる。アメリカではいう評価基準表は、いわゆるルーブリックととら

すでに商用システムとして運用段階にはいっていえることができるが、アメリカの経営大学院へのるものが複数ある。なかでも e-rater、PEG、IEA、入学試験である GMAT の採点基準を踏襲して設IntelliMetric、BETSY、CRASE が代表的なシス定している。

テムである[2]。e-rater、PEG、IEA、Jess は連続

本研究では大学の授業で一般的に提出される量で総合スコアを計算するのに対し、レポートの採点を対象としており、教育現場で実IntelliMetric、BETSY は、はじめからスコアカテ践的に活用できるシステムをめざしているため、ゴリーに分類する手法をとる。ここではアメリカ

既存のレポート評価のルーブリックを綿密に分で長きに渡り大規模な試験の採点に利用されてい析・作成し、これに基づいて自動採点システムをる e-rater や IntelliMetric と、日本のセンター試設計すべきであると考える。

験での利用を目的に開発された Jess について述べる。
e-rater は英語の小論文を対象にした最も代表的 な シ ス テ ム で 、 ETS （ Educational TestingService）が提供しており、アメリカの GMAT（Graduate Management Admission Test）の小論文や TOEFL 試験などで広く利用されている[3]。
構造／組織／内容に関する 12 の変量、例えば、文法エラーの割合、スタイルのエラーの割合、談話（discourse）ユニットの数、語彙の困難度、平均の単語長、単語の総数などを求め、それらに係る重み付けを経験則によって定め、重回帰モデルによりスコアリングを行っている[4]。重み付けは、談話（discourse）ユニットの数が 0.21 と最も高く、次いで単語の総数が 0.20 としている。人間の専門的な評価者の採点結果と比べると 97%の精度である[5]。
IntelliMetric は、知識工学的なアプローチで採点する。予め採点が終わっている模範解答を学習し、各採点ポイントのデータから、人間の採点者の採点ルールの判断を推定する。すなわち、各エッセイがどのスコアに相応しいか分類する。一貫性／内容／構成など５つの評価スコア観点を各々1～6 点、および総合点を 6 点満点で評価する [4] 。
Jess は、日本語小論文の自動評価システムとして、日本で初めて、石岡らによって開発された。評3 ルーブリック評価と自動採点
本章では、先行研究を調査・比較し、レポート評価のためのルーブリックを提案する。次に、具体的な提案ルーブリックの各評価項目に対し、文体の統一性や誤字・脱字など、自動採点を行うことが可能な項目を示す。
3.1 ルーブリックに関する先行研究
ルーブリックの動向に関する論文[8]によると、米国では全米カレッジ・大学協会（以下 AAC&U）がバリュープロジェクトを立ち上げ、機関を超えて活用可能なルーブリックを、1 年以上かけて作成している。これは探求と分析力、批判的思考力など基本学習成果として 16 領域をあげ、各々のルーブリックを作成したものである。
日本では、学習指導要領改訂により初等中等教育でルーブリックによる成績評価が進んでいるが、高等教育では現在も発展途上と言える。近年、大学など多くの研究機関で研修会が盛んに行われ[9]、成績評価への導入が推奨されている。授業
科目によって評価内容が異なる点は否めないものの、可能な範囲で汎用性を保てるルーブリックの作成をめざし、レポートや論文、自由記述に関する汎用性の高いルーブリックを先行研究から洗い出し、特徴を調べた。

様々な大学で運用されているルーブリックのる。評価観点は大綱的であるため、細分化して評

うち、レポート評価に関するもので、大学など組価項目を設定し、コンピュータによる自動採点の織レベルで作成・活用されているものとして米国ためのルーブリックを作成した。提案ルーブリッの AAC&U の文章コミュニケーション VALUE ル

ク は 3.1 節 で 述 べた 文章 コ ミ ュ ニ ケー シ ョンー ブ リ ッ ク （ Written Communication VALUEVALUE ルーブリックおよび、コモンルーブリッ

Rubric[10]）および、関西国際大学のコモンルー

ク（ライティング）を参考に作成した。なお前者にブリック（ライティング）[11]があげられる。

ついては、AAC&U のウェブサイトで公開されて3.2 採点指標となるルーブリックの提案いる原文と松下の訳[12]を参考にしている。

ルーブリックは、構造（分析的か一般的か）、評価項目については、ルーブリックに関する論スコープ（課題を絞り込むか一般的か）、スパン文やルーブリックバンクなど Web 上で公開され（長期か短期か）により、様々なタイプが存在すているレポート採点用ルーブリックで多く見られる[12]。本研究では、以下の条件のルーブリックる項目や表現を参考にした。教員の手動採点では、を作成する：

5 つの評価観点：課題の理解度と解答(記述)内容の・構造：評価の観点と評価レベルをマトリックス型で複数設定する分析的な構造妥当性（Content）、 論理的な展開（Structure）、資料と根拠（エビデンス）の妥当性（Evidence）、・スコープ：学問分野や授業科目は特化しな文章作法の遵守と適切な推敲（Style）、読みやす

いが、課題がレポート方式に限られるといさ・表現の巧みさ（Skill）、のそれぞれについて、

う点で一部限定的

A+、A、B、C、D の 5 段階の成績レベルとして記・スパン：短期間でスナップショット的に使述されている内容に当てはまる位置を確認する。

われる採点用ルーブリック。

さらに、各レベルの中でどちらの点数になるか決

表 1 にレポート評価のための手動採点用ルーめ配点する。例えば、論理的な展開について B レ

ブリックおよび自動採点用ルーブリックを提案す

ベルであれば、4 点か 5 点かを決めることになる。

表 1 レポート評価のためのルーブリックおよび自動採点用ルーブリック
手動採点時ルーブリック
評価観点

D(0-1)

達成レベルと配点
C(2-3)
B(4-5)
A(6-7)

自動採点時ルーブリック
評価項目

A+(8-9)

課題を理解し課題の理解 解答内容が，解答している度と解答(記 課題とは無関 が，誤りがあ係である．
述)内容の妥る．

［Content］[Structure] ［Evidence］

的確な解答で課題を理解し課題を理解しある。関連用
的確な解答で解答している語を適正に用あるが，改善が，記述が不いている。改の余地があ足している．
善の必要はなる．
当性い．
順序立てて理順序立てて理［Structure］順序立てて理論を展開して論を展開して記述内容にま 理論の展開に論を展開して論理的な展 とまりがない． 矛盾がある． いるが，改善 いるが，説得 いる．意見・主すべき点が複張があり，説得開力がない．
数ある．
力がある．
信頼でき，関 当該の学問分［Evidence］
参照しようとし資料を全く参 資料を参照し連性のある資 野に相応しくている資料は資料と根拠 照していない． ていないが， 相応しくない， 料を参照して 信頼でき関連（エビデンス） 根拠を示して 根拠を示そうと または信頼性 いるが，引用・ 性のある資料いない．
している．
参照の仕方に を，うまく使いの妥当性がない．
誤りがある．
こなしている．

［Content］［Style］
訂正すべき点よく推敲してあはないが，改る．誤りが全く善の余地があない．
る．

［Style］

読み手に明確文章が読み辛 文章が長すぎ 文章が概ねまに意味を伝え文章が読みや読みやすさ・ い．明らかに るなど，複数の とまっている すい．語彙が ることができ，表現の巧み 文章スキルが 改善すべき点 が，改善すべ 豊富である． 読みやすい．
ない．
がある．
き点がある．
語彙が豊富でさある．

［Skill］

複数にわたっルールを守っ 大よそのルーてルールをていない，誤 ルを守ってい文章作法の 守っていない． 字・脱字，文体 るが，訂正す遵守と適切な 文章が全く推 の誤りなどが べき点が複数敲されていな推敲
複数ある．
ある．
い．

［Skill］

12345678910111213141516171819202122

論題と記述の合致度
主要な関連語の存在
出題意図の理解度
内容の総合評価
学修内容の理解度
論理性の水準意見・主張の妥当性
事実と意見の区分け
説得力
参照資料の質水準
参照資料の関連性
論拠資料の妥当性
図表への説明付加
引用量の妥当性
文体の統一性
誤字・脱字の排除
構文の妥当性
主述関係の妥当性
句読点の妥当性
冗長さの排除表記ゆれの排除漢字の使用率23 文長の妥当性
24 語彙の豊富さ
25 語彙の水準

自動採点可能○○×××××××××××
△
○
○
○
○
○
○
○
○
○
○○

したがって観点ごとに、0-9 の範囲で評価値が決まることになる。
3.3 ルーブリックにおける自動採点可能項目の抽出
自動採点可能かどうかを判断し、自動採点時ル―ブ
リックの「自動採点可能」欄に、〇／△／×で示す。評
価観点のうち Content、 Structure、 Evidence（以下CSE）は教員の価値判断に強く依存するため、自動採点することが困難である(×や△で示す項目)。他方、

学生レポートテキストデータ
前処理文 章校正ツ ール によ る
チェック
辞 書

形 態素解析（ 形態素 に分割、文節単位にまとめあげ、品詞情報付加）

Style、Skill（以下 SS）の多くの項目は、自動採点の対象となり得ると判断する(○で示す項目)。

4 ルーブリックに基づく自動採点システム
本章では、計算機内部における学生レポートを処理

特徴量算出
基本統計量計算（文字数、文節数、語彙数、文章校正エラー数）する過程をフローチャートで示した後に、前章で提案した自動採点用ルーブリックの各評価項目の計算方法について説明する。
4.1 自動採点システムのアーキテクチャ

構文・係り受け処理

ルーブリック
語彙水準表
独自辞書
評価基準値

基準値を基にした評価項目ごとの特徴量計算

図 1 に自動採点の流れを示す。
表 1 のルーブリックで提示した評価項目のうち、自動採点可能欄に〇を付した項目のみ自動採点を行う。
LMS 上で入力された学生レポートのテキストデー

スコアリング
特徴量の補正と配点

タは、文章校正ツールにより基本的なチェックを行い、エラーの内容と数を算出する。また形態素解析器に付

評価観点/成績レベル推定

属の辞書を参照しながら、形態素に分類し、文節にまとめ上げ、品詞や文節位置など、評価項目の計算に必要な重回帰モデルによる予測機械学習などによる分類分類器情報を付加する。
次に、ルーブリックで提示した評価項目ごとの計算アルゴリズムに必要な変数となる基本統計量を計算す

評価項目・観点ごとのスコア／成績レベルる。構文・係り受け処理では、構文の妥当性を計算するための変数を算出する（次節 4.2 参照）。これらの変数

図 1 自動採点の流れから評価項目ごとの特徴量を算出する。特徴量とは評価項目のスコアリングのもととなる値である。例えば、める。また、過去のレポート採点結果をもとにサポー「文体の統一性」であれば「非統一の割合」を意味する

トベクタマシンなどで分類器を作成しておき、SS のス(表 2 の No.15 参照)。
計算の過程で評価項目によって、コアリング結果に対して、成績レベル（A+、A、B、C、語彙水準表や独自辞書を随時利用する。独自辞書につD の 5 段階）の分類を行い表示する。

いては、大学生レベルの書き言葉言語コーパスを現在4.2 評価項目の採点に用いるアルゴリズム開発中である。算出された特徴量と、あらかじめ設定し自動採点可能項目として判断した評価項目のうち、てある特徴量の基準値（望ましい値）との距離を求め、No.15-25 の自動採点計算式は表 2 のとおりである。

特徴量とする。

「15 文体の統一性」では、文体の非統一箇所の個数を、スコアリングでは、特徴量の意味するところに即し「16 誤字・脱字の排除」では誤字脱字の箇所を、何れて値が大きいほど高いスコアになるように補正する。

も Microsoft® Office Word 2016 の文章校正ツールを

例えば、語彙の豊富さは特徴量が大きいほど配点が高利用して求め、文節数全体の数で割った値を誤りの割くなるが、誤字・脱字では特徴量が大きいほど配点が低合とする。「17 構文の妥当性」では、構文解析ツールくなる。さらにクラス全体の平均、最大値、最小値をもCaBoCha が出力する係り受け情報から、係り受け関とに補正し、9 点満点で配点して表示する。

係にある文節間の距離を算出し、全文節数で除するこ

評価観点／成績レベル推定では、教員の手動採点結とで、各レポートの平均距離を算出する。距離の妥当性

果を目的変数、自動採点結果を説明変数として線形重については定まった基準が見当たらないため、新聞記回帰分析を行い、重回帰式から評価観点の予測値を求事(2900 文字)から求めた平均距離 1.988 を適正基準と定め、この指標からの偏差を特徴量とする。「18 主述「21 表記ゆれの排除」では、文章校正ツールにより表関係の妥当性」では、係助詞（主語に接尾語）の数を文記ゆれと示される個数を、レポートの全文節数で除すの数で除した値を算出する。主語と述語が 1 対 1 であことにより誤りの割合を求め、特徴量とする。「22 漢れば読みやすい文章であり、複文やねじれの可能性が字の使用率」では、文章校正ツールにより表示される漢低くなると考え、1.0 を基準値とする。「19 句読点の字の使用率と基準値との距離を特徴量とする。「23 文妥当性」では、句読点間の平均文字数を求める。具体長の妥当性」では、レポートの全文字数を文の数で除的には、レポートの全文字数を句読点の数で除した値した値を各レポートの平均文長とみなし、この値と基により判断する。これらの適正範囲は文章校正ツール準値との距離を、特徴量とする。
「24 語彙の豊富さ」は、に共通で示されているものである。「20 冗長さの排除」

トークン比（異語率）で判断する。トークン比は、異なでは、「の」の繰り返しなど、文章校正ツールが検出すり語数を延べ語数で除した値で、筆者らが開発したる誤りの個数を冗長さの数とする。またレポート中にLMS 上のテキストマイニングツール TeMP[13]により同じ動詞を 5 回以上使用している場合（例えば「思い算出する。
「25 語彙の水準」は、砂川ら[14]が研究成果ます」が頻出するなど）も冗長とする。RMeCab でタとして提供している日本語教育語彙表を用い、レポーーム文書行列を作成し求める。以上の冗長さを示す個

トから抽出した形態素に対して 6 段階の評定値を割り数が、全文節数に占める割合を特徴量とする。

当てる。砂川らは、語彙を「初級前半」～「上級後半」6 段階のレベルに分け、各語彙にレベルを付記した一覧

表 2 自動採点項目の評価内容
No.

1516171819

表を作成している。そこで、レポートに用いられてい評価項
目

評価内容

文体の統一性「である調」または「ですます調」
での統一の可否

非統一の割合=不統一の数※1／文節総数※2

誤字・脱字の排除

誤字・脱字の有無

誤字・脱字出現率=誤字・脱字の数※1／文節総数※2

0.0

係り受けの平均距離=1 文書(レポート）の全係り受
け数／文節総数※2

1.988

係助詞の平均数=係助詞の数／文の数

1.0

句読点間平均文字数=全文字数／句読点の数

35 文字

構文の妥当性
主述関係の妥当性
句読点の妥当性係り受けに関与する文節間の平均距
離1 文における係助詞の数
句読点間
平均文字数
ことばの重複や繰り返しの有無

適正基
準計算式

べてのレベルを割り当て、平均を求める

５．ルーブリックに基づく自動採点項目の評
価実験
本章では、学生が提出した小レポートを用いて、提案ルーブリックの自動採点可能項目を計算し、教員の※6目との相関を確認する。
5.1 分析対象レポートの特性が提出した小レポートを、評価実験に用いた。レポー
0.021

表記ゆれの排除

表記ゆれの有無

表記ゆれ出現率=表記ゆれ
出現数※1／文節総数※2

0.0

22

漢字の使用率漢字の使用率漢字の使用率=漢字の数／
全文字数35%23

文長の妥当性

文の平均の長さ

文の平均文字数=全文字数／文の数

35 文字※1※2※3※4※5※6

情報リテラシー科目（表計算ソフトを使ったデータ解析をテーマとする）を受講する 43 名の大学 1 年次生※6

冗長さ出現率=（重複語の数※1＋語の繰り返しの数※5）／文節総数※2

トの平均文字数は 427.6、標準偏差 216.0 であった。
なお、今回の実験ではシステム全体の構築の準備段階として、組み込むべき自動採点項目を明らかにする目的であるため、ローカルコンピュータ上で採点を行※6※6

値が大語彙の ト ー ク ン トークン比 =異なり語数
きいほ
豊富さ 比
／述べ語数
ど豊富
主要語彙の平均水準=全名 値 が 大
主要語彙語彙の詞、形容詞、動詞の語彙 き い ほの平均水水準
水準 ※ 4 ＊当該語彙の重み ど 高 レ
準の平均
ベル
Microsoft® Office Word 2016 の文章校正ツールを利用
1 文書(レポート）の全文節数（CaBoCha により算出）
TeMP[13]により算出
語彙水準表[14]をもとに算出同じ動詞がレポート中に 5 件以上繰り返されている場合適正範囲の中央値※3

手動採点結果と比較することで、是非を確認する。また
評価観点間の相関を求め、自動採点可能項目と他の項

2025

行列を TeMP で作成し、上記語彙表に存在する語彙す0.0

冗長さの排除24

る語彙のうち名詞・動詞・形容詞の索引語(単語)文書った。
5.2 教員採点と自動採点の相関
教員はルーブリックにしたがい、手作業で評価観点の採点を行った。一方で、No.15～25 の SS 項目群の自動採点を行い、教員採点結果との相関を求めた（表 3）。
各評価項目は正規分布とならなかったため、スピアマンの順位相関で求めた。
表 3 に示すとおり、Style のほとんどの項目について、ある程度の相関が認められる。ただし、相関係数が低い No.20・21 については、評価のアルゴリズムや項目の在り方を再検討する必要がある。一方、Skill 項目群では No.22 のみ、教員評価との相関が認められた。

また、教員の採点結果を目的変数、自動採点結果の評価を推測するとともに、成績の総合レベルを求め、項目群を説明変数として線形重回帰分析を行った。さ採点資料として提示する。また、LMS への自動採点シらに、教員の採点結果（実測値）と重回帰式から算出しステムの導入を進める。

た予測値との相関を求めたところ、Style 項目群については 0.602 と高い相関を認めたが、Skill 項目群については 0.21 と低い値であった。Style の各評価項目の精度を上げることで、Style 評価観点の予測モデルによる採点が可能であると言える。
表 3 教員の採点と自動採点の相関（n = 43）
Style 項目群

Skill 項目群

参考文献
[1] Semire Dikli，An Overview of Automated Scoring ofEssays, The Journal of Technology, Learning andAssessment，Vol 4， No 3 ，p.5，2006.
[2] 石岡恒憲，コンピュータ上で実施する記述式試験について，情報処理学会研究報告，Vol.2016-CE133 No.19，pp.1-2，2016.

No.

相関係数

No.

相関係数

150.329※22-0.322※

https://www.ets.org/erater/about/，(参照 2016-10-20).

160.335230.017[4] 石岡恒憲，記述式テストにおける自動採点システ

170.275

240.121ムの最新動向，行動計量学，第 31 巻，第 2 号，180.24825-0.144

190.375

予測値

0.2120-0.051

p < 0.05、p < 0.001.

pp.67-87，2004.
[5] Yigal Attali, Jill Burstein,Automated Essay Scoring
With e-rater® V.2， The Journal of Technology

210.190

予測値

0.602

(表内の係数値はスピアマンの順位相関に基づく。※は相関が認められることを示す）

※

※

※

※

[3] “About the e-rater Scoring Engine” ，Learning and Assessment，Vol 4，No 3，p.22，2006.
[6] 石岡恒憲，亀田雅之，コンピュータによる日本語小論文の自動採点システム，電子情報通信学会技術研究報告. Vol.102，pp.43-48，2002.
[7] 石岡恒憲，小論文およびエッセイの自動評価採点

5.3 CSE-SS 間の相関
教員の採点結果のみで調べたところ、CSE 間、SS間、さらに CSE と SS 間で 5%水準で有意な相関を認における研究動向，人工知能学会誌，Vol.23，pp.1724，2008.

めた(表 4)。特に Style 項目は CSE のうち Content と[8] 吉田武大，アメリカにおけるバリュールーブリッの相関が最も高い。このことは、自動採点で求められクの動向，教育総合研究叢書，vol.4，pp.1-12，2011.

る SS から、CSE の評価点に関するある程度の情報（例[9] 佐藤真，香田 健治，ルーブリックの開発に関するえば成績のレベルなど）を推測できることを示す。

モデレーション研修の比較検討 : 総合的学習におけるレポート評価を通して，教育学論究 Vol.6，pp.

表 4 教員の評価観点間の相関（n = 43）
Content Structure Evidence

61-68，2014.

Style

Skill

[10] Association of American Colleges & Universities，Content―

0.64

0.59

0.53

0.50

Structure

0.64―

0.48

0.48

0.53

Evidence

0.59

0.48―

0.32

0.51

Style

0.53

0.48

0.32―

0.75

[11] コ モ ン ル ー ブ リ ッ ク （ ラ イ テ ィ ン グ ） 2012 ，

Skill

0.50

0.53

0.51

0.75

―

http://renkei.kuins.ac.jp/pdf/3writing.pdf，(参照 201610-20).
[12] 松下佳代，パフォーマンス評価による学習の質の６．むすび
レポート採点用の詳細な評価項目をもつルーブリッ

VALUE Rubric Development Project，
https://www.aacu.org/value/rubrics/writtencommunication，(参照 2016-10-20)．

評価 : 学習評価の構図の分析にもとづいて，京都クを提案し、自動採点が可能な評価項目と評価観点を大学高等教育研究，vol.18，pp.75-114，2012.

明らかにした。特に Style 項目群のほとんどが、教員[13] 山本恵，梅村信夫，「語彙の豊富さ」からみた学生による採点結果との相関を認め、自動採点可能である

レポートの分析・評価，日本ムードル協会全国大会ことがわかった。また、5 つの評価観点間すべてにつ発表論文集，pp.6-8，2016.

いて相関を認めたことから、SS の自動採点結果により、[14] 砂川有里子，学習辞書編集支援データベース作成

CSE の予測が可能であることがわかった。ただし、について―『学習辞書科研』プロジェクトの紹介―，

Skill 項目群は、アルゴリズムの再検討もしくは、評価

日本語教育連絡会議論文集，pp.164–169，2012．

項目を追加して精度を高める必要がある。今後は SSの自動採点の精度を高め、その採点結果から CSE の各