日本ソフトウェア科学会第 34 回大会 (2017 年度) 講演論文集

短文レポート評価のための短文レポート群の特徴に基づく可視化システムの開発
山添 久稔

大囿 忠親

新谷 虎松

本研究では，講義後の理解確認のための短文レポートの評価を自動化するためのシステムの実現を目指している．本
研究のチャレンジングな点は，正答および誤答をシステムを与えることなく，自動評価するための技術を実現することである．本稿では，自動評価のため，対象とする短文レポートの特徴より，正答と誤答を判定することを目的に，
F1) レーベンシュタイン距離を元にした特徴量，F2) 頻出語を元にした特徴量，F3) 3-gram を元にした特徴量，という 3 つの特徴量を設計した．そして，3 つ特徴量に基づくレポート群可視化システムの開発を行った．また，3 つの特徴量の組み合わせの内，いずれの組み合わせが最も正答と誤答を判定できるかの実験を行った．実験の結果として，3 つ全ての特徴量を全て使った組み合わせが，最も適した組み合わせであった．

In this research, we aim to implement a system to automate the evaluation of short reports for checking
student’s knowledge. The challenging aspect of this research is to realize a technology for automaticallyevaluating correct or wrong answers by unsupervised learning. In this paper, we designed the following threefeatures for automatic evaluation of correct answers or wrong answers by using the characteristics of thetarget short reports: F1 ) A feature based on Levenshtein distance, F2 ) A feature based on frequent word,and F3 ) A feature based on 3-gram. We developed a report group visualization system based on these threea feature. We also conducted experiments to determine which combinations of the three feature are mostappropriate for judging answers. As a result of the experiments, it turned out that the combination of allfeatures is best.

するシステムが必要である．大学の講義程度の短文レ

1 はじめにポートに対し，システムによる評価支援を試みる際，本研究では，講義後の理解確認のための短文レポー

事前準備により評価者の負担を大きくしてはならなトの評価を自動化するためのシステムの実現を目指い．そこで，本稿では，2 章で述べる特徴を持った短している [3]．本研究のチャレンジングな点は，正答文レポート群に対象を絞り，この短文レポート群に対および誤答をシステムに与えることなく，自動評価すし，事前準備を必要としない短文レポート評価支援シるための技術を実現することである．ここでは，誤答ステムの開発を行う．となるレポートを正答からの外れ値とする，外れ値検出として考えることとした．

本稿でいう短文レポートの評価支援とは，1) 短文
レポートの正誤を教師なしで判定，2) レポート群の講義における短文レポートの評価は，評価者の大き特徴を 3 次元グラフとして可視化，および 3) 受講者な負担となる．そのため，短文レポートの評価を支援へのフィードバックの 3 点である．本稿では主に 1)
および 2) について説明する．

A Development of Visualized Evaluation Systemfor Short Reports based on Caractaristics of theReports
Hisatoshi Yamazoe, Tadachika Ozono, Tramatsu
Shintani, 名古屋工業大学大学院情報工学専攻, Dept. ofComputer Science, Graduate School of Engineering,
Nagoya Institute of Technology.

以降，本稿では．2 章で，対象とする短文レポートの特徴と関連研究との比較について述べる．3 章で，短文レポート評価支援システムの実装について述べ，4 章でシステムの構成図と実行例を述べる．また，5章で評価実験を行い，6 章にて本稿をまとめる．

表1
ラベル
F1
F2
F3

特徴量のラベル

特徴量
レーベンシュタイン距離を元にした特徴量
頻出語を元にした特徴量
3-gram を元にした特徴量を表す表現を生成する．
」といった講義資料上の説明をそのまま繋げた解答が想定されている．
本研究では，正答および誤答をシステムに与えずに正答判定を行うために，誤答となるレポートを正答からの外れ値とする．外れ値検出とかんがえるこ
図1

短文レポートの正答が書かれた講義資料ととした．ここで，上記のレポートに対し，tf-idf を用いてみたが，満足する結果を得ることができなかった．原因として，文章量が多いレポートの各形態素に2 対象とする短文レポートの特徴と関連研究対する tf の値が小さくなるためであると考えられる．

2. 1 対象とする短文レポートの特徴

そのため，各短文レポート間の文章量の差に依存しな本稿で対象とする短文レポートは，毎回の講義後い特徴量の設計が必要不可欠である．に出題され，その目的は，講義受講者に講義内容の理解と復習を勧めるものである．講義受講者は，ウェブ

2. 2 関連研究と本研究の比較

ページより講義資料を自由に手に入れることができ

短文レポートの評価支援に関する研究は広く行わる．また，短文レポートの難易度は，講義資料の内容れている．石岡らは，大学入試センター試験に代わるの一部がそのまま短文レポートの正答になっているよ

記述式の試験やその模擬試験などに対してアプロー

うな簡単なものである．そのため，本稿では，1) 解チしている [5]．石岡らの手法は評価の事前準備とし答間の類似度が高い，2) 正答が大多数を占める，3)て，模範解答に加え，模範解答内の語彙についての言正答と誤答では含まれる語彙が異なる，という 3 つい換え表現，部分点，一部の回答を用いて作成した評の特徴を，短文レポートの解答が持つと仮定する．

価モデルの回答の評価を行う．また，短文レポートの具体例として，本学の学部 3 年生向けの講義である

評価結果を視覚的に表現する研究では，椿本らの研究「自然言語処理」の講義において，出題された短文レが挙げられる [4]．椿本らの研究では，短文レポートポートを 1 つ示す．短文レポートの問題文は，「自然の評価結果を円錐状の 2 次元上にマップし，短文レ言語処理とは？」というものである．また，図 1 は，ポート評価者への支援を行った．また，外れ値検出を短文レポートが出題された際の講義で用いられた講文章に対して利用した研究として，Cha らの研究が義資料の一部であり，「自然言語処理とは？」という挙げられる [1]．文献 [1] では，テキストマイニングに問題に対する解答が示された講義資料である．講義

対し，Scholkopf らが開発した，One-Class-SVM [2]

資料では，自然言語処理を，形態素解析，構文解析，を用いた手法が提案されている．

意味解析の 3 つに分け，それぞれについて概略の説明を行っている．また，実際の短文レポートの解答として，「自然言語処理とは，形態素解析，構文解析，意味3 正答／誤答を判定するための 3 つの特徴量と誤答判定機構

解析の 3 つからなる．形態素解析とは，ベタの文字短文レポートに対する特徴量として，F1 ) レーベン

列を言語を構成する最小単位である形態素に分割すシュタイン距離を元にした特徴量，F2 ) 頻出語を元にるものである．構文解析とは，形態素がなす構造 (文した特徴量，F3 ) 3-gram を元にした特徴量の 3 つの構造) を抽出する．意味解析とは，言語が伝える意味特徴量を提案する．また，以下，それぞれの特徴量を表 1 の通り表記する．この 3 つの特徴量は，それ離が大きくなり，誤答と文が入れ替わった正答との判ぞれ異なるヒューリティクスに基づき，1 回の短文レ別が困難となる．そのため，F2 を提案する．F2 は解ポート課題において，ある短文レポートがその他の答の語彙のみに着目した特徴量である．特徴を持つ短文レポートにどれほど近いかを特徴量として算出

短文レポートを対象とした場合，同様に正答の値が 0する．本システムが対象とする短文レポートが持つに近づくことが期待できる．具体的な，F2 に対する特徴を考慮すると，算出された特徴量が 0 に近いほ

各短文レポートの値の算出方法を述べる．まず，短文ど，正解らしい答案であると期待することができる．

レポート群の内，半数の短文レポートに出現する名詞

この章では，3 つの特徴量と，3 つの特徴量を元にしを頻出語とし，この集合を名詞集合 W とする．そした誤答判定機構について述べる．て，各短文レポート ri に対し，次元 |W | の，名詞の出現回数を要素とするベクトル vi をつくる．最後に，3. 1 レーベンシュタイン距離を元にした特徴量ベクトル vi の和の逆数を取る．この操作により，算F1 は，ある短文レポートと，他の短文レポートと出されたものが，頻出後を元にした特徴量である．のレーベンシュタイン距離を計算したものの和である．対象となる短文レポートは，例として示した「自3. 3 3-gram を元にした特徴量

然言語処理とは？」の解答のように，講義資料上の解3-gram 用いることで，名詞だけでなく，名詞に関答の部品を，自然言語として自然になるように，接続わる助詞や副詞なども考慮にいれたレポート間の距して解答を作成される．その際，正答解答集合には，離を考えることができる．3-gram を用いることで，句読点や「コンピュータ」，「コンピューター」等の一F2 では表現できない，名詞と副詞や助詞等のつなが文字単位での表記揺れを除外すれば同一の文章となりを表現したレポート間の比較を行うことができる．

る解答が存在している．そのため，特徴を持つ短文レ

具体的には，「を」，「に」等の格助詞と，格助詞の前ポート群を対象に，レーベンシュタイン距離の和を考の対象の 2 文字により，その文章において，対象の 2える．類似した正答集合内の解答は，レーベンシュタ

文字が文章中の目的語なのかが表現できる．レポート

イン距離の和が小さくなり，誤答集合内の解答はレーri における，F 3 の値 ritri はレポート ri より作られベンシュタイン距離の和が大きくなると期待できる．

た 3-gram を T (ri ) とすると式 (2) で求めることがで具体的な各短文レポートの F1) の算出方法を述べる．

きる．

短文レポート集合 R の各短文レポート ri のレーベンシュタイン距離を元にした特徴量の値 ril は，式 (1)で表される．lev(ri , rj ) は，短文レポート ri と短文
レポート rj のレーベンシュタイン距離である．
ril =∑(ritri = ∑rj ̸=ri ,rj ∈R

1|(T (ri )∩T (rj ))|min{|T (ri )|,|T (rj )|})(2)

3. 4 誤答判定機構
誤答判定機構とは，外れ値検知アルゴリズムを用いlev(ri , rj )(1)

rj ̸=ri ,rj ∈Rて，誤答らしい短文レポートを判定する機構である．
誤答の判定は，以下の 4 ステップで行う．ステップ 1

3. 2 頻出語を用いた特徴量

では，評価対象の短文レポート群に対し，F1 ,F2 ,F3F1 は，文字単位の表記揺れをグラフ上の距離としを求める．ステップ 2 では，求めた値を正規化する．て表現した．しかし，レーベンシュタイン距離は，文ステップ 3 では，One-Class-SVM を用い，正規化を章における文字の入れ替えにも影響する．具体的に行った 3 次元データに対し，外れ値検知を行う．最後は，例で示した，「自然言語処理とは？」の短文レポーにステップ 4 では，外れ値と判定された短文レポー

トの場合，解答として，3 つの解析が列挙されたもの

トを誤答らしい短文レポートとして判定する. ただし，を例示したが，同一の文で，それぞれの解析に対する外れ値検知を行う際，短文レポートの文章量が，短文説明文が入れ替わった際にも，レーベンシュタイン距レポート群の文章量の平均より，1.5 倍以上大きいレ図2

システム全体の構成図

図3

短文レポート評価画面

ポートに関しては予め正答と判定する．これは，長文し矢印はレポートの提出がなされた際の流れをそれぞの解答において誤答は極めて少ないためである．
正規化には，scikit-learn†1 の preprocessing.scale/1

れ示す．まず，講義受講者は指定されたメールアドレを ，One-Class-SVM は ，同 様 に scikit-learn のれたメールは，様式に従いパースされ，データベース

svm.OneClassSVM/3 をそれぞれ用いた．One-Class-に保存される．短文レポートの提出期限が過ぎた後，SVM にはパラメータが nu，kernel，gamma の 3 つ

評価者は評価を行う．評価者は，提出期限後の任意の存在する．本システムでは，nu = 0.3，kernel =タイミングで，短文レポート評価画面を web ブラウ“rbf ”，gumma = “auto” をそれぞれグリッドサー

ザ上で開き，短文レポートの評価を行う．レポートのチにより設定した．

評価を行う際に，データベースより該当するレポートスに指定の様式で短文レポートの提出を行う．提出さまた，ステップ 2 において，正規化を行う際の 3 つ群が特徴量計算機構へと送られ，各レポートに対し特の特徴量の組み合わせについて，Fi ，Fi,j ，F1,2,3 と徴量が計算される．計算された値を用い，誤答判定機いう表記を行う．Fi は，Fi 単体で用いるという意味

構により誤答が判定され，ユーザインターフェースでである．Fi,j は Fi と Fj を用いて正規化を行うといある，短文レポート評価画面に送信される．評価結果

う意味である．F1,2,3 は 3 つ全ての特徴量を用いるとは，データベースと講義受講者の元へ送信される．

いう意味である．これらの特徴量の組み合わせにおけ短文レポートの提出方法を，専用の web ページでる，最適な組み合わせについては，5 章で比較実験をはなく，メールにしたのには，以下の 2 つの理由があ行う．

る．1 つ目の理由は，短文レポート提出に対して，ロバストなシステムにする必要があったためである．専4 システムの構成図と実行例

用の web ページによる提出では，短文レポートの提システム全体の構成と，実際に短文レポートを評価出を行った際，サーバ側に何らかのトラブルが生じてする際の実行画面について述べる．

いた場合，提出した短文レポートが失われてしまう．
しかし，メールによる提出では，万が一，サーバ側に4. 1 システム全体の構成図トラブルが生じていた際でも，送信履歴として受講システム全体の構成図を図 2 に示す．図 2 中の中者側にもオリジナルの短文レポートが保存されてい抜き矢印は評価者が評価を行う際の流れを，塗りつぶるため，容易に再送することができ，受講者に再度 1から短文レポートの記述を求めなくて済む．2 つ目の†1 http://scikit-learn.org/

理由として，現在の対象としている短文レポートが

表2

レポート
課題 A
レポート
課題 B
レポート
課題 C
レポート
課題 D

使用した
特徴量
precisionrecall
F値
precision
recall
F値
precision
recall
F値
precision
recall
F値

誤答の検出

F1F2F3F1,2

F1,3F2,3F1,2,3

0.33
0.08
0.13
0.33
0.22
0.26
0.50
0.11
0.18
0.33
0.12
0.18

1.00
0.16
0.28
0.66
0.36
0.47
0.00
0.00
0.00
1.00
0.37
0.54

0.66
0.18
0.28
0.50
0.30
0.37
0.50
0.14
0.22
0.66
0.25
0.36

0.66
0.22
0.33
0.16
0.12
0.14
0.50
0.14
0.22
1.00
0.42
0.60

1.00
0.30
0.46
0.50
0.37
0.42
0.50
0.83
0.14
1.00
0.37
0.54

0.330.14
0.20
0.66
0.44
0.53
0.50
0.07
0.12
0.66
0.25
0.12

1.00
0.37
0.54
0.66
0.44
0.53
0.50
0.10
0.16
1.00
0.42
0.60

メールによる提出を行っていたためである．の短文レポートが存在する位置までリストがスクロールされる．

4. 2 短文レポート群可視化システム
図 3 は短文レポート評価画面の実行図である．短文レポート評価画面を 4 つに分割して説明する．
1 と⃝2 は，短文レポートのリストである．
図 3 中の⃝
1 側のリストは，正答らしい短文レポートが並んで⃝

1 ⃝2 リスト上の短文レポートをクリックし逆に，⃝3 のグラフ上の対応する点がアニメーションた際，⃝とともに，青色へと変更される．上記のどちらの場合
4 の文は，対応する短文レポートの文へにおいても，⃝と変更される．

2 側のリストは誤答らしい短文レポーいる．反対に⃝2 の誤答と判定された解答を中心に，3D評価者は，⃝トが並んでいる．各短文レポートの初期状態は，前グラフの操作を行いながら，短文レポートの評価を述の誤答判定機構により，決定され，誤答と判定され1 ⃝2行う．短文レポートの正答誤答の相互移動は，⃝2 側のリストに追加され，誤答とた短文レポートは⃝のリスト上の各要素が持つ（正答へ／誤答へ）ボタン

1 側のリストに判定されなかった短文レポートは，⃝をクリックすることで移動する．評価を終える際は，

3 は 3D グラフである．グラフ上には，追加される．⃝

画面下部の確定ボタンをクリックする．このボタンを三色の点がプロットされている．緑色の点は正答のリクリックすることで，データベースへの結果の格納と1 に並んでいる短文レポートを指し，赤ストである⃝へのメールによる結果の送信が行われる．

色の点は誤答のリストである 2 に並んでいる短文レポートを指している．また，青色の点がグラフ上で 1

5 誤答判定についての評価実験つだけあり，これは，現在選択中の短文レポートであ3 のグラフは Plotly.js†2 によって実装を行ってる．⃝

5. 1 実験内容
3 章で提案した 3 つの特徴量を用い，誤答予測シスおり，評価者により，自由に回転，拡大／縮小というテムに最も適した組み合わせを比較実験を行う．実験

4 は，現在選インタラクティブな操作が可能である．⃝に用いるデータは，本学の学部三年生向けの講義で択中の短文レポートの文が表示されている．

ある自然言語処理の過去 10 年分の短文レポートより，

1 ⃝
2 と⃝
3 のグラフ時の点は相互にリスト上に並ぶ⃝

評価済みデータより 4 件（レポート課題 A，B，C，3 上の点をクリックした際，繋がっており，例えば，⃝D）を用いる．また，最も誤答を判定できた組み合わ

1 ⃝2 いずれかのリスト上に存在する点が表す短文レ⃝

せについて，3D グラフにプロットを行い，その考察

1 ⃝
2 のリスト上ポートの背景色が青色に変更され，⃝を行う．

†2 https://plot.ly/javascript/

図4

F1,2,3 を用いたグラフ

5. 2 実験結果と考察答と判定されたレポートは，“＊” マークでプロット

4 つの短文レポート課題 A,B,C,D に対し，誤答判されている．そして，また，グラフ上で，誤って判定定機構を用いて，比較評価実験を行った．表 2 は実されたレポートのうち，正答が誤答と判定されたレ験の結果を表す．表 1 において，各行はそれぞれのレポートは，“△” マークで，誤答が正答と判定された

ポート課題を表し，各列は各特徴量の組み合わせをレポートは，“｜” マークでプロットされている．

表す．

表 2 と図 4 を見ると，F2 が，判定能力が最も高い比較実験の結果について，考察を行う．まず，レ特徴量であるといえる．しかし，レポート課題 C にポート課題 C において F 2 の値が 0 であることにつおける F 2 の値が 0 であり，単純に頻出語のみを用いいて，これは，誤答判定機構により，全ての解答が正た特徴量の組み合わせを用いるべきではないことが答であると判定されたためである．比較実験の結果，わかる．また，レポート全体を通して，より原点に近F1,2,3 が最も良い特徴量の組み合わせであることがわ

い位置に正答が集中し，原点より遠い位置に誤答がプかった．

ロットされることが確認できる．レポート B のグラ

図 4 は F1,2,3 の 3D グラフである．また，グラフ

フは，レポート A,C,D と比較し，グラフ上で短文レ上で，正しく判定されたレポートのうち，正答が正答ポートが散逸している．これは解答の根拠となる講義と判定されたレポートは，“○” マークで，誤答が誤資料が複数ページに渡って掲載されていたことによるものであると判定できる．F1 が全体を通してあまり
rif req = ∑誤答の判定に貢献していないことが実験結果よりわかる．

謝辞

1wj ∈Wi ∩W f reqcount(wj , ri )(3)

本 研 究 の 一 部 は JSPS 科 研 費 JP15K00422,

6 おわりにJP16K00420 の助成を受けたものです．

本稿では，レポート評価支援のため，対象とする短文レポートの特徴より，正答と誤答を判定することを

参 考 文 献目的に，3 つの特徴量を設計し，3D グラフによるレ[1] Junbunm, Cha. Jeongwoo, K. S. P.: GRiD: Gathering Rich Data from PubMed Using One-class
SVM, Proc. 2016 Systems,Man,andCybernetics,IEEE, 2016.
[2] Scholkopf, B. and Platt, J.: Estimating the support of a high-dimensional distribution., Neuralcomputation, Vol. 7, No. 13(2001), pp. 1443–1471.
[3] 山添久稔. 大囿忠親. 新谷虎松: 異常検知を用いたレポート評価システムの試作, 電気・電子・情報関係学会
東海支部連合大会, 2017(to appear).
[4] 椿本弥生. 柳沢晶義. 赤堀侃司: レポート内容とその評価を可視化する円錐形レポート採点支援マップの開発と評価, 日本教育工学会論文誌, (2007), pp. 317–326.
[5] 石岡恒憲. 亀田雅之. 劉東岳: 人工知能を利用した短答式記述採点支援システムの開発, 研究報告自然言語処理, 2016.

ポートの可視化を用いたレポート評価支援システムの開発を行った．3 つの特徴量の最適な組み合わせにおける実験について，F1,2,3 がもっと適した組み合わせであることが分かった．また，F1 の，判定への貢献が余り大きくないことも分かった．今後の課題として，より誤答の判定に貢献するよう特徴量を改善することと，3D グラフを用いたレポート評価支援システ
ムが，レポート評価者の負担軽減にどの程度繋がるかの実験を行いたい．