中国地区

教育システム情報学会 2020年度学生研究発表会

自由記述からの講義キーワード検出と主成分分析を用いた学習者の理解度評価
Student Understanding Evaluation from Descriptive Responses
based on Principal Component analysis
森田 博人*1, 健山 智子*2, 折本 研*3, 松本 慎平*1

Hiroto MORITA*1, Tomoko TATEYAMA*2, Ken ORIMOTO*3, Shimpei MATSUMOTO*1*1 広島工業大学

情報学部

知的情報システム学科 *3 広島工業大学大学院

工学系研究科*1Dept. of Information Systems and Management, Faculty of Applied Information Science,*3Graudate School of Science and Technology,
Hiroshima Institute of Technology*2 滋賀大学
データサイエンス教育研究センター*2The Center for Data Science Education and Research,Shiga University
Email: bl17115@cc.it-hiroshima.ac.jp*1 , tomoko-tateyama@biwako.shiga-u.ac.jp*2

あらまし：本研究では、講義における学習者の理解度評価手法の確立を目的として，講義で取得したアンケートから講義の目的キーワードを抽出し，それを用いた情報解析による履修前後の比較について議論する．キーワード単語の頻度は学生の講義理解度に相関があると仮説を立て，その検証を学生の自由記述アンケートから解析した．この解析は学習者に対する理解度評価として可能であるか，について議論する．
キーワード：講義キーワード検出，理解度評価，習熟度解析，主成分分析，Biplot

1.

はじめに教育現場における情報技術の進展は，受講者からの学習到達に関連したデータが大量かつ容易に収集が可能となり，そのデータに基づいた学習分析は今後の講義の見直し，受講者の学習度評価が期待される(1)．一方，テキスト解析の学習度評価を用いた講義評価が現状主であるため，学習者個々の学習過程の習熟度評価手法は広く検討されている.
テキストマイニングによる習熟度も提案されているが，キーワード検出のみであり，学習者の到達度評価に至っていない．その習熟度到達に焦点を絞り，履修前後のテキストマイニングからの評価は重要である．本研究では，テキストマイニングで学習者個人の文章特徴を捉え，主成分分析より受講者の特徴を可視化する習熟度評価手法を提案する．

2.

〈2.2〉講義キーワードの定義
学生文章から講義の理解度を評価するため，文章内のキーワードがどれだけ講義内のキーワードと一致しているか確認を行う．そこで，本研究では講義キーワードを定義し，これを用いた．講義キーワー
ドの定義と，本講義での講義キーワードは以下である．
 講義キーワードの定義
講義を通して教員が受講者らに，学習，理解して欲しいキーワード群 本講義での講義キーワード
人，もの，金，企業，IoT, 分析，可視化，情報化，セキュリティ，ビッグデータ，データサイエンス，など（16 キーワード）
また，本研究では受講者らの自由記述において講義キーワードを含めるなどの指示は行わない．これにより外部からの意図的な記述ではなく，学習者自身からの理解に特化した文章取得につながる．

対象講義の概要と講義キーワードの定義

本研究の対象講義の概要と講義キーワード定義を以下で説明し，研究の流れを以下と図 1 で示す．
1. 履修前後で受講者らに講義内容に従い，1000 文字程度で自由記述「10 年後，どのような情報システムが社会に必要とせれているか」を記述
2. 各文章に対して MeCab を用いて名詞を抽出
3. 2.のデータをテキスト解析から学習者の履修前後での理解度変化を把握〈2.1〉対象講義の概要
対象講義は広島工業大学情報学部の 3 回生前期の「組織活動と情報システム」で，概要は以下である．
 企業，自治団体など組織内外の情報のあり方
 AI や今後想定される技術と社会の関わり
上記の内容をもとに講義展開を行った．

173

中国地区

3.

教育システム情報学会 2020年度学生研究発表会

図 1：本研究の流れ

テキスト解析と主成分分析による解釈

習熟度解析では，履修前後の各個人の文章に対して，形態素解析による名詞抽出のテキストマイニングを行った．結果より，文章内の単語のスコア化として，TF-IDF（式(1)）による数値化した．
𝑃𝑡𝑖 = TF − IDF𝑖,𝑗 = TF𝑖,𝑗 IDF𝑖,𝑗|𝐷|𝑛𝑖,𝑗=× (log+ 1){𝑑: ∋ 𝑡𝑖 }∑𝑘 𝑛𝑘,𝑗(1)(a)全体図𝑛𝑖,𝑗 ：𝑖番目の文章における𝑗番目の単語頻度
𝐷：総文書数{𝑑: ∋ 𝑡𝑖 }：任意単語𝑡𝑖 を含む文章数．
本研究では，該当講義の履修前後の両方を記述されていた受講者 21 人を対象として，テキスト解析を行った．式(1)をもとに先述の各受講者履修前後での文章内の講義キーワードの𝑃𝑡𝑖 値の変化を図 2 で示す．
縦軸は，受講者の番号を期末試験点数の結果をもとに昇順で表示し，横軸は文章全体で出現した講義キーワードで，色は𝑃𝑡𝑖 値をもとに設定した．図 2 から，履修前は全体で｛システム，人，情報，情報システム｝の単語が使用されていた．履修後での講義キーワードの出現は，受講者の講義キーワード間で関連性が想定される 2 単語が文章内で確認した．また，履修前後の計 42 文章の各講義キーワードの𝑃𝑡𝑖 値をもとに主成分分析（以降：PCA）による第 2 主成分までの 2 次元 Biplot を図 3 に示す．図 3 から，各学生の履修前後における文章変化を講義キーワードに着目し，文章の特徴的な変化を受講者個々から捉えると同時に，受講者全体が履修前と比較して具体的な講義キーワードを用いた文章記述の向上を示唆した．ただし，PCA での 累積寄与率が第 2 主成分までに 80%に到達していないため，この結果は文章の大まかな特徴抽出のみに留まっていると考えられる．
そこで，より文章の局所的な特徴を捉えるため，PCAによるデータの次元圧縮からの特徴解析を行った．
Biplot を用いて，履修前後における講義キーワード間の全体的な関係性ではなく，受講者の習熟度変化に対する評価も可能であることを示した．

(b)拡大図
図 3：PCA による履修前後の講義キーワード確認

4.

おわりに

本研究では，受講者の自由記述から習熟度評価の手法として， 履修前後の文章におけるテキストマイニングを用いた講義キーワード検出，TF-IDF の数値化を主成分分析を用いて解析し，受講者と講義キーワード間の関係性を Biplot を用いて可視化および解釈した．結果から，受講者らの履修前後における講義キーワード全体的な変化の推移だけでなく，その変化に対応した個々の受講者らの変化も同時に確認した．以上の結果より，履修前後における自由記述から個々のキーワードの取得と教員が提示するキーワードの関係性と受講者の理解度の可視化が達成され評価として有効な手法であることを示した．
今後，他の科目でも同様の解析より本研究の有効性を検証する．
謝辞
本研究は，広島工業大学 HIT 教育 機構 次世代 ICT
教育情報可視化研究開発センター及び””ICT 教育情報 モデル可視化 教育開発センター助成の下，”研究を遂行した．
参考文献(a)履修前での TF-IDF(1) J.T. Avella, et.al,: “Learning Analytics Methods, Benefits,and Challenges in Higher Education: A Systematic
Literature Review”, Journal of Interactive Online Learning,
Vol.20, No.2 pp.1-17 (2016)(2) 二瓶, 他：アクティブラーニングにおける学習効果の可視化と教育改善への取り組み，平成 26 年度 ICT 活用による教育改善研究発表会，B‐11，ICT 活用教育
方法研究第 17 巻第 1 号，2014(b)履修後での TF-IDF

図 2：履修前後の講義キーワード TF-IDF

174