I2-4

記述式小テストにおける解答の入力過程の分析－理解が不十分なことに関する記述の抽出法－

Analysis of Typing Process to Answer Descriptive Quiz
-Extract Descriptions Related to Incomplete Misunderstandings早川 賢治*1, 高瀬 治彦*2, 川中 普晴*2, 鶴岡 信治*2
Kenji HAYAKAWA*1, Haruhiko TAKASE*2, Hiroharu KAWANAKA*2, Shinji TSURUOKA*2
三重大学大学院工学研究科
Graduate School of Engineering, Mie University
Email: *1414M233@m.mie-u.ac.jp, *2{takase,kawanaka,tsuruoka}@elec.mie-u.ac.jp
あらまし：講義中に行う簡単な記述式の演習（記述式小テスト）において，講師を支援する手法を検討する．本稿では特に，学生が計算機システムを利用し小テストに解答する場合を対象として，解答の入力過程から講師の助けとなる情報を抽出することをめざす．学生が解答を入力する際，スムーズに解答を入力できない理由は，理解が不十分な場合と，タイピング技術の不足による場合が考えられる．実際の解答を分析することで，一定時間以上入力が停滞した場合は，タイピング技術の不足では引き起こされていないことを確認した．これを利用することで，入力停滞後の解答の変化から，学生の理解が不十分な点を検出できるであろう．
キーワード：教育支援システム，小テスト，入力過程

1.

はじめに

講義において，学生の理解を深めるためには，講師が一方的に講義内容を教授するのみでなく，学生の理解状況を把握し状況に応じて適切な授業改善を行うと良い．そのために講師は，しばしば小テストを用いる．ここで小テストとは，授業中に学生の理解状況を把握するために行う簡単な演習を意味する．
この場合，講師は小テストの解答から学生の理解状況を把握し授業改善を行う．効果的に学生の理解を改善するためには，速やかに授業改善を行うことが必要である．しかし，これは多人数講義では困難である．
本稿では，記述式の小テストをつうじて，学生の理解状況（特に理解が不十分な箇所）を検出する方法について検討する．記述式の小テストを対象にするのは，学生が解答を自身の言葉で記述するため，解答に学生の理解状況がより詳細に含まれると考えたためである．

2.

記述式の小テストによる理解状況の把握

小テストにより学生の理解状況を把握するために講師は，実施中に机間巡視したり，回収した解答を読んだりする．しかし，これらは学生数が増えると困難になる．これを解決するために，計算機システ
ムにより，解答の分析を支援するさまざまな試みがなされてきたが，本稿でめざしている小テストの支援には向かない．例えば S-P 表(1)は，多数行ったテストにおける各学生の正答状況から，問題がある問や学生を抽出できる．しかし，ある程度以上の問が必要であり，単発で実施する小テストの分析には向かない．また，自動採点の試みも多数なされているが，解答形式が穴埋め・選択式などに限られる．

JESS(2)のようにレポートを採点する方法もあるが，学生の解答を点数で判断するだけでは，どのような誤り・つまずきをしているのかが分からない．我々の研究グループでも，学生の解答を講師に見やすく提示するシステムを構築してきた(3,4)が，講師の負担を十分に減らせていない．
本稿では，講師が机間巡視の際に学生の解答だけでなく振る舞いも観察していることに着目する．講師が観察している学生の振る舞いは多岐にわたるが，本稿では，解答の作成状況に着目する．特に，計算機システムを用いて小テストを実施している場合を想定し，解答の入力状況に着目する．

3.

解答の入力状況と学習者の状況の関係

実際の小テストにおける解答の入力過程を収集した結果を分析し，解答の入力状況と学習者の関係について検討する．
3.1 分析対象とした解答の入力過程分析は，実際に行われた小テストにおける解答の入力過程を対象に行った．対象としたのは，次の 2問分である．学生は，各自の端末を用いキーボードから解答を入力し，サーバに提出する．サーバは，解答の提出の有無にかかわらず，一定時間間隔で解答を収集した．
問 1: 機械語について説明せよ．なお解答には「直接実行」，「二進数」，「命令」を使用すること．
この問は，理系の大学 1 年生が受講する計算機基礎に関連した講義で行われたものであり，講義で説明した「機械語」の理解状況を確認するために行った．また解答数は 79 件，解答の平均文字数は 78.0 文字であった．

― 217 ―

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

問 2: 120cm の棒を 20 本，工場 A および B に注文した．納品されたもののサイズは以下のとおり（略）であった．工場 A，B のどちらと契約すべきか説明しなさい．
この問は，理系の大学 2 年生が受講するデータマイニングに関連した講義で行われたものであり，各種統計処理を教える前に，統計的なものの考えがどれくらいできるのかを確認するために行った．また解答数は 48 件，解答の平均文字数は 85.9文字であった．

表 1 入力停滞時の解答の分析結果
入力途中の単語を含む含まない2254問10105
問2
表 2 長時間停滞時の解答の例（問 1）
停滞時間
解答[秒]
機械語は、CPUの命令により直接実130
行
機械語は,コンピュータが125
機械語は,CPUが直接実行可能な最も低級なプログラミング言語であり,120
人間が使用する場合は二進数や十六進数が用いられる。

3.2 大まかな傾向
学生が解答を入力する過程を，解答の文字数の時間変化に着目し分類したところ，大きく次の 3 パターンを得た．第 1 は文字数が増加し続ける場合，第2 は文字数が単調増加する場合（増加しない区間も含む），第 3 は文字数が増減する場合である．
本稿では，第 1 の場合は学習者に何も問題が無く，第 2，第 3 の場合には学習者が何かしらの問題を抱えていると考えた．解答に際して，学習者が抱える問題と，それにより引き起こされる行動には，以下の 3 種が考えられる．
(1) 理解が不十分なことがあり，それに関する記述にとまどっている．
(2) 問に対する考えが十分にまとまっておらず，それをどう表現するのか考えている．
(3) タイピング技術が低く，入力が進まない．
本稿では，(1)，(2)をまとめて，理解が不十分な状態に学生があると考え，これを(3)と区別して検出できないかと考える．
そこで，タイピングの技術が低い場合は頻繁に解答を更新すると考え，ある一定時間以上停滞が続いた時点に着目することで，(1)，(2)の場合と(3)の場合を区別できるのではないか．
3.3 解答入力が停滞した時点の解答
本節では解答の入力が停滞した時の解答を分析し，停滞の原因について検討する．前節で述べたように，一定時間以上の停滞は，学生のタイピング技術に起因しないと考え，入力が 15 秒以上停滞した時の解答を分析する．ここで，問 1 では計 256 回，問 2 では
計 105 回，入力が 15 秒以上停滞していた．
理解が不十分な場合，解答の区切りの良いところ（文節・単語の区切れ目）で入力が停滞するだろう．
タイピング技術が不足している場合，解答の区切りの良いところに限らず入力は停滞するだろう．そこで，停滞したすべての時点の解答が，入力途中の単語（形態素）を含むかどうかを調査した．入力途中の単語を含んでいなければ，解答の区切りのよいところでのみ入力が停滞したといえる．表 1 に調査結果を示す．問 1 の 2 回を除いて，すべて解答の区切りの良いところで入力が停滞している．表 2 に問 1において特に停滞時間が長かった 3 例における停滞時の解答を示す．停滞時間が 120 秒のものは文が完成しており，残りの 2 例も区切りの良いところで入力が停滞している．
表 1 における例外の 2 例は，いずれも 20~25 秒程度入力が停滞していた． 1 つは，停滞後に漢字変換と追記を行っていた．もう 1 つは，「~，に」で停滞しており，停滞後に「~，に」を「~，二進数で」と変更後再び停滞していた．これらに関してはタイピング技術によるものとも考えられるが，ほとんどの場合は，学生の理解が不十分なことによるものといえる．

4.

さいごに

我々は，多人数講義において，記述式小テストを実施する講師を支援するシステム構築をめざしている．その一環として，学生のふるまい，特に解答の入力状況から，学生の理解が不十分なことに関する記述を検出することを試みている．本稿では，実際の解答の入力過程を分析し，解答が一定時間以上停滞した箇所は，タイピングスキルによるものではないことを確認した．今後は，停滞した後の解答の変化を分析することで，学生の理解が不十分な点を検出する手法について検討して行く．
参考文献(1) 日本教育工学会編: “教育工学事典”, 実教出版, pp.2021 (2000)(2) 石岡恒憲: “記述式テストにおける自動採点システムの 最 新 動 向 ”, 行 動 統 計 学 , Vol.31, No.2, pp.67-87,(2004)(3) 高瀬 治彦, 川中普晴, 鶴岡信治, 森田 直樹: “記述式小テストの解答群の分析手法－解答群からのキーワード自動抽出－”, Computer & Education, Vol.34, pp.4649 (2013)(4) Haruhiko Takase, Hiroharu Kawanaka, Shinji Tsuruoka:“Supporting System for Quiz in Large Class－Automatic
keyword Extraction and Browsing Interface－”, Journal ofAdvanced Computational Intelligence and Intelligent
Informatics, Vol.19, No.1, pp.152-157 (2015)― 218 ―