論日本教育工学会論文誌 41(3)，233-244，2017

文

トピックモデルを用いた授業評価アンケートの自由記述の分析†
松河秀哉＊1・大山牧子＊2・根岸千悠＊2・新居佳子＊3・岩﨑千晶＊4・堀田博史＊5
東北大学＊1・大阪大学＊2・大阪市立大学＊3・関西大学＊4・園田学園女子大学＊5

本研究では，様々な制約から活用が難しかった授業評価アンケートの自由記述の分析に関し，ある大学で実施された９年分，約６万件のデータに対して，潜在ディリクレ分配モデル(LDA)に基づいたトピックモデルによる分析を行い，170のトピックを抽出した．抽出したトピックに対しては，一定の手順に従ってラベルを付与し，ラベルの妥当性を検証した．その結果，ラベルには十分な妥当性が確認され，トピックモデルによる分類が全体的には人間の感覚に適合したものであることが示された．本研究ではさらに，自由記述を科目群の情報と紐付けて分析を行い，各科目群に存在するトピックの割合や，全体の傾向と比較した各科目群のトピック分布の特徴について，クロス表による情報の可視化を行った．こうした分析手法は今後 Institutional Research (IR)，Learning Analytics (LA)等での応用が期待される．
キーワード：授業評価，自由記述，トピックモデル，テキストマイニング，ビッグデータの分析

1. は じ め に因によって規定されるのか（星野・牟田 2006）など，
項目間の関係を探るものが多かった．授業評価アンケー

大学教育における Faculty Development (FD)の義務化

トは，授業を行った教員の授業改善を目的とした直接的に伴って，授業評価アンケートが一般化して以来，授業なフィードバックとして効果を発揮する一方で，こうし評価アンケートを扱った研究も増加してきた．従来，こた研究に見られるように，授業評価アンケートの結果が，うした研究では，授業評価アンケートの中で，数値で回

全体あるいはある程度のまとまりとして分析された場

答される設問を取り上げ，例えば満足度がどのような要合は，授業の全体的な傾向が明らかになる．そのため，
授業評価アンケートは，科目やカリキュラムの責任者，2017年1月31日受理†
Hideya MATSUKAWA*1, Makiko OYAMA*2, Chiharu
NEGISHI*2, Yoshiko ARAI*3, Chiaki IWASAKI*4 andHiroshi HOTTA*5 : Analysis of Free Descriptions of
Course Evaluation Questionnaires Using Topic
Model＊1Institute for Excellence in Higher Education, Tohoku
University 41 Kawauchi, Aoba-ku, Sendai, Miyagi,
980-8576 Japan＊2
Center for Education in Liberal Arts and Sciences,
Osaka University 1-16 Machikaneyama-cho,
Toyonaka, Osaka, 560-0043 Japan＊3
Urban Culture Research Center, Osaka City
University 3-3-138 Sugimoto, Sumiyoshi-ku, Osaka,
Osaka, 558-8585 Japan＊4
Division of Promotion of Educational Development,
Kansai University 3-3-35 Yamate-cho, Suita,
Osaka, 564-8680 Japan＊5
Faculty of Human Health, Sonoda Womens’s
University
7-29-1
Minami-tsukaguchi-cho,Amagasaki, Hyogo, 661-8520 Japan
Vol. 41，No. 3（2017）

FD の担当者など，複数の授業の傾向を俯瞰的に把握する必要がある立場の教職員に対して，有用な情報源となってきたと考えられる．一方で，授業評価アンケートには，自由記述欄が設けられることが多く，そこでは，授業評価アンケートの項目作成時に想定された項目に限定されない多様な情報が回答される．従って，授業評価
アンケートの自由記述は，複数の授業の傾向を俯瞰的に把握する必要がある立場の教職員にとっては，アンケー
ト項目の作成時には想定しきれない個々の授業の文脈を反映した情報源として，高い利用価値があると考えられる．しかしながら，自由記述にどういった内容が書き込まれているのか，その内容は，科目によってどのように異なるのかといった，自由記述の内容の概要把握や，自由記述の内容と，その他の要因の関連の分析について
は，これまで積極的に取り組まれてきたとは言い難い状
況である．
233

その一因として，自由記述の分析上の困難さが挙げプリングによるベイズ推定を行う，潜在ディリクレ分られる．従来，自由記述の内容に踏み込んだ分析をす

配モデル（Latent Dirichlet Allocation, LDA）がよく用るためには，人手による分類が不可欠であった．しかいられている（岩田 2015，佐藤 2015）．トピックモデ

し，授業評価アンケートの自由記述は必然的に大規模ルを用いれば，文書集合全体の中にどのような単語のな件数となるため，全体を対象とした分析にはサンプ集合から構成されるトピックが含まれているのかとい

リングを用いるほかなかった．また，サンプリングをう概要把握が可能になるのに加え，各文書がどのよう行ったとしても，分類には一定の件数を詳細に読み込なトピックから構成されているかということについてむことが必要であり，多大な労力を要することは想像も推定が可能となる．トピックモデルでは，潜在的なに難くない．このため手作業で自由記述の内容を網羅的

単語間の関係も考慮されるため，従来の手法では難しに把握するのは，現実的な方法ではなかったと言えよう．

かった，文脈によって同じ単語が違う意味を表すケー

例えば，授業評価アンケートの自由記述の分析に関スなどにも対応が可能であり，高い分類精度が期待で連する研究として，田口（2002），須田（2017）のようきる．

に，学生が毎回授業後に提出するミニッツペーパの分

授業評価アンケートの自由記述の分析にトピックモ

析を取り扱った研究が挙げられる．こうした研究は，

デルを用いれば，自由記述全体の中に含まれるトピッ

一定の手順に従って，記述内容を分類したり，記述内クが自動的に抽出されるため，従来の研究手法で必須

容をコーディングしたうえで，可視化を行ったりしてであった，手動でのカテゴリ生成が不要となる．また，いるが，基本的に手作業によって，分類やコーディン

各自由記述がどのトピックに属するのかについても，グを行っている．そのため，授業単位の比較的小規模

具体的な確率を伴って明らかになるため，自由記述全な分析は対応可能であるが，授業全体を対象とした分体にどのトピックがどの程度含まれているかを自動的

析は，負担の点から困難を伴うと考えられる．

に集計したり，例えばトピックと成績の情報を紐付け

一方，近年では，形態素解析の普及や，テキストマることで，自由記述における発言傾向と成績の関係をイニングツールの一般化に伴い，クラスタ分析やネッ検証したりといった，より高度な分析を行うことも可トワーク分析を活用して，自由記述を分析しようとい能となる．

う試み（越中ほか 2015, 釜賀 2015）もみられるよう従って，本研究では，実際の授業評価アンケートのになってきた．これらの手法は，分析についてある程自由記述の分析にトピックモデルを援用し，その応用度の自動化が可能となるため，手作業と比較すると，可能性を検討する．具体的には，自由記述全体からど大量の自由記述の分析には適したものであるといえる． のようなトピックが抽出されるかを確認するとともに，
しかし，何れの手法も，分析対象とする単語の数を増

１件ごとの自由記述について，最も確率が高いトピッ

やしていくと，クラスタやネットワークが複雑化しすクを同定し，自由記述と科目群の情報を紐付けること

ぎ，意味のまとまりを解釈するのが困難となるというで，科目群ごとのトピックの分布の特徴を明らかにす問題や，単語の顕在的な共起関係のみに基づいて分析る．なお，ここでいう科目群とは分析対象とする大学を行うため，少数の単語からなる周辺的な話題は比較で履修上設定されている一定の目的を共有した科目の的よく分離できるが，多くの単語が複雑に共起する中グループのことである．

心的な話題は大きなかたまりとなって内容を把握する

さらに，本研究では，トピックに対するラベルの妥のが難しいという問題を抱えていた（MATSUKAWA et al.

当性の検証を通して，分類結果の妥当性の検証も行う．

2015）
．

トピックモデルにおいて，分析されたトピックは，そ筆者らはこうした問題を解決するため，これまでトのトピックに対して生起確率が高い単語の集合という

ピックモデル（BLEI et al. 2003）を用いたテキストメ

形で表現される．トピックの意味については，トピッ

ッセージの自動分類に取り組んできた（MATSUKAWA et
al. 2016）．トピックモデルでは１つの文章が複数のト

クに属する単語やその生起確率から，人間が解釈してピックを持つと仮定し，文書に含まれる各単語にトピの自動生成についても研究が行われている（慶良間ほックを割り当てることが一般的であり，その推定方法

か 2014）が，授業評価アンケートの分析結果についてには様々な手法が提案されているが，現在のところ，は，分析を行った者だけが利用するのではなく，授業トピック分布にディリクレ分布を仮定し，ギブスサンを担当した教員や，大学部局をはじめとして，多様な

234

ラベルをつけることが一般的である．近年は，ラベル

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）利用者が想定される．そのため，多くの人が妥当であ550ると感じる，人間の感覚にとって自然なラベルを各ト

500

ピックにつける必要性が高い．従って今回は，各トピ

450

ックにおいて生起確率が高い単語のリストと，各トピックに属する可能性が高い自由記述の内容を総合して，筆者の１人が各トピックに対するラベルを作成し，作

perplexity

400
350
300
250

成されたラベルの妥当性を別の筆者らが検証するという手順を踏む．ラベルがそのトピックに該当する多くの自由記述の内容に矛盾せずにつけられていれば，ト
図１

ピックの分類結果についても妥当だと判断できると考

トピック数と perplexity の関係えられる．
本研究の目的は，上記のように，トピックモデルを形態素解析のソフトウェアである Mecab を用いて形用いて，授業評価アンケートの自由記述の自動分類と，態素解析を行った．その結果，自由記述は17,239語の分類結果の妥当性の検証を行い，その有効性を確認す

異なり語からなる1,922,414語に分解された．さらに，ることで，ラベルの命名を含めた自由記述の分類方法

ある程度の数の自由記述に共通して現れる単語のみにの提案を行うことである．また，分類結果を科目群の着目するため，20件以上の自由記述に出現する，動詞

情報と紐付けた分析結果を示すことで，科目やカリキ（非自立を除く），名詞（非自立を除く），形容詞，副ュラムの責任者，FD の担当者など，主に授業評価ア

詞，連体詞，および未知語を抽出したところ，2,559

ンケートの全体的な傾向を把握する必要がある立場の語が得られた．この2,559語に関して，行が各自由記述，

教職員に対して，提案する手法を自由記述の分析に応列がその自由記述に含まれる各単語の出現回数を表す

用した場合の具体例を提供する．

データセットを作成し分析に利用した．

2. 研 究 方 法
2.1.

分析対象とするデータ

2.3.

LDA によるトピックモデルの分析

分析には R の topicmodels パッケージ（GRÜN 2017）
を利用し，Gibbs sampling による MCMC 法で推定を行

トピックモデルを用いたトピックの抽出において分った．LDA を用いた分析においては，文章の集合から析の対象とするデータは，関西の国立大学である O 大抽出するトピック数については自動的には決まらず，学において，共通教育科目を対象に2007年前期から，事前に指定する必要がある．トピック数を決定する手

2015年後期までの間に行われた授業評価アンケートに掛かりとしては確率モデルの精度を表す perplexity と対する回答208,995件のうち，2.2.で示す形態素解析のいう指標が一般的に用いられる．perplexity は，学習に抽出条件に合致する単語を含む自由記述を伴っていたよって構築されたモデルが，検証用データに出現する

60,150件の回答データである．自由記述を伴う回答は単語の確率をどの程度正確に予測できるかを表す指標

全部で60,500件存在したが，自由記述の内容が記号をであり，perplexity が低いほど，モデルの精度は高いと用いた顔文字のみであるなど，抽出条件に合致する単評価される．トピック数は予測モデルの精度に影響を語を全く含まない350件の回答については，分析対象か与えるため，モデル精度の観点からは，perplexity の値

ら除外した．その後の科目群ごとの分析については，ができるだけ低くなるトピック数を見つける必要があ

2007年～2008年にかけて，部分的に科目群の入れ替え

る．本研究では，データセットを訓練用データと学習があった関係上，2015年時点で存在する51の科目群以用データに，１:９で分割し，トピック数=k の値を変外の回答データは削除し，58,582件を分析対象とした．

化させながら perplexity を算出することで，perplexity

2.2.

分析用データセットの作成

トピックモデルの分析には，統計パッケージ R のが最も低くなるトピック数を採用することとした．kを変化させた場合の perplexity の変化を図１に示す．

topicmodels パッケージ（GRÜN 2017）を利用したが，その結果，perplexity は k=150から k=250にかけて比

これは分析用のデータセットとして，列が単語，行が較的フラットとなったが，k=170の時に最小値である

文章となった，いわゆる Document-term Matrix を要求

326.23を示したため，170のトピックを抽出することとする．このため，まず，60,150件の自由記述に対して，した．トピック数の決定後は再び全データセットを用

Vol. 41，No. 3（2017）235

いて LDA によるモデルの学習を行い，結果を得た．

3．ラベル候補が，ランダム抽出した自由記述リスト

学習時のパラメータとしては，トピック数は k=170，

内の記述を大きな矛盾なく代表するかを確認する．矛

モデルの初期値として alpha=50/k, delta=0.1，Gibbs

盾が大きいと判断される場合は１に戻り，注目する単sampling の繰り返し回数として iter=3000，サンプリン

語の範囲を広げて別のラベル候補を検討する．

グの間隔として，thin=3000，初期値を捨てる長さとして burnin=1000を指定した．
2.4.

トピックに対応したラベルの作成

4．１～３の手順を何度か繰り返しても，意味的な側面からふさわしいラベル候補がみつからない場合は，トピックモデルによる分類の原理が単語の共起関係に

LDA による分析の結果，行が分析対象とした各単語， 依存するものであることに留意し，単語リストが，例
列が，各行の単語が170の各トピックに属する対数確率

えば「サ変動詞＋する」などの文法的制約から生じるを表す，2559行×170列のマトリックスが出力され，分コロケーションを拾い上げたものである可能性を考慮析対象とした2559語が各々どの程度の確率で，170の各して，１に戻りラベル名を再検討する．

トピックに属する可能性があるかが同定される．この結果を用いれば，各トピックに属する可能性が高い単5．１～４の手順をとおして得られたラベルをそのト
ピックのラベルとして採用する．

語を確率順に抽出することができる．本研究では，170

ラベルが自由記述リスト内の自由記述にどの程度あのトピックごとに，確率上位30位以内の単語を選出してはまれば大きな矛盾がないと判断するかについてはてリスト化した．さらに，LDA による分析の結果，行

分析者の裁量にゆだねられるが，今回の分析においてが分析対象とした各自由記述，列が，各自由記述が170は，確率上位50位以内の自由記述リスト及び，ランダの各トピックに属する確率を表す，60,150行×170列のム抽出した自由記述リストのどちらに関しても７割程

マトリックスが出力され，各自由記述がどの程度の確度以上の自由記述に対してラベルがあてはまると感じ

率で各トピックに属する可能性があるかも同定される． られた時に，大きな矛盾がないと判断した．
この結果を用いれば，各自由記述にとって最も可能性

2.5.

が高いトピックはどれかを決定することができる．本

ラベルの妥当性の検証にあたっては，170のトピック研究では，その結果をもとに各自由記述を170のトピッ

から，無作為に17のトピックを選んだ上で，各トピッ

クに振り分けた上で，そのトピック内で確率が上位50クに属する可能性が最も高い自由記述の中から無作為位以内の自由記述のリスト及び，そのトピック内からに30件ずつ，合計510件抽出した．その上で，ラベルのラベルの妥当性の検証

無作為に抽出した50件の自由記述のリストを作成した． 作成を行った筆者とは別の，業務として FD に関わっその上で，授業評価アンケートの集計処理に業務とている筆者２名に対して，510件の自由記述と，その自して関わった経験があり，トピックモデルによる分析

由記述が属するトピックに対するラベルをランダムな方法に精通した筆者のうち１名が，各トピックについ順序で対提示し，すべての自由記述について対応するて，確率上位30位以内の単語リスト，確率が上位50位

ラベルがどの程度当てはまるかに関し，全くあてはま以内の自由記述のリスト，及び無作為に抽出した50件

らないを１，大変よくあてはまるを５とする５段階での自由記述のリストの３種類のリソース（各リソース回答を得た．

の具体例については，3.1.における表１を参照のこと）

2.6.

を参照しながら，各リソースに整合し，そのトピック

LDA による分析では，各自由記述の中に，170のトにとって適切であると思われるラベルを，以下の手順

ピックがそれぞれどの程度の確率で含まれる可能性がで作成した．

あるかについても同定される．今回は分析を単純にす

科目群ごとのトピックの割合

1．あるトピックに対する単語リストのうち，特にリるため，各自由記述の中でその自由記述に属する可能

ストの先頭に近い単語に注目して，そのトピックを代性が最も高いトピックを１件抽出し，その自由記述を表するとその時点で考えられるラベルの候補を１つ挙代表するトピックとした．また，各自由記述がどの科

げる．

目群に属する授業に対してのものだったかという情報

2．そのラベル候補が，確率上位50位以内の自由記述

はあらかじめ判明していたため，その情報を紐付ける

リスト内の記述を大きな矛盾なく代表するかを確認すことで，各科目群にどの程度の割合で各トピックが含る．矛盾が大きいと判断される場合は１に戻り，注目まれているかについてのクロス表（表４を参照）を作する単語の範囲を広げて別のラベル候補を検討する．

成した．また，全体に対する各科目群の特徴をよりよ236

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）く表すため，自由記述全体における各トピックの出現

うち，上位５件のトピックについて，トピックのラベ

割合を１として，各科目群における各トピックの出現

ル名，各トピックを代表する単語，各トピックに属す

割合を比率化したクロス表（表５を参照）も作成した．

る確率が最も高い自由記述の例，件数をまとめたもの

3. 結

果

である．
表２には，上位６件目から50件目までのトピックの3.1. LDA によるトピック抽出の結果

ラベル名と各トピックを代表する単語を示している．

表１は，各自由記述に対して最も高い確率を示した

上位51件目から170件目のトピックについては紙面のトピックのみを取り上げ，その件数を集計したものの都合上，割愛した．

表１ 上位５トピックのラベルと各トピックを代表する単語及び自由記述
順 トピック
位 のラベル

各トピックを代表する単語

各トピックに属する確率が最も高い自由記述の例(確率順)

各トピックに属する確率が最も高い自由記述の例(ランダム抽出)件数

学習すべき文法について、文法事項中心のドイツ語初級Ⅰより先行して、読解中心の地域言語文化演習（ドイツ語）で学んでいる状態
ドイツ語に少し慣れることができました。
だったので、改善すべきだと思う。
文法事項の解説が体系的かつ論理的で大変わかりやすかったです．文法オンリーにならず、発音のこと、ドイツの文化のこと、なども ドイツ語文法を習い始めたばかりの一回生にとっては単語も文法もしっかり教えていただいたので非常に勉強になりました．また、ドイツ わからず、序盤はまったく授業についていけなかった。難易度につい語初級の補完的な役割の授業であったこともよかったと思われまてもう少し配慮すべきだと思う。
語,ドイツ,文法,中国,外国,
す。
文化,ロシア,会話,初級,
実際にたくさんドイツ語を話すことで、たのしくドイツ語を学ぶことがで語学の 学ぶ,人,発音,二,初めて,きました。文法はドイツ語初級の授業で、その実践を地域言語でした アフリカからこの社会が抱える問題に気づくことができました。
授業内 言語,事項,専攻,スペイン,
1059
1という感じでした。
容につ 朝鮮,習得,実感,学部,圏,
むりやりにでもドイツ語を話させられたけれど、そのおかげですぐにいてひとつ,中国語,つまらな ドイツ語の文法だけでなくドイツの文化などについてしることができてドイツ語に慣れてきて親しみがわいてきた。多少強引かもしれない
い,中級,役立つ,ドイツ語, よかったです。
が、かなり効果的だったと思う。
そう
授業そのものは興味深いものではあったが、ドイツ語初級は本来文法に時間のようであるのに、あまり文法事項を採用せず、また、もう小テストなど定期的にやってくれるので復習しやすく勉強しやすかっ
一方のドイツ語の地域言語文化演習のほうでは、初級で文法をやったと思います。ドイツ語で先生が話すのでたまに理解ができないのでている体で授業が行われるので、勉強が二度手間になって若干の生徒とのコミュニケーションをうまく取れるようにしてくれるとありがた
辛さがあります。２回生以降で担当の先生が変わるのであれば、そいです。
れだけで知識の差があるので、授業についていけるのかどうか心配があります。
板書が少しごちゃごちゃしていて分かりにくいが、説明は丁寧で分か
非常に分かりやすい授業でした。
やすい,分かる,説明,わかりやすい。
る,丁寧,にくい,先生,何,授
レジュメが丁寧で分かりやすかったです。説明も、わからない所を聞説明が分かりやすい
業,非常,良い,時間,予習,説明がいたらしっかり説明して頂けたので助かりました。
追う,機会,助かる,うれし
わかりやいろいろな授業があって、分かりやすさもまちまちでしたが、三回に979
い,なんとなく,論理,おもし2
すいかど
説明が丁寧でわかりやすっかった
区切ってちょとだっけずつ教えてもらえるスタイルは良いと思いましろい,レジュメ,逆,つくる,後うかた。
期,はやい,ひとつひとつ,
参考書を追うだけでなく、補足の説明があって分かりやすかった。
質問の仕方をもう少しわかりやすくしてほしいと思う。
意図,本当に,たま,間違え
後期に習った文法事項は難しかったので、説明が分かりにくいところ
説明が少しわかりにくかった
るもありました。
課題がなかなか大変だったが、身につけたい技術は身についたと思 グループで対抗戦にすることで、なんとかみんなで聞き取ろうとするう。
力が身に付いた。
授業に付いていければ、かなりためになる授業内容だと思います。
すべての授業の中で一番苦しかったですが、その分、身につくことも
身,つく,つける,力,付く,力, 私の英語の知識不足を改めて分からされたので、基礎ぐらいは身に多かった授業でした。
知識,実力,付ける,スキ つくように勉強しなければと、身にしみて思いました。
ル,着ける,習慣,自然,フラ
解説が少なめで、予習の答え合わせがどんどん進んでいくので、あ身につ
ドイツ語を和訳する力が身についた。
ンス語,能力,技術,確実,
まり英語の力がついた気がしない。眠くなることが多かった。
963
3 いたかど教養,着く,基礎,含める,
毎回の単語のテストは相当な負担だったが、学習するという習慣がうか
統計学の基礎的な知識を身につけることが出来ました。ありがとうご
今,今回,見れる,話,語学,ついた。学んだことはかなり一般的なことだったので、興味のある
ざいました。
そんなに,学習,とても,和テーマは少なかった。
訳
レベルがすごく高かった。教材はおもしろい内容だったが難しくて理解を深めれない部分もあった。英語の力をあげるよりも、英語というついていくのに大変でした。
ものを理解する授業のようだった。知識は深められたが、英語の力
はそんなには身につかなかった。
解説を黒板に書いてくれることはいいと思うが、字が汚すぎて読みづ
授業資料として配られるハンドアウトが読みづらく、ポイントが掴みづらい。数学だからアルファベットを筆記体で書くことわかるが、字が汚らかった。文字を詰めて書かないでほしい。
いので何を書いているのかがわからない。
黒板,書く,字,板書,文字,マイクを使ってください。また、黒板の字が薄かったり小さかったりで非常に丁寧かつ滞りの無い授業で良かったと思います。声量と黒板
小さい,にくい,大きい,見見えにくいときがあります。また、黒板の下のほうに書いた時も見えの字に気をつけていただければ問題ないです。
える,見にくい,汚い,読め板書がにくかったです。
る,きれい,づらい,見やす
929
4 見にくい席の場所によって黒板が非常に見えづらい。黒板に向かって右側のい,ボード,ホワイト,薄い,かどうか
前方に座っているのに、黒板の左端に小さい字で書かれても見えな スライドに文字が多すぎるので見にくかった。
見づらい,たまに,体,困る,い。黒板の中央部を消して書くか、もっと大きい字で書いてほしい。
下,筆記,綺麗,消す,かく,
ホワイトボードに字を書いたときは、端の人も見えるようにたまに左もうちょっときれいに板書をして欲しい。
雑,端,スペース右に移動してください。
黒板の字が小さくて見えないことがあったので、もっと大きくきれいなスクリーンの文字が見えにくかった
字で書いてほしいと思います。

授業の
5 進行
ペース

もう少し,ほしい,ゆっくり, もう少しゆっくり話してほしい
進める,欲しい,話す,説明,
もっと,早い,丁寧,進む,教 もう少し授業を早く進めて欲しかった
える,多く,授業,テンポ,やスライドをもう少しゆっくり説明してほしかったです。
める,増やす,余裕,解説,
喋る,分かる,とにかく,さ 難しすぎます。説明をもう少し丁寧にしてほしいです。
ん,すべて,練習,多い,なる,はじめ,なるべく,どんな 日本語か英語で話す機会をもう少し増やして欲しいです。

Vol. 41，No. 3（2017）．生徒に理解させようという意思を見せてほしいです。
授業を進めるのがぼくにとっては速かった。
864

もっとゆっくりやってほしい。
大事な部分（テストの連絡等）はもう少しゆっくり話して欲しかった。
ＣＡＤ教室のパソコンを新しくしてほしい。

237

3.2.

よって容易に評価が異なるラベルを提供していること

ラベルの妥当性の検証結果

評価用に用意した510件の自由記述に対するラベルになるため，２名の評価者の評定には，妥当性評価ののあてはまりに関して，２名の評価者による評定値の必要条件として，ある程度の一貫性が必要と考えられ妥当性を確認するのに先立ち，２名の評定に一貫性がる．結果はα=0.676となり，標準化した評定値を用いあることを確認するために Cronbach のα係数を算出た場合，α=0.705であった．α係数は一般的に0.7～0.8

した．もし２名の評価に一貫性がなければ，評価者に程度以上あれば内的一貫性があると判断されるといわ

表２ 上位６から50トピックを代表する単語とトピックに対するラベル
順位

各トピックを代表する単語

件数*

トピックのラベ 順
ル位ない,特に,とくに,あまり,改善,無い,非常,なる,られる,そこ,トピック,文句,おかげ,ここ,嬉しい,お世話,まだ,作る,指定,学ぶ,驚く,プレッシャー,分,北欧,もらえ
6 る,集中,要領,筆記,両方,やっぱり830 特になし

英語,ニュース,読む,見る,新聞,触れる,世界,記事,扱う,国際,英字,時事,最新,海外,教材,できる,情勢,国,取り上げる,生,題材,実際,メディア,日本,話題,
7 普段,様々,最近,情報,有意義803 通した英語の教科書,読む,参考,本,紹介,使う,沿う,書,載る,文献,指定,買う,書く,自習,補足,提示,内容,嬉しい,冊,そのまま,購入,役に立つ,知識,楽しい,図書,プリント,
8 どう,さらに,細かい,調べる
パソコン,使う,使い方,作成,プログラミング,作る,課題,ホームページ,エクセ
ル,ソフト,操作,使える,学べる,ｗｅｂ,初心者,作業,情報,ワード,活用,慣れる,
9 上,プログラム,画面,等,ネット,機能,便利,ページ,コンピュータ,インターネット
話,聞ける,聞く,お話,分野,いろいろ,興味深い,教授,いろんな,方,様々,さまざま,色々,方々,たくさん,貴重,学部,生,ゲスト,スピーカー,先輩,活躍,企業,留10 学,関西,直接,若干,海外,長,現場
質問,答える,丁寧,生徒,回答,後,対応,さん,すぐ,疑問,感想,親切,助かる,次,学生,コメント,メール,気軽,逐一,よい,いつ,カード,シート,させる,真摯,受け付
11 ける,用紙,いる,時間,向き合うグループ,発表,プレゼン,ワーク,ディスカッション,プレゼンテーション,準備,
人,作る,楽しい,機会,友達,なれる,みんな,経験,学部,交流,班,同じ,他,ほか,
12 活動,留学生,内,仲良く,ペア,協力,メンバー,有意義,話し合う
少し,内容,難しい,ある,多い,感じる,授業,講義,残念,話,方法,アンケート,退屈,物足りない,自体,嬉しい,集中,簡単,勉強,結構,退屈,知識,色々,悪い,重13 視,かぶる,話す,学習,にくい,やや教える,先生,丁寧,方,とても,さる,くだ,優しい,さん,親切,指導,感謝,よく,熱心,
本当に,接す,やさしい,とる,非常,作る,文章,仕方,苦手,かなり,すごい,覚える,
14 後,者,異なる,内容
感,られる,当てる,人,緊張,生徒,予習,手,中,全員,持つ,挙げる,指名,受ける,
せる,当たる,発言,その,挙手,達成,参加,あてる,常に,制,適度,順番,良い,ラ15 ンダム,真剣,あたる
声,聞き取る,小さい,聞こえる,にくい,づらい,マイク,使う,聞き取れる,話す,大きな,大きい,はっきり,後ろ,早口,喋る,しゃべる,舌,ぼそぼそ,音,ずらかる,届
く,滑,教官,教授,教室,聞きづらい,多い,どんどん,音量
16

何,わかる,言う,よく,結局,どこ,やる,はっきり,大事,さっぱり,いまいち,目的,なに,多々,どの,全く,明確,終える,かなり,今,おる,多く,おもう,話す,いる,不満,ビ
17 デオ,自信,まったく,終わる
難しい,内容,理解,できる,授業,かなり,ほとんど,簡単,ある,なかなか,よく,苦しむ,何とか,そう,もっと,聞く,おもう,とにかく,目的,そのもの,大変,やはり,
18 チェック,最高,でる,分かる,分野,テスト,やり方,踏まえる
英語,力,リスニング,能力,向上,力,つく,上がる,スピーキング,リーディング,鍛える,実践,つながる,スキル,高める,ｒｅａｄｉｎｇ,プレゼンテーション,ｌｉｓｔｅｎｉｎｇ,ｒｅａｄｉｎｇ,ｓｐｅａｋｉｎｇ,養う,ディクテーション,スピーチ,ライティング,モチベー
19 ション,ｌｉｓｔｅｎｉｎｇ,上げる,バランス,ｓｐｅａｋｉｎｇ,伸びる
思う,授業,ある,いい,なる,最後,すごい,難しい,テキスト,英語,この,いい,全部,
勉強,若干,先生,できる,ありがたい,かなり,話,プレゼン,すべて,的,問題,意20 識,しんどい,さ,正直,せっかく,最高的,具体,例,説明,示す,用いる,わかる,する,理解,身近,方法,提示,あげる,感じる,等,どの,個人,よい,内容,挙げる,交える,抽象,明確,授業,思う,概念,別,21 時々,求める,事例できる,知る,よい,今,知れる,たくさん,いろいろ,学ぶ,いろいろ,詳しい,自分,
その,違う,仕組み,新しい,何,取り入れる,自然,終わる,見る,厳しい,結構,目,
22 とらえる,映画,結果,実感,なんとなく,たま,熱心

メディアによる
時事問題等を学習

質問に対して丁寧に回答し時間,かかる,長い,かける,短い,無駄,配分,割く,予習,内,最後,間,過ごす,人,もったいない,過ごせる,いい,準備,費やす,他,オーバー,配慮,ほか,期間,わ37 かる,ある,ない,困る,チェック,調べる
教室,見える,後ろ,前,にくい,席,広い,座る,板書,人数,黒板,スライド,狭い,見授業での当て654 方
にくい,大きな,スクリーン,場所,さ,部屋,室,多い,プロジェクター,寒い,浅い,座38 席,悪い,いつも,使う,すごい,かなり教え方が丁寧680 かどうか

39
テスト,試験,期末,範囲,中間,広い,持ち込み,勉強,出題,実施,可,筆記,発,習内容が分かりにくいかどう650
得,楽,記述,返却,代わり,助かる,勝負,追試,負担,困る,臨む,的,結構,対策,求か40 める,欲しい,口頭先生,楽しい,とても,雰囲気,優しい,好き,すごい,人柄,いつも,出来る,明るい,
授業内容を理643 解できるかど
最高,大好き,親しむ,よい,一番,ディスカッション,受ける,アットホーム,方,笑,うか
41 できる,交える,英語,喋る,気楽,和やか,よい,しっかり,見るどうか
42

ない,特に,改善,無い,あまり,悪い,すべて,無理,さ,考える,非常,意味,楽しい,授業に対する
606 思い選ぶ,考察,割,これ,分,人,電子,機会,感じ,新鮮,旅行,学生,中,しよう,引く,把43 握,にくい
思う,よい,できる,授業,よい,ある,なる,少し,必要,考える,難しい,取り組める,
説明が具体
604 的かどうか
これ,たま,さ,学習,悪い,環境,しれる,学生,形式,人,大学生,ペース,工夫,有意44 義,ある程度,中,上手い,作る

564 連した意見

度,難易,高い,レベル,テスト,ちょうど,低い,教材,やや,差,求める,上げる,上がる,それほど,適切,度,要求,簡単,合わせる,易しい,テキスト,統一,とも,どの,あ
28 る,異常,リスニング,これ,激しい,程度

238

人,する,いる,中,注意,学生,寝る,うるさい,気,厳しい,集中,周り,私語,ちゃんと,聞く,生徒,真面目,まじめ,一部,教官,カンニング,れる,来る,しゃべる,迷惑,態度,関係,ずっと,ほしい,誰

英語の能力

637 が向上したか問題,演習,解く,中,時間,解説,練習,解ける,出す,実際,教科書,毎回,例題,設ける,ほしい,応用,形式,問,解き方,計算,足りる,じっくり,内,知る,不十分,数学,
25 くれる,たくさん,さん,調べる

プリント,配布,配る,レジュメ,資料,まとめる,れる,毎回,用意,役に立つ,まとまる,用,要点,印刷,まとめ,図,補助,欲しい,助かる,きちんと,ありがたい,書く,含

一,回,人,1,二,2,数,週間,目,年間,週,三,3,年,回生,分ける,当たり,時間,週,日,通り,きつい,語学,思う,読む,いくつ,ほとんど,番,複数,スピーチ

聞き取りやす653 さ569 意見27 む,苦労,カラー,詳細,自習,進め方,確認,みんないい,思う,授業,なる,勉強,すごい,自分,良い,少し,変える,やる,よい,悪い,できる,ちゃんと,機会,より,学ぶ,テキスト,形態,たいへん,この,全て,簡単,かな

か34 り,とれる,自習,風,不安,交流グループワーする,れる,せる,自分,充実,ある,工夫,いう,感じる,それ,学習,毎回,感謝,なる,クや発表・議728 論などの活動
疑問,感動,困る,参加,回,しっかり,確認,教授,色々,たくさん,途中,私,考える,に対する意見 35 正しい,せめて,無理ポイント,パワー,スライド,使う,資料,ｗｅｂｃｔ,レジュメ,用いる,アップ,講義,スラ
授業の内容
683 や難易度に対イド,図,ｃｌｅ,見やすい,載せる,スライド,利用,画像,印刷,動画,見せる,写真,視する評価１
36 覚,メモ,れる,良い,聞く,表示,心,行く

する,授業,思う,勉強,その,中,最後,それ,理解,テキスト,大変,不足,れる,終わる,いう,全体,後,書く,感じる,せる,全然,クラス,内容,厳しい,場合,前,なくなる,
24 行う,学ぶ,習得

1,0,3,2,分,5,4,限,回,9,目,6,遅刻,時間,点,8,％,程度,，,日,遅れる,7,開始,来る,同じ,割,コマ,分,分間,章539 対するかかわ

752 ているかどう

今後に役立つ582 ことを学べたかどうか授業に対する

演習問題に関学,解析,学ぶ,出来る,実験,統計,心理,物理,経済,社会,数学,理論,学問,どの,イメージ,的,基礎,扱う,良い,現象,入門,電磁気,考え方,ゲーム,なる,科学,
45 論,られる,しっかり,色々

配布資料に対

授業の進行

教員の学生にり方
内容に興味を501 持てるかどうか
内容が分かり493 やすいかどうかノートがとりや

490 すいかどうか
487 いいと思う点

教員がしたり484 させたりすることについてパワーポイン

477 トの資料について時間のかけ具473 合・かかり具合について教室環境につ467 いて回数や学年、
期間、時期な

460 ど具体的な数字が含まれる
意見
テストについ

449 て

先生や授業

445 の雰囲気

うるさかったり
不正行為をし443 たりする人を中心に○○な
人がいる

442 特になし
良かったと思434 う点がある

学問分野（○

434 ○学）に関連する意見
先生がしたりさせたりするする,れる,非常,その,良い,講義,時間,出す,いただける,ある,なる,変わる,思う,この,何,臨む,学習,指示,おもう,苦労,いろいろ,等,受ける,きちんと,考える,46 なん,取れる,学ぶ,過去,利用

433 ことに対するできる,実験,経験,体験,なる,実際,貴重,解剖,談,普段,自身,マウス,様々,実習,交える,自分,多く,留学,顕微鏡,見学,器具,先生,意味,良い,初めて,ずっと,47 生命,時間,参加,観察432 体験談を聞け

高校,生物,物理,化学,選択,実験,時代,習う,履修,者,基礎,知識,受験,前提,
有機,大学,高度,概論,延長,地学,やる,対象,中学,無機,細胞,ほとんど,やや,48 量子,原理,量子力学

430 に対する配慮

回数や時間、
テスト,評価,単位,成績,厳しい,点数,取れる,基準,とれる,方法,出席,どう,採点数など具体点,落とす,不満,努力,結果,取る,同じ,もらえる,最終,決まる,休む,決める,真550 的な数字が含まれる意見
49 面目,不公平,頑張る,期末,試験,ちゃんと545 する意見

トピックのラベル

速い,進む,スピード,進度,早い,ついていける,ペース,遅い,ゆっくり,進行,速度,ちょうど,はやい,先,どんどん,追いつく,読,合わせる,まだ,少し,予習,分,追30 い付く,やや,余裕,必死,進み,ただただ,部分,丁寧

興味,持つ,持てる,わく,分野,もてる,関心,もつ,好感,湧く,取り組める,話題,親しみ,そそる,引く,ひく,意欲,もともと,方,理解,人柄,入れる,知る,余裕,一,講義,
31 場合,もちろん,前提,ユニーク
わかる,やすい,説明,よく,非常,先生,レジュメ,基本,悪い,欲しい,あれ,名前,
パソコンの活782 用ほとんど,分かる,基礎,これ,疲れる,せる,使用,あまり,有効,事前,技術,所,理32 解,感謝,どう,計画,使う,慣れる
板書,書く,ノート,とる,黒板,写す,早い,取る,すぐ,必死,消す,スライド,中,メモ,ま多様な話が聞758 ける
とめる,ひたすら,口頭,後,全然,作業,書き写す,づらい,的,余裕,見返す,もう少33 し,後で,取れる,しばしば,逃す

学習経験が
良いもので
601 あったかどうか

件数*

539 速度について教科書や参784 考文献

これから,役に立つ,今後,生活,必要,そう,学ぶ,役立つ,この,将来,学べる,知識,続ける,大学,生きる,有意義,日常,技術,人生,論文,大いに,今,基礎,役立
23 てる,生かす,いろんな,社会,活かす,発表,大事

26

各トピックを代表する単語

する,教員,学生,れる,その,行う,担当,ある,全く,思える,自身,教授,把握,残念,
配慮,指導,集中,あまり,分かる,この,加える,進行,関係,週,取り入れる,きち
29 んと,受ける,英語,上,かなり問題,答え,演習,解答,解説,プリント,配る,欲しい,練習,宿題,合わせ,ほしい,
過去,問,模範,解く,間違う,回答,欲しい,間違える,せめて,章,末,正解,教科書,50 ヒント,略解,口頭,集,間違い

意見
実験や体験
ができたり、たりした高校での履修成績評価につ426 いて演習問題の426 解説や回答について難易度につい *件数は各自由記述に対して、そのトピックの確率が最も高かった場合の回数を集計したもので541 ての意見ある

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）表３

各トピックに対する２名の評価者の評定

トピックのラベル

1人目 1人目 2人目 2人目
2名の
件数 の評定 の評定 の評定 の評定 2名の 評定のの順 の平均 の標準 の平均 の標準 評定の 標準偏
位 値
偏差
値
偏差
平均値 差

表３は，評価対象とした17のトピックにおける30件の自由記述に対する評定の結果の平均値，および標準偏差を示したものである．平均値は，２名の評価者そ

1.名詞＋するという用語が入っているかどうか

60

4.13

0.89

3.43

1.17

3.78

1.05

れぞれによるもの，および，２名の評定を平均したも2.授業の進行ペース
3.良かったと思う点がある

5
48

4.03
4.20

0.63
1.25

3.57
3.87

1.85
1.44

3.80
4.03

1.42
1.34

のを示している．なお「件数の順位」は，評価対象と4.受講したセメスターに関連した
意見

95

4.20

1.47

4.03

1.78

4.12

1.63

5.内容を理解できたかどうか
6.いいと思う点

97
36

4.50
4.40

0.61
0.78

3.87
4.17

0.92
1.07

4.18
4.28

0.79
0.93

7.回数や学年、期間、時期など具体的な数字が含まれる意見

39

4.03

0.55

4.87

0.84

4.45

0.70

8.授業の内容や難易度に対する
評価２

55

4.67

0.77

4.30

1.00

4.48

0.89

9.パワーポイントの資料について

35

4.67

0.35

4.33

1.03

4.50

0.77

10.回数や時間、点数など具体的な数字が含まれる意見

28

4.20

0.68

4.80

1.11

4.50

0.97

11.出欠と評価について

88

4.77

0.80

4.33

1.12

4.55

0.98

自由記述の総数が多かった順に15の科目群を取り上げ

12.時間のかけ具合・かかり具合
について

37

4.60

0.72

4.60

0.35

4.60

0.70

ている．結果は，最も列の左側の科目群「専門数」（表

13.配布資料に対する意見
14.演習問題に関連した意見

26
24

4.73
4.67

0.48
0.46

4.60
4.70

0.76
0.81

4.67
4.68

0.70
0.66

15.授業の内容や先生の話が面白いかどうか

115

4.83

0.50

4.63

0.84

4.73

0.72

16.日本語や英語に関連する意見

80

4.87

0.76

4.67

0.85

4.77

0.80

表５は，各科目群の特徴を自由記述全体の傾向と比17.増やしてほしいことを中心に、もう少し○○してほしいかどうか

128

4.90

0.31

4.97

0.18

4.93

0.25

較してより強く把握するために，各トピックの各科目

全体の平均値

-

4.49

0.81

4.34

1.16

4.42

1.00

群での出現割合を，自由記述全体における各トピック

した各トピックの件数が全170トピックの中で何番目に多かったかを示している．
3.3.

科目群ごとのトピックの割合の集計結果

表４は，各科目群における各トピックの出現割合を集計したものの一部を示したものである．紙面の都合
上，トピックについては上位30件，科目群については，中では専門数[学]と記載）に関して，値を降順にソートしたものを示している．

の出現割合で割って比率化した結果である．結果は，れている．そのため，これらの結果から，２名の評定

最も列の左側の科目群「専門数」（表中では専門数[学]値は，高いとはいえないまでも，ある程度の一貫性をと記載）に関して，値を降順にソートしたものを示し

備えており，妥当性の評価に使用しうると考えられる．

ている．

表４ 各科目群における各トピックの割合 (単位: ％)国際教
基礎教 専門物 情報処 現代教 専門化 養２(ド ドイツ 基礎セ 国際教 専門文 先端教 専門生
トピッ クのラベル/ 科目群名 ([ ] 内は本来 専門数 実践英[学]
語
英語R 養１[理]理
養[学]イツ語) 語初級 ミナー 養１
[学]
養
[物]
の科目群名に筆者加筆)
板書が見にくいかどうか
4.162 0.633 0.369 1.116 4.587 0.132 0.604 2.965 1.307 1.443 0.233 0.931 1.056 0.000 0.976
授業に対する意見
4.111 0.487 0.246 0.163 2.310 0.265 0.213 0.988 0.586 1.349 0.175 0.233 0.117 0.062 0.455
成績評価について2.970 0.463 0.270 0.082 1.617 0.066 0.107 1.123 0.270 1.210 0.058 0.000 0.059 0.062 0.390
説明がわかりやすいかどうか
2.735 1.047 1.426 1.770 1.914 1.588 0.888 2.920 2.118 2.885 0.756 0.757 1.056 0.936 1.757
質問に対する丁寧に回答しているかどうか 2.031 0.730 1.229 1.334 1.155 1.820 0.995 1.213 0.811 1.396 0.582 0.990 2.170 0.187 1.561
授業の進行ペース2.014 0.901 1.549 1.143 1.815 2.383 0.888 1.842 1.262 1.582 0.524 1.106 0.880 0.562 1.757
聞き取りやすさ1.963 0.974 1.598 0.708 2.343 0.397 0.462 1.303 0.766 0.651 0.058 0.990 0.821 0.687 1.757
特になし
1.947 1.096 1.598 1.361 1.386 1.655 1.493 1.707 1.397 1.536 1.047 0.873 0.704 1.998 0.976
内容が分かりやすいかどうか
1.829 0.073 0.467 0.626 2.640 0.165 0.604 1.707 0.135 0.372 0.116 0.873 0.938 0.187 1.952
教え方が丁寧かどうか
1.779 0.998 0.639 0.572 1.056 1.522 0.569 1.168 0.946 2.234 1.222 0.291 0.469 0.562 0.911
受講したセメスターに関連した意見
1.762 0.073 0.025 0.082 2.607 0.132 0.036 0.584 0.000 0.093 0.175 0.058 0.117 0.125 0.000
うるさかったり不正行為をしたりする人を中1.661 0.097 0.074 1.497 1.056 0.066 1.741 0.180 0.090 0.140 0.756 0.175 0.880 0.125 0.260
心に○○な人がいる
教科書や参考文献
1.628 1.120 1.377 1.470 2.343 0.463 1.386 2.291 1.037 1.070 1.105 0.698 1.701 0.936 2.017
英語の能力が向上したかどうか
1.594 0.487 0.910 2.124 1.089 0.463 1.564 1.123 0.541 0.558 0.524 0.757 0.997 0.687 1.171
授業内容を理解できるかどうか
1.410 0.730 0.860 1.007 1.650 1.357 0.782 1.842 0.856 0.651 1.047 0.698 0.938 1.436 1.366
回数や時間、点数など具体的な数字が含
1.343 0.341 0.762 1.770 0.957 0.463 1.812 1.303 0.676 1.024 0.349 1.397 1.173 1.248 1.106
まれる意見
内容に興味を持てるかどうか
1.309 0.487 0.541 0.898 0.990 0.596 0.640 0.943 0.991 1.489 0.233 0.582 1.056 0.312 0.976
教員の学生に対するかかわり方
1.275 1.485 1.524 0.299 0.891 1.191 0.142 0.943 0.586 0.745 0.407 0.175 0.411 0.250 0.846
授業での当て方1.259 0.511 0.737 1.389 1.749 1.158 1.031 1.707 1.307 0.698 0.407 0.466 1.525 0.499 1.431
配布資料に対する意見
1.225 0.463 0.910 0.109 1.254 2.614 0.071 0.764 0.901 2.932 0.175 0.058 0.528 0.125 0.846
日本語や英語に関連する意見
1.175 0.219 0.369 0.327 0.627 0.529 0.355 0.854 0.676 1.163 0.175 0.466 0.587 0.250 0.455
テストについて1.124 0.511 0.590 0.517 1.650 0.331 0.426 1.168 1.172 1.303 0.000 0.291 0.411 0.062 1.627
学習経験が良いものであったかどうか
1.074 1.388 1.057 0.871 0.825 1.026 0.924 0.584 0.856 0.884 1.513 1.048 0.645 0.749 0.716
身についたかどうか
1.057 2.922 1.819 0.762 0.825 2.548 0.533 0.494 2.434 2.141 0.989 0.757 0.293 0.562 0.846
授業の内容や性質についての意見
1.057 0.243 0.393 0.572 0.792 0.463 0.533 0.809 0.676 0.884 0.233 0.233 0.704 0.062 0.716
演習問題の解説や回答について
1.040 1.266 0.590 0.517 0.726 0.099 0.426 0.629 0.631 0.745 0.349 0.175 0.469 0.499 1.561
説明がわかりやすいかどうか
1.040 0.317 0.418 0.490 0.495 0.563 0.782 1.527 0.451 1.163 0.233 0.175 0.762 0.375 0.586
授業の内容や難易度に対する評価１
0.923 1.023 1.303 1.089 1.353 1.158 1.635 1.617 0.856 0.558 0.873 0.640 1.173 1.373 1.496
パワーポイントの資料について
0.889 0.974 0.860 0.790 0.693 0.728 0.995 0.674 0.766 0.791 1.280 0.640 0.645 0.749 0.781
基礎セミナーを中心に先端の研究や技術
0.889 0.243 0.221 0.245 0.990 0.364 0.391 1.123 0.315 0.465 0.116 0.116 0.235 0.187 0.325
について

Vol. 41，No. 3（2017）

239

4. 考

察

は意味的に一貫しない自由記述が認められた．これは，「ついて行く」を形態素解析すると「つく」，「て」，「行

LDA によるトピック抽出の結果について

く」の３語に分解され，「つく」が，このトピックを代LDA によるトピック抽出の結果と，各トピックに対表する単語の２語目に認められることに起因している

4.1.

するラベル付与に関して，表１に基づいて確認すると，と考えられる．

例えば，件数が最も多かった，「語学の授業内容についまた，５件目の「授業の進行ペース」では，多くのて」というラベルを付与したトピックは，「各トピック

自由記述は，授業進行に関して，もう少しはやく，もを代表する単語」に「語」,「ドイツ」,「文法」,「中しくはゆっくりしてほしいというものであったが，一国」,「外国」,「文化」,「ロシア」など，語学に関連

部は，「日本語か英語で話す機会をもう少し増やして欲する単語が多く含まれていることがわかる．
「各トピッ

しいです．」，「CAD 教室のパソコンを新しくしてほしクに属する確率が最も高い自由記述の例」を見ても，い．」という，授業進行のペースとは関係ない単純な要「確率順」の場合は，ほぼドイツ語の授業に対する感望であった．この件に関しても，原因は，このトピッ想が抽出されており，「ランダム抽出」の場合においてクを代表する単語の２番目が「ほしい」であり，そのも，アフリカの文化についての記述などが含まれるも単語が，どちらの自由記述にも含まれているからであのの，語学の授業内容に対する感想と考えてほぼ違和ると考えられる．

感のない自由記述が抽出されていることが確認できる．

LDA は原理的に単語の共起関係に基づいて，確率論２件目から５件目のトピックについても，ほぼ同様的な分類を行っている以上，同じ単語が複数の意味やの結果が見て取れるが，３件目の「身についたかどう

文脈に用いられるケースを完全に切り分けられるわけ

か」では，ほとんどの自由記述が，その授業で身につではなく，今回のように，人間にとっては不自然な分いた何らかのことに関するものであった一方で，「つい類結果が一部混じってしまうことは不可避であると考て行くのに大変でした．」という，トピックのラベルとえられる．ただし，その程度がある程度低ければ実用表５ 各科目群における各トピックの出現率の全体での出現率に対する比率
国際教
基礎教 専門物 情報処 現代教 専門化 養２(ド ドイツ 基礎セ 国際教 専門文 先端教 専門生
トピッ クのラベル/ 科目群名 ([ ] 内は本来 専門数 実践英[学]
語
英語R 養１[理]理
養[学]イツ語) 語初級 ミナー 養１
[学]
養
[物]
授業に対する意見
4.32
0.51
0.26
0.17
2.43
0.28
0.22
1.04
0.62
1.42
0.18
0.24
0.12
0.07
0.48
成績評価について
4.15
0.65
0.38
0.11
2.26
0.09
0.15
1.57
0.38
1.69
0.08
0.00
0.08
0.09
0.55
受講したセメスターに関連した意見
3.75
0.16
0.05
0.17
5.55
0.28
0.08
1.24
0.00
0.20
0.37
0.12
0.25
0.27
0.00
板書が見にくいかどうか
2.66
0.40
0.24
0.71
2.93
0.08
0.39
1.90
0.84
0.92
0.15
0.60
0.68
0.00
0.62
うるさかったり不正行為をしたりする人を中
2.25
0.13
0.10
2.03
1.43
0.09
2.36
0.24
0.12
0.19
1.02
0.24
1.19
0.17
0.35
心に○○な人がいる
内容が分かりやすいかどうか
2.22
0.09
0.57
0.76
3.20
0.20
0.73
2.07
0.16
0.45
0.14
1.06
1.14
0.23
2.37
基礎セミナーを中心に先端の研究や技術
2.16
0.59
0.54
0.60
2.41
0.88
0.95
2.73
0.77
1.13
0.28
0.28
0.57
0.46
0.79
について
日本語や英語に関連する意見
2.04
0.38
0.64
0.57
1.09
0.92
0.62
1.48
1.18
2.02
0.30
0.81
1.02
0.43
0.79
何らかの機会（話す機会・何かを学ぶ機会
1.90
0.63
0.41
0.71
2.34
2.27
0.17
1.38
0.00
0.44
0.55
1.65
0.55
1.03
1.23
など）が設定されているかどうか
聞き取りやすさ
1.81
0.90
1.47
0.65
2.16
0.37
0.43
1.20
0.71
0.60
0.05
0.91
0.76
0.63
1.62
授業の内容や性質についての意見
1.78
0.41
0.66
0.97
1.34
0.78
0.90
1.37
1.14
1.49
0.39
0.39
1.19
0.11
1.21
もっと○○してほしいという要望
1.78
0.46
1.11
0.62
1.50
1.13
0.40
2.55
1.02
0.70
0.66
1.32
1.11
1.42
1.23
授業の内容や先生の話が面白いかどうか
1.78
0.94
0.38
0.91
2.04
1.54
0.09
1.62
0.58
0.96
0.30
0.45
1.36
0.16
1.18
この授業を受けてどのように感じたか
1.77
0.59
1.26
1.07
1.40
1.70
0.21
1.63
0.95
1.41
0.70
0.88
0.53
0.00
0.59
知識が得られたかどうか
1.77
0.76
1.33
0.39
0.94
1.69
0.30
1.15
0.77
2.51
0.17
0.33
1.00
0.36
0.93
増やしてほしいことを中心に、もう少し○○
1.74
0.56
0.92
0.94
0.76
1.15
0.72
2.46
0.52
0.67
0.50
0.67
1.18
1.62
0.38
してほしいかどうか説明がわかりやすいかどうか
1.66
0.64
0.87
1.08
1.16
0.97
0.54
1.78
1.29
1.76
0.46
0.46
0.64
0.57
1.07
文系・理系について
1.64
1.24
0.97
1.08
0.56
1.06
0.74
0.34
0.76
0.70
1.42
0.66
0.99
1.06
1.35
説明がわかりやすいかどうか
1.62
0.49
0.65
0.76
0.77
0.88
1.22
2.38
0.70
1.81
0.36
0.27
1.19
0.58
0.91
質問に対する丁寧に回答しているかどうか
1.61
0.58
0.97
1.05
0.91
1.44
0.79
0.96
0.64
1.10
0.46
0.78
1.72
0.15
1.23
内容に興味を持てるかどうか
1.58
0.59
0.65
1.09
1.20
0.72
0.77
1.14
1.20
1.80
0.28
0.70
1.28
0.38
1.18
教え方が丁寧かどうか
1.58
0.88
0.57
0.51
0.94
1.35
0.50
1.04
0.84
1.98
1.08
0.26
0.42
0.50
0.81
理解が深まったかどうか
1.57
0.55
0.63
0.93
1.50
0.38
0.20
0.89
2.05
1.85
0.00
0.50
0.33
0.00
1.48
英語の能力が向上したかどうか
1.57
0.48
0.89
2.09
1.07
0.46
1.54
1.10
0.53
0.55
0.51
0.74
0.98
0.67
1.15
説明が分かりやすいかどうか
1.55
0.37
0.98
0.41
1.90
0.25
0.44
0.90
1.69
1.51
0.58
0.44
0.44
0.94
1.30
学ぶことができたかどうか
1.54
0.50
0.62
1.37
1.74
1.14
0.41
1.75
0.83
1.38
0.40
0.53
1.74
0.57
1.19
予習復習や小テストについて
1.50
0.07
0.75
1.44
1.66
0.74
0.89
1.25
0.63
0.78
2.27
1.79
2.45
0.52
1.09
教科書の内容を理解することを中心に、解説する、苦労する、工夫する、遅刻する、発
1.49
1.30
0.44
0.81
0.39
1.37
0.84
1.06
1.60
1.65
1.38
0.69
0.69
0.74
0.38
展するなど、授業で○○すること
テストについて
1.49
0.68
0.78
0.68
2.18
0.44
0.56
1.54
1.55
1.72
0.00
0.38
0.54
0.08
2.15
演習問題の解説や回答について
1.46
1.78
0.83
0.73
1.02
0.14
0.60
0.88
0.89
1.05
0.49
0.25
0.66
0.70
2.19

の科目群名に筆者加筆)

240

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）上は問題にならないと思われるため，次節における検証も踏まえた判断が求められる．
また，表２にかけて50件の分類結果を示している．
分析時にはこの表では省略した自由記述も参考にしているが，一般的に授業評価の観点として不自然ではな
いトピックが全体として抽出され，各トピックを代表する単語とほぼ矛盾しないラベルが付与されていることが確認できると思われる．各トピックはその頻度も自動的に集計できているため，自由記述全体として，どのような話題が多いかを数値的に確認することが可
能となる．
4.2.

トピックのラベルの妥当性の検証結果についてトピックのラベルの妥当性に関して，
表３をみると，

図２ トピックに対する確率値と評価者の評定の関係

評価対象とした17トピック全体に対する２名の評定の平均値は，4.42であった．全体としては，かなり高い単語となっており，
「作文」，
「確認」，
「添削」といった，評価が得られており，トピックのラベルの妥当性は十サ変動詞の語幹と，「する」の組み合わせが主に取り上分に確保されていたといえる．なお，各トピックの２げられたトピックであると考えると，矛盾なく解釈で名の評定の平均値について１サンプルの t 検定を行い， きると思われる．しかし，一方で，このラベルは意味
値を３と比較したところ，すべてのトピックに対してに依存するというよりは，文法上の単語の共起関係に２名の評定の平均値が統計的に３を上回っていること依存するものであり，このラベルが，個々の自由記述が確認できている．各トピックを個別に確認すると，にあてはまるかどうかという観点から考えると，文法１人目の評価者は，すべてのトピックに対して４以上的な観点からは確かにあてはまっているが，実用的なの評価をした一方で，２人目の評価者は，４件のトピ観点からは意味をなしていないととらえられる可能性

ックで４を下回る評定を行っている．２名の平均値でがあることもまた事実である．そのため，このラベル４を下回る評定となったのは，「名詞＋するという用語に対する評価があまり高くない点については納得できが入っているかどうか」と「授業の進行ペース」であるものであるといえよう．

った．このうち「授業の進行ペース」については，前

今回170のトピックに対して命名したなかで，このよ

節で取り上げたように，「ほしい」という単語によって，

うにどちらかというと文法的な制約によってできたと「授業の進行ペース」以外に対する要望が混入したた思われるトピックは10件程度であった．それらの多くめであると考えられる．よりラベルのあてはまりを高は，先の例と同じく「する」，「なる」などの一般的なめるためには，「授業の進行ペースもしくは，その他授動詞と，名詞の組み合わせによって構成されるトピッ

業に対する要望」のようにラベルが意味する範囲を広クであったため，「する」，「なる」などの一般的すぎる

くとるという方法も考えられるが，それは同時にラベ動詞をストップワードとして除外することで，こうしルが自由記述を分類する力を弱めることも意味するたたトピックの生成を防ぐことができる可能性はあるとめ，目的に応じて慎重な検討が必要である．他のデー思われる．また，もう一つの方法として，人間の感覚

タセットで何例か分析を行った経験上，分析対象とすにそぐわないトピックは利用しないという方向が考えるデータを増やすと，最適なトピック件数の上昇ととられる．各自由記述は，すべてのトピックにある確率

もに，こうした分離の甘いトピックが独立していく傾を伴って属している．そのため，人間の感覚にそぐわ向があったため，分析対象とする自由記述数をより増ないトピックが，ある自由記述にとって最も確率が高やしていくのも，今後取りえる方策の一つである思わいトピックである場合，そのトピックを採用せず，２れる．

番目に確率が高いトピックを，その自由記述を代表す

また，「名詞＋するという用語が入っているかどうるトピックとして採用するという方法が考えられる．

か」は，「する」,「自分」,「ある」,「作文」,「れる」,最後に，トピックのラベルの妥当性に関して，LDA「英」, 「確認」,「添削」などがトピックを代表するによって算出されるトピックの確率値と，評価者によVol. 41，No. 3（2017）

241

る評定値の関係について確認しておきたい．図２は縦相対的な記述の割合としては，「授業に対する意見」や軸が LDA によって自動的に計算された，各自由記述に「成績評価について」の意見の方が多いことを読み取おける最も可能性が高いトピックに対する確率値，横ることが可能である．こうした情報は，例えば，科目

軸が各自由記述とそのラベルのあてはまりに対する２として FD に取り組む際は，相対的に記述が多い項目

名の評定の平均値である．この２変量に対する相関係に対する対応を優先するといった方針を立てる際の手数は-0.024であり，相関は認められないが，図２を確がかりなどに利用できると考えられる．

認すると，確率値が0.06以下程度の低い領域において

4.4.

は，評価者による評定が１から５まで広く分布してい以上のように，トピックモデルを活用した授業評価

トピックモデルを用いた分析の負担と可能性る一方で，確率値が0.08を上回ってくると，3.5以上のアンケートの自由記述の分析について，妥当性を検証

評定のみが行われていることがわかる．このことから，

し応用例を紹介したわけであるが，ここで，こうした今回のデータでは，確率値が0.08を超える場合は，人分析の負担についても本研究の手順に沿いながら考察

間の感覚上もほぼそのラベルを妥当と感じると考えらしておきたい．

れる．今回の評価においては，各自由記述で最も確率

第１はトピックモデルの分析に用いるデータセット

値が大きかったトピックを１つ選んで，その自由記述の作成時の負担である．このフェーズでは，形態素解を代表するトピックとしたが，２番目以下のトピック

析や，形態素解析済みのデータのデータベースへの登であっても，確率値が0.08を超えているというケース

録，データベースから条件に沿ったデータの抽出などは想定できる．そうしたケースに関しては，該当するが必要となる．本研究では，形態素解析済みのデータ

トピックについても，その自由記述を代表するトピッのデータベースへ登録作業の一部を除き，すべて自作

クとして利用者に提示するといった使い方も可能であのソフトウェアによって自動化を行っているため，こると思われる．

の段階での負担は，初めてこの作業を行う場合で数時

4.3.

科目群ごとのトピックの割合の集計結果につ間程度である．データの抽出条件だけを若干変えてデいてータセットを作り直す場合など，新たな形態素解析を

表４からは，各科目群にどのようなトピックがどの伴わない場合は，この時間的負担はより少なくなる．

ような割合で含まれているかを，読み取ることが可能

第２は R の topicmodels パッケージを用いた分析時のである．例えば，表の最も左側の科目群「専門数」の負担である．このフェーズでは，トピック数を決める

中では，「板書が見にくいかどうか」や「授業に対する段階で，トピック数の候補の数だけ分析を行う必要が意見」に関する記述が多いことがわかる．この表の行ある．今回はトピック数５からトピック数1000まで16

と列を入れ替えれば，あるトピックに着目して，例えの候補について分析を行い，トピック数を170に決定しば，「板書が見にくいかどうか」に関する記述が多く含てから，最終的な分析を１回行う必要があった．ただまれる科目群はどれかを分析することも可能である．

し，すべての分析は R 上で自動的に進行するのに加え，また，表５を見ると，各科目群で相対的にどのようトピック数を決定する際の分析は，R を複数起動するなトピックが多いかを容易に確認できることがわかる． ことで並列に実行することも可能である．そのため，
この表は，自由記述全体における各トピックの出現割

人的負担は大きくなく，時間的には，今回は４コア合が１となるように比率化されているため，各トピッ（3.4Ghz）の CPU×２と256GB の RAM を搭載した PC

クの絶対的な多寡ではなく，相対的な多寡が強調されを用いて，一日程度で分析を行うことが可能であった．

る．そのため，表４に比べ全体的な傾向と比較した各分析に用いた PC のスペックは通常よりも高いと考え科目群の特徴をより簡単にとらえることができる．具られるが，分析時にリソースを使い切っていたわけで体的にはこの表では，最も左側の科目群「専門数」にはなかったため，一般的な PC であっても，大差なく関してソートを行っており，この科目群では，「授業に分析が可能であると思われる．

対する意見」や「成績評価について」の意見が，自由第３はトピックに対応したラベルの作成時の負担で記述全体における出現率と比較して４倍以上見られるある．ラベルの作成にあたっては，まず表１に示したことが容易に把握できる．この結果と表４の結果を比ような単語や自由記述のリスト作成する必要がある．

較すると，「板書が見にくいかどうか」は「専門数」の

この作業は自作のソフトウェアによってほぼ自動化で中では，絶対的な記述量としては最も多く見られるが，きているため，人的，時間的負担は高くはない．次に，

242

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）これらのリストに基づいたラベルの作成については，

今回の分析は，LDA によって自動的に付与されたト

分析する人物の習熟度に左右されると思われるものの， ピックと，授業評価アンケート実施時に判明していた
今回は１トピックの命名に10～15分程度の時間が必要

自由記述が属する科目群の情報を紐付けたものであっであった．170トピックの分類には，１日数時間の作業

たが，自由記述に紐付けることができる情報は，他にで，２週間程度の期間を要した．この負担は大きいよ

も様々なものが考えられる．例えば，成績情報と組みうに感じられるかもしれないが，作業としては，考案

合わせば，「成績が優秀な学生ほど，授業や教師を高くしたラベルが，リスト内の自由記述の内容に合致する評価する」のような，授業評価によく見られる「神話」

かどうかに関して，確認的な読みを繰り返すだけでよ（ALEAMONI 1999）の真偽についても，自由記述の側

い．通常，人手によってテキストを分類する場合は，面からデータを伴って検証することが可能となる．

複数の文章を行き来し，カテゴリを生成したり修正し授業評価アンケートは年間数万件蓄積される一種のたりしながら分類も行っていく必要があった．こうし教育ビッグデータであり，大学が行っている教育の内た手法では，分類すべきテキストの数の増加に伴い，容や体制に対する学生からのレスポンスであるととら

分析者の認知的負荷はおそらく指数関数的に増大する

えると，そこから教育・学習に関して有用な多くの情と思われる．分析に必要な時間についても，テキスト報を抽出できる可能性がある．アンケートの結果の中数に応じて同様に増大すると思われる．本研究の手法

でも，自由記述は，とりわけ多くの情報量を持つため，では，カテゴリ生成はトピックモデルによってすでに高い利用価値が期待できる．特に教学関係の大学の現自動的に行われているため，ラベルの命名と確認的な状の把握と分析を目指す教学 Institutional Research (IR)読みの作業をトピックの数だけ行えばよい．また，確や，学習者がいかに学習を行っているかに関心を寄せ認的な読みの認知的負荷はあまり高くない．従って，る Learning Analytics (LA)などにおいて，自由記述とそ本研究で提案する手法のメリットは，分析者の認知的の他の情報を紐付けて分析した場合には，自由記述か

負荷が，自由記述の総件数にかかわらず，一定以上にら抽出されるトピックと，成績や学習時間，その他教

高まらないこと，自由記述の分類に必要な時間的な人育・学習に関わる様々な要因との関係を明らかにする的負担については，トピック数の影響はうけるが，自由ことができると思われる．また，授業評価アンケート

記述の総件数には左右されないことの２点が挙げられる． のデータに基づいた IR や LA の分析の成果には，デー
第４は，ラベルの妥当性検証時の負担である．本研

タの性質上，授業の質的向上に大きく関わる知見が多究では，分析者が命名したラベルの妥当性を別の２名く含まれると考えられる．そうした知見を FD に活用が検証しており，本研究の手法を今後用いる場合でも，

すれば，FD 活動の実質化にも寄与できると思われる．

こうした検証作業を組み込むことは，分類の妥当性をそのため，今後も授業評価の自由記述を様々な情報と紐保つ上で重要であると考えられる．検証時の負担につ付けることで分析の範囲を広げていくことが重要である．

いては，基本的にはラベルがリスト内の自由記述の内容に合致するかどうかに関して，確認的な読みを繰り

5. ま

と

め

返すだけであるため，認知的な負荷はあまり高くない

本研究では，トピックモデルを用いて，実際の授業といえる．時間的負担に関しては，検証するトピック

評価アンケートデータを分析し，トピックを抽出する

数に左右されると考えられるが，今回の17トピックのとともに，抽出したトピックに対して一定の手順に従

検証は数日で可能であった．

ってラベルを付与し，そのラベルの妥当性を検証した．

以上から，本研究で提案した授業評価アンケートのその結果，ラベルには十分な妥当性が確認され，トピ

自由記述の分類手法は，分析者にかかる認知的負荷や，ックモデルによる分類が全体的に見ると人間の感覚に分析時間が自由記述の総件数の影響を受けず，データ適合したものであることが示された．本研究ではさらセットの作成や，トピックモデルによる分析の大半はに，自由記述を科目群の情報と紐付けた分析を行い，自動化できているため，結果として，従来の人手によ

各科目群にどのような自由記述がどのような割合で存る分類方法に比べて，人的，時間的負担が少ないとい在するのか，全体の傾向から見て各科目群に特徴的なえる．この特徴は今後分析対象とする自由記述の件数

トピックは何かといったことについて，クロス表によがさらに増加した場合に，特に有効になってくると考る情報の可視化を行った．トピックモデルを用いた自えられる．

由記述の分類や，分類結果を他の情報と紐付けた分析

Vol. 41，No. 3（2017）243

や可視化は，今後の IR や LA の発展や FD の実質化に

MATSUKAWA, H., ARAI, Y., IWASAKI, C., KINJO, Y. and

非常に重要な技術であると考えられるため，本研究のHOTTA, H. (2015) Semantic Classification of Text

分析事例をもとに，より多くの研究が蓄積されること

Messages Using the Concept of Community in Socialが期待される．

Network Analysis. IADIS International Conference謝

e-society 2015, Madeira, Portugal, 340-342

辞MATSUKAWA, H., ARAI, Y., IWASAKI, C. and HOTTA, H.

本論文の執筆にあたり，非常に示唆に富んだ助言を賜りました，大阪大学大学院基礎工学研究科の佐藤宏介教授に深く感謝申し上げます．
本研究は JSPS 科研費基盤研究（B）JP26282053の助成を受けたものです．

(2016) What kind of anxiety do parents have during
raising children. 17th PECERA (Pacific

Early
Childhood
Education
Research
Association)
ANNUAL CONFERENCE, Bangkok, Thailand, 187
佐藤一誠 (2015) トピックモデルによる統計的潜在意

付

味解析．コロナ社，東京記

須田昂宏 (2017) リアクションペーパーの記述に基づ

本論文は，日本教育工学会2016年度第32回大会のSIG01セッションで発表した内容を再構成してまとめたものである．

く学生の学びの可視化―大学授業の実態把握のために―. 日本教育工学会論文誌, 41(1)：13-28
田口真奈 (2002) 「考える」ちからの育成を目指した

参授業の構造. 京都大学高等教育教授システム開発

考 文 献

センター編 (2002) 大学授業研究の構想－過去かALEAMONI, L.M. (1999) Student rating myths versus

ら未来へ. 東進堂, 東京, pp.117-147

research facts from 1924 to 1998, Journal of Personal

Summary

Evaluation in Education, 13(2):153-166
BLEI, D, M., NG, A, Y. and JORDAN, M, I. (2003) LatentThis study aimed to analyze nine years’ worth of sixty

Dirichlet allocation. Journal of Machine Learning

thousand free descriptions of course evaluation questionnaires,

Research, 3:993-1022.

which originally appeared to be overly difficult to handle intopicmodels.

terms of extracting information that had been administered tohttps://cran.r-project.org/web/packages/topicmodea certain University Students using a topic model based on

ls/index.html (accessed 2017.07.04)

Latent Dirichlet Allocation (LDA). We extracted 170 topics

GRÜN,

B.

(2017)

CRAN-

Package

星野敦子，牟田博光（2006）大学の授業における諸要

and labeled them based on a series of steps, and then checked

因の相互作用と授業満足度の因果関係. 日本教育

the validity. Consequently, an adequate level of validity was

工学会論文誌, 29(4):463-473

observed, revealing a comprehensible classification by topic

岩田具治 (2015) トピックモデル．講談社，東京

model that fit the human senses. This study further offered

釜賀誠一 (2015) テキストマイニングを用いた授業評

analyses linking information about the group of courses to

価の自由記述の分析と対策. 尚絅大学研究紀要,

which each free description belonged, and visualized the ratio

A, 人文・社会科学編 (47):49-61

of topics in each course group, or features of topic distribution

慶留間諒大, 當間愛晃, 赤嶺有平, 山田孝治, 遠藤聡

of each course group compared to the entire spectrum using

志 (2014) トピックモデルで生成したトピックへ

cross tabulation. Such analyses are expected to be applied in付与するラベルの自動生成. 情報処理学会第76回

the fields of Institutional Research (IR) and Learning Analytics

全国大会講演論文集, 51-52(LA) in future studies.

越中康治，高田淑子，木下英俊, 安藤明伸，高橋潔，

KEYWORDS:

田幡憲一，岡正明，石澤公明 (2015) テキストマ

DESCRIPTION,

イニングによる授業評価アンケートの分析 : 共

BIGDATA ANALYSIS

起ネットワークによる自由記述の可視化の試み.

COURSETOPICEVALUATION,

MODEL,TEXT

FREE
MINING,(Received January 31, 2017)

宮城教育大学情報処理センター研究紀要,
COMMUE (22):67-74
244

日本教育工学会論文誌（ Jpn．J．Educ．Technol.）