MOOC の運用における改善とその検証の実践的課題について
岡本 雅子 1) , 酒井 博之 1)
1) 京都大学 高等教育研究開発推進センター
okamoto.masako.8v@kyoto-u.ac.jp

Practical Challenges of Improvement and Its Verification for
MOOC Production Management
Masako Okamoto1) , Hiroyuki Sakai1)
1) Center for the Promotion of Excellence in Higher Education, Kyoto University

概要
京都大学における MOOC（Massive Open Online Courses: 大規模オープンオンライン講義）の制作過程の中で、講義コンテンツの改善と検証に係る実践的課題について、MOOC および講義の特性に係る点を中心にまとめ、教員を支援する制作スタッフの立場から改善に係る問題点について考察した。

1 はじめに
京都大学は、主要なグローバル MOOC プロバイ

2 対象講義について
2.1

講義の概要

ダーの一つである edX に加盟しており、2014 年 4 月

本 稿 で 取 り 上 げ た「Stochastic Processes: Data

以来、「KyotoUx」の名称で 13 講義（2018 年 9 月時

Analysis and Computer Simulation」は、「ブラウン点）を開講しており、その運用を進めているほか、新運動」と呼ばれる粒子の拡散モデルを題材とした講義

たな講義の開発に取り組んでいる [1][2]。

であり、6 週間で Python とコンピュータシミュレー

こうした中、すでに制作してある講義については、講義配信終了後、問題点を抽出して改善を加えるた
め、運用には、以下の通りの作業が重要な実践的課題

ションを利用して当該分野の基礎を学ぶ（表 1）。
なお、本講義では、大学 2 年次程度の微分積分と線形代数の知識を有することを受講条件とした。となっている。

表1• コンテンツの評価及び問題点の抽出

講義の各週の内容

内容• コンテンツの改良

第1週

Python programming for beginners• 元のコンテンツと改良したコンテンツの比較によ第2週

Distribution function and random number

第3週

Brownian motion 1: Basic theories

本稿では、2017 年 3 月と 2017 年 8 月に開講し第4週

Brownian motion 2: Computer simulation

た「Stochastic Processes: Data Analysis and Com-

第5週

Brownian motion 3: Data analyses

puter Simulation」の事例を取り上げ、MOOC の制作

第6週

Stochastic processes in the real world

る改善効果の検証過程の中で、講義コンテンツの改善とその検証に係る実践的課題について、MOOC および講義の特性に係る点を中心にまとめ、教員を支援する制作スタッフの立場から改善に係る問題点について考察する。

2.2

講師と制作支援の体制

講義の教材は、2 名の担当教員が作成し、各週の講義ビデオ、講義ビデオに関する Problems、発展的な課題の Homework から構成されている。本講義のコンテンツの構成については、表 2 の通りである。また、講義で扱うスライドやサンプルプログラムは、受講者がダウンロードできるようにした。さらに、講義サイト内には、受講者が自由に投稿することができる掲示

表2

講義コンテンツの構成と再開講時の変更点

としては、受講途中であっても、合格基準を達成した時点で修了証が発行される場合が多いという点も挙げ

動画数

Problem 数

Homework 数

第1週

48 (2)

4 (2)第2週

47 (0)

6 (0)掲示板は、講義ごとに設置され、その中でさらに、

第3週

35 (0)

5 (0)「当該講義全般に関する内容」と「各週に配信された講第4週

34 (3)5 (4)義コンテンツに関する内容」の 2 つに大別して提示さ第5週

36 (1)

2 (0)

れる。

第6週

48 (0)

2 (0)

講義全般に関する内容は、

計

2138 (6)24 (6)• 技術的な問題に関する質問（授業開始時）ることができる。

2.4掲示板の運用

注：括弧内は再開講時に変更した Problem・• 自己紹介（授業開始時）

Homework 数を示している• 掲示板のアーカイブ化に関すること（授業終了時）の 3 つのスレッドを準備した。

板が設置されており、受講者のほか、京大側の講師、TA、スタッフにアクセス権限が付与されている。
講義の開発や制作にあたっては、MOOC の制作スタッフが、教員と対面やメールでの打ち合わせを適宜行い、教材の制作や利用可能なツールの紹介・説明、掲示板の対応など講義の運用に関する支援を行った。
なお、京都大学では、MOOC の制作スタッフは、FD加えて、各週に配信された講義コンテンツに関する内容として、以下の 4 つのスレッドを準備した。

• 授業の全般に関すること• 動画に関すること• Problems に関すること• Homework に関すること（ファカルティ・デベロップメント）の支援業務にも受講者は、この掲示板を利用して、講義の感想やコ携わっており、その経験を MOOC 制作にも生かしてメントなどを書き込んだり、講義内容について質問いる。

するだけではなく、講義内容について、受講者同士で2.3開講期間ディスカッションするといった形で利用している。本本講義は、2017 年 3 月 30 日から 5 月 11 日までの 6

講義では、講師やスタッフは、これらの書き込みを、週間、Instructor-paced course と呼ばれる毎週講義コ毎日、最低 1 回の頻度で確認している。また、書き込ンテンツが追加される形態で開講された。さらに、本みに対して、講師が、直接、返信して指導したりファ講義終了後に、教材の追加・修正を行い、2017 年 8 月シリテートする役割を担う場合もあった。

3 日から 2018 年 8 月 2 日までの 1 年間、Self-paced

第 1 回目のように Instructor-paced 形式で開講しcourse 呼ばれる開講時に全てのコンテンツが公開された場合、受講者からは、開講されている週のコンテンる形態で再開講した。

ツに係わる質問のみ、掲示板に投稿される。教員やス

典型的な MOOC は、大学内で行われる講義と同様

タッフは、その週の同一の内容に係わる質問だけに対に、毎週、新たに講義ビデオや関連する課題、宿題等応すればよい。一方、Self-paced の場合、開講時に全の教材が追加されていき、そのスケジュールに合わせてのコンテンツが公開される形態であるため、受講者て受講者が学習を進めていく。一方、開講と同時にそからは、講義全体に係わる質問が投稿される。両者をの講義に関するすべての教材にアクセスできるように比較すると、Instructor-paced は、該当する週の内容なり、配信期間中（典型的には 3 か月から 1 年程度）に係る質問に対応すればよいため、Self-paced より、に受講者が自身のペースで自由に学習を進めることが教員やスタッフの負担は軽減されると思われる。

できる講義については、「Self-paced course」と呼称し2.5

再開講時の改善点ており、少しずつ学習を進めることができるという特第 1 回目の講義終了後、担当教員 2 名と相談した

徴があることから、通学や通勤のために日々忙しく、結果、Problem や Homework の設問の意図や選択肢受講する時間が限られている学習者にとっては、非常の内容が学習者にわかりづらいと判断したものについに有用な講義の提供形態といえる。て、2017 年 8 月から再開講した講義では、Problem をこのほか、Self-paced 形式で提供される講義の特徴

6 問、Homework を 6 問、それぞれ設問文や選択肢の表3

第1週

第4週

第5週

具体的な改善点

設問

改善点

Problem (1)問題文の数式と選択肢にサンプルプログラムを追加

Problem (2)問題文の数式を修正

Homework (1)

選択肢のプログラムを修正

Homework (2)

問題文の数式を修正

Problem (1)

選択肢の修正Problem (2)

選択肢の修正Problem (3)

選択肢の修正Homework (1)

選択肢の修正Homework (2)

選択肢の修正Homework (3)

選択肢の修正Homework (4)

問題文と選択肢を修正

Problem (1)

選択肢の修正表5

図やプログラムを修正した（表 3 参照）。

男性

女性

その他

第1回

85.9%

13.7%

0.4%

第2回

82.9%

16.3%

14.2%

3 調査方法3.1

受講者データの取得

受講者の性別edX のプラットフォームは、受講者の属性情報、動画の視聴履歴や学習履歴、掲示板の投稿履歴などのデータを蓄積している。講師やスタッフは、講義内での学習者の学習状況を可視化するダッシュボード機能を利用し、受講者の属性情報や学習履歴のデータを常時参照することができる。なお、本稿では、講義終了時のデータを利用し、分析を行った。

3.2の国や地域から受講生が集まった。なお、KyotoUx の数学系の講義では、インドが上位になることが少なくない。
また、20 代から 30 代の年齢層をボリューム層としインタビュー

第 1 回目の講義終了後、2017 年 7 月に、本講義の主担当教員に対し、90 分間の受講状況に関する半構造化インタビューを制作スタッフ 2 名で実施した [3][4]。
さらに、第 2 回目の講義終了後、2018 年 8 月に制作スタッフ 2 名およびアセスメント担当スタッフ 2 名で、MOOC を提供した経験に関する半構造化インタビューを実施した。て（表 4）、13 歳から 68 歳までの受講生が見られた。
さらに、男女比は、表 5 の通りである。KyotoUx の他の講義と比較すると、男女の割合に極端な差があるのは大変珍しいケースである。

4.1.2

受講者の学歴

受講生の学歴は、第 1 回目は、修士、学士、高校、博士の順となっており、第 2 回目は、学士、修士、高校、博士の順で受講者の割合が多かった。また、第 1 回目と第 2 回目を比較すると、高校と学士の受講者が多く

4 実践結果4.1

本講義は、米国、インド、英国などをはじめとする 121なり、修士や博士の受講者の割合が少なくなっている

受講者の属性情報について

（表 6）
。

4.1.1 受講者の国籍や年齢等について
表4

4.2

設問の正答率について

各週の設問の平均正答率について表 7 に示す。これ受講者の年齢を見ると、各回の全ての週において Homework が平

25 歳未満

25-40 歳

41 歳以上

第1回

25.3%

57.7%

16.9%

おり、この結果は、Problem は講義ビデオの内容に関

第2回

34.4%

51.4%

14.2%

連したことを問うているのに対し、Homework はより均正答率が Problem のそれよりも低い数値を示して発展的な内容を問うていることから、Homework の平表6

受講者の学歴

第1回

第2回

なし

0.3%

0.4%

小学校

0.1%

中学校

修正した問題の正答率

第 1 回目

第 2 回目

第 1 週 Problem 7

96.2%

91.1%

▽0.1%

第 1 週 Problem 8

91.3%

74.9%

▽1.4%

1.4%

第 1 週 Homework 3

88.9%

91.9%

↑高校

15.6%

19.3%

第 1 週 Homework 4

86.2%

85.7%

▽

準学士

2.7%

3.1%

第 4 週 Problem 2

78.7%

78.7%

←学士

33.8%

35.5%

第 4 週 Problem 3

81.8%

81.8%

←修士

35.2%

31.7%

第 4 週 Problem 4

87.1%

87.1%

←博士

9.7%

7.1%

第 4 週 Homework 2

95.1%

88.5%

▽

その他

1.2%

1.4%

第 4 週 Homework 3

92.6%

87.6%

▽

第 4 週 Homework 4

86.4%

84.3%

▽

第 4 週 Homework 5

77.2%

83.1%

↑

第 5 週 Problem 4

86.4%

86.1%

▽

均正答率が低いことは講師の意図と合致している。
表7

各週の問題の平均正答率

Problem
第 2 回目
92.0%
88.7%▽
90.1%
87.9%
▽
84.7%
83.7%
▽
84.2%
78.6%
▽
84.2%
78.0%
▽
78.6%
72.6%
▽
85.6%
81.6%
▽

第 1 回目
第1週
第2週
第3週
第4週
第5週
第6週
平均表8Homework
第 2 回目
86.5%
84.0%
▽
82.6%
86.5%
↑
77.4%
74.5%
▽
81.7%
80.3%
▽
76.0%
72.1%
▽
70.2%
71.6%
↑
79.1%
78.2%
▽

第 1 回目

また、第 1 回目と第 2 回目の各設問の正答率を比較するため、t 検定を行った。その結果、一部の設問については、正答率が低下しているものの統計的な有意差は見られなかった（t(120)=1.602, n.s.）。
さらに、第 2 回目に Problem を 6 問、Homework を6 問を修正した結果、第 1 週の Problem 3 および第 4週の Homework 4 で正答率の向上が見られたが、改善を試みた設問のうち、そのほかの設問については、正答率が低下していた（表 8）。なお、全ての設問において統計的に有意な差は見られなかった（t(120)=-5.599,n.s.）。
加えて、第 2 回目の半構造化インタビューにおいて、担当教員は正答率の低かった第 4 週の Problem 2 の設問について、以下のように分析している。

• 出力結果の画像を提示する設問では、Python のプログラムを実際に動作させないと解答することができないため、正答率が低かった
これらの設問においては、第 1 回目と第 2 回目の実践の双方で低い正答率であった。

5 考察
第 1 回目の講義において、比較的、正答率が低かった設問について、本研究では、設問の記述に問題点を見出し、改善を試みたが、結果として正答率の変化に有意な差は見られていない。この理由としては、以下の 4 点を可能性として挙げることができる。

• 今回の改善は適切な改善ではなかったため、正答率の向上に寄与することができなかった。

• 設問には問題がなく、改善する余地がなかった。
• 第 1 回目の正答率がもともと高いため、そもそも統計的に有意な差が見られるほどの余地がなかった。

• 受講者の属性情報を見てみると、男女の割合に差は見られなかったが、受講者の年齢層に低下が見られ、学歴についても、第 2 回目では、高校と学士の受講者が増加し、修士や博士の受講者が減少していた。このことから、この受講者層の変化が正答率を下げる要因となったために、改善の効果が相殺されて正答率に反映されなかった（なお、KyotoUx の他の講義でも、受講者の年齢層や学歴については同様の傾向が見られている）。
こうして正答率と改善の効果について見ると、現時点では原因を特定することはできず、設問の記述の改善が適切であったか否かについては検証できなかった。一方、半構造化インタビューの結果が示すように、基礎的な技能や知識を要する第 4 週の Problem 2 の設問については、他の設問と比較して低い正答率であったことから、こうした設問に対しては、設問の方法を改善するというアプローチだけでは十分な効果が得られないものと考えられる。

6 まとめと今後の課題作成した講義コンテンツを運用していく中で、その改善点を発見することは重要な課題である。本稿で対象とした MOOC の講義では、様々な受講データが比較的容易に得られることから、量的な分析が可能であるかのように見えるが、改善の効果を検証する段において、その有効性を測ることが困難なケースがあり、本研究は、まさにそういったケースに該当するものであると考えられる。しかしその一方、半構造化インタビューと合わせて質的な分析を実施した結果、そこから得られた知見もあった。こうしたことから、量的な検証については今後のデータの蓄積に期待しつつ、質的調査を並行して実施することが、運用と並行して実践可能な検証方法であると著者らは考える。

謝辞
本稿において、インタビューを引き受けていただいた京都大学大学院工学研究科の山本量一教授に深く感謝申し上げます。

参考文献[1] 酒井 博之・岡本 雅子・Isanka Wijerathene・飯吉 透、京都大学における MOOC の開発と運用、
大学 ICT 推進協議会年次大会、2016．

[2] 岡本雅子・酒井博之・Isanka Wijerathene・飯吉透、京都大学 MOOC における受講者対応について、大学 ICT 推進協議会年次大会、2016．

[3] 酒井 博之・岡本 雅子、MOOC における講義デザ
インとその支援に関する一考察、大学 ICT 推進協議会年次大会、2017．

[4] 岡本雅子・酒井博之、MOOC 制作および運用の支援における実践的課題について、大学 ICT 推進協議会年次大会、2017．