Moodle Moot Japan 2020 Proceedings

2020 年 8 月 4 日

日本ムードル協会全国大会（2020）
発表論文集
PROCEEDINGS OF MOODLEMOOT JAPAN 2020 ANNUAL CONFERENCE

日本ムードル協会/ MOODLE ASSOCIATION OF JAPANⓒ2020 Moodle Association of Japan

ISSN 2189-5139

1

Moodle Moot Japan 2020 Proceedings

目次a
査読付き論文大学運営用 Moodle 導入事例について .................................................................................................................................................... 6
山田真由美, 廣田知子, 浅本紀子
Moodle

小テスト問題の一括作成－数式記述問題支援ツールの改良及び代数学小テスト問題作成支援ツールの開発－ ..... 9

畑篤, 上木佐季子, 遠山和大, 中原敬広
小テストの負荷に着目した Moodle 用データベース・システムの構築および性能評価 ............................................................. 15
齊藤智也, 王躍, 久長穣, 多田村克己
査読なし論文日本における Moodle LMS 教育コンテンツ評価用ルーブリックの開発 ........................................................................................ 23
メドウズ マーティン, ヒンクルマン ダン, 淺田義和, コッター マシュー, カーシマイヤー ブランデン
Moodle で使えるラーニング・アナリティクス ................................................................................................................................... 33
原島秀人, 淺田義和, ローソン トム
ビデオ評価ルーブリック・小テスト・課題モジュールを用いた英語のあいづちの教授 ............................................................ 38
中井俊ⓒ2020 Moodle Association of Japan

2

Moodle Moot Japan 2020 Proceedings

INDEXb
Refereed papers
A Report about the Introduction of Moodle into Faculty and Staff Development ............................................................................. 6
MAYUMI YAMADA, NORIKO HIROTA, NORIKO ASAMOTO
Batch creation of Moodle quiz questions－Improvement of Mathematical Description Problem Support Tool and Development of Algebra Quiz Test Creation Tool－ ... 9
ATSUSHI HATA, SAKIKO UEKI, KAZUHIRO TOYAMA, TAKAHIRO NAKAHARA
Construction and Performance Evaluation of Moodle Database System for focusing on Simultaneous Quiz Load .................... 15
TOMOYA SAITO, YUE WANG, YUTAKA HISANAGA, KATSUMI TADAMURA
Non-refereed papers
Development of a Rubric for Evaluation of Moodle LMS Educational Content in Japan .............................................................. 23
MARTIN MEADOWS DON HINKELMAN YOSHIKAZU ASADA MATTHEW COTTER

BRANDEN KIRCHMEYER

Introduction to Learning Analytics with Moodle ................................................................................................................................. 33
HIDETO D. HARASHIMA, YOSHIKAZU ASADA, THOM RAWSONInstruction of Spoken English Aizuchi Using Video Assessment Rubrics, Quizzes, and Assignment Modules ............................. 38
SUGURU NAKAIⓒ2020 Moodle Association of Japan

3

Moodle Moot Japan 2020 Proceedings

序文
日本ムードル協会主催の MoodleMoot Japan 2020 は、2020 年 2 月 26 日(水)～2 月 28 日(金)に当初は熊本県崇城大学にて開催される予定でしたが，オンラインカンファレンス MAJ Online Moot 2020 という形に変更して開催されました。この論文集が発表された内容のさらなる共有につながるだけでな
く、参加が叶わなかった多くの方にとって活用されることを期待します。
この研究論文集には、国会図書館発行の ISSN (International Standard Serial Number) が付与され、この論文集の表ページの一番下に記されています。
今回も、論文に査読付き部門と査読なし部門を設けましたので、掲載論文が各自の研究履歴として残るようになりました。今回は、3 本の査読付き論文と 3 本の査読なし論文を掲載します。発表者の皆様におかれましては、積極的な投稿をいただけますことを期待しております。
最後に、査読者の先生方に心から感謝いたします。

Preface
MAJ Moodle Moot 2020, organized by the Japan Moodle Association, was originally scheduled to be heldat Sojo University in Kumamoto Prefecture from February 26 to 28, 2020, but due to the spread of the
COVID-19 infection, it was hastily changed to an online conference, MAJ Online Moot 2020. We hope that
this collection of papers will not only lead to further sharing of the published content, but will also be of use to
many people who were unable to participate.
The ISSN (International Standard Serial Number), which is shown at the bottom of the top page, is assignedby the Japan National Diet Library so that the papers published can be cited by the ISSN and people can utilize
their publications as their research career.
This year we had 3 refereed papers and 3 non-refereed papers. I hope the participants of Moot will utilize
and contribute to the proceedings more.
Finally, I would like to appreciate referees.
編集者 八木(佐伯)街子 / Editor Machiko Saeki Yagi

日本ムードル協会全国大会発表論文集 8 巻2020 年 8 月 4 日発行
発行人：淺田義和

発行所：自治医科大学情報センター〒329-0498 栃木県下野市薬師寺 3311-1
ISSN 2189-5139ⓒ2020 Moodle Association of Japan

4

Moodle Moot Japan 2020 Proceedings

査読付き論文 / Refereed Papersⓒ2020 Moodle Association of Japan

5

MoodleMoot Japan 2020 Proceedings

大学運営用 Moodle 導入事例について
山田真由美†1

廣田知子†1

浅本紀子†1

お茶の水女子大学 情報基盤センターでは、過去十年程学内サービスとして学生教育用の Moodle を自前のサーバで設置運用している。2013 年に Moodle2 系に移行してからは、年度毎にサーバを新規に追加構築し、大学統合認証と連動した全学生アカウント(学部生/院生/附属高校の生徒)と非常勤を含む教職員をユーザとして登録し、全授業を 4 月に一括登録している。手続き不要で構成員だれでも使える LMS として学内認知度は年々増加しており、ここ数年は、大学役職員の大学運営用グループウェアの補助としてまた業務の電子化の新しい媒体としての利用相談や要望が増えていた。
この状況を踏まえ、2018 年度から学生教育用とは別サーバで大学教職員限定の Moodle サイトの運営を始めた。2019
年 1 月時点でのユーザは数 3723、コース数 27 である。本稿では、本学における Moodle 導入の歴史や運営方法を紹介
し、Moodle を大学運営に利用する事例について紹介する。

A Report about the Introduction of Moodle for Faculty and Staff
Development
MAYUMI YAMADA†1 NORIKO HIROTA†1NORIKO ASAMOTO†1
Ochanomizu University IT Center has been using Moodle for student education on its own server for the past ten years, and since
moving to Moodle2 in 2013, it has added a new server every year, registering all student accounts (undergraduate, graduate, andaffiliated high school students) and part-time faculty and staff as users, and registering all classes in April. In recent years, there
has been an increase in the number of requests and consultations for the use of the LMS as an auxiliary to groupware for university
administration by university officials and staff and as a new medium for digitizing business operations.
Given this situation, in FY 2018 we began running a Moodle site for only university faculty and staff which is run on a separate
server to the student education one, with 3723 users and 27 courses as of January 2019. In this paper, we introduce the history of
the introduction of Moodle in our university, how it is operated, and some examples of how Moodle is used in university operations.

1. はじめにが一つのキャンパス内に集結しており、徹底した文理融合と少人数教育を最大の特色としている。
（尚、キャンパス内

お茶の水女子大学 情報基盤センターでは、2007 年から、には幼稚園・小学校・中学校・高校の附属 4 校園と保育施

学部・大学院の全授業で使うことのできる LMS として設も設置されている。）学生数は学部生 2053 人、大学院生

Moodle を運用してきた。その認知度は年々高まり、多くの872 人の 2925 名、教職員は 481 名（うち事務部が 108 名、授業で利用されるようになってきた。さらには、ペーパー附属校が 112 名）である（2018 年 5 月 1 日現在）。

レス化や RPA 利用の潮流により、授業での利用以外にも大2.2 Chimes（お茶大 Moodle）の歴史

学運営用グループウェアの補助として、あるいは事務の業

本学の Moodle 利用は、2000 年代前半に語学センターの

務電子化の新しい媒体としても利用したいという相談・要

e-learning システムとして導入したのが始まりである（桑名望が教職員から多く寄せられるようになってきた。そこで

ほか 2014）。その後 2006 年から 2007 年にかけて管理を情2018 年度に学生教育用 Moodle サイトとは別サーバで、教報処理センター（現在の情報基盤センター）に移し、LDAP

職員限定の大学運営用 Moodle を構築、運用を開始した。

認証を導入した。2013 年には Moodle2 にバージョンアップ

本稿では、大学運営用 Moodle（ChimesFDSD）の概要と活し 、 愛 称 を Chimes （ oCHanomizu Information, Media and用事例について報告する。

Education Square）とした（桑名ほか 2014）。年度単位でサ

2. お茶の水女子大学と Chimes

ーバを毎年新規に追加構築し、その度に附属高校生・学部

2.1 お茶の水女子大学について
お茶の水女子大学は東京都文京区にある国立の女子大学である。元々は 1875 年に日本で初めて女性のために設立された官立の高等教育機関・東京女子師範学校であり、100
年以上もの長い歴史を有している。文教育学部・理学部・生活科学部の 3 学部と大学院（人間文化創成科学研究科）ⓒ2020Moodle Association of Japan

生・大学院生と教職員をユーザとして登録し、その年における全授業を 4 月に一括登録している。そのため、上記の本学構成員は誰でも手続き不要で Chimes を使うことができ、学内における認知度は年々高まり、利用者も増加している。
近年、ペーパーレス化や RPA の導入が各組織において進6

MoodleMoot Japan 2020 Proceedings

んでいるが、その流れはお茶の水女子大学においても例外

しては、ファイルアップロード機能、フォルダ機能、フィではない。だが、そのための新しいシステムを導入するにードバック機能等がある。特に旅費申請についてはデータ

は予算や人的資源に限界があったため、学内の教職員からベース機能を使って作成している。情報基盤センターがコ

情報基盤センターに対し、既存システムで業務の電子化（効ースを作成し、ページを必要最低限整え、部局担当者をコ率化）や環境配慮を図りたい、大学運営用グループウェア

ースに登録したら、あとの運用は部局担当者に任せるようの補助として使えるものはないか、といった相談が多く寄にしている。しかし部局担当者が Moodle 操作に不慣れなせられるようになった。その内容は Moodle の機能を使えケースも多く、参加者の登録やページの修正等の作業を情ば実現できるものが大半であったため、各要望に応じて報基盤センターが請け負うことも多い。また、当然ながら

Chimes に新しいコースを作っていた。だが、本来の LMS

コーホートの設定等の Moodle 管理者でないとできないよの目的から離れたコースが増え管理が煩雑になってきたた

うな設定変更についても随時、情報基盤センターがサポー

め、新たに教職員専用の Moodle を設置することにした。

トを行なっている。

Chimes とは別サーバにして大学教職員限定の大学運営用

4.1 活用事例 1（ペーパーレス会議）

Moodle、通称 ChimesFDSD を 2018 年度に設置、運営を開

ペーパーレス会議用のコースは、会議毎に固有のコース

始した。

を作り、そこにフォルダ機能を使って配布資料の電子ファ

3. ChimesFDSD（大学運営用 Moodle）の概要

イルを掲載していくというシンプルな使い方となっている。
会議の中には出席者によって閲覧可能な資料が異なる場合

2020 年 1 月現在の ChimesFDSD の仕様は CentOS 7.7、があり、そのようなケースにおいてはコーホートを使ってApache 2.4、MariaDB 5.5、PHP 7.2、Moodle 3.6 である。Chimes

トピック毎あるいはフォルダ毎に利用制限をかけている。

と基本的に同等のスペックにしている。ユーザ登録数はその例を図 2 に示す。図 2 はその場合、特定ユーザをコー

3723、コース数は 27、コースの 6 割がペーパーレス化のたホートでグループ分けし、特定のコーホートに所属していめに各会議資料の電子ファイルを置くために使われている。

ないとフォルダにアクセスできないよう設定している。そ2018 年度と 2019 年度 12 月までにおけるログイン者数のの例を図 2 に示す。図 2 は代議員会用のコースページの一推移を図 1 に示す。ChimesFDSD が稼働したのは 2018 年度

部分である。議事録はコース参加者全員が参照できるようからだが利用者の数は少なく、本格的に使われだしたのはにしたいが、代議員会資料は代議員会メンバーのみ閲覧でコース数が増えた 2019 年度に入ってからである。ログイ

きるように設定したいとの要望により、情報基盤センター

ン者数も一気に増加し、特に学期始めの 4 月と 10 月のロのスタッフが、代議員会メンバーのコーホート「DAIGI」

グイン者数が多かった。教育系・事務系・常勤・非常勤のを作り、そのメンバー以外はトピック「2019 年度代議員会」

垣根なく、いずれの職員にも幅広く利用されている。

を利用できないように制限をかけた。このように、適切に利用制限を設定することでペーパーレス会議の運用が実現

1565
ロ
グ
1262
イ
1130
912
ン
904
853 812 786
者
数
419
399
（
320
54
単
位 11 9 26 4 2 30 0 2 14：
人 4 5 6 7 8 9 101112 1 2 3 4 5 6 7 8 9 101112） 月月月月月月月月月月月月月月月月月月月月月

2018年
図 1

できている。

トピックにコーホートで利用制限をかけている

2019年
ChimesFDSD のログイン者数推移

4. 活用事例
3 節でも述べたように、ChimesFDSD のコースの 6 割がペーパーレス会議用コースである。その他、旅費申請用のコースや、インフルエンザ予防接種の申請用コース、新入生オリエンテーションのスケジュール調整用のコース等を設置している。これらコースにおいてよく使われる機能とⓒ2020Moodle Association of Japan

図 2

コーホートを使った利用制限

ペーパーレスになったことで資料の管理が容易になったとして部局担当者から好評を得ており、また、会議参加者についても、会議中は回線が混雑する為できれば事前に資料をダウンロードしておいたほうが良いという若干の制約はあるが、紙で資料が配布したほうが良いと思っているユーザはほぼいない。また、2018 年度・2019 年度に利用している大学運営用グループウェアの場合、掲載資料へのアク

7

MoodleMoot Japan 2020 Proceedings

セス速度が Moodle のほうが速いため、グループウェアに2019 年度は 2020 年 2 月現在で 404 件の旅費申請が資料を置くよりも好評のようである。

ChimesFDSD 上で行われた。それまでは全て紙ベースで処4.2 活用事例 2（旅費申請）理していたことを考えると、大幅な業務効率化が達成でき教職員の旅費申請は 2017 年度までは紙に書いて事務にたと考えることができる。データベース機能のおかげで申提出する形をとっており効率の悪いものであった。この手請状況が一覧で確認でき、さらに一覧データをエクスポー

続きを電子化することで効率化を図れないかと担当事務かトすることができることも、部局担当者にとって非常に便ら依頼され、旅費申請のコースを 2018 年 11 月に作成、2019利とのことである。

年から本格稼働を開始した。

5. おわりに
マニュアルへのリンク

ChimesFDSD に対する利用者からの声は「ペーパーレスになったことで資料や情報の収集・管理が容易になった」「フィードバック機能やデータベース機能により、申請の提出状況が一覧ですぐわかるようになった」「メールで各部局とやりとりして情報を整理していたが、フィードバック
機能や課題機能を使うことで、Moodle で一元管理できるよ
うになった」等々、概ね好評である。また、6 月 1 日現在、
新型コロナウイルス感染症の拡大を防止するための対応とエントリを追加

しても、オンライン会議や研修等に ChimesFDSD が導入され始めている。
エンドユーザから好評な ChimesFDSD だが、一方で管理運営する側の情報基盤センターのスタッフにとっては問題

氏名や旅費等の点もある。まず一つに、教職員から業務効率化やペーパー

必要事項を入力レス会議等のための新しいコース設立の相談を受けた際、最適な機能・リソースの選定が難しいという点が挙げられる。相談者の実施したい内容が漠然としていることが多く、
例えば「アンケートを集めたい」と相談を受け、アンケー
ト機能やフィードバック機能を勧めたが後になって不満を言われ、よくよく話を聞いて整理すると実際に実施したかった内容は実はフォーラムやデータベース機能のほうが適していた等といった具合である。また、学内から Moodle に関する問い合わせがかなり増え、スタッフの負担が増大しボタンからた。基本的には各コースは各部局の担当者が運用すること印刷可能になっているが、Moodle の操作に不慣れな担当者もおり、完全に自立して運用することが難しいケースも多く、どうしても情報基盤センターへの問い合わせ・対応が増えざるをえない状態である。さらに、Moodle サイトが二つになったことによって、利用者登録等の定期作業が倍（以上）に申請書完成増えたことも、スタッフにとっては負担となっている。
上記の問い合わせや倍に増えた登録作業を、情報基盤セ

図 3

旅費申請システムの利用の流れ

ンターの少ない人員でどのようにまかなうかが今後の課題となっている。Moodle の利用マニュアルを見れば大抵のこ

旅費申請システムは Moodle のデータベース機能を使って作成した。
「エントリを追加」をユーザが選ぶと入力画面とは各部局担当者が操作できるように、既にある Moodle マ
ニュアルを現在改訂中である。

に遷移し、必要情報を入力すれば自動的に申請書が出来上がり、そのページにある印刷ボタンを押せば印刷ができるようになっている（図 3）。また、利用者が操作手順に戸惑うことのないよう、コースページにはマニュアルへのリン

参考文献
1) 桑名杏奈, 笹倉理子, 浅本紀子: Moodle を活用した授業動画の簡易配信について, MoodleMoot Japan 2014 Proceedings, pp.4853(2014)

クを貼っている。

ⓒ2020Moodle Association of Japan

8

MoodleMoot Japan 2020 Proceedings

Moodle 小テスト問題の一括作成－数式記述問題支援ツールの改良及び代数学小テスト問題作成支援ツールの開発－
畑篤†1

上木佐季子†1

遠山和大†1 中原敬広†2

筆者らは、Word ファイルを利用し、Moodle 小テスト問題に一括変換するツール開発を行ってきた。数式記述問題は、数学オンラインテスト評価システム（STACK）を用いて作成するが、STACK での問題作成は容易ではない。そこで、Word を用いた数式記述問題を作成する変換ツールを開発した。今回、このツールに、グラフ問題や受験毎に数値が可変できるようツールの改良を行った。また、STACK には、解答した内容を評価する機能（ポテンシャル・レスポンス・ツリー）があるが、問題作成は容易ではない。我々は、高校程度の代数学問題を Excel で作成し、Moodle にインポー
ト可能な XML に変換するツールを開発した。このツールは、数式及び変数、そして、求める解の変数を Excel での定型様式に入力し作成する。解答については、問題に応じ STACK 機能で生成させるため、作成者が解答を作成する必要はない他、問題に応じた評価やフィードバックを表示させることができる。

Batch creation of Moodle quiz questions－Improvement of Mathematical Description Problem Support Tooland Development of Algebra Quiz Test Creation Tool－
ATSUSHI HATA†1

SAKIKO UEKI†1 KAZUHIRO TOYAMA†1 TAKAHIRO NAKAHARA†2

The authors have been developing a tool that converts Word files into batch Moodle quiz questions. Mathematicaldescription problems are created using the Mathematical Online Test Evaluation System (STACK), but it is noteasy to create problems with STACK. Therefore, we developed a conversion tool that creates a mathematicaldescription problem from a document created in Word. In this iteration, the tool has been improved so that thenumerical value can be changed for each graph and other math problems. STACK also has a function to evaluate
the contents of answers (using a potential response tree), but it is not easy to create questions. We have developed atool that creates high school algebra questions in Excel and converts them into XML that can be imported into
Moodle. This tool can be used to create mathematical formulas and variables, and the variables of the solution to beobtained by inputting them into a standard format in Excel. Answers are generated by the STACK function
according to the question, so there is no need for the creator to create the answer, and evaluations and feedback
according to the question can be displayed.

1. はじめに†を作成する方法がいくつかの論文で紹介されている。例えば、STACK と Moodle で実践する数学 e-ラーニング、（中村

Moodle では様々な形式の小テストを作成することができ

ほか 2010a）、数学ｅラーニング数式評価システム STACK とる。しかし、複雑な問題を GUI 上で作成するには手間がか

Moodle による理工系教育（中村 2010）、STACK を利用したかる。筆者らは、小テスト問題をイメージでき、かつ、多く

物理数学授業実践の報告（中村ほか 2010b）、STACK と Moodleの人にとって普段使い慣れた Word を利用して問題を作成

による数学 e-ラーニング（中村ほか 2011）、数学オンライ

し、それを Moodle にインポート可能な XML ファイルに一

ンテストシステム STACK の問題作成支援ツールの開発と括変換するツール（畑ほか 2015）、テスト問題の XML ファ

STACK3.0 の展望（中村ほか 2012）などである。しかし、イルを可視化するビューア（上木ほか 2015）、正誤、組み合

Moodle で STACK を利用した問題作成は容易ではない。筆

わせ問題の変換、Moodle XML ファイルの逆変換（畑ほか

者らは、Word で作成した数式記述問題を Moodle にインポ

2016）、及び小テスト問題変換ツールの改良およびランチャート可能な XML に変換するツール開発を行った（畑ほか

ーツール（畑ほか 2018）の開発を行い公開してきた。小テ2019）。今回、本ツールに問題受験毎の変数の可変及び、グストの中で、穴埋め問題は、多様な問題を作成することがで

ラフ機能を追加した。また、STACK を用いて代数学問題をきる。しかし、数式記述問題を作成する場合、あらゆる正解

作成することはできるが、問題作成は容易でない。このことを用意する必要がある。また、数学オンラインテスト評価シ

から、筆者らは、代数学問題の作成に特化した問題様式をステム（STACK)を利用することにより、数式を用いた問題

Excel で作成し、Moodle にインポート可能となる XML に変†1 University of Toyama †2 Sangensha LLCⓒ2020 Moodle Association of Japan

9

MoodleMoot Japan 2020 Proceedings

換するツールを開発した。本ツールは、MS-Windows10 以降
でかつ、MS-Word2010 以降がインストールされている環境で利用ができる。本稿では、Word で数式記述問題を作成し、Moodle にインポート可能な XML に変換するツールの機能
拡張、代数学問題様式（Excel）及び代数学計算問題様式を
Moodle にインポート可能な XML 変換するツールについて
紹介する。

図３

2. Word での問題作成様式

2.1

数式記述問題の Moodle 表示例（数値利用）

数式問題の評価方法

数式問題の評価には、複数の評価方法があることから、筆穴埋め（記述）問題の作成方法に従い、Word で問題文を者らは、代数評価、構文評価、式の整理、数値評価について

作成後、解答としたい変数を黄色の蛍光ペンで塗布するこ評価を行えるようにした。数式問題の評価方法を判別するととし、問題文の後に、変数及び変数式を定義することとしため、数式問題の正解の前に記号を付して判別することとた。

した。判別記号を定めるに際し、正解を ANSA としたこと

変数及び変数を定義する式（以下「変数」という）と解答

から、ANS にそれぞれの判別文字を付加した記号とした。

を区別するため、解答とする変数の前に、「ANSA::」を、変

このことより、式が簡略化されていない場合や、式の展数については、「VAR::」と記述し解答と変数を区別すること

開、通分がされていなかった場合、そして小数点以下の表記とした。また、TeX 記号を用いた数式問題に対応するため、結果についても評価ができる。

TeX 記号で表記する箇所をピンクの蛍光ペンで塗布するこ評価方法及び、評価の判定記号の記述を以下に示す。

ととした。

①

小テスト問題の記述例を図１に、作成した問題（図１）を

代数評価は、評価対象が代数的に等しいかについて

Moodle にインポートした結果を図２、図３に示す。図２は
図 1 の問題例で、変数（VAR::）を用いない場合の変換結果代数評価判定する。解答式の前に、ANSA::と記述する。

②

を示す。図３については、問題の変数（VAR::）部分の変換

構文評価
評価対象が代数的に等しくかつ、式が簡略化されて結果を示す。

いるかについて判定する。ただし、数式の記述順序は、
アルファベット、小文字大文字順で記述する必要がある。解答式の前に、ANSC::と記述する。
③

式の整理
評価対象が代数的に等しくかつ、評価対象が展開、通分されており更に式が簡略化されているかについて判定する。解答式の前に、ANSS::と記述する。

④

数値評価
評価対象の数値が正しいかを判定する。小数点桁数についても判定する。解答式の前に、ANSN::と記述する。小数点以下の表記については「|」の後に小数点桁数を記述する。

図１

数式記述問題の作成例

図４に判定評価の記述例を示す。

図４
図２

数式記述問題の Moodle 表示例ⓒ2020 Moodle Association of Japan

解答評価の記述例

解答結果について、式が簡略化されていなかった場合や、

10

MoodleMoot Japan 2020 Proceedings

式の展開と通分がされていない形式で解答した評価結果例
を図５に示す。

図８
2.3
式が簡略化されていない

Moodle での個別フィードバック（不正解時）表示例
受験毎の変数の可変

受験毎に問題文で可変させる数式や変数を、水色の蛍光
ペンで塗布することにより指定することとした。
このことにより、可変する変数値を問題文に反映させる

式の展開、通分がされていない

ことができる。図９に Word での記述例を示す。
「RAN::」は乱数値を定義する。乱数値は、＝の後に乱数範囲を指定する。図９で示す T0 値は 0～100 の数値とな
る。

図５
2.2

Moodle での数式評価

個別フィードバック

個々の設問の正解時フィードバック、不正解時のフィードバックを指定できるよう、正解の記述後、正解時フィード
バック開始記号「T::」と正解時フィードバック終了記号「::T」の間（行）に正解時フィードバックを記述することした。不正解時フィードバックについても正解時フィードバックと

図９

Word での受験毎の変数記述例

同様、不正解時開始記号「F::」と不正解時終了記号「::F」の間（行）に不正解時フィードバックを記述することとした。また、正解時フィードバック、不正解時フィードバック
を単独で記述することもできる。
個別フィードバックの記述例を図６に、Moodle での個別

図 10 に XML への変換結果を示す。水色の蛍光ペン塗布
箇所は受験毎の可変箇所を示す。
<questiontext format="html"><text><![CDATA[<p>1 気圧，温度{@T0@}℃，体積

フィードバック表示例を図７と図８に示す。

{@v@} ℓの溶液がある。
この溶液の温度が{@T1@}℃となったときの体積を求めよ。</p><p>体積[[input:ans1]][[validation:ans1]][[feedback:A1]]</p>]]></text></questiontext><questionvariables><text>v:1;T:273;T0:rand(100);T1:T0-10;V1:v*(T1+T)/(T0+T);</text></questionvariables>

図 10
図６

個別フィードバックの記述例

受験毎の変数表示例（XML）

図 11 に、図９で作成した問題の Moodle 表示を示す。図９の T0 に 84 が与えられたため、T1 は 74 と表示される。

図７

Moodle での個別フィードバック（正解時）表示例
図 11ⓒ2020 Moodle Association of Japan

Moodle での受験毎の変数可変例

11

MoodleMoot Japan 2020 Proceedings

図 12 に受験毎の数式可変問題例、図 13 に図 12 のMoodle での表示例を示す。

グラフ表示は、フィードバックでも表示できる他，最大３本のグラフを表示させることができる。
複数のグラフを作成する場合は、表示させる関数を以下のように複数記述する。
[関数１,関数２,関数３][x 軸，x 軸の始点，x 軸の終点]
図 16 にフィードバックに複数のグラフ表示した例を示
す。

図 12

図 13

受験毎の数式可変例

Moodle での受験毎の数式可変例
図 16

2.4

フィードバックのグラフ表示例

グラフ問題の作成

STACK でグラフ問題を作成する場合、{@plot([関数],[xまた、このツールでは、Moodle でのグラフ作成の他、座標,x の開始値,ｘの終了値])@}と記述し、グラフ問題を

グラフ画像を問題文やフィードバックに貼り付けることも作成する。そこで筆者らは、Word でのグラフ記述様式をできる。

定めることにより、問題内にグラフを表示できるようにした。

図 17 に Word でのフィードバックにグラフ画像を貼り付けた例を示す。

図 14 の記述例で示すように、関数、横軸座標(x)及び関数のｘ座標範囲を緑の蛍光ペンで塗布することによりグラフ作成を作成することとした。

図 17
図 14

Word でのグラフ問題作成例

図 15 に図 14 のグラフ表示を示す。

Word でのフィードバック作成例(グラフ画像貼り付け)

2.5

Word 文書から Moodle XML 変換

Word で作成した問題ファイルを変換ツールにドラッグ＆ドロップすることにより、Moodle XML に変換することができる。変換時には、設定により Moodle で表示したときのイメージを HTML で表示させることができる。

図 15

Moodle でのグラフ問題例ⓒ2020 Moodle Association of JapanX 図 18 Word から XML への変換
12

MoodleMoot Japan 2020 Proceedings

3. 代数学小テスト問題作成支援ツールの開発
STACK には、解答した内容を評価する機能（ポテンシャ
ル・レスポンス・ツリー）があるが、STACK での問題の作成は容易ではない。２次方程式のポテンシャル・レスポン
ス・ツリーを図 19 に示す。２次方程式の解答を評価するには、８項目の評価について設定する必要がある。

不等式、微分・不定積分、行列（積和、逆行列）、三角関数（展開、簡略化、積和）とした。
その他として、指数・対数（指数・対数計算，対数の底変換）ができる。その他の場合については、問題数式欄への問題文の入力及び解答欄に解答を入力する。
図 21 に代数問題様式の入力例を示す。

重解か否か
重解外の判定重解時の判定
正解
正解

正解

正解

図 21

正解

代数学計算問題作成様式の入力例

代数学問題様式の入力方法についてはツールと一緒に掲
正解
図 19

正解

載している説明書を参照いただきたい。

２次方程式のポテンシャル・レスポンス・ツリー
3.2 代数学小テスト問題の XML 変換

代数学計算問題での評価内容は概ね決まっている。また、正解については、Moodle で作成した問題数式から得ることができる（畑 2014）。このことから我々は代数学計算問題様式を定め、変換ツールにより、ポテンシャル・レスポンス・

図 21 で作成した代数学小テスト問題を変換ツールにドラッグ＆ドロップさせることにより、Moodle にインポート可能な XML に変換される。
変換のイメージを図 22 に示す。

ツリー等を設定した Moodle XML に変換するツールを開発した。
代数学計算様式（Excel）

3.1 代数学小テスト問題の様式
代数学小テスト問題の様式として、Excel を利用した様式（図 20）に、問題タイプ、問題数式、変数に関する情報を入力して作成することとした。問題タイプはプルダウン形

XML

図 22 代数学小テスト問題様式から XML への変換

式とし、ツールで変換できる問題タイプについてのみ作成することができる。

3.3 代数問題様式で作成した問題及び解答例
図 21 で作成した問題の内、方程式、連立方程式、因数分解及び逆行列の問題例を図 23 に示す。

図 20

代数学小テスト問題様式（Excel）

代数学計算問題（代数）作成支援ツール様式（以下「代数問題様式」）（図 20）で作成できる問題タイプは、多項式の計算、方程式（１元方程式、２元連立方程式、３元連立方程式）、不等式、式の展開、式の因数分解、２次方程式、２次ⓒ2020 Moodle Association of Japan

図 23

Moodle での代数学問題例

図 24 に図 21 で作成した問題の内、不等式、因数分解、微分の解答結果例を示す。

13

MoodleMoot Japan 2020 Proceedings

Moodle では、STACK を利用した数式記述問題や代数計算問題を作成することができるが、STACK での問題作成は決して容易ではない。
筆者らが開発したツールは、文書作成で広く使われている Word を利用したツールであることや、Word で問題を作成することから、問題をイメージし易すいため、数式記述問
題を容易に作成することができることに加え、グラフを含む問題の作成や、変数を受験毎に変えることができる。
図 24

Moodle での代数学問題解答結果例

このことから、単元毎に繰り返し問題を受験させることができるため、受験者について、数式を用いた文章問題の理

3.4 標準フィードバックの利用解に期待ができる。また、代数問題様式と代数学小テスト問

代数学計算問題の評価は、概ね決まっている。また、フィ題変換ツールを利用することにより、Moodle での代数学計

ードバックで記載する内容も概ね決まっていることから、

算問題を容易に作成できる。Moodle 小テストで代数学計算ツールでの変換時、オプション機能により、ツールに備え付演習が行えることから、数学教育への寄与が一層期待でき

けの、標準全体フィードバック（全体のフィードバック表

る。

示）、標準ノードフィードバック（ノード毎の正誤のフィードバック）表示を利用することができる。
標準全体フィードバックについては、２次方程式、２次不等式、微分、積分及び行列（足し算・掛け算）問題で利用することができる。
また、標準ノードフィードバックについては、式の展開、因数分解、２次方程式、逆行列で利用することができる。
その他の問題について、フィードバックが必要な場合は、作成様式のフィードバック欄を利用して作成する。
図 25 に、オプション設定画面、図 26 に標準ノードフィ
ードバック例を示す。

図 25

図 26

オプション設定画面

標準全体フィードバック例

4. おわりに
本ツールは、富山大学総合情報基盤センターの Web サイト*で公開している。a

参考文献
畑篤（2014）．Excel を利用した Moodle 小テスト一括作
成ツールの開発．技術職員による技術報告集（三重大学），17-20．
畑篤，木原寛，上木佐季子（2015）．Word を利用した
Moodle 穴埋め問題一括変換ツールの開発．
Proceeding of Moodle Moot Japan 2015，25-27．
畑篤，木原寛（2016）．Word を利用した Moodle 穴埋め問
題一括変換ツールの作成（2）：正誤、組み合わせ問題の変換及び Moodle XML ファイルの逆変換．
Proceeding of Moodle Moot Japan 2016 ，36-41．
畑篤，遠山和大，木原寛，上木佐季子（2018）．Word 文書を利用した Moodle 小テスト問題の一括変換（4）：小テスト問題変換ツールの改良およびランチャーツールの開発，Moodle Moot Japan 2018 Proceedings ，29-35，2018．
畑篤，上木佐季子，遠山和大（2019）．Word 文書を利用した Moodle 小テスト問題の一括作成（6）：数式記述問題の作成およびランチャーツールの改良，Moodle
Moot Japan 2019 Proceedings，38-43，2019．
中村泰之（2010）．数学ｅラーニング：数式評価システム
STACK と Moodle による理工系教育．東京電気大学
出版局．
中村泰之，中原敬広，秋山實（2010a）．STACK と
Moodle で実践する数学 e-ラーニング．数理解析研究
所講究録，第 1674 巻，40-46．
中村泰之，中原敬広，秋山實（2010b）．STACK を利用した物理数学授業実践の報告．2010 PC カンファレンス
論文集．
中村泰之，中原敬広，秋山實（2011）．STACK と Moodle
による数学 e-ラーニング．数理解析研究所講究録，第1735 巻，9-16．
中村泰之，大俣友佳，中原敬広（2012）．数学オンライン
テストシステム：STACK の問題作成支援ツールの開発と STACK3.0 の展望．教育システム情報学会，第37 回全国大会発表論文集，390-391．
上木佐季子，木原寛，畑篤（2015）.テスト問題の XML フ
ァイルを可視化するビューアの開発． Proceeding ofMoodle Moot Japan 2015，28-30．

* http://www.itc.u-toyama.ac.jp/moodle3/toolⓒ2020 Moodle Association of Japan

14

MoodleMoot Japan 2020 Proceedings

小テストの負荷に着目した Moodle 用データベース・システムの構築および性能評価
齊藤智也†1

王躍†1 久長穣†1

多田村克己†1a
山口大学の Moodle サイトでは、データベース・システムとして同期型レプリケーションの一種である MariaDB Galera
Cluster を採用していた。しかし、100 名を超える学生が Moodle 上で一斉に小テストを受験するとデータベースの書
き込みエラーが発生し、一部の学生の解答が保存されない不具合が生じていた。そこで我々は、非同期型レプリケー
ションを採用した新たなデータベース・システムを構築した。データベース・システムの性能を評価するため、JMeterを用いた負荷テストを行った。負荷テストに際し、多数の学生が一斉に小テストを受験する動作をシミュレートするためのテストプランを作成した。負荷テストの結果より、新たなデータベース・システムは 700 名以上の学生が一斉に小テストを受験する場合でも十分な性能を備えていることが示された。

Construction and Performance Evaluation of the Moodle Database
System: Focusing on Simultaneous Quiz Load
TOMOYA SAITO†1 YUE WANG†1 YUTAKA HISANAGA†1
KATSUMI TADAMURA†1
Previously, the Moodle site of Yamaguchi university used MariaDB Galera cluster as its database system. The MariaDB Galera
cluster is a kind of synchronous replication for database servers. When more than 100 students simultaneously took quizzes on the
Moodle site, database write errors occurred and some students' responses were not saved. Due to the situation, we built a new
database system that employs asynchronous replication to improve the performance. In order to evaluate the performance of our
new database system, we executed load tests using JMeter. For the performance evaluation, we created a test plan that simulates
the behavior of hundreds students simultaneously taking quizzes. The results of load tests show that the database system has
sufficient performance for over 700 students to simultaneously take quizzes.

1. はじめに多数の学習者が Moodle サイトを同時利用する場合に応き込みエラーが発生し、一部の学生の解答が保存されない
不具合が発生していた。そのため、耐障害性及び保守性よりも性能の向上を優先せざるを得なくなった。

答時間等の性能的なボトルネックが生じやすい箇所は、そこで我々は、非同期型レプリケーションを採用した新Web サーバ、データベース、及び moodledata ディレクトリ

たなデータベース・システムを構築した。新システムの運である。本論文では、データベースの負荷に着目する。

用開始前に、Apache JMeter（以降、JMeter）を用いた負荷

山口大学ではこれまで、Moodle 用データベース・システ

テストを行った。Moodle サイトに対する性能評価や JMeterムとして同期型レプリケーションの一種である MariaDBを用いた負荷テストについては、これまでにも報告がなさ

Galera Cluster を採用していた。同期型レプリケーションはれているが、多数の学生が一斉に小テストを受験する状況

単一サーバや非同期型レプリケーションに比べてデータのを対象とした事例は報告されていない。そこで我々は、多書き込み性能が低い反面、耐障害性に優れている。また、人数による一斉小テストの動作をシミュレートするためのデータの読み込み処理については、データベース・サーバ

JMeter テストプランを作成した。負荷テストの結果より、間の負荷分散による性能の向上が期待できる。加えて、新システムは 700 名以上の学生が一斉に小テストを受験す

MariaDB Galera Cluster は、障害対応及び保守作業の支援機る場合でも十分な性能を備えていることが示された。

能を有している。Moodle の導入当初は同時利用者数が少な
く、データの書き込み頻度が低かったため、耐障害性及び2. Moodle 用データベース・システム

保守性を優先し、MariaDB Galera Cluster を採用していた。

2.1 従来のデータベース・システム

しかし、同時利用者数の増加、及び書き込み処理の増加

図 1 に、従来の Moodle 用データベース・システムの概に伴い、負荷分散の効果は小さくなり、書き込み処理の性要を示す。システムは 4 台のデータベース・サーバと 1 台

能不足が顕著になった。特に、100 名を超える学生が一斉のプロキシ・サーバから構成されている。プロキシ・サーに小テストを受験すると解答の送信時にデータベースの書

バは、Moodle サーバが発行した SQL クエリを受信した後、†1 Yamaguchi Universityⓒ2020Moodle Association of Japan

15

MoodleMoot Japan 2020 Proceedings

1 台のデータベース・サーバを選択し、SQL クエリを転送する。SQL クエリを受信したデータベース・サーバは、指示された処理を実行し、その結果を返信する。
データベース・システムを構成する各サーバは、大学内に設置されたブレード・サーバ上に仮想サーバとして構築されている。まず、ブレード・サーバの諸元を示す。
・CPU: Intel Xeon E4-24700 2.3 GHz（8 コア）×2
・メモリ: 128 GB・ディスク・インターフェース: FC-SAN 8 Gbps
・ネットワーク・インターフェース: 1 Gbps
・仮想化ハイパーバイザ: VMWare ESXi 5.5.0

図 1

従来のデータベース・システム

Figure 1

Conventional database system.

続いて、データベース・サーバの諸元を示す。
・CPU: 3 コア（合計 6.0 GHz 相当）
・メモリ: 16 GB・ディスク: 300 GB
・ネットワーク・インターフェース: 1 Gbps
・OS: CentOS 6.10
・データベース管理システム: MariaDB 10.0.30
・レプリケーション管理システム: Galera 25.3.19
図2
前述したブレード・サーバは 2 台設置されており、デー

新たなデータベース・システム
Figure 2

New database system.

タベース・サーバはそれぞれのブレード・サーバ上に 2 台ずつ配置されている。いずれのブレード・サーバにおいて

2.2 新たなデータベース・システム

も Web サーバ（Moodle サーバ）やプロキシ・サーバ等が

図 2 に、新たなデータベース・システムの概要を示す。

稼働しており、データベース・サーバは他の仮想サーバと山口大学のサーバ設備では、同期型レプリケーションを採相互排他的に物理的リソースを使用する。

用した場合に十分な性能を得る事は困難である。そのため、同期型レプリケーションでは、データの更新が発生した

サーバへの負荷が比較的低い非同期型レプリケーションを場合、新たな SQL クエリの受け付けを一時的に停止し、す採用した。システムは 2 台のデータベース・サーバから構べてのサーバにおいて更新の完了が確認されるまで同期処成され、マスタとスレーブが明確に区別されている。SQL理を行う。そのため、すべてのサーバがつねに同一のデー

クエリはマスタ DB サーバにおいて処理される。

タベースを保有することが保証されるが、同期処理の負荷

本システムでは、相互監視デーモン（keepalived）を用いが高く、単一サーバや非同期型レプリケーションに比べてた相互フェイルオーバーを採用している。相互監視デーモ

SQL クエリの処理速度が低い。データベース・システムでンの協調動作により、いずれか一方のサーバがマスタとなは一般に、サーバ数の増加に伴ってデータの書き込み性能

り、仮想 IP アドレスを保有する。マスタ DB サーバが停止が低下する。同期型レプリケーションではこの傾向が顕著した場合、スレーブ DB サーバが仮想 IP アドレスを譲り受であり、最小構成（サーバが 3 台）においても、書き込み

けると共に、データベースをマスタ・モードに切り替え、性能は非同期型レプリケーションの半分以下となる。そのマスタ DB サーバとなる。そのため、Web サーバ（Moodle

ため、データの更新頻度が高い用途に適用するためには、

サーバ）は仮想 IP アドレスに向けて SQL クエリを送信す

高性能なサーバ及びディスクが必要である。

れば良い。なお、障害が発生していた旧マスタが復旧した

山口大学の Moodle サイトでは、100 名を超える学生が一場合、そのサーバはスレーブとして動作する。

斉に小テストを受験する時にデータの書き込みエラーが発双方のデータベース・サーバは、大学内に設置されたブ

生し、一部の学生の解答が保存されない不具合が生じていレード・サーバ上に仮想サーバとして構築されている。また。また、教職員が受験記録を表示する時に SQL クエリのず、ブレード・サーバ（物理サーバ）の諸元を示す。

処理時間が 60 秒を超えるなど、データベースの性能不足が課題となっていた。

ⓒ2020Moodle Association of Japan

16

MoodleMoot Japan 2020 Proceedings

・CPU: Intel Xeon E4-24700 2.3 GHz（8 コア）×2

2019）。これらのテストプランでは、JMeter により生成され・メモリ: 128 GBた各々のスレッド（利用者の Web ブラウザに相当）は生成

・ディスク・インターフェース: FC-SAN 8 Gbps

直後から順次、ログイン、コースの表示、ページの表示、・ネットワーク・インターフェース: 10 Gbps

フォーラム内の記事の表示、記事への返信の投稿、及びロ

・仮想化ハイパーバイザ: VMWare ESXi 5.5.0

グアウトといった操作を間断なく実行し、処理を終了する。
JMeter は予め指定された時間内にすべてのスレッドを生成

続いて、データベース・サーバの諸元を示す。

するが、生成後に実際の処理が開始されるまでの時間には
予期せぬばらつきが生じる。また、スレッド数（即ち同時・CPU: 8 コア（合計 16.0 GHz 相当）

利用者数）の増加に伴い、ログインやコースの表示といっ・メモリ: 58 GB

た前半の処理における応答時間にばらつきが生じる。応答・ディスク: 250 GB

時間のばらつきの累積により、スレッド間で処理の進捗状

・ネットワーク・インターフェース: 10 Gbps

況に差異が生じる。コース内に配置された教材へのアクセ

・OS: CentOS 7.7 1908

ス開始時刻のばらつきは数十秒を超える場合があり、多数

・データベース管理システム: MariaDB 10.3.13の利用者が特定の教材を一斉に活用する条件下における負・相互監視デーモン: keepalived 1.3.5

荷計測には適していない。
特定の教材の活用に関する負荷を計測するため、独自の前述したブレード・サーバ上には本システムの仮想サー

テストプランを用いて Moodle サイトの負荷を計測した事

バのみが配置されている。この場合、16 コアの仮想サーバ例も報告されている（王ほか 2010, 王ほか 2011, Chauhan

を 1 台作成し、単一サーバとして運用するほうが高速であand Lala 2016）。しかし、いずれにおいても、各スレッドがる。しかし、物理サーバが故障した際に仮想サーバの移転

生成直後から間断なく処理を進めるテストプランが採用さ先の確保が難しく、仮想環境における保守性の長所が失われている。そのため、特に JMeter のスレッド数が多い時にれてしまう。また、高速なサーバでもソフトウェア的な不は、教材のアクセス時刻に大きなばらつきが生じ、その教具合に伴う停止は起こり得る。そのため、8 コアのサーバ材の同時利用に関する負荷を計測しているとは言えない。

を 2 台作成し、非同期レプリケーションを行うこととした。

3. データベース・システムの性能評価
3.1 先行研究
本節では、Moodle サイトの性能評価に関する先行研究について整理する。

本論文では、多数の利用者が一斉に小テストを受験する
条件下における性能評価を目的としている。そのため、スレッドの進捗状況を同期させる仕組みを加えた独自のテス
トプランを作成し、使用することとした。
3.2 テストプランの作成
最初に、山口大学の Moodle サイトにアクセスし、ログ

Jawad（2018）は、教師・学生を対象としたアンケート結

イン、共通教育科目のコースへのアクセス、小テストの受果の分析を通じて、Moodle サイトの機能・性能に対する満験、及びログアウトといった一連の操作を行った。JMeter

足度、並びに授業運営における学習支援システムの重要度が内蔵するプロキシを経由して Moodle サイトにアクセスについて評価した。Ueda et. al.（2016）は、Shareable Content

することにより、一連の操作において生成された HTTP リ

Object Reference Model（SCORM）形式の教材へのアクセス

クエストを記録し、テストプランの原型とした。

を対象として、システム負荷の計測結果に基づき、教材と
Moodle サーバ間の通信負荷の軽減を実現している。

続いて、テストプランから不要な HTTP リクエストを削除 し た 。 例 え ば 、 Moodle の キ ャ ッ シ ュ に 配 置 さ れ る

続いて、JMeter を用いた負荷テストの先行研究について

JavaScript ファイルや CSS ファイル等の URL は、その時点整理する。JMeter は、クライアント・サーバシステムの負での一時的なものである。負荷テストにおいてはこれらの荷テスト及び性能計測を行うための Java アプリケーショ

URL が存在せず、エラーメッセージが返信される。これらンである（Apache Software Foundation 2019）。JMeter は、予のファイルは Web ページのレイアウトや外観の調節に使め指定された実施計画（テストプラン）に基づいて各種プ用され、各種操作の成否には影響を及ぼさない。このようロトコルのリクエストを送信し、サーバから返信されるレな HTTP リクエストはテストプランから削除した。

スポンスを受信する。Moodle 等の Web サイトの負荷テス

解答を送信する HTTP リクエストでは、パラメータとしトにおいては HTTP リクエストを送信する。Moodle にはて sesskey、attempt、及び qubaid が必要である。これらの値「JMeter Test Plan Generator」が付属している（Moodle.org

は、ユーザ認証、サイトホーム、小テストの概要といった2019）。JMeter を活用した Moodle サイトの負荷テスト事例

各 Web ページに含まれている。そのため、Web ページの中の多くは、このツールによって生成されたテストプランをからこれらの値を抽出して変数に格納する動作をテストプ

活 用 し て い る （ Monzo 2016, 桑 田 ほ か 2018, 浜 元 ほ かランに追加した。また、テストプラン中の各 HTTP リクエⓒ2020Moodle Association of Japan

17

MoodleMoot Japan 2020 Proceedings

ストの URL 及びパラメータの記述を修正し、前述した各

レスポンス（Web ページやエラーメッセージ等）を受信す

変数の値を使用するようにした。

る。プロキシ・サーバは、Web サーバへの HTTP リクエス

最後に、実行時パラメータの読み込み、スレッドの作成、
外部ファイルからのユーザ情報の読み込み、スレッド間の進捗状況の同期といった各種の動作を追加した。
テストプランを作成後、前述した共通教育科目のコース
をテスト環境（3.5 節を参照）の Moodle サイトにコピーし、トの振り分け、並びにレスポンスの転送を行う。HTTPS 通信の暗号化／復号化も担当する。
プロキシ・サーバ及び Web サーバは、大学内のブレード・サーバ上に仮想サーバとして構築されている。これらの仮想サーバの諸元は次の通りである。

テスト用コースとした。このコースにテスト用の学生ユー
ザを登録し、テストプランを実行可能とした。

・CPU: 4 コア（合計 8.0 GHz 相当）

3.3 テストプランの動作

・メモリ: 4 GB

前節で作成したテストプランの動作を以下に示す。

・ディスク: 100 GB
・ネットワーク・インターフェース: 10 Gbps

1)

指定された数のスレッドが 60 秒間で生成される。

2)

生成されたスレッドは、Moodle サイトへのログイン、

3)
4)・OS: CentOS 7.7 1908

テスト用コースの表示、小テストへのアクセスを行う。

ブレード・サーバの諸元は 2.2 節で示したものと同等で小テストの概要ページにおいて、各スレッドは他のすある。テスト環境で使用した各種ソフトウェアのバージョべてのスレッドがこの段階に進行するまで待機する。

ン等は、JMeter 5.0.2、HAProxy 2.0.6、Apache 2.4.6、PHP 7.3.10、各スレッドは 5 秒以内でランダムな時間だけ待機し及び Moodle 3.7.2 である。

た後、小テストの受験を開始する。

Web サーバ 1 台あたりの最大接続数は 500 とした。各5)

各スレッドは受験開始から 5 分間待機する。

Web サーバの Apache では予め 128 個のプロセスを起動し、6)

各スレッドは小テストの解答内容を保存した後、すべクライアントからの接続要求を待機させることとした。

てのスレッドがこの段階に進行するまで待機する。
7)

プロキシ・サーバの最大接続数は 2000 とした。

各スレッドは 60 秒以内でランダムな時間だけ待機した後、小テストの解答を送信し、採点結果を受信する。

8)

各スレッドは 60～120 秒の間でランダムな時間だけ待機した後、Moodle サイトからログアウトする。
上記 3)及び 6)の処理では同期タイマ（Synchronized Timer）

を使用した。同期タイマが設置された箇所では、指定された数のスレッドがその箇所に到着するまで待機し、その数のスレッドが一斉に次の処理を開始する。本研究ではすべてのスレッドの到着を待ち合わせ、一斉に次の処理に進むように設定した。
学生が受験開始ボタンをクリックする時刻のばらつき
は最大 5 秒と仮定した。学生による解答の送信は試験終了
図 3

時刻の直前に集中するが、混雑等のトラブルを予想して早めに解答を送信する学生もいると考えられる。そのため、

Figure 3

テスト環境

Testing environment.

解答送信時刻のばらつきは最大 60 秒と仮定した。
負荷テストに使用した小テストは、多肢選択形式が 5 問、穴埋め形式が 8 問の計 13 問から構成されている。穴埋め

3.5 テスト結果(1) 小テストの解答送信時の応答時間に関する考察

問題の解答欄は 31 個であるため、小テスト全体では 36 個

小テストの同時受験者数の影響について把握するため、の解答欄が配置されている。また、この小テストではすべ

JMeter のスレッド数を変動させながら負荷テストを実施しての問題が１つの Web ページに一括して表示される。

た。プロキシ・サーバが負荷分散の対象とするサーバ数を

3.4 テスト環境

変更することにより、サーバ数の影響についても計測した。

図 3 に、新たなデータベース・システムの性能を評価す

Web サーバごとの最大接続数を 500 としたため、サーバがるためのテスト環境を示す。データベース・システムは 41 台のときは、スレッド数が 500 以下の範囲のみ計測した。

台の Web サーバから利用される。クライアント PC では、また、今回の負荷テストでは 10 回の負荷テストにおけるJMeter がテストプランに従って HTTP リクエストを送信し、計測結果の平均値をグラフに示している。

ⓒ2020Moodle Association of Japan18

MoodleMoot Japan 2020 Proceedings

図 4 は、スレッド数に対する 99 パーセント応答時間の特性を示している。ここで応答時間とは、スレッドが解答を送信してから採点結果を受信するまでに経過した時刻である。JMeter は受信したコンテンツの解釈や画面への表示は行わないが、実際の Web ブラウザでは、コンテンツの解釈と表示に要する処理時間が応答時間として加算される。
本論文では、Web ブラウザの処理を含む応答時間の上限を10 秒、Web ブラウザにおける処理時間を 5 秒と仮定した。
従って、JMeter における応答時間の上限は 5 秒とした。
図 4 より、Web サーバが 1 台の場合は 300 スレッドを超えると応答時間が著しく増加するが、4 台の場合には 600
スレッドまで応答時間の増加が抑制されている。サーバ数
が 2 台のとき、1 台のときに比べて応答時間が増加している。これは、テスト環境では HAProxy の設定のチューニン

図4

グが不十分だったことに伴い、プロキシ・サーバにおけるFigure 4

スレッド数に対する 99 パーセント応答時間
99 percentile response time versus number of threads.

中継遅延の影響が大きかったためである。
図 5 は、スレッド数に対する最大応答時間を示している。
図 4 及び 5 より、応答時間の最大値は 99 パーセント値の数倍から数十倍にも及ぶことが分かる。例えば、サーバ
が 2 台でスレッド数が 450 のとき、応答時間の 99 パーセ
ント値は約 4.6 秒であるが、最大値は 50 秒を超えている。
このように、受験者の大半が解答の送信から数秒程度で採点結果を受信できる条件下においても、数名の受験者の待ち時間は数十秒を超えてしまう。
理論的な最大応答時間は、最小応答時間（サービス時間に相当）と学生数（負荷テストにおいてはスレッド数）を乗算した値である。テスト環境における最小応答時間は 0.4
秒程度であったため、スレッド数が 500 のときの最大応答
時間は 200 秒程度となる。実際のシステムにおける最大応
図5

答時間は、まず、学生間での解答送信時刻の重複度合いにより、最小応答時間から理論的な最大応答時間の間のさま

Figure 5

スレッド数に対する最大応答時間

Maximum response time versus number of threads.

ざまな値をとり得る。この値に、その時々におけるネット
ワーク転送の遅延時間、及び他の仮想サーバの影響によるリソース割り当ての待ち時間などが加算されるため、正確な計測・予測は困難である。そのため、本論文では 99 パー
セント遅延時間を性能の指標とした。
図 6 は、スレッド数に対する最大クエリ頻度を示している。クエリ頻度は 1 秒あたりに処理された SQL クエリの数であり、最大クエリ頻度は負荷テスト中に計測されたク
エリ頻度の最大値である。図 6 より、最大クエリ頻度はス
レッド数にほぼ比例して増加している。負荷テストを通じてデータベースのエラーは発生しなかった。また、処理時
間が 1 秒を超えるクエリは発生しなかった。即ち、700 名が一斉に小テストを受験する場合においても、データベースにおける処理時間は増加していない。
図6

本節のテスト結果より、新たなデータベース・システム
は、700 名以上の学生が一斉に小テストを受験する場合でFigure 6

スレッド数に対する最大クエリ頻度

95 percentile response time versus number of threads.

も十分な性能を有していることが示された。

ⓒ2020Moodle Association of Japan

19

MoodleMoot Japan 2020 Proceedings(2) CPU 負荷に関する考察
各種サーバの CPU 負荷を計測するため、負荷テストを 1回だけ実行し、所定のサーバの 1 分間ロード・アベレージ
を 10 秒ごとに計測した。Web サーバは 4 台とし、その中の 1 台について計測した。データベース・サーバについて
は、マスタ DB サーバについて計測した。
図 7 及び 8 はそれぞれ、スレッド数が 400 及び 700 の時のロード・アベレージの時間的変化を示している。小テス
トの解答を送信する前に 5 分間以上の待機が生じるため、各サーバの負荷が上昇する時間帯は前後半に分かれている。
図 7 及び 8 より、スレッド数の増加がプロキシ・サーバの負荷に及ぼす影響は極めて小さいことが分かる。
一方、Web サーバではスレッド数の増加に伴い、ロード・アベレージが著しく増加する。特に、前半の処理における

図7

ロード・アベレージが極めて高くなっている。この傾向は、

Figure 7

CPU 負荷の時間的変化（400 スレッド）
CPU load versus elapsed time (400 threads).

3.1 節で述べたように、高負荷時においてはスレッド間でロ
グインやコースへのアクセスに要する時間に大きなばらつ
きが生じることを示している。負荷テストの後半においても、スレッド数が 700 の時、ロード・アベレージは 4.4 前
後まで上昇している。負荷テストで用いた Web サーバの仮想 CPU は 4 コアであるため、システムは過負荷の状態にある。そのため、一部のスレッドでは解答を送信してからレビュー等を受信するまでの待ち時間が著しく増加する。
データベース・サーバではスレッド数の増加に伴い、負荷テストの前半におけるロード・アベレージが上昇している。しかし、Web サーバに比べ、上昇の割合は極めて小さい。また、スレッド数の増加に伴い、後半における負荷は軽減されている。これは、Web サーバの処理の遅れにより、
SQL クエリの発生時刻にばらつきが生じたためである。
以上の結果より、テスト環境ではスレッド数の増加に伴い、Web サーバがボトルネックとなることが示された。

図8

CPU 負荷の時間的変化（700 スレッド）

Figure 8

CPU load versus elapsed time (700 threads).

4. 新たなデータベース・システムの運用状況
我々は 2019 年 10 月中旬に、新システムの本格運用を開始した。山口大学の Moodle サイトでは Moodle 2.9.5 を採用しており、当時は仮想 CPU が 2 コア、仮想メモリが 4 GBの Web サーバを 3 台設置していた。
図 9 は、データベース・システムの移行直後の一週間におけるマスタ DB サーバのロード・アベレージ、及びクエリ頻度の時間的変化を示している。図 9 より、この一週間
におけるロード・アベレージの最大値は 0.46 程度、クエリ
頻度の最大値は 370 程度である。この週には 2 クラスで合計 150 名の学生が Moodle を同時利用していた時間帯があり、両クラスにおいて小テストが実施されていたが、デー
タベース・システムの負荷状況には十分な余裕が見られる。
その後、日本国内における新型コロナウィルスの感染拡

図9

大に伴い、山口大学においても遠隔授業が主体となり、

Figure 9

1 週間のサーバ負荷及びクエリ頻度（2019.10）
Server load and query frequency by week (2019.10).

Moodle サイトの同時利用者数が著しく増加した。

ⓒ2020Moodle Association of Japan

20

MoodleMoot Japan 2020 Proceedings

名程度であり、同時受験者数の増加に伴い、Web サーバがボトルネックになることが示された。負荷テストにおいて使用した小テストは、問題文も選択肢もテキスト・データのみで構成されている。ファイルサイズの大きな画像・動画を使用するような問題が増加した場合や、Moodle サイトの同時利用者数が増加した場合、Web サーバの増強が必要である。ただし、共有ディレクトリ（moodledata ディレク
トリ）のディスク・アクセスが十分に高速であることが前提になるものの、Web サーバはデータベース・サーバに比べ、スケールアップ及びスケールアウトによる性能の向上を図りやすく、運用状況に応じた増強が可能である。
今後の課題として、障害発生時のフェイルオーバー動作に関する検証が挙げられる。
図 10

1 週間のサーバ負荷及びクエリ頻度（2020.5）

Figure 10

Server load and query frequency by week (2020.5).

Moodle サイトの同時利用者数は、2019 年度には最大で200 名程度であったが、2020 年 5 月には最大で 900 名程度に増加した。同時利用者数の増加に伴い、5 月上旬に Web
サーバの増強を行った。現在は仮想 CPU が 8 コア、仮想メモリが 32 GB の Web サーバを 4 台設置している。
図 10 は、2020 年 5 月下旬の一週間におけるマスタ DB
サーバのロード・アベレージ、及びクエリ頻度の時間的変化を示している。図 9 に示した 2019 年 10 月中旬の状況に比べ、ロード・アベレージ及びクエリ頻度はそれぞれ 7～
8 倍程度に増加している。ロード・アベレージは最大で3.5 程度であるが、DB サーバの仮想 CPU は 8 コアである
ため、システムの性能には十分な余裕が見られる。

5. おわりに
本論文では、多人数が一斉に小テストを受験する際の負荷に着目し、Moodle 用データベース・システムの構築及び性能評価について述べた。山口大学の Moodle サイトでは同期型レプリケーションを採用していたが、100 名を超える学生による一斉小テストではデータベースの書き込みエラーが発生し、一部の学生の解答が保存されない不具合が生じていた。そこで我々は、非同期型レプリケーションを採用した新たなデータベース・システムを構築した。
構築したデータベース・システムの性能を評価するためのテスト環境を構築し、JMeter を用いた負荷テストを実施した。先行研究のテストプランでは、多人数が一斉に小テストを受験する動作を再現することはできないため、一斉小テストの動作を再現するためのテストプランを作成した。
負荷テストの結果より、新たなデータベース・システム
は、700 名以上の学生が一斉に小テストを受験する場合でも十分な性能を有することが示された。
テスト環境における小テストの最大同時受験者数は 600ⓒ2020Moodle Association of Japan

付録
本論文の負荷テストに使用した Moodle コース、小テス
ト、及びテストプランは一般公開が出来ない。そこで、20問の小テストを含む Moodle コースのバックアップファイ
ル、及びこの小テストに対して一斉小テストを行うためのテストプランを GitHub 上で公開している。皆様が同様の負荷テストを実施される際の一助となれば幸甚である。
URL:

https://github.com/YU-MITC/jmeter-quiz-testplan

参考文献
1) Apache Software Foundation (2019). Apache JMeter.
https://jmeter.apache.org/. Retrieved Oct. 19th, 2019.
2) Chauhan, S., & Lala, A. (2016). Exploiting Moodle Performance
under Various Configuration. Innovative Systems Design andEngineering. vol.7, pp.1-6.
3) Jawad, T. M. (2018). Performance Evaluation of Moodle System-inIraqi Universities. International Journal of Engineering & Technology,
vol.7, no.4.16, pp.18-23.
4) 桑田喜隆, 石坂徹, 合田憲人, 竹房あつ子, 横山重俊, 浜元信州
(2018). パブリッククラウドを使った Moodle の構築および運用評
価. 日本ムードル協会全国大会（2018）発表論文集, pp.41-47.
5) 浜元信州, 横山重俊, 竹房あつ子, 合田憲人, 桑田喜隆, 石坂徹.
(2019). クラウドを利用したログ解析環境の Moodle への適用. 日
本ムードル協会全国大会（2019）発表論文集, pp.24-31.
6) Manzo, M. (2016). Design and Performance Evaluation of a
Virtualized Moodle-based E-Learning Environment. Journal of ELearning and Knowledge Society, vol.12, no.3, pp.19-30.
7) Moodle.org. (2019). MoodleDocs: JMeter test plan generator.
https://docs.moodle.org/37/en/JMeter_test_plan_generator. Retrieved
Oct. 19th, 2019.
8) Ueda, H., & Nakamura, M. (2016). GakuNinMoodle: Toward Robust
E-Learning Services using Moodle in Japan. Procedia Computer
Science, vol.96, 1710-1719.
9) 王躍, 小柏香穂理, 刈谷丈治, 小河原加久治 (2010). Moodle 小
テスト時の負荷シミュレーションテスト. 情報処理学会研究報告.
2010-IOT-10, 11, 1-5.
10) 王躍, 小柏香穂理, 刈谷丈治, 小河原加久治 (2011). OSS に基づいた Moodle サイトのスケーラビリティに関する報告. 情報処
理学会研究報告. 2011-IOT-14, 2, 1-5.

21

Moodle Moot Japan 2020 Proceedings

査読なし論文 / Non-refereed Papersⓒ2020 Moodle Association of Japan

22

MoodleMoot Japan 2020 Proceedings

Development of a Rubric for Evaluation of Moodle LMS Educational
Content in JapanMARTIN MEADOWS†1DON HINKELMAN†2
YOSHIKAZU ASADA†3
MATTHEW COTTER†4
BRANDEN KIRCHMEYER†5
For the past ten years, the Moodle Association of Japan has supported both open source code innovations (code) and open
educational content (courses) in its purpose and activities. One such activity is the hosting of an open courseware site for Japanbased classes and an annual award judging with ceremonies to honor exemplary work in sharing of educational content that
educators can share and reuse on the Moodle LMS platform. This study documents the development of a rubric to evaluate open
courseware in the competition. Both the rubric design and modification illustrate the issues and complicated nature of creating acommon framework for assessing educational course quality.

日本における Moodle LMS 教育コンテンツ評価用ルーブリックの開発
メドウズ マーティン†１ ヒンクルマン ダン†2淺田義和†3
コッター マシュー†4 カーシマイヤー ブランデン†5
日本ムードル協会は、過去 10 年間、その目的と活動の中で、オープンソースのコート開発(コード)とオープンな教育
コンテンツ(コース)の両方を支援してきた。その活動の一環として、日本における授業用のオープンコースウェアサ
イトの運営や、教育者が Moodle LMS 上で再利用できる教育コンテンツの共有に関し、模範的な取り組みを表彰する
ための審査・表彰式を毎年行っている。この論文では、オープンコースウェアを評価するためのルーブリックの開発について説明する。特に 2019 年～2020 年の審査期間中の賞審査委員会での教員・研究者の議論や変化について記載する。ルーブリックの設計と修正は、教育コースの質を評価するための共通の枠組みを作成する際の問題点と複雑な性質を現しています。

1. Introduction

はじめに

The Moodle Association of Japan (MAJ) holds annual awards
to evaluate and honor both open source innovations (code) andopen educational content (courses) that members and educators
can share and reuse on the Moodle LMS platform. These awards
for “Best Innovation” and “Best Open Courseware” promote highquality plugins and courses that educators can share and reuse on
the Moodle LMS platform. This study documents thedevelopment of a rubric to evaluate open courseware in thiscompetition, and in the process, we attempt to define what is“high quality” in educational content.
日本ムードル協会(MAJ)は、会員や教育者が Moodle LMS
上で共有・再利用できるオープンソースのイノベーション(コード)とオープンな教育コンテンツ(コース)の両方を評価し、表彰するために年に一度の賞を開催している。ベス
トイノベーション賞」と「ベスト・オープン・コースウェ
ア賞（以下コースウェア賞）」は、高品質のプラグインやコースを教育者が Moodle LMS 上で共有し再利用することを支援する。本研究では、この表彰に際し、オープンコース
ウェアを評価するためのルーブリック開発について文書化†1 Nayoro City University / 名寄市立大学†2 Sapporo Gakuin University / 札幌学院大学†3 Jichi Medical University / 自治医療大学ⓒ2020 Moodle Association of Japanし、その過程で教育コンテンツにおける「高品質」とは何かを定義する。
Based on a perspective of social constructionist pedagogy 1,
collaborative and connected learning are at the core of the opensource, Moodle LMS. Since 2008, the Moodle Association ofJapan (MAJ) has provided an online platform for the sharing of
open courseware and awarded prizes for Best Open Courseware
at its annual MoodleMoot. As Moodle has grown, so has thevariety of courseware entered for consideration, and it has
become a more complex process of evaluating that courseware.
On the occasion of the 2020 MoodleMoot held in Kumamoto,Japan, a reconsideration of the rubric heretofore used wasundertaken by the panel of judges charged with selecting thewinning submissions. This article will review the history of the
MAJ Best Open Courseware Awards and the goals that shaped
its inception, discuss problems and concerns that have arisenover time in the process of judging the variety of courseware
itself, then identify issues/hurdles and make recommendations
for further improvement/refinement of the judging process inthe future.
†4 Hokusei Gakuen University Junior College / 北星学園大学短期大学部†5 Sojo University / 崇城大学

23

MoodleMoot Japan 2020 Proceedings

社会構築主義 1 の視点に基づき、共同学習とつながりの学習はオープンソースである Moodle LMS の中核をなしている。MAJ は、2008 年からオープンコースウェアを共有するためのオンラインプラットフォームを提供し、毎年開催される MoodleMoot Japan で最優秀オープンコースウェアに賞を授与してきた。Moodle の成長に伴い、応募されるコースウェアの種類も増え、コースウェアの評価も複雑になってきた。日本の熊本で開催された 2020 年 MoodleMoot では、受賞作品の選考を担当する審査委員会によって、これまで使用されてきたルーブリックの再検討が行われた。本
論文では、コースウェア賞の歴史と創設の目的を振り返り、
多様なコースウェアの審査過程で生じた問題点や懸念点について考察する。さらに、今後の審査過程のさらなる改善・改善に向けての提言を行う。

の方法で世界中の Moodle コミュニティにコースを共有することができる。しかし、このコンテンツ共有サイトはアーカイブされ、現在はソーシャルネットワーキングおよびコンテンツ共有プラットフォームである MoodleNet に移行されている。(https://moodle.com/moodlenet/) また、日本ムードル協会は、「MAJ ハブ」と呼ばれ、後に「ショーケース」と呼ばれるコンテンツ共有サイトを通じて、カンファレン
スでの例示や表彰、コンテンツ共有を開始した。これは、コードだけでなく、コンテンツを例示することへ移行してきたこととなる。質の高い教育コンテンツとは何かを見極めることは、本稿では未解決の課題である。
オープンな教育資源（OER）には 2 種類ある（図 1 ）。
① 学習オブジェクト-文脈化されていない活動・リソー
ス② コース-文脈化された一連の教材

2. History of Content Sharing in Moodle LMS
Moodle LMS におけるコンテンツ共有の歴史
Historically, the purpose of the main organization in the
Moodle community, Moodle Headquarters, Australia, has been to
produce and manage open source code, rather than educational
content. Moodle LMS, from its inception has been able to sharecourse materials within sites and between sites through its
backup/restore process, available to site administrators and mostteachers as well. However, viewing, browsing and selecting
courses or items was not possible until a first step into content
sharing, Moodle.net, was established in 2008 as a repository of alimited number of Moodle courses and learning objects. Eachcourse in Moodle had a “Publish” function built in that allowed
any teacher to share a course to the global Moodle community
this way. However, this content sharing site has been archived andis now being transferred into a soon to be released MoodleNet, asocialnetworking
andcontent
sharing
platform.
(https://moodle.com/moodlenet/) In addition, the Moodle
Association of Japan began to expand into content sharing
through conference demonstrations, conference awards and acontent sharing site called first “MAJ Hub” and later,“Showcase”. This became a shift into content as well as codedemonstration. Determining what constitutes high quality
educational content is the open question that this paper explores.
There are two kinds of open educational resources (logoshown in Fig. 1).
①
Learning objects—decontextualized activities/resources②
Courses—contextualized sequences of materials
歴史的に、Moodle コミュニティの主要組織であるオース
トラリアの Moodle 本部の目的は、教育コンテンツではな
く、オープンソースコードの作成と管理であった。Moodle
LMS は当初から、サイト管理者およびほとんどの教師が利用可能なバックアップ/リストの機能によって、サイト内およびサイト間でコース教材を共有することができた。しかし、2008 年に限られた数の Moodle コースと学習項目のリ
ポジトリとして Moodle.net が作成されるまで、コースやアイテムの閲覧、閲覧、選択はできなかった。Moodle の各コ
ースには「公開」機能が組み込まれており、どの教師もこⓒ2020 Moodle Association of Japan

Figure 1 The Open Educational Resources logo.
図 1 Open Education Resources のロゴ
2.1 Development of Course Sharing and Awards コー
ス共有と賞の開発
From 2006-2008, independent researchers at Sapporo Gakuin
University built original plugins for a public repository activity
and resource sharing (Hinkelman & Johnson, 2013) including a
project course format for copying sections of courses. Due to thedecontextualized nature of learning objects, practical studies ofrepository sharing determined that whole course sharing andproject/unit sharing was more useful than object sharing (Johnson& Hinkelman, 2006; Hinkelman & Johnson, 2008 ). After
capturing and downloading a desired full course, a Moodle plugin,called the Sharing Cart (Hinkelman, 2009) could then be used to
select individual learning items and place them in desired courses
or locations. This combination of a repository (Hub) and learning
object tool (Sharing Cart), led to over 100 courses being sharedas open educational resources on the MAJ Hub. In order torecognize the high quality of these courses, the best open
courseware awards of the Moodle Association of Japan were thenestablished, and focused entirely on the second kind of OER-contextualized courses. Figure 2 displays a sample award given
in February 2020.

24

MoodleMoot Japan 2020 Proceedings

2006 年から 2008 年にかけて、札幌学院大学の研究者が、コースのセクションを複製するプロジェクトコース形式を含む、公開リポジトリ活動とリソース共有のための独自プ
ラグインを構築した(Hinkelman & Johnson, 2013)。非文脈依存での学習要素のため、リポジトリ共有の実践研究では、コース全体の共有やプロジェクト/ユニットの共有の方が、オブジェクト共有よりも有用であると判断された(Johnson& Hinkelman, 2006; Hinkelman & Johnson, 2008 )。希望するコース全体をダウンロードした後、共有カート (Hinkelman,2009) と呼ばれる Moodle プラグインを使用して、個々の学習アイテムを選択し、希望するコースや場所に配置することができた。リポジトリ(Hub)と学習オブジェクトツール(Sharing Cart)のこの組み合わせにより、MAJ Hub 上で 100以上のコースがオープンな教育資源として共有されるようになった。これらのコースで最も質の高いコースを評価するために、MAJ のコースウェア賞が創設され、第二の OER
として「文脈化されたコース」に焦点が当てられた。図 2は 2020 年 2 月に表彰された例である。

course-sharing Hub, by funding the development of three plugins
called “Hub-Upload-Block”, “Hub-CourseInfo-Block”, and“Hub-Search-Block”. From January 2019, this allowed teachers
to directly upload a Moodle course backup (.mbz format) into adrag-and-drop box for public display and sharing on the Hub.
Other Hub members were then able to freely download and use
these shared course backups. Figure 3 is a screenshot of the Hubupload block.
2018 年に Publish 機能が非推奨となった後、MAJ は「HubUpload-Block」、「Hub-CourseInfo-Block」、「Hub-Search-Block」と呼ばれる 3 つのプラグインの開発に資金を提供すること
で、コース共有 Hub の継続を支援した。2019 年 1 月から
は、教師が Moodle コースのバックアップ(.mbz 形式)をド
ラッグアンドドロップによって直接アップロードし、Hub上で公開表示および共有ができるようになった。これにより、他の Hub メンバーは共有されたコースバックアップを自由にダウンロードして使用可能となった。図 3 は Hub アップロードブロックのスクリーンショットである。

Figure 3 Custom Plugin for Showcase (Hub) Upload.
図 3 ショーケース（ハブ）アップロードのプラグイン

Figure 2 Example Open Courseware Award Certificate.
図 2 オープンコースウェア賞の賞状例

2.1 Hub Course Sharing Plugins ハブにおけるコース
共有プラグインAfter the deprecation of the Publish function in 2018, theMoodle Association of Japan supported the continuation of theⓒ2020 Moodle Association of Japan

Despite the addition of a convenient drag-and-drop tool for
uploading and displaying whole courses, long-standing issues in
Moodle core code related to the Question Bank are preventing
teachers from contributing and sharing courses. Institutions thatare highly collaborative share multi-media questions among
teachers, which causes backup/restore functions to freeze, timeout, or crash when question banks exceed 800MB in size. See
Moodle Tracker issues: MDL-12403 and MDL-41924
コース全体をアップロードして表示するための便利なドラ
ッグアンドドロップツールが追加されたが、質問バンクに関連する Moodle コアコードの長年の問題により、教師によるコース投稿や共有が不可能であった。高度に協力的な教育機関では、教師間でマルチメディアを用いた問題を共有する。この際、問題バンクのサイズが 800MB を超えると、バックアップ/リストア機能がフリーズ、タイムアウト、またはクラッシュする（Moodle Tracker の MDL- 12403 お
よび MDL- 41924 を参照）。

3. Types of course sharing content コース共有

25

MoodleMoot Japan 2020 Proceedings

コンテンツの種類
The Moodle Association of Japan (MAJ) has accepted various
types of courses for the Best Open Courseware Awards over the
11 years since its implementation. Each year, the submitted
Moodle courses have varied according to factors such as thevocational role of contributors and their motivations for creatinga course, as well as the specific learning objectives of each course.
Until 2020, judging for the open courseware awards presented at
the Japan MoodleMoot was conducted using a single, ‘allencompassing’ rubric for all contributions. This has led toconcerns among some judges about criteria parity. Consequently,
a more comprehensive and adaptable system of course-type
dependent rubrics and courseware categories is being proposed
for future editions of the Open Courseware Awards. Below is a
general overview of the main types of courses that have beenshared to date on the Moodle Association of Japan (MAJ)
Hub/Showcase as candidates for Best Open Courseware awards.
MAJ では、コースウェア賞の実施から 11 年の間に様々なコースを受け入れてきた。 これらのコースは、各年度の投稿者の職業的な役割や、各 Moodle コースを作成した動機などの要因により、毎年異なっている。2020 年まで、
MoodleMoot Japan におけるコースウェア賞の審査は、すべてのコース投稿に対して 1 つの「包括的な」ルーブリックの下で行われてきた。しかし、審査員間での審査基準の公平性には課題が残っており、コースの種類に最適化された、より包括的なルーブリックの必要性が生じている。このため、複数の種類の賞が来年度に向けて提案されている。以下はコースウェア賞のために MAJ で共有されているコー
スタイプの概要である。
3.1 University semester courses 大学の学期のコース
With the majority of institutions in Japan that use Moodle
being those involved in tertiary education, it is not surprising that
university semester courses make up the bulk of shared courses.
Moodle offers a wide array of features and functions particularly
suited to the academic arena such as attendance taking,assignment submission, quiz creation, gradebooks, multimedia
uploads, assessment types, gamification plugins and the ability toembed activities from other apps such as Quizlet, etc. It also
includes interactive communication tools such as forums,
messaging, chatrooms, to name but a few. Therefore, thesesemester-long courses are effectively blended courses that adopt
CALL technologies to facilitate teaching and learning of specificcontent both inside and outside of the classroom. Content
designed for English language learning is the most predominant,though by no means sole, type of content comprising sharedcourseware. As educators in other fields become more familiarand proficient at using, and even creating new Moodle tools, theMAJ community is such that many are keen to share with others.
The link below connects to a course which was shared by one of
the authors and was awarded a prize for the 2018 academic year.
日本で Moodle を使用している施設の大部分は高等教育であり、共有されるコースの中では大学の学期コースが大半を占めている。 Moodle には、出席管理、課題提出、成ⓒ2020 Moodle Association of Japan績表、マルチメディアのアップロード、評価形式、ゲーミ
フィケーション (他のアプリや小テストなどの埋め込み)、
さらにはコミュニケーションツールとしての機能 (メッセージやモバイル端末でのメール送信) など、大学教育において望ましいと考えられる幅広い機能が備わっている。 共有されるコースはこれらの機能が効果的に併用されており、教師と学生が教室の内外で学習するために CALL 技術を採用している。対象となる内容はどのようなものでも可能であり、日本では英語学習が主流となっている。教育者が新しいツールを使いこなすことに慣れてくるにつれ、MAJ のコミュニティでは、多くの人が他者との共有を希望している。下記のリンク（簡単な MAJ アカウント作成が必要）は、著者の一人がシェアし、2018 年度の賞を受賞したコースのものである。
Introduction to Sports Theory
https://showcase.moodlejapan.org/course/view.php?id=77
3.2 Online self-study courses オンラインのみの独学
用コース
Self-study courses, often used to develop proficiency ofspecific skills, have also regularly been shared on the MAJ
Hub/Showcase. These courses frequently lack any graded
component or feedback by a teacher, but have been created togive the user access to self-directed study on a particular, andoften narrowly-focused subject. They are not necessarily pairedwith any classroom teaching, nor do they require a teacher
overseeing them, so are basically stand-alone, online, self-study
courses. Courses designed to teach users how to navigate, use andimplement Moodle itself have also been shared and considered
for open courseware awards. With the objects and goals being
somewhat different from the above blended courses for teacherinvolved learning, it is natural that discrepancies occur whenthese kinds of courses are evaluated according to the same criteria
laid out by the judging rubric used thus far. The link below points
readers to an introductory course in Japanese about basic featuresand usage of Moodle. Although it is light in content, that appears
to be the goal so as to introduce beginners to Moodle without
scaring them off with an enormous amount of content.
独学用コースは、Moodle 自体の案内、使用、および実装への習熟を目的とするものが多く、コースウェア賞でも共有されている。これらのコースは必ずしも教師による評定
要素やフィードバックを必要とせず、ユーザが特定のテーマについて自主的に学習することを目的として作成されている。これらのコースは通常、教室での授業とペアになっていたり、教師が随時確認していたりするものではない。
基本的には独立したオンラインの独学用コースとなる。目
的や目標が前節で示した教師が関与する学習のための併用
コースとは多少異なるため、従来のルーブリックで評価された場合に矛盾が生じるのは当然のことである。以下のリ
ンクは、日本語での Moodle の基本的な機能とヘルプについての入門コースである。内容は手軽なものであるが、膨大な内容で初心者を不安にさせずに Moodle を紹介することを目的としていることがわかる。

26

MoodleMoot Japan 2020 Proceedings

Moodle を使ってみよう！
https://showcase.moodlejapan.org/course/view.php?id=85
The following link outlines how the GIFT format can be used
to quickly write and upload questions to Moodle for use inquizzes.
次のリンクは GIFT フォーマットを使用して、小テストで使用するための問題を素早く作成して Moodle にアップロードする方法の概説している。

Learning GIFT Formatting
https://showcase.moodlejapan.org/course/view.php?id=80
3.3 Plugin demonstration courseware courses プラグ
インのデモ用コース
Although similar to the above self-study courses,
demonstration software courses have been uploaded to the open
courseware site to show and explain the function and uses ofvarious Moodle plugins. Although these types of courses are notmeant to be downloaded and used directly by the site users, theyshow users how new or innovative plugins could possibly be
implemented in their own courses if desired. The following link
opens a course outlining tips and templates for use in the HotPot
and TaskChain modules, showing how these modules weredeveloped, adapted and tested, as well as the capabilities theyhave.
上記の独学用コースと似ているが、オープンコースウェ
アのサイトには、様々な Moodle プラグインの機能と使用方法を示し、説明するためのデモ用コースがアップロード
されている。これらのタイプのコースはサイトユーザが直接使用することはできないが、新規の革新的なプラグインが開発されていることを示しており、必要に応じて自分のコースに実装することができる。次のリンクは HotPot および TaskChain モジュールを使用するためのヒントとテンプ
レートの概要を示している。また、これらのモジュールがどのように開発され、適応され、テストされたかと合わせ、それらが持つ機能を示している。
Tips and Templates for Using the HotPot and TaskChain modules.
https://showcase.moodlejapan.org/course/view.php?id=80
3.4 Commercial sampler courses
In recent years, commercial companies and sponsors in
CALL-related fields have been sharing courses on the MAJ
Hub/Showcase site with the objective of drawing attention to andpromoting their Moodle related products, rather than to win anaward. It may be questionable whether these courses should
nominated for awards, but nonetheless it is good for the MAJ
community to see what they have to offer. If such courses are tobe judged at all, the judging rubric will ultimately need to beadapted, and a separate category may well be necessary. The
following link shows a rudimentary course by Mangosteams
covering materials that can be merged into English language-ⓒ2020 Moodle Association of Japanlearning Moodle courses.
近年、CALL 関連分野の営利企業やスポンサーも、オー
プンコースウェアサイト上でコースを共有している。これは賞を受賞するためではなく、自社の Moodle 関連製品の注目を集め、宣伝するためである。これらのコースが賞のノミネートに関与すべきかどうかは疑問もあろう。しかし、企業やスポンサーが提供している物を確認できることは
MAJ コミュニティにとっての利益となる。そのようなコースに対して用いられるルーブリックは別途必要となり、全
く別のセクションでの審査が必要となりうる。次のリンク
は Mangosteams による英語学習 Moodle コースに統合できる教材についての入門コースを示している。
Mangosteams
https://showcase.moodlejapan.org/course/view.php?id=102

4. Course Evaluation Rubrics
ブリック

コース評価ルーAs a conventional awarding committee, MAJ has developed
procedures for evaluating open courseware submitted to its
annual award program. This section describes those procedures,with a particular focus on the historical and collaborative
development of the rubric used to score courseware candidates.
授与委員会として、MAJ は毎年提出されるコースウェアを評価するための手順を策定してきた。ここではその手順について、特に受賞候補コースの採点に使用されるルーブ
リックの歴史と共同開発に焦点を当てて説明する。

4.1 The judging process
MAJ members and potential course creators are encouraged
throughout the year to prepare courses for submission into theevaluation pool. Judges for the awards are recruited by MAJ
Executive Board members (especially the Director of Course
Sharing) based on personal contact with members who are active
in course development and have a willingness to volunteer timeto the process. Judges who are unable to attend the full conference
can participate in the judging remotely. Once all submissions arereceived, the Director of Course Sharing assigns specific courses
to individual judges, avoiding any conflict of interest.
Approximately one week prior to the award ceremony, judges are
given access to courseware candidates that have been uploaded
to
the
MAJ
Open
Courseware
Showcase(https://showcase.moodlejapan.org/), where they evaluate thecourses assigned to them using a judging rubric.
コース作成者は、年間を通じて、評価候補として提出するためのコース準備を勧められた。賞の審査員は MAJ 執行委員会のメンバー（特にコースシェア担当理事）によって募集された。審査員の多くは、コース開発に積極的であり、ボランティアとしての実施が可能なメンバーへの個人的な連絡によって選出されてきた。審査員の中には、大会
全体には参加できないが、遠隔地から審査に参加できる者もいた。すべての提出物が受理されると、MAJ コースシェ
ア担当理事は、COI を避けた上で、各審査員にコースを割り当てた。授賞式の約 1 週間前には、MAJ Open Courseware

27

MoodleMoot Japan 2020 Proceedings

Showcase（https://showcase.moodlejapan.org/）にアップロー
ドされたコース候補にアクセスし、ルーブリックを使って評価を行った。
In keeping with Moodle’s commitment to social
constructivist pedagogy ([About Moodle], 2017), judges areinvited to review and suggest revisions to the evaluation rubric.
This important step provides judges with an opportunity tofamiliarize themselves with the rubric, facilitates discussion
regarding the soundness of evaluation, and encourages interrater
reliability through a collaborative process. Scores and comments
are collated by the lead judge and presented to the entire judging
panel in a face-to-face committee meeting on the first day of the
MoodleMoot Japan conference, or in the case of February 2020,
an emergency tele-conference was organized. Scoring results are
discussed and final decisions are made. Judges are also asked towrite a critique for each course judged, which is used both forevaluative purposes and as a course review shown on the
showcase hub. These reviews assist users of the site in deciding
which courses to download.
社会構成主義の考え方([About Moodle], 2017)に沿って、審査員は評価ルーブリックを見直し、修正を提案するために招聘された。これは、審査員が評価ルーブリックに慣れる機会を提供し、評価の正当性に関する議論を促進し、協調的な手順を通じて評価者間の信頼性を高めるためにも重要であった。点数とコメントは主席審査員によって集計され、MoodleMoot Japan の初日に対面で行われる委員会（2020年 2 月の場合は緊急のオンライン会議）で結果を議論し、最終決定を行うことで審査員全員に提示された。審査員はレビューの記載を求められ、評価目的に加えてショーケー
スハブに表示されるコースレビューにも使用された。これ
らのレビューは、教師がコースをダウンロードする際の参考情報となる。
4.2 Rubric design: a brief history ルーブリック設
計：簡単な歴史
Rubrics have been widely used in educational contexts asevaluative tools for performance tests for several decades. Whilst
the application of rubrics has spread to the field of business andquality assurance (Reddy, 2011), essential features of an effective
rubric have remined constant, and were succinctly described by
Popham (1997) as evaluative criteria, quality descriptions, andscoring strategies.
ルーブリックは、数十年前からパフォーマンステストの評価ツールとして教育の文脈で広く利用されてきた。ルーブリックの応用は、ビジネスや品質保証の分野にまで広がっているが（Reddy, 2011）、効果的なルーブリックの本質的な特徴は不変であり、評価基準、品質記述、採点戦略として Popham (1997)によって簡潔に説明されている。
The rubric used to evaluate open courseware was initiallydeveloped in 2009 by the Best Open Courseware Judging
Committee, a group of volunteers among university instructors,
which was organized by MAJ officers. This rubric contained fiveevaluative criteria: (a) Presentation of content and variety of
media, (b) Interactivity of learning process, (c) Highly valued
subjects and themes, (d) Extensiveness of content, and (e) Soundⓒ2020 Moodle Association of Japanassessment system. Three levels of quality descriptors comprised
each criterion, and scaled scoring was used to allocate points (0to 20) to each descriptor. The criteria were weighted equally inthe total evaluation of a course.
オープンコースウェアの評価用ルーブリックの初版は、2009 年に、MAJ の理事によって組織された、大学教員の有志による「ベストオープンコースウェア審査委員会」により作成された。毎年の改訂を経て、2019 年 2 月に審査員に提示された版となった。このルーブリックには、5 つの評
価基準が含まれていた。(a)内容の提示と媒体の多様性、(b)
学習プロセスのインタラクティブ性、(c)評価の高いテーマ
やテーマ、(d)内容の充実度、(e)信頼性のある評価システムである。各基準は 3 段階の品質記述子で構成され、各記述
子に 0～20 点の点数をつけた。各基準は、コースの総合評
価において等しく加重された。
This rubric was used with little modification until
MoodleMoot 2019, by which time most judges felt that the rubric
was no longer a completely reliable or adequate tool with whichto assess the submitted courseware. Partly this arose from theincreasing variety of courses entered into the competition, butalso grew from a realization that courses which were otherwise
pedagogically sound and valid failed to score competitively whenmeasured against the criteria of the rubric. One of the main issues
lay in the sometimes differing objectives of the award program
and the various types of courses themselves. A desire to highlight
those features of Moodle that make it a dynamic and versatile
LMS are implicit in many of the criteria used in the rubric. Higherscores for extensive use of multimedia, for example, emphasize
the inherent strength of Moodle as a modular system. Likewise,
an emphasis on the interactivity of content and learning processes
derives from Moodle HQ’s stated commitment to social
constructivist
pedagogies(https://docs.moodle.org/38/en/Philosophy). Additionally, thenotion of “highly valued subjects and themes” reflects themission of MAJ to promote the use of Moodle and the creation ofcontent for Moodle beyond the traditional “bastion” of Englishlanguage teaching. However, only in rare cases have thecontributors of open courseware designed their courses with theexplicit goal of winning an award in mind. In these few cases, thedesign criteria could be said to be equal to the evaluation criteria.
このルーブリックは MoodleMoot 2019 までほとんど変更されずに使用されたが、ほとんどの審査員はルーブリッ
クが提出されたコースウェアを評価するための完全に信頼できる、または適切なツールではないと感じていた。これは応募されたコースの多様性の増加に起因している。これに加え、教育学的には健全で有効なコースがルーブリックの基準に照らして評価された場合、競争力のあるスコアを出せないと気付いたことも原因の一つである。主な問題の一つとして、賞の目的が異なることや、コースの自体の種類が多様であることが挙げられる。ルーブリックで使用されている基準の多くには、Moodle の動的で汎用性の高い
LMS である特徴を強調したいという願望が暗に含まれている。例えば、マルチメディアの広範な使用に対する高得
点は、モジュール基盤のシステムである Moodle の本質的な強みを強調している。同様に、コンテンツと学習プロセ
スの双方向性を強調することは、Moodle HQ が社会的構成

28

MoodleMoot Japan 2020 Proceedings

主義 (https://docs.moodle.org/38/en/Philosophy)を表明していることに由来している。さらに、(c) ユニークであり、尚且つ高く評価されるべき分野高く評価される科目とテーマの概念は、伝統的な英語教育の「基盤」を超えて、Moodle の使用と Moodle 用コンテンツの作成を促進するという MAJの使命を反映している。しかし、オープンコースウェアの投稿者が、賞を受賞することを明確な目標としてコースをデザインしているケースはごくまれである。このような少数のケースでは、デザイン基準は評価基準と同等であると言えるだろう。
In most cases, however, courses creators design their courses
to meet the perceived needs of their target audience, to impart
specific knowledge and skills to their students or clientele, and tofulfill particular curricular or pedagogical objectives pertinent totheir field of expertise/study. This has posed some problems forthe judges themselves, who may have only a rudimentaryfamiliarity with the subject matter and thus be limited in theirability to assess the kinds of activities and course content that are
most suited to and effective at realizing the stated goals of thecourse creator. Furthermore, the bias, justified though it may be,of the award organizers implicit in some of the rubric’s criteria
can potentially lead to a situation in which pedagogicalexcellence takes second place to the prerogatives of MAJ and theaward organizers. Hence, courses that deal with subjects outside
language teaching, and courses that are delivered in Japanese as
opposed to English have, in recent years, benefited from thesequalities despite inherent pedagogical weakness or a narrowfocus, or they have been more highly evaluated than equally
meritorious courses from the field of English-language teachingwhen the criteria of the rubric are strictly applied. To compensate
for this, and to balance the parity of assessment, judges havegotten together on the first day of MoodleMoots to collectively
discuss their evaluations and share their thoughts on “special
considerations”. This could be perceived as somewhat diluting
the ultimate validity and reliability of the judging rubric.
しかし、ほとんどの場合、コースの作成者は、対象となる受講者の需要を満たし、学生や学習者に特定の知識やスキルを伝授する、あるいは自分の専門分野に適したカリキ
ュラムや教育学的な目的を達成するためにコースを設計している。このことは、審査員自身にも問題がある。審査員
は、コースの主題について初歩的な知識しか持たないため、コース作成者の提示した目標を実現するために、最適な活動やコースの内容が何であるかを評価する能力が限られている。さらに、ルーブリックの基準の一部には、正当化されているとはいえ、賞の主催者の偏見がある。このため、教育学的な卓越性が MAJ や賞の主催者の特権よりも二の次になってしまう可能性がある。その結果、近年、言語教
育以外の科目を扱う科目や、英語ではなく日本語で行われる科目は、英語教育の分野の同等の優れた科目よりも高い評価を受けることがある。これは、教育学的な観点からの欠点が存在したり、狭義の科目であったりした場合でも、その資質が生かされていたり、ルーブリックの基準を厳密に適用した場合に生じるものである。これを補い、評価の公平性を保つために、審査員は MoodleMoot の初日に集まり、各自の評価について相談し、「特別な配慮」についての考えを共有してきた。これは、判定ルーブリックの最終的ⓒ2020 Moodle Association of Japan

な妥当性と信頼性をやや薄めているとも考えられる。
Essentially, the rubric was found to be limited in its ability toeffectively score such a diverse range of courses. Indeed, one ofthe primary challenges of effective rubric design is creating
evaluative criteria that are neither too specific nor excessively
general (Popham, 1997). For MAJ, this challenge was amplified
by the presence of complementary objectives of the awards
program: recognize excellence in pedagogically-sound online
course development, promote content sharing, and encourage
innovation through incentivization. Such a wide range ofobjectives would test the limits of any single evaluative tool, andthus the judging committee were set with a substantial task.
本質的には、このような多様なコースを効果的に評価するには、ルーブリックの能力に限界があることがわかった。
実際、効果的なルーブリックをデザインする上での主要な課題の一つは、具体的すぎず、一般的すぎない評価基準を作成することである(Popham, 1997)。MAJ の場合、この課
題は、教育学的に健全なオンラインコース開発の優秀性を評価し、コンテンツの共有を促進し、インセンティブによるイノベーションを奨励するという、表彰プログラムの補
完的な目的が存在することによって、さらに増幅された。
このような幅広い目的は、単一の評価ツールでは限界があり、審査委員会には大きな課題が課せられていた。
4.3 Changes for 2020 2020 年での変更
Suggestions for revisions to the rubric were shared among thejudges via email in the week leading up to the start of the judging
period. During the MoodleMoot 2020, the judges met via
teleconference with the specific aim of deciding upon which
specific revisions to make to the rubric and judging procedures,and which to suspend until further discussion could take place.
Specific changes and their rationale are summarized in Table 1,
and the fully revised rubric in Appendix A.
ルーブリックの修正案は、審査期間開始までの 1 週間、審査員の間で電子メールによって共有された。MoodleMoot2020 の間、審査員はオンライン会議を行い、ルーブリックと審査手順の具体的な修正点を決定し、さらなる議論が行われるまで中断することとなった。具体的な変更点とその根拠は表 1 にまとめられており、改訂済ルーブリックの完
全版は付録 A に記載されている。
Table 1 Revisions to 2019 Open Courseware Evaluation Rubric
表 1 2019 年度オープンコースウェア評価ルーブリックの改定
Criterion
基準

Revision
改定

Rationale
根拠

1.
Presentationof content andvariety of
media
内容および多様なメディアの提示

Changed criterion to“Variety of activities
and media”
基準を「活動・メデ
ィアの多様性」に変更Emphasizes anddiversifies meaning of“variety”「多様性」の意味を強調し、広がりをもたせる

New and expanded
descriptors for top level
最初のレベルとして拡張した新しい基準の記述

Helps judges identify
quantitative
characteristics of highquality courses
高品質なコースの定量的な特徴を見極めることができる。

29

MoodleMoot Japan 2020 Proceedings

2.
Interactivityof learning
process
学習における双方向性

3.
Highly valued
subjects andthemesユニークであり、尚且つ高く評価されるべき分野

4.
Extensivenessof content
コンテンツの
広範さ

5.
Sound
assessment
systemしっかりとした評価のシステム

6.
WorthyConsiderations
特記事項

New and expanded
descriptors for top level
最初のレベルとして拡張した新しい基準の記述

Helps judges identify
quantitative
characteristics of highquality courses
高品質なコースの定量的な特徴を見極めることができる。

List priority subjects inquality descriptions
質の表記として優先順位の高いものを列挙する

Relieves judges of the
duty of sifting through all
showcase entries todetermine uniqueness,and provides clear
guidelines for candidates
ショーケースに応募されたすべての作品の中から独自性を判断するための審査員の義務を軽減し、候補者に明確なガイドラインを提供する

Relegate foreign
language courses tolowest level
外国語学習について
は評価を低めに設定
する

Compensates for the
overwhelming number offoreign language course
candidates
特に数の多い外国語学習用コースに対する対応

Increase allapproximate durationof content
コンテンツのおおよ
その期間を増加させる

Accounts for the growing
trend of course
candidates with larger
amounts of interactive
content
多量なインタラクティ
ブコンテンツを持つ候補コースの増加傾向に対応する

Changed criterion to“Sound assessment
system with systematic
feedback”
基準を「体系的なフィードバックを伴う
信頼性のある評価システム」に変更

Prioritizes and accounts
for updates in feedback
systems, both scored andunscored
スコアあり・なし、それぞれのフィードバッ
クシステムの評価を高
くし、説明できるように更新

New and expanded
descriptors for all levels
すべての基準における記載を拡張した新
しい基準

Prioritizes advanced
grading methods,
feedback, gamification,and visible participation
tracking
高度な成績評価方法、
フィードバック、ゲー
ミフィケーション、学習状況のトラッキングを高く評価

New and expanded
descriptors for all levels
すべての基準における記載を拡張した新
しい基準

Allows shortlisting ofcourse candidates thataren’t satisfactorily
evaluated with current
rubric
現在のルーブリックでは十分に評価されていないコース候補を評価できる。

4.4 Further changes moving forward
While the changes listed in Table 1 were considered an
improvement by the judging committee, they do not reflect all of
the discussion points raised during the revision process, and thecurrent course evaluation rubric should be considered a work-inprogress. Evaluative questions that have been tabled but are notyet reflected in the rubric include:ⓒ2020 Moodle Association of Japan

審査委員会では改善されたと考えられているが、表 1に記載された変更点は、改訂プロセスでの議論のすべてを反映したものではなく、現行のコース評価ルーブリックは
改定途中のものと考えるべきである。審議会で決定されているが、まだルーブリックに反映されていない評価問題は以下の通りである。
1. How well does the course meet its stated pedagogicalobjectives?
2. Is the course better for being on Moodle?
3. Are blended activities (paper text and face-to-facemedia) included in the evaluation?
4. How well does the course contribute to students’
understanding of their learning progress?
5. Does the course have value for other educators?
6. Should courseware categories and appropriately
adapted rubrics for each one be introduced?
1.
2.
3.
4.
5.
6.

成人教育的な目標をどの程度満たしているか？
Moodle を活用するに適したコースであるか？
ブレンド型の活動 (紙のテキストと対面メディア) は評価に含まれているか？
学生の学習進捗状況を把握するためにどの程度貢献しているか？
他の教育者にとって価値があるか？
コースウェアのカテゴリーや、それぞれに適切に対応させたルーブリックを導入するべきか？

In addition to revision of structure and content, early
publication of the rubric to potential course contributors is also
under consideration. This would transform the rubric from a
simple scoring guide into an instructional rubric (Andrade, 2005),
helping contributors to internalize criteria and develop anunderstanding of ideal and desired course features (Andrade,
2000) for the open courseware awards.
However eager the judging committee is to revise and update
the rubric, the process is not without its challenges. Further
progress can be made, but the committee must strive to keep thelist of criteria focused and manageable, maintain balance ofgeneral and specific descriptors, and align the evaluative
constructs with the underlying purposes of the awards and thepedagogical integrity of course content.
構造と内容に加えて、ルーブリックの早期公開も検討されている。これが実現すれば、ルーブリックは単なる採点ガイドから指導用ルーブリックへと変化し（Andrade, 2005）、投稿者が基準を理解し、理想的なコースの特徴を理解することができるようになる（Andrade, 2000）。審査委員会がルーブリックの改訂と更新に意欲的であったとしても、そのプロセスには課題が残る。さらなる進展は可能であるが、審査委員会は、基準リストの焦点を絞って管理しやすくする必要がある。また、一般的な項目と事例・分野特化での項目とのバランスを保つことも求められる。さらに、評価
項目と賞の本来の目的とを一致させるように努力することが必要不可欠である。

30

MoodleMoot Japan 2020 Proceedings

5.

Conclusion

This study has explored the revision and development of arubric for the evaluation of open courseware shared on the
Moodle LMS platform. In the 2019-2020 cycle of the Moodle
Association of Japan, significant revision of the rubric wasconducted within the judging committee for Best OpenCourseware Awards. Six questions to guide continued revision of
the rubric during the 2010-2021 cycle were identified. Four typesof courses were delineated where specialized rubrics may beneeded if separate awards are to be given to those types of courses
in the future. National Moodle Associations can develop theirown strategies for content sharing from these guidelines as theyshare and promote localized language and regionallycontextualized courses as open educational resources.
本研究では、Moodle LMS 上で共有されるオープンコー
スを評価するためのルーブリックに関し、開発と改訂を扱ってきた。MAJ の 2019-2020 期では、最優秀オープンコー
スウェア賞の審査委員会内でルーブリックの大幅な改訂が促進された。2010-2021 サイクルに向け、ルーブリックのさらなる変更のために継続的な改訂を必要とする 6 つの項目が特定された。また、4 つのタイプのコースが定義され、これらのタイプのコースに賞を授与する場合、特別な評価基準が必要となる。Moodle ユーザは、その地域の言語と文化に沿ったコースをオープンな教育資源として共有し、促進するために、これらのガイドラインに基づいてコンテンツ共有のための方略を立てることが可能となる。

6.

References

Andrade, H. G. (2000). Using rubrics to promote thinking andlearning. Educational Leadership, 57(5), 13-18.
Andrade, H. G. (2005). Teaching with rubrics: The good, thebad, and the ugly. College Teaching, 53(1), 27-31.
doi:10.3200/CTCH.53.1.27-31
Hinkelman, D. (2009). Sharing Learning Objects within a
Teaching Team: How to Use Moodle for an In-house
Repository. The Language Teacher,
Hinkelman, D. and Johnson, A. (2008). Project Course
Format.
Hinkelman, D. and Johnson, A. (2013). Open Courseware
Sharing: An Inter-University Community Hub. Moodle
Association of Japan Proceedings. Pp. 65-70. Retrieved
May 30, 2020 from https://moodlejapan.org/file.php/1/
2013_Moot_files/MoodleMoot2013Proceedings.pdf
Johnson, A., & Hinkelman, D. (2006, June). Development of ateaching materials repository. Presentation to the
JALTCALL 2006 International Conference. Retrieved
January 26, 2009, from http://englishforum.sgu.
ac.jp/downloads/jaltcall2006/
johnsonhinkelmanrepositories.ppt
Popham, W. J. (1997). What’s wrong—and what’s right—with
rubrics. Educational Leadership, 55(2), 72-75.
[About Moodle]. (2017, June 28). Retrieved fromhttps://docs.moodle.org/38/en/About_Moodleⓒ2020 Moodle Association of Japan

7. Acknowledgements
The writers thank all the members of the judging committeeof Best Open Courseware including Ruth Vanbaelen, Adam
Smith, David Campbell, Yoshikazu Asada, David Yoshiba, Jun
Saito, Matthew Cotter, Martin Meadows, Branden Kirchmeyer,
Rob Hirschel, Don Hinkelman, Hideto Harashima and Fiona Ong
for providing discussion input during 2019-2020. In addition, aMoodle Association of Japan research and development grant
provided support for the programming of the MAJ Showcase(Hub) which hosts and displays candidate courses for the awards.
Coding and testing was done by Ponlawat Weerapanpisit of
Chiang Mai University. Earlier grants by Sapporo Gakuin
University, the Japan Association of Language Teaching-CALL
SIG and the Moodle Association of Japan provided funding for
research and programming since 2006.
筆者らは、2019-2020 年の間、議論を提供してくれた
Ruth Vanbaelen, Adam Smith, David Campbell、淺田義和 、 David Yoshiba, 斉 藤 準 , Matthew Cotter 、 Martin
Meadows 、 Branden Kirchmeyer, Rob Hirschel, Don
Hinkelman, 原 島 秀 人 、 Fiona Ong を 含 む Best OpenCourseware の審査委員会のメンバー全員に感謝を示す。
また、MAJ の研究開発助成金により、アワードの候補コースを管理し、提示するための MAJ Showcase (Hub)のプロ
グラミングを支援した。コーディングとテストは、チェン
マイ大学の Ponlawat Weerapanpisit によって行われた。研
究とプログラミングに関しては、札幌学院大学、日本言語教育学会-CALL SIG、MAJ から 2006 年より助成金、資金を提供してきた。

8. Appendix A
Rubric for MAJ courseware judging used in February 2020.

31

MoodleMoot Japan 2020 Proceedings

ベスト・オープンコースウェアのルーブリック（2020 年 2 月改正）
20％

１、内容および多様なメディアの提示

a.幅広いマルチメディア（文字、画像、音、映像）を使用しており、
Moodle のページで興味をそそる表示をしている[15-20 ポイント]

b.いくつかのマルチメディアを用いており、多少興味を引くコースページのデザインをもつ[5-14 ポイント]c.メディアが一つに限られている．またはパブリック・ドメインではな
いメディアを使っている[0-4 ポイント]

２、学習における双方向性

20％

a.クイズや即時フィードバックを得ることができる工夫されたアクティビ
ティーを幅広く活用している[15-20 ポイント]b. ある程度の双方向性、フィードバック、工夫された plugin の使用が見られる

[5-14 ポイント]

c. 双方向性が認められない（テキストや PDF のみ等） [0-4 ポイント]
３、ユニークであり、尚且つ高く評価されるべき分野

20％

a. 現在 MAJ Hub で共有されていない新たな分野を扱っている[15-20 ポイント]
b. 将来教師間で人気と需要の高くなりそうなテーマを扱っている[5-14 ポイント]c. 既存の他のコースと類似している[0-4 ポイント]

４、コンテンツの広範さ 20%
a.各学期に 5〜10 時間以上のインタラクティブなオンライン、もしくは家庭学習を提供している[15-20 ポイント]

b. 2、3 時間程度のインタラクティブなアクティビティーを提供している[5-14 ポイント]c. 簡潔なデモンストレーションのみか，１時間以下の学習活動しか提供していない[0-4 ポイント]

５、しっかりとした評価のシステム

20％

a.毎週、中間、期末、またはプロジェクト毎にルーブリックときちんとしたグレード・ブックを用いた評価を行っている[15-20 ポイント]b. ある程度の評価システムが組み込まれている[5-14 ポイント]c. 評価システムを用いていない[0-4 ポイント]

６、価値のある考察。その他、気になる点、疑問点、観察点
講座の適切性や質について、さらにコメントを追加してください。上記のスコアが低かった場合は、表彰を検討する理由を追加してください。ここでは採点しない。

ⓒ2020 Moodle Association of Japan

32

MoodleMoot Japan 2020 Proceedings

Introduction to Learning Analytics with Moodle
HIDETO D. HARASHIMA†1 YOSHIKAZU ASADA†2
THOM RAWSON†3
Teaching using LMSs, we often wonder if students are making progress on schedule, if there are some who lag behind others, oreven if any are on the verge of dropping out. Learning Analytics (LA) is a way of measuring student engagement in class and it
also reports the effectiveness of a particular lesson. Sophisticated LA tools also provide teachers with detailed information on the
behavior of each individual student. This enables teachers to differentiate between students meeting with success and those having
struggles. A growing number of LA plugins and blocks are becoming available for Moodle. In this paper, the authors will introduce
several LA tools, showing how they help teachers grasp student behaviors. We will also illustrate how we can manually extract
additional data from Moodle using the Configurable Reports plugin. This plugin helps to export the learning logs directly from thedatabase using custom SQL. The extracted data is fed into "R" software for visualization. The visualized results are displayed asresources in Moodle. Finally, we will introduce a way of using the database module and spread sheets to handle student data forself-reflections.

Moodle で使えるラーニング・アナリティクス
原島秀人†1

淺田義和†2

ローソン トム†3

LMS を用いたオンライン教育を行う中で、教師達は学習者が予定通りの進捗を見せているか、遅れを取っている者は居ないか、脱落の危機に面している者は居ないか、と気を病むものです。ラーニング・アナリティクス（LA = 学習分
析）は個々の学習者の学習の取り組み度合いを測れるだけでなく、授業の効率もある程度測ることが出来ます。これにより教師達は順調に学習が進んでいる学習者と問題を抱えている学習者を区別し、把握することができます。
Moodle では各種の L A プラグインが開発され、利用できる様になっています。本稿ではそれらの内いくつかの L A
ツールを紹介し、その有益性を論じます。また Configurable Reports プラグインと R を使った学習データの視覚化の方法についても紹介します。最後にデータベースモジュールとスプレッドシートを用いた簡易的な学習データの利用例を紹介します。

1. Introduction
In any teaching situation, teachers often wonder if students
are making progress on schedule, if there are some who lag
behind others, or even if any are on the verge of dropping out.
These are serious concerns for the teachers who rely on LMSs tosupport the classroom instruction. Learning Analytics (LA) is “anemerging field that purports to support, enhance, facilitate,predict and measure human learning in educational settings”(Donoghue, et al.: 2019, p.11). It is a way of measuring student
engagement in a digital class and also reports the effectiveness ofany particular lesson. Advanced LA tools can help teachers
obtain detailed information on the behavior of each individual
student. This enables teachers to distinguish students meetingwith success from those having struggles or being "at-risk." Agrowing number of LA plugins and blocks are becoming
available for Moodle.
The paper will explore some of those in-house LA plugins
as well as a third-party one. They include "Insight," "Analytics
Graph," "Forum Graph," “Configurable Reports,” and"IntelliBoard." The tools provide various types of information
including the chronological access distribution, the transition of†1 Maebashi Institute of Technology†2 Jichi Medical Universityⓒ2020 Moodle Association of Japan

assignment submission and active user numbers, the number ofindividual forum posts, levels of difficulties with each question
in a quiz, and the interrelation between participants in a forum, as
well as periodic reports on at-risk students. The authors willreport how they can be implemented and show how they help
teachers grasp student behaviors.
For technologically savvy readers, we will illustrate how we
can extract data from Moodle using the Configurable Reports
plugin. The data will then be put into R (graphics software) for
visualization. The visualized results can be displayed in Moodle.
Lastly, for those who are not willing to use any of the special
plugins, we will introduce a way to lead the learners into
analyzing their own learning data by using regular Moodle
modules and spreadsheets.

2. Definitions of LA
How can LA be defined? One of the noted scholars in thisfield, Siemens (2013, p. 3), is cited for his popular definition as
follows:(Learning analytics are) the measurement, collection,
analysis and reporting of data about learners and their†3 Nagasaki International University

33

MoodleMoot Japan 2020 Proceedings

contexts, for purposes of understanding and optimizing
learning and the environments in which it occurs.
In higher education, Lester (2019) defines it in a more
technology-oriented context:
Learning analytics is a form of educational data miningthat specifically uses predictive analysis on Big Data with
the intention of creating platforms for intervention.

International Virtual Exchange (IVE) project over the threemonth period. We notice there are two peaks. The first one isaround the last week of October. This is the second week into theproject when all the participating schools got ready and started topost messages to the forum. We can imagine the excitement of
the students. The second and the highest peak comes around thesecond week of December. This is the eighth and the last week
into the project. Students are pushing hard to make the most of
the last days in the exchange.

A Moodle book writer Rollins (2017) defines LA in a slightly
different way:
Learning analytics is the process of collecting, measuring,
analysing and reporting data on the context of the learnerand the learner’s engagement with learning with a view to
optimising both.
In essence, LA is about analyzing and interpreting data, which
are generated by students and processed by machine, then sorted
and displayed by Learning Management Systems (LMSs) in acustom-made fashion, for the purpose of detecting theeffectiveness of teaching and learning. In the era of big data anddeep learning, LA is incrementally attracting attention fromeducators around the world.

3. Benefits of LA
The benefits of LA include the following points:
•
•
•
•
•
•

Figure 1 Transition of forum views and posts.

4.2 InsightThe Insight plugin is a sophisticated LA tool for detecting
students who are on the verge of dropping out. Prior to this list,
an alert email with “students who have not accessed the course
recently” is sent to the instructor.

teachers can monitor students’ progress and predict
future performance,teachers can detect at-risk students,
teachers can monitor interactions between students,
teachers can make targeted interventions,teachers can track each participant’s hours ofengagement, andteachers can learn the level of difficulty of each quiz
question or assignment and make necessary
adjustments.

4. LA tools in Moodle
There are several LA tools built inside the Moodle core. The
availability of these tools depends on the Moodle version. Users
can check to see what kind of tools are available by looking at theReports section of the Site Administration page. Additional tools,or plugins, can be downloaded and installed from Moodle’s
plugin database, or purchased from a third-party software
provider. In the following, some of these LA tools that are tested
and found useful by the authors will be introduced and discussed.

Figure 2 Students at risk of dropping out.

4.3 Analytics Graph
The Analytics Graph plugin displays all the task
performances throughout a course. The boxplot indicates the 25 th,
the 50th, and the 75th percentiles of each activity. We can learn
from these assessment distribution bars that some quizzes werevery easy and others were more challenging.

4.1 Statistics
The Statistics plugin shows chronological transition of aparticular activity or a course. Figure 1 shows the transition of thenumber of views and posts by the students who participated in theⓒ2020 Moodle Association of Japan34

MoodleMoot Japan 2020 Proceedings

especially useful for a quiz creator to reflect upon themselves forpossible problems with the quiz. The IntelliBoard is very
powerful, and it may be suited for an administrator who
supervises the campus-wide e-learning system, rather than an
individual teacher.

Figure 3 Assessment distribution.

4.4 Forum Graph and Forum Report
The Forum Graph plugin visualizes student-to-student andstudent-to-teacher interactions in a Moodle forum. Figure 4
shows activities and associations of one student in a discussion
group. The bubble in the middle is the target student. The size ofthe bubble represents the student’s level of engagement (numberof posts) in the forum. The teacher can see that the student started
two discussion threads and responded 14 times. The connecting
lines and arrows between bubbles show the distribution and the
directions of the interactions. He had apparently communicatedwith a number of different students (the personal name of eachbubble is hidden for the privacy reasons).

Figure 4 Forum activities and associations.
There is another plugin called Forum Report. This canprovide with the number of posts, replies, views, and word countof each participant. Teachers can sort the data by setting filters totheir needs. This tool is especially useful when we evaluate each
student’s engagement at the end of a forum activity.

4.5 IntelliBoard
The IntelliBoard is a commercial plugin. This can be very
easily integrated into Moodle with no special skills required on
the users. The functions are diverse, and they depend on the levelof plans users subscribe to. One screen shot of the IntelliBoard(Figure 5) shows an overview of one Moodle quiz, which
includes the ratio of correct and incorrect answers, thedistribution of finished times, the distribution of grades, and thequestion breakdown. Among these, the question breakdown isⓒ2020 Moodle Association of Japan

Figure 5 IntelliBoard overview of quiz performances.

4.6 Configurable Reports
Moodle can store several learning data, such as logged-in
time, page viewing, forum posting, and quiz attempting. However,
Moodle is not powerful enough to export “row” data such as
logged-in count as Saqr et al. (2017) point out. On the other hand,
Moodle has a lot of free plugins and some of them make possible
to export the data directly from the database (MySQL, MariaDB,
PostgreSQL, etc.) of Moodle. One of the plugins is “Configurable
Reports.”
Configurable Reports is the block plugin for data analyzing.
The administrator and the manager role of Moodle are able toextract data with SQL, which will then be fed into R (an opensource statistical computing and graphics software) for
visualization. The visualized results can be displayed as a page orbook in Moodle. Figure 6 shows the visualized data of the usageof quizzes in a specific course with R and plot.ly.

Figure 6 Configurable Reports & R & plot.ly.

35

MoodleMoot Japan 2020 Proceedings

There are some advantages and disadvantages of the plugin.
One of the advantages is that the plugin makes it possible to takedata from multiple courses. Without the plugin, teachers would
have to access each course to acquire the log data. With the plugin,teachers can export several courses’ log data to one .csv file atonce. In addition, they can summarize the result with SQL (count,max, mean, ….).
Another advantage of the Configurable Reports plugin is thefeature of permission setting for showing the results of eachreport. Teachers are also able to set up SQL with a user ID of
Moodle for “running” the reports. For instance, teachers can set
up histogram reports of the quizzes with a student user ID. Whenthe student runs the reports, only his or her results will behighlighted to check their own position.
In addition, users can use the database safely, because theplugin only runs the SELECT methods and there are no features
to add, edit, or delete the data from the moodle database.
The disadvantage of the plugin is that someone has to setup
the report with an SQL query. However, there are some sample
SQL queries in Moodle Docs as “ad-hoc contributed reports,” sothat teachers can copy & paste the SQLs.
Another possible problem is the server power limitation.
Sometimes the server may be slow when a teacher tries to export
and visualize a “huge” table. To avoid this situation, trying a test
run of the reports with limited data should be considered.

Figure 7 An example of a feedback report generated usinga spreadsheet tool.
Over time, the daily and weekly totals grow into a report,
graph and/or chart showing the activities over time. Comments,
analysis, and discussion of these learning results that happen
between the teacher and students are promoting and encouraging
further studies.

5. Teacher/Student (Low-tech) LA
In addition to the complex technology which surrounds thevarious aspects of LA, teachers and students can also conduct
their own versions of personalized LA. These data come in theform of logged weekly activities and self-made charts and graphs.
Here are some examples:
In a study class, a teacher sets weekly goals for students tolearn vocabulary using an online tool. The students plan spaced
repetition study activities for a set number of days in a week. The
students then log in a simple database activity with the details of
their study activities; the dates, times, number of minutes, andsuccessful correct responses along with any comments. Then at
the end of each study week, they print a report which they submit
to their teacher as proof of their efforts.
Using readily available spreadsheet software and online
feedback available in many LMSs (for example, Moodle LMS)
can take these student reports along with the automaticallygenerated results from an online study tool and combine theminto a useful feedback report for each student. Giving the student
their overall report including a comparison with the class average
can keep students focused on their own performance and help togenerate intrinsic motivation to improve.

ⓒ2020 Moodle Association of Japan

Figure 8 Student-collected study data w/graphs in a Google
spreadsheet.
The benefits of these practices are that keeping students
focused on collecting data for their study activities helps them tostay focused on the learning activity, in this example it is learning
new vocabulary words. Additionally, when students are not
performing properly (i.e. submitting their own weekly reports),
the troubled students can be identified quickly via their missing
reports and/or their inadequate reports of the amount of study
they performed. When these students are identified early, they
can be helped to get back on track sooner rather than at the endof the semester when it is too late to recover. Additional benefitsof having weekly activity submissions are that a missed week ofstudy is less likely to "sink" the student overall and therefore
increases the chances of success for that student. Regular study
habits are also developed through the practice of collecting andanalyzing the data which may increase motivation to perform as
students reflect weekly on their accomplishments. Lastly, this"low-tech" version of analytics is easily accessible to teachers andstudents of all abilities and makes LA a useful tool in improving
skills and learning.

36

MoodleMoot Japan 2020 Proceedings

6. Concluding Remarks
Exploring Learning Analytics could give the teachers new
insights into how students are actually learning. It could help us
take proactive measures against students with struggles. Moodle
has a number of LA tools to well serve our interests. The data will
eventually help improve our course designs and instructions. The
authors are convinced that LA will be the central area of Moodle
research in the future.
Acknowledgments
This work was partially supported by JSPS KAKENHI Grant #18K00873.
References
DONOGHUE, G. M., HORVATH, J. C., and LODGE, J. M.
(2019). Learning analytics and teaching. In J.M. LODGE,
J.C. HORVATH, and L. Corrin (eds.), Learning analytics inthe classroom (11-21). Routledge, New York.
LESTER, J. (2017) Preface, In J. LESTER, et al.(eds.), Learning
analytics in higher education: Current innovations, future
potential, and practical applications (ix-xvi). Routledge,
New York.
ROLLINS, M. (2017). Adaptive Learning with Moodle (Kindleversion). MJR Learning Consultancy.
SAQR, M., FORS, U., and TEDRE, M. (2017). How learning
analytics can early predict under-achieving students in a
blended medical education course. Medical Teacher. 39(7).
757-767.
SIEMENS, G. (2013). Learning analytics: The emergence of adiscipline. American Behavioral Scientist, 57(10), 13801400.

ⓒ2020 Moodle Association of Japan37

MoodleMoot Japan 2020 Proceedings

Instruction of Spoken English Aizuchi Using Video Assessment
Rubrics, Quizzes, and Assignment Modules
SUGURU NAKAI†1
Conversation is interactive communication between speakers and listeners. Both speakers and listeners contribute to maintaining
a good conversation using various communication strategies. This study examines how communication strategies can be instructed,
with the assistance of Moodle LMS asynchronous activities accompanying face-to-face synchronous teaching. Of all the strategies
listeners use, one of the most basic and important are linguistic terms called, aizuchi. Most researchers agree that aizuchi support
conversation as “signals of listenership” and as “signals of understanding” thus serving as a kind of lubricant to smoothconversation. Japanese aizuchi have different characteristics, so there is a possibility that some Japanese English learners attempt
to apply aizuchi considered good in Japanese culture to a conversation in English inappropriately, leading to miscommunication
with the interlocutor. In this study, six Japanese university students majoring in English received training in English aizuchi. The
training was designed with blended-learning using the quiz module and assignment module of Moodle LMS. In addition, rubrics
in the Video Assessment Module were used for evaluating aizuchi. Pre-test and post-test results show that student aizuchi skills
improved and that a combination of in-class training and out-of-class Moodle exercises were beneficial.

ビデオ評価ルーブリック・小テスト・課題モジュールを用いた英語のあいづちの教授
中井 俊†1
会話は話し手と聞き手による双方向のコミュニケーションによって成り立っており、話し手と聞き手はそれぞれ固有の役割を担っている。本研究では、対面式の同期型授業に付随した Moodle LMS による非同期型学習を利用して、聞き手のコミュニケーション方略をどのように指導できるかを検討した。 聞き手が使用する方略のうち、最も基本的なものに「あいづち」があり、「聞いている」、「理解している」信号として会話を円滑に進行させる役割を果たしていると考えられている。しかし、日本語で良いとされているあいづちが英語では不適切に解釈されてしまうこともあり、誤解を招く恐れがある。本研究では、英語を専攻する日本人大学生を対象に、英語のあいづちの指導を、Moodle LMSの小テスト・課題・ビデオ評価モジュールを用いたブレンデッド・ラーニングで実施した。あいづちのテストとイン
タビュー調査の結果は、授業と Moodle 演習の組み合わせが有益であったことを示している。

1. Introduction
This study investigates 1) what Japanese English learners
perceive as spoken English listener responses (aizuchi) when theyobserve a listener in English conversation and 2) how instructionof aizuchi can benefit from the use of video assessment, quiz andquestionnaire modules in the Moodle LMS.
1.1 Purpose of this Study
In recent years, with the globalization of society, English
education in Japan has been shifting from a passive, grammaticaltranslation-centered approach to a communicative approach. In
communication, the “speaker” who conveys the message to thelistener and the “listener” who receives the message have theirown unique roles. One of the most important elements for smoothcommunication as a conversation between the speaker and thelistener is the ‘aizuchi’. Aizuchi has a wide variety of functions,some of which indicate that you understand what the other person
is saying, and some of which encourage the other person to speak.
Therefore, it is preferable not to translate this term into English
as explained 1.3.
However, in English education in Japan, the emphasis has†1 Hokkaido University, Graduate School of International Media,ⓒ2020 Moodle Association of Japan

traditionally been primarily on the speaker, and the role and skillsof the listener have not been given as much attention as the
speaker. Indeed, the most recent educational guidelines (MEXT,
2017a; 2017b; 2018), published by the Ministry of Education,
Culture, Sports, Science and Technology (a.k.a. MEXT), follows
the ideas of the Common European Framework of Reference for
Languages (CEFR) (North, Piccardo & Goodier, 2018) andclassifies English into five skills: listening, reading, writing,speaking (interaction) and speaking (presentation). This indicatesthat speaking skills should also include “interaction”, which is theact of interacting with the listener. In addition, in the current
teaching of English in elementary, junior high and high school,
aizuchi is listed as one of the “appropriate things to achieve thegoals of each subject” and is indicated as “facilitating
communication” (MEXT, 2017a; 2017b; 2018). However, theteaching methods and syllabus are not clearly indicated, and they
are generally limited to a single column in textbooks.
However, because exchanges are between the speaker and thelistener, if the listener in an English conversation does not know
the role of the listener and has not acquired the skills to do so, theconversation may end in a one-way communication by the
speaker (monologue), and communication may not be possible.
Communication and Tourism Studies

38

MoodleMoot Japan 2020 Proceedings

Also, just like the act of speaking, there are differences in the actof listening depending on the language and culture, so English
learners should compare their native language, Japanese, withEnglish, and if they do not understand the differences,miscommunication will occur.
1.2 Research Questions
In this study, I conducted a class on aizuchi in English, which
incorporates blended learning using e-learning Moodle LMS, foruniversity students majoring in English. In the process, weobserved what the participants perceived as aizuchi when they
were asked to watch a video of an English conversation, focusing
on aizuchi of the listener. I also qualitatively investigated theeffects of blended learning on the teaching of aizuchi. Therefore,
there are two research questions (RQs) in this study.
RQ1: What do Japanese English learners perceive as aizuchi
when they observe a listener in English conversation?
RQ2: How does the teaching of aizuchi in English, which
incorporates blended learning and encourages awareness,work for Japanese English learners?
1.3 Background and Previous Research
A conversation is made up of two-way communication
between the speaker and the listener. The listener, like the speaker,
uses a variety of strategies to help maintain the conversation, oneof the most important and most fundamental of which is ‘aizuchi’.
Aizuchi is a sympathetic (Malinowski, 1923) expression inserted
by the listener to keep pace with the speaker’s speech and is an
essential part of both formal talk and small talk.
According to Chen (2002), the study of Japanese aizuchi has
been going on for a long time, and it was studied in the field ofJapanese linguistics even before discourse analysis andconversation analysis became popular. The definition andfunctions of aizuchi varies depending on researchers. Kurosaki(1987) defines the functions of aizuchi as “signals of listening”
and “signals of understanding”. Meanwhile, Horiguchi (1988)
classified the functions of aizuchi into five categories: (1) signalsof listening, (2) signals of understanding, (3) signals of agreement,(4) signals of denial, and (5) expressions of emotion. On the other
hand, Maynard (1993) categorized the function of the aizuchi into
six categories: (1) signals to continue, (2) expressions thatindicate understanding of the content, (3) expressions that
support the speaker’s judgment, (4) expressions that indicateagreement with the other person’s opinion or view, (5)expressions that strongly express emotion, and (6) expressions
that add, correct, or request information.
There are analogous expressions of aizuchi in English, called‘back channels’ (Yngve, 1970), ‘reactive tokens’ (Clancy,
Thompson, Suzuki & Tao, 1996) and ‘rejoinders’ (Kehe & Kehe,
1994). Those terms are different from aizuchi in their definitions,functions, type and characteristics. For example, Yngve (1970)
defined back channels as the short messages such as “yes” and“uh-huh” that the primary speaker, who has the turn, receives
from the listener without relinquishing the turn but also
considered a nod of agreement, a short comment like “Oh, I canbelieve it” and a short question like “You’ve started writing itⓒ2020 Moodle Association of Japanthen - your dissertation?” as back channels. However, those terms
tend to be used as incomplete translations of aizuchi, which is abroader term covering reactive listener responses.
Since the behavior of the listener and the use of aizuchi varies bylanguage and culture (Clancy et al., 1996), it is necessary to teachEnglish learners that the type of aizuchi and the environment inwhich aizuchi is used are different in Japanese and English(Otsuka, 2015). For example, about 30% of Japanese aizuchi areaccompanied by nodding (Maynard, 1990), aizuchi in Japaneseare more frequent than that in English or Chinese (Maynard,
1990; Clancy et al., 1996), and non-lexical aizuchi (e.g. “aah,”“un,” “hoon,” etc.) are used more often in Japanese than inEnglish (Otsuka, 2015). Otsuka (2015) also points out that
listeners guttering aizuchi while a sentence is still unfinished andinterrupting the flow of the conversation is one of the mistakesthat Japanese learners of English tend to fall into. In an analysis
of English conversation by Otsuka (2007), it was found thatJapanese speakers of English frequently used non-lexical aizuchi,
which was not clearly interpreted as a response by Americans. It
is also argued that they were not viewed favorably because they
did not use any lexical aizuchi (e.g. “oh, yeah?” “I see,” “That’s
surprising!”) or repetition at all and did not have a wide varietyof aizuchi. Miller (1987) also analyzed Japanese conversations
between Japanese and English conversations between Americans
and found that Japanese speakers tend to repeat the same aizuchi,
while English speakers tend to use a variety of aizuchi. Therefore,in view of these definitions of aizuchi, the problem of this study
is how to teach English aizuchi to Japanese English learners.

2. Research Methods
2.1 ParticipantsThis study was conducted with six junior and senior Japanese
university students who were majoring in interculturalcommunication. The English language proficiency of theparticipants was estimated by a university placement test, which
was designed in line with the CEFR criteria, so proficiency isexpressed in terms of CEFR indicators. Three students were A2
level and three students were B1 level. In the first class, activity
1 and 2 were both conducted as paired discussion works, so thosepairs were adjusted based on English language proficiency andhistory of living abroad to ensure that discussions were conductedfrom as many different perspectives as possible. And then, for
Observational Survey I (OS I) and II (OS II), the author randomly
selected two pairs (Group A and Group B) to obtain data.
2.2 Research and Training Sessions
This study was conducted before, during and after a classwhich was titled, “Intercultural Communication Seminar B”.
Since the Intercultural Communication Seminar B had someinternational students besides the six Japanese participants, theclass was designed with the international students in mind. The
author participated in the seminar not as a lecturer, but as a TA
(Teaching Assistant) to assist the teachers in charge of the seminar.
In order to build a rapport with the students, the author did notconduct any training sessions in the first class, but held two classsessions focusing on aizuchi during the following two weeks.

39

MoodleMoot Japan 2020 Proceedings

2.3 Aizuchi Test and its Procedure
Next, to explain the details of an aizuchi test, I prepared all
the assignments and handouts for aizuchi classes by myself, but I
asked the teacher in charge, who is a native English speaker, toassist with the aizuchi test. For this experiment, he was asked toact as an interviewer and a scorer for the test on aizuchi. I also
received advice on creating a rubric for aizuchi from thestandpoint of a native English speaker. The aizuchi test was held
twice: before and after the teaching of aizuchi. In this paper, thetests conducted before the teaching of aizuchi is referred to as“pre-tests” and the tests conducted after the teaching is referred
to as “post-tests”. In order to evaluate aizuchi in English, we useda modified English language rubric based on Utashiro’s (2006)
rubric for evaluating Japanese listener response, taking into
account the differences between aizuchi in Japanese and that inEnglish. The following shows the modified rubric.

was used to design two classes for the participants, and there areseveral reasons why I chose Moodle from among the many elearning options. Firstly, as Moodle is open source, it is notconstrained by the developer, allowing teachers to create andcustomize their own materials. When creating teaching materials,
plug-ins can be introduced to create highly original teachingmaterials so that learners are not bored. Secondly, the author’s
alma mater uses Moodle, and since I was involved in creating
online learning materials on Moodle when I was a student, I
thought it would be easier to implement the experiment. Finally,
the Moodle LMS provides an ease of class management and more
effective learning management than other e-learning tools such
as Manaba.

* Rejoinder is a concept proposed by Kehe & Kehe (1994) and the definition is thatrejoinders are the verbal expressions showing you are listening, understanding andinterested and your emotions such as happiness, sadness or surprise.

Figure 2 Lesson design for teaching aizuchi
Source: Prepared by the author
Figure 1 A modified English language rubric on aizuchi basedon Utashiro’s (2006) rubric and embedded into Moodle
2.4 Instructional Design for This ResearchThis is followed by a detailed discussion of the teachingprocess. As indicated earlier, the class on aizuchi was held twice.
The following is a flowchart showing the lesson design.
2.5 Benefits of Moodle in Aizuchi Training
Here I would like to explain the Moodle LMS configurationthat I used to create my online materials. In this study, Moodleⓒ2020 Moodle Association of JapanE-learning has made a significant contribution to foreign
language education by enabling classes that were not previously
possible. Li (2013) gives examples of the benefits of technology
in the teaching of pragmatics such as “technology enables theteaching of pragmatic features that cannot be easily beincorporated in traditional classrooms” and computer-delivered
instruction “can offer an authentic learning environment wherelearners practice pragmatics while engaged in real-life

40

MoodleMoot Japan 2020 Proceedings

communication”. For example, it is difficult for Japanese teachersof English to teach natural conversational responses such as the
aizuchi in class, but it is possible to teach them with native
speakers in an e-learning Moodle LMS, or to show them aYouTube video embedded in the Moodle, allowing them toobserve natural conversation and develop their own pragmatic
skills.
This form of e-learning is called, ‘blended learning’, which
combines asynchronous activities with accompanying face-toface synchronous teaching (Hinkelman, 2018). This is a mixed
learning approach in which tests are given individually throughe-learning to acquire and confirm knowledge, while activities
such as discussions are conducted by multiple people in theclassroom. One of the applications of blended learning is the‘flipped classroom’, a method that has recently attracted a lot of
attention in education (Shigeta, 2014). Flipped classroom is aform of teaching in which the roles of class and homework are
literally ‘flipped’. Students are encouraged to acquire knowledge
by watching lecture videos and solving confirmation questions
before class, and in class, they are encouraged to confirm theirknowledge and discuss what they have learned in order toincrease the amount of knowledge output and encourage them toconsolidate what they have learned. Shigeta (2014) describes thefollowing three advantages of flipped classroom:
1. Flipped classroom encourages learners to learn outsideof class time and increase learning time
2. Flipped classroom increases opportunities for learners
to output the knowledge they have learned and improve
the quality of cooperative learning.
3. Flipped classroom facilitates the learning progress oflearners and enables them to achieve the benefits of aregular lecture in a short period of time.
(Shigeta, 2014)

Figure 3 Gapfill Part of Online Assignment 1-1
1-2 is tasks in the Assignment Module to think of a script to
act as a speaker in the conversation practice in the second class.
The time required varies from student to student, but on average,
students complete the assignment in about one hour.

Therefore, it is reasonable to incorporate flipped teaching into
this study, which requires a short period of time for teaching
aizuchi. For the asynchronous activities, Moodle LMS provided
the platform for flipped learning.
2.6 Content of E-learning Materials Created
After the pre-test of aizuchi, the participants were asked towork on Online Assignment 1 (Figure 2). Online Assignment 1
has 1-1 (Figure 3) and 1-2 (Figure 4); in 1-1 (Quiz Module), thequestions are embedded with the exact same video that you willobserve in the first class, so that you can solve the questions withunlimited repetitions of the video. By having them watch thevideo repeatedly, I hoped that they would be able to grasp thecontent and observe the conversation to some extent by the dayof class. To avoid monotony, the questions were arranged in thefollowing order: gapfill (fill-in-the-blank questions that can be
answered by typing or dragging and dropping from the choices),ordering (reordering), cloze (fill-in-the-blank questions that canbe answered by typing), and true or false (correct or incorrect).

ⓒ2020 Moodle Association of Japan

Figure 4 Online Assignment 1-2
In the first lesson, the students were asked to watch the video
again in pairs at the beginning of the class. Before the work, I
instructed them to “observe the English conversation in the video,
paying attention to the listener's behavior, and discuss the points
they noticed in their native language. Here, we took data for
Observational Survey I (OS I) for four of the six experimental
participants. In OS I, we looked at what the experimental
participants noticed when they observed the listener's behavior. It
was done on the premise of observing how the participants

41

MoodleMoot Japan 2020 Proceedings

perceived aizuchi in Observational Survey II (OS II). When thediscussion was over, each group was asked to present theiropinions to the class in English. Next, they were asked to work inpairs again to discuss aizuchi in their native language while
watching the video script (see Figure 6 in appendix). The
participants were then instructed to “circle the expressions they
thought were aizuchi in English script and compare them withJapanese aizuchi. Afterwards, the author gave a lecture on aizuchi
in English. The slides used in the class are listed in the appendix(Figure 7).
After the first class, the students were given Online
Assignment 2 to review and prepare for quiz. Online Assignment
2 consists of two parts using the Moodle Quiz Module: thequestions in 2-1 (Quiz Module) are designed for the acquisitionof knowledge about aizuchi. The structure of 2-1 is shown below.
Table 1 Question Type/Description in Online Assignment 2-1
Source: Moodle Quiz Module, Content prepared by the author
Question

Moodle Question TypeQ1

gapfill

Description
a short sentence question
describing a conversation andaizuchiQ2

matching

a question about the types ofaizuchiQ3

choicequestions about the use of aizuchi

Q4true or false

a question about the difference
between aizuchi in Japanese andthat in English

Q5

true or false

a question about the difference
between aizuchi in Japanese andone in English

Q6

multiple choicequestions about the position of
aizuchiIn Online Assignment 2-2, students were asked to choose oneof eight YouTube videos I selected and sample some of theaizuchi seen in the conversation in the videos. The purpose ofembedded videos in the Assignment Module is to demonstrate thediversity of English, which has been a problem in English
education in Japan in recent years, and at the same time, to havestudents learn English aizuchi in an inductive way that goesbeyond the video conversation modeled in class.
In the second lecture, they reviewed the Online Assignment 2
and the author explained misleading expressions in aizuchi, andasked students to freely exchange their opinions on each slide.
Afterwards, I asked the students to form groups of three topractice conversations, with the first student playing the role ofthe speaker and the second the role of the listener, and the third
student was instructed to photograph the listener with his or her
smartphone. When they were done, they switched roles and asked
everyone to practice until they were all in three roles. The originalplan was to have them upload the video to Moodle, but theprocess of uploading from a smartphone was complicated, so wegave verbal feedback on the spot. In addition, I instructed theparticipants to send the videos recorded in the pre-test along withthe author’s comments at a later date, so that they could review
them and prepare them before the post-test. At the end of the class,ⓒ2020 Moodle Association of Japan

all the participants were given a list of aizuchi in English.
2.7 Methods of analysis of OS I and OS II and interview
surveys
Since the study for research question 1 analyzes the innerworkings of each learner, it is appropriate to conduct the analysis
using the methods used in qualitative research. In OS I, dictation
data from Group A and Group B’s work observing video
conversations in English and discussing the listener's behavior
were analyzed in writing.
In OS II, the recorded and written data of Group A and GroupB discussing aizuchi in English while watching an English
conversation script was analyzed.
For research question 2, this study compared and analyzed theresult from the pre-test and the post-test, and also, the interview
survey was conducted after the post-test. The interview was in asemi-structured format using twelve questions prepared inadvance with reference to Utashiro and Yanagisawa (2009), and
the Group A and B’s remarks were translated into words foranalysis (Table 2).
2.8 Use and Results of Video Assessment Module
The teacher used the Video Assessment Module (a custom
Moodle plugin developed by researchers in Japan) to evaluate
student use of aizuchi. He assessed each student by watching theembedded video next to the rubric on English aizuchi as shownin Figure 1. The following shows a screenshot of a three-angle
video and rubric in the Video Assessment Module (Figure 5).

Figure 5 Video Assessment Module

3. Findings and discussion
3.1 The result of OS I and OS II
The results of OS I and OS II show that Group A and GroupB have the following common perceptions of aizuchi.

[Non-verbal behavior](1) In English conversation, even if students recognize that‘facial expressions’ have the function of conveying thefeelings of listeners who are concentrating on what the
speaker is saying and who are amused or surprised by what
the speaker is saying, they did not consider those expressions
as aizuchi.
(2) In English conversation, even if students could recognizethat the listener kept his gaze on the speaker while he was
speaking and made ‘eye contact,’ which in itself had thefunction of communicating that the speaker was

42

MoodleMoot Japan 2020 Proceedings

concentrating on what he was saying and listening, they did
not regard this as aizuchi.
(3) Students recognized that nodding has the function ofindicating that the speaker is listening intently to or
understanding what the speaker is saying, and that nodding
in conversation in English is more co-occurring with aizuchi
than nodding alone. Also, they regarded nodding as a kindof aizuchi.
[Language and Behavior](4) “Uh-huh.” / “Um-hum.” and “Yeah.” were recognized as
aizuchi in English corresponding to the Japanese aizuchi“un” and “un un”.
(5) “Yeah yeah” and “Yeah, uh-huh.” were also recognized
as aizuchi in English, and Japanese translations such as“soso” and “naruhodo” were added to differentiate themfrom the aizuchi in (4) in terms of translation.
(6) “Are you serious?” was also recognized as aizuchi in
English, and both groups gave a synonymous Japanesetranslation such as “maji?” or “usodaro!?”.
(7) Students didn’t recognize the “paraphrase” expression,“You got attacked by a crow?”, as aizuchi.
(8) Recognizing the tendency of listeners to strike an aizuchi
after the filler “you know” that speakers use at the end of asentence, students found a relationship between the aizuchi
and the filler.
(9) Both groups did not consider “No.” as aizuchi.
In addition, there were the following differences in theperceptions of Group A and Group B.
[Non-verbal behavior](10) Group A paid attention to the listener’s nonverbal
behavior, laughter, but did not recognize it as aizuchi. GroupB, on the other hand, considered “laughter” to be a sort ofaizuchi.

[Language and Behavior](11) Group A described the “paraphrase” expression “Yougot attacked by a crow?” as a type of “confirmationquestion” and saw it as a “weird question” that did not inflate
the story, while Group B described it as “repetition” andidentified it as a form of expression that worked to showinterest in the speaker’s story.
(12) Group A described “Oh my God!” as “a soliloquy thatwas too surprised and emotional” and did not regard it as“aizuchi”. On the other hand, Group B translated it as“majide!?” and recognized as aizuchi.
The results of the OS II showed that group A, in the process ofrecognizing aizuchi, took some time to determine whether the
expressions with question marks at the beginning of a sentence,such as “Yeah, yeah” and “Are you serious?” were aizuchi, as was
the case with group B. The reason for this confusion in Group A
is thought to be that they rarely use English on a daily basis. Itⓒ2020 Moodle Association of Japan

can be seen from the interview survey that Group B were able todo paired work activities without too much trouble because they
had made a habit of being in an English-speaking environmentand getting used to English conversation after returning home.
In addition, the differences in (11) and (12) are also due to thedifferences in habituation as described in the previous paragraphs.
If you were used to conversation in English like H and Y, you
would not take “You got attacked by a crow?” as a “strange
question” that does not expand the story, and you would notinterpret “Oh my God” as a “soliloquy” that is usually a reaction
to what the other person says in conversation.
In (10), since ‘laughter’ does not seem to be regarded as aizuchi
in the general sense as a native speaker of Japanese, it can begenerally expected that laughter is not regarded as aizuchi in
English conversation either. However, Group B may haverecognized laughter as a type of aizuchi because it belongs to the
vocalizations of peripheral languages (Vargas, 1986; Neuliep,
2009; Nakai, Ohba and Doi), although it is different in form from“Uh-huh.” or “Um-hum.”, or because, like aizuchi, it has thefunction of conveying the listener’s own feelings that the speakeris laughing because the speaker’s speech is funny.
Furthermore, both groups interpreted ‘nodding’, “Uh-huh.”,“Yeah.”, “Yeah yeah”, and “Are you serious?” as aizuchi, and did
not consider ‘paraphrasing’, ‘facial expressions’, ‘eye contact’,and “No.” as aizuchi because, for example, “No.” was judged
from the general sense that “negative signals” were not aizuchi.
As for ‘eye contact’ and ‘facial expressions’, they may not have
met the conditions for qualifying them as aizuchi, unlike‘nodding’, which is also a nonverbal expression. The reason forthis is that ‘paraphrasing’ is perceived as a confirmation question,
not aizuchi, as seen in the analysis.
Therefore, even though the sample size is small, it can be
expected that the above trends will apply to the way otherJapanese learners of English perceive aizuchi. Thus, in English
education to Japanese learners of English, it is important to avoid
simply linking terms such as rejoinders (Kehe & Kehe, 1994),
back channels (Yngve, 1970), and reactive tokens (Clancy et al.,1996) as Japanese translations of aizuchi, without taking into
account that each learner has a different perception of aizuchi.
However, since English education in Japan does not use English
grammatical terms as they are (for example, ‘subject’ is translated
as ‘shugo’ in Japanese and used for instruction), it is inevitablethat the aforementioned terms are linked to aizuchi, which hassimilar meanings in Japanese grammatical terms, and there aresome examples of such instruction at present. Considering this,when teaching English aizuchi, it is necessary to add
supplementary explanations in order to change the perceptions of
native Japanese speakers of aizuchi for English conversation. For
example, in English conversation, the listener’s eye contact
replaces nodding and verbal aizuchi, but using too many aizuchi
such as nods, “uh-huh”, and “yeah” interferes with the speaker’s
ability to make eye contact. This would explain why eye contact
is so important in English conversation. Aside from eye contact,
it is also effective to show that you are interested in what the
speaker is saying by moderately repeating or paraphrasing what
the other person is saying, and you can explain that you can use

43MoodleMoot Japan 2020 Proceedings

this as aizuchi.
3.2 The results of aizuchi’s pre-test and post-test andthe results of the interview survey
The tests on aizuchi and interviews in this study were basedon Utashiro and Yanagisawa (2009)’s study. The cognitive
alteration model of L2 learners in listener behavior proposed by
Utashiro and Yanagisawa (2009) was modified for this study as
shown in the figure below.

Table 2 Results of the interview survey*
Source: Prepared by the author
The 1st Layer[1]
Awareness

The 2nd Layer

The 3rd Layer

Regardingconversation
matching

I realized that there is a lot of turn-taking in English
conversation.

Regarding aizuchi

I realized how often the Japanese use aizuchi.

I realized that the aizuchi is useful for conversation.

I realized that there are few types of Japaneseaizuchi.
I realized that there are many types of aizuchi in
English.
I found it easy to understand the reactions ofEnglish-speaking people.
I realized that many English aizuchi consisted ofmore than two words.
I realized my own aizuchi style.
I found myself nodding my head too much.
I realized that I use my aizuchi less often.
I realized that there is a difference between Japaneseand non-Japanese people in the way they use their
aizuchi.
I realized the difference between myself and others’
aizuchi.
I realized that I could show my intention to listen byusing the aizuchi.
I noticed that there is a difference between aizuchi inJapanese and that in English.
Regardingdifficulties with theaizuchi

I realized difficulties with the aizuchi.
I found it difficult to fix the habit of the aizuchi of
my mother tongue.
I found it difficult to tell if it is aizuchi or not.

Figure 5 A cognitive alteration model of L2 learners in aizuchi(revised)
Source: Prepared by the author with reference to Utashiro andYanagisawa (2009).
Since kikite-hannou (listener response) is a term that Utashiro(2006) paraphrased by interpreting aizuchi in a broad sense, the‘listener response’ in Utashiro and Yanagisawa’s (2009) cognitive
alteration model is replaced by ‘aizuchi’. Utashiro andYanagisawa (2009) explained that (1)’ the instruction on thelistener response has an effect on (2)’ learners’ pragmaticawareness, and the “awareness of the listener response andconversation” found in this pragmatic awareness “consists ofpositive and negative awareness of the importance of the listenerresponse and the difficulty of its use”, and this is also true for theteaching of aizuchi in this study. (1) learners’ (2) pragmaticawareness generated by the instruction on aizuchi included
awareness related to aizuchi and conversation as “[1] Awareness”
in Table 2 shows. And likewise, the awareness consists of theimportance of the aizuchi and the difficulty of its use. In addition,these realizations led to a change in the learners’ awareness ofwords and phrases, and as Table 2 “[2] Change in awareness”
shows, awareness in aizuchi and conversation construction
improved.
In addition, in (3) learning, the change in (2) their pragmaticawareness resulted in learning to consciously use aizuchi insideand outside the classroom while observing and comparing theconversations and aizuchi of Japanese and English speakers, as
indicated in Table 2 “[3] Learning facilitation”.

ⓒ2020 Moodle Association of JapanI realized that I was not good at aizuchi.
Regarding study
methods

I realized the effect of looking at myself objectively
as recorded.
I realized how difficult it is to practice while paying
attention to my fine movements.

[2] Change
in awarenessRegarding aizuchi

I came to think that the aizuchi is important.
I want to be able to use the aizuchi well.
I want to communicate my feelings well.
I became aware of aizuchi during conversation.
I will try to use the aizuchi I’ve learned.

Regardingconversation

I became aware of not only the speaker but also thelistener.
I came to listen intently to what the other person was
saying.
I became more aware of the listener and the way of
aizuchi in Japanese.

[3] Learningfacilitation

Observation andcomparison of
conversations andthe aizuchi

I compared the aizuchi between Japanese andEnglish speakers.
I looked at what English-speaking people thought ofJapanese aizuchi?
I observed English conversation on YouTube.
I looked up the aizuchi that I don’t know how to use.
I used the aizuchi that learned outside of theclassroom.

The use of aizuchi

I listened intently to what the other person was saying.
I listened to the other person with an awareness of theaizuchi.
I tried to avoid the habit of the aizuchi of my mothertongue.

Learning about
aizuchi

I reviewed what I learnt in the classes with the handout
on aizuchi.

* The above Table summarizes the coding of the data obtained from the interview
survey. The codes were named by reference to Utashiro and Yanagisawa (2009),
and the 1st layer was categorized into three categories. The code names in the 1st
layer are a summary of the code names in the 2nd layer, and the code names in the
2nd layer are a summary of the code names in the 3rd layer.

44

MoodleMoot Japan 2020 Proceedings

class was sustained over a longer period.
It was found that repeating (2) and (3) increased learners’
pragmatic abilities to use (4) aizuchi as shown in Table 3, and thatthe cognitive alteration model proposed by Utashiro andYanagisawa (2009) can be applied to teaching aizuchi to Japaneselearners of English.

Table 3 Results of the aizuchi test
Source: Prepared by the author
Partici
pants

H

Y

N

M

S

T

Test
(pre/post)

Total
Score

Understands
what thespeaker says

Use proper
rejoinders*accordingto thecontext

Appropriat
eness oftiming ofrejoinders

Appropriat
eness offrequencyofrejoinders

4.2
Future Directions for Teaching and Research
It is expected that English education in Japan in the future
will shift to a more communicative approach in which dialogue
is emphasized. When this happens, it is necessary to teach not
only the skills as a speaker, but also the skills as a listener inteaching conversation. For this purpose, based on the results ofthis study, it is necessary to make the syllabus and rubric forteaching aizuchi more concrete, and to revise the teachingmaterials and online assignments used in class, and to take datafrom a larger number of learners to improve the quality of thequantitative data. Eventually, the syllabus will be extended toteach not only the most basic strategy of the listener’s behavior,aizuchi, but also to teach the listener’s behavior in general, whichis expected to contribute to English education in the future.

Pre

18

2

2

2

2

Post

20

2

2

3

3

Pre

9

1

1

1

1

Post

19

2

2

2

2

Pre

18

2

2

2

2

Post

18

2

2

2

2

Pre

4

0

0

0

1

Post

18

2

2

2

2

language education). Japanese language education. Special issue,

Pre

3

1

0

-1

1

The state of the art in second language acquisition and instruction

Post

9

1

1

1

1

research: A guidepost to Japanese language education for the new

Pre

9

1

1

1

1

Post

18

2

2

2

2

Do youfeel he/she
is easy totalk to if
he/shewere yourlistener

References
Chen, T. (2002). Existing research of Japanese backchannels: An
overview for the future (Part 4 Conversation research and Japanese

century, 222-235.
Clancy, P. M., Thompson, S. A., Suzuki, R. & Tao, H. (1996). The
conversational use of re-active tokens in English, Japanese andPartici
pants

H

Y

N

M

S

T

Varietyofrejoinders

Appropriaten
ess offrequency of
nodding

Appropriat
eness ofeyecontact

Show
properemotion(such asfacialexpressionorlaughter)

Pre

2

2

2

2

2

Post

2

2

2

3

3

Pre

2

1

1

1

1

Kurosaki, Y. (1987). The use and function of chiming-in in the process

Post

3

2

2

2

2

of conversation: on the Takino dialect, Hyogo prefecture. Studies in

Pre

2

2

2

2

2

Post

2

2

2

2

2

the Japanese language 150, 109-122.

Pre

0

1

1

1

0

Post

2

2

2

2

2

Pre

1

1

0

0

0

Post

1

1

1

1

1

Amsterdam, the Netherlands: John Benjamins, pp. 43-45.

Pre

1

1

1

1

1

Malinowski, B. (1923). The Problem of Meaning in Primitive

Post

2

2

2

2

2

Test
(pre/post)

Mandarin. Journal of Pragmatics 26, 355-387.
Hinkelman, D. (2018). Blending technology in second language
classrooms. London: Palgrave-MacMillan.
Horiguchi, S. (1988). Listener’s verbal behavior incommunication..Journal of Japanese Language Teaching 63, 13-26.
Kehe, D. & Kehe, P. D. (1994). Conversation Strategies. Vermont: Pro
Lingua Associates.

Li, S. (2013). Amount of practice and pragmatic development ofrequest-making in L2 Chinese. In N. Taguchi & J. Sykes (Eds.).
Technology in Interlanguage Pragmatics Research and Teaching.

Languages. In C. K. Ogden, & I. A. Richards (Eds.), The Meaningof Meaning, London: K. Paul, Trench, Trubner, 296-336.

4. Conclusion
4.1
Limitations of this study
This study was limited to a qualitative analysis of a small
number of students because it was necessary to analyzetranscribed speech data of activities in the classroom. Therefore,
because the data collected is quantitatively scarce, it would benecessary to obtain data for a larger number of participants inorder to show more broadly applicable results. In addition, since
the period between the pre-test and post-test of the aizuchi wasless than one month, the present study was unable to showwhether the improvement in the participants’ pragmaticawareness and pragmatic abilities brought about by the aizuchiⓒ2020 Moodle Association of Japan

Maynard, S. K. (1990). Conversation Management In Contrast: Listener
Response in Japanese and American English. Journal of Pragmatics
14 (3), 397-412.
Maynard, S. K. (1993). Conversation Analysis. Tokyo: Kuroshio.
MEXT (2017a). The course of study for elementary school,<http://www.mext.go.jp/component/a_menu/education/micro_detail/__icsFiles/afieldfile/2017/05/12/1384661_4_2.pdf> (accessed
2019/06/30).
MEXT (2017b). The course of study for joiner high school,<http://www.mext.go.jp/component/a_menu/education/micro_detail/__icsFiles/afieldfile/2017/06/21/1384661_5.pdf> (accessed
2019/06/30).
MEXT (2018). The course of study for high school,45

MoodleMoot Japan 2020 Proceedings<http://www.mext.go.jp/component/a_menu/education/micro_detail/Acknowlegements__icsFiles/afieldfile/2018/07/11/1384661_6_1_2.pdf> (accessed
2019/06/30).
Miller, L. (1987). Verbal listening behavior in conversations between
Japanese and Americans. In J. Blommaert & J. Verschueren (Ed.),
The pragmatics of intercultural and international communication:
selected papers of the International Pragmatics Conference,
Antwerp, August 17-22, 1987 (volume III), and the Ghent
Symposium on Intercultural Communication, pp. 111-130.
Amsterdam: J. Benjamins.
Neuliep, J. W. (2009). Intercultural communication: a contextual
approach (4th ed.). Los Angeles, CA: Sage.
North, B., Piccardo, E. & Goodier, T. (2018). Common European
Framework of Reference for languages: learning, teaching,assessment: Companion Volume with new descriptors, Strasbourg:
Council of Europe Publishing.
Otsuka, Y. (2017). Back-channeling expressions used by native speakers
of Japanese in English conversations: conversation management

The author is grateful for the great assistance of his supervisor
Prof. Yasuchi Kawai, its sub-supervisors Assoc. Prof. Miki Hirata
and Assoc. Prof. Tomohisa Yamada in Graduate School ofInternational Media, Communication and Tourism Studies,
Hokkaido University, the careful check of English writing of Prof.
Don Hinkelman in the Department of English, Sapporo Gakuin
University and the author’s brother Alcide Guillory III, and theparticipation in the study of students in Sapporo Gakuin
University. Portions of this paper include English translations of
the author’s unpublished Masters thesis titled, “What JapaneseEnglish Learners Recognize As Aizuchi While Observing A
Listener in English Conversation: Introducing Blended-learning
Giving Them Awareness toward Listeners in Conversation”,
which was submitted on 7th May, 2020 to the Graduate School ofInternational Media, Communication and Tourism Studies,
Hokkaido University.

strategy perspectives. The annals of Gifu Shotoku Gakuen
University Faculty of Foreign Languages 46, 75-86.
Otsuka, Y. (2015). Nichi/Eigo no Shotaimen sannin kaiwa ni okeru
aizuchi [Backchannels in firstencounter conversations among threeparticipants in Japanese/English]. In S. Tsuda, Y. Murata, M. Otani,
Y. Iwata, Y. Shigemitsu, & Y. Otsuka (Eds.), A Contrastive Study ofJapanese and English Spoken Discourse Styles: Towards Effective
English Communication Education (169–192). Tokyo: Hitsuji Shobo.
Shigeta, K. (2014). Flipped classroom: educational reform utilizing
information technology. Journal of Information Processing andManagement 56 (10), 677-684.
Utashiro, T. (2006). The CALL material for learning Japanese “reactive
tokens”: Discourse Ware. Graduate School of International Media,
Communication and Tourism Studies (unreleased).
Utashiro, T. & Yanagisawa, M. (2009). The effects on Japanese as asecond/foreign language learners in teaching listener's pragmatic
skills: cognitive alteration model of L2 learners in listener behavior
through instruction of reactive tokens. Teaching and Learning
Language in Society 12 (1), 93-107.
Vargas, M. F. (1986). Louder than Words: An Introduction to Nonverbal
Communication, Ames: Iowa State Univ. Press, p. 10.
Yngve, V. H. (1970). On getting a word in edgewise. Papers from the
Sixth Regional Meeting of the Chicago Linguistics Society 6, 657677.

ⓒ2020 Moodle Association of Japan46

MoodleMoot Japan 2020 Proceedings

Appendix

Figure 7 Handout materials
Source: Prepared by the author

Figure 6 Video script
Source: Prepared by the authorⓒ2020 Moodle Association of Japan47

MoodleMoot Japan 2020 Proceedings

Figure 7 Handout materials
Source: Prepared by the author (continued)ⓒ2020 Moodle Association of Japan

48