モバイルデバイスを用いたプレゼンテーション相互評価と振り返りの信頼性
The Reliability of Peer Assessment and Review Using Mobile device in Academic Presentations
北村 雅則

山口 昌也

Masanori KITAMURA*1

Masaya YAMAGUCHI*2*1 南山大学*1Nanzan University*2 国立国語研究所*2National Institute for Japanese Language and Linguistics＜あらまし＞ プレゼンテーションの際に行った，モバイルデバイスを用いたリアルタイムの相互評価とその結果をもとにした振り返りについて，それらの信頼性を分析した。その結果，リアルタイ
ムアノテーションは 632 箇所中 590 箇所（93.4%）が妥当，振り返り時のコメントは 64 箇所中 54 箇所（84.4％）が妥当なものであった。不適当なものは，アノテーションの失敗やコメントのしかたといった運用上の問題であり，運用が適切に行われれば相互評価や振り返りの信頼性は高いと言える。
＜キーワード＞ 協調学習，プレゼンテーション，相互評価，振り返り，モバイルデバイス

１．はじめに
我々は，ディスカッションやプレゼンテーションにおける相互評価や振り返りを支援するツールとして，PC で使用する FishWatchr（以下，FW と称す）とスマートフォンなどのモバイルデバイスで使用する FishWatchr Mini（以下，FWMと称す）を開発し，授業の実践研究を行ってきた。
FW や FWM を用いてプレゼンテーションの相互評価と振り返りをする際，それらを有効なものとするためには，相互評価と振り返りが妥当であること，つまり，信頼性が高い方がよいが，現状ではそれについて確認できていなかった。
相互評価の信頼性に関しては，鈴木他（2017）や長橋（2018）がライティングに関する分析を行っているが，プレゼンテーションについては，ライティングよりも絶対的な評価を見出しにくい。本研究では学習者が FWM によって付与したアノテーションと FW を用いて行った振り返りのコメントについて，教師の視点から妥当性を評価した結果を述べる。

２．分析
プレゼンテーションと振り返りの実践概要を以下に示す。
1. 受講生 17 名を，3〜4 名の 5 グループにわけたグループプレゼンテーションを行う。
2. 聴衆は，FWM を使用して，「話し方・アイコンタクト・ジェスチャー・工夫・スライド・（内容の）新規性・（内容の）有用性」の６種類について，「良い／惜しい」をリアルタイムでアノテーションする。
3. プレゼンテーションをした次の回の授業で，FW を使用し，自分が担当したプレゼンテーションの映像とアノテーションを同期したデータを見る。その範囲につけられたアノテーション（種類＋良い／惜しい）のうち，振り返りをする者が納得できたもの 5 箇所程度について，どのように良かった、または、惜しかったのか，その理由をコメントする。
4. FWM によるアノテーションがあった箇所以外について，振り返りをする者が改善の必要があると気づいた場合，そこを「要改善」箇所としてアノテーションし，コメントを残す。
以上のような相互評価，振り返りの過程において，付与されたアノテーションとコメントの妥当性を教師が判定した。
表 1 は，プレゼンテーション中の聴衆が行ったリアルタイムアノテーションの種類と属性（良い／惜しい）の妥当性を判定したものである。ある時点において，異なる種類のアノテーション（例：聴衆 A は「話し方（良い）」，聴衆 B は「スライド（惜しい）」など）が存在するが，判定の際に映像を確認して，そのようなアノテーションを行った意図が不明でない限り妥当なアノテーションとした。
表１ アノテーションの妥当性
妥当
不適当
計51333546
良い77986
惜しい13114
要改善60343646
計聴衆によるアノテーションは，「要改善」を除いた 632 箇所中 590 箇所（93.4%）
が妥当であった。
不適当と判定したものは 42 箇所であったが，このうちアノテーションの意図が不明であったものが 36 箇所あった。これらはアノテーション時の失敗であったと推察される。また，同時間帯に同種類のアノテーションが複数存在した場合があったが，属性が異なっていたもの（例えば，話し方（良い）と話し方（惜しい）が混在したが，判定としては話し方（良い）であったもの）も存在し，それらは 6 箇所であった。
表 2 は，表 1 の「良い／惜しい」の計 632 箇所のうち，振り返りの際コメントが残された 64箇所について示すものである。
（1）アノテーショ
ン（表中では「アノ」と称す）の「良い／惜しい」とその妥当性，（2）コメントの妥当性の関係性を表している。
表２ アノテーションとコメントの妥当性
コメント妥 コ メ ン ト 計
当不適当
28
937
良い
アノ妥当
000
良い
アノ不適当
26026
惜しい
アノ妥当
011
惜しい
アノ不適当
541064計
アノテーション・コメント双方が妥当であるもの
は，アノテーションの属性の「良い／惜しい」を合わせて 64 箇所中 54 箇所（84.4％）であった。
コメントが不適当な全 10 箇所のうち 9 箇所については，アノテーションに対する振り返りのコメントになっていないことから不適当としたものである（例えば，アノテーションは話し方（良い）であったが，コメントはスライドに関する内容というようなものであった）。残りの 1 箇所は，話し方（良い）というアノテーションに対して，それが妥当であるにもかかわらず，「少し早口のため聞き取りづらい」というコメントが残されていた。映像を見る限り，振り返りを行ったプレゼンターが全体的に早口であるとは感じられず，また，アノテーション時点においても，特別早口になったとは思われなかったため，コメントが不適当であると判断した。これは，他者からの評価と自己評価にずれが生じているものであるが，他者の評価を受けて，自己評価を過剰に下げた例と言える。
表 3 は，FWM によるアノテーションはなかったが，振り返りの際に映像を見返して自分自身で気づいた要改善箇所とそのコメントの妥当性について判定したものである。
表 3 要改善箇所とコメントの妥当性
コメント妥 コ メ ン ト 計
当不適当
13013
要改善箇所
妥当
101
要改善箇所
不適当
14014計
要改善箇所とされた 14 箇所すべてについて，反省や改善に向けたコメントの内容に問題は見られなかった。
「要改善箇所・不適当」とした 1 箇所については，「自分的に新規性はあまりないと思ってたのでよかった」というコメントが残されていた。そのコメントが付された 3 秒後に，「新規性（良い）」というアノテーションがあったた
め，実際は振り返りの際に発見した「要改善箇所」
ではなく、振り返りの意図や振り返り時に行う作業の理解不足の可能性もあるが，表 2 の箇所で述べた，自己評価を過剰に下げる例とは異なり，他者からの評価によって正当な自己評価ができるようになった例と言える。

３．おわりにプレゼンテーションの相互評価と振り返りを検証した結果，不適当と思われるものは，アノテーションの失敗やコメントのしかたの問題であり，適切に行われれば相互評価や振り返りの信頼性が高いことが分かった。今後，こうした実践上の問題を解消し，FMW と FW を用いた相互評価と振り返りの効果の分析につなげたい。

謝辞
本研究は，JSPS 科研費 17K01105 の助成の成果を受けたものである。

参考文献
長橋雅俊（2018）「日本人 EFL 学習者へ相互評価を導入したライティング授業の実行可能性と教育的効果」，Bulletin of Seitoku UNIVERSITY,

Bulletin of Seitoku University Junior College(29), pp.45-52
鈴木伸子・石川奈保子・向後千春（2017）「大学院のオンライン授業におけるレポート相互評価の実践—ルーブリック活用が評価の信頼性・妥当性におよぼす効果の検討—」『コンピュータ＆エデュケーション』43，pp. 43-48