プレゼンテーションの相互評価に見られる相反するアノテーションの分析
Analyzing the Case of Differing Peer Review Annotations of on Academic Presentation*1 北村*2 山口雅則昌也*1Masanori KITAMURA*2Masaya YAMAGUCHI*1 南山大学*2 国立国語研究所*1Nanzan University*2National Institute for Japanese Language and Linguistics＜あらまし＞ プレゼンテーションの際，モバイルデバイスを用いたリアルタイムの相互評価（アノテーション）を行い，同時間帯において「良い／惜しい」という評価の種類が相反する場合について分析した。当該事例は 39 単位あり，その中で単純なミスに起因するものが 10 例，場面の相違が 1 例，着眼点の違いによるものが 28 例あり，ミス以外については妥当な評価であったことが判明した。
＜キーワード＞ プレゼンテーション，相互評価，アノテーション，授業実践，授業分析

１．はじめに我々は，初年次教育のプレゼンテーション学習の際， FishWatchr Mini（FWM）という学習支援システムを用いて，リアルタイムの相互評価をし，その後 FishWatchr （FW）を用いて振り返りを行う授業実践をしてきた。聴衆（評価者）がFWM を用いて観察する際，同時間帯に相反するアノテーションを行う場合がある。発表者は発表後，FW 上でアノテーションの結果とプレゼンテーションの録画を同期したものを見て振り返りを行うが，評価が割れたアノテーションは，発表者にとって取り扱いが難しいという問題がある。
そこで本研究では解決の糸口を探るべく，同時間帯の相反するアノテーションについて，（１）評価者の同異と（２）評価が割れた理由について分析する。

２．実践の概要と分析の方針
授業実践の概要は以下の通りである。
・ いわゆる「基礎ゼミ」を受講する大学１年生
17 名を，3〜4 名の 5 グループにわけグループプレゼンテーションを行う。
・ 聴衆は FWM を使用して，「【観点】：話し方，アイコンタクト，ジェスチャー・工夫，スライド，（内容の）新規性，（内容の）有用性」について，「【種類】：良い／惜しい」をリアルタイ
ムでアノテーションする。
北村・山口（2020）では，FWM を使用して行われたアノテーション全体の信頼性として，632箇所中 590 箇所（93.4%）が妥当であったことを述べた。この分析を発展させ，（Ａ）すべての【観点】のアノテーションから【種類】「惜しい」を抽出し，（Ｂ）その前後 3 秒間に同じ【観点】のアノテーションで【種類】「良い」が付与された場合を対象に，上記（１）（２）について考察する。

３．分析
今回アノテーションデータを得た授業実践から，「惜しい」が付与された箇所の前後３秒間に１つ以上のアノテーションが付与された箇所の範囲（以下，単位と称す）は 120 単位あった。このうちの 39 単位には，同じ【観点】のアノテーションで【種類】が異なるもの（例：3 秒間に「話し方・良い」と「話し方・惜しい」）があった。
表１は，この 39 単位について評価者の同異を【観点】ごとに示したものである。表中の「話・ア・ジ・ス・新・有」は先に示した６種類の【観点】を，「同・異」はアノテーションが同一人物か，異なる人物によるものなのかを表す。
表１ 【観点】別の評価者の同異話

アジス

新有

同000244異592931

同一人物によって同【観点】・異【種類】のアノテーションが付与された場合は 10 単位あり，「スライド・新規性・有用性」であった。これを要因別に分類したものが表２である。10 単位に見られるアノテーションの【種類】が割れた要因は，ミスと着眼点の相違に分類できる。さらに，ミスには，操作ミスに起因するものと，先に付したアノテーションを考え直した結果，【種類】を変更したものに分かれる。前者の「操作ミス」は２つのアノテーション時刻の差が０〜１秒であるが，後者の「考え直し」では３〜６秒の間に異なる【種類】のアノテーションを行っている。いずれの場
合も，発表者の動作や発表内容に大きく変化はな
く，このタイムラグは先に付したアノテーションを変更するために要したものと考えられる。
表２ 【種類】の乖離の要因（同一評価者）
ス

新有

ミス

223

着眼点

012

着眼点の相違は，新規性・有用性という内容面の評価に見られる。新規性と有用性には多面性があり，話を聞きながら聴衆がこれらの判断を行うことは時に困難である。例えば，一見して新規性・有用性を備えた内容であり「良い」と判断（アノテーション）しても，実はその内容が難解であったり，説明が伝わりにくかったりして「惜しい」の方がふさわしいと考え直した場合である。この
場合もアノテーション時刻の差が１〜３秒であったため，ミスの可能性もありうるが，発表の録画と照合してアノテーションを検証したところ，「良い」「惜しい」のどちらにも捉えられる場面であったため，着眼点の相違とした。
表３は，異なる評価者による【種類】の乖離についてである。「ミス・着眼点」は表２と同じもの，「場面」とは場面の相違を表し，発表中の話題・動作が始めのアノテーションのときとは異なることを表す。異なる人物による異なる【種類】のアノテーションの場合，「話し方」はすべてに当てはまるが，それ以外の【観点】はすべて着眼点の相違であった。
表３ 【種類】の乖離の要因（異なる評価者）
話アジス

新有ミス

300000

着眼点

192931

場面

100000

ミスは「話し方」だけにあり 3 件とも 2 人の評価の【種類】が割れたものであった。これらはすべて「話し方」自体に大きな問題はなかったものの，発表者が時々資料に目を落とすことがあった場面に付されたものであった。そのため「話し方」の【種類】の相違というよりは「アイコンタクト・惜しい」の選択ミスだったと考えられる。
「着眼点の相違」としては，まず，スライドの場合を例に挙げる。スライドの構成がキーワードのみを示したシンプルなものであった場合，それを「良い」と評価する者もいれば，情報や説明が足りず「惜しい」と評価する者もいて【種類】が割れたというものである。次に「新規性・有用性」についても，表２の場合と同じく，「良い」・「惜しい」のどちらにも捉えられるものであった。
最後に，「場面の相違」については，発表者がある話題を一区切りする前の場面と，次の話題に移る手前で言葉を詰まらせたという場面でのアノテーションであった。これについては同時間帯であったとしても，発表者の振るまいとしては異なっており，【種類】が割れたものではなく，それぞれが妥当な評価であったと言える。
以上，表２，３を合わせ，ミスが 10 例，着眼点の相違が 28 例，場面の相違が１例となり，【種類】が相反してもミス以外の 29 例が妥当な評価であった。

４．おわりに同時間帯に異なる【種類】のアノテーションが付された箇所について，評価者の同異とその原因を考察した。【種類】が割れても概ね妥当な評価であったとはいえ，アイコンタクトやスライドといった着眼点の違いによって【種類】が割れやすい【観点】については，アノテーションの【観点】を見直したり，リアルタイムではなく発表を通した全体的な評価をアノテーションできるようにしたりするなど，相互評価の結果が発表者にとって有益なものとなるよう改善策を模索したい。

謝辞
本研究は，JSPS 科研費 20K03116 の助成を受けたものである。

参考文献
北村雅則・山口昌也（2020）「モバイルデバイスを用いたプレゼンテーション相互評価と振り返りの信頼性」，『日本教育工学会 2020 年春季全国大会プログラム集』，pp.339-340