P1-22

評価歪みの低減を目的としたピアレビューシステムの設計と開発
Design and development of a peer review system for the purpose of reducing
evaluation distortion
*1*2

*1

*3

本村 康哲 , 稲葉 利江子 , 毛利 美穂 , 小林 至道
*2
*1
*3
*1
Yasunori MOTOMURA , Rieko INABA , Miho MOHRI , Norimichi KOBAYASHII*1*2*3
関西大学, 津田塾大学, 青山学院大学*1*2*3
Kansai University, Tsuda University, Aoyamagakuin University
Email: motomura@kansai-u.ac.jp
あらまし：授業でピアレビューを実施するためのシステムを開発した．ピアレビューでは「お互い様効果」「ハロ効果」などの評価の偏りがあることが知られているが，本システムではこれらの歪みの低減を目的として設計を行った．レビューはレビュアによってオンラインルーブリックを用いて実施され，その結果を集計してレビュイに即座にフィードバックすることが可能である．
キーワード：ルーブリック, ピアアセスメント, グループワーク評価, LMS, e ポートフォリオ

1.

はじめにライティング教育において，読み手からのフィードバックを受け取る機会が少ないことが課題のひとつとなっている．そこで学生のピアレビュー（相互評価）による学習活動が行われているが，ルーブリック等の評価指標の明瞭度や，レビュア側の偏見と客観性の欠如によって，評価の妥当性が担保されない可能性が指摘されている(1)．偏見がある場合には，評価が誇張され，「ハロ効果(halo effect)」と呼ばれる．
本稿では，学生のピアレビューにおいて，認知的偏りのひとつである「ハロ効果」を低減させることを目的としたピアレビューシステムを設計・開発したので報告する．

2.

評価のひずみの要因

ピアレビューの偏りについては「お互い様効果」(2)がよく知られているが，この他に「ハロ効果」がある．ハロ効果とは，最初の印象に引きずられて，その後の評価に影響を与える認知的偏りのひとつである．心理学者のダニエル・カーネマンは，2 つの課題（課題 1 と課題 2）を含む学生レポートを評価した経験から，ある学生の課題 1 と課題 2 を連続して評価した場合と，最初にすべての学生の課題 1 だけを評価した後に課題 2 を評価した場合について，明らかな違いがあることを指摘している(3)．つまり，前者の場合，課題 1 に対して高い評価を付けた際，課題 2 についても高い評価を付ける傾向にある（最初の印象の重みが増し，後の情報はほとんど無視されることさえある），ということであり，その逆もあり得る．
さらに，評価に慣れていない学生の場合，明瞭な客観的指標を使用したとしても，ピアレビューの結果にこの偏りが生じる可能性がある．たとえば，複数観点を持つルーブリックを使ってライティング課
題を評価する場合，最初に評価した観点の影響を受けて，他の観点の妥当性が低下してしまう可能性は否定できない（ハロ効果 1）．
また，カーネマンはジェームズ・スロウィッキーの『「みんなの意見」は案外正しい』(4)を引用しながら，複数の情報源からエラーの相関性を排除し，有効な情報を得るためには，情報源を相互に独立させておく必要があると主張している．グループワーク内でのピアレビューは，お互い様効果だけでなく，ワークの進展とともにメンバ間で特定の価値観が形成されて，ルーブリックの解釈に認知的偏りが生じることもある．このため，ピアレビューにおけるレビュアは，情報が共有された協働グループ内からレビュアを選定するのではなく，協働グループ外の異なるグループからレビュアを選定することが望ましいことを示唆している（ハロ効果 2）．
これら 2 つのハロ効果による評価の偏りを低減させることを目的として，ピアレビューシステムの設計と実装を行った．

3.

システム概要ピアレビューシステムは，OSS のライティング包括支援システム TEC-system のポートフォリオ機能である TEC-folio(5)上に構築した．ピアレビューは，PC 教室以外でも利用することを想定し，スマートフォンに対応したウェブアプリケーションとした．
ライティングの授業構成としては，ライティング課題について，まず授業において協働グループでテーマについて議論させ，授業外学習として各自でテーマに関するレポートを執筆させる．そして次回以降の授業でレポートをピアレビューさせることを想定している．
3.1 クラス登録（教員）
学事データ（ユーザ ID，パスワード，履修登録情報等）と連携できない場合を想定し，教員が Excel形式のクラス名簿を作成し，クラス情報をはじめ履修者情報などをインポートすることで，登録ができる．

― 43 ―

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

図 1 ルーブリック

図 2 評価結果

図 3 人毎の評価

図 4 観点毎の評価

おわりに3.2 出欠名簿（教員）5.

授業当日にピアレビューグループ編成を行うための出欠名簿を作成する機能である．

ハロ効果の抑制を目的としたピアレビューシステ
ムの設計と開発を行った．
秋学期以降，実際のライティング指導授業においてこのシステムを用い，ハロ効果の抑制が実現できるかの実証実験を行う予定である．
課題としては，ハロ効果の抑制を行うとレビュアの認知的負担が増加するため，タスク配分を考慮する必要がある．

3.3 課題収集・提出（教員・学生）
教員は学生に課題を提示し，学生は課題を提出する機能である．提出された課題は，協働グループおよびピアレビューグループにおいて共有され，ピアレビューの際にも参照できる．
3.4 ルーブリック（教員・学生）
TEC-folio のオンラインルーブリックを読み込んで，ルーブリックの閲覧およびルーブリックによるピアレビューに用いることができる(図 1)．
3.5 グループ作成・閲覧（教員・学生）
教員は協働グループとピアレビューグループを作成する．また，学生は所属グループの確認を行う．
3.6 ピアレビュー（学生・教員）
学生レビュアによるピアレビューの実施，および，学生レビュイによるピアレビュー結果の閲覧を行う(図 2)．教員も結果を確認することができる．

4.

ハロ効果の抑制

ハロ効果 1 の抑制を行うため，ルーブリックの評価を，人(レビュイ)毎に行う場合と観点毎に行う場合の選択ができるようにした(図 3,4)．具体的には，ピアレビューグループを作成する際にトグルスイッチで設定を行う．OFF の場合は，1 人のレビュイに対し，ルーブリックを用いて連続した観点で評価を行う(図 3)．ON の場合は，1 つの観点に対して複数のレビュイについて順に評価を行う(図 4)．
ハロ効果 2 の抑制については，グループ編成を行う際に，協働グループと評価グループを異なるメンバ編成を行うことで対応できるような仕組みを実現した．

謝辞
本研究は JSPS 科研費 18K02843 の助成を受けたものです．

参考文献(1) David Shatz, “Peer Review: A Critical Inquiry”, Rowman& Littlefield Publishers, Inc.(2004)(2) 藤原 康宏, 大西 仁, 加藤 浩, “公平な相互評価のための評価支援システムの開発と評価 : 学習成果物を相互評価する場合に評価者の選択で生じる「お互い様効果 」 ”, 日 本 教 育 工 学 会 論 文 誌 , 31 巻 2 号 ,pp125-134(2007)(3) ダニエル・カーネマン, “ファスト＆スロー(上)”, 早川書房 (2012)(4) ジェームズ・スロウィッキー, “「みんなの意見」は案
外正しい”, 角川文庫(2009)(5) 関西大学ライティングラボ・津田塾大学ライティングセンター編, “大学におけるライティング支援―どのように〈書く力〉を伸ばすか”, 東信堂(2019)― 44 ―