## ALGORITMA Journal of Mathematics Education (AJME
) http://journal.uinjkt.ac.id/index.php/algoritma Vol. 3 No. 2 – 2021, hal. 101-115

## INOVASI ASESMEN BERMAKNA DI ERA NEW NORMAL: PENILAIAN PORTOFOLIO BASED ON COVID-19 CASE DALAM PERKULIAHAN ASESMEN PEMBELAJARAN MATEMATIKA

## Eka Sulistyawati
IAIN Kediri, Jl. Sunan Ampel No.7, Ngronggo, Kota Kediri, Jawa Timur, Indonesia Email: ekasulistyawati@iainkediri.ac.id

## Abstract
Portfolio  is a  comprehensive assessment  that  is used  to monitor students progress  and  assess student learning outcomes. Portfolio assessment based on covid-19 case is a portfolio assessment technique  that  gives  students  opportunity  to  apply  mathematical  material,  namely  inter-rater reliability  to  analyze  cases  related  to  the  effects  of  covid-19.  This  research  is  a  qualitative descriptive  study  with  59  students  of  IAIN  Kediri  as  research  subjects.  To  monitor  students progress and assess student learning outcomes, analytic assessment rubric and self assessment rubric  are used.  The  results showed  that  there were  11 categories of  covid-19  cases  analyzed, namely the number of covid-19 cases, users of land and air transportation, awareness of behavior during New Normal, government and economic assistance, regional vulnerability status, family welfare, users of online meeting applications, visitors to public facilities, sales of communication devices, users of shopping online sites, and sports during the pandemic. In addition, the results showed  that  86.67% of  the  total  students  were  able  to use nominal  and ordinal  categories in calculation process.
Keywords: inter rater reliability, documentary portofolio, covid-19, new normal
Abstrak
Portofolio  adalah  salah  satu  bentuk  penilaian  menyeluruh  yang  digunakan  untuk  memantau perkembangan dan menilai capaian hasil belajar siswa. Penilaian portofolio based on covid-19 case memberikan kesempatan kepada siswa menerapkan materi matematika berkaitan dengan efek dari covid-19. Penelitian ini adalah penelitian deskriptif kualitatif dengan subjek penelitian mahasiswa IAIN Kediri berjumlah 59 mahasiswa. Untuk menilai dan memantau perkembangan hasil capaian belajar siswa mengenai ketrampilan dalam menerapkan inter rater realibility pada kasus akibat covid- 19, digunakan rubrik penilaian analitik dan rubrik penilaian diri. Hasil penelitian menunjukkan, terdapat 11 kategori covid-19 case yakni kasus jumlah kasus covid-19 , pengguna transportasi darat dan  udara,  kesadaran  perilaku  di  masa New  Normal ,  bantuan  pemerintah  dan  ekonomi,  status kerawanan  daerah, kesejahteraan  keluarga, pengguna  aplikasi meeting  online , pengunjung fasilitas umum, penjualan alat komunikasi, pengguna situs belanja online, dan olahraga selama pandemi. Selain itu, sebanyak 86,67% dari jumlah mahasiswa mampu menggunakan nominal dan ordinal kategori dalam perhitungan.
Kata kunci: reliabilitas inter rater , portofolio dokumentasi, covid-19, new normal.
Format  Sitasi :  Sulistyawati,  Eka.  (2021).  Inovasi  Asesmen  Bermakna  di  Era  New  Normal:  Penilaian Portofolio Based on Covid-19 Case dalam Perkuliahan Asesmen Pembelajaran Matematika. ALGORITMA Journal of Mathematics Education, 3 (2), 101-115.
Permalink/DOI: http://dx.doi.org/10.15408/ajme.v3i2.20621
Naskah Diterima: Mei 2021; Naskah Disetujui: Okt 2021; Naskah Dipublikasikan: Des 2021

## PENDAHULUAN
Pandemi Covid-19 telah dirasakan oleh masyarakat di seluruh negara termasuk Indonesia sejak awal tahun 2020 hingga saat ini. Adanya pandemi Covid-19 ini memberikan dampak yang besar di beberapa aspek kehidupan masyarakat yakni pendidikan, kesehatan, ekonomi, sosial dan kemasyarakatan.  Beberapa  istilah  baru  dalam  bidang  kesehatan  yang  berfungsi  untuk mengelompokkan pasien Covid-19 diantaranya ODP, PDP, Suspek, Probable, Konfirmasi, dan Kontak Erat sering terdengar di berbagai media. Kasus Covid-19 ini menarik perhatian media baik cetak maupun media online hal ini terbukti sepanjang tahun 2020 terdapat lebih dari 5 juta berita membahas kasus ini. Pemberitaan ini mengalahkan pemberitaan tentang pilpres 2019. Berdasarkan penelitian Indonesian Indicator (I2) sepanjang tahun 2020 terdapat 10 media online yang paling aktif  memberitakan  kasus-kasus  yang  berhubungan  dengan  Covid-19.  Media-media  tersebut diantaranya adalah Republika.co.id, Tribunnews.com, Kompas.com, Kumparan.com, Detik.com, Antaranews.com,  Sindonews.com,  Suara.com,  Tempo.co  dan  Bisnis  Indonesia.  (Indonesian Indicator: 2020).
Dengan banyaknya media dan pemberitaan mengenai Covid-19 tersebut, tidak sedikit terjadi ketidaksamaan  pemberitaan  antara  satu  media  dengan  media  yang  lain.  Ketidaksamaan pemberitaan  ini  terjadi  diantara  website  corona.jatengprov.go.id,  infocorona.bantenprov.go.id, akun Youtube , BNPB Indonesia, corona.jakarta.go.id dengan covid19.go.id. (Flo: 2021; Darmaji, D: 2020; Garjito, D: 2020). Perbedaan data yang terjadi pada beberapa website menunjukkan kepada masyarakat  bahwa  kurangnya  kesepakatan  antar  satu  website  dengan  website  yang  lain  dalam memberitakan perkembangan kasus Covid-19. Perbedaan data dalam pemberitaan ini disebabkan banyak  faktor  diantaranya  adalah  metode perhitungan  yang  berbeda-beda,  waktu perilisan  data pada  masing-masing  situs  pemberitaan,  perbedaan  variable  (by  KTP  atau  by  domisili),  error sinkronisasi, dan kesalahan pengukuran yang disebabkan oleh orang yang mengukurnya.
Kasus  Covid-19  bukan  hanya  merupakan  kasus  dalam  bidang  kesehatan  saja  melainkan dalam bidang lainnya salah satunya adalah bidang pendidikan. Dalam bidang pendidikan khususnya dalam aspek penilaian pendidikan, perbedaan data dalam pemberitaan Covid-19 ini berhubungan dengan inter rater reliability (kesepakatan antar penilai ). Reliabilitas inter rater mengukur kesepakatan dari  beberapa  penilai  untuk  mengetahui  apakah  prosedur  penilaian  atau  pengamatan  yang dilakukan adalah objektif (Nitko & Brookhart, 2011:74; Gwet, 2014: 4). Derajat kesepakatan dari beberapa  penilai  dapat  dituliskan  dalam  bentuk  skor  korelasi  antar  rater  dan  persentase kesepakatan.  Konsep  reliabilitas  inter  rater  telah  banyak  diterapkan  dalam  berbagai  bidang diantaranya  adalah  dalam  menilai  reliabilitas  instrument  penilaian  apresiasi  seni  musik  di  SMP, instrument  penilaian  psikomotor  dalam  pembelajaran science ,  perbedaan  koefisien  reliabilitas instrument tes matematika kelas IX oleh guru dan dosen matematika, reliabilitas instrument proyek
matematika  pada  materi  relasi  dan  fungsi,  reliabilitas  instrument  penilaian  aktivitas  belajar matematika  SD  berorientasi  pendidikan  karakter,  reliabilitas  konstruk  penilaian  terhadap instrument kepuasan siswa, dan mengindentifikasi critical success factors dalam penerapan e-government (Alfianto,  Florentinus  &  Utomo,  2015;  Fuadi,  Sumaryanto,  &  Lestari,  2015;  Destiniar,  2018; Kusaeri, dkk, 2019; Rusmawan, Candisa & Parwati, 2017; Suharta, 2017; Darmawan, 2014).
Selain adanya perbedaan data kasus covid yang diberitakan oleh satu media dengan media yang  lainnya,  pandemi  Covid-19  juga  membawa  dampak  yang  besar  dalam  berbagai  bidang kehidupan, salah satunya adalah pendidikan. Melalui Surat Edaran No. 15 tahun 2020, pemerintah menghimbau satuan pendidikan untuk melaksanakan kegiatan Belajar Dari Rumah (BDR) yang bertujuan  untuk  tetap  memenuhi  kebutuhan  pelayanan  pendidikan  peserta  didik  dan  tetap memperhatikan  resiko  penularan  Covid-19.  Dengan  adanya  surat  edaran  ini,  semua  aktivitas pendidikan dilaksanakan secara online dengan menggunakan berbagai platform penunjang yang dapat menyediakan sarana belajar yang efektif bagi siswa dengan menu dan fungsi yang mudah digunakan (Hong, 2015: 71).
Transformasi media pembelajaran, pandemi Covid-19 mengharuskan pendidik melakukan penyesuaian metode dan evaluasi pembelajaran yang dapat memberikan kesempatan guru untuk berkolaborasi  dengan  orang  tua  siswa  di  rumah  (Mansyur,  2020).  Dengan  adanya  kondisi  yang demikian,  metode  pembelajaran  dan  evaluasi  yang  baik  yang  dapat  dilaksanakan  selama  BDR adalah pembelajaran dan evaluasi yang memungkinkan siswa untuk menghubungkan satu materi pelajaran dengan materi yang lainnya serta menerapkan konsep dalam berbagai konteks kehidupan secara umum (Bartlett, 2015:95; Ellis(Tobin, Mandernach & Taylor, 2015:3)). Penerapan konsep, ide  dan  teori  dalam  berbagai  konteks  kehidupan  secara  umum  ini  dilaksakan  dalam  rangka memberikan kesempatan pendidik dan siswa untuk berinovasi dan menyadari bahwa konsep, ide dan teori tidak hanya diakui sebagai hal yang ada tetapi juga perlu dicari makna untuk mencapai kemajuan belajar (Mustaghfiroh, 2020). Salah satu teknik evaluasi yang memberikan kesempatan kepada siswa untuk menerapkan pengetahuannya dalam kehidupan secara umum adalah evaluasi dengan konteks Covid-19 mengingat pembelajaran dari rumah dilaksanakan sebagai akibat adanya Pandemi Covid-19.
Pemilihan konteks penilaian/evaluasi dalam proses pembelajaran selama pandemi Covid-19 harus disertai dengan ketepatan pemilihan teknik penilaian. Teknik penilaian yang baik tidak hanya mementingkan hasil akhir tetapi harus mempertimbangkan juga proses yang siswa lakukan selama menyelesaikan tugas. Salah satu jenis penilaian yang dapat menilai proses sekaligus hasil adalah penilaian portofolio (Kubiszyn & Broich, 2013: 203; Popham,1995:164). Jenis penilaian ini harus memuat struktur dan format yang baik, jenis bukti yang harus dikumpulkan dan prosedur penilaian yang  jelas  (Frey,  2018).  Struktur  dan  format  portofolio  yang  baik  dilengkapi  dengan  tujuan
penilaian,  urutan  produk  yang  harus  dikirimkan  dengan  tujuannya  masing-masing,  teknik pengumpulan, cara bukti tersebut dinilai dan batas waktu pengumpulan. Pendidik dapat menilai bukti portofolio siswa berdasarkan 2 hal yakni kelengkapan dan kualitas buktinya. Mengingat siswa harus menyerahkan beberapa bukti dalam penilaian portofolio, pendidik harus menyiapkan kriteria penilaian  yang  jelas  pada  masing-masing  bukti  tersebut.  Salah  satu  alat  penskoran  yang  dapat digunakan pendidik untuk mempermudah menilai bukti kinerja dalam portofolio adalah rubrik.
Terdapat beberapa jenis rubrik yakni diantaranya rubrik analitik dan holistik. Rubrik holistik dapat  digunakan  untuk  menilai  kinerja  secara  keseluruhan/penilaian  secara  umum,  sedangkan rubrik analitik menjelaskan kriteria setiap pekerjaan secara terpisah (Brookhart, 2013: 6). Untuk melaksanakan penilaian portofolio based on Covid-19 case diperlukan rubrik penilaian yang terperinci yakni  rubrik  penilaian  analitik.  Hal  ini  disebabkan  bukti  portofolio  yang  diserahkan  oleh  siswa berbeda-beda yakni terdiri dari pengumpulan konteks dan referensi yang akan ditentukan tingkat kesepakatannya, ketepatan penggunaan kategori dalam perhitungan inter rater reliability, teknik dan kebenaran  perhitungan  koefisien inter  rater  reliability ,  serta  kemampuan memanfaatkan  Ms.Excel dalam perhitungan.

## METODE
Penelitian ini adalah penelitian deskriptif kualitatif dengan subjek penelitian mahasiswa IAIN Kediri berjumlah 59 mahasiswa yang menempuh mata kuliah Asesmen Pembelajaran Matematika. Sebelum  penilaian  portofolio  dilakukan,  materi  mengenai  reliabilitas  antar  rater  telah  dipelajari melalui e-learning. Setelah  mempelajari  materi  tentang  reliabilitas  antar  rater,  tujuan  penilaian selanjutnya  adalah  mahasiswa  mampu  menerapkan  konsep  reliabilitas  antar  rater  untuk menganalisa kasus-kasus yang berhubungan dengan efek Covid-19 dari berbagai sumber. Untuk menentukan persentase kesepakatan antar beberapa sumber dapat dilakukan perhitungan berikut:
Tabel 1. Perhitungan Inter Rater Reliability Kasus Teknik Perhitungan Menggunakan 2 rater (penilai) dan 2 kategori Cohen’s Kappa Scoot’s Pi Coefficient Krippendorff Alpha Coefficient Gwet ‘s AC1 Coefficient G-Index Menggunakan 2 Rater (penilai) dan multiple scale Cohen’s Kappa Scoot’s Pi Coefficient Gwet ‘s AC1 Coefficient Brennan-Prediger Krippendorff Alpha Coefficient Multiple Raters dan Multiple Level Scale Fleiss Generalized Kappa Coefficient Conger’s Generalized Kappa Coefficient Gwet’s AC1 Coefficient Brennan-Prediger Coefficient Krippendorff’s Alpha Coefficient Sumber: Gwet (2014)
Formula yang digunakan pada teknik perhitungan Cohen’s Kappa adalah sebagai berikut:
𝜅̂ # = 𝓅 & '𝓅 ( )'𝓅 ( (1)
Dengan: 𝓅 * : percent agreement 𝓅 + : present chance agreement
Formula yang digunakan pada teknik perhitungan Scoot’s Pi Coefficient adalah sebagai berikut:
𝜅̂ , = 𝓅 & '𝓅 ( )'𝓅 ( 𝑑𝑒𝑛𝑔𝑎𝑛 𝓅 + = 𝜋4 ) 5 + (1 − 𝜋4 ) ) 5 (2)
Dengan:
𝜋4 ) = 𝓅 ;< =𝓅 <; 5 (3)
Untuk mencapai tujuan ini, terdapat beberapa bukti portofolio yang harus diserahkan yakni:
1. Konteks yang berhubungan dengan efek Covid-19 yang akan dianalisa dengan reliabilitas inter rater
2. Sumber referensi terpercaya dari berbagai media.
3. Kategori dalam perhitungan reliabilitas inter rater.
4. Perhitungan koefisien reliabilitas inter rater dengan menggunakan Ms.Excel.
Bukti-bukti tersebut diserahkan secara berkelompok (1 kelompok terdiri dari 2 mahasiswa) melalui platform pembelajaran Google  Classroom. Melalui plarform ini,  bukti  portofolio  yang  diserahkan mahasiswa dinilai dengan rubrik analitik sebagai berikut:
Tabel 2. Rubrik Penilaian Bukti Portofolio 1 Kriteria Penilaian Sangat Baik (Skor 4) Baik (Skor 3) Kurang (Skor 2) Sangat Kurang (Skor 1) Konteks Sesuai dengan konteks efek Covid-19,  dapat dianalisa  dengan konsep reliabilitas  inter rater dan konteks dijelaskan  secara lengkap Sesuai dengan konteks  efek  Covid- 19,  dapat  dianalisa dengan konsep reliabili-tas inter rater  tetapi  konteks tidak    dijelas-kan secara lengkap Sesuai dengan konteks efek  Covid-19,  tidak dapat dianalisa dengan konsep reliabilitas inter rater dan konteks tidak  dijelaskan secara lengkap Tidak  sesuai  dengan konteks  efek  covid, tidak  dapat  dianalisa dengan konsep reliabilitas dan konsep tidak dijelaskan secara lengkap Referensi Referensi dituliskan dengan kaidah  penulisan yang benar, terpercaya  (dapat diakses) dan sesuai dengan data yang dilampirkan. Referensi dapat diakses, sesuai dengan  data  yang dilampirkan  tetapi penulisannya salah. Referensi dapat diakses, penulisan referensi  benar  tetapi referensi  tidak  sesuai dengan  data  yang dilampirkan Referensi tidak dapat diakses, penulisan salah,  dan data  yang dilampir-kan  tidak dapat diketahui kesesuai-annya. Kategori Menggunakan kategori, pemilihan Menggunakan kategori,  pemilihan kategori sesuai Menggunakan kategori, kategori tidak  sesuai  dengan Tidak menggu- nakan kategori
Kriteria Penilaian Sangat Baik (Skor 4) Baik (Skor 3) Kurang (Skor 2) Sangat Kurang (Skor 1) kategori sesuai dengan  konteks dan  digunakan dalam proses perhitungan dengan konteks tetapi tidak digunakan dalam proses perhitungan konteks  dan  tidak digunakan dalam proses perhitungan Perhitung- an Menggunakan lebih dari 2 teknik perhitungan, perhitungan benar, dan kesimpulan  hasil perhitungan sesuai dengan proses perhitungan Menggunakan 2 teknik  perhitungan, perhitungan  benar, dan kesimpulan hasil perhitungan  sesuai dengan proses perhitungan Menggunakan 1 teknik perhitungan, perhitungan benar, dan  kesimpulan  hasil perhitungan sesuai dengan proses perhitungan Menggunakan 1 teknik  perhitungan, perhitungan dan kesimpulan hasil perhitungan salah Pemanfaat -an Ms.Excel Menghitung koefisien reliabilitas  inter rater dengan menggunakan formula dan hasilnya benar Menghitung koefisien  reliabilitas inter  rater  dengan menggunakan formula dan hasilnya salah Menghitung  koefisien reliabilitas  inter  rater tidak menggunakan formula  dalam  excel tetapi hasilnya benar Tidak  menggunakan formula  dalam  excel dan hasilnya salah.
Selain untuk menilai hasil beberapa aspek lain yang harus dievaluasi dalam matematika yakni pemahaman masalah,  pendekatan  dan  strategi,  hubungan,  fleksibilitas,  komunikasi,  dugaan  dan hipotesis,  persamaan  dan  keadilan,  hasil  pengujian,  pembelajaran  matematika  dan  asesmen  diri (Stenmark, 1991: 64). Untuk menilai aspek ini, diapat digunakan beberapa pertanyaan yakni sebagai berikut:
1. Dapatkah  kalian  mencari  kasus  lain  yang  juga  dapat  dihitung reliabilitas  inter  rater nya? (fleksibilitas)
2. Menurut  penilaianmu,  apakah  teknik  penulisan  sumber referensi  yang  kalian  gunakan  sudah sesuai dengan kaidah penulisan yang benar? (asesmen diri)
3. Pada proses perhitungan yang mana kalian mengalami kesulitan? (asesmen diri)
4. Dengan menggunakan formula yang sama, samakah hasil perhitungan secara manual dengan hasil perhitungan dalam Ms.Excel? (hubungan)
5. Dari beberapa teknik perhitungan reliabilitas inter rater yang dilakukan, apakah kesimpulan akhir masing-masing perhitungan sama? (hubungan)
Pertanyaan-pertanyaan  di  atas  digunakan  sebagai  sarana  refleksi  bagi  setiap  mahasiswa.  Melalui hasil  refleksi  ini,  dapat  diketahui feedback apa  yang dapat  digunakan  untuk  memperbaiki  proses pembelajaran  berikutnya  dan  memberikan  gambaran  tentang  beberapa  hal  yang  perlu  diulas kembali dalam pembelajaran berikutnya.

## HASIL DAN PEMBAHASAN
Hasil  penilaian  terhadap  bukti  portofolio  mahasiswa  diperoleh  11  kategori  konteks  yang berhubungan dengan efek Covid-19  diantaranya adalah:
1. Kesepakatan  beberapa  sumber  tentang  kasus  yang berhubungan  dengan  data  PDP,  positif, meninggal dan pasien yang sembuh dari Covid-19.
2. Kesepakatan beberapa sumber tentang jumlah pengguna transportasi darat dan udara selama pandemi dan PSBB.
3. Kesepakatan responden anget tentang Tingkat kepatuhan perilaku 3M di era New Normal
4. Opini masyarakat tentang bantuan pemerintah
5. Kesepakatan beberapa sumber tentang pengkategorian status daerah rawan Covid-19
6. Kesepakatan beberapa sumber tentang kesejahteraan keluarga selama pandemi Covid-19
7. Kesepakatan beberapa sumber tentang jumlah pengguna aplikasi meeting online
8. Kesepakatan beberapa sumber tentang jumlah pengunjung fasilitas umum saat pandemi
9. Kesepakatan beberapa sumber tentang Jumlah penjualan alat komunikasi
10. Kesepakatan beberapa sumber tentang jumlah pengguna situs belanja online
11. Kesepakatan beberapa sumber tentang kegemaran dan olahraga saat pandemic.
Beberapa konteks yang disajikan oleh mahasiswa adalah sebagai berikut:
“ Pandemi  Covid-19  mulai  terdeteksi  masuk  ke  Indonesia  pada  tanggal  2  Maret  2020.  Akibat  adanya Pandemi Covid-19 tersebut, terdapat beberapa daerah di Jawa Timur dinyatakan sebagai zona merah, orange, dan kuning. Berdasarkan data dari 2 sumber (rater) pada tanggal 30 Agustus 2020 diperoleh data sebagai berikut”
Berdasarkan  konteks  yang  disajikan  di  atas,  konteks  tersebut  berhubungan  dengan pengkategorian status daerah rawan Covid-19 berdasarkan 2 sumber website pada tanggal yang sama yakni 30 Agustus 2020. Adapun konteks lain yang berhubungan dengan tingkat kepatuhan dan perilaku 3M di era New Normal disajikan oleh mahasiswa sebagai berikut:
“ Dua media berita online yakni CNN dan Detik.com menilai 7 jenis masker apakah kualitas maskernya baik atau tidak. Cara kedua rater menilai adalah skor 1 jika kualitasnya baik dan boleh digunakan, serta 0 jika kualitasnya baik dan dilarang untuk digunakan.”
Kasus lain yang dianalisa oleh mahasiswa yang berhubungan dengan bantuan pemerintah dan ekonomi adalah sebagai berikut:
“ Pandemi COVID-19 adalah masalah krusial bagi seluruh masyarakat di dunia. Pemerintah baik pusat ataupun daerah banyak memberikan bantuan sosial baik berupa sembako, uang tunai, pelatihan pekerjaan bagi warga terdampak PHK akibat COVID-19 bagi masyarakat yang terdampak pandemi dan masyarakat kurang mampu. Salah satu bantuan yang diberikan pemerintah pusat adalah diadakannya program Kartu Pra-Kerja.  Kartu Prakerja adalah salah satu dari program pemerintah untuk mendukung tumbuh kembang perekonomian Indonesia. Program Kartu Prakerja adalah program pelatihan yang dibiayai oleh pemerintah. Seleksi  Kartu Prakerja  ini  diadakan  sebanyak  11  gelombang  untuk  sementara  ini.  Berikut  adalah  data jumlah pendaftar Kartu Pra-Kerja dari gelombang 1 pada tanggal 16 April 2020 dan gelombang 11 pada tanggal 3 November 2020 yang didapat dari berbagai 2 sumber (kompas dan ekonomi.bisnis) sebagai berikut.”
Berdasarkan beberapa konteks yang dianalisa menggunakan reliabilitas antar rater di atas, konsep reliabilitas antar rater digunakan untuk mengetahui persentase kesepakatan antar beberapa sumber. Berdasarkan konteks yang dianalisa oleh mahasiswa, mahasiswa mampu menggunakan 5 teknik  perhitungan yakni  diantaranya  adalah Cohen’s  Kappa,  Scootts’s Pi  Coefficient,  G-Index,  Gwet’s AC1 Coefficient dan Krippendorff’s Alpha. Distribusi masing-masing teknik perhitungan adalah sebagai berikut:
Tabel 3. Distribusi Perhitungan Inter Rater Reliability Teknik Perhitungan Jumlah  Persentase Cohen’s Kappa 28 93,3 Scootts’s Pi Coefficient 13 43,33 G-Index 4 13,33 Gwet’s AC1 Coefficient 2 6,67 Krippendorff’s Alpha 3 10
Berdasarkan tabel di atas, tampak bahwa teknik perhitungan yang digunakan paling banyak adalah Cohen’s  Kappa yakni  sebanyak  28  mahasiswa  yang  menerapkannya  untuk  menganalisa konteks.  Teknik  perhitungan  ini  diterapkan  untuk  menganalisa  kasus  berdasarkan  data  dari  2 sumber (raters) dengan 2 kategori ataupun multiple kategori. Beberapa jenis kategori yang digunakan oleh mahasiswa adalah nominal dan ordinal kategori. Penggunaan nominal kategori adalah sebagai berikut:
Tabel 4. Nominal Kategori Konteks Kode Deskripsi Persetujuan 2 sumber tentang jumlah kasus Covid-19 0 Data dari 2 sumber berbeda 1 Data dari dua sumber sama Persetujuan  2  rater  tentang  jumlah  peserta  lolos verifikasi pra kerja A lolos B Tidak lolos Persetujuan  terkait  pro  dan  kontra  pemberian bantuan untuk warga terdampak Covid-19 0 Tidak setuju 1 Setuju Persetujuan 2 rater tentang anjuran pemakaian 7 jenis masker 1 dianjurkan 0 Tidak dianjurkan
Selain  menggunakan  nominal  kategori,  digunakan  ordinal  kategori  dalam  perhitungan reliabilitas inter rater diantaranya adalah sebagai berikut:
Tabel 5. Ordinal Kategori Konteks Kode Deskripsi Persetujuan  2  rater  tentang  jumlah penumpang MRT dan LRT di Jakarta selama Pandemi Rendah (1) 0-50 penumpang Tinggi (2) 51-100 penumpang Perilaku di era New Normal oleh responden laki-laki dan perempuan 1 Tidak pernah 2 Kadang-kadang 3 Sering 4 selalu Persetujuan  2  rater  tentang  jumlah  kasus perceraian di Kota Blitar dan Gresik Rendah (1) 0-1000 kasus/tahun Tinggi (2) Lebih dari 100 kasus/tahun Persetujuan 2 rater tentang jumlah pengguna zoom, skype, dan meet Rendah (1) 0-49.999 pengguna Tinggi (2) Lebih dari 50.000 pengguna
Persetujuan tentang jumlah pengguna 4 situs belanja online Rendah (1) Peminat ≤ 10% Cukup (2) 10% < peminat ≤ 30% Sedang (3) 30% < peminat ≤ 55% Tinggi (4) Peminat ≥ 55%
Penggunaan  konteks  dalam  pembelajaran  matematika  merupakan  suatu  usaha  pendidik matematika  untuk  melaksanakan  pembelajaran  matematika  yang  berhasil.  Kesuksesan  pendidik matematika dalam pembelajaran dapat ditunjukkan melalui kemampuan siswa dalam memahami, menerapkan  dan  mengembangkan  materi  matematika,  menganalisis  informasi,  dan menerapkannya pada permasalahan kehidupan sehari-hari(Storm, J,m Catharines, S., Marseglia, A., &  Laponte,  D,  2010).  Dengan  adanya  kegiatan  ini,  peserta  didik  akan  tertarik  mengikuti pelaksanaan pembelajaran, mengembangkan keterampilan pemecahan masalah, kreativitasnya, dan kesadaran akan kebermaknaan bahwa matematika merupakan aktivitas manusia (Antika, R, 2019; Kadir & Masi, L, 2014; Yuberta, K.R., & Kurnia, L, 2016).
Hal ini selaras dengan penelitian dalam bidang pembelajaran matematika yang menerapkan konteks  Covid-19  dalam  pelaksanaannya.  Efek  yang  tampak  sebagai  akibat  dari  penggunaan konteks Covid-19 dalam pembelajaran matematika yakni peserta didik memiliki kecakapan hidup selama Pandemi Covid-19, kemampuan literasi matematis, komunikasi dan representasi, penalaran, strategi penyelesaian masalah meliputi perencanaan strategi, prosedur, argumen, dan kesimpulan. (Nizar, H., Putri, R.I.I., & Zulkardi, 2018; Nusantara, D.S., Zulkardi., & Putri, R.I.I, 2021; Rawani, D., Putri, R.I.I., & Hapizah, 2019; Yansen, D., Putri, R.I.I., Zulkardi., & Fatimah, S, 2019) .
Dalam  hal  perhitungan  koefisien  reliabilitas  inter  rater  dengan  menggunakan  Ms.Excel, beberapa  formula  yang  digunakan  diantaranya  adalah  =COUNTIF,  =SUM,  penjumlahan  (+), pengurangan (-), pembagian (/), dan perpangkatan (^). Penggunaan formula-formula ini tampak pada bukti portofolio mahasiswa sebagai berikut:

## Gambar 2. Penggunaan Formula COUNTIF
Berdasarkan  Gambar  2,  terlihat  bahwa  formula  “=COUNTIF”  digunakan  untuk menentukan jumlah rater yang memberikan penilaian yang sama (sepakat). Pada contoh di atas, formula  “=COUNTIF”  digunakan untuk  menghitung  jumlah rater  yang memberikan  penilaian
sama  berdasarkan  pada  tabel  paling  kanan.  Formula  lain  yang  diterapkan  dalam  perhitungan menggunakan  Ms.Excel  adalah  formula  perpangkatan.  Berikut  ini  adalah  contoh  penggunaan formula perpangkatan untuk menentukan kuadrat dari sel I32.

## Gambar 3. Penggunaan Formula Perpangkatan

## Gambar 4. Penggunaan Formula SUM
Formula  lain  yang  digunakan  dalam  perhitungan  reliabilitas  antar  rater  adalah  “=SUM”. Formula ini digunakan untuk menjumlahkan data antar sel. Pada gambar di atas, tampak bahwa formula “=SUM” digunakan untuk menjumlahkan data dari sel D33 hingga G33, data dari sel D32 hingga G32, data dari sel D34 hingga G34, dan sel D35 hingga G35. Selain menggunakan “=SUM” untuk menjumlahkan data antar sel dapat dilakukan dengan memanfaatkan formula penambahan. Berikut ini adalah contoh penggunaan formula penambahan untuk menjumlahkan data pada sel D32, E33, F34 dan G35.

## Gambar 5. Penggunaan Formula Penambahan, Pengurangan dan Pembagian
Berdasarkan hasil penilaian proses yang mencakup asesmen diri dan hubungan yang diukur melalui form online dapat diketahui bahwa apabila dipandang dari segi kelengkapan komponen dalam referensi, semua kelompok telah menyertakan identitas penulis, tanggal penulisan, judul, tanggal diakses  dan  alamat  website  namun  terdapat  beberapa  kelompok  mahasiswa  yang  menuliskan sumber  referensi  dengan  cara  penulisan  yang  berbeda-beda,  hal  ini  dikarenakan  penggunaan pedoman penulisan karya tulis yang berbeda-beda. Dengan adanya hal ini, untuk proses penilaian berikutnya harus ada kesepakatan tentang pedoman penulisan karya tulis yang digunakan.
Pada  aspek  penilaian  proses  yang  lain  yakni  kesulitan  dalam  proses  perhitungan  tampak bahwa beberapa kelompok kesulitan dalam menerapkan formula-formula khusus pada Ms.Excel misalnya saja =COUNTIF, sehingga mahasiswa secara manual dalam mencari jumlah data dengan kriteria tertentu. Hal ini tampak dari bukti portofolio sebagai berikut:

## Gambar 6. Perhitungan dengan Menggunakan Formula =COUNTIF

## Gambar 7. Perhitungan dengan Tidak Menggunakan Formula =COUNTIF
Berdasarkan  Gambar  6  dan  7,  perhitungan manual  dapat  diterapkan  apabila  jumlah  data sedikit  dan  memungkinkan  kesalahan  dalam  perhitungan.  Sedangkan  pada  jumlah  data  yang banyak,  formula  “=COUNTIF”  lebih  praktis,  cepat  dan  tepat.  Pada  aspek  hubungan,  semua kelompok menemukan bahwa perhitungan secara manual dan dengan bantuan Ms.Excel adalah
sama karena Ms.Excel hanya dijadikan sebagai alat bantu perhitungan saja sedangkan formula yang digunakan untuk menghitung reliabilitas antar rater adalah sama.
Paparan data hasil penelitian di atas memberikan informasi bahwa penggunaan teknologi dalam  pembelajaran  matematika  yakni Ms.  Excel dapat  dilakukan  dengan  menerapkan  formula khusus ataupun perhitungan kasar untuk menyelesaikan model matematika, operasi matematika (Buana, K, 2018; Harmastuti & Setyowati, D, 2018). Teknologi dalam pembelajaran matematika dapat berperan sebagai alat bantu dalam menyelesaikan masalah matematika, memahami konsep matematika dan mengembangkan keterampilan matematika(Agusman, 2017; Jupri, Al, n.d.; Sartika, D. H, 2020).

## KESIMPULAN
Penilaian  portofolio based  on  Covid-19  case adalah  salah  satu  teknik  penilaian  yang  dapat digunakan dalam rangka melaksanakan asessmen yang bermakna. Dalam penilaian portofolio ini, konsep  yang  dipelajari  yakni  reliabilitas  antar  rater  dihubungkan  dengan  peristiwa/kasus  yang berhubungan dengan Covid-19. Berdasarkan hasil penelitian terdapat 11 kasus yang dapat dianalisa dengan reliabilitas antar rater yakni kesepakatan beberapa sumber tentang kasus yang berhubungan dengan data PDP, positif, meninggal dan pasien yang sembuh dari Covid-19, kesepakatan beberapa sumber  tentang  jumlah  pengguna  transportasi  darat  dan  udara  selama  pandemi  dan  PSBB, kesepakatan responden anget tentang Tingkat kepatuhan perilaku 3M di era New Normal, opini masyarakat  tentang  bantuan pemerintah,  kesepakatan beberapa  sumber tentang  pengkategorian status  daerah  rawan  Covid-19,  kesepakatan  beberapa  sumber  tentang  kesejahteraan  keluarga selama  pandemic  Covid-19,  kesepakatan  beberapa  sumber  tentang  jumlah  pengguna  aplikasi meeting online,  kesepakatan  beberapa  sumber  tentang  jumlah  pengunjung  fasilitas  umum  saat pandemi, kesepakatan beberapa sumber tentang Jumlah penjualan alat komunikasi, kesepakatan beberapa sumber tentang jumlah pengguna situs belanja online dan kesepakatan beberapa sumber tentang kegemaran dan olahraga saat pandemi.
Kasus-kasus yang berhubungan dengan Covid-19 di atas dianalisa dengan menggunakan cohen ‘s kappa oleh 93,33% mahasiswa, Scotts’s Pi Coefficient sebanyak 43,44% mahasiswa, G-Index sebanyak 13,33%  mahasiswa, Gwet’s  AC1  Coefficient sebanyak  6,67%  mahasiswa  dan Krippendorff’s  Alpha sebanyak  10%  mahasiswa.  Dalam  proses  perhitungannya,  terdapat  86,67%  mahasiswa  mampu menggunakan kategori dalam perhitungan yang meliputi kategori nominal dan ordinal.
Selain menilai hasil bukti portofolio mahasiswa, memberikan kesempatan kepada mahasiswa untuk melakukan  refleksi  proses  kerja  dan  hasil  kerjanya  selama  menyelesaikan  tugas.  Dari  segi kelengkapan  komponen  dalam  referensi,  semua  kelompok  telah menyertakan  identitas  penulis, tanggal penulisan, judul, tanggal diakses dan alamat website namun terdapat beberapa kelompok
mahasiswa yang menuliskan sumber referensi dengan cara penulisan yang berbeda-beda, hal ini dikarenakan penggunaan pedoman penulisan karya tulis yang berbeda-beda.
Pada  aspek  penilaian  proses,  beberapa  kelompok  kesulitan  dalam  menerapkan  formula- formula  khusus  pada  Ms.Excel  misalnya  saja  =COUNTIF  sehingga  mahasiswa  secara  manual dalam  mencari  jumlah  data  dengan  kriteria  tertentu.  Pada  aspek  hubungan,  semua  kelompok menemukan  bahwa  perhitungan  secara  manual  dengan  bantuan  Ms.Excel  tetap  menerapkan formula yang digunakan untuk menghitung reliabilitas antar rater.
Berdasarkan kesimpulan di atas, di masa Pandemi Covid-19 yang mengharuskan mahasiswa belajar dari rumah (BDR), penting dilakukan inovasi metode pembelajaran, teknik penilaian dan pemilihan  konteks  penilaian.  Konsep  yang  dipelajari  dipandang  bukan  sebagai  sesuatu  yang seharusnya ada melainkan harus dimaknai dengan mencari hubungannya dalam berbagai bidang kehidupan. Selain itu dalam hal teknik penilaian, pendidik dapat menerapkan penilaian portofolio sebagai  alternatif  teknik  penilaian  yang  menilai  hasil  sekaligus  proses  mahasiswa  dalam menyelesaikan tugasnya.

## REFERENSI
Agusman. (2017). Penerapan model pembelajaran penemuan terbimbing berbantuan program komputer excel untuk meningkatkan hasil belajar siswa pokok bahasan turunan fungsi kelas XI SMA Al-Ulum Medan. JPM:Jurnal Pendidikan Matematika , 3 (2), 1–8. Alfianto, F., Florentinus, T.S.,& Utomo, U. (2015). Pengembangan Instrumen Penilaian Apresiasi Seni Musik Materi Seni Budaya Sekolah Menengah Pertama. Journal of Education Research and Evaluation. 4(2), 82-90. Antika, R. (2019). Peningkatan motivasi belajar matematika melalui pembelajaran matematika kontekstual. JP3M:Jurnal Pemikiran Dan Penelitian Pendidikan Matematika , 2 (2), 130–141. Bartlett, Jayne. (2015). Outstanding Assessment for Learning in the Classroom. New York, NY: Routledge Taylor & Francis Group.
Buana,  K.  (2018).  Penggunaan  Microsoft  Excel  dalam  pendidikan.  In Teknologi  dan  Aplikasinya dalam Dunia Pendidikan . Bali: Jayapangus Press Books. Brookhart,  S.M.  (2013). How  to  Create  and  Use  Rubrics:  for  Formative  Assessment  and  Grading. Alexandria, VA: ASCD
Damarjati, Danu. (20 Maret 2020). Data Corona Pemerintah Pusat dan Pemprov Berbeda, Kok Bisa?. Citing Internet  Source URL https://news.detik.com/berita/d-4947653/data-corona-pemerintah- pusat-dan-pemprov-berbeda-kok-bisa Darmawan, Napitupulu. (2014). Studi Validitas dan Reliabilitas Faktor Sukses Implementasi E- Government Berdasarkan Pendekatan Kappa. Jurnal Sistem Informasi. 2(10). 70-74. Destiniar. (2018). Reliabilitas Inter Rater Instrument Tes Matematika Menggunakan Rater. Jurnal Pendidikan Matematika RAFA. 4(1). 19-28. Flo. (27 Februari 2021). Satgas Covid-19 Beri  Data yang Berbeda terkait Jumlah Kasus Covid-19, Pak Ganjar Protes. Citing Internet Source URL https://www.jpnn.com/news/satgas-covid-19-beri- data-yang-berbeda-terkait-jumlah-kasus-covid-19-pak-ganjar-protes?page=2
Fuadi,  Sumaryanto,  T.,&  Lestari,  W.  (2015).  Pengembangan  Instrumen  Penilaian  Psikomotor Pembelajaran IPA Materi Tumbuhan Hijau Berbasis Starter Experiment Approach Berwawasan Konservasi. Journal of Educational Research and Evaluation. 4(1). 1-11.
Frey, B.B. (2018). The SAGE Encyclopedia of Educational Research, Measurement and Evaluation. Los Angeles, LA: SAGE Reference. Garjito, Dani & Ruhaeni Intan. (31 Maret 2020).
Beda Data Korban Corona Meninggal, Warganet : Siapa yang Tidak Transparan?. Citing Internet Source URL
https://www.suara.com/news/2020/03/31/091050/beda-data-korban-corona-meninggal- warganet-siapa-yang-tidak-transparan?page=all
Gwet, K.L. (2014). Handbook of Inter-Rater Reliability (4 th ed). Gaithersburg, MD: Advanced Analytics, LLC.
Harmastuti & Setyowati, D. (2018). Pemanfaatan Microsoft Excel untuk pembelajaran matematika dan grafik. Jurnal Dharma Bakti , 1 (1), 57–66. Hong, Jer Lang. (2016). An Adaptive Tool for Learning. In Proceedings of the 8 th Taylor’s Teaching and Learning  Conference, 71-78. Gateway East, Singapura: Springer. Indonesian Indicator. (30 Desember 2020). Citing Internet sources URL http://indonesiaindicator.com/j- blog.html?start=16
Jupri, Al. (n.d.). Peran teknologi dalam pembelajaran matematika dengan pendekatan matematika realistik. Prosiding Seminar Nasional Matematika Dan Pendidikan Matematika UIN Raden Intan Lampung , 1 , 303–314. UIN Raden Intan Lampung: UIN Raden Intan Lampung.
Kadir & Masi, L. (2014). Penggunaan konteks dan pengetahuan awal matematika dalam pembelajaran keterampilan berpikir kreatif siswa. Jurnal Pendidikan Matematika , 5 (1), 52– 66.
Kubiszyn,T & Gary D. Borich. 2013. Educational Testing & Measurement: Classroom Application and Practice (10 th ed). Hoboken, NJ. John Wiley & Sons, Inc.
Kusaeri,  dkk.  The  Validity  and  Inter-Rater  Reliability  of  Project  Assessment  in  Matematics Learning. BETA: Jurnal Tadris Matematika . 12(1). 1-13. Mansyur, A.R. (2020). Dampak Covid-19 terhadap Dinamika Pembelajaran di Indonesia. Education and Learning Journal. 1(2). 113-123. Mustaghfiroh,  Siti.  (2020).  Konsep  “Merdeka  Belajar”  Perspektif  Aliran  Progresivisme  John Dewey. Jurnal Studi Guru dan Pembelajaran. 3(1). 141-147.
Nitko,  J.A.,&  Brookhart,  S.M.  (2011). Educational  Assessment  of  Students  (10 th ed). Boston,  MA: Pearson.
Nizar, H., Putri, R.I.I., & Zulkardi. (2018). Developing PISA-Like mathematics problem using the 2018 Asian Games football and table tennis context. Journal on Mathematics Education , 9 (2), 183–194.
Nusantara, D.S., Zulkardi., & Putri, R.I.I. (2021). Designing PISA-Like mathematics task using a Covid-19 Context (PISACOMAT). Journal on Mathematics Education , 12 (2), 349–364. Popham,  W.J. (1995). Classroom  Assessment:  What  Teachers  Need  to Know. Boston,  MA:  Allyn  and Bacon.
Rawani, D., Putri, R.I.I., & Hapizah. (2019). PISA-LIKE mathematics problems: Usiang Taekwondo context of Asian Games. Journal on Mathematics Education , 10 (2), 277–288. Rusmawan,  I.P.H.G.,  Candiasa,  I.M.,  &  Parwati,  N.N.,(2017).  Instrumen  Penilaian  Aktivitas Belajar  Matematika  Siswa  SD  Berorientasi  Pendidikan  Karakter. Wahana  Matematika  dan Sains: Jurnal Matematika, Sains, dan Pembelajarannya. 11(2). 125-139. Sartika, D. H. (2020). Implementasi pembelajaran matematika berbantuan Microsoft Excel untuk meningkatkan kemampuan berpikir kreatif siswa. Cartesius:Jurnal Pendidikan Matematika ,
3 (1), 24–43.
Storm, J,m Catharines, S., Marseglia, A., & Laponte, D. (2010). What dose math literacy mean? Retrieved November 9, 2021, from Oxford Learning website: https://www.oxfordlearning.com/What-Does-math-literacy-mean/
Suharta,  Tata.  (2017).  Pengembangan  Instrumen  Pengukur  Tingkat  Kepuasan  Siswa  terhadap Kualitas Pelayanan Pendidikan di Sekolah. Jurnal Evaluasi Pendidikan. 8(2). 117-125. Stenmark, J.K. (1991). Math Portofolio: A New Form of Assessment. Teaching K-8. Agustus/September 1991.
Stevens, D.D., & Levi, A. (2005). Introduction to Rubrics: An Assessment Tool to Save Grading Time, Convey Effective Feedback and Promote Students Learning. Sterling, Virginia:Stylus Publishing. Tobin, T.J., Mandernach, B.J., & Taylor, A.H. (2015.) Evaluating Online Teaching: Implementing Best Practices (1 st ed). San Francisco, CA: Jossey-Bass A Wiley Brand. Yansen, D., Putri, R.I.I., Zulkardi., & Fatimah, S. (2019). Developing PISA-LIKE mathematics problem on uncertainty and data using Asian Games Football Context. Journal on Mathematics Education , 10 (1), 37–46.
Yuberta, K.R., & Kurnia, L. (2016). RME sebagai alternatif pendekatan pembelajaran matematika untuk membangun generasi kreatif dan berkarakter. Proceeding International Seminar on Education 2016 , 303–310. IAIN Batusangkar: IAIN Batusangkar.