Vol. 4, 2 (December, 2023), pp. 1631-1638 ISSN: 2721-1150 EISSN: 2721-1169
Pemberian Scaffolding Kepada Siswa SMP dalam Menyelesaikan Soal Pisa Konten Change and Relationship
Yollanda Dhea Lusfita Loka 1 , Yusuf Fuad 2
1 Universitas Negeri Surabaya, Indonesia; yollanda.19027@mhs.unesa.ac.id
2 Universitas Negeri Surabaya, Indonesia; yusuffuadmath@gmail.com
ARTICLE INFO

## ABSTRACT
Keywords: Scaffolding; NEA; Soal  PISA  Konten  Change  and Relationship This  study  aims  to  describe  the  provision  of  scaffolding  to junior  high  school  students  in  solving  PISA  content  change and  relationship  problems  at  Proklamasi  Balongbendo  Junior High  School  for  the  2022/2023  even  semester  in  April.  The ubjects  were  selected  based  on  the  results  of  analysis  of student  answers  and  scores  of  initial  ability  test  (TKA)  and PISA  ability  test  (TKP)  and  considering  the  UAS  scores  in mathematics  subjects  of  students  in  semester  1,  the  subjects consisted of high ability subjects (S1), medium ability subjects (S2),  and  low  research  subjects  (S3).  The  results  of  the  study stated  S1  able  to  read  the  question  correctly,  can  understand the purpose of the problem, explain all the information in the question and be able to understand what is being asked, able to  write  a  plan  of  completion,  by  doing  pemisalan  and  using formulas  that  are  in  accordance  with  the  solution  of  the question,  mention  the  conclusions  in  accordance  with  the conclusions of the answers obtained from the work done. S2 is able  to  be  able  to  read  the  problem  correctly,  explain  what information is obtained from the problem, able to understand what  is  meant  by  the  problem  and  write  what  is  known  and asked  in  the  problem,  able  to  transform  the  problem  into  a mathematical  model  by  making  a  calculation  from  the information  obtained  in  the  problem,  but  have  difficulty  in performing  calculation  operations  so  as  not  to  get  the  correct final result, S2 is able to write conclusions in accordance with the  results  obtained,  but  not  precisely  because  the  answers obtained are also not precise so that the results obtained in the conclusion  are  not  correct.  S3  is  able  to  read  the  problem correctly,  explaining  all  the  information  known  from  the question correctly.

## Article history:
Received 2023-05-15 Revised  2023-07-24 Accepted 2023-08-17
This is an open access article under the CC BY-NC-SA license.
Corresponding Author: Yollanda Dhea Lusfita Loka Universitas Negeri Surabaya, Indonesia; yollanda.19027@mhs.unesa.ac.id

## 1. PENDAHULUAN
Kompetensi  siswa  pada  abad  ke-21  bertujuan  untuk  mengaplikasikan  ilmu  pengetahuan  dan ilmu  keterampilan  dalam  menyelesaikan  masalah  sehari-hari  sangat  diperlukan.  Fokus  dari keterampilan abad-21 mencakup kreativitas, pemikiran kritis, dan kompetensi kolaboratif pada setiap kehidupan.  Setiap  negara  berkompetisi  untuk  menunjukkan  sejauh  mana  prestasi  siswa  di  negara tersebut  dalam  menerapkan  pengetahuan  dan  keterampilan  abad-21,  termasuk  negara  Indonesia. Salah  satu  parameter  keberhasilan  Indonesia  mampu  berkompetisi  pada  aspek  bidang  pendidikan yakni  dengan  mengikuti  PISA  atau Programme  International  Student  Assessment ialah  program  untuk menilai  siswa  pada  tingkatan  internasional.  PISA  merupakan  program  yang  diselenggarakan  oleh OECD  tiap  tiga  tahun  sekali  untuk  membandingkan  dan  menguji  prestasi  siswa  yang  berusia  15 tahun  di  berbagai  negara.  Penilaian  PISA  dapat  menilai  keefektifan  Negara  dalam  mempersiapkan supaya  bisa  menggunakan  dan  menerapkan  matematika  pada  segala  aspek  kehidupan,  menjadi bagian  dari  warga  negara  abad  ke-21  yang  reflektif  dan  konstruktif.  Indonesia  sudah  berpartisipasi dalam  kegiatan  PISA  sejak  tahun  2000,  yang  merupakan  kali  pertama  diselenggarakan  oleh  OECD yang  merupakan  kepanjangan  dari Organization  For  Economic  Coorperation  And  Development . Berdasarkan  hasil  survei  PISA,  hasil  literasi  matematika  siswa  Indonesia  di  tahun  2018  mendapat urutan 74 dari 79 negara yang mengikuti PISA dengan rata-rata nilai sebesar 379, sementara itu rata- rata  internasional  489  (OECD,  2018).  Kemampuan  siswa  Indonesia  dalam  menyelesaikan  soal  PISA yang masih rendah disebabkan karena guru belum terbiasa membuat soal tes yang memotivasi dan mendorong  keterampilan  tingkat  tinggi  seperti  berpikir  kritis,  pemecahan  masalah,  sehingga  siswa belum  mampu  menyelesaiakan  soal  PISA  (Mammadov  &  Çimen,  2019).  Siswa  menjadi  tidak  akrab dengan keterampilan berpikir tingkat tinggi yang dibutuhkan dalam memecahkan pertanyaan pada soal-soal  PISA (Hande  Gülbağcı  Dede,  Emine  Gülen  Ulusoy,  2021) .  Akibatnya  siswa-siswa  merasa kesalahan  dalam  menyelesaikan  soal  PISA,  sehingga  untuk  mengetahui  kesalahan  siswa  tersebut, diperlukan  kajian  yang  berguna  untuk  mengetahui  kesalahan  yang  dilakukan  oleh  siswa.  Metode analisis  kesalahan  siswa  yang  dapat  digunakan  untuk  menganalisis  kesalahan  siswa  dalam menyelesaikan  soal  matematika , yaitu  prosedur Newman. Dalam  prosedur Newman terdapat  5  jenis kesalahan  atau  kekeliruan  yaitu,  kesalahan  dalam  membaca  soal,  kesalahan  dalam  memahami masalah,  kesalahan  dalam  transformasi  soal,  kesalahan  dalam  keterampilan  proses,  dan  kesalahan dalam penulisan jawaban (Noutsara, Neunjhem, & Chemrutsame, 2021).
Upaya scaffolding untuk  meminimalisir  dan  mengatasi  kesalahan.  Kesalahan  dapat  berupa kekeliruan,  salah  perhitungan,  atau  salah  menilai,  dan  kategori  semacam  itu  termasuk  dalam kesalahan  yang  tidak  sistematis  (Robert  M.  B,  2019).  Pemberian scaffolding dalam  penelitian  ini berdasarkan  level-level scaffolding yang  dikemukakan  oleh  Anghileri  yaitu, reviewing,  restructuring, explaining, and developing conceptual. Berdasarkan uraian yang telah dikemukakan pada pendahuluan tersebut,  peneliti  melakukan  penelitian  yang  berjudul  “Pemberian scaffolding dalam  kepada  siswa SMP  dalam  menyelesaikan  soal  PISA  konten change  and  relationship”. Tujuan  penelitian  ini  adalah untuk  mendeskripsikan  pemberian scaffolding kepada  siswa  SMP  dalam  menyelesaikan  soal  PISA konten change and relationship.

## 2. METODE
Penelitian  ini  merupakan  penelitian  deskriptif  kualitatif , dari  suatu  fenomena  dengan  cara mendeskripsikan  dalam  bentuk  kata-kata.  Penelitian  ini  mendeskripsikan  pemberian scaffolding kepada  siswa  SMP  dalam  menyelesaikan  soal  PISA  konten change  and  relationship. Instrumen pendukung yang digunakan dalam penelitian ini antara lain: Soal Tes Kemampuan Awal (TKA), Soal PISA change and relationship (TKP). Penelitian ini dilakukan di kelas 8 SMP Proklamasi Balongbendo, pada  semester  genap 2022/2023. Pemilihan subjek penelitian dimulai dengan penetapan siswa kelas VIII  SMP  Proklamasi  Pemilihan  subjek  penelitian  dimulai  dengan  penetapan  siswa  kelas  VIII  SMP Proklamasi Balongbendo yang terdiri dari kelas VIII-A (32 Siswa), VIII- B (31 Siswa), dan VIII-C (32
Siswa). Kemudian dipilih kelas VIII-B secara purposive pada penelitian ini, yang terdiri dari 16 siswa laki-laki  dan  15  siswa  perempuan.  Pemilihan  secara purposive yang  didasarkan  pada,  ciri  khusus berupa  kemampuan  siswa  dan  keaktifan  siswa  di  kelas.  Pengkategorian  skor  dilakukan  pada  tes kemampuan awal (TKA) dan tes kemampuan PISA (TKP). Selain pengkategorian skor tes, dilakukan analisis  terhadap  dokumen  nilai  matematika  siswa  SMP  pada  ujian  akhir  semester  1  sebagai  bahan pengelompokan berdasarkan kriteria skor siswa. Kriteria skor tinggi, sedang, dan rendah pada TKA dan TKP mengacu pada KKM (kriteria ketuntasan minimal) untuk mata pelajaran matematika. yang tertera pada Tabel 1 berikut.
Tabel 1. Kriteria Skor Tes Kriteria Interval Skor Tinggi Sedang Rendah
Berikut subjek  penelitian  yang  dikelompokkan  berdasarkan  nilai  UAS,  TKA  dan  TKP siswa.

## Tabel 2. Subjek Penelitian
Berdasarkan hasil TKP diperoleh jenis kesalahan siswa pada masing-masing kelompok. Dalam memilih subjek penelitian, peneliti melihat nilai TKA dan variasi jenis kesalahan TKP yang  diberikan  kepada  siswa  sesuai  dengan  indikator newman  error  procedure yang  tertera pada Tabel 3.
Tabel 3. Indikator Newman Error Procedure Tahap Kesalahan Indikator Kode Membaca (Reading) Tidak dapat membaca simbol dan kata-kata dalam soal R-01 Pemahaman (comprehension) Tidak dapat memahami maksud dalam soal C-01 Mentransformasi (transformation) Salah  dalam  mengubah  dan  mentransformasikan  soal  ke dalam suatu permasalahan matematika T-01 Keterampilan Proses (Process Skill) Salah dalam melakukan prosedur matematika P-01 Penulisan Jawaban Akhir (Encoding) Tidak  dapat  menuliskan  kesimpulan  yang  dapat  ditarik dalam soal. E-01

## 3. HASIL DAN PEMBAHASAN
Berdasarkan  Tabel  3.  Diperoleh  kesalahan  siswa  pada  masing-masing  kelompok,  dapat  dilihat pada Tabel 4 sebagai berikut.
Inisial Nama Kode Jenis Kelamin Nilai UAS Nilai TKA Nilai TKP Kriteria Kemampuan NPR S1 P 92 95 92 Tinggi FK S2 L 90 85 80 Sedang MR S3 L 50 42 40 Rendah
Tabel 4. Kesalahan Siswa pada Masing-masing Kelompok Berdasarkan Newman Error Procedure Kode Kriteria Kemampuan Kategori Kesalahan S1 Tinggi - S2 Sedang T,P,E S3 Rendah C,T,P,E
Deskripsi  kesalahan  siswa  dalam  menyelesaikan  soal  PISA  konten change  and  relationship sebelum pemberian scaffolding a. Subjek Penelitian 1 (S1)

## Gambar 1. Jawaban S1
S1  membaca  soal  dengan  benar,  karena  S1mampu  menuliskan  apa  yang  diketahui  dan ditanyakan  pada  soal.  S1  dapat  mengidentifikasi  apa  yang  diketahui  dan  ditanyakan  pada  soal.  S1 mampu membuat model matematis dari informasi yang telah disajikan pada soal. S1 telah menjawab pertanyaan  dengan  benar  dengan  argumen  yang  benar.  S1  tidak  melakukan  kesalahan  pada penulisan jawaban akhir.
Jenis Kesalahan Siswa dalam Menyelesaikan Soal PISA Konten Change and Relationship a. Jenis  kesalahan S1. S1  tidak  melakukan  kesalahan  yang  dalam  menyelesaikan  soal  PISA  konten change and relationship.
b. Jenis  kesalahan  S2.  Jenis  kesalahan  yang  dilakukan  S1  dalam  menyelesaikan  soal  PISA  konten change and relationship adalah transformasi, process skill dan encoding .
c. Jenis  kesalahan  S3.  Jenis  kesalahan  yang  dilakukan  S1  dalam  menyelesaikan  soal  PISA  konten change and relationship adalah , comprehension error, transformation error , process skill dan encoding .
Bentuk Scaffolding yang Diberikan  Berdasarkan  Jenis  Kesalahan  yang  Dilakukan  Siswa  dalam Menyelesaikan Soal PISA Konten Change and Relationship
a. Subjek  Penelitian  (S1).  S1  tidak  melakukan  kesalahan  dalam  menyelesaikan  soal  PISA  konten change and relationship, sehingga peneliti tidak memberikan scaffolding.
b. Subjek  Penelitian  (S2).  S2  melakukan  kesalahan  transformasi, scaffolding yang  diberikan  adalah melakukan  tanya  jawab  untuk  mengarahkan  siswa  pada  pembenaran (restructuring). Kemudian kesalahan  proses, scaffolding yang  diberikan  adalah  meminta  siwa  mengamati  hasil  yang diperoleh (reviewing). Kemudian  kesalahan  penulisan  jawaban  akhir, scaffolding yang  diberikan adalah  menyederhanakan  hasil  dari  jawaban  yang  diperoleh  siswa (restructuring), dan  meminta siwa mengamati hasil yang diperoleh (reviewing).
c. Subjek  Penelitian  3  (S3).  Subjek  penelitian  3  melakukan  kesalahan  memahami, scaffolding yang diberikan  adalah  meminta  siswa  membaca  soal  lebih  teliti  lagi (reviewing), kemudian  kesalahan process skill , scaffolding yang diberikan adalah melakukan tanya jawab untuk mengarahkan siswa pada pembenaran (restructuring). Kemudian kesalahan encoding, scaffolding yang diberikan adalah melakukan tanya jawab untuk mengarahkan siswa pada pembenaran (restructuring) dan meminta siswa memperbaiki jawabannya (reviewing).
d. Subjek Penelitian 2 (S2)

## Gambar 2. Jawaban S2
S2  membaca  soal  dengan  benar,  karena  S2  mampu  menuliskan  apa  yang  diketahui  dan ditanyakan  pada  soal.  S2  juga  mampu  menjelaskan  informasi  yang  ia  dapat  pada  soal  yaitu  Dina pergi  ke  Desa  Sumokembangsri  berangkatnya  menempuh  jarak  4  km  dan  membutuhkan  waktu  9 menit,  dan  pulang  lewat  jalur  lebih  pendek  yaitu  3  km  dengan  waktu  6  menit.  Sehingga  dapat dikatakan bahwa S2 tidak melakukan kesalahan dalam memahami soal. S2 dapat menentukan solusi yang  akan  digunakan  dalam  menyelesaikan  soal  nomor  2,  akan  tetapi  kurang  tepat  dalam mentransformasikan  soal,  karena  S2  menuliskan  dua  variabel  pemisalan,  untuk  memisalkan kecepatan  rata-rata.  Dengan  demikian,  S2  melakukan  kesalahan  transformasi  soal.  S2  sudah menjawab  pertanyaan  dengan  benar  dengan  argumen  yang  benar.  S2  juga  melakukan  perhitungan dengan benar. S2 tidak melakukan kesalahan pada tahap penulisan jawaban akhir (encoding). e. Subjek Penelitian 3 (S3)

## Gambar 3. Jawaban S3
Tabel 5. Kegiatan Wawancara Peneliti (P) dan S3
P : Informasi apa saja yang kamu dapat pada pada soal Indikator S3 : Gaji penjual koran bu.. C-01 P : Tunjukkan cara kamu memperoleh jawaban 40 itu! S3 : Ini 340 ribu saya kurangkan dengan 260 ribu bu, hasilnya 80.000 T-01 P : 8000 dibagi 2000 ini dari mana?
S3 : Dari ini bu bonus nya kalau mendapatkan 260 ribu
P : Hasil akhirnya bagaimana? S3 : Ini bu saya bagi hasilnya 40 E-01
Berdasarkan jawaban S3 pada Gambar 3 dan Tabel 1, S3 membaca soal dengan benar, karena S3 mampu  menjelaskan  apa  yang diketahui dan ditanyakan pada soal. Berdasarkan hal tersebut dapat dikatakan bahwa S3 tidak melakukan kesalahan dalam membaca soal. S3 menjelaskan informasi yang ia  dapat  pada  soal  nomor  3,  akan  tetapi  kurang  lengkap.  Sehingga,  dapat  dikatakan  S3  melakukan kesalahan pada tahap memahami soal. S3 hanya  selesai pada rencana memperoleh jawaban dengan hanya menuliskan koran yang dijual Dina sesuai bonus. Dengan demikian S3 melakukan kesalahan pada  tahap  transformasi.  S3  melakukan  perhitungan  dengan  benar  yaitu  dengan  mengurangkan 340.000  dengan  260.000  yang  menghasilkan  80.000,  kemudian  membagi  80.000  dengan  2.000  yang menghasilkan 40, akan tetapi
S3 berhenti sampai perolehan hasil 40, sehingga dapat dikatakan bahwa S3 melakukan kesalahan pada  keterampilan  proses.  S3  menuliskan  jawabannya  yaitu  dengan  mencari  koran  dari  bonus  gaji yang  diperoleh  Kristin  adalah  340.000  kemudian  dikurangi  260.000  yang  hasilnya  adalah  80.000, kemudian dibagi 2.000, yang menghasilkan 40 koran. Akan tetapi, S3 tidak menambahkan 40 koran tersebut dengan 20 koran yang dihasilkan sebelum Dina mendapat bonus. Sehingga dapat dikatakan bahwa S3 melakukan kesalahan pada penulisan jawaban akhir.
Deskripsi Pemberian Scaffolding PISA Konten Change and Relationship a. Subjek Penelitian 1 (S1) . Berdasarkan deskripsi kesalahan S1, S1 tidak melakukan kesalahan dalam menyelesaikan  soal  PISA  konten change  and  relationship, sehingga  peneliti  tidak  memberikan scaffolding.
b. Subjek Penelitian 2 (S2). Pada soal nomor 3, S2 melakukan kesalahan pada tahap transformasi (T- 01),  keterampilan  proses (P-01), dan  penulisan jawaban  akhir  (E-01). Berikut  pemberian scaffolding oleh peneliti pada S2. Tabel 6
c. Subjek  Penelitian  3  (S3).  Berdasarkan  hasil  pekerjaan  S3  dalam  menyelesaikan  soal  nomor  3,  S3 melakukan  kesalahan  pada  tahap  memahami  (C-01),  transformasi  (T-01),  kemudian  keterampilan proses (P-01), dan penulisan jawaban akhir (E-01). Berikut pemberian scaffolding oleh peneliti pada S2. Tabel 7.
Tabel 6. Pemberian Scaffolding Peneliti (P) kepada S2
Label Percakapan P
Lalu di informasi pada kotak iklan ini bagaimana, coba pahami lagi. 20 koran ini apa?
S2
Itu kalau dapat menjual 20 koran bakal dapat 260.000
P Kristin dapat penghasilan berapa pada soal ini?
S2 340.000 bu
P
Kristin sudah dapat lebih dari 260.000 benar?
S2 Benar bu
P Lalu  seharusnya  bagaimana,  apakah  dengan  penghasilan  340.000  ini  Kristin  menjual berapa koran?
S2 Berarti Kristin menjual lebih dari 20 koran bu
P Jadi untuk 80000 dibagi 20000 ini bukan koran yang dijual Kristin selama seminggu kan?
S2 Hmm bukan bu, itu koran yang dijual Kristin setelah mendapat bonus bu
P Coba kamu mi salkan saja “ ” adalah koran yang dijual Kristin setelah mendapatkan bonus S2 Iya.. baik bu
P
Jadi total koran yang dijual Kristin berapa? S2 ini bu yang dari bonusnya, bu, hasilnya 60 P
Jadi kesimpulan akhirnya bagaimana?
S2 Jadinya Kristin menjual 60 koran bu dalam seminggu
P Oke silahkan perbaiki jawabanmu
S2 Baik bu
Tabel 7. Pemberian Scaffolding Peneliti (P) kepada S3 Label Percakapan P Coba pahami lagi. 20 koran ini apa? S3 Kristin digaji 260.000 jika menjual 20 koran bu P Kristin menerima gaji berapa? S3 340.000 P Apakah Kristin sudah mendapat lebih dari 260.000? S3 Iya bu P 260.000 berarti Kristin sudah menjual berapa koran? S3 20 koran bu P Kalau Kristin 340.000 berarti dia menjual berapa koran S3 40 ini sesuai perhitungan saya ini bu P Coba kamu baca ulang, hubungkan dengan pernyataan 20 koran ini S3 20 koran ini gajinya 260.00 bu P Kristin sudah mendapat 340.000 berarti sudah menjual berapa koran? S3 Lebih dari 20 koran bu P Lalu sisanya ia dapat menjual berapa koran? S3 40 bu P Total keseluruhan koran yang dijual Kristin jadi berapa? S3 40+20 bu P Jadi kesimpulan akhirnya ? S3 Jadi Kristin sudah menjual 60 koran bu P Oke silahkan perbaiki jawaban kamu
Gambar 5. Hasil Perbaikan S3
Jenis Kesalahan Siswa dalam Menyelesaikan Soal PISA Konten Change and Relationship
a. Jenis  kesalahan  S1.  S1  tidak  melakukan  kesalahan  yang  dalam  menyelesaikan  soal  PISA  konten change and relationship.
b. Jenis  kesalahan  S2.  Jenis  kesalahan  yang  dilakukan  S1  dalam  menyelesaikan  soal  PISA  konten change and relationship adalah transformasi, process skill dan encoding .
c. Jenis  kesalahan  S3.  Jenis  kesalahan  yang  dilakukan  S1  dalam  menyelesaikan  soal  PISA  konten change and relationship adalah , comprehension error, transformation error , process skill dan encoding .
Bentuk Scaffolding yang Diberikan  Berdasarkan  Jenis  Kesalahan  yang  Dilakukan  Siswa  dalam Menyelesaikan Soal PISA Konten Change and Relationship.
a. Subjek  Penelitian  (S1).  S1  tidak  melakukan  kesalahan  dalam  menyelesaikan  soal  PISA  konten change and relationship, sehingga peneliti tidak memberikan scaffolding.
b. Subjek  Penelitian  (S2).  S2  melakukan  kesalahan  transformasi, scaffolding yang  diberikan  adalah melakukan  tanya  jawab  untuk  mengarahkan  siswa  pada  pembenaran (restructuring). Kemudian kesalahan proses, scaffolding yang diberikan adalah meminta siwa mengamati hasil yang diperoleh
(reviewing). Kemudian  kesalahan  penulisan  jawaban  akhir, scaffolding yang  diberikan  adalah menyederhanakan  hasil  dari  jawaban  yang  diperoleh  siswa (restructuring), dan  meminta  siwa mengamati hasil yang diperoleh (reviewing).
c. Subjek  Penelitian  3  (S3).  Subjek  penelitian  3  melakukan  kesalahan  memahami, scaffolding yang diberikan  adalah  meminta  siswa  membaca  soal  lebih  teliti  lagi (reviewing), kemudian  kesalahan process skill , scaffolding yang diberikan adalah melakukan tanya jawab untuk mengarahkan siswa pada pembenaran (restructuring). Kemudian kesalahan encoding, scaffolding yang diberikan adalah melakukan tanya jawab untuk mengarahkan siswa pada pembenaran (restructuring) dan meminta siswa memperbaiki jawabannya (reviewing).

## 4. KESIMPULAN
Berdasarkan  pembahasan  di  atas  dapat  diambil  kesimpulan  bahwa  guru  sebaiknya  meberikan latihan soal PISA lebih sering untuk melatih kemampuan siswa dalam menyelesaikan soal PISA konten change and relationship, Guru sebaiknya juga memahami jenis kesalahan dan kemampuan yang dimiliki siswa  sehingga  guru  dapat  memberikan scaffolding yang  tepat  dalam  mengatasi  jenis  kesalahan tersebut. Serta epada peneliti lain, sebaiknya memilih waktu yang tepat saat melakukan tes sehingga dapat memperoleh hasil yang maksimal.

## REFERENSI
Hande Gülbağcı Dede, Emine Gülen Ulusoy, M. K. (2021). Skill -based Mathematics Questions: What Do  Middle  School  Mathematics  Teachers  Think  about  and  How  Do  They  Implement  Them? Turkish  Journal  of  Computer  and  Mathematics  Education  (TURCOMAT) , 12 (1),  151 – 186. https://doi.org/10.17762/turcomat.v12i1.277
Mammadov,  R.,  &  Çimen,  I.  (2019).  Optimizing  Teacher  Quality  Based  On  Student  Performance:  A data envelopment analysis on PISA and TALIS. International Journal of Instruction , 12 (4), 767 – 788. https://doi.org/10.29333/iji.2019.12449a
Noutsara, S., Neunjhem, T., & Chemrutsame, W. (2021). Mistakes in Mathematics Problems Solving Based  on  Newman’s  Error  Analysis  on  Set  Materials. Journal  La  Edusci , 2 (1),  20 – 27. https://doi.org/10.37899/journallaedusci.v2i1.367 OECD. (2018). Result PISA 2018: What Students Know and Can Do . Jakarta: OECD Publising. Robert  M.  B.  (2019). Intructional  Design:  The  ADDIE  Approach .  New  York:  Springer  Science  Busines Media.