SISTEM INFORMASI EVALUASI MUTU AKADEMIK DAN PROSES PEMBELAJARAN MENGGUNAKAN METODE ENHANCED CUMULATIVE VOTING
Aris Eko Priyanto 1 , Achmad Jauhari 2 , Rika Yunitarini 3
1,2,3 Program Studi Teknik Informatika-Fakultas Teknik, Universitas Trunojoyo Kampus Unijoyo, Kamal – Telang, Bangkalan Madura
1 aris. winchester @gmail.com

## ABSTRAK
Untuk  meningkatkan  kualitas  pengajaran  di  Universitas  Trunojoyo  diperlukan  adanya  evaluasi pembelajaran. Salah satu caranya adalah dengan membuat survei. Peserta survei adalah mahasiswa dan  hasilnya  diinput  ke  tim  penjaminan  mutu.  Kondisi  pengisian  dan  rekapitulasi  survei  saat  ini dilakukan  dengan  menulis  di  atas  kertas  sehingga  Anda  akan  membuat  sistem  elektronik  dari pengisian rekapitulasi. Metode yang digunakan saat ini adalah voting kumulatif. Metode ini mudah dan  cepat  diterapkan.  Namun,  hasilnya  kurang  bisa  diandalkan.  Dikarenakan  pada  metode Pemungutan  Suara  Kumulatif  tidak  melihat  latar  belakang  objek  yang  berkontribusi  terhadap kualitas akademik dalam hal ini adalah mahasiswa. Oleh karena itu dalam pembahasan kali ini akan digunakan  metode  Cumulative  Voting  Enhanced  yang  selanjutnya  disingkat  menjadi  (ECV). Dimana  metode  ini  meningkatkan  kualitas  hasil  Pemungutan  Suara  Kumulatif  dengan  cara mengelompokkan  objek  siswa  menjadi  beberapa  kriteria  yaitu  berlaku,  jumlah  kehadiran,  status mata  kuliah  yang diambil  dan lamanya  waktu  pengisian  formulir.  Setelah  siswa  dikelompokkan, maka akan dilakukan pembobotan menggunakan Analytical Hierarchy Process skala 1-9. Dengan menggunakan  ECV  maka  hasil  evaluasi  diharapkan  mendekati  kenyataan  karena  tampilan pengelompokan berdasarkan kriteria.

## Kata kunci: AHP, Voting Kumulatif, bobot, metode pemeringkatan

## ABSTRACT
To improve the quality of teaching at the University Trunojoyo Informatics Engineering is required for the evaluation of learning. One way is to create a survey. Survey participants were students and the results are input into the quality assurance team. Charging conditions and the recapitulation of the current survey is done by writing on paper so that you will be creating an electronic system from filling up the recapitulation. The method used today is the cumulative voting. The method is easy and  quick  to implement.  However,  the  results  are  less  reliable.  Due  to the  method of  Cumulative Voting  does  not  see  the  background  object  that  contribute  to  academic  quality  in  this  case  is  a student. Therefore in this discussion will use the methods of Cumulative Voting Enhanced hereinafter abbreviated as (ECV). Where this method of improving the quality of the results of Cumulative Voting by  way  of  classifying  objects  students  into  several  criteria,  namely  in  force,  the  number  of attendance, the status of the courses taken and the length of time filling the form. Once students are grouped, it will be weighted using Analytical Hierarchy Process scale of 1-9. By using ECV then the results of the evaluation are expected to be close to reality because the look of the grouping based on the criteria.
Keywords: AHP, Cumulative Voting, weights, method of ranking.

## PENDAHULUAN
Ciri pendidikan berkualiatas adalah pendidikan yang selalu
melakukanevaluasi  hasil  be  ajar  setiap selesai  sat  semester  at  au  sat  period pembelajaran.Salah  sat  evaluasi  yang digunakan adalah evaluasi dari sisi obyek pembelajaran  yakni  peserta  ajar  dimana peserta ajar yakni mahasiswa melakukan penilaian  kinerja  dosen  dalam  hal pelayanan  kepada  mahasiswa  yang meliputi persiapan pengajaran,
penyampaian  materi,  pengayaan  materi dan sebagainya. Pada  program studi teknik informatika universitas Trunojoyo
Madura  setiap  tahunnya  melakukan sistem evaluasi yang dilaksanakan dan di awasi  langsung  oleh  tim  jaminan  mutu program  studi.  Setiap  mahasiswa  aktif diminta  untuk  mengisi  form  evaluasi pada saat ujian akhir semester.
Permasalahan yang terjadi adalah  ketika  berhubungan  dengan jumlah data dan variasi data yang masuk. Dimana setiap
selesai evaluasi pembelajaran  sat  period,  data  yang masuk pada tim jaminan mutu berjumlah ratusan  hingga  ribuan  data.  Dan  data- data  tersebut  adalah  bersifat  manual, yakni  tertulis  di  kertas.  Tim  jaminan mutu  harus  melakukan  rekapitulasi manual  per  mata  kuliah,  per  dosen,  dan melakukan penilaian hasil.
Tentu ini menyulitkan tim jaminan  mutu,  dan  faktanya  dari observasi lapangan adalah sudah 2 period pembelajaran berturut-turut tidak dilakukan evaluasi
pembelajaran dikarenakan data yang masuk banyak dan tidak  sempat  terselesaikan  sebagian besar. Jelas ini merugikan program studi dikarenakan tidak  ada  masukan  dari  sisi mahasiswa  mengenai  masukan  untuk peningkatan kualitas mutu akademik.
Dari sisi metode yang digunakan juga  kurang  mendekati  hasil  kenyataan, yakni  menggunakan  metode Cumulative Voting.  Dimana  dalam  form  terdapat pertanyaan dan 4 pilihan jawaban. Dan 4 pilihan  jawaban  tersebut  memiliki  nilai yang tidak sama.
Kekurangan  dari  metode  ini adalah tidak melihat sisi obyek pembelajaran  yakni  mahasiswa,  karena latar  belakang,  dan  motivasi  mahasiswa bergantung pada beberapa hal.
Kebanyakan  mahasiswa  ketika  mengisi form  dapat  tidak  menunjukan  suara sebenarnya  dari  mahasiswa.  Hal  ini dikarenakan  mahasiswa  memilih  untuk cepat mengisi dan menyelesaikan. Masalah  tersebut  sering  terjadi  pada mahasiswa  angkatan  lama  baik  yang mengulang  mata  kuliah  ataupun  tidak. Dan  ini  menjadi  semacam  tradisi  bagi mahasiswa di angkatan bawah.

## METODE

## A. Cumulative Votting
Cumulative  Voting  (CV)  adalah salah  satu  metode  tertua  dan  paling mudah digunakan untuk memprioritaskan requirement. Para customer atau  kelompok  customer disediakan 100 unit (poin, uang atau unit imajiner lainnya) untuk mendistribusikan di antara  requirement[3]. Semakin banyak  poin  yang  diberikan  pada  suatu requirement  tertentu,  semakin  tinggi prioritas  requirement  tersebut.  Sangat mudah untuk  mendistribusikan 100 poin ketika  memiliki  beberapa  requirement. Tapi, ketika semakin banyak
requirement,  CV  mulai  kehilangan keasliannya.  Misalnya  memiliki  50 requirement,  dan  kemudian  customer tidak dapat memberikan lebih dari 2 poin untuk  setiap  requirement  (jika  dia  ingin memberikan  poin  yang  eksplisit  untuk semua requirement). Dalam hal ini, sulit untuk memperkirakan kepentingan relatif antara requirement.
B. Analytical Hierarchy  Process Adalah metode yang dikembangkan oleh Saaty yang digunakan untuk pengambilan keputusan dengan memperhatikan faktor kesukaan, persepsi,  pengalaman  dan  intuisi.  AHP dapat digunakan untuk membantu menganalisa  dan  memberi  masukan dalam  pengambilan  keputusan  dengan menggunakan skala 1 - 9 AHP berikut:
Tabel 1.  Skala AHP Skala a bc Penjelasan 1 b dan c sama-sama penting
3 b sedikit lebih penting daripada c
5 b lebih penting dari c
7 b sangat lebih penting daripada
c
9 b benar-benar lebih penting daripada c
2,4,6,8 Nilai tengah

## C. Enhanced  Cumulative  Votting (ECV)
Pada  dasarnya  desain  prosedur metode  ECV  dimulai  dengan  langkah awal  yang  sama  dengan  CV,  yaitu memastikan  spesifikasi  requirement. Selengkapnya dapat dilihat pada Gambar 1.

## Gambar_ 1. Perbandingan Desain Sistem CV dan ECV
Sedangkan  prosedur  berikutnya adalah sebagai berikut:
1. Menentukan kriteria dan nilai kriteria untuk setiap customer. Pengujian  dalam  penelitian  ini menggunakan 2 kriteria untuk memudahkan visualisasi pengelompokan pada  diagram  kartesius.  Jumlah  kriteria yan  digunakan  bisa  satu,  dua  atau  tiga, dan seterusnya sesuai keinginan.
Penentuan kriteria bisa ditentukan berdasarkan faktor-faktor yang mempengaruhi kontribusi customer terhadap sistem, misalnya: jumlah
kebutuhan  fungsional  sistem,  jumlah pengguna  untuk  kategori  customer, kontribusi keuntungan, kontribusi biaya, dan sebagainya.  Pengukuran  nilai  faktor bisa  diambil  dari  data  lapangan  yang
memenuhi  syarat  untuk  digunakan sebagai kriteria dalam pengelompokan. Pengelompokan Mahasiswa.
Gambar_ 2. Pengelompokan

## Mahasiswa
Untuk  meningkatkan  kualitas pembelajaran pada prodi Teknik Informatika Universitas Trunojoyo Madura,  maka  kepala  jaminan  mutu melakukan  evaluasi  kinerja  pelayanan dosen  terhadap  mahasiswa.  Dalam  hal ini,  mahasiswa  dikelompokan  dengan kriteria  berdasarkan  kesepakatan  tim jaminan  mutu  dan  kepala  jurusan  yang sudah  dibahas  pada  point  7.4  diatas sebagai berikut:
2. Pembobotan kelompok customer Kelompok  (cluster)  yang  sudah didapat  dari  K-means  harus  diberikan bobot.  Pemberian  bobot  untuk  setiap kelompok  di  sini bisa  dilakukan  dengan bebas  tetapi  dalam  metode  ECV  ini mengadopsi metode AHP yang menggunakan skala 1 sampai 9 (antara 0 dan  10),  sehingga  aturan  skala  yang digunakan  juga  sama.  Penjelasan  skala bobot  dalam  ECV  dijelaskan  dalam Tabel  2.  Nilai  bobot  dalam  sebuah kelompok menunjukkan besarnya kontribusi  (pengali)  terhadap  poin  yang diberikan  customer  yang  masuk  dalam kelompok tersebut. Nilai bobot yang bisa diberikan dalam jangkauan 1 sampai 9.
Table 2. skala dasar perbandingan berpasangan ECV
Bobot Definisi 1 Kontribusi sangat ekstrim kecil
3 Kontribusi agak kecil
5 Kontribusi sedang-sedang saja
7 Kontribusi agak besar
9 Kontribusi sangat ekstrim
besar
2,4,6,8 Nilai tengah di antara dua nilai kontribusi yang berdekatan

## HASIL DAN PEMBAHASAN

## 1. Sistem Requirement
Sebelum  membangun  sistem maka  dilakukan  wawancara  kepada pihak-pihak  terkait  atau stake  holder guna  mendapatkan  informasi  dan  detail apa  saja  yang  dapat  dilakukan  oleh aplikasi  yang  dibangun.  Pihak  terkait yang  digali  datanya  melalui  wawancara adalah 1. Kepala Tim Jaminan Mutu Program Studi Teknik Informatika
2. Tim  Jaminan  Mutu  Program  Studi Teknik Informatika 3. Dosen Program Studi Teknik Informatika 4. Mahasiswa  Program  Studi  Teknik Informatika
Menghasilkan detail requirement sebagai berikut. Tabel 3. Stake Holder Requirement
Stake Holder Sistem Requirement
Jaminan Mutu Sistem yang dibangun memiliki: 1. Akses login dan tingkatan hak akses adalah mahasiswa, dosen dan admin / tim jaminan mutu. 2. Mengatur pertanyaan, jawaban dan bobot kuisioner.
3. Mengatur KPI.
4. Mengatur Metode
yang digunakan 5. Management user login tim jamu. 6. Data kuisioner dikelompokan secara global, per dosen, dan per mata kuliah. 7. Sistem dapat mengolah hasil kuisioner sehingga dapat menghasilkan index prestasi dosen berdasarkan kuisioner. Dosen 1. Login 2. Melihat hasil kuisioner berdasarkan dosen dan kelas yang di ampu. 3. Data hasil kuisioner yang dilihat dapat berupa tabel angka dan juga grafik diagram batang. Mahasiswa 1. Login 2. Mengisi kuisioner berdasarkan mata
kuliah yang di ambil.
Dari  hasil  requirement  diatas maka  dapat  digambarkan  uses  case seperti berikut:
Gambar 3. Usescase. Dan  berikut  gambaran  dari usescase interaction.
T able 4. Usescase interaction. Uses System Jamu : 1. Login 2. Input KPI 3. Membuat Kuisioner 4. Evaluasi KPI Mahasiswa : 1. Login 2. Input Kuisioner Dosen : 1. Login 2. Evaluasi Hasil 1. Auntentifikasi 2. Simpan KPI 3. Simpan Kuisioner 4. Perhitungan Kuisioner 1. Auntentifikasi
2. Simpan
1. Auntentifikasi
2. Tampil data hasil kuisioner

## 2. Key Performance Indicator
Kuisioner  dibangun berdasarkan
pertanyaan-pertanyaan. Setiap pertanyaan  memiliki  4  pilihan  jawaban. Setiap  jawaban  memiliki  bobot  /  nilai yang berbeda. Masing-masing pertanyaan  dalam  kuisioner  memiliki tujuan  untuk  mengukur  kinerja  dosen mengajar  dalam  kelas.  Acuan  dalam membuat  pertanyaan  kuisioner  di  atur oleh  kunci  performa  indikator  / key performance  indicator .  Berikut  adalah
tabel  Key  Performance  Indicators  dari tim jaminan mutu prodi Teknik Informatika Universitas Trunojoyo Madura. Tabel 5. Key Performance Indicator. No Area Kinerja Key Performance Indicator Bobot KPI 1 Perencanaan Pembelajaran
% Jumlah dosen yang melakukan perencanaan pembelajaran per mata kuliah per semester. 15 Pelaksanaan Pembelajaran % jumlah perencanaan kuliah yang sudah terlaksana dalam satu semester. 10
2 Metode Pembelajaran % Jumlah variasi metode pembelajaran dosen dalam perkuliahan 10 3 Metode Penyampaian materi
% jumlah dosen yang mendapat predikat dosen menarik – sangat menarik dalam penyampaian materi 10 Mahasiswa dalam menyerap materi % jumlah mahasiswa yang memahami materi yang disampaikan 15
oleh dosen
4 Relveansi Pokok Bahasan mata kuliah % jumlah pokok bahasan yang relevansi dengan mata kuliah 10 Materi perkuliahan terbaru / up to date % materi dosen memberikan materi perkuliahan yang terbaru. 5 5 Ketepatan waktu perkuliahan % dosen tepat waktu dalam datang mengajar, selesai mengajar. 10 6 evaluasi tugas/uts/uas yang memadai % tugas/uts/uas dibahas dan dievaluasi oleh dosen kepada mahasiswa. 5 Keadilan dalam evaluasi dan penilaian tugas/uts/uas % dosen berlaku adil dalam melakukan evaluasi dan penilaian terhadap tugas/uts/uas mahasiswa. 10
100

## 3. Sistem ECV
Gambar 4. Alur sistem ECV Alur  sistem  ECV  dimulai  dari penentuan  requirement  dari  stakeholder yang  sudah  dijelaskan  di  halaman sebelumnya.  Lebih  detailnya  adalah sebagai berikut:
1. Tentukan  requirement  apa  saja  yang hendak  digunakan  dalam  menilai pelayanan  dosen.  Langkah  ini  sama seperti  langkah Cumulative  Voting yakni menentukan spesifikasi requirement. contoh  dalam  hal  ini requirement adalah  mahasiswa  yang akan  dikelompokan  pada  langkah  no 2.
2. Mahasiswa  sebagai customer dan requirement akademik terlebih dahulu dikelompokan  dalam  4  kriteria.
Spesifikasi Requirement:
a) berdasar tahun angkatan.
b) berdasar  jumlah kehadiran.
c) berdasar status mata kuliah yang diambil.
d) berdasar  lama  waktu  pengisian form.
3. Lalu  masukan  kedalam  nilai  secara bebas  berdasar  metode Analytic Hierarchy Process pada tabel matriks berpasangan seperti dibawah ini. Kriteria A B C D A 1 (a,b) (a,c) (a,d) B (1/a,b) 1 (1/ c,b) (b,d) C (1/ a,c) (c,b) 1 (c,d) D (1/ a,d) (1/ b,d) (1/ c,d) 1 Contoh pengisian Kriteria A B C D
A 1 2 3 3 B 0.5 1 0.5 3 C 0.3333 2 1 3 D 0.3333 0.3333 0.3333 1 4. Setelah  di  isi,  maka  langkah selanjutnya  adalah  dinormalisasi dengan cara a. Jumlahkan setiap elemen dengan jumlah masing-masing kolom. Kriteria A B C D A 1 2 3 3 B 0.5 1 0.5 3 C 0.3333 2 1 3 D 0.3333 0.3333 0.3333 1 Jumlah 2.1667 5.3333 4.8333 10
b. Bagi  Setiap  elemen  dengan jumlah  masing-masing  kolom. Lalu jumlahkan per kolom.
c. Cari  rata-rata  setiap  kriteria. contoh  hasilnya  adalah  seperti berikut.
Kriteria A B C D Jumlah Kolom Rata- rata A 0.4615 0.375 0.6207 0.3 1.7572 0.4394 B 0.2308 0.1875 0.1034 0.3 0.8220 0.2054 C 0.1538 0.375 0.2069 0.3 1.0357 0.2589 D 0.1538 0.0625 0.0690 0.1 0.3583 0.9632 Jumlah 1 1 1 1 4 1 Maka dapatlah bobot: A = 0.4394 C = 0.2589 B =  0.2054 D = 0.9632 5. Dari  hasil  bobot  diatas,  maka  yang paling  besar adalah  bobot  D,  untuk menguji  konsitenitas  maka  kalikan bobot  jumlah  pada  langkah  3a. Maka  hasilnya  adalah  4.262257
disebut nilai  (lamda) max.
6. Lalu  cari  nilai Consistency  Index (CI)  dengan  menggunakan  rumus
( max-n)/(n-1). n adalah banyaknya kriteria  dalam  contoh  ada  4.  maka hasilnya  adalah  (4.262257-4)/(4-
1)=0.087419 (CI).
7. Langkah selanjutnya adalah mencari nilai Consistency  Ratio (CR)  bagi nilai  CI  dengan  nilai  CR  sesuai jumlah  kriteria.  dimana  tabel  IR adalah seperti berikut:
1 2 3 4 5 .. 15 0.00 0.00 0.58 0.90 1.12 .. 1.59
Dimana  jumlah  N  contoh  diatas adalah  4,  maka  kita  menggunakan  tabel
IR 4 yang bernilai 0.90. CR = CI/CR = 0.087419 / 0.90 CR = 0.097 Jika  CR  kurang  dari  0.1  maka disebut konsisten. 8. Sehingga susunan hirarki yang baru lengkap  dengan  bobot  kriteria adalah: A  = 0.4 B  = 0.2 C  = 0.3 D  = 0.9 atau 1. Dengan  demikian  jika  nilai  D akan menjadi prioritas dalam
perangkingan  bobot  dalam  menentukan penilaian  terhadap  dosen.  Jika  D dimisalkan adalah nilai “kesiapan mengajar”  maka  dosen  yang  memiliki nilai  kesiapan  mengajar  yang  bagus, dosen  tersebut  dapat  /  mendekati penilaian sebenarnya.
4. Implementasi Sistem
a. Bagian Mahasiswa
Halaman kuisioner online
Gambar 6. Halaman Login Mahasiswa.
b. Bagian Admin Jaminan Mutu
Halaman  Login  Jaminan  Mutu (Jamu).
Halaman Key Performance Indicator
Gambar 7. Halaman Login Mahasiswa.

## SIMPULAN
Kesimpulan yang dapat di ambil dari pembuatan Sistem Informasi Evaluasi  Mutu  Akademik  Dan  Proses Pembelajaran  Studi  Kasus:  Program Studi  Teknik  Informatika  Universitas Trunojoyo Madura Menggunakan Metode  Enhanced  Cumulative  Voting. Adalah sebagai berikut; 1. Sistem  informasi  tersebut  dapat membantu tim jaminan mutu dalam :
· Mengumpulkan data kuisioner.
· Mengukur  tingkat  kinerja  dosen dalam kelas.
· Membandingkan perbedaan hasil dari 2 metode. 2. Membantu mempermudah mahasiswa dalam melakukan penilaian kinerja dosen dalam waktu
dan media yang fleksibel.
3. Membantu menunjang  program studi  dalam  akreditasi  prodi  karena telah  memiliki  data  dan  sistem pengukuran  /  measurament  yang dapat diandalkan

## SARAN
Saran untuk peningkatan kinerja aplikasi  sistem  informasi  diatas  adalaha sebagai berikut: 1. Waktu  pengambilan  data  kuisioner yang digunakan tidak lagi dipenghujung  semester  namun  bisa pada saat dosen mengajar. 2. Dapat menggunakan metode lain dan kriteria  lain,  semisal  pendalaman kriteria lama pengisian form.

## DAFTAR PUSTAKA
[1]  Saaty,  T.L.  dan  Vargas,  L.G. (2001). Models, Methods, Concepts  &  Applications  of  the Analytic Hierarchy Process, Kluwer Academic Publishers, Boston, MA. [2]  Agusa, K., Ohnishi, A. dan Ohno, Y. (1979). Verification of requirements  description,  in:  The Proceedings  of  Twelfth  Hawaii International Conference on System  Science,  Los  Alamitos, CA.
[3]   Leffingwell,  D.  dan  Widrig,  D.
(2003). Managing Software Requirements: A Use Case Approach, Addison-Wesley, USA, 2nd edition, pp 124-125. [4]   Sahni,  D.  (2007).  A  Controlled Experiment on Analytical Hierarchy Process and Cumulative Voting, Master Thesis, Software  Engineering  Thesis  no: MSE-2007-17, School of Engineering, Blekinge  Institute of Technology, Sweden [5]  Prasetyo  Eko,  Pujianto  Utomo. 2011. Clustering dan Pembobotan untuk Meningkatkan Metode Cumulative Voting . (Online)