## Evaluasi Tutor Online untuk Meningkatkan Kualitas Layanan Tutorial Tatap Muka pada Pendidikan Jarak Jauh
Sugiran 1) , Pardamean Daulay 2) , Badrus Zaman 3) , Faried Effendy 4) , Lilis Amalia 5)
1,2) UPBJJ-UT Surabaya, Universitas Terbuka Kampus C Unair Mulyorejo, Surabaya
1) sugiran-sby@ut.ac.id
2) pardameandaulay@ut.ac.id
3,4) Program Studi Sistem Informasi, Fakultas Sains dan Teknologi, Universitas Airlangga Kampus C Unair Mulyorejo, Surabaya
3) badruszaman@fst.unair.ac.id
4) faried-e@fst.unair.ac.id
5) Program Studi Diploma Sistem Informasi, Fakultas Vokasi, Universitas Airlangga Jl. Srikana 65 Surabaya
5) lilis.amalia-12@fst.unair.ac.id
Abstrak—  Penjaminan  kinerja  tutor  di  Universitas  Terbuka  (UT)  ditentukan  dari  hasil  evaluasi  tutor  yang dilakukan  secara  manual  dengan  cara  membagikan  angket  kepada  mahasiswa.  Sistem  ini  membutuhkan biaya  besar,  kurang  disukai  mahasiswa,  mengganggu  aktivitas  tutorial,  pengolahan  angket  masih  dilakukan secara  manual,  dan  laporan  hasil  tidak  dapat  diterima  tepat  waktu.  Solusinya  perlu  sistem  evaluasi  tutor berbasis online untuk menggantikan sistem yang lama. Penelitian ini bertujuan untuk menghasilkan aplikasi sistem evaluasi tutor berbasis online yang dapat meningkatkan kualitas layanan Tutorial Tatap Muka di UT. Desain  aplikasi  menggunakan  System  Development  Life  Cycle  (SDLC)  dengan  beberapa  tahapan.  Tahap pertama  adalah  analisis  kebutuhan  menggunakan  teknik  wawancara,  dokumentasi  dan  observasi.  Tahap kedua  adalah  analisis  kebutuhan  sistem  yang  dilakukan  untuk  merumuskan  solusi  dari  permasalahan  yang ada.  Tahap  ketetiga  yaitu  perancangan  sistem  yang  digambarkan  dalam  bentuk  diagram  data  flow  diagram context  level  (DFD).  Tahap  keempat  merupakan  implementasi  sistem  yang  dilakukan  dengan  membuat pseudocode.  Tahap  terakhir  adalah  pengujian  sistem,  menggunakan  metode  black  box  testing.  Hasil  ujicoba menunjukkan  bahwa  aplikasi  sistem  sudah  sesuai  dengan  kebutuhan,  dimana  mahasiswa  UT  dapat  menilai tutor  dengan  mengakses  internet.  Berdasarkan  pengujian  fungsional  dan  evaluasi  aplikasi  evaluasi  tutor berbasis online ini dapat membantu UT  dalam hal peningkatan kualitas layanan tutorial tatap muka.
Kata Kunci — Sistem Evaluasi Tutor, Tutorial Tatap Muka, Pendidikan Jarak Jauh, Universitas Terbuka Abstract — Underwriting performance of tutors at the Open University (UT) is determined from the evaluation of  tutors  is  done  manually  by  distributing  a  questionnaire  to  students.  This  system  is  costly,  less  preferred students, interfere with the activity of the tutorial, the questionnaire processing is still done manually, and the report  can  not  be  received  on  time.  The  solution  needs  to  be  an  evaluation  system  based  tutors  online  to replace the old system. This study aims to generate application-based tutor online evaluation system which can improve  the  quality  of  service  tutorial  face  to  face  at  UT.  Application  design  using  the  System  Development Life  Cycle  (SDLC)  with  several  stages.  The  first  is  a  systems  planning  (needs  analysis),  using  interview techniques,  dokuemntasi  and  observation.  Second,  system  analysis  (system  requirements  analysis)  conducted to formulate the solution of existing problems. Third, the system design (system design), which is  depicted in diagrammatic form context-level data flow diagram (DFD). Fourth systems implementation  (implementation of  the  system),  carried  out  using  pseudocode  programming  code  based  on  the  programming  language,  and Fifth,  system testing,  using  black  box  method  testing.  Results  test  show  that  the  application  is  in  conformity with the needs of the system, where students can assess the tutor UT simply by accessing the internet. Expected results of this study, evaluation of the application form based online tutors can help UT in terms of improving the quality of face-to-face tutorial services.
Keywords — Tutor Evaluation System, Face to Face Tutorial, Distance Education, Open University Article history:
Received 8 November 2015; Received in revised form 7 December 2015 & 2 March 2016; Accepted  10 March 2016; Available online 30 April 2016

## I. PENDAHULUAN
Universitas  Terbuka  (UT)  merupakan  salah satu  perguruan  tinggi  negeri  di  Indonesia  yang
menyelenggarakan  sistem  pembelajaran  terbuka dan jarak jauh. Dalam sistem pembelajaran seperti ini, mahasiswa tidak perlu wajib hadir ke kampus, tetapi  mereka  dituntut  belajar  mandiri  dari  bahan
ajar  (modul)  yang  telah  disediakan  sesuai  dengan waktu  dan  kesempatan  masing-masing.  Sistem belajar seperti ini terbukti efektif untuk meningkatkan  daya  jangkau  dan  pemerataan kesempatan  pendidikan  bagi  semua  warga  negara Indonesia termasuk mereka yang tinggal di daerah terpencil.  Namun,  kenyataannya  belum  semua mahasiswa  UT  mampu  mengikuti  sistem  belajar mandiri  sehingga  banyak  diantara  mereka  yang mengalami masalah.
Adapun  beberapa  masalah  yang  sering dihadapi mahasiswa UT adalah kesulitan memahami  bahan  ajar,  merasa  terisolasi,  dan lambat  memperoleh  feedback  pada  tugas-tugas yang  dikerjakan  (Andriani,  2005).  Munculnya masalah-masalah  tersebut  diakibatkan  mereka belum  terbiasa  dengan  sistem  belajar  jarak  jauh dan  sebaliknya  sudah  terbiasa  belajar  tatap  muka dengan  bimbingan  seorang  guru  di  kelas sebagaimana  yang  dialaminya  sewaktu  belajar  di tingkat  sekolah  sebelumnya.  Oleh  karena  itu, mahasiswa  yang  belajar  pada  pendidikan  jarak jauh, masih memerlukan bantuan akademik dalam bentuk layanan tutorial (Wardani, 2000).
Tutorial  merupakan  salah  satu  bentuk  layanan bantuan belajar yang diberikan kepada mahasiswa untuk  membantu  mahasiswa  mencapai  hasil belajar secara optimal. Ada beberapa jenis layanan tutorial yang diselenggarakan di UT, yaitu tutorial tertulis, tutorial melalui internet, tutorial radio, dan tutorial  tatap  muka  (TTM).  Pada  umumnya layanan  tutorial  tersebut  menggunakan  sarana multimedia  atau  media  elektronik,  sehingga diperlukan  kemampuan  tutor  menyajikan  materi dalam  bentuk  tulisan,  dan  menyampaikannya kepada  mahasiswa  melalui  berbagai  media  yang tepat.  Berbeda  dengan  jenis  tutorial  lain,  TTM membutuhkan  kehadiran  seorang  tutor  untuk bertatap  muka  dengan  mahasiswa  pada  saat berlangsungnya  kegiatan  tutorial.  Dalam  hal  ini, ketersediaan  tutor  dianggap  sebagai  salah  satu komponen penting dalam penyelenggaraan TTM.
Untuk memenuhi ketersediaan tutor, selama ini UT melakukan rekrutment tutor tidak terbatas dari kalangan  internal  saja,  tetapi  pada  umumnya berasal dari luar UT, yaitu  mereka  yang  memiliki profesi  sebagai  dosen  pada  perguruan  tinggi  lain, widyaswara,  guru  SMU,  PNS  atau  tenaga kependidikan  pada  Dinas  Pendidikan  setempat, praktisi/karyawan  dalam  bidang  tertentu  yang dibutuhkan  atau  terkait  dengan  materi  yang  perlu dipelajari  oleh  mahasiswa,  seperti  IGTKI  (khusus untuk  tutor  PAUD).  Tutor  dari  luar  UT  ini biasanya bekerja sebagai tenaga lepas atau kontrak kerja (Padmo, 2004)
Namun,  hasil  evaluasi  dan  monitoring  yang dilakukan  selama  ini,  kebanyakan  tutor  dari  luar UT  seringkali  menyamakan  kegiatan  tutorial dengan  perkuliahan  tatap  muka  seperti  pada institusi  tempat  mereka  bertugas.  Padahal  tugas
tutor  jauh  lebih  berat,  yaitu:  harus  menyiapkan bahan-bahan yang sesuai  untuk  diajarkan, menguasai  materi,  mampu  menjelaskan  konsep- konsep  materi,  mampu  berkomunikasi  dengan mahasiswa,  dan  mampu  membuat  penilaian (progress) mahasiswa (Arends, 2011).
Terdapat  lima  variabel  kinerja  tutor  yang harus  dikuasai  oleh  tutor,  yaitu;  (1)  persiapan tutorial,  meliputi  persiapan  rencana  tutorial, persiapan  bahan  tutorial,  persiapan  tugas  untuk mahasiswa, (2) penguasaan materi tutorial sebagai bahan yang akan diberikan kepada mahasiswa, (3) kemampuan  tutor  menyajikan  materi  ajar,  (4) kemampuan  berkomunikasi  dengan  mahasiswa, (5)  disiplin  tutor  menjalankan  tugas,  pemanfaatan waktu,  pemberian  tugas  sesuai  jadwal,  dan mengumpulkan  nilai  tugas  tepat  waktu  (Herman, 2010).
Untuk  menjamin  kinerja  tutor,  UT  telah melakukan  berbagai  upaya,  diantaranya  melalui pengembangan  standar  dan  prosedur  layanan prima  serta  berbagai  pelatihan,  baik  melalui modus tatap  muka maupun jarak jauh, melakukan program  akreditasi  tutor  agar  seluruh  tutor  yang tersebar  di  seluruh  Indonesia  memiliki  standar yang  baku  (Prastiti,  2011).  Penjaminan    kualitas tutor juga ditentukan dari hasil evaluasi tutor oleh mahasiswa (Sudirah, 2009). Hal ini dilakukan agar evaluasi  tutor  dapat  dilakukan  dengan  baik  dan objektif  sesuai  dengan  keinginan  dan  kebutuhan mahasiswa sebagai konsumen utama layanan UT.
Didalam organisasi pendidikan tinggi, evaluasi dosen  merupakan cara  untuk  mengetahui pengaruh  pengajaran  dosen  terhadap  mahasiswa (Wijaya  &  Henny,  2012).  Istilah  lain  yang  sering digunakan  adalah  penimbangan  karya,  yaitu proses penilaian dari ciri-ciri kepribadian, perilaku kerja,  dan  hasil  seorang  tenaga  kerja  atau karyawan  (pekerja  dan  manajer),  yang  dianggap menunjang  unjuk  kerjanya,  yang  digunakan sebagai  bahan  pertimbangan  untuk  pengambilan keputusan  tentang  tindakan-tindakan  di  bidang ketenagakerjaan. Evaluasi dosen meliputi kegiatan mengumpulkan  informasi  mengenai  bagaimana dosen  melakukan  pekerjaan,  menginterpretasi informasi  dan  membuat  penilaian  mengenai tindakan  apa  yang  harus  dilakukan  untuk meningkatkan kualitas pengajaran.
Dalam rangka penjaminan mutu penyelenggaraan  proses  tutorial  tatap  muka (TTM), Unit Program Belajar Jarak Jauh (UPBJJ) UT  Surabaya  sebagai  unit  pelaksana  teknis pembelajaran  (tutorial),  selama  ini  memberikan kesempatan luas  kepada  mahasiswa untuk  terlibat di  dalam  evaluasi  proses  tutorial.  Evaluasi  oleh mahasiswa dilakukan secara berkala dan berkesinambungan  setiap  tahapan  tutorial  dengan menggunakan  instrumen  ”Angket  Evaluasi  Tutor oleh  Mahasiswa”  (UM00-RK03).  Instrumen angket didistribusikan ke seluruh mahasiswa di 18
kabupaten dan kota di  wilayah jangkauan UPBJJ- UT  Surabaya.  Angket  dianalisis  dan  dievaluasi oleh  Tim  Monev  Tutorial  UPBJJ-UT  Surabaya, dan  merumuskan kemungkinan perlunya  tindakan perbaikan  dan  pencegahan.  Hasilnya  dilaporkan kepada  manajemen  UPBJJ-UT  Surabaya  untuk dievaluasi  dan  ditindaklanjuti,  bagi  penjaminan dan  peningkatan  mutu  tutorial  pada  periode tutorial selanjutnya.
Namun  pelaksanaan  evaluasi  tutor  sulit dilakukan  karena  jumlah  tutor  yang  harus dievaluasi  cukup  banyak  dan  lokasi  tutorial  yang tersebar  di  berbagai  wilayah  kabupaten/kota. Berdasarkan  data  tutor  yang  terdokumentasi  di dalam  Aplikasi  Tutor  UPBJJ-UT  Surabaya,  pada tahun  2014  jumlah  tutor  sebanyak  1.187  orang dengan  kualifikasi  pendidikan  tutor  bisa  dilihat pada table 1.
T ABEL 1. K UALIFIKASI P ENDIDIKAN T UTOR Kualifikasi Pendidikan Jumlah Persentae Sarjana 294 25 Magister (S-2) 826 70 Doktor (S-3) 67 5 1.187 100 Sumber: Aplikasi Tutorial UPBJJ-UT Surabaya, 2014
Mengingat jumlah tutor yang harus dievaluasi cukup banyak, jumlah mahasiswa dan mata kuliah yang  diambil  juga  cukup  banyak,  maka  sistem evaluasi  tutor  yang  dilakukan  selama  ini  dinilai belum efektif dan efisien. Ketidakefektifan terlihat dari  banyaknya  kegiatan  yang  harus  dilakukan, seperti pembagian angket, mengumpulkan, menghitung,  melakukan analisis  hasil angket, dan membuat laporan. Sementara  itu, ketidakefisienan menyangkut pada besarnya biaya untuk mengcopy angket  dan  hal  ini  tidak  sesuai  dengan  prinsip  go green  yang  menjadi  motto  UT.  Selain  itu,  secara psikologis ada  kecemasan dari mahasiswa apabila mengisi  angket  karena  perasaan  takut  terhadap tutor yang sedang dinilai.
Solusi  yang  ditawarkan  untuk  menyelesaikan permasalahan tersebut adalah dengan membangun aplikasi  sistem  evaluasi  tutor  berbasis  online,  di mana  mahasiswa  dapat  mengisi  angket  dengan cara  mengakses  internet  baik  menggunakan komputer  maupun  telepon  genggam.  Aplikasi seperti ini sebenarnya sudah lazim digunakan oleh perusahaan  dan  di  dunia  pendidikan  untuk memberikan  penilaian  kepada  semua  aspek kegiatan  yang  dikelola.  Bahkan,  di  era  media sosial saat ini, pengumpulan data tentang persepsi, pandangan,  sikap  khalayak  yang  sebelumnya harus  digali  lewat  penelitian  lapangan  yang berbiaya  tinggi  bisa  diperoleh  cukup  tersambung ke internet  (Rahmawati & Ahdiat, 2014) . Kemudahan-kemudahan  tersebut  ditunjang dengan  adanya  situs  penyedia layanan pembuatan survey,  seperti  SurveyMonkey  yang  sering digunakan untuk survei tentang kepuasan
konsumen atas pelayanan/produk bisnis (customer satisfaction  questionnaire),  kualitas  brand  suatu produk  di  mata  pelanggan  (brand  awareness), harga  terbaik  seperti  apa  yang  diterima  pasar (price testing), ide-ide bisnis baru apa yang tengah populer  di  pasaran  (concept  testing),  dan  meneliti tentang kompetitor/pesaing (competitor research).
Sementara  itu,  di  dunia  pendidikan,  beberapa universitas  juga  telah  menggunakan  evaluasi layanan  akademik  maupun  nonakademik  dengan memanfaatkan  internet.  Namun,  evaluasi  yang dilakukan  bukan  untuk  menilai  produk,  tetapi lebih  banyak  untuk  kepentingan  pengukuran  dan perbaikan  proses  pembelajaran.  Misalnya,  di Universitas Indonesia ada kewajiban bagi mahasiswa  untuk  menilai  kinerja  dosen  dalam proses  pembelajaran  pada  setiap  akhir  semester dengan memanfaatkan akses internet.
Beberapa  penelitian  yang  dilakukan  untuk mengembangkan  aplikasi  sistem  evaluasi  untuk keperluan  pembelajaran  sudah  banyak  dilakukan misalnya  (Syamsiyah,  2015)  (Sidiq,  2009) (Kertiasih,  Setemen,  Suputra, & Marti,  2015) dan (Wijaya  &  Henny,  2012).  Berdasarkan  beberapa hasil  penelitian  tersebut  menunjukkan  bahwa pengembangan  aplikasi  evaluasi  berbasis  web sudah banyak dilakukan, namun tampaknya masih terbatas  pada  perguruan  tinggi  tatap  muka, sedangkan  pada  perguruan  tinggi  jarak  jauh, seperti  di  UT    belum  pernah  dilakukan.  Padahal, UT memiliki jumlah mahasiswa  yang banyak dan tersebar  di  seluruh  Indonesia,  maka  sistem evaluasi  tutor  berbasis  online  ini  bisa  menjadi solusi teknologi yang diharapkan dapat meningkatkan  kualitas  layanan  tutorial  tatap muka.  Selain  itu  aplikasi    ini    dapat  membantu penyusunan  jadwal tutorial karena sistem ini  juga dapat  merekomendasikan  nama-nama  tutor  yang bisa  memberi  tutorial  pada  semester  berikutnya. Aplikasi  ini  akan  berguna  dalam  meningkatkan kualitas  tutor  dan  upaya  meningkatkan  layanan bantuan belajar kepada mahasiswa.

## II. M ETODE P ENELITIAN
Pengembangan  sistem  evaluasi  tutor  berbasis online  dilakukan  dengan  memodifikasi    metode System  Development  Life  Cycle  (SDLC),  yang terdiri  dari  6  tahapan,  yaitu;  systems  planning (tahap  perencanaan),  systems  analysis  (tahap analisa),  systems  design  (tahap  perancangan), systems implementation  (tahap  implementasi), dan System testing (tahap pengujian).
A. Systems Planning (Tahap Perencanaan)
Tahap  perencanaan  atau  disebut  juga  tahap identifikasi kebutuhan dilakukan untuk mendapatkan  data  dan  informasi  terkait  dengan kegiatan  evaluasi  tutor  oleh  mahasiswa  yang selama  ini  dilakukan  di  UT.  Teknik  yang digunakan  dalam  identifikasi  kebutuhan  adalah sebagai berikut:
1) Wawancara:  wawancara  dilakukan  dengan calon pengguna aplikasi sistem, yaitu; mahasiswa, tutor,  dan  pegawai  tata  usaha  untuk  memperoleh data  dan  informasi  terkait  kegiatan  evaluasi  tutor yang selama ini digunakan.
2)  Studi  dokumentasi  :  mempelajari  berkas- berkas  yang  terkait  dengan  sistem  evaluasi  tutor yang selama ini digunakan.
2) Observasi: melihat secara langsung prosedur-prosedur yang digunakan dalam kegiatan evaluasi  tutor  yang  selama  ini  dilakukan.    Data yang  terkumpul  dijadikan  sebagai  acuan  untuk merevisi  aplikasi  yang  akan  dikembangkan  untuk mendapatkan hasil akhir yang diinginkan.

## B. System Analysis (Analisis Kebutuhan Sistem)
Informasi  yang  terdapat  dalam  dokumen analisis  kebutuhan,  akan  menjadi  referensi  di tahap  analisis  sistem  ini.  Data  yang  telah teridentifikasi  selanjutnya dianalisa dan kemudian merumuskan  solusi  yang  paling  tepat  untuk memecahkan  permasalahan  yang  ada.  Dalam tahap  ini  hal-hal  yang  perlu  dianalisis  adalah hambatan yang dialami oleh pengguna, dan fungsi yang ditangani sistem.

## C. System Design (Perancangan Sistem)
Pada  tahapan  perancangan  sistem  dilakukan menggunakan  metode  berorientasi  obyek  yang digambarkan  dalam  bentuk  diagram  jenjang (Hieracy  Chart)  dan  data  flow  diagram  context level (DFD). Diagram-diagram tersebut digunakan sebagai acuan dalam pembangunan sistem. Desain sistem  yang  dilakukan  dalam  penelitian  ini meliputi  desain  model,  desain  database  serta desain input dan output.

## D. System Implementation (Sistem Implementasi)
Tahap  implementasi  merupakan  penerapan dari  sistem  yang  telah  dibangun  sebelumnya dengan  menggunakan  perangkat  lunak  maupun perangkat  keras.  Implementasi  sistem  dilakukan dengan menggunakan kode pemrograman pseudocode  berbasis  pada  bahasa  pemrograman, sehingga  mudah untuk  menggambarkan algoritma yang  akan  dikomunikasikan  kepada  programmer. Prosedur penggunaan sistem digambarkan melalui bagan  alir  sistem  (sistem  flowchart)  dan  form input dan output.
E. System Testing (Tahap Pengujian)
Untuk  menjamin  bahwa  persyaratan  sistem (pada  tahap  pertama)  telah  dipenuhi  dilakukan tahap pengujian sistem. Uji coba sistem bertujuan untuk  mengetahui  apakah  sistem  dapat  berjalan dengan  baik  atau  tidak,  dan  mengetahui  seberapa banyak  kesalahan  yang  ada  pada  sistem.  Apabila terdapat  kesalahan,  maka  sistem  akan  diperbaiki dan  diuji  kembali.  Pengujian  sistem  dilakukan menggunakan  black  box  testing,  yaitu  mengamati hasil  eksekusi  melalui  data  uji  dan  memeriksa
fungsional  dari  perangkat  lunak.  Selain  itu, ujicoba  sistem  juga  dilakukan  dengan  meminta pendapat dua orang pakar yang sekaligus bertugas untuk  memvalidasi  rancangan  aplikasi  sistem. Kriteria  pakar  yang  digunakan  adalah  dosen bidang  teknologi  informasi  dengan  kualifikasi minimal  bergelar  master  dibidang  teknologi informasi.

## III. HASIL DAN PEMBAHASAN

## A. Hasil Identifikasi Kebutuhan
Identifikeasi  kebutuhan  dilakukan  dengan beberapa tekinik yaitu wawancara, studi dokumentasi  dan  observasi.  Berikut  adalah  hasil dari tahapan identifikasi kebutuhan.
1) Wawancara:  hasil  wawancara  menunjukkan bahwa  meskipun  sistem  pendidikan  jarak  jauh membatasi  kontak  langsung  antara  mahasiswa dengan  dosen,  tetapi  mahasiswa  UT  masih menaruh harapan besar terhadap adanya penyelenggaraan  layanan  tutorial  tatap  muka  dan berharap  agar  tutor  yang  memberi  tutorial  adalah orang-orang  yang  memiliki  kualitas  yang  baik. Idealnya  Unit  Program  Belajar  Jarak  Jauh (UPBJJ)  UT  Surabaya  mencetak  kuisioner  sesuai jumlah  mahasiswa  yang  ada.  Namun,  jumlah mahasiswa  UT  yang  cukup  banyak,  maka kuesioner yang diperbanyak hanya untuk perwakilan  mahasiswa.  Jika  mengcoy  kuesioner untuk  seluruh  mahasiswa    membutuhkan  dana yang  cukup  besar.  Untuk  mengurangi  biaya tersebut,  selama  ini  hanya  perwakilan  mahasiswa saja  di  setiap  kelas  yang  dimintai  untuk  mengisi kuisioner. Proses evaluasi tersebut secara ekonomis  memang  dapat  menghemat  dana  atau anggaran  UT,  tetapi  di  sisi  yang  lain  kurang mencerminkan  nilai-nilai  demokrasi,  bahkan  ada penilaian dari mahasiswa yang tidak terakomodasi sehingga tujuan evaluasi tutor untuk  memperoleh feedback perbaikan program terutama kualitas dan kinerja  tutor  tidak  tercapai.  Secara  psikologis, hambatan yang sering dihadapi adalah munculnya kecemasan  pada  mahasiswa  karena  meskipun tidak  menantumkan  nama,  tetapi  tutor  dan pegawai  UT  masih  bisa  menelusuri  melalui pencocokan tandan tangan. Untuk itu, perlu sistem evaluasi  tutor  yang  baru  dengan  memanfaatkan teknologi internet.
2) Studi  dokumentasi,  menunjukkan  bahwa berbagai  prosedur  dalam  kegiatan  evaluasi  tutor yang  digunakan  selama  ini  membutuhkan  biaya besar dan waktu yang lama sehingga sering sekali laporan  hasil  kuesioner  tidak  digunakan  sebagai acuan dalam penyusunan jadwal tutorial. Prosedur pelaksanaan  evaluasi  tutor  oleh  mahasiswa  UT mengacu  kepada  pedoman  Simintas  UT,  dimana angket  kuisioner  diperoleh  dari  UT  Pusat  yang berisi  tentang  daftar  pertanyaan  yang  harus  diisi oleh  mahasiswa.  Setiap  akhir  tutorial,  mahasiswa melakukan evaluasi tutor dalam bentuk kuesioner.
T ABEL 2. H AMBATAN S ISTEM EVALUASI TUTORIAL SECARA MANUAL
Pencetakan Kuesioner Pembagian Kuesioner Pengisian Kuesiner Pengolahan Hasil Jadwal Tutorial  Mudah terselip   butuh waktu lama   Butuh biaya banyak   Kontradiktif  dengan slogan “go green”   tidak semua mahasiswa diberi angket   Jumlah Petugas sedikit   Proses pembagian 
 lama  
Butuh waktu lama   Mengganggu kegiatan tutorial   Rasa takut   dengan tutor   Laporan manual 
 Butuh  waktu lama   Hasil diperoleh lama   mengganggu penyusunan jadwal tutorial   menunggu hasil laporan evaluasi tutorial   Penysunan jadwal masih manual 
data kabupaten laporan penjadwalan laporan evaluasi data kota verifikasi jadwal tutor verifikasi jadwal tutor data hasil angket kepala data jadwal tutor data hasil angket tutor data angket rekap penjadwalan data jadwal tutor data pertanyaan data asal instansi data prodi data pokjar data mata kuliah data mahasiswa data tutor data jabatan data pegawai 0 Sistem Informasi Evaluasi Kinerja Tutor Oleh Mahasiswa dan Penjadwalan Tutor + admin penang gung jawab wilayah tutor mahasiswa kepala UPBJJ koordin ator BBLBA
Setelah  angket  dibagikan  dan  diisi,  petugas penanggung  jawab  wilayah  mengumpulkan  hasil tersebut  mulai  dari  setiap  kelompok  belajar, kabupaten  dan  dikumpulkan  ke  UPBJJ-UT Surabaya.    Kuisioner  yang  sudah  diisi  dihitung menggunakan  hitungan  manual  menggunakan spread sheet. Petugas harus memasukkan data satu persatu  kemudian  menghitung  jumlah  dan  rata- rata  dari  daftar  pertanyaan.  Hasil  perhitungan dikumpulkan  dan  diserahkan  kepada  Koordinator BBLBA.  Selanjutnya,  Koordinator  BBLBA  akan melakukan rekapitulasi data dengan menggunakan program  Microsoft  Exel.  Data  tersebut  diolah menjadi  sebuah  laporan  berupa  grafik  pencapaian tutor  selama  memberikan  tutorial  di  kelas.  Dari hasil  grafik  itulah  dapat  diketahui  bagaimana kinerja  masing-masing  tutor.  Laporan  evaluasi tutor  yang  telah  selesai  dibuat  akan  diarsipkan  ke dalam sebuah lemari arsip.
3) Observasi,  evaluasi  tutor  dilakukan  setiap semester dengan cara mengedarkan angket kepada pengurus  pokjar,  kemudian  dibagikan  kepada mahasiswa.  Angket  kuisioner  didapatkan  dari  UT Pusat  yang  berisi  tentang  daftar  pertanyaan  yang harus  diisi  oleh  mahasiswa.  Sebelum  diedarkan, pihak  UPBJJ-UT  Surabaya  mencetak  kuisioner
sebanyak  jumlah  mahasiswa.  Namun  faktanya, jumlah  mahasiswa  yang  cukup  banyak  sehingga petugas  hanya  memperbanyak  sesuai  jumlah kebutuhan  saja.  Dalam  hal  ini,  hanya  perwakilan mahasiswa  pada  setiap  kelas  yang  diminta  untuk mengisi  kuisioner.  Setelah  diisi  oleh  mahasiswa, kuesioner dikumpulkan kembali kemudian dihitung  secara  manual  menggunakan  spread sheet.  Petugas  memasukkan data  satu persatu dan menjumlahkan rata-rata dari hasil kuesioner. Data yang  telah  diolah  kemudian  dibuatkan  dalam sebuah  laporan  berupa  grafik  pencapaian  tutor. Dari  laporan  tersebut  dapat  diketahui  tutor  mana yang  layak  dan  tidak  layak,  kemudian  tutor  yang memperoleh  nilai  layak  akan  direkomendasikan untuk  memberi  tutor  pada  semester  berikutnya. Sistem  evaluasi  ini  memiliki  beberapa  hambatan, diantaranya,  pencetakan  kuesioner,  pembagian kusioner,  pengisian  kuesioner,  pengolahan  hasil, dan  penyusunan  jadwal  tutorial.  Selengkapnya dapat dilihat dalam Tabel 2.
Berdasarkan  tabel 2  menunjukkan  selama  ini ada 5 (lima) hambatan yang sering dihadapi dalam pelaksanaan  evaluasi  tutor,  yaitu;  pencetakan kuesioner,  pengisian  kuesioner,  pengolahan  hasil, dan  penyusunan  jadwal  tutorial.  Temuan  ini
Gambar 2. DFD level 0 Flow_916 data jadwal mahasiswa Data Tanggal Pertemuan Detail Mata Kuliah Data Detail Tutor Data Detail Pertemuan Kelas Pertemuan data kabupaten [data kabupaten] [laporan evaluasi] [laporan penjadwalan] data kota [data kota] [verifikasi jadwal tutor] data penjadwalan [data jadwal tutor] [verifikasi jadwal tutor] [data angket] laporan jadwal tatap muka laporan grafik angket evaluasi data detail jadwal [data hasil angket kepala] [data hasil angket tutor] data asal instansi data jabatan data pegawai data mata kuliah data kabupaten data pokjar [rekap penjadwalan] [data jadwal tutor] data angket tutor data angket data detail angket data mahasiswa data pertanyaan data mata kuliah data tutor data pokjar data prodi data asal instansi data mahasiswa data pertanyaan data jabatan data pegawai [data pertanyaan] [data asal instansi] [data prodi] [data pokjar] [data mata kuliah] [data mahasiswa] [data tutor] [data jabatan] [data pegawai] admin penangg ung jawab wilayah mahasi swa tutor kepala UPBJJ koordin ator BBLBA 1 Proses pengelolaan data master + 2 Proses pengisian angket evaluasi 3 Proses pengelolaan angket evaluasi + 4 Proses penjadwalan + 5 Proses pembuatan laporan
+
1 pegawai
2 jabatan 3 pertanyaan 4 mahasiswa
5 asal instansi 6 prodi 7 kota 8 pokjar 9 tutor 10 mata kuliah 11 detail angket 12 angket 13 detail jadwal 14 penjadwalan 16 pertemuan 17 kabupaten 18 Tanggal Pertemuaan 19 Kelas Pertemuan 20 Detail Pertemuan 21 Detail Mata Kuliah 22 Detail Tutor 23 Jadwal Mahasiswa
mendukung  hasil  penelitian  yang  menyatakan bahwa  evaluasi  manual  dengan  menggunakan instrumen  angket  memiliki  banyak  kelemahan, diantaranya; Pertama, evaluasi manual memerlukan  waktu dan biaya  yang cukup banyak untuk memproduksi instrumennnya. Kedua, proses  pemeriksaan  evaluasi  dengan  instrumen tercetak cukup rumit, sehingga memerlukan waktu bayak  dan  cenderung  membosankan.  Ketiga, secara  psikologis  evaluasi  tutor  menimbulkan
kecemasan, meskipin tanpa mencantumkan identitas,  namun  diyakini  masih  dapat  ditelusuri melalui  pencocokan  tulisan  tangan  (Kertiasih, Setemen, Suputra, & Marti, 2015).

## B. Hasil Analisis Kebutuhan
Data  dan  informasi  yang  diperoleh  dari proses idntifikasi kebutuhan selanjutnya dianalisis. Hasil  dari  analisis  kebutuhan  adalah  sebagai berikut:

## Gambar 3. Desain form angket evaluasi
1) Fitur  yang  dibutuhkan:  berbagai  hambatan yang  dialami  pada  sistem  evaluasi  tutor    yang selama  ini  digunakan,  maka  sistem  evaluasi  tutor berbasis  online  perlu  dikembangkan.  Dalam perancangan  aplikasi  ini,  hal  yang  menjadi perhatian  utama  adalah  kemudahan  pengguna dalam  mengoperasikan  aplikasi  tersebut.  Untuk merancang  model  evaluasi  tutor  berbasis  online ini,  ada  beberapa  tahap  yang  harus  dilakukan, yaitu diagram jenjang (Hieracy Chart). Perancangan  basis  data  pada  Aplikasi  Evaluasi tutor berbasis online dapat dilihat pada gambar 1.
2) Prosedur baru: berdasarkan fitur yang sudah didefinisikan,  prosedur  atau  urutan  kegiatan evaluasi  tutor  mengalami  beberapa  perubahan. Prosedur  proses  evalusi  tutor  yang  baru  adalah sebagai berikut:
a) Prosedur  Pengelolaan  Angket  Evaluasi. Penghitungan  jumlah  secara  otomatis  oleh  sistem berdasarkan pertanyaan pada evaluasi. Menghasilkan jumlah yang akan dikonfersikan ke dalam  bentuk  diagram  batang.  Diagram  batang menampilkan  hasil  penilaian  evaluasi  setiap  mata kuliah  yang  diampu  seorang  tutor  dalam  satu semester berdasarkan satu prodi.
b) Pengelolaan  Data  Master,  admin  login  ke ke  sistem.  Untuk  memasukkan  data  baru,  admin memasukkan  data  ke  form  inputan  yang  telah tersedia,  kemudian  klik  button  simpan  untuk menyimpan  data  yang  sudah  diisikan.  Untuk mengubah  dan  menghapus  data,  admin  membuka halaman  form  yang  terdapat  tabel  yang  terdapat navigasi  edit  dan  delete.  Klik  button  edit  untuk mengubah  data.  Isikan  field  yang  ingin  dirubah, llik  button  simpan  untuk  menyimpan  data  yang sudah dirubah.
c) Prosedur  Pengisian  Angket  Evaluasi. Mahasiswa  login  ke  ke  sistem.  Mahasiswa memilih  nama  mata  kuliah  berserta  nama  tutor yang  mengampu  mata  kuliah  tersebut.  Kemudian mahasiswa  mengisi  kuisioner  berupa  pertanyaan. Tekan  tombol  save  untuk  mengakhiri  pengisian kuisioner dan hasilnya akan tersimpan ke sistem.

## C. Hasil Perancangan Sistem
Hasil perancangan sistem menunjukkan bahwa semua  user,  yaitu  administrator,  tutor,  dan mahasiswa harus melakukan login terlebih dahulu untuk  mengakses  perangkat  lunak.  Sistem  akan melakukan  verifikasi  dan  validasi.  Apabila password  salah,  maka  akan  tampil  informasi verifikasi, yaitu berupa pesan kesalahan. Administrator  mengelola  data  tutor,  mahasiswa, mata kuliah, kuesioner, mengubah password dan melihat hasil kuesioner. Mahasiswa dapat megubah password dan mengisi kuesioner. Desain aplikasi  sistem  evaluasi  tutor  ini  disajikan  dalam bentuk  model  logika  yang  digambarkan  dengan menggunakan  Data  Flow  Diagram  (DFD).  DFD sistem evaluasi tutor  memiliki  enam entitas,  yaitu admin, penanggung jawab wilayah, Tutor, Kepala UPBJJ-UT  Surabaya,  Koordinator  BBLBA,  dan Mahasiswa. Objek-objek perancangan DFD digambarkan  melalui    Context  diagram  dan  DFD Level 0. Context Diagram dapat  ditunjukkan pada Gambar 1.
Dari  context  Diagram  sistem  yang  diusulkan pada  gambar  1  dapat  diperinci  lagi  menjadi beberapa  bagian  yang  akan  digambarkan  pada Data  Flow  Diagram  (DFD)  Level  0,  yang  dapat dijabarkan  menjadi  5  proses,  yakni  proses pengelolaan  data  master,  pengisian  angket evaluasi,  pengolaan  angket  evaluasi,  proses penjadwalan  dan  proses  pembuatan  laporan.
Gambar 4. Desain Output grafik laporan hasil evaluasi tutor
Diagram  Level  0  selengkapnya  ditunjukkan  pada Gambar 2.
Rancangan sistem terakhir adalah desain input dan  output.  Desain  input  adalah  desain  yang digunakan  untuk  menerima  masukan  data  yang akan  disimpan  ke  dalam  database  dan  akan digunakan  ke  dalam  proses  transaksi  maupun sebagai output yang dilaporkan. Salah satu desain input  yang  berhasil  dikembangkan  adalah  input
data angket evaluasi terlihat pada Gambar 3.
Sementara  itu,  desain  output  aplikasi  sistem evaluasi  tutor  ada  dua,  yaitu  laporan  grafik  hasil evaluasi tutor dan laporan jadwal tutorial. Laporan grafik  hasil  evaluasi  adalah  laporan  yang menjelaskan  tentang  hasil  evaluasi  yang  diambil dari  hasil  penilaian  angket  yang  telah  diisi  oleh mahasiswa.  Sedangkan,  laporan  jadwal  tutorial adalah  dikeluarkan  dari  data  pencatatan  jadwal.
Desain ouput ditunjukkan pada Gambar 4.

## D. Hasil Implementation
Ada  beberapa  tampilan  form  dalam  aplikasi evaluasi  tutor  berbasis  online,  seperti  halaman proses  pengisian  angket  dapat  dilihat  pada Gambar 5.
Pseudocode  pengisian  angket  evaluasi  ini menjelaskan  alur  kerja  sistem  yaitu  saat mahasiswa mengisikan data angket evaluasi. Pada proses  ini  terdapat  input  data  sebagai  berikut  : Input  :  mengisikan  data  pada  field  angket, memberikan penilaian pada setiap aspek. Pseudocode  pengisian  angket  evaluasi  dapat dilihat pada Gambar 6.
1. Mulai
2. Load data jadwal mahasiswa
3. Tampilkan  nama  mahasiswa otomatis  dari Tabel Mahasiswa 4. Tampilkan No Angket otomatis dari Tabel Angket 5. Klik “Nama Tutor” 6. THEN
7. Tampil list Nama Tutor dan Mata Kuliah dari tabel Tutor dan Mata Kuliah
8. Pilih poin 1-4 pada penilaian evaluasi
9. Input data evaluasi
10. Klik simpan
11. THEN 12. Data tersimpan di tabel angket 13. ELSE  (data  penilaian  evaluasi  belum dipilih) then
14. Tampil peringatan “data harus diisi”
15. Pilih penilaian evaluasi 16. Endif
17. Selesai

## Gambar 6. Pseudocode pengisian angket

## E. Hasil Pengujian Sistem
Pengujian  sistem  yang  dilakukan  meliputi: pengujian  proses  pengelolaan  data  master,  proses pengisian  angket  evaluasi,  proses  pengelolaan angket  evaluasi,  proses  penjadwalan,  proses persetujuan  penjadwalan, dan pembuatan  laporan. Hasil  uji  coba  sistem  evaluasi  tutor  dapat  dilihat pada Tabel 3.
Berdasarkan  hasil  ujicoba  yang  dilakukan dengan  menggunakan  black  box  testing  diperoleh hasil bahwa sistem telah sesuai dengan kebutuhan yang  diinginkan.  Fungsi-fungsi  yang  ada  pada sistem  yang  digunakan  untuk    mengelola  data tutor,  data  mahasiswa,  data  matakuliah,    data pertanyaan  untuk  evaluasi  tutor  sudah    mewakili kebutuhan  untuk  melakukan  evaluasi    terhadap kinerja  tutor  guna  meningkatkan  kualitas  layanan tutorial  tatap  muka  pada  pendidikan  jarak  jauh. Namun,  untuk  mendapatkan  hasil  yang  lebih maksimal,  evaluasi  juga  dilakukan  oleh  pakar bidang teknologi sistem informasi. Evaluasi pakar ini  bertujuan  untuk  memvalidasi  sistem  dan sekaligus masukan untuk perbaikan selanjutnya.
Berdasarkan  saran  atau  tanggapan  yang disampaikan oleh pakar, digunakan untuk melakukan  perbaikan  hingga  sistem  ini  layak
untuk  dipublikasikan  kepada  mahasiswa  UT sebagai pengguna. Namun, sistem ini  masih perlu disempurnakan  agar  aplikasi  sistem    dapat merekomendasikan  tutor  layak  atau  tidak  dan melakukan  uji  coba  produk  kepada  mahasiswa agar aplikasi sistem ini dapat dimanfaatkan secara meluas di UT.
T ABEL 3. H ASIL U JI C OBA S ISTEM No Input Expected output Hasil 1 Memasukkan data mahasiswa secara lengkap Tampil data mahasiswa baru Sesuai Tidak memasukkan data mahasiswa secara lengkap atau tidak sesuai Tampil notifikasi /alert bahwa data harus diisi Sesuai 2 Memasukkan data angket evaluasi secara lengkap Menyimpan data angket ke database Sesuai Tidak memasukkan data angket evaluasi secara lengkap atau tidak sesuai Menampilkan notifikasi/alert bahwa data harus diisi Sesuai 3 Memasukkan data penilaian tutor Menampilkan grafik view dan laporan Sesuai Tidak memasukkan data penilaian tutor atau tidak sesuai Menampilkan notifikasi/alert bahwa data harus diisi Sesuai 4 Memasukkan data penjadwalan secara lengkap Menyimpan data penjadwalan ke database Sesuai Tidak memasukkan data penjadwalan secara lengkap atau tidak sesuai Data tidak tersimpan Sesuai 5 Menyetujui dengan menggunakan klik pada button setuju Mengupdate data persetujuan ke database Sesuai Tidak memilih radio button setuju pada form atau tidak sesuai Data tidak berubah Sesuai 6 Klik button Cetak Menampilkan laporan Sesuai Tidak Klik button cetak Laporan tidak tampil Sesuai

## IV. KESIMPULAN
Berdasarkan  hasil  pengujian  rancangan  sistem yang telah dibangun menunjukkan bahwa aplikasi sistem  evaluasi  tutor  berbasis  online  telah  sesuai dengan  kebutuhan  yang  diinginkan.  Sistem  ini diharapkan  mampu  memberikan  solusi  terhadap berbagai  hambatan  yang  dialami  pada  sistem evaluasi  tutor  dengan  menggunakan  angket  yang selama ini diterapkan di UT, seperti mengefektifkan  waktu pelaksanaan evaluasi tutor, mengefisienkan biaya produksi angket, mempermudah  penghitungan  dan  penyusunan laporan,  tidak  mengganggu  pelaksanaan  tutorial dan  secara  psikologis  diharapkan  mengurangi kecemasan mahasiswa.
Beberapa hal yang diharapkan untuk dikembangkan  agar  rancangan  sistem  evaluasi tutor oleh mahasiswa bisa lebih bermanfaat adalah menyempurnakan  aplikasi  sistem  yang  dapat
merekomendasikan  tutor  layak  atau  tidak  untuk semester  berikutnya.  Melakukan  uji  coba  produk kepada  mahasiswa  agar  aplikasi  sistem  ini  dapat dimanfaatkan secara meluas di UT.

## UCAPAN TERIMA KASIH
Terima kasih  kami kepada  Direktorat  Jenderal Pendidikan  Tinggi  Kementerian  Riset  Teknologi dan  Pendidikan  Tinggi  yang  telah  membiayai penelitian Hibah Bersaing.

## DAFTAR PUSTAKA
Andriani,  D.  (2005).  Mahasiswa  S2  pada  sistem  PJJ: pemanfatan Internet dan bantuan belajar. Jurnal Pendidikan Terbuka dan , 6 (2), 77-91. Arends,  R.  I.  (2011).  Learning  to  Teach.  New  York: McGraw-Hill Education.
Herman.  (2010).  Penilaian  peserta  terhadap  kinerja tutor,  dan  hasil  tutorial  dan  biaya  tutorial  pada tutorial  tatp  muka  di  Universitas  Terbuka. Jurnal Pendidikan Terbuka dan Jarak Jauh, , 11 (2), 84-98.
Kertiasih, N. K., Setemen, K., Suputra, P. H., & Marti, N.  W.  (2015).  Pengembangan  Sistem  Evaluasi Untuk  Dosen  Sebagai  Upaya  Peningkatan Kualitas  Pembelajaran.  JPTK,  UNDIKSHA  ,  12 (1), 27 – 34.
Padmo,  D.  (2004).  Sistem  Jaminan  Kualitas  pada Pendidikan Tinggi Jarak Jauh. Jakarta: Universitas Terbuka. Prastiti, T. (2011). Evaluasi Program Pelatihan Tutor di Universitas Terbuka. Jurnal Evaluasi
Pendidikan , 2 (2), 206-217.
Rahmawati,  D.,  &  Ahdiat,  A.  (2014).  Penelitian  Sosial Digital  :  Menelaah  kehidupan  masyarakat  di era teknologi informasi. Jakarta: Linea.
Sidiq,  M.  (2009).  Pengembangan  Sistem  Informasi Evaluasi  Kinerja  Dosen  Pada  Fakultas  Sains dan Teknologi UIN Syarif Hidayatullah. Skripsi, UIN Syarif Hidayatullah, Program Studi Sistem Informatika.
Sudirah.  (2009).  Model  Pengembangan  Kompetensi Tutor  UT  Berdasarkan  Persepsi  Tutor  dan Alumni  di  UPBJJ  Jakarta,  Bogor,  dan  Serang. Disertasi,  Institut  Pertanian  Bogor,  Sekolah Pascasarjana .
Syamsiyah.  (2015).  Aplikasi  Monitoring  dan  Evaluasi Perkuliahaan  (Studi  kasus  Fakultas  Sains  dan Teknologi  UIN  Sunan  Gunung  Djati).  Skripsi, UIN  Sunan  Gunung  Djati,  Program  Studi Sistem Informatika.
Wardani,  I.  (2000).  Program  tutorial  dalam  sistem pendidikan tinggi terbuka dan jarak jauh. Jurnal Pendidikan Tinggi Jarak Jauh , 1 (2), 41 – 52.
Wijaya,  A.,  &  Henny,  J.  (2012).  Aplikasi  Evaluasi Kinerja  Dosen  Berbasis  Web  Pada  Sekolah Tinggi Teknik Musi. Seminar Nasional
Teknologi  Informasi  &  Komunikasi  Terapan 2012  (Semantik  2012)  (pp.  481  -  486).
Semarang: Universitas Diponegoro.