## Journal of Technology and Informatics (JoTI)
Vol. 4, No. 1, Bulan Oktober Tahun 2022 P-ISSN 2721-4842
E-ISSN 2686-6102

## Evaluasi Usability, Pedagogical dan User Experience My Brilian Menggunakan Metode Tuxel
Andreansyah Hadii Nirwana 1 , Antok Supriyanto 2 , Ayouvi Poerna Wardhanie 3 1,2,3 Program Studi Sistem Informasi, Universitas Dinamika, Surabaya Email: hadiinirwana@gmail.com 1 , antok@dinamika.ac.id 2 , ayouvi@dinamika.ac.id 3*
Abstrak: Universitas Dinamika memiliki e-Learning berbasis Moodle bernama My Brillian yang dapat di akses mahasiswa dan dosen. Berdasarkan hasil wawancara, sejak tahun 2018 akhir My Brilian dikembangkan, belum terdapat evaluasi mendalam untuk mengetahui kualitas sistem yang digunakan. Oleh sebab itu, penelitian ini dilakukan untuk mengetahui kualitas sistem My Brilian dari persepsi mahasiswa sebagai pengguna.  Penelitian ini menggunakan metode TUXEL yang digunakan khusus untuk mengevaluasi suatu e-Learning dengan menggunakan tiga kuesioner, yaitu tabel pelaporan masalah, evaluasi LMS umum, dan kuesioner pengalaman pengguna. Penelitian dilakukan terhadap 12 responden dari berbagai fakultas, hasil usability inspection ditemukan 26 masalah dimana permasalah paling banyak pada login . Pada tahap pedagogical usability inspection ditemukan 26 permasalahan dimana paling banyak pada Help and Documentation . Pada tahap evaluasi user experience , dapat ditemukan nilai persepsi pengguna yang positif. Pada analisis hierarki kebutuhan pengguna, My Brilian dinilai cukup baik untuk menunjang kegiatan pembelajaran, namun kurang reliabel karena sering mengalami kendala teknis.
Kata Kunci: Pedagogik, Pembelajaran Elektronik, Pengalaman Pengguna, Test Kegunaan, TUXEL.
Abstract:  Dinamika University has a Moodle-based e-Learning called My Brillian. Based on the interviews, since the end of 2018, My Brillian was developed, there has been no in-depth evaluation to determine the quality of the system used. This study was conducted to determine the quality of the My Brilliant system from the perceptions of students as users. This study uses the TUXEL method which is used specifically to evaluate an e-Learning using three questionnaires, namely problem reporting tables, general LMS evaluation, and user experience questionnaires. The study was conducted on 12 respondents from various faculties, the results of usability inspection found 26 problems where the most problems were logged. In the Pedagogical Usability Inspection stage, 26 problems were found, most of which were in Help and Documentation. At the user experience evaluation stage, a positive user perception value can be found. In the hierarchical analysis of user needs, My Brillian is considered good enough to support learning activities but is less reliable because it often experiences technical problems.
Keywords : E-Learning, Pedagogical, User Experience, Usability Testing, TUXEL.

## PENDAHULUAN
Dalam dunia pendidikan, kehadiran teknologi internet telah merevolusi proses pendidikan dan pembelajaran yang biasanya dilakukan secara tatap muka, namun kini dapat dilakukan dimana saja, tanpa mengenal waktu dan tempat. Proses pembelajaran ini disebut e-Learning . E-Learning merupakan interaksi yang melibatkan siswa, pengajar dan konten [1]. Website yang menjadi sarana penunjang e-Learning disebut dengan Learning Management System (LMS). LMS merupakan platform yang digunakan untuk mempermudah dalam memberikan umpan balik terhadap tugas-tugas, mendukung keterlibatan pengguna secara aktif dan menawarkan komunikasi yang lebih mudah [2].
Universitas Dinamika merupakan salah satu perguruan tinggi swasta di Surabaya yang mempunyai Learning Management System bernama My Brilian yang dapat diakses melalui https://mybrilian.dinamika.ac.id/. Platform ini mulai dikembangkan sejak tahun 2018 oleh Pusat Pengembangan dan Aktivitas Instruksional (P3AI) dan Pengembangan dan Penerapan Teknologi Informasi (PPTI) sebagai upaya Universitas Dinamika bersaing di
era industri 4.0. Keberadaan e-Learning My Brilian diharapkan dapat memudahkan dosen sebagai tenaga pendidik dan mahasiswa Universitas Dinamika sebagai peserta didik dalam melakukan kegiatan belajar mengajar.
Berdasarkan hasil wawancara dengan kepala bagian PPTI selaku developer e-Learning My Brilian mengatakan sejak tahun 2018 akhir, sistem My Brilian mulai dikembangkan, belum terdapat penilaian atau evaluasi mendalam yang dilakukan untuk mengetahui kualitas sistem yang digunakan. Padahal evaluasi merupakan komponen utama dan diperlukan untuk pengembangan e-learning kedepannya. Oleh karena itu dilakukan survei singkat yang disebar  dan didapat sebanyak 40 responden untuk mengetahui pendapat mahasiswa Universitas Dinamika dari berbagai program studi yang meliputi 34 orang dari program studi Sistem Informasi, 5 orang dari program studi Desain Produk, dan 1 orang dari program studi Desain Komunikasi Visual terkait pengalaman dan kendala yang dialami selama menggunakan My Brilian diketahui bahwa platform pembelajaran secara online yang digunakan
selain e-Learning My Brilian ada Zoom, Google Meet dan Sicyca (Sistem Informasi Cyber Campus ), untuk deskripsi permasalahan yang dialami banyak yang mengeluhkan sulitnya mengakses sistem e-Learning karena terkadang tidak bisa login , tampilan menu dan course yang kurang simpel, dan kesulitan mengunggah dokumen.
Penelitian ini bertujuan untuk mengukur dan mengevauasi pencapaian kualitas My Brilian dari persepsi mahasiswa sebagai pengguna. Terdapat metode penilaian kesuksesan Learning Management System yaitu Technique for User Experience in e-Learning (TUXEL) yang digunakan untuk mengevaluasi usability , pedagogical dan user experience dari Learning Management System dalam hal persepsi pengguna. Metode ini digunakan karena secara khusus membahas penilaian platform sistem pembelajaran secara online memakai metode yang secara khusus fokus dalam taraf usability dan user experience berdasarkan persepsi mahasiswa sebagai peserta didik [3].

## METODE
Pendekatan dalam riset ini ialah metode penelitian kombinasi ( mixed methods ). Penelitian kombinasi ialah jenis riset yang digunakan untuk mengoreksi kesalahan yang terjadi dalam sebuah penelitian. Penelitian ini mengintegrasikan dua jenis penelitian; penelitian kuantitatif dan kualitatif [5]. Literatur yang dipakai  berkaitan penilaian dengan metode TUXEL 2.0 dalam penelitian ini ialah Learning Management System , A Technique for User eXperience Evaluation in e-Learning (TUXEL), User Experience Questionnaire Handbook, Hierarchy of User Needs .
Gambar 1. Metodologi Penelitian
Setelah melakukan identifikasi masalah dan studi literatur akan dilakukan perencanaan awal  yang dijelaskan pada sub bab selanjutnya.

## Menerjemahkan TUXEL
Pada tahap ini menerjemahkan dan menyesuaikan daftar pernyataan dimensi TUXEL 2.0 yang asli kemudian dilakukan penerjemahan pada ketiga jenis kuesioner yaitu Problem Reporting Table untuk melakukan Usability Inspection , Checklist General LMS Evaluation untuk melakukan inspeksi usability pada aspek pedagogis dan Kuesioner Pengalaman Pengguna ( User Experience Questionnaire )  untuk melakukan
evaluasi pengalaman pengguna. Kuesioner TUXEL 2.0 didapatkan dari penelitian Walter Takamura yang masih berbahasa inggris berikutnya diadakan penerjemahan pada Bahasa Indonesia. Kuesioner yang sudah diterjemahkan berikutnya disebar ke sejumlah responden.

## TUXEL
TUXEL ataupun “ Technique for User Experience Evaluation in E-Learning ” 2.0 adalah teknik yang dipergunakan dalam menemukan pengalaman pengguna pada “ e-Learning ”. [3] mengusulkan bahwasanya TUXEL adalah metode yang ditujukan dalam penggunaan serta pengalaman pengguna dari sudut pandang pelajar. Alhasil, evaluasi yang didapat sesuai dengan keperluan pembelajaran. Lanjutnya [3] menyatakan bahwa ada 3 dimensi pada implementasi evaluasi mempergunakan TUXEL, yakni general usability , pedagogical usability , serta user experience .

## General Usability
Usability Inspection menggunakan tabel pelaporan masalah. Responden diminta untuk mencocokkan masalah yang mereka temui dengan ID item dimensi TUXEL 2.0, tugas apa yang sedang dikerjakan, lokasi permasalahan terjadinya, menjelaskan deskripsi permasalahan, menjelaskan apakah terjadi berulang dan apabila masalah tersebut berulang, dibagian manakah terjadi. Penyelesaian tabel pelaporan masalah “( Problem Reporting Table )” didasarkan pada ID item yang disediakan dalam tabel dimensi TUXEL, yang dibagi menjadi aspek Login (masuk), General Interface (antarmuka secara umum), Assignment (penugasan) dan Assessments (penilaian). Responden kemudian diminta untuk menuliskan dan menyusun ID item yang terkait dengan jenis masalah yang terjadi saat mengerjakan tugas tertentu.

## Pedagogical Usability
Menggunakan kuesioner LMS secara umum dengan kategori Help and Documentation, LMS Learnability, Learning Through LMS, dan LMS Flexibility dimana masalah akan dihitung banyaknya berdasarkan kategori.  Tahap ini digunakan sebagai wadah bagi responden untuk melaporkan setiap permasalahan yang ditemukan dan menyusunnya dengan ID yang diidentifikasi pada My Brilian. Responden juga diminta untuk memberikan saran dan kritik terhadap masalah yang mereka temui yang tidak terkait dengan tugas yang ditetapkan dalam survei ini.

## User Experience Evaluation
User Experience Evaluation menggunakan kuesioner pengalaman pengguna  ( User Experience Questionnaire ) berdasarkan dimensi pada UEQ TUXEL yaitu Attractiveness (Daya Tarik), Dependability (Ketepatan), Efficiency (Efisiensi), Novelty (Kebaruan), Perspicuity (Kejelasan), dan Stimulation (Stimulasi) yang seluruhnya terdiri dari dua belas pernyataan,
kemudian hasil dari google form akan dikonversi menggunakan Skala Diferensial Semantik (-3 sampai 3) yang diadopsi oleh UEQ berdasarkan panduan dari [7], lalu akan dihitung nilai median- nya. Setiap pernyataan yang terdapat pada UEQ adaptasi TUXEL 2.0 memiliki jangkauan jawaban yang berbeda–beda, untuk mengetahui jangkauan penilaian dan aspek penilaian setiap pernyataan dalam kategori positif (nilai >0), negatif (nilai <0), atau netral (nilai 0) maka dibuat grafik distribusi jawaban setiap pernyataan, kemudian dilakukan perhitungan rata-rata ( mean ) dan simpangan baku dari keenam skala UEQ yaitu Attractiveness (Daya Tarik), Dependability (Ketepatan), Efficiency (Efisiensi), Novelty (Kebaruan), Perspicuity (Kejelasan), dan Stimulation (Stimulasi) yang seluruhnya terdiri dari dua belas pernyataan. Berikut merupakan hasil perhitungan rata-rata dan simpangan baku dari keenam skala UEQ adaptasi TUXEL 2.0 pada My Brilian pada Gambar 2.
Gambar 2. Hasil Rata-Rata dan Simpangan Baku
Berdasarkan hasil perhitungan rata-rata pada setiap pernyataan maka dapat diketahui level persepsi pengguna apakah berada pada level positif ( good ), level normal, dan level negatif ( bad ) dengan ketentuan pada Tabel 1.
Tabel 1. Ketentuan Level Persepsi Pengguna
No  Status Level Rentang Nilai 1 Positif ( good ) > 0.8 2 Normal - 0.8 hingga 0.8 3 Negatif ( bad ) < -0.8
Berdasarkan ketentuan pada Tabel 4.5 diketahui bahwa apabila nilai rata-rata suatu pernyataan lebih besar dari 0.8, maka nilai tersebut termasuk ke dalam kategori level positif ( good ), apabila nilai rata-rata suatu pernyataan bernilai dari -0.8 hingga 0.8,  maka nilai tersebut termasuk ke dalam kategori level normal, apabila nilai rata-rata suatu pernyataan lebih kecil dari - 0.8, maka nilai tersebut termasuk ke dalam kategori level negatif ( bad ).  Setelah dilakukan perhitungan rata-rata dan ketentuan level persepsi pengguna maka nilai dikonversi ke dalam bentuk grafik sehingga dapat terlihat tren setiap pernyataan manakah status level negatif, normal, dan positif. Untuk mengetahui karakter setiap responden maka dilakukan perhitungan rata-rata skala masing-masing responden dengan menjumlahkan seluruh nilai pada setiap item dalam satu skala dan dibagi
jumlah item pada skala tersebut, perhitungan ini dilakukan untuk mendapatkan pemetaan permasalahan masing-masing responden kedalam 6 skala UEQ.

## Menentukan Responden
Berdasarkan penelitian berjudul “ How to Determine the Right Number of Participants for Usability Studies ” oleh [4], menemukan bahwa jumlah optimal untuk studi usability adalah 10.  Dari perbandingan jumlah partisipan dengan jumlah rata-rata permasalahan yang ditemukan  saat studi usability didapatikanlah  tabel 3.  Dari penelitian diatas  maka peneliti  mengambil responden sebanyak 12 partisipan yang dibagi menjadi 3 kelompok, seperti pada tabel 3.
Tabel 2. Banyak Masalah yang Ditemukan Relatif
dengan Jumlah Responden Jumlah Partisipan Minimal % masalah yang ditemukan Rata % masalah yang ditemukan 5 55 85.55 10 82 94.686 15 90 97.050 20 95 98.4 30 97 99.0 40 98 99.6 50 98 100 Sumber: Six and Macefield (2016) Tabel 3. Profil Responden Fakultas Program Studi Jenis kelamin FTI Sistem Informasi Laki-laki Sistem Informasi Laki-laki Sistem Informasi Laki-laki Sistem Informasi Laki-laki FEB Manajemen Perempuan Manajemen Perempuan Manajemen Perempuan Manajemen Perempuan FDIK Desain Produk Laki-laki Desain Produk Laki-laki Desain Produk Laki-laki Desain Komunikasi Visual Laki-laki

## Merancang Instrument Penelitian
Karena bentuk TUXEL 2.0 adalah kuesioner, maka ada tiga kuesioner penilaian yang memiliki karakteristik penilaian berbeda. Survei didukung menggunakan Google Forms untuk mengumpulkan survei, dan responden diminta untuk mengisi survei (cara mengisi tiga jenis survei di TUXEL 2.0) melalui situs web panduan yang dirancang oleh penulis di Google Sites (https://sites.google.com/view/evaluasi-e-learning- my-brilian/home) dan implementasinya dipandu menggunakan aplikasi video conference . Perancangan website panduan  ini bertujuan untuk mengatasi keterbatasan penulis dalam proses pendataan di masa pandemi COVID 19 saat ini. Responden kemudian dikondisikan untuk menyelesaikan tugas tertentu
berdasarkan pencocokan definisi tugas dan checklist yang diadaptasi oleh TUXEL 2.0.

## Tasks Definition dan Checklist Matching
Task definition, checklist matching , serta menentukan sejumlah item pernyataan berdasarkan 4 pengkategorian TUXEL. Task definition dijalankan dalam pendefinisian satu ataupun lebih tugas yang dilakukan murid sebagai responden. Checklist matching diadakan dengan membandingkan tugas yang ditulis bersumberkan 4 pengkategorian TUXEL 2.0. Tugas yang diberikan dimaksudkan untuk mencari empat kategori, dengan setiap tugas atau beberapa tugas mewakili kategori tertentu. Responden diberikan tugas terkait fitur dan penggunaan e-Learning My Brilian serta koordinasi kategori survei yang termasuk dalam TUXEL 2.0. Tugas harus dapat menguji setiap kategori yang berbeda dari dimensi TUXEL 2.0, seperti Login, General Interface, Assignment, dan Assessment , berdasarkan checklist matching yang sesuai.

## Hierarki Kebutuhan Pengguna
Untuk mengetahui kebutuhan apa saja yang dibutuhkan pengguna  My Brilian, hasil  data  dari evaluasinya akan dianalisis dan disimpulkan menggunakan teori hierarki pengguna sehingga menjadi kalimat yang mudah dipahami. Teori Hierarki kebutuhan pengguna yang dijelaskan oleh [8] pada buku “ Designing for Emotion ” dapat menggambarkan 4 tingkat kematangan suatu pengalaman produk atau layanan dimulai dari functional , kemudian aspek reliable , kemudian aspek usable , dan aspek pleasurable .

## HASIL DAN PEMBAHASAN

## General Usability
Pada tahap ini digunakan jenis kuesioner pertama untuk pengevaluasian website dari aspek usability yaitu Tabel Pelaporan Masalah “( Problem Reporting Table )”. Responden diminta untuk mencocokkan masalah yang mereka temui dengan ID item dimensi TUXEL 2.0, tugas apa yang sedang dikerjakan, lokasi permasalahan terjadinya, menjelaskan deskripsi permasalahan, menjelaskan apakah terjadi berulang dan apabila masalah tersebut berulang, dibagian manakah terjadi.

## Analisis Kuesioner Tabel Pelaporan Masalah
Berdasarkan hasil Usability Inspection menggunakan tabel pelaporan masalah data yang diperoleh pada Gambar 2 ditemukan beberapa permasalahan yang dilaporkan dari semua empat kategori pada dimensi TUXEL 2.0.
Gambar  3.  Data  permasalahan di setiap  kategori pada kuesioner tabel pelaporan masalah
Berdasarkan Gambar 3 maka diketahui ada 26 permasalahan yang dilaporkan secara keseluruhan, terdiri dari 14 laporan permasalahan pada kategori Login (Masuk) dimana paling sering user tidak dapat melihat password dan jika salah tidak tahu kolom mana yang salah, 5 laporan permasalahan pada kategori Assignment (Tugas) bisanya di edit , unsubmit lalu di replace dengan file lain dan tidak ada persenan saat upload , 4 laporan permasalahan pada kategori Assessments (Penilaian) jawaban essai sangat case sensitive jadi walaupun beda spasi salah, dan 3 laporan permasalahan pada kategori General Interface (Tampilan Antarmuka Secara Umum) upcoming activities tidak terdapat pada dashboard maupun halaman kelas dan tidak ada fitur pencarian materi yang terintegrasi.

## Pedagogical Usability
Tahap Pedagogical Usability menggunakan Analisis Kuesioner LMS Secara Umum sebagai wadah bagi responden untuk melaporkan setiap permasalahan yang ditemukan dan menyusunnya dengan ID yang diidentifikasi pada My Brilian.

## Analisis Kuesioner LMS Secara Umum
Responden harus menandai item yang tidak memenuhi pada LMS dan menjelaskannya permasalahannya secara mendetail pada kolom komentar.
Gambar  4.  Jumlah laporan permasalahan pada evaluasi LMS secara umum
Berdasarkan Gambar 4 maka diketahui ada 26 permasalahan yang dilaporkan secara  keseluruhan, terdiri dari 9 laporan permasalahan pada kategori Help and Documentation (Bantuan dan Dokumentasi) dimana
0 2 4 6 8 10 12 14 16 Login General Interface AssignmentsAssessments
paling sering ditemui LMS tidak menyediakan bantuan secara manual maupun online , 6 laporan permasalahan pada kategori LMS Learnability (Kemudahan Dipelajari) kesulitan menggunakan LMS, 6 laporan permasalahan pada kategori LMS Flexibility (Fleksibilitas LMS) tidak dapat mengkonsultasikan materi pembelajaran saat saya memiliki pertanyaan dan 5 laporan permasalahan pada kategori Learning Through LMS (Pembelajaran Melalui LMS) LMS tidak mengizinkan saya untuk melihat riwayat/ history yang dilakukan rekan lain, seperti konten yang banyak dibaca, tugas yang paling popular , dll.

## User Experience
Selama fase evaluasi user experience , peneliti menggunakan survei untuk mengevaluasi pengalaman pengguna.  Penilaian pada kuesioner UEQ adaptasi TUXEL 2.0 diketahui nilai rata-rata setiap pernyataan pada Tabel 4.
Tabel 4. Nilai Rata-Rata Setiap Pernyataan UEQ
Item Mean Std. Dev Left Right Scale 1 1.25 0.6 Tidak Disukai Menyenangkan Daya Tarik 2 1.5 1.04 Tidak Nyaman Digunakan 3 0.67 0.94 Tidak Sesuai Ekspektasi Sesuai Ekspektasi Ketepatan
4 1.67 0.75 Menghambat Mendukung 5 1.92 0.95 Tidak Efisien Efisien Efisiensi 6 2 0.91 Tidak Praktis Praktis 7 1.5 0.76 Konvensional Inovatif Kebaruan 8 1.67 0.94 Tidak Kreatif Kreatif 9 1.83 0.9 Sulit Mudah Kejelasan 10 1.75 0.6 Membingungkan Sangat Jelas 11 1.58 0.76
Tidak Menarik Menarik
Stimulasi 12 1.5 0.76 Tidak Memotivasi Memotivasi
Untuk mengetahui level persepsi pengguna digunakan ketentuan pada Tabel 2, sehingga diketahui tren setiap seluruh pernyataan ke arah positif, kecuali pernyataan (3) tidak sesuai ekspektasi / sesuai ekspektasi berada pada level normal dengan mean 0.67. Setelah diketahui status level pada keduabelas pernyataan UEQ adaptasi TUXEL 2.0 maka dilakukan perhitungan nilai rata-rata dan pengelompokkan status level persepsi pada keenam skala UEQ yang disajikan pada tabel 5.
Tabel 5. Rata-Rata Nilai Keseluruhan Setiap Dimensi
No Skala UEQ Rata-rata 1 Daya Tarik ( Attractiveness ) 1.38 2 Ketepatan ( Dependability ) 1.17 3 Efisiensi ( Efficiency ) 1.96 4 Kebaruan ( Novelty ) 1.59 5 Kejelasan ( Perspicuity ) 1.79 6 Stimulasi ( Stimulation ) 1.54
Berdasarkan rata-rata keenam dimensi kuesioner UEQ pada Tabel 4  maka diketahui rata-rata nilai tertinggi ada pada skala Efisiensi ( Efficiency ). Kemudian diikuti dengan skala Kejelasan ( Perspicuity ), skala Kebaruan ( Novelty ), skala Stimulasi ( Stimulation ), skala Daya Tarik ( Attractiveness ), dan rata-rata nilai terendah ada pada skala Ketepatan ( Dependability ). Keseluruhan rata-rata nilai pada keenam skala berada pada status level positif ( Good ).

## Analisis Hierarki Kebutuhan Pengguna
Pada tingkatan aspek functional diketahui bahwa My Brilian dikembangkan menggunakan CMS Moodle dan digunakan untuk melakukan proses pembelajaran secara daring pada kampus Universitas Dinamika. Penggunaan Moodle sebagai LMS juga sudah tepat karena fitur yang tersedia sudah lengkap dan dapat mendukung kegiatan pembelajaran.
Pada tingkatan reliability diketahui bahwa My Brilian masih belum reliabel atau belum dapat diandalkan. Banyak responden yang mengeluhkan sistem sering mengalami gangguan teknis seperti tidak dapat diakses ( downtime ) dan timeout error . Menurut [9] kita harus memenuhi kebutuhan mendasar sebelum kebutuhan yang lebih tinggi dapat dipenuhi, hal ini terkait  hierarki kebutuhan pengguna dimana pada tingkatan terendah yaitu situs website My Brilian harus dapat berfungsi, apabila tidak berfungsi maka tidak ada pengguna yang menggunakan. Setelah situs fungsional, maka situs tersebut harus dapat diandalkan atau reliabel.
Pada tingkatan usable diketahui bahwa My Brilian sudah cukup baik dan mudah digunakan, dapat memenuhi tugas yang berkaitan dengan kegiatan pembelajaran. Hal ini berdasarkan penilaian dan tanggapan responden dari ketiga jenis kuesioner cenderung positif. Walaupun begitu masih ada banyak permasalahan usability dan user experience yang dilaporkan pengguna pada ketiga jenis kuesioner TUXEL 2.0, sehingga perlu dilakukan perbaikan. Pada tingkatan pleasure tidak dapat diketahui karena perlu dilakukan observasi dan wawancara lebih lanjut untuk mengetahui tingkat emosi yang dirasakan pengguna.
Pada tingkatan pleasure dapat diketahui dari user experience dengan pengkategorian tingkat persepsi positif dan observasi yang dilakukan saat video conference bahwa My Brilian tingkat emosi yang dirasakan pengguna nyaman dalam menggunakan platform.
Berdasarkan hasil analisis hierarki kebutuhan pengguna maka dapat diketahui bahwa My Brilian sudah memenuhi aspek functionality , namun belum memenuhi aspek reliability sehingga belum dapat diandalkan, dan belum sepenuhnya memenuhi aspek usable sehingga perlu dilakukan perbaikan.

## KESIMPULAN DAN SARAN
Berdasarkan hasil penelitian yang dilakukan dapat disimpulkan bahwa pada tahapan Usability Inspection , terdapat 26 permasalahan keseluruhan yang dilaporkan, terdiri dari 14 permasalahan pada kategori Login karena tidak ada fitur toggle visibility ; kemudian 5 permasalahan pada kategori Assignments yang paling diwakili oleh kesulitan membatalkan suatu aksi; kemudian 3 permasalahan pada kategori General Interface yaitu tidak adanya fitur pencarian khusus materi pelajaran; dan 4 permasalahan  pada kategori Assessments yang paling diwakili oleh tidak ada feedback langsung yang diberikan saat menjawab soal, seperti benar salah dan tambahan materi.
Pada tahapan General LMS/Pedagogical Usability Inspection 5 permasalahan pada kategori Learning Through LMS yang paling diwakili oleh tidak bisa melihat aktivitas rekan lain, konten dan tugas atau materi yang popular; kemudian 6 permasalahan pada kategori LMS Flexibility karena tidak ada peluang untuk mencari feedback tambahan kepada pengajar ketika mempunyai pertanyaan atau masalah; kemudian 9 permasalahan pada kategori Help and Documentation karena tidak disediakannya bantuan secara manual maupun online ; dan 6 permasalahan pada kategori LMS Learnability karena LMS tidak intuitif dan instruksi yang diberikan tidak lengkap.
Pada tahapan User Experience Evaluation menggunakan UEQ adaptasi TUXEL 2.0 diketahui bahwa aspek Attractiveness, Dependability, Efficiency, Novelty, Perspicuity dan Stimulation sangat baik dikarenakan dari keduabelas pernyataan memberikan hasil yang sangat baik kecuali pernyataan ketiga (tidak sesuai ekspektasi/sesuai ekspektasi) cenderung netral. Sementara itu, berdasarkan analisa hierarki kebutuhan pengguna dapat disimpulkan bahwa keberadaan My Brilian dinilai sudah cukup baik untuk melakukan proses pembelajaran daring, namun kurang dapat diandalkan karena sering mengalami gangguan teknis.
Setelah melakukan kegiatan penelitian, maka peneliti dapat memberikan beberapa saran untuk meningkatkan usability dengan menambahkan script seperti toggle visibility pada password , memberikan akses mahasiswa ke mata kuliah yang pernah diikuti sebelumnya dan modul yang dapat mempermudah mahasiswa yang sudah disediakan Moodle dan forum Moodle, untuk pedagogical dikarenakan tidak terdapat bantuan dan dokumentasi tentang penjelasan fitur-fitur Moodle terkadang pengguna tidak menyadari bahwa fitur tersebut ada maka bisa dibuat FAQ atau video perkenalan dan cara menggunakan My Brilian, dan untuk pengalaman pengguna sejauh ini sudah banyak respon yang positif.
Untuk penelitian terkait, pelaksanaan pengambilan data lebih baik dilakukan dengan bertemu langsung secara tatap muka sehingga dapat melakukan penyesuaian kondisi pemberian tugas, meminimalisir kendala teknis yang tidak terkait dengan kriteria penilaian, validasi jenis permasalahan yang dialami, dan melihat secara langsung setiap aktivitas yang dilakukan pengguna. Hal ini tidak dilakukan penulis karena sedang ada pandemi.

## DAFTAR PUSTAKA
[1] S. Kumar Basak, M. Wotto, and P. Bélanger, “ E-learning , M-learning and
D-learning: Conceptual definition and comparative analysis,” E-Learning and
Digital Media , vol. 15, no. 4, pp. 191–
216, Jul. 2018, doi:
10.1177/2042753018785180.
[2] N. M. Y. Suranti, G. Gunawan, A. Harjono, and A. Ramdani, “The Validation of Learning Management System in Mechanics Instruction for Prospective Physics Teachers,” Jurnal Pendidikan Fisika dan Teknologi , vol. 6, no. 1, pp. 99–106, Apr. 2020, doi: 10.29303/jpft.v6i1.1745.
[3] W. Nakamura, E. Oliveira, and T. Conte, “TUXEL: A Technique for User eXperience Evaluation in e-Learning,” in Anais dos Workshops do VII Congresso Brasileiro de Informática na Educação (CBIE 2018) , Nov.
2018, vol. 1, p. 52. doi: 10.5753/cbie.wcbie.2018.52.
[4] J. M. Six and R. Macefield, “How to determine the right number of participants for usability studies,” San Francisco (CA): UXmatters , 2016.
[5] D. Indrawan and S. R. Jalilah, “Metode Kombinasi/Campuran Bentuk Integrasi Dalam Penelitian,” 2021, doi: 10.30605/jsgp.4.3.2021.1452.
[6] A. Joyce, “Help and Documentation: The 10th Usability Heuristic,” Nielsen Norman Group ,
Dec. 13, 2020. https://www.nngroup.com/articles/help-and- documentation/ (accessed Jun. 13, 2022).
[7] M. Schrepp, “User Experience Questionnaire Handbook,” 2019, doi: 10.13140/RG.2.1.2815.0245.
[8] Aarron. Walter, Designing for emotion . A Book Apart/Jeffrey Zeldman, 2011.
[9] S. P. Anderson, Seductive  interaction  design : creating playful, fun, and effective user experiences . New Riders, 2011.