Abstrak — Buzzbreak merupakan salah satu aplikasi baru yang terdaftar pada situs google play store yang dibuat pada tahun 2019 dimana aplikasi ini dapat menghasilkan uang dengan cara menukarkan point melalui hasil membaca berita dan melihat video pada laman aplikasi tersebut. Point yang telah ditukarkan dapat langsung masuk ke dalam saldo rekening pengguna terkait yang telah terdaftar. Aplikasi Buzzbreak mulai diminati pada saat Covid-19 mulai muncul di Indonesia. Hal tersebut dikarenakan aplikasi Buzzbreak membawa terobosan baru hanya dengan melihat video dan membaca berita, pengguna smartphone dapat mendapatkan uang. Aplikasi Buzzbreak mendapatkan banyak ulasan dari  penggunanya baik ulasan yang ke arah positif atau negatif, sehingga hal tersebut dapat membuat pengguna baru yang ingin mengunduh kesulitan dalam menyimpulkan ulasan apakah yang paling dominan didapatkan oleh aplikasi Buzzbreak . Oleh karena itu, untuk memberikan informasi terkait dominan ulasannya positif atau negative, maka  diperlukan suatu analisis yaitu menggunakan metode Naïve Bayes Classifier serta akan dilakukan juga anilisis terhadap  kata-kata yang paling sering muncul dari masing- masing sentimen yang akan divisualisasikan melalui wordcloud . Ulasan didapatkan melalui crawling data pada situs google play store . Hasil yang didapatkan dari penelitian ini adalah review yang diberikan oleh pengguna Buzzbreak mengarah ke sentimen positif,  serta berdasarkan visualisasi wordcloud , term yang paling sering muncul pada sentimen positif adalah “bagus” dan term yang paling sering muncul pada sentimen negatif adalah “jelek”. Hasil analisis ketepatan klasifikasi menggunakan naïve bayes classfier adalah data training dengan split ratio 70%:30% dengan nilai AUC sebesar 76,52% dan pada data testing split ratio 90%:10% di mana nilai AUC sebesar 79,34% dapat diartikan bahwa tingkat akurasi klasifikasinya sedang .
Kata Kunci —Analisis Sentimen, Buzzbreak, Naïve Bayes Classifier , Ulasan.

## I. PENDAHULUAN
RA  globalisasi telah membuat seluruh aktifitas keseharian dapat dilakukan secara online dengan didukung oleh bermacam-macam aplikasi yang telah diciptakan sesuai dengan kebutuhan penggunanya, baik aplikasi terkait informasi, melakukan jual beli, trading , transportasi, dan bahkan terdapat aplikasi yang mampu menghasilkan uang pun turut diciptakan. Salah satu jenis aplikasi yang mulai banyak diminati pada tahun 2020 adalah aplikasi yang mampu menghasilkan uang. Jenis aplikasi tersebut banyak dimininati dikarenakan tahun 2020 merupakan tahun di mana seluruh aktifitas yang semula offline harus dilakukan secara online dikarenakan munculnya Covid-19 di Indonesia, sehingga kemunculan Covid-19 cukup merubah keadaan baik dari sosial, pendidikan, maupun ekonomi. Keadaan ekonomi yang terdampak kurang baik membuat masyarakat ingin mendapatkan penghasilan dengan bekerja online , salah satu pekerjaan yang dapat dilakukan
dengan cara yang mudah adalah dengan melihat video, membaca berita dengan menggunakan aplikasi Buzzbreak.
Buzzbreak merupakan salah satu aplikasi yang terdaftar pada situs google play store yang dibuat pada tahun 2019 di mana aplikasi ini dapat menghasilkan uang dengan cara menukarkan point yang didapatkan melalui hasil membaca berita dan melihat video pada  laman aplikasi tersebut. Aplikasi Buzzbreak mulai diminati oleh pengguna smartphone pada saat pandemi Covid-19 dikarenakan Buzzbreak membawa suatu terobosan di mana seseorang hanya dengan membaca berita dan melihat video dapat mendapatkan uang dengan didukung oleh kondisi ekonomi yang sedang tidak membaik.  Banyaknya ulasan yang diberikan oleh pengguna baik dari ulasan yang mengarah ke arah positif  dan  negatif  memberikan pandangan terkait kualitas dari aplikasi Buzzbreak.
Penelitian yang berjudul Analisis Sentimen Ulasan Aplikasi Buzzbreak Menggunakan Naïve Bayes Classifier Pada Situs Google Play Store dilakukan untuk menganalisis sentimen  mengenai persepsi atau pandangan masyarakat terutama pengguna aplikasi Buzzbreak terkait dampak yang diberikan oleh aplikasi tersebut secara positif maupun negatif.  Analisis  bertujuan untuk memberikan informasi kepada pengguna aplikasi Buzzbreak dan pihak yang bersangkutan dengan aplikasi tersebut agar dapat mengelola dan menggunakan aplikasi dengan baik. Selain melihat bagaimana presepsi masyarakat tersebut penelitian ini juga melihat bagaimana ketepatan klasifikasi dari suatu pendapat positif dan negatif serta menganilisis kata-kata yang paling sering muncul dari masing-masing  sentimen  akan divisualisasikan melalui wordcloud .

## II. TINJAUAN PUSTAKA

## A. Naïve Bayes Classifier
Algoritma Naïve Bayes Classifier merupakan algoritma yang  digunakan  untuk mencari nilai probabilitas tertinggi untuk mengklasifikasikan data testing dalam kategori yang tepat [1]. Naïve Bayes Classifier termasuk ke dalam algorima pembelajaran Teorema Bayes dengan tujuan untuk memperkirakan probabilitas berdasarkan pada kategori yang terdapat pada data training [2]. Proses teorema Bayes secara umum ditunjukkan pada persamaan 1 sebagai berikut.
𝑃𝑃�𝑉𝑉 𝑗𝑗 �𝑤𝑤 𝑖𝑖 � = 𝑃𝑃� 𝑤𝑤 𝑖𝑖� 𝑉𝑉 𝑗𝑗�𝑃𝑃�𝑉𝑉 𝑗𝑗 � 𝑃𝑃 ( 𝑤𝑤 𝑖𝑖 ) (1)
dimana,
𝑃𝑃�𝑉𝑉 𝑗𝑗 �𝑤𝑤 𝑖𝑖 � : probabilitas kategori j  pada saat terdapat kemunculan kata i.
𝑃𝑃�𝑤𝑤 𝑖𝑖 �𝑉𝑉 𝑗𝑗 � :   probabilitas kata i masuk ke dalam kategori j.

## Analisis Sentimen Ulasan Aplikasi Buzzbreak Menggunakan Metode Naïve Bayes Classifier pada Situs Google Play Store
Dinda Putri Santoso dan Wahyu Wibowo Departemen Statistika Bisnis, Institut Teknologi Sepuluh Nopember (ITS) e-mail : wahyu_w@statistika.its.ac.id
E
𝑃𝑃�𝑉𝑉 𝑗𝑗 � :   probabilitas kemunculan sebuah kategori j.
𝑃𝑃 ( 𝑤𝑤 𝑖𝑖 ) :   probabilitas kemunculan sebuah kata. i        :   indeks kata dimulai dari 1 hingga ke-k. j        :   indeks kategori dimulai dari 1 hingga ke-n.
Proses klasifikasi dapat disederhanakan menjadi persamaan 2 sebagai berikut.
𝑃𝑃�𝑉𝑉 𝑗𝑗 �𝑤𝑤 𝑖𝑖 � = 𝑃𝑃�𝑉𝑉 𝑗𝑗 � 𝑃𝑃�𝑤𝑤 𝑖𝑖 �𝑉𝑉 𝑗𝑗 � (2)
Probabilitas kategori j pada saat terdapat kemunculan kata i dapat diketahui dengan menggunakan persamaan 3 sebagai berikut.
𝑃𝑃�𝑉𝑉 𝑗𝑗 �𝑤𝑤 𝑖𝑖 � = 𝑃𝑃�𝑉𝑉 𝑗𝑗 � 𝑥𝑥 𝑃𝑃 ( 𝑤𝑤 1 | 𝑉𝑉 ) 𝑥𝑥
… 𝑥𝑥 𝑃𝑃�𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � (3)
Proses pengklasifikasian algoritma untuk mencari probabilitas tertinggi dari keseluruhan kategori yang diujikan (VMAP) dapat menggunakan persamaan 4 sebagai berikut.
𝑉𝑉 𝑀𝑀𝑀𝑀𝑃𝑃 = arg max 𝑃𝑃 �𝑉𝑉 𝑗𝑗 �𝑤𝑤 1 , 𝑤𝑤 2 , … , 𝑤𝑤 𝑘𝑘 � (4)
Melalui pendekatan teorema Bayes pada persamaan (2), maka persamaan (4) dapat disesuaikan penulisannya pada persamaan 5 sebagai berikut.
𝑉𝑉 𝑀𝑀𝑀𝑀𝑃𝑃 = arg max 𝑃𝑃�𝑉𝑉 𝑗𝑗 �𝑃𝑃� 𝑤𝑤 1 , 𝑤𝑤 2 , … , 𝑤𝑤 𝑘𝑘� 𝑉𝑉 𝑗𝑗� 𝑃𝑃 ( 𝑤𝑤 1 , 𝑤𝑤 2 ,…, 𝑤𝑤 𝑘𝑘 ) (5)
Pada persamaan 5, nilai dari 𝑃𝑃 ( 𝑤𝑤 1 , 𝑤𝑤 2 , … , 𝑤𝑤 𝑘𝑘 ) adalah konstan, sehingga persamaan 5 dapat disederhanakan seperti persamaan 2 pada persamaan 6 sebagai berikut.
𝑉𝑉 𝑀𝑀𝑀𝑀𝑃𝑃 = arg max 𝑃𝑃 �𝑤𝑤 1 , 𝑤𝑤 2 , … , 𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � 𝑃𝑃 ( 𝑉𝑉 𝑗𝑗 ) (6)
Naïve Bayes Classifier didasarkan pada asumsi penyederhanaan bahwa nilai dari atribut secara conditional saling bebas jika diberikan nilai output  yang dapat ditunjukkan pada persamaan 7 sebagai berikut.
𝑃𝑃�𝑤𝑤 1 , 𝑤𝑤 2 , … , 𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � = ∏ 𝑃𝑃�𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � 𝑛𝑛 𝑘𝑘=1 (7)
Persamaan 7 dapat disubstitusikan pada persamaan 2.4, makan akan didapatkan persamaan 8 yang merupakan pendekatan yang dapat dipakai dalam Naïve Bayes Classifier sebagai berikut.
𝑉𝑉 𝑁𝑁𝑁𝑁𝑁𝑁 = arg max 𝑃𝑃 ( 𝑉𝑉 𝑗𝑗 ) ∏ 𝑃𝑃�𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � 𝑛𝑛 𝑘𝑘=1 (8)
Tabel 1.
Confusion Matrix Nilai Aktual Nilai Prediksi Positif Negatif Positif TP FN Negatif FP TN Tabel 2. Tingkatan Akurasi Nilai AUC Nilai AUC Tingkatan Akurasi 51%-60% Sangat Lemah 61%-70% Lemah 71%-80% Sedang 81%-90% Tinggi
91%-100% Sangat Tinggi Tabel 3. Struktur Data
Ulasan  X 1 X 2 …  X m 1 N 1p1 atau N 1n1 N 2p1 atau N 2n1 …  N mp1 atau N mn1
2 N 1p2 atau N 1n2 N 2p2 atau N 2n2 …  N mp2 atau N mn2
3 N 1p3 atau N 1n3 N 2p3 atau N 2n3 …  N mp3 atau N mn3 … … … …  … 3436 N 1p3436 atau N 1n3436 N 2p3436 atau N 2n3436 …  N mp3436 atau N mn3436 Tabel 4.
Variabel Penelitian Variabel Keterangan Y Analisis Sentimen X Ulasan aplikasi buzzbreak
Tabel 5. Hasil Klasifikasi Sentimen Data Review Review Score Klasifikasi bohong biaya -1 Negatif suka main 2 Positif beri bintang buzzbreak 1 Positif suka 1 Positif tarik saldo sampah 1 Positif … … … rugi manfaat download 1
Positif
Tabel 6. TF-IDF Review Term main suka … susah bohong biaya 0 0 … 0 suka main 2,74 2,45 … 0 beri bintang buzzbreak 0 0 … 0 suka 0 4,91 … 0 tarik saldo sampah 0 0 … 0 … … … … … rugi manfaat download 0 0 … 0 Tabel 7. Frekuensi Term Term Frekuensi bagus 688
bintang
381
buzzbreak 378
… …
hadiah
70
susah
70 Tabel 8. Confusion Matrix Data Training Split Ratio True Positif True Negatif False Positif False Negatif 90%:10% 1273 458 24 975 80%:20% 1156 402 27 842 70%:30% 1021 355 20 728
Tabel 9. Nilai Sensitivity, Specificity, G-mean, dan AUC Data Training Split Ratio sensitivity specificity G-mean AUC 90%:10% 0,56628 0,95021 0,73354 0,75824 80%:20% 0,57858 0,93706 0,73632 0,75782 70%:30% 0,58376 0,94667 0,74339 0,76521 Tabel 10. Confusion Matrix Data Testing Split Ratio True Positif True Negatif False Positif False Negatif 90%:10% 156 52 2 94 80%:20% 272 102 5 228 70%:30% 409 153 8 340
Probabilitas kemunculan kata wk pada setiap kategori Vj [ 𝑃𝑃�𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � ] dapat diketahui melalui persamaan 9 sebagai berikut.
𝑃𝑃�𝑤𝑤 𝑘𝑘 �𝑉𝑉 𝑗𝑗 � = 𝑛𝑛 𝑘𝑘 +1 | 𝑛𝑛+𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘 | (9)
Persamaan 9 yaitu n k merupakan frekuensi kata atau term pada masing-masing data yang berkategori V j , n merupakan keseluruhan kata atau term pada masing – masing data yang berkategori V j , dan | kosakata | merupakan jumlah keseluruhan kata atau term .
B. Text Minning Text mining adalah suatu analisis teks yang dilakukan oleh komputer  untuk menggali hingga memperoleh  informasi yang  berkualitas  dari sebuah  teks yang telah dirangkum dalam satu dokumen [3]. Tujuan awal pembuatan text mining dalah untuk menemukan informasi yang diperolah dari teks tidak terstruktur. Oleh karena itu, text mining juga mengacu pada istilah data mining . Text mining data digunakan untuk menemukan aturan baru dengan pengelompokkan ( text clustering dan text classification ), algoritma, dan asosiasi [4]. Text mining adalah penambangan yang dilakukan oleh computer untuk mendapatkan sesuatu yang baru atau sebelumnya tidak diketahui serta untuk menemukan Kembali informasi implisit yang berasal dari informasi yang secara otomatis diekstraksi dari berbagai data teks. Text mining juga digunakan untuk memecahkan masalah yang berkaitan dengan informasi yang dibutuhkan dengan menerapkan
machine learning , manajemen pengetahuan, matural language processing , dan teknik data mining [1]. Text mining adalah teknik data mining untuk menganalisis dan mengklasifikasin data dalam bentuk teks yang bertujuan untuk menemukan pola data dan memperoleh informasi yang berguna untuk tujuan tertentu di mana sumber data yang digunakan dalam text mining adalah kumpulan teks yang tidak tersturktur dan semi terstruktur [5].
C. Pra-proses Text
Tahap awal dari text mining yang meliputi seluruh rutinitas dan proses untuk menyiapkan data yang akan digunakan oleh system text mining adalah tahap pra-proses teks [1]. Tahap pra-proses teks akan membagi dokumen teks (pemotongan kata) dengan menghilangkan kata-kata non- infomratif serta mengembalikan ke kata dasar [6]. Pra-proses teks adalah tahapan pengolahan teks yang digunakan untuk mengubah dokumen atau data yang tidak terstruktur menjadi data terstruktur sesuai dengan kebutuhan yang akan diproses lebih lanjut dalam proses text mining .  Tahapan pra-proses teks bertujuan untuk meningkatkan akurasi klasifikasi data di mana terdapat aturan pembentukan kata berimbuhan untuk mengubah makna kata dsar yaitu prefiks (awalan), sufiks (akhiran), konfiks atau simulfiks (awalan dan akhiran), dan infiks (sisipan) di mana hasil akhir pra-proses teks diharapkan
Gambar 1. Hold-out validation.
Gambar 2. Pie chart klasifikasi.
Gambar 3. Wordcloud frekuensi term. 82% 18% positif negatif Gambar 4. Wordcloud positif. Gambar 5. Wordcloud negatif. Tabel 11.
Nilai Sensitivity, Specificity, G-mean, dan AUC Data Testing
Split Ratio Sensitivity Specificity G-mean AUC 90%:10% 0,62400 0,96296 0,77517 0,79348 80%:20% 0,54400 0,95327 0,72012 0,74864 70%:30% 0,54606 0,95031 0,72037 0,74819
mendapatkan kata dasar yang sesuai dengan Kamus Besar Bahasa Indonesia [7]. Tahapan dalam pra-proses teks adalah sebagai berikut.
1) Cleaning
Cleaning merupakan proses membersihkan ulasan dari kata yang tidak diperlukan seperti username , emoticons , hastag, dan link tertentu [8].
2) Case Folding
Case folding merupakan proses untuk mengubah semua karakter teks menjadi huruf kecil serta menghilangkan tanda baca dan angka [9].
3) Stemming Stemming merupakan proses untuk mendapatkan kata dasar dengan cara menghilangkan awalan, akhiran, sisipan, dan kombinasi antara awalan dan akhiran pada kata per kata pada ulasan [10].
4) Tokenizing Tokenizing merupakan proses memecah yang semula berupa kalimat menjadi kata per kata atau memutuskan urutan string menjadi potongan kata [11].
D. Analisis Sentimen
Analisis sentiment atau opinion mining menggambarkan bidang yang luas terkait pemrosesan bahasa alami, linguistik, komputasi, dan penambangan teks dengan tujuan untuk menganalisis pendapat, perasaan, evaluasi, sikap, penilaian, dan emosi seseorang atau penulis tentang suatu topik, produk, layanan, atau yang lainnya. Peran dasar dari analisis sentimen adalah mengelompokkan teks menjadi kalimat atau dokumen yang tidak terstruktur dan kemudian menentukan apakah opini yang diungkapan dalam kalimat atau dokumen tersebut bersifat positif atau negatif [11].
Analisis sentimen juga didefinisikan sebagai pemeriksaan dengan bantuan computer atas pendapat, perilaku, dan emosi seseorang terhadap suatu entitas di mana entitas tersebut dapat mewakili individu, peristiwa, atau topik. Analisis sentimen juga terlibat dalam pembuatan sistem untuk mengumpulkan dan meneliti pendapat tentang produk yang dibuat di suatu blog, ulasan, ataupun tweet. [12]. Pada analisis sentimen, ekspresi pengguna yang di analisis berfokus pasa topik tertentu di mana pernyataan pada suatu topik pasti akan berbeda maknanya dengan pernyataan yang sama pada subjek yang berbeda. Tujuan dari analisis sentimentuntuk menentukan perilaku atau opini dari seorang penelitia terhadap topik tertentu  serta untuk melihat kecenderungan apakah pendapat atau opini tersebut termasuk dalam opini positif atau negatif [13].

## E. Fitur dan Pembobotan
Pembobotan merupakan metode untuk mengubah input data menjadi suatu fitur vektor di mana metode yang digunakan dalam pembobotan meliputi Term Presence (TP), Term Frequency (TF), dan Term Frequency-Inverse Document Frequency (TF-IDF) [14].
1) Term Presence (TP)
Term Presence (TP) merupakan metode pembobotan pada suatu dokumen teks yang melihat keberadaan daftar kata – kata atau term terhadap suatu dokumen. Jika suatu fitur yang ada pada daftar fitur acuan terdapat pada dokumen yang
sedang diboboti, maka nilai fitur tersebut pada feature vector akan diberi nilai 1 dan tidak menghiraukan jumlah kemunculan fitur tersebut. Jika fitur tersebut tidak ada pada dokumen, maka diberi nilai 0 pada feature space . Rumus yang digunakan untuk menghitung Term Presence (TP) dari fitur t i pada dokumen 𝑑𝑑 𝑗𝑗 ditulis pada persamaan 10 sebagai berikut.
𝑡𝑡𝑡𝑡�𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � � 1               Jika terdapat 𝑡𝑡 𝑖𝑖 pada 𝑑𝑑 𝑗𝑗 0   Jika tidak terdapat 𝑡𝑡 𝑖𝑖 pada 𝑑𝑑 𝑗𝑗 (10)
2) Term Frequency (TF)
Term Frequency (TF) menghitung jumlah kemunculan fitur acuan pada suatu dokumen bukan hanya keberadaan fitur tersebut. Rumus TF dapat ditulis dengan persamaan #( t i ,d j )  mempunyai arti jumlah kemunculan fitur 𝑡𝑡 𝑖𝑖 pada dokumen 𝑑𝑑 𝑗𝑗 . Sebagai contoh suatu fitur berupa kata “bagus” muncul sebanyak 10 kali, maka nilai fitur tersebut pada feature vector adalah 10.  Persamaan term frequency ditunjukkan pada persamaan 11 sebagai berikut.
𝑡𝑡𝑡𝑡�𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � = # �𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � (11)
3) Term Frequency-Inverse Document Frequency (TF- IDF)
Term Frequency – Inverse Document Frequency (TF-IDF) merupakan algoritma pembobotan tersusun dari dua nilai yang berasal dari dua algoritma dengan pembobotan yang berbeda, yaitu Term Frequency (TF) dan Inverse Document Frequency (IDF). Rumus perhitungan IDF pada suatu kumpulan dokumen D dengan | D | merupakan jumlah dokumen dan # d(t i ) merupakan banyaknya dokumen dimana suatu kata ( 𝑡𝑡 𝑖𝑖 ) ditunjukkan pada persamaan 12 dan persamaan 13 sebagai berikut.
𝑖𝑖𝑑𝑑𝑡𝑡 �𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � = log | 𝐷𝐷 | # 𝑑𝑑 ( 𝑘𝑘 𝑖𝑖 ) (12)
𝑡𝑡𝑡𝑡 𝑖𝑖𝑑𝑑𝑡𝑡 �𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � = 𝑡𝑡𝑡𝑡�𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � 𝑥𝑥 𝑖𝑖𝑑𝑑𝑡𝑡�𝑡𝑡 𝑖𝑖 , 𝑑𝑑 𝑗𝑗 � (13)

## F. Ketetapan Klasifikasi
Keteptann klasifikasi dihasilakan dari perhitungan elemen-elemen yang disebut dengan confusion matrix  atau matriks klasifikasi. Pengukuran akurasi klasifikasi dimaksudkan untuk menunjukkan performasi klasifikasi yang dilakukan. Confusion matrix berisi informasi aktual dan prediksi pada system klasifikasi [15]. Confusion matrix merupakan suatu metode perhitungan prediksi yang digunakan untuk menyelesaikan tahap klasifikasi. Prediksi dari nilai yang benar dan nilai yang salah disatukan dalam sebuah tabel (matriks) dengan nilai serta dibedakan berdasarkan kelas masing–masing. Confusion matrix ditunjukkan pada Tabel 1. Dimana TP (True Positive) adalah ketika prediksi positif dengan hasilnya benar positif. TN (True Negatif) adalah ketika prediksi negatif dengan hasilnya benar negatif.  FP (False Positive) adalah ketika prediksi positif dengan hasilnya tidak benar positif (salah). FP (False Negatif) adalah ketika prediksi negatif dengan hasilnya tidak benar negatif (salah).
Ketepatan klasifikasi menggunakan pengukuran yaitu akurasi, specificity, dan sensitivity. Akurasi digunakan untuk mengetahui hasil klasifikasi dari penelitian yang dilakukan
serta menghitung ketepatan klasifikasi sebuah ulasan yang mempunyai data balanced pada tiap kategorinya. Data Balanced
𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝑖𝑖 = 𝑇𝑇𝑁𝑁 + 𝑇𝑇𝑃𝑃 𝑇𝑇𝑁𝑁 + 𝑇𝑇𝑃𝑃 + 𝐹𝐹𝑁𝑁 + 𝐹𝐹𝑃𝑃 (14) 𝑆𝑆𝑆𝑆𝑆𝑆𝐴𝐴𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 = 𝑇𝑇𝑃𝑃 𝑇𝑇𝑃𝑃 + 𝐹𝐹𝑁𝑁 (15)
𝑆𝑆𝑡𝑡𝑆𝑆𝑆𝑆𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 = 𝑇𝑇𝑁𝑁 𝑇𝑇𝑁𝑁 + 𝐹𝐹𝑃𝑃 (16)
Data Imbalanced
𝐺𝐺 − 𝑀𝑀𝑆𝑆𝐴𝐴𝑆𝑆 = �𝐴𝐴𝑆𝑆𝑆𝑆𝐴𝐴𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 𝑥𝑥 𝐴𝐴𝑡𝑡𝑆𝑆𝑆𝑆𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 (17)
𝐴𝐴𝐴𝐴𝐴𝐴 = 1 2 ( 𝐴𝐴𝑆𝑆𝑆𝑆𝐴𝐴𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 + 𝐴𝐴𝑡𝑡𝑆𝑆𝑆𝑆𝑖𝑖𝑡𝑡𝑖𝑖𝑆𝑆𝑖𝑖𝑡𝑡𝑆𝑆 ) (18)
Apabila ulasan mempunyai data imbalanced , maka pengukuran ketepatan klasifikasi yang digunakan adalah G- Mean dan Area Under Curve (AUC). G-Mean merupakan rata-rata geometric dari data yang memiliki dua kategori. Area Under Curve (AUC) merupakan indikator performa dari kurva Receiver Operating Characteristic (ROC) dengan pengklasifikasian tingkatan yang berbeda. Tingkatan akurasi nilai AUC dijelaskan pada Tabel 2.
G. Hold-out Hold-Out Validation merupakan salah satu metode dari jenis cross-validation yang paling sederhana untuk mempartisi secara acak dari kumpulan data yang digunakan menjadi dua kumpulan data yang saling independen. Secara umum dalam Hold-Out Validation satu pertiga dari data digunakan sebagai data testing dan dua pertiga dari data digunakan sebagai data training . Visualisasi pembagian data training dan data testing dalam Hold-Out Validation ditunjukkan pada Gambar 1.
Gambar 1 menunjukkan pembagian antara data training dan data testing pada Hold-Out Validation . Metode Hold-Out Validation data digunakan pada saat permasalahan data dihadapi dengan kumpulan  data yang besar dan memang tidak cocok dengan kumpulan data yang kecil.
H. Wordcloud Wordcloud merupakan salah satu bentuk dari hasil analisis menggunakan metode text mining yang dapat menampilkan kata yang paling sering muncul atau paling sering digunakan pada  suatu dokumen ataupun teks. Ukuran huruf pada wordcloud menentukan frekuensi kemunculan sebuah kata, maka semakin besar ukuran huruf maka semakin besar kemunculan kata tersebut. Sebaliknya, semakin kecil ukuran huruf maka semakin kecil frekuensi kemunculan kata tersebut. Wordcloud sering digunakan untuk menyoroti istilah yang populer atau tren berdasarkan frekuensi penggunaan kata yang dapat menjelaskan pertanyaan penelitian dengan sangat cepat dan mudah [1].

## I. Aplikasi Buzzbreak
Menurut Google Play, aplikasi Buzzbreak merupakan aplikasi gaya hidup yang menampilkan seluruh konten popular dari internet. Konten-konten popular dalam Buzzbreak dapat  berupa video, berita, dan hal-hal menarik yang lucu baik dari dalam negeri maupun luar negeri. Konten yang telah dikunjungi dan dilihat oleh pengguna Buzzbreak akan memberikan imbalan berupa point yang dapat ditukarkan menjadi uang tunai dimana hasil penukaran
tersebut dapat secara langsung ke rekening milik pribadi pengguna atau dompet digital.

## J. Penelitian Terdahulu
Studi penelitian terdahulu  yang berkaitan dengan penelitian yang dilakukan ini adalah sebagai berikut.
1) Analisis Sentimen Persepsi Pengguna JNE
Analisis sentimen persepsi pengguna JNE menggunakan algoritma naïve bayes classifier oleh Adelia Febriyanti tahun 2020.  Penelitian ini menggunakan ulasan pengguna JNE sebenyak 1.876 ulasan dimana penelitian ini memberikan hasil bahwa 69% ulasan merupakan ulasan negatif dan 31% ulasan merupakan ulasan positif. Penerapan metode Naïve Bayes Classifier data latih dan data uji dengan perbandingan 90%: 10% menghasilkan tingkat akurasi paling optimal sebesar 85,87% [16].

## 2)
Implementasi Text Mining
Implementasi text mining pada analisis sentimen pengguna twitter terhadap media mainstream menggunakan Naïve Bayes Classifier dan Support Vector Machine. Penelitian ini menggunakan 300 tweet mengenai media mainstream TV One, Metro TV, dan Kompas TV dimana penelitian ini memberikan hasil bahwa ketepatan klasifikasi menggunakan Naïve Bayes Classifier pada media TV One dan Kompas TV diperoleh akurasi sebesar 95,8% dan 97,8%, sedangkan ketepatan klasifikasi media Metro TV diperoleh nilai G-mean dan AUC sebesar 81,3% dan 82,36% [17].

## 3) Metode Penambangan Aturan Asosiasi untuk Identifikasi Pengguna Internet
Penelitian ini menggunakan Teknik penambangan data aturan asosiasi dengan variabel penelitian sebanyak 10 variabel dan didapatkan hasil bahwa penggunaan utama internet baik untuk kelompok laki-laki maupun perempuan untuk mengakses berita dan media sosial karena informasi dan media sosial merupakan bentuk literasi digital yang paling mudah diakses dibandingkan dengan transaksi keuangan atau perbankan yang membutuhkan pengetahuan tentang produk keuangan dan perbankan [18].

## III. METODOLOGI PENELITIAN

## A. Sumber Data
Data yang digunakan dalam penelitian ini merupakan review pengguna aplikasi buzzbreak sebanyak 3436 ulasan dengan periode waktu Januari-April 2021. Data yang digunakan berjumlah 3436 ulasan dibagi menjadi data training  dan data testing  dengan perbandingan masing- masing  90%:10%, 80%:20%, dan 70%:30%. Struktur data yang digunakan dalam penelitian ini terdiri dari variabel prediktor yaitu kata dasar setiap ulasan dan variabel respon yaitu klasifikasi sentimen ulasan (positif dan negatif)  yang ditunjukkan pada Tabel 3.

## B. Variabel Penelitian
Variabel penelitian yang digunakan  ditunjukkan pada Tabel 4.

## C. Langkah Analisis
Langkah analisis yang dilakukan pada penelitian ini adalah sebagai berikut: (1) Mengambil data review aplikasi
buzzbreak dengan cara scraping menggunakan software pendukung yaitu data miner kemudian data review yang telah diambil disimpan dengan format .csv. (2) Menentukan daftar stopwords dengan cara menentukan kata dasar berdasarkan pada Kamus Besar Bahasa Indonesia.  (3)  Melakukan pra- proses teks yang meliputi proses cleaning , case folding , stemming , tokenizing , serta melakukan perbandingan antara kata-kata yang didapatkan dari data review dengan  daftar stopwords .  (4)  Menentukan pengelompokkan sentiment positif dan negatif berdasarkan scoring . (5) Mengubah data review yang telah dipecah dalam kata per kata menjadi variabel dengan pembobotan kata melalui metode TF-IDF. (6) Membagi 3436 data review untuk data training dan data testing menggunakan 10- fold cross validation dengan perbandingan masing-masing sebesar 90% : 10%, 80% : 20%, dan 70% : 30%. (7) Membentuk model klasifikasi data review menggunakan metode Naïve Bayes Classifier .  (8) Menghitung ketepatan klasifikasi dari model yang terbentuk. (9)  Melakukan visualisasi hasil review dalam bentuk wordcloud .  (10)  Menginterpretasikan hasil analisis yang telah dilakukan. (11) Menarik kesimpulan dan saran.

## IV. HASIL DAN PEMBAHASAN
A. Klasifikasi Sentimen Aplikasi Buzzbreak dan Visualisasi Wordcloud
Data review aplikasi buzzbreak yang diambil melalui situs google play store setelah dilakukan pra–proses data, maka dilakukan pelabelan apakah review termasuk dalam review yang positif, negatif, atau netral berdasarkan scorring yang ditampilkan pada Tabel 5.
Tabel  5  menunjukkan bahwa hasil pelabelan data mendapatkan hasil bahwa klasifikasi sentimen positif sebanyak 2498 data review positif, klasifikasi sentimen negatif sebanyak 536 data review, dan klasifikasi sentimen netral sebanyak 402 data review netral. Penelitian ini, review yang terklasifikasi netral tidak digunakan dalam analisis selanjutnya dikarenakan dalam penelitian berfokus pada hasil klasifikasi positif dan negatif, dimana hasil dari klasifikasi positif dan negatif dapat divisualisasikan oleh Gambar 2.
Gambar  2  menunjukkan bahwa 82% review aplikasi buzzbreak terklasifikasi dalam sentimen positif dan 18% review negatif. Gambar 2  menunjukkan bahwa hasil klasifikasi sentimen cenderung imbalance , maka analisis yang tepat untuk melakukan ketepatan klasifikasi adalah menggunakan G-mean dan AUC. Sebelum melakukan analisis ketepatan klasifikasi dilakukan pembobotan atau term weight TF-IDF yang bertujuan untuk mengetahui konteks dari setiap review yang dijelaskan pada Tabel 6. Tabel  6  menunjukkan hasil pembobotan atau TF-IDF masing-masing term yaitu  sebanyak 28 term dari 3034 review . Pada tabel pembobotan TF-IDF terdapat hasil 0 yang menunjukkan bahwa term tersebut tidak tersedia pada review terkait sehingga bernilai 0, jika angka decimal menunjukkan bahwa term tersebut tersedia pada review terkait sehingga pembobotannya memiliki nilai lebih besar dari 0.
Frekuensi term yang ada pada setiap term dapat dijelaskan pada Tabel 7.
Tabel  7  menunjukkan jumlah keseluruhan kata masing- masing term dari 3034 review buzzbreak. Dari 28 term, term yang paling sering banyak muncul adalah “bagus” sebanyak
688 kata, “bintang” sebanyak 381 kata, “buzzbreak” sebanyak 378 kata, dan yang paling sedikit adalah “susah” sebanyak 70. Berdasarkan Tabel  7  dapat divisualisasikan menggunakan wordcloud Gambar 3. Gambar 3 menunjukkan wordcloud dari frekuensi term di mana melalui wordcloud tersebut dapat diketahui bahwa term yang paling sering muncul adalah “bagus” karena term tersebut memiliki ukuran yang paling besar dibandingakan dengan term yang lainnya. Selain visualisasi wordcloud pada frekuensi term, terdapat visualiasasi wordcloud pada sentimen positif dan negatif, wordcloud positif dapat dijelaskan pada Gambar 4.
Gambar 4 menunjukkan wordcloud sentimen positif, term yang paling sering muncul adalah “bagus” yang paling besar dilanjutkan dengan “mantap”, “bintang”, “poin”, dan “buzzbreak” yang keempat ukuran tersebut lebih kecil daripada term “bagus”. Selanjutnya adalah visualisasi wordcloud sentimen negatif dijelaskan pada Gambar 5. Gambar 5 menunjukkan wordcloud sentimen negatif, term yang paling sering muncul adalah “jelek” yang paling besar, dilanjutkan dengan “buzzbreak”,  “susah”, “bagus”, “kecewa”, dan “tipu” karena term tersebut memiki ukuran lebih kecil daripada term “jelek”.

## B. Klasifikasi Sentimen Menggunakan Naïve Bayes Classifier
Data  review  aplikasi buzzbreak setelah dilakukan tahap pra-proses data dan pelabelan sentimen analisis maka dilakukan analisis ketepatan klasifikasi menggunakan naïve bayes classifier dengan pembagian data training  dan data testing pada split ratio 90%:10%, 80%:20%, dan 70%:30% yang didapatkan presentase hasil pembagian dari ketiga split tersebut pada sentimen positif sebesar 82% dan pada sentimen negatif sebesar 18%, yang berarti pembagian data training dan data testing konsisten dari hasil sentiment positif dan negatif.  Analisis pengukuran ketepatan klasifikasi menggunakan  confusion matrik pada data training  dapat dijelaskan pada Tabel 8.
Tabel 8 menunjukkan confusion matrix data training pada split ratio 90%:10% terdapat 1273 data benar terklasifikasi positif, 24 data salah terklasifikasi positif, 458 data benar terklasifikasi negatif, dan 973 data salah terklasifikasi negatif. Split ratio 80%:20% terdapat 1156 data benar terklasifikasi positif, 27 data salah terklasifikasi positif, 402 data benar terklasifikasi negatif, dan 842 data salah terklasifikasi negatif dan split ratio 70%:30% terdapat 1021 data benar terklasifikasi positif, 20 data salah terklasifikasi positif, 355 data benar terklasifikasi negatif, dan 728 data salah terklasifikasi negatif. Hasil confusion matrix dari data testing dengan split ratio 90%:10%, 80%:20%, dan 70%:30% selanjutnya dilakukan analisis nilai sensitivity, specificity, G- mean dan AUC yang didapatkan berdasarkan persamaan 15 hingga persamaan 18 dapat dilihat pada Tabel 9.
Tabel  9  split ratio yang digunakan yaitu 90%:10% didapatkan nilai AUC sebesar 75,82%, split ratio 80%:20% didapatkan nilai AUC sebesar 75,78% dan split ratio 70%:30% didapatkan nilai AUC sebesar 76,52% yang berarti bahwa tingkat ketepatan klasifikasinya sedang. Analisis selanjutnya adalah analisis pengukuran ketepatan klasifikasi menggunakan confusion matrix pada data testing dijelaskan pada Tabel 10.
Tabel 10 menunjukkan confusion matrix data testing pada split ratio 90%:10% terdapat 156 data benar terklasifikasi positif, 2 data salah terklasifikasi positif, 52 data benar terklasifikasi negatif, dan 94 data salah terklasifikasi negatif. Split ratio 80%:20% terdapat 272 data benar terklasifikasi positif, 5 data salah terklasifikasi positif, 102 data benar terklasifikasi negatif, dan 228 data salah terklasifikasi negatif dan split ratio 70%:30% terdapat 409 data benar terklasifikasi positif, 8 data salah terklasifikasi positif, 153 data benar terklasifikasi negatif, dan 340 data salah terklasifikasi negatif. Selanjutnya dilakukan  analisis nilai sensitivity, specificity, G-mean, dan AUC yang didapatkan berdasarkan persamaan 15 hingga persamaan 18 dapat dilihat pada Tabel 11.
Tabel  11 split ratio yang digunakan yaitu 90%:10% didapatkan nilai AUC sebesar 79,34%, split ratio 80%:20% didapatkan  nilai AUC sebesar 74,86% dan split ratio 70%:30% didapatkan nilai AUC sebesar 74,81% yang berarti bahwa tingkat ketepatan klasifikasinya sedang.

## V. KESIMPULAN
Kesimpulan dari Analisis Sentimen Ulasan Aplikasi Buzzbreak menggunakan Metode Naïve Bayes Classifier pada Situs Google Play Store adalah sebagai berikut: (1) Hasil analisis klasifikasi sentimen menunjukkan bahwa review yang terklasifikasi ke dalam sentimen positif lebih banyak dibandingkan hasil sentimen negatif, sehingga dapat diartikan bahwa review pengguna Buzzbreak mengarah ke komentar yang positif. di mana dari term yang paling sering muncul pada visualisasi wordcloud sentimen positif adalah term “bagus” dan term yang paling sering muncul pada visualisasi wordcloud sentimen negatif adalah term “jelek”.
(2) Klasifikasi sentimen menggunakan naïve bayes classifier pada data training dengan split ratio 70%:30% dengan nilai AUC sebesar 76,52% dan pada data testing split ratio 90%:10% di mana nilai AUC sebesar 79,34% dapat diartikan bahwa tingkat akurasi klasifikasinya sedang.

## DAFTAR PUSTAKA
[1]  R. Feldman, J. Sanger, and others, The Text Mining Handbook:
Advanced Approaches in Analyzing Unstructured Data , 1st ed. United States of Amerika: Cambridge university press, 2007, isbn: 9780521836579.
[2]  C. Fiarni, H. Maharani, and R. Pratama, “Sentiment Analysis System
for Indonesia Online Retail Shop Review Using Hierarchy Naive Bayes technique,” in 4th  International Conference On Information And Communication Technology  (ICoICT) , 2016, pp. 1–6, doi: 10.1109/ICoICT.2016.7571912.
[3]  J. Han, M. Kamber, and J. Pei, Data Mining: Concepts and Techniques , 3rd ed. United Stated of Amerika: Elsevier, 2012.
[4]  A. Hamzah, “Klasifikasi Teks dengan Naive Bayes Classifier (NBC) untuk Pengelompokan Teks Berita dan Abstract Akademis,” in Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) Periode III ISSN , 1979, p. 911X, doi: :1979-911X.
[5]  B. R. Aditya, “Penggunaan web crawler untuk menghimpun tweets dengan metode pre-processing text mining,” J. Infotel , vol. 7, no. 2, pp. 93–100, 2015, doi: https://doi.org/10.20895/infotel.v7i2.35.
[6]  A. I. Kadhim, Y.-N. Cheah, and N. H. Ahamed, “Text Document Preprocessing and Dimension Reduction Techniques for Text Document Clustering,” in 4th International Conference on Artificial Intelligence with Applications in Engineering and Technology , 2014, pp. 69–73, doi: 10.1109/ICAIET.2014.21.
[7]  A. HP and A. Alek, Lingusitik Umum , 1st ed. Jakarta: Penerbit Erlangga, 2013.
[8]  G. A. Buntoro, T. B. Adji, and A. E. Purnamasari, “Sentiment Analysis Twitter dengan Kombinasi Lexicon Based dan Double Propagation,” in CITEE 2014 , 2014, pp. 39–43.
[9]  S. M. Weiss, Text Mining: Predictive Methods for Analyzing Unstructured Information , 1st ed. New York: Springer Science & Business Media, 2010, isbn: 0387345558.
[10]  D. Ariadi and K. Fithriasari, “Klasifikasi berita indonesia menggunakan metode naive bayesian classification dan support vector machine dengan confix stripping stemmer,” J. Sains dan Seni ITS , vol. 4, no. 2, 2016, doi: 10.12962/j23373520.v4i2.10966.
[11]  B. Liu, Handbook of Natural Language Processing , 2nd ed. New York: CRC Press, 2010.
[12]  D. A.  Kristiyanti, “Analisis Sentimen Review Produk Kosmetik Melalui Komparasi Feature Selection,” in Konferensi Nasional Ilmu Pengetahuan Dan Teknologi (KNIT) , 2015, vol. 2, no. 2, pp. 74–81, doi: 978-602-72850-0-2.
[13]  N. W. Saraswati, “Text Mining dengan Metode Naive Bayes Classifier dan Support Vector Machine untuk Sentimen Analysis,” Universitas Udayana, Denpasar, 2011.
[14]  T. O’Keefe and I. Koprinska, “Feature Selection and Weighting Methods in Sentiment Analysis,” in Proceedings of the 14th Australasian document computing symposium, Sydney , 2009, pp. 67– 74.
[15]  P. Mayadewi and E. Rosely, “Prediksi Nilai Proyek Akhir Mahasiswa Menggunakan Algoritma Klasifikasi Data Mining,” in Seminar Nasional Sistem Informasi Indonesia , 2015, vol. 2, no. 4.
[16]  A. Febriyanti, “Analisis Sentimen Persepsi Pengguna JNE Menggunakan Algoritma Naïve Bayes Classifier,” Universitas Islam Indonesia, 2020.
[17]  T. Kurniawan, “Implementasi Text Mining Pada Analisis Sentimen Pengguna Twitter Terhadap Media Mainstream Menggunakan Naïve Bayes Classifier dan Support Vector Machine,” Institut Teknologi Sepuluh Nopember, 2017.
[18]  W. Wibowo, N. P. Sari, R. N. Wilantari, and S. Abdul-Rahman, “Association Rule Mining Method for The Identification of Internet Use,” in Journal of Physics: Conference Series , 2021, vol. 1874, no. 1, p. 12009.