Jurnal Algoritme , Vol. 4, No. 2, April, Hal. 75 - 84 E – ISSN : 2775-8796
DOI: 10.35957/algoritme.xxxx ◼ 75

## Penerapan Teknik SMOTE Pada Analisis Sentimen Bea Cukai Menggunakan Algoritma Naïve Bayes
Alwin Marcellino 1 , Yosefa Camilia Moniung 2 , Rusbandi 3 1,2,3 Universitas Multi Data Palembang, Jl. Rajawali No. 14, Kota Palembang Sumatera Selatan 30113, telp: (0711) 376 400
1,2,3 Program Studi Informatika, Fakultas Ilmu Komputer dan Rekayasa Universitas Multi Data, Palembang
e-mail: 1 alwinmarcellino@mhs.mdp.ac.id , 2 camiliayosefa@mhs.mdp.ac.id,
3 rusbandi@mdp.ac.id

## Abstrak
Media  sosial seperti Youtube sering  digunakan masyarakat dan dapat membuat isu menjadi viral dengan cepat. Baru-baru ini, bea cukai menjadi sorotan karena kasus bea masuk yang dianggap terlalu tinggi. Contohnya, seorang pria membeli sepatu seharga 10 juta rupiah dikenakan bea masuk 30 juta rupiah, dan seorang TKW dari Madura dikenakan bea masuk ratusan juta rupiah untuk emas 3kg dari Arab Saudi. Kasus ini menuai pro dan kontra sehingga analisis sentimen masyarakat dilakukan menggunakan algoritma Naïve Bayes dan metode SMOTE. Dataset penelitian ini tidak seimbang, sehingga peneliti membandingkan penggunaan SMOTE dan  tanpa  SMOTE.  Hasil  evaluasi  tanpa  SMOTE  mendapatkan akurasi  95.175%  dengan precision 95%, recall 100%, dan F1-score 98% untuk kelas negatif, namun semua metrik kelas positif bernilai 0%. Setelah menggunakan SMOTE,  akurasi keseluruhan mencapai 85 .526%. Kelas negatif memperoleh precision 98%, recall 87%, dan F1-score 92%, sedangkan kelas positif memperoleh precision 19%, recall 64%, dan F1-score 30%. Tanpa SMOTE, akurasi lebih tinggi tetapi terjadi overfitting .
Kata kunci —Analisis Sentimen, Bea Cukai, Naive Bayes , SMOTE

## Abstract
Social media platforms like YouTube are frequently used by the public and can quickly make issues go viral. Recently, customs duties have come under scrutiny for being considered too high. For example, a man who bought shoes worth 10 million rupiahs was charged 30 million rupiahs in import duties, and a female migrant worker from Madura was charged hundreds of millions of rupiahs for bringing 3kg of gold from Saudi Arabia. These cases have sparked public debate, leading to a sentiment analysis using the Naïve Bayes algorithm and SMOTE method. The research dataset was imbalanced, prompting a comparison between using SMOTE and not using it. The evaluation results without SMOTE showed an accuracy of 95.175%, with precision at 95%, recall at 100%, and an F1-score of 98% for the negative class, but all metrics for the positive class were 0%. After applying SMOTE, the overall accuracy was 85.526%. The negative class achieved a precision of 98%, recall of 87%, and an F1-score of 92%, while the positive class achieved a precision of 19%, recall of 64%, and an F1-score of 30%. Without SMOTE, the accuracy was higher, but overfitting occurred.
Keywords —Bea Cukai, Naïve Bayes, Sentiment Analysis, SMOTE
This is an open-access article  under the CC-BY-CA license
76

## 1. PENDAHULUAN
edia sosial adalah wadah masyarakat dalam menyampaikan ide, gagasan, pendapat, dan kritik  [1].  Dalam  kehidupan sehari-hari, media  sosial  sangat  sering  digunakan oleh masyarakat. Menurut We are Social, youtube merupakan peringkat ke -2 website yang sering dikunjungi oleh pengguna internet di Indonesia pada tahun 2024 yakni sebanyak 33.04 miliar kunjungan, disusul dengan facebook.com sebanyak 17.09 miliar, instagram.com sebanyak 6.47 miliar, twitter.com sebanyak 6.41 miliar, dan lain-lain. Kehadiran Youtube menjadi inovasi baru karena perolehan informasinya melalui bentuk audio dan visual [2]. Karena kelebihannya ini, youtube menjadi wadah aspirasi masyarakat sekaligus faktor cepatnya penyebaran informasi dan berakhir menjadi sesuatu yang viral . Salah satu contoh hal yang sedang viral belakangan ini adalah permasalahan bea cukai.
Baru-baru ini bea cukai menjadi viral karena permasalahan bea masuk yang terlalu tinggi, dimana seorang pria membeli sepatu seharga 10 juta rupiah namun dikenakan bea masuk sebesar 30 juta rupiah [3] serta seorang Tenaga Kerja Wanita (TKW) asal Madura yang terkena bea masuk ratusan juta rupiah saat membawa masuk emas seberat 3kg dari Arab Saudi ke Indonesia [4]. Bea masuk merupakan biaya pungutan yang dikenakan terhadap barang import oleh negara [5]. Kedua permasalahan tersebut menjadi viral di berbagai media sosial, salah satunya di Youtube, dan berhasil menuai berbagai pro dan kontra.
Analisis sentimen merupakan suatu teknik atau sistem untuk ekstraksi data teks yang bertujuan untuk mendapatkan informasi mengenai sebuah sentimen apakah positif atau negatif [1]. Analisis sentimen dapat digunakan untuk memperoleh gambaran opini masyarakat terhadap suatu isu yang terjadi. Pada Youtube, opini masyarakat biasanya tertera di kolom komentar dan bisa menghasilkan ratusan hingga ribuan komentar dalam waktu singkat. Hal ini akan memakan waktu  yang  lama  untuk proses  klasifikasinya.  Maka  dari  itu,  diperlukan algoritma  untuk menyelesaikannya. Pada penelitian ini, akan digunakan algoritma Naïve Bayes Classifier. Implementasi analisis sentimen menggunakan Naïve Bayes telah dilakukan oleh [6] yang berjudul “ The Implementation of  Naïve Bayes Algorithm for  Sentiment Analysis of  Shopee Reviews  on  Google  Play  Store ”.  Penelitian  tersebut  menghasilkan  akurasi  sebesar  83% menggunakan pembagian data Hold-Out dan akurasi sebesar 82% menggunakan metode K-Fold Cross Validation dengan nilai K=10. Selanjutnya, ada pula penelitian yang dilakukan oleh [7] yakni  analisis  sentimen  opini  masyarakat  terhadap  film  Ngeri-ngeri  Sedap  pada  Twitter menggunakan Naïve Bayes. Penelitian ini memperoleh akurasi 75% dan membuktikan sentimen masyarakat terhadap film tersebut tergolong netral. Lalu, penelitian dilakukan oleh  [8] yang berjudul “ Comparison of SVM & Naïve Bayes Algorithm for Sentiment Analysis Toward West Java Governor Candidate Period 2018-2023 Based on Public Opinion on Twitter ”. Penelitian tersebut menunjukkan bahwa akurasi yang dihasilkan oleh algoritma Naïve Bayes lebih tinggi, yakni 94% untuk pasangan 2DM (Deddy Mizwar and Dedi Mulyadi) dan SVM menghasilkan 75.50% untuk pasangan 2DM  juga.  Kemudian, menurut penelitian ini,  Naïve Bayes  sering digunakan dalam klasifikasi teks karena kemudahan dan kecepatannya.
Namun, pada permasalahan bea cukai yang akan diteliti ini, akan ada tiga jenis komentar, yaitu positif, negatif, dan netral dimana mayoritas masyarakat memberi komentar negatif kepada bea cukai. Hal  ini  menyebabkan ketidakseimbangan proporsi pada dataset.  Ketika proporsi dataset tidak seimbang, pada proses training akan menghasilkan model machine learning yang bias pada kelas set yang paling mayoritas [9]. Untuk mengatasi masalah ini, akan digunakan teknik SMOTE ( Synthetic Minority Oversampling Technique). Berdasarkan penjelasan di atas, Naïve Bayes dinilai efektif dalam analisis sentimen terhadap bea cukai.
SMOTE merupakan metode populer untuk menangani ketidakseimbangan kelas. Teknik ini mensintesis sampel baru dari kelas minoritas untuk menyeimbangkan dataset dengan cara

## M
77
sampling ulang sampel kelas minoritas [10]. Penerapan SMOTE ini dapat meningkatkan akurasi dalam klasifikasi. Hal ini ditunjukkan oleh penelitian yang dilakukan oleh [10] yakni “Penerapan Synthetic Minority Oversampling Technique ( SMOTE ) untuk Imbalance Class pada Data Text Menggunakan  KNN”  dalam  analisis  sentimen  dan  diperoleh  hasil  bahwa  klasifikasi menggunakan SMOTE menghasilkan akurasi yang lebih tinggi, yaitu 90% dibandingkan hanya menggunakan KNN, yaitu 82%. Ada pula penelitian yang dilakukan oleh [11] yang menghasilkan peningkatan akurasi yang sebelumnya 69% menggunakan metode SVM menjadi 82% setelah dikombinasikan dengan teknik SMOTE.
Berdasarkan penjelasan di  atas,  maka  dilakukan penelitian  untuk analisis sentimen terhadap bea cukai dengan sumber data dari Youtube dengan menerapkan teknik SMOTE dan metode Naïve Bayes Classifier . Penelitian ini juga bertujuan serta mengetahui seberapa efektif teknik SMOTE dalam mengatasi ketidakseimbangan data pada analisis sentimen bea cukai serta dapat dijadikan bahan masukan oleh bea cukai maupun masyarakat untuk melakukan evaluasi terhadap permasalahan ini.
2. METODE PENELITIAN
Pada bagian ini, dijelaskan mengenai secara teoritis metode-metode pada penelitian ini serta tahapan-tahapan penelitian.

## 2.1 Landasan Teori
Berikut merupakan landasan teori yang digunakan dalam penelitian ini.

## 2.1.1 Analisis Sentimen
Analisis sentimen merupakan studi komputasional yang bertujuan untuk mengidentifikasi dan menyatakan opini, sentimen, evaluasi, sikap, emosi, subjektivitas, penilaian, atau pandangan yang  terkandung dalam suatu  teks  [12].  Tugas  utama dari  analisis sentimen adalah untuk mengklasifikasikan sifat teks yang terdapat dalam kalimat atau opini, yang biasanya dibagi ke dalam dua kategori utama: positif dan negatif [7].

## 2. 1.2 Naïve Bayes
Algoritma  Naïve  Bayes  memiliki  beberapa  metode  yang  sering  digunakan,  yaitu Multinimial, Gaussian, dan Bernaulli [1].   Pada penelitian ini, penulis menggunakan metode Multinomial Naïve Bayes. Multinomial Naïve Bayes adalah metode supervised learning yang dirancang khusus untuk mengklasifikasikan data teks. Metode ini memiliki fitur unik, di mana hasil yang diperoleh dari setiap kelas bersifat independent. Hal ini terjadi karena setiap dokumen tidak memiliki keterkaitan satu sama lain, sehingga hasil yang diperoleh murni berdasarkan informasi dari dokemen tersebut saja. Berikut merupakan rumus dari Naïve Bayes [6].
𝑃(𝑐|𝑑) ∝ 𝑃(𝑐)  ∏ 𝑃(𝑤 𝑖 |𝑐) 𝑛 𝑑 𝑖=1 (1)
Keterangan: P(c|d) = Probabilitas suatu kelas c pada dokumen/teks d P(c) = Probabilitas prior c P( 𝑤 𝑖 | c) = Probabilitas suatu kata pada kelas c

## 2.1.3 SMOTE
Synthetic Minority Oversampling Technique (SMOTE)  adalah  metode yang  cukup popular yang digunakan untuk menangani ketidak seimbangan kelas pada dataset.  Metode ini menyeimbangkan dataset dengan cara  mensintesis sample baru dari kelas minoritas melalui resampling [10].
78

## 2.1.4 Overfitting
Overfitting merupakan kondisi ketika model mempelajari data latih dengan sangat baik sehingga kinerjanya buruk saat diuji dengan data baru. Dengan kata lain, model memprediksi nilai yang sangat cocok dengan data latih namun gagal memprediksi nilai yang belum pernah dilihat sebelumnya [11].
Adapun tahapan penelitian sebagai berikut.

## 2. 2 Pengumpulan Data
Pengumpulan data ( Crawling data ) merupakan tahap pertama yang dilakukan dalam penelitian  ini.  Dataset  yang  dikumpulkan  merupakan  komentar-komentar  mengenai  opini masyarakat terhadap Bea Cukai di aplikasi Youtube.   Data ini diperoleh dengan menggunakan situs web netlytic.org. Setelah pengumpulan data, diperoleh dataset sebanyak 1683 data yang akan digunakan untuk proses selanjutnya.

## 2.3 Labeling Dataset
Pada tahap ini, penulis akan memberikan label secara manual ke dalam dataset yang telah dikumpulkan sebelumnya. Terdapat 3 (tiga) label yang akan diberikan, yaitu positif, negatif, dan netral. Jika suatu kalimat memiliki kesan positif (mendukung) terhadap tindakan yang dilakukan bea cukai yakni memberi bea masuk yang tinggi maka kalimat tersebut diberi label positif, dan sebaliknya berarti negatif. Sedangkan, jika kalimat tidak memiliki kaitan sama sekali dengan permasalahan tersebut maka kalimat tersebut diberi label netral.

## 2.4 Preprocessing
Preprocessing adalah salah satu proses yang diakukan sebelum melakukan pemodelan [6]. Tahap ini dilakukan untuk mengubah data teks menjadi lebih terstruktur dan konsisten agar lebih mudah dipahami dan diproses pada tahap selanjutnya [1][6][12]. Terdapat beberapa proses yang dilakukan, yaitu:

## 2.4.1 Case Folding
Pada proses ini, semua huruf pada dataset akan diubah menjadi huruf kecil ( lower case ) [6].

## 2.4.2 Normalisasi
Proses normalisasi merupakan proses yang menyamakan format data, seperti menghapus karakter khusus dan tanda baca, serta mengubah singkatan atau slang menjadi bentuk yang lebih formal [10]. Pada peneilitan ini, proses normalisasi dilakukan secara manual dengan mengubah kata, seperti 'dgn' menjadi ' dengan ', kata 'gue' menjadi 'saya', dan lain-lain.

## 2.4.3 Stopword Removal
Pada penelitian ini, proses stopword removal dilakukan dengan menggunakan library Sastrawi. Stopword removal merupakan proses untuk menghilangkan kata-kata umum yang tidak memiliki pengaruh yang signifikan dalam analisis sentiment, seperti “dan”, “di”, “ke”, dan kata- kata sejenis lainnya [10].

## 2.4.4 Tokenisasi
Proses tokenisasi merupakan proses untuk memecah teks menjadi potongan -potongan kata yang dipisah berdasarkan karakter spasi [6].

## 2.5.5 Stemming
Pada penelitian ini, proses stemming dilakukan dengan menggunakan library Sastrawi. Stemming merupakan proses untuk mengubah atau mengembalikan  kata ke bentuk dasarnya
79
dengan menghilangkan imbuhan yang ada pada suatu kata [6].

## 2.5 TF-IDF
TF-IDF merupakan sebuah metode yang digunakan untuk menghitung bobot atau menilai pentingnya suatu kata dalam sebuah dokumen relatif terhadap keseluruhan korpus [12].
𝑤 𝑑𝑡 = 𝑇𝐹 𝑑𝑡 ∗ 𝐼𝐷𝐹 𝑡 ( 2 )
Keterangan: d: dokumen ke-d t: kata ke-t dari kata kunci W: bobot dokumen ke-d terhadap kata ke-t TF: banyaknya kata yang dicari pada sebuah dokumen IDF: Inversed Document Frequency Nilai IDF didapatkan dari:
𝐼𝐷𝐹 = log 2 ( 𝐷 𝑑𝑓 )
Dimana: D: total dokumen Df: banyak dokumen yang mengandung kata yang dicari

## 2.6 Word Cloud
Word Cloud adalah salah satu alat yang sering digunakan untuk visualisasi data teks. Word cloud menyusun informasi yang relavan dengan menampilkan istilah -istilah kunci. Kata- kata yang ditampilkan dengan ukuran font terbesar menunjukan tingkat kepentingan yang lebih tinggi [14].

## 2.7 Pemodelan
Pada tahap ini, dataset akan dibagi menjadi dua bagian, yaitu data training dan data testing . Penulis menggunakan metode rasio dalam membagi dataset, dimana 85% digunakan untuk data training dan 15% untuk data test. Selanjutnya, proses klasifikasi dilakukan dengan algoritma yang telah ditentukan, yaitu algoritma Naïve Bayes.

## 2.8 Evaluasi
Proses  evaluasi  dilakukan  untuk  mengukur  performa  yang  dihasilkan  dari  proses klasifikasi. Evaluasi akan dihitung dengan menggunakan confusion matrix. Berikut ini merupakan rumus dari confusion matrix [11].
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = (𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑣𝑒 + 𝑇𝑟𝑢𝑒  𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 ) (𝑇𝑟𝑢𝑒  𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒  𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒  𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 + 𝑇𝑟𝑢𝑒  𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 ) (3) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑣𝑒) (𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) (4) 𝑅𝑒𝑐𝑎𝑙𝑙 = (𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑣𝑒) (𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒) (5) 𝐹1 − 𝑆𝑐𝑜𝑟𝑒  = 2 𝑥 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑥 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  +  𝑅𝑒𝑐𝑎𝑙𝑙 (6)

## 3. HASIL DAN PEMBAHASAN
Pada bagian ini, dijelaskan tahap-tahap yang telah dilakukan secara garis besar, yakni membuat himpunan data dan melakukan klasifikasi. Dalam membuat himpunan data dijelaskan
80
proses  pembuatannya,  jumlah,  serta  hasil  analisis  sentimen.  Sedangkan  untuk  klasifikasi, dilakukan klasifikasi dengan menjelaskan model serta performa yang diperoleh.

## 3.1 Pembuatan Himpunan Data
Setelah dilakukan labeling manual pada 1684 dataset diperoleh hasil 1438 sentimen negtaif, 81 positif, dan 165 netral. Kemudian, dilakukan pre-processing terhadap dataset, yaitu case  folding, normalisasi, stopword  removal,  tokenisasi, dan stemming. Pada  tahap pre- processing inilah sentimen netral akan dihapus. Setelah dilakukan pre-processing, dilanjutkan dengan menghitung TF-IDF, yaitu menghitung bobot atau menilai pentingnya suatu kata dalam sebuah dokumen  relatif terhadap keseluruhan korpus. Hasil  pembobotan dapat dilihat  pada Gambar 1.
Gambar 1 Hasil Pembobotan TF-IDF
Setelah itu, diperoleh word cloud untuk masing-masing sentimen yang ditunjukkan oleh Gambar 2. Lalu, baru dilakukan perhitungan bobot data preparation untuk pemodelan. Pada w ord cloud ini, kata yang lebih besar dari yang lain adalah kata yang lebih banyak muncul. Kata -kata inilah yang merupakan representasi setiap sentimen sehingga bisa dianalisis untuk mendapat kesimpulan.
Gambar 2 Word Cloud Negatif dan Positif
Pada Gambar 2, sentimen negatif merupakan komentar yang relevan dan bersifat tidak suka, benci, sarkasme, dan kritik terhadap permasalahan bea masuk yang terlalu tinggi. Hasilnya menunjukkan bahwa bea cukai menempati urutan pertama, dilanjutkan oleh pajak, Indonesia, negara, dan rakyat. Sedangkan sentimen positif merupakan komentar yang relevan dan bersifat suka, memuji, mendukung permasalahan bea masuk yang tinggi supaya masyarakat membeli produk dalam negeri. Hasil dari word cloud ini menunjukkan bahwa produk menempati urutan pertama, disusul oleh barang, dan Indonesia.
81

## 3.2 Klasifikasi
Sebelum dilakukan klasifikasi, dataset dibagi menjadi dua bagian dengan proporsi 85% digunakan untuk data training dan 15% digunakan untuk data testing . Kemudian, dilakukan oversampling menggunakan SMOTE pada data training . Visualisasi sentimen sebelum SMOTE dan sesudah SMOTE yang ditunjukkan pada Gambar 3. Dapat dilihat pada visualisasi sebelum SMOTE  bahwa sentimen positif (1) memiliki jumlah data yang sangat sedikit dibandingkan dengan sentimen negatif (0). Sedangkan setelah SMOTE, sentimen positif seimbang dengan sentimen negatif. Meningkatkan jumlah sampel pada kelas minoritas (positif) dapat membantu model belajar lebih banyak variasi dari kelas tersebut dan model dapat memahami pola yang berbeda sehingga bisa memberikan prediksi yang lebih akurat dan mengurangi kemungkinan model overfitting .
Gambar 3 Visualisasi Sentimen Positif dan Negatif Sebelum dan Setelah SMOTE
Setelah  itu,  dilakukan  pemodelan  menggunakan Naive  Bayes  Classifier. Setelah dilakukan  pemodelan,  dilanjutkan  dengan  evaluasi  model  yang  dihasilkan  menggunakan confusion matrix. Confusion matrix yang menggunakan SMOTE dapat dilihat pada Gambar 4 dengan TP = 7, TN = 188, FP = 4, dan FN = 29. Sedangkan tanpa menggunakan SMOTE dapat dilihat pada Gambar 5 dengan TP = 0, TN = 217, FP = 11, dan FN = 0. Melalui confusion matrix tersebut, diperoleh hasil accuracy , precision , recall , dan F1-score dengan menggunakan rumus dari persamaan 3, 4, 5, dan 6. Untuk hasil dengan menggunakan SMOTE terdapat pada Tabel 1 dan tanpa SMOTE pada Tabel 2.
Gambar 4 Confusion Matrix dengan SMOTE
Berdasarkan confusion matrix pada Gambar 4, maka diperoleh hasil yang ditunjukkan pada Tabel 1.
Tabel 1 Hasil Klasifikasi dengan SMOTE Precision Recall F1-Score Support Negatif 98% 87% 92% 217
82 Positif 19% 64% 30% 11 Akurasi 86% 228 Macro AVG 59% 75% 61% 228 Weighted AVG 94% 86% 89% 228 Gambar 5 Confusion Matrix tanpa SMOTE
Berdasarkan confusion matrix pada Gambar 5, maka diperoleh hasil yang ditunjukkan pada Tabel 2.
Tabel 2 Hasil Klasifikasi tanpa SMOTE Precision Recall F1-Score Support Negatif 95% 100% 98% 217 Positif 0% 0% 0% 11 Akurasi 95% 228 Macro AVG 48% 50% 49% 228 Weighted AVG 91% 95% 93% 228
Hasil  evaluasi tanpa menggunakan SMOTE  mendapatkan akurasi sebesar 95 ,175%. Untuk kelas negatif, diperoleh precision sebesar 95%, recall 100%, dan F1-score 98%. Namun, untuk  kelas  positif  nilai presicion , recall ,  dan F1-score semuanya  bernilai  0%.  Setelah penggunaan SMOTE, diperoleh akurasi keseluruhan yang cukup baik yakni 85,526%. Kemudian, untuk kelas negatif memperoleh precision 98%, recall 87%, dan F1-score 92%. Sedangkan untuk kelas positif memperoleh precision 19%, recall 64%, dan F1-score 30%. Dari penjelasan tersebut, dapat  dilihat  bahwa  akurasi  tanpa  metode  SMOTE  lebih  besar  dibandingkan  dengan menggunakan metode SMOTE, namun tanpa menggunakan metode SMOTE terjadi overfitting . Hal ini diakibatkan oleh kelas data yang jumlahnya sangat tidak seimbang, dimana sentimen positif : sentimen negatif = 81 : 1437.

## 4. KESIMPULAN
Berdasarkan hasil penelitian, diperoleh akurasi tanpa menggunakan SMOTE  sebesar 95,175% namun modelnya mengalami overfitting . Sedangkan dengan menggunakan SMOTE diperoleh akurasi sebesar 85,526% tanpa terjadi overfitting . Maka dari itu, dapat disimpulkan bahwa melakukan analisis sentimen menggunakan metode Naive Bayes tetap lebih baik dengan menggunakan SMOTE karena dapat menghindari overfitting dan menghasilkan hasil yang cukup baik, yakni akurasi sebesar 85,526%.

## 5. SARAN
Untuk penelitian selanjutnya dapat melakukan eksperimen dengan algoritma lain, seperti Random Forest , SVM,  atau CNN  untuk membandingkan performanya dengan Naive Bayes .
83
Kemudian, bisa  juga  membandingkan performa SMOTE  dengan teknik oversampling dan undersampling lainnya, seperti Random Undersampling , ADASYN, atau Borderline-SMOTE . Selain itu, bisa juga menggunakan dataset dari platform media sosial lain, seperti X atau tiktok yang sekarang juga sering digunakan.

## DAFTAR PUSTAKA
[1] D. Manuel, Y. Sinurat, D. E. Ratnawati, and D. W. Brata, “Analisis Sentimen Terhadap Kenaikan Cukai Rokok pada Media Sosial Twitter menggunakan Algoritma Naïve Bayes Classifier,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 7, no. 1, pp. 17–25, 2023.
[2] D.  F.  Zhafira,  B.  Rahayudi,  U.  Brawijaya,  and  P.  Korespondensi,  “ANALISIS SENTIMEN KEBIJAKAN KAMPUS MERDEKA MENGGUNAKAN NAIVE BAYES DAN PEMBOBOTAN TF-IDF SENTIMENT ANLAYSIS OF KAMPUS MERDEKA POLICY  USING  NAIVE BAYES  AND  TF-IDF  TERM  WEIGHTING BASED  ON YOUTUBE,” J. Sist. Informasi, Teknol. Informasi, dan Edukasi Sist. Inf. , vol. 2, no. 1, pp. 55–63, 2021.
[3] “Bea Cukai Respons Viral Beli Sepatu Rp10 juta Kena Bea Masuk Rp30 Juta,” CNN , 2024.
[4] P. F. Rahman, “Viral TKW Madura Kena Pajak Rp 360 Juta Usai Bawa Pulang Emas 3 Kg dari Arab,” detikjatim , 2024.
[5] A. W. B. dan Cukai, “Pengertian Bea Masuk,” 2011.
[6] N. A. C. A, D. H. Citra, and W. Purnama, “The Implementation of Naïve Bayes Algorithm for Sentiment Analysis of Shopee Reviews on Google Play Store,” vol. 2, no. 1, pp. 47– 54, 2022.
[7] Y. Nurtikasari, S. Alam, T. I. Hermanto, T. Informatika, S. Tinggi, and T. Wastukancana, “Analisis  Sentimen  Opini  Masyarakat  Terhadap  Film  Pada  Platform  Twitter Menggunakan Algoritma Naive Bayes,” INSOLOGI J. Sains dan Teknol. , vol. 1, no. 4, pp. 411–423, 2022, doi: 10.55123/insologi.v1i4.770.
[8] D. A. Kristiyanti, A. H. Umam, M. Wahyudi, R. Amin, and L. Marlinda, “Comparison of SVM  & Naïve Bayes Algorithm for Sentiment Analysis Toward West Java Governor Candidate Period 2018-2023 Based on Public Opinion on Twitter,” 2018 6th Int. Conf. Cyber IT Serv. Manag. , pp. 1–6, 2023, doi: 10.1109/CITSM.2018.8674352.
[9] B. A. Sitorus, Z. F.  Jailani, and D. Nurmadewi, “SEMEVAL 2017 ASSIGNMENT 4: SENTIMENT ANALYSIS ON TWITTER SEMEVAL,” J. Sci. Res. Dev. , vol. 5, no. 2, pp. 1081–1096, 2023.
[10]  S. M. Chamzah, M. Lestandy, N. Kasan, and A. Nugraha, “Penerapan Synthetic Minority Oversampling  Technique  (  SMOTE  )  untuk  Imbalance  Class  pada  Data  Text Menggunakan KNN,” Syntax J. Inf. , vol. 11, no. 02, pp. 56–67, 2022.
[11]  O. A. Montesinos López, A. Montesinos López, and J. Crossa, Multivariate Statistical Machine Learning Methods for Genomic Prediction . Springer Nature Switzerland AG, 2022. doi: 10.1007/978-3-030-89010-0.
[12]  T. L. Negeri, M. N. Huda, D. A. Fauzan, M. Raihan, S. Putra, and N. Sabila, “Optimalisasi Model Klasifikasi Sentimen Netizen Terhadap Merek Tas Luar Negeri,” J. KomtekInfo , vol. 10, no. 1, pp. 21–27, 2023, doi: 10.35134/komtekinfo.v10i1.360.
[13]  N.  S.  Marga,  A.  R.  Isnain,  and  D.  Alita,  “SENTIMEN  ANALISIS  TENTANG KEBIJAKAN  PEMERINTAH  TERHADAP  KASUS  CORONA  MENGGUNAKAN METODE NAIVE BAYES,” J. Inform. dan Rekayasa Perangkat Lunak , vol. 2, no. 4, pp. 453–463, 2020.
84
[14]  B. Tessem, S. Bjørnestad, W. Chen, and L. Nyre, “Word cloud visualisation of locative information,” J.  Locat.  Based  Serv. ,  vol.  9,  no.  4,  pp.  1–19,  2015,  doi: 10.1080/17489725.2015.1118566.