Vol. 5 No. 2 (Oktober 2021)

## ANALISIS SENTIMEN REVIEW PENJUALAN PRODUK UMKM PADA KABUPATEN NIAS DENGAN KOMPARASI ALGORITMA KLASIFIKASI MACHINE LEARNING
Mawaddah Harahap * , Bintang P. A. Sihombing, Olga A. F. Laia, Bryan T. Saragih, Kuandi Dharma
Fakultas Teknologi dan Ilmu Komputer, Universitas Prima Indonesia, Medan, Indonesia Email: mawaddah@unprimdn.ac.id
DOI: https://doi.org/10.46880/jmika.Vol5No2.pp147-154

## ABSTRACT
Changes in consumer habits in buying and shopping in the era of the covid-19 pandemic have a significant impact, especially on MSME products, but utilizing the sentiment analysis method, is expected to help increase sales. The purpose of the study was to determine how consumers respond to the purchase of MSME products in the NIAS district. The MSME products typical of Nias district which are marketed through social media are grouped into four categories, namely handicraft products, food products, antiques, and musical instrument products. The way this method works is to group datasets in customer comments on Facebook and Instagram, then processed using a  comparison  machine  learning  classification  algorithm  consisting  of  Support  Vector  Machine  (SVM),  Naïve Bayes (NB), K-Nearest Neighbor (KNN), and Artificial Neural Network (ANN) to produce the desired output to increase MSME sales during the Covid-19 period. The source of the dataset is obtained from the sale of MSME products from social media, namely Facebook and Instagram, based on customer comments, training, and testing is carried out based on the dataset through the stages of text pre-processing, feature extraction, 10 folds Cross- Validation  and  evaluation.  The  results  obtained  based  on  the  comparison  results  of  the  Machine  Learning algorithm are that the Under Are Curve (UAC) value in the ANN method is smaller at 0.417 and the SVM method is higher at 0.988. In this case, through the SVM algorithm, more dataset testing can be carried out by adding more sales of MSME products on social media, so that more accurate results can be obtained. Keyword: Support Vector Machine (SVM), Naïve Bayes, K-Nearest Neighbor (KNN), Artificial Neural Network , Covid-19.

## ABSTRAK
Perubahan kebiasaan konsumen dalam membeli dan berbelanja di era pandemi covid-19 berdampak signifikan khususnya  pada  produk  UMKM,  namun  dengan  memanfaatkan  metode  analisis  sentimen  diharapkan  dapat membantu meningkatkan penjualan. Tujuan penelitian untuk mengetahui bagaimana respon konsumen terhadap pembelian produk UMKM di kabupaten NIAS. Produk UMKM khas kabupaten Nias yang dipasarkan melalui media sosial dikelompokkan menjadi empat kategori, yaitu produk kerajinan, produk makanan, barang antik, dan produk alat musik. Cara kerja metode ini adalah dengan mengelompokkan dataset pada komentar pelanggan di Facebook  dan  Instagram,  kemudian  diolah  menggunakan  algoritma  klasifikasi  machine  learning  perbandingan yang terdiri dari Support Vector Machine (SVM), Naïve Bayes (NB), K-Nearest Neighbor (KNN), dan Jaringan Syaraf Tiruan (JST) untuk menghasilkan output yang diinginkan untuk meningkatkan penjualan UMKM selama masa Covid-19. Sumber dataset diperoleh dari penjualan produk UMKM dari media sosial yaitu facebook dan instagram berdasarkan komentar pelanggan, pelatihan, dan pengujian yang dilakukan berdasarkan dataset melalui tahapan  text  pre-processing,  ekstraksi  fitur,  10  kali  lipat  Cross-Validasi  dan  evaluasi.  Hasil  yang  diperoleh berdasarkan hasil perbandingan algoritma Machine Learning diperoleh nilai Under Are Curve (UAC) pada metode JST lebih kecil yaitu sebesar 0,417 dan pada metode SVM lebih tinggi yaitu sebesar 0,988. Dalam hal ini melalui algoritma SVM dapat dilakukan pengujian dataset lebih banyak dengan menambah lebih banyak penjualan produk UMKM di media sosial, sehingga dapat diperoleh hasil yang lebih akurat.
Kata Kunci: Support Vector Machine (SVM), Naïve Bayes, K-Nearest Neighbor (KNN), Jaringan Syaraf Tiruan (JST), Covid-19.
Vol. 5 No. 2 (Oktober 2021)
ISSN: 2620-4339 (media online)

## PENDAHULUAN
Wabah  Virus  Corona  atau  COVID-19 berdampak  signifikan  terhadap  berbagai  lini kehidupan,  termasuk  aktivitas  ekonomi  di  Indonesia. Para pelaku Usaha Kecil Menengah (UKM) berupaya mengantisipasi  penyebaran  COVID-19  di  lingkungan kerja dengan berbagai cara. Salah satunya, mengimbau karyawan untuk bekerja di rumah atau work from home (WFH)  dan  tak  perlu  datang  ke  kantor  hal  ini  sesuai dengan  kebijakan  pemerintah  dengan  diberlakukan social  distancing dan  Pembatasan  Sosial  Berskala Besar  (PSBB),  namun  perubahan  prilaku  konsumen memiliki  dampak  terhadap  pelaku  bisnis  seperti UMKM  yang  mengalami  penurunan  penjualan khususnya UMKM yang masih menggunakan konsep penjualan offline .  Untuk  itu,  pemerintah  telah menerapkan  (lima)  program  yang  termasuk  dalam paket  kebijakan  pemerintah  untuk  UMKM  yaitu bantuan sosial (bansos), insentif perpajakan, relaksasi dan  restrukturiasi  kredit,  perluasan  pembiayaan  dan mendorong  pelaku  bisnis  UMKM  melakukan  inovasi pada  market  baru  (Agustian,  2020;  Santia,  2020), sedangkan  pemerintah  akan  menerapkan  pendekatan konsep marketplace.
Kabupaten  Nias  adalah  salah  satu  pulau  yang terletak  di  Provinsi  Sumatera  Utara  yang  terdiri  dari empat  kabupaten,  yaitu:  Kabupaten  Nias,  Kabupaten Nias  Selatan,  Kabupaten  Nias  Utara,  dan  Kabupaten Nias barat. Yang merupakan 62 daerah tertinggal yang ditetapkan  pada  27  April  2020  oleh  Presiden  Joko Widodo (Admin Kabupaten Nias, 2020). Maka dari itu, penulis  merasa  tertarik  untuk  melakukan  penelitian penjualan  produk  UMKM,  agar  dapat  meningkatkan penjualan  melalui  media  social  berdasarkan  analisis sentiment.
Analisis sentiment adalah penggunaan pemrosesan  bahasa  alami,  analisis  teks,  linguistik komputasi,  dan  biometrik  untuk  mengidentifikasi, mengekstrak,  mengukur,  dan  mempelajari  keadaan afektif  dan  informasi  subjektif  secara  sistematis (Agustian,  2020).  Metode  ini  berfungsi  untuk memahami  dan  mengelompokkan  emosi  (positif, negatif,  dan  netral)  yang  terdapat  dalam  tulisan menggunakan teknik analisis teks, dan biasa terapkan pada  platform  online,  seperti  media  sosial,  e- commerce, dan website (Santia, 2020).
Perubahan kebiasan konsumen dalam membeli serta berbelanja diera pandemic memiliki dampak yang signifikan  (Admin  Dinas  Kominfo  Sumut,  2020), namun  dengan  memanfaatkan  metode  analisis sentiment  diharapkan  dapat  membantu  meningkatkan penjualan UMKM. Tujuan dari penelitian adalah untuk
mengetahui  bagaiman  respon  konsumen  terhadap pembelian  produk  UMKM  pada  kabupaten  NIAS. Karena cara kerja metode ini adalah mengelompokkan data  yang  ada  lalu  diproses  hingga  menghasilkan output  yang  diinginkan  guna  menunjuang  UMKM dimasa Covid-19.
Sebuah  review  barang  berguna  untuk  melihat bagaimana  umpan  balik  pembeli  sebelumnya  melalui sebuah  komentar  positif  atau  negatif.  Komentar pengguna  mengekspresikan  pendapat  mereka  tentang kualitas,  harga,  layanan  dan  kecepatan  pengiriman. Pengguna  belanja  online  sering  menggunakan komentar  dari  pengguna  sebelumnya  ketika  mereka akan  melakukan  pembelian  barang  (Chen,  2012), pengelompokan  review  barang  dari  konsumen dipengaruhi oleh emosi (sentimen) yang dikelompokkan atau diklasifikasikan untuk menentukan  kepolarisasiannya  yaitu  positif  atau negatif (Indriati & Ridok, 2016). Berbasis Long Short Term  Memory  (LSTM)  untuk  mengklasifikasikan opini produk UMKM dengan perbandingan model lain seperti  Naïve  Bayes,  Support  Vector  Machine,  K- Nearest  Neighbor  dan  jaringan  syaraf  tiruan  yang bersumber  pada  dataset  hasil  survey  square  dengan fokus  pada  pemahaman  review  produk  yang diklasifikasikan  untuk  menghasilkan  feedback  positif atau  negative  (Yennimar,  Rizal,  Husein,  &  Harahap, 2019).
Algoritma  klasifikasi  sentimen  seperti  Naïve Bayes (NB), Support Vector Machine (SVM), dan K- Nearest  Neighbor  (KNB),  artificial  neural  network (ANN)  banyak  diusulkan  peneliti  karena  dapat diterapkan diberbagai masalah seperti, rating program televisi (Saifinnuha, 2015), tingkat kepuasan pengguna penyedia  layanan  telekomunikasi  seluler  Indonesia (Rofiqoh,  Perdana,  &  Fauzi,  2017),  tayangan  televisi berdasarkan  opini  masyarakat  (Nurjanah,  Perdana,  & Fauzi, 2017), topik berita (Siringoringo, Jamaluddin, & Perangin-Angin,  2020),  opini  produk  (Hanggara, Akhriza,  &  Husni,  2017),  review  barang  (Haryanto, Muflikhah, & Fauzi, 2018), penilaian pelayanan situs belanja  online  (Muljono,  Artanti,  Syukur,  & Prihandono,  2018),  tinjauan  penjualan  pasar  (Lutfi, Permanasari, & Fauziati, 2018), travel agen (Ernawati & Wati, 2018), dan review hotel (Taufik, 2018).

## METODE PENELITIAN Jenis Penelitian
Penilitian  ini  menggunakan  jenis  penilitian verifikasi  dan  eksperimen  dengan  tujuan  untuk menciptakan pengetahuan baru dari teori” yang sudah ada.  Kerangka  konseptual  merupakan  kerangka
berpikir  mengenai  hubungan  antar  variabel”  yang terlibat  dalam  penilitian  atauhubungan  antar  konsep dengan konsep lainnya dari masalah yang diteliti sesuai dengan  apa  yang  telah  diuraikan  pada  studi kepustakaan.  Konsep  dalam  hal  ini  adalah  suatu abtraksi  atau  gambaran  yang  dibangun  dengan mengeneralisasikan  suatu  penilitian  oleh  karena  itu konsep tidak dapat diamati dan diukur secara langsung.
Pada  tahap  ini  dilakukan  pengumpulan  data penjualan  produk  UMKM  pada  media  social  yaitu Facebook dan Instagam yang  berasal  dari  daerah kabupaten  Nias,  Kabupaten  Nias  Utara,  Kabupaten Nias  Selatan,  dan  Kabupaten  Nias  Barat.  Adapun produk UMKM khas kabupaten Nias yang dipasarkan melalui  media  social  dikelompokkan  kedalam  empat kategori,  yaitu  produk  kerajinan  tangan,  produk makanan, barang antik dan produk alat musik.
Melalui analisi Berdasarakan penjualan produk UMKM  yang  dilakukan  pada  media  sosialCara  kerja metode  ini  adalah  mengelompokkan  data  yang  ada pada  komentar  pelanggan  pada  Media  Sosial,  lalu diproses menggunakan komparasi algoritma Klasifikasi Machine Learning yang terdiri dari Support Vector Machine (SVM), Naïve Bayes (NB), K-Nearsrt Neighbor (KNN) dan Artificial Neural Network (ANN) hingga  menghasilkan  output  yang  diinginkan  guna menigkatkan  penjualan  UMKM  dimasa  Covid-19. Sumber dataset diperoleh dari penjulan produk UMKM dari  media  social  yaitu  facebook  dan  Instagram, berdasarkan  komentar  pelanggan  tersebut  dilakukan pelatihan  dan  pengujian  berdasarkan  dataset  melalui tahapan text pre-pocessing, feature Extraction, 10 folds Cross Validation dan evaluasi.

## Prosedur Kerja
Berikut  ini  adalah  prosedur  kerja  yang dilakukan dalam penelitian:
1. Tahap persiapan. Aktifitas penelitian dititikberatkan pada menentukan  topik,  identifikasi  dan  perumusan masalah, menentukan tujuan penelitian, menentukan batasan dan metodologi penelitian.
2. Studi Pustaka Tahapan  studi  pustaka  digunakan  untuk  mencari informasi  referensi  mengenai  analisis  sentimen, topik  terkait  objek  penelitian,  metode  machine learning  dan  literatur  terkait  metode  yang diusulkan.
3. Pengumpulan Data Pada  tahapan  ini  akan  dilakukan  proses pengumpulan  data  produk  UMKM  pada  media sosial.
4. Tahapan Perancangan. Pada tahap ini dilakukan perancangan Media sosail yang akan dijadikan sebagai media pemasaran dan promosi produk-produk UMKM.
5. Tahapan  Analisis  Sentimen,  meliputi  beberapa tahapan, yaitu
a. Tahapan Proses ambil data produk UMKM dari sumber komentar pelanggan pada media social: Instagram, Facebook.
b. Tahapan  pre-processing  terdiri  dari  beberapa tahapan yaitu:
1. Tokenize merupakan proses untuk memisah- misahkan  kata.  Potongan  kata  tersebut disebut dengan token atau term
2. Filter  Token  merupakan  proses  mengambil kata-kata penting dari hasil token.
3. Stem  yaitu  proses  pengubahan  bentuk  kata menjadi  kata  dasar.  Metode  pengubahan bentuk  kata  menjadi  kata  dasar  ini menyesuaikan struktur bahasa yang digunakan dalam proses stemming.
4. Filter stopwords adalah proses menghilangkan  kata-kata  yang  sering muncul  namun  tidak  memiliki  pengaruh apapun  dalam  ekstraksi  sentimen  suatu review.  Kata  yang  termasuk  seperti  kata penunjuk waktu, kata tanya.
c.  Feature  Extraction  yaitu  tahapan  membuat pengklasifikasi lebih efisien dengan mengurangi  jumlah  data  yang  dianalisa, sedangkan  pembobotan  untuk  mengetahui polaritas dari target opini tersebut (positif atau negatif).  Selain  itu,  pemberian  bobot  terhadap target  opini  juga  bertujuan  untuk  merangking fitur  produk,  sehingga  dapat  diketahui  fitur produk apa yang paling disukai dan paling tidak disukai oleh customer
d. Analisa Algoritma Klasifikasi Machine Learning yaitu  tahapan  analisa  metode  yang  digunakan untuk menganalisa akurasi hasil review produk algoritma  klasifikasi  machine  learning  yaitu metode Support Vector Machine (SVM).
6.  Interprestasi  Hasil  merupakan  tahapan  evaluasi untuk  menghitung  nilai  akurasi  dan  nilai  Area Under Curve (AUC).
7.  Tahap  Implementasi  dan  Pengujian.  Tahap  ini dimaksudkan  sebagai  langkah  pengujian  kinerja program aplikasi.
8. Tahap penyelesaian. Tahap dimana catatan kegiatan dan hasil penelitian didokumentasikan.
Vol. 5 No. 2 (Oktober 2021)
ISSN: 2620-4339 (media online)

## Kerangka Metode Yang Diusulkan
Gambar 1. Kerangka Metode Yang Diusulkan
Cara kerja metode ini adalah mengelompokkan dataset  yang  ada  pada  komentar  konsumen  pada Facebook dan Instagam ,  berdasarkan  komentar pelanggan tersebut dilakukan pelatihan dan pengujian berdasarkan dataset melalui tahapan text pre-pocessing, feature  Extraction,  10  folds  Cross  Validation  dan
evaluasi.  Lalu  diproses  menggunakan  komparasi algoritma  Klasifikasi  Machine  Learning  yang  terdiri dari  Support  Vector  Machine  (SVM),  Naïve  Bayes (NB), K-Nearsrt Neighbor (KNN) dan Artificial Neural Network  (ANN)  hingga  menghasilkan  output  yang
Tokenizer Filter Token
Stem (Porter) Filter Stop words Text Pre-processing TF-IDF (Max Feature (%) = 25, 50, 75, 100) Pembobotan Fitur Feature Extraction Data Training Naïve Bayes (NB) Support Vector Machine
(SVM) K-Nearest Neighbor (KNB)
Artificial Neural Network (ANN) Klasifikasi 10 Folds Cross Validation Testing Accuracy UAC Evaluasi Accuracy
GoPalutaStore.com ukmkotamedan.com goukm.id ukmonline.co.id Database Crawler (ambil data dari website ukm)
Vol. 5 No. 2 (Oktober 2021)
diinginkan  guna  meningkatkan  penjualan  UMKM dimasa Covid-19.
Tahapan  yang  dilakukan    adalah  melakukan klasifikasi  komentar  pengunjung  berdasarkan  produk yang  ada  di Facebook dan Instagam ,  Kemudian membuat  kerangka  analisis  pengujian.  Peneliti mengusulkan  komparasi  4  (empat)  algoritma klasfiikasi (SMV, NB, KNB dan ANN). Pada Gambar 1  menunjukkan  komparasi  algoritma  klasifikasi  yang diusulkan.  Sebelum  dilakukan  komparasi,  dataset dilakukan  text  processing  terlebih  dahulu.  Text processing  bertujuan  untuk  mempersiapkan  dokumen teks  yang  tidak  terstruktur  menjadi  data  terstruktur yang siap digunakan untuk proses selanjutnya. Tahapan text processing meliputi:
a. Tokenize  merupakan  proses  untuk  memisah- misahkan  kata.  Potongan  kata  tersebut  disebut dengan token atau term.
b. Filter  Token  merupakan  proses  mengambil  kata- kata penting dari hasil token.
c. Stem yaitu proses pengubahan bentuk kata menjadi kata  dasar.  Metode  pengubahan  bentuk  kata menjadi  kata  dasar  ini  menyesuaikan  struktur bahasa yang digunakan dalam proses stemming.
d. Filter  stopwords  adalah  proses  menghilangkan kata-kata yang sering muncul namun tidak memiliki pengaruh  apapun  dalam  ekstraksi  sentimen  suatu review. Kata yang termasuk seperti kata penunjuk waktu, kata tanya.
Pada  pelatihan  dataset,  dilakukan  klasifikasi yang terdiri dari:
a.  K-Fold Cross Validation
K Fold Cross Validation adalah salah satu metode cross validation yang digunakan untuk menghitung akurasi prediksi suatu sistem. Data dibagi menjadi k  segmen  yang  memiliki  rasio  yang  sama  atau hampir sama. Pelatihan terhadap data dan validasi sebanyak  k  kali  dengan  setiap  percobaan mengambil  satu  segmen  berbeda  sebagai  data  tes atau validasi dan k-1 segmen lainnya sebagai data latih untuk diambil rata-rata dari hasil tiap iterasi (L. Liu & Özsu, 2009).
b.  Support Vector Machine Support  Vector  Machine  (SVM)  adalah  sebuah sistem  pembelajaran  yang  menggunakan  ruang hipotesis  berupa  fungsi-fungsi  linear  dalah  ruang fitur (fitur space) berdimensi tinggi, dilatih dengan algoritma  pembelajaran  berdasarkan  pada  teori optimasi  dengan  mengimplementasikan  learning bias  yang  berasal  dari  teori  pembelajaran  statistik (Ulwan, 2016).
c.  TF-IDF  (Term  Frequency  –  Inverse  Document Frequency)
Algoritma  TF-IDF  (Term  Frequency  –  Inverse Document Frequency) adalah salah satu algoritma yang dapat digunakan untuk menganalisa hubungan antara  sebuah  frase/kalimat  dengan  sekumpulan dokumen.  Inti  utama  dari  algoritma  ini  adalah melakukan perhitungan nilai TF dan nilai IDF dari sebuah  setiap  kata  kunci  terhadap  masing-masing dokumen.  Nilai  TF  dihitung  dengan  rumus  TF  = jumlah frekuensi kata terpilih / jumlah kata dan nilai IDF  dihitung  dengan  rumus  IDF  =  log  (jumlah dokumen/jumlah frekuensi kata terpilih). Selanjutnya  adalah  melakukan  perkalian  antara nilai TF dan IDF untuk mendapatkan jawaban akhir (Ulwan, 2016). d.  Analisis Sentimen
Klasifikasi sentimen digunakan untuk menyelesaikan  masalah  klasifikasi  dua  kelas, positif dan negatif. Data pengujian yang digunakan biasanya  adalah  ulasan  produk  secara  online. Karena ulasan online memiliki nilai penilaian yang ditetapkan  oleh  para  peneliti.  Sebagian  besar makalah penelitian tidak menggunakan kelas netral, dengan  tujuan  agar  memudahkan  masalah klasifikasi,  namun  juga  tidak  jarang  peneliti  yang menggunakan  kelas  netral,  misalnya  penggunaan peringkat  bintang  tiga  sebagai  kelas  netral (Informatikalogi Team, 2016)
e.  Machine Learning
Machine learning adalah suatu area dalam artificial intelligence yang berhubungan dengan
penggembangan teknik-teknik yang bisa diprogramkan  dan  belajar  dari  data  masa  lalu. Machine  learning  sebagai  alat  analisis  dalam  data mining (B. Liu, 2012).

## Dataset
Adapun penjualan produk UMKM berasal dari daerah  khas  kabupaten  Nias  yang  dipasarkan  melalui media social, dikelompokkan kedalam empat kategori, yaitu  produk  kerajinan  tangan,  produk  makanan, barang antik dan produk alat musik.

## Kategori Produk Kerajinan Tangan
Gambar 2. Kategori Produk Kerajinan Tangan
Vol. 5 No. 2 (Oktober 2021)
ISSN: 2620-4339 (media online)
Kategori Makanan Produk Khas Nias
Gambar 3 . Kategori Makanan Produk Khas Nias
Kategori Barang Antik Produk Khas Nias
Gambar 4. Kategori Barang Antik Produk Khas Nias
Kategori Alat Musik Khas Nias
Gambar 5 . Kategori Alat Musik Khas Nias
Kategori Pakaian Adat Nias Dan Ornamen Nias
Gambar 6 . Kategori Pakaian Adat Nias Dan Ornamen Nias
HASIL DAN PEMBAHASAN Pada penelitian Komparasi Algoritma
Klasifikasi Machine Learning Pada Analisis Sentimen penjualan  Produk  UMKM  Kabupaten  Nias,  tahapan yang dilakukan adalah melakukan klasifikasi komentar pengujung berdasarkan produk yang ada di Facebook dan Instagram kemudian  penulis  membuat  kerangka analisis  pengujian.  Peneliti  mengusulkan  untuk mengkomparasi 4 (empat) algoritma klasfiikasi (SVM, NB,  KNN  dan  ANN).  Pengujian  dilakukan  dengan menggunakan spesifikasi CPU Intel Core i7 1.8 GHz, RAM 16 GB, dan sistem operasi Microsoft Windows 10  Home  64-bit,  pada  tabel  1  merupakan  hasil klasifikasi  perbandingan  metode  yang  diusulkan  dan gambar 7 Grafik Perbandingan.
Tabel 1. Hasil Perbandingan Klasifikasi Method Accuracy Precision Recall TP Rate TN rate NB 87.00 78.00 80.00 86.00 82.00 SVM 92.00 95.00 82.00 84.00 91.00 KNN 64.00 94.00 73.00 62.00 62.00 ANN 65.00 62.00 58.00 78.00 74.00
Gambar 7. Grafik Komparasi Algoritma Machine Learning
Tabel 2. Hasil Komparasi Algoritma Machine Learning Metode UAC NB 0.867 SVM 0.988
KNN 0.609
ANN 0.429 87, 00 78, 00 80, 00 86, 00 82, 00 92, 00 95, 00 82, 00 84, 00 91, 00 64, 00 94, 00 73, 00 63, 00 63, 00 65, 00 62, 00 58, 00 78, 00 74, 00 A C C U R A C Y P R E C I S I O N R E C A L L T P   R A T E T N   R A T E NB SVM KNN ANN
ISSN: 2620-4339 (media online)
Gambar 8. Grafik UAC Komparasi Algoritma Machine Learning
Adapun hasil yang diperoleh berdasarkan Table 1  merupakan  hasil  komparasi  Klasifikasi  algoritma Machine  Learning  berdasarkan  nilai  akurasi,  presisi, recall,  TP  rate  dan  TN  rate,  dimana  metode  SVM menghasilkan  nilai  tertinggi  dibandingkan  dengan metode  lainnya,  sedangkan  ANN  menghasilkan  nilai paling  rendah.  Penerapan  metode  untuk  klasifikasi analisis  sentimen  memiliki  tingkat  ketergantungan pada  dataset  pelatihan  dan  pengujian.  Pada  table  2 komparasi  algoritma  machine  Learning  dengan  nilai Under Are Curve (UAC) pada metode ANN lebih kecil sebesar  0.429  dan  metode  SVM  lebih  tinggi  sebesar 0.988.  Dalam  hal  ini  melalui  algoritma  SVM  dapat dilakukan pengujian dataset yang lebih banyak dengan menambahkan penjualan produk UMKM pada Media Sosial leboh banyak lagi, sehingga dapat memperoleh hasil yang lebih akurat.

## KESIMPULAN
Berdasarkan hasil pengujian komparasi metode Naïve  Bayes  (NB),  Support  Vector  Machine  (SVM), dan  K-Nearest  Neighbor  (KNN),  Artificial  Neural Network  (ANN)  untuk  klasifikasi  analisis  sentimen penjualan produk UMKM Kabupaten Nias menghasilkan  tingkat  akurasi  sebesar  96%  dan  0.9 UAC  pada  metode  SVM,  namun  karena  keterbatasan sumber data pelatihan dan pengujian sangat tergantung untuk menghasilkan akurasi yang lebih baik.

## DISEMINASI
Artikel  ini  telah  diseminasikan  pada  Seminar Nasional  Inovasi  &  Informatika  (SNIIf  2021)  yang diselenggarakan  oleh  Fakultas  Ilmu  Komputer Universitas  Methodist  Indonesia  pada  tanggal  23  Juli 2021.

## DAFTAR PUSTAKA
Admin Dinas Kominfo Sumut. (2020). Pemprov Sumut akan Siapkan Aplikasi Marketplace untuk UMKM. Https://Diskominfo.Sumutprov.Go.Id/ . Admin Kabupaten Nias. (2020). 4 Daerah kepulauan Nias di Tetapkan sebagai daerah teringgal tahu 2020-2024. Niaskab.Go.Id . Agustian, W. (2020). 5 Upaya Pemerintah Selamatkan UMKM di Tengah Covid-19. Okezone.Com . Retrieved from https://economy.okezone.com/read/2020/05/06/ 320/2210013/5-upaya-pemerintah-selamatkan- umkm-di-tengah-covid-19 Chen, H. (2012). The impact of comments and recommendation system on online shopper buying behaviour. Journal of Networks , 7 (2),
345.
Ernawati, S., & Wati, R. (2018). Penerapan Algoritma K-Nearest Neighbors Pada Analisis Sentimen Review Agen Travel. Jurnal Khatulistiwa Informatika , 6 (1), 64–69. https://doi.org/10.31294/jki.v6i1.3802 Hanggara, S., Akhriza, T. M., & Husni, M. (2017). Aplikasi Web Untuk Analisis Sentimen Pada Opini Produk Dengan Metode Naive Bayes Classifier. Prosiding Seminar Nasional Inovasi Dan Aplikasi Teknologi Di Industri (SENIATI 2017) , A33-1.
Haryanto, D. J., Muflikhah, L., & Fauzi, M. A. (2018).
Analisis sentimen review barang berbahasa Indonesia dengan metode support vector machine dan query expansion. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer , 2 (9), 2909–2916. Indriati, I., & Ridok, A. (2016). SENTIMENT ANALYSIS FOR REVIEW MOBILE APPLICATIONS USING NEIGHBOR METHOD WEIGHTED K-NEAREST NEIGHBOR (NWKNN). Journal of Enviromental Engineering and Sustainable Technology , 3 (1), 23–32.
https://doi.org/10.21776/ub.jeest.2016.003.01.4 Informatikalogi Team. (2016). Pembobotan Kata atau Term Weighting TF-IDF.
Liu, B. (2012). Sentiment Analysis and Opinion Mining . California: Morgan & Claypool Publishers. Liu, L., & Özsu, M. T. (2009). Encyclopedia of database systems (6th ed.). Springer. Lutfi, A. A., Permanasari, A. E., & Fauziati, S. (2018).
Sentiment Analysis in the Sales Review of Indonesian Marketplace by Utilizing Support Vector Machine. Journal of Information Systems Engineering and Business Intelligence , 4 (1), 57–64. Muljono, M., Artanti, D. P., Syukur, A., &
Prihandono, A. (2018). Analisa Sentimen Untuk Penilaian Pelayanan Situs Belanja Online Menggunakan Algoritma Naïve Bayes.
0,87 0,99 0,61 0,43 0,00 0,20 0,40 0,60 0,80 1,00 1,20 NB SVM KNN ANN
Vol. 5 No. 2 (Oktober 2021)
Konferensi Nasional Sistem Informasi (KNSI) 2018 , 165–170. Nurjanah, W. E., Perdana, R. S., & Fauzi, M. A.
(2017). Analisis Sentimen Terhadap Tayangan Televisi Berdasarkan Opini Masyarakat pada Media Sosial Twitter menggunakan Metode K- Nearest Neighbor dan Pembobotan Jumlah Retweet. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer , 1 (12), 1750– 1757. Rofiqoh, U., Perdana, R. S., & Fauzi, M. A. (2017). Analisis sentimen tingkat kepuasan pengguna penyedia layanan telekomunikasi seluler indonesia pada twitter dengan metode Support Vector Machine dan Lexicon Based Features. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer , 1 (12), 1725–1732. Saifinnuha, A. Z. (2015). Penerapan Sentimen Analisis Pada Twitter Berbahasa Indonesia Untuk Mendapatkan Rating Program Televisi Menggunakan Metode Support Vector Machine . Universitas Brawijaya. Santia, T. (2020). 5 Kebijakan Menkop Atasi Masalah UMKM di Masa Pandemi Corona. Liputan6.Com . Retrieved from https://www.liputan6.com/bisnis/read/4283318/ 5-kebijakan-menkop-atasi-masalah-umkm-di- masa-pandemi-corona Siringoringo, R., Jamaluddin, & Perangin-Angin, R. (2020). Pemodelan Topik Berita Menggunakan Latent Dirichlet Allocation dan K-Means Clustering. Jurnal Informatika Kaputama (JIK) , 4 (2), 216–222.
Taufik, A. (2018). Komparasi Algoritma Text Mining Untuk Klasifikasi Review Hotel. Jurnal Teknik Komputer , 4 (2), 112–118. Ulwan, M. N. (2016). Pattern Recognition pada Unstructured Data Teks Menggunakan Support Vector Machine dan Association . Universitas Islam Indonesia. Yennimar, Rizal, R. A., Husein, A. M., & Harahap, M. (2019). Sentiment analysis for opinion IESM product with recurrent neural network approach based on long short term memory. 2019
International Conference of Computer Science and Information Technology (ICoSNIKOM) , 1– 4. https://doi.org/10.1109/ICoSNIKOM48755.201
9.9111516