JURNAL GAUSSIAN, Volume 11, Nomor 4, Tahun 2022, Halaman 580 - 590 Online di: https://ejournal3.undip.ac.id/index.php/gaussian/

## ANALISIS SENTIMEN PENERAPAN PPKM PADA TWITTER MENGGUNAKAN
NAÏVE BAYES CLASSIFIER DENGAN SELEKSI FITUR CHI-SQUARE
Pualam Wahyu Ratiasasadara 1* , Sudarno 2 , Tarno 3
1,2,3 Departemen Statistika, Fakultas Sains dan Matematika, Universitas Diponegoro 2 *e-mail : pualamwr@gmail.com
DOI: 10.14710/j.gauss.11.4.580-590
Article Info: Received: 2022-09-02 Accepted: 2022-11- 21 Available Online: 2023-02-25

## Keywords:
PPKM; Twitter; Sentiment Analysis; Naïve Bayes Classifier; Featured Selection Chi- Square.
Abstract: Dissemination of information related to the implementation  of  PPKM  takes  place  very  quickly,  especially  on social  media  networks.  Positive  and  negative  news  certainly  has  an impact  on  public  opinion  or  sentiment  on  the  implementation  of PPKM.  Sentiment  analysis  is  needed  to  determine  behavior  or opinions  in  the  form  of  reviews,  ratings, or tendencies  of  the  author towards a particular topic. In this study, the data used is public opinion on Twitter social media with the keyword "PPKM" from November 2, 2021 to November 8, 2021 and obtained data as many as 12,616 tweets which  then  deleted  duplicate  data  to  become  6,465  data.  Data classification  was  performed  using  Naïve  Bayes  with  Chi-Square feature selection and the data were classified into positive and negative classes.  The  results  of  the  classification  performance  using  Nave Bayes with Chi-Square feature selection obtained an accuracy of 83% which  means  that  the  Nave  Bayes  classification  model  with  Chi- Square feature selection is quite effective in classifying public opinion on the implementation of PPKM

## 1. PENDAHULUAN
Pandemi Covid-19 menyebabkan perubahan perilaku masyarakat. Perubahan tersebut didukung  dengan  kemajuan  teknologi  komunikasi  yang  membuat  pengguna  media  sosial meningkat. Informasi yang sedang banyak dibicarakan di tengah pandemi Covid-19 adalah penerapan PPKM. Hal tersebut dapat mendorong persebaran informasi dengan cepat melalui media sosial terutama Twitter. Twitter merupakan platform yang memuat sebuah informasi berupa tweets yang terdiri dari 280 karakter (Twitter, 2019). Diperkirakan Indonesia menjadi negara  dengan  pertumbuhan  pengguna  harian  aktif  Twitter  paling  banyak  berdasarkan laporan finansial Twitter kuartal ke-3 tahun 2019 (Twitter, 2019). Berdasarkan pernyataan di atas, penulis akan meneliti bagaimana opini masyarakat di media sosial Twitter terhadap penerapan PPKM dengan analisis sentimen.
Penelitian ini melakukan klasifikasi opini pengguna Twitter ke sentimen positif dan sentimen  negatif.  Pengklasifikasian  dilakukan  menggunakan  metode Naïve  Bayes dengan seleksi  fitur Chi-Square .  Algoritma  NBC  merupakan  metode  klasifikasi  yang  popular digunakan untuk keperluan data mining karena algoritma NBC memiliki waktu pemrosesan singkat, mudah diimplementasikan, strukturnya cukup sederhana, serta memiliki efektifitas yang  tergolong  tinggi  (Firmansyah  &  Puspitasari,  2021).  Seleksi  fitur  berfungsi  dalam mereduksi fitur yang kurang relevan pada proses klasifikasi oleh NBC. Penyeleksian fitur Chi-Square dilakukan dengan cara mengurutkan setiap fitur berdasarkan hasil seleksi fitur Chi-Square dari nilai yang terbesar hingga nilai yang terkecil (Ling et al ., 2014).
Berdasarkan  hal  tersebut,  penelitian  pada  analisis  sentimen  mengenai  penerapan PPKM akan dilakukan menggunakan metode klasifikasi Naïve Bayes dengan seleksi fitur Chi-Square . Penelitian tersebut menggunakan data tweets opini masyarakat  yang terdapat pada media sosial Twitter dengan topik penerapan PPKM

## 2. TINJAUAN PUSTAKA
Analisis  sentimen  merupakan  sebuah  proses  dalam  menentukan  sentimen  serta mengelompokkan  polaritas  teks  pada  dokumen  maupun  kalimat  sehingga  kategori  dapat ditentukan sebagai sentimen bernilai positif maupun negatif. Tujuan dari analisis sentimen yaitu untuk menentukan perilaku atau opini berupa ulasan, penilaian, atau kecenderungan dari penulis terhadap suatu topik tertentu (Basari et al ., 2013).
PPKM  merupakan  singkatan  dari  Pemberlakuan  Pembatasan  Kegiatan  Masyarakat. PPKM merupakan sebuah istilah yang digunakan oleh pemerintah pada awal tahun 2021. Mulanya, kebijakan PPKM ini berlaku pada 11 januari 2021 sampai 25 januari 2021 yang mencakup  wilayah  DKI  Jakarta  serta  23  Kabupaten/Kota  di  enam  provinsi  dengan  status resiko penyebaran tinggipenyebaran Covid-19. Karena dianggap belum efektif, oleh karena itu  Presiden  Joko  Widodo  mengumumkan  PPKM  dengan  kategori  level  1  sampai  4  dan berlaku mulai 26 Juli 2021.
Twitter Crawling merupakan  proses  penambangan  data  dalam  jumlah  besar  dengan cepat  berdasarkan  kata  kunci  (Suharno  &  Listiyoko.,  2018).  Twitter  menyediakan Application Programming Interface (API) yang memungkinkan pengguna dapat mengakses informasi dari Twitter dengan cakupan yang luas. Untuk melakukan hal tersebut, pengguna Twitter haru memiliki API Key, API Secret, Access Token, dan Access Token Secret . Text  Mining merupakan    proses  pengambilan  informasi  secara  intensif  yang  bekerja dengan alat dan teknik tertentu dalam menganalisis suatu kumpulan dokumen teks (Feldman & Sanger., 2007). Text mining juga dipergunakan dalam mendeskripsikan sebuah teknologi yang mampu menganalisis data teks semi terstruktur maupun tidak terstruktur (Firdaus & Firdaus., 2021).
Pre-processing data merupakan tahap  awal  dalam  mentransformasikan  data  masukan menjadi data dengan struktur yang sesuai serta siap untuk diproses (Aditya et al ., 2015). Pre- processing sangat penting dalam analisis sentimen, terutama dalam sebuah platform  yang sebagian besar berisi kata atau kalimat yang tidak formal, tidak terstruktur, serta memiliki noise yang cukup besar (Mujilahwati., 2016).
Proses  pelabelan  dokumen  teks  pada  penelitian  ini  menggunakan  metode sentiment scoring dengan memakai tiga kamus yaitu kamus sentimen, kamus boosterwords , dan kamus negasi.  Kamus  sentimen  merupakan  kamus  yang  berisikan  sebuah  kata  yang  telah  diberi bobot dengan bobot 1 sampai -5, dan -1 sampai -5. Kamus boosterwords merupakan kamus yang berisikan kata yang mamu meningkatkan maupun mengurangi intensitas sentimen kata disebelahnya. Kamus negasi merupakan kamus yang berisikan kata yang dapat mengubah makna dari sebuah opini.
Stopwords  removal bertujuan  untuk  menghilangkan  kata-kata  irelevan  atau  tidak berpengaruh  dalam  proses  analisis  sentimen.  Kata  yang  dimaksud  yaitu  kata  yang  sering keluar namun dianggap tidak penting (Khosmah & Aribowo., 2020).
Stemming yaitu  tahapan  mengubah  kata  berimbuhan  menjadi  kata  dasar,  yaitu  dapat dilakukan  dengan  cara  membuang  sisipan,  imbuhan  dan  akhiran  (Agastya.,  2018).  Tahap stemming pada  penelitian  ini  menggunakan package “katadasaR”  yang  ditulis  ulang  oleh Nurandi dalam bahasa R yang berawal dari algoritma Nazief dan Adriani. Algoritma Nazief dan Adriani merupakan algoritma stemming untuk teks berbahasa Indonesia yang memiliki kemampuan persentase keakuratan lebih baik dari algoritma lainnya (Wardani & Nugraha., 2020).
Seleksi fitur atau pemilihan kata dilakukan untuk mereduksi fitur yang kurang relevan dalam  proses  klasifikasi Naïve  Bayes .  Penyeleksian  fitur Chi-Square dilakukan  dengan membentuk  sebuah  peringkat  dari  setiap  fitur  berdasarkan  nilai Chi-Square dari  yang tertinggi hingga terendah ( Ling et al ., 2014). Perhitungan nilai Chi-Square pada setiap kata
t yang muncul pada setiap kelas c dapat dibantu dengan menggunakan Tabel Kontingensi pada Tabel 1.
Tabel 1. Tabel Kontingensi Perhitungan Nilai Chi-Square KATA KELAS c 𝑐 ∗ t A B 𝑡 ∗ C D
Nilai yang terdapat pada Tabel 4 merupakan nilai frekuensi observasi dari suatu kata terhadap kelas dengan keterangan sebagai berikut:
A = banyaknya dokumen pada kelas c yang memuat kata t .
B = banyaknya dokumen yang tidak ada di kelas c namun memuat kata t . C = banyaknya dokumen yang ada di kelas c namun tidak memuat kata t . D
= banyaknya dokumen yang tidak ada di kelas c dan tidak memuat kata t .
Pada tahap ini, tiap kata yang diperoleh dihitung menggunakan Persamaan (1):
𝑋 (𝑡,𝑐) 2 = 𝑁(𝐴𝐷−𝐶𝐵) 2 (𝐴+𝐶)(𝐵+𝐷)(𝐴+𝐵)(𝐶+𝐷) (1)
t merupakan term atau kata. c merupakan kelas sentimen dan N merupakan jumlah seluruh data pada dokumen teks.
Pembobotan  kata  ( term )  bertujuan  untuk  memberikan  bobot  pada  setiap  kata  ( term ) sehingga dapat memudahkan proses klasifikasi (Nurjannah et al ., 2013). Pembobotan kata pada penelitian ini menggunakan metode term frequency-inverse document frequency (TF- IDF)  dengan  menggunakan  modul scikit-learn . Term  Frequency merupakan  perhitungan pembobotan term dengan cara menghitung frekuensi kata ( term ) tertentu yang muncul dalam suatu dokumen. Inverse document frequency digunakan untuk mengurangi bobot dari kata ( term )  yang  frekuensinya  terlalu  tinggi  dalam  berbagai  dokumen.  Dalam TfidfVectorizer terdapat  beberapa  parameter  untuk  diatur,  seperti smooth_idf dan norm .  Penelitian  ini menggunakan smooth_idf = True , sehingga bobot Inverse document frequency (IDF) dapat dihitung dengan Persamaan (2):
𝑖𝑑𝑓 𝑡,𝑑 =   𝑡𝑓 𝑡,𝑑 𝑥  [ln ( 𝑁 + 1 𝑑𝑓 𝑡 + 1 ) + 1] (2)
𝑖𝑑𝑓 𝑡, adalah inverse document frequency . 𝑡𝑓 𝑡, adalah term frequency , N adalah jumlah seluruh dokumen dan 𝑑𝑓 𝑡 jumlah dokumen yang mengandung kata/ term t . Ide dalam menambahkan nilai  satu  pada  rumus  tersebut  yaitu  agar  kata  yang  muncul  di  setiap  dokumen  tidak sepenuhnya  diabaikan.  Sehingga,  perhitungan  ( Term  frequency-inverse  document frequency ) TF-IDF dengan modul scikit-learn dapat dihitung dengan menggunakan dengan Persamaan (3):
𝑊 𝑡,𝑑 = 𝑖𝑑𝑓 𝑡,𝑑 √∑ 𝑖𝑑𝑓 2 𝑡,𝑑 𝑛 𝑑=1 (3)
𝑊 𝑡,𝑑 merupakan term frequency-inverse document frequency , 𝑖𝑑𝑓 𝑡,𝑑 merupakan nilai Inverse Document frequency , dan ∑ 𝑖𝑑𝑓 2 𝑡,𝑑 𝑛 𝑑=1 merupakan jumlah nilai IDF pada dokumen ke d .
Algoritma Naϊve  Bayes  Class ifier  merupakan  metode  klasifikasi  yang  populer digunakan untuk keperluan data mining karena algoritma Naïve Bayes Classifier memiliki waktu pemrosesan singkat, mudah diimplementasikan, strukturnya cukup sederhana, serta memiliki tingkat efektifitas yang tergolong tinggi (Firmansyah & Puspitasari., 2021). Naïve Bayes Classifier didasarkan pada teorema Bayes , yaitu mengacu pada konsep probabilitas bersyarat  (Rodiyansyah  &  Winarko.,  2013).  Teorema Bayes secara  umum  menggunakan Persamaan (4):
𝑃(𝐻|𝑋) = 𝑃(𝑋|𝐻)𝑃(𝐻) 𝑃(𝑋) (4)
𝑋 merupakan kelas hasil klasifikasi, 𝐻 merupakan data yang label kelasnya tidak diketahui, 𝑃(𝐻|𝑋) merupakan probabilitas hipotesis H berdasarkan kondisi X ( probabilitas posterior ), 𝑃(𝐻) merupakan  probabilitas  hipotesis  H  ( probabilitas  prior ), 𝑃(𝑋|𝐻) merupakan probabilitas X berdasarkan kondisi pada hipotesis H , dan 𝑃(𝑋) merupakan probabilitas X .
Multinomial Naïve Bayes merupakan pengembangan dari Naïve Bayes Classifier yang cocok  digunakan  untuk  klasifikasi  teks  (Manning et  al .,  2019).  Kategori  dokumen  pada klasifikasi Multinomial Naïve Bayes tidak ditentukan hanya berdasarkan kata yang muncul saja, namun berdasarkan jumlah kemunculannya. Pada saat proses pengklasifikasian teks, maka  pendekatan Bayes akan  memilih  kategori  yang  memiliki  probabilitas  paling  tinggi ( 𝐶 𝑀𝐴𝑃 ) menggunakan Persamaan (5):
𝐶 𝑀𝐴𝑃 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑐𝜖𝐶 𝑃(𝐶 𝑗 )𝑃(𝑑|𝐶 𝑗 ) 𝑃(𝑑) (5)
𝐶 𝑗 merupakan kategori dokumen yang akan diklasifikasikan, 𝑃(𝐶 𝑗 ) merupakan probabilitas dari kategori teks 𝐶 𝑗 , dan d merupakan banyaknya dokumen pada data pembelajaran. Nilai 𝑃(𝑑) dapat diabaikan karena nilainya adalah konstan untuk semua 𝐶 𝑗 . Sehingga persamaan 𝐶 𝑀𝐴𝑃 dapat ditulis dengan Persamaan (6):
𝐶 𝑀𝐴𝑃 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑐𝜖𝐶 𝑃(𝐶 𝑗 )𝑃(𝑑|𝐶 𝑗 ) (6)
Probabilitas 𝑃(𝐶 𝑗 ) dapat  diestimasi  dengan  menghitung  jumlah  dokumen  training  pada setiap kategori 𝐶 𝑗 . Sedangkan untuk menghitung distribusi dokumen pada tiap kelas, 𝑃(𝑑|𝐶 𝑗 ) tidak  dapat  secara  langsung  ditentukan.  Diasumsikan  bahwa  sebuah  dokumen  terdiri  dari unit yang lebih kecil, biasanya merupakan kumpulan dari kata (f1, f2, f3, …) (Fanissa et al ., 2018).  Dengan  pendekatan Naïve  Bayes yang  mengasumsikan  bahwa  setiap  kata  tidak bergantung pada satu sama lain, maka perhitungan dapat lebih disederhanakan dapat ditulis dengan Persamaan (7):
𝑃(𝑑|𝐶 𝑗 ) =   ∏ 𝑃(𝐹 𝑖 |𝐶 𝑗 ) 𝑛 𝑖=1
(7)
Dengan  menggunakan  persamaan 𝑃(𝑑|𝐶 𝑗 ) ,  maka  persamaan 𝐶 𝑀𝐴𝑃 dapat  ditulis  dengan Persamaan (8):
𝐶 𝑀𝐴𝑃 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑐𝜖𝐶 𝑃(𝐶 𝑗 ) ∏ 𝑃(𝐹 𝑖 |𝐶 𝑗 ) 𝑛 𝑖=1 (8)
Nilai 𝑃(𝐶 𝑗 ) dan 𝑃(𝐹 𝑖 |𝐶 𝑗 ) dapat dihitung dengan Persamaan (9) dan Persamaan (10):
𝑃(𝐶 𝑗 ) = |𝑑𝑜𝑐𝑠 𝑗 | |𝑐𝑜𝑛𝑡𝑜ℎ| (9)
𝑃(𝐹 𝑖 |𝐶 𝑗 ) = 1 +   𝑛 1 |𝐶 𝑗 | + 𝑛(𝑘𝑜𝑠𝑎𝑘𝑎𝑡𝑎) (10)
𝑃(𝐹 𝑖 |𝐶 𝑗 ) merupakan  probabilitas term atau  fitur 𝐹 𝑖 pada  sentimen 𝐶 𝑗 , |𝑑𝑜𝑐𝑠 𝑗 | merupakan jumlah dokumen pada sentimen j , |𝑐𝑜𝑛𝑡𝑜ℎ| merupakan jumlah seluruh dokumen pada proses training , 𝑛 1 merupakan frekuensi term 𝐹 𝑖 pada sentimen 𝐶 𝑗 , |𝐶 𝑗 | merupakan jumlah semua term pada  kategori 𝐶 𝑗 ,  dan 𝑛(𝑘𝑜𝑠𝑎𝑘𝑎𝑡𝑎) merupakan  jumlah  kata  unik  pada  semua  data training .  Sementara  itu,  untuk  menghitung  klasifikasi Multinomial  Naïve  Bayes menggunakan  pembobotan  kata  TF-IDF  (Deolika  &  Taufiq  Luthfi.,  2019)  menggunakan Persamaan (11):
𝑃(𝐹 𝑖 |𝐶 𝑗 ) = 1 +   𝑤 𝑐𝑡 (∑ 𝑤 1 ∈ 𝑤 𝑐𝑡 ′ ) + 𝐵 ′ (11)
𝑤 𝑐𝑡 merupakan  bobot  TF-IDF term  t pada  dokumen  kelas c , (∑ 𝑤 1 ∈ 𝑤 𝑐𝑡 ′ ) merupakan jumlah bobot TF-IDF pada dokumen kelas c , dan 𝐵 ′ merupakan jumlah IDF seluruh term pada dokumen. Pemberian nilai 1 berguna sebagai Laplace Smoothing supaya terhindar dari probabilitas nol (Manning et al ., 2009).
Evaluasi kinerja klasifikasi untuk mengukur performa klasifikasi.Pengukuran dilakukan dengan  melihat  tingkat  akurasi  dari  klasifikasi.  Evaluasi  klasifikasi  dilakukan  dengan menggunakan confusion  matrix . Confusion  matrix merupakan  alat  yang  berfungsi  untuk menganalisis apakah klasifikasi yang dilakukan baik untuk mengenali tuple dari kelas yang berbeda (Han et al ., 2011). Indikator pada confusion matrix dapat dilihat pada Tabel 2. Tabel 2. Confusion Matrix
Kelas Prediksi Positif Negatif Kelas Aktial Positif TP FN Negatif FP TN
Parameter  yang  dapat  digunakan  untuk  performansi  klasifikasi  yaitu accuracy , precision , dan recall (Azis et al., 2020). Ukuran kinerja klasifikasi dapat dilihat pada Tabel 3.
Tabel 3. Ukuran Kinerja Klasifikasi
Ukuran Rumus Overall Accuracy 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 Precision 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 Recall 𝑇𝑃

## 𝑇𝑃 + 𝐹𝑁
Wordcloud merupakan  suatu  metode  yang  berfungsi  untuk  menampilkan  data  teks secara visual dengan ukuran yang berbeda. Wordcloud merupakan metode text mining yang menampilkan  grafis  dari  frekuensi  kata  yang  lebih  menonjol  kata-kata  yang  lebih  sering muncul dalam teks sumber. Semakin besar ukuran kata dalam visual, semakin umum kata tersebut dalam dokumen (Zuhri & Alamsyah., 2017).

## 3. METODE PENELITIAN
Data  yang  digunakan  pada  penelitian  ini merupakan  data  kualitatif  yang  didapat  dari proses crawling pada  media  sosial  Twitter  dari  tanggal  2  November  2021  sampai  8 November 2021 dengan kata kunci “ppkm”. Berdasarkan proses tersebut didapatkan data tweets berbahasa  Indonesia  yaitu  sebanyak  12.616  data.  Data tweets yang  diperoleh kemudian dibersihkan dari duplikat hingga tersisa menjadi 6.465 data.
Variabel yang digunakan pada penelitian ini terbagi menjadi dua, yaitu variabel bebas dan  variabel  terikat.  Variabel  bebas  pada  penelitian ini  berupa  opini  masyarakat  terhadap penerapan PPKM pada media sosial Twitter, sedangkan variabel terikat pada penelitian ini berupa kelas sentimen (positif dan negatif) dari opini masyarakat.
Analisis  data  pada  penelitian  ini  dilakukan  menggunakan  software  Rstudio  4.0.2, python, dan Microsoft Excel 2019. Adapun langkah-langkah analisis data yang dilakukan dalam penelitian ini adalah sebagai berikut:
1. Ekstrasi tweets
2. Pre-Processing data
3. Sentiment Scoring
4. Stopwords Removal
5. Stemming
6. Seleksi Fitur Chi-Square
7. Pembobotan Kata TF-IDF
8. Klasifikasi dengan algoritma Naïve Bayes Classifier
9. Interpretasi dalam bentuk visual mengguanakn WordCloud

## 4. HASIL DAN PEMBAHASAN
Penulis  mengumpulkan  data tweets dalam  jangka  waktu  satu  minggu  mulai  dari  2 November 2021 sampai 8 November 2021 dengan kata kunci “PPKM” dan kategori tweets menggunakan  bahasa  Indonesia  sebanyak  12.616  tweets.  Proses  dilanjutkan  dengan menghilangkan  duplikat  pada  data tweets hingga  berkurang  menjadi  6.465  tweets.  Data tersebut kemudian disimpan dalam format CSV ( Comma Separated Value ). Pre-processing data  berfungsi  mengubah  data  yang  kurang  terstruktur  menjadi  data terstruktur dengan tujuan mempermudah kerja mesin dalam proses membaca data.

## 1. Case Folding
Mengubah seluruh kapital atau huruf besar menjadi huruf kecil.
2. Remove URL
Menghapus URL atau yang biasa ditandai dengan “http://”.
3. Unescape HTML
Menghapus file HTML atau jejak karakter yang diduga sebagai markup.
4. Remove Mention
Menghapus simbol “@” dengan disusul username atau nama pengguna Twitter.
5. Remove Punctuation
Menghapus seluruh karakter yang tidak termasuk alphabet.
6. Remove Number
Menghapus angka maupun nomor yang terdapat pada dokumen teks.
7. Normalisasi Kata
Mengubah kata tidak baku menjadi kata baku.
Berdasarkan proses pelabelan data, diperoleh 344 tweets positif dan 690 tweets negatif. Hal ini menandakan jika sentimen negatif lebih mendominasi dibandingkan sentimen positif. Namun, terdapat kesalahan pelabelan sebanyak 250 tweets (24,18%) dari total 1034 tweets. Dari 250 tweets tersebut didapat 125 tweets yang seharusnya berlabel positif dan 125 tweets yang seharusnya berlabel negatif mendapat pelabelan yang tidak tepat. Hal ini disebabkan oleh  hasil  skor  akhir  yang  dihitung  oleh  program  berbeda  dengan  perhitungan  manual terutama untuk tweet yang berbeda makna atau arti. Hal ini mungkin terjadi karena kasus sentimen bersifat subjektif. Setelah dilakukan pelabelan secara manual didapat 481 tweets (46,52%) berlabel positif dan 553 tweets (53,48%) berlabel negatif.
Pada dokumen teks tentunya banyak terdapat suatu kemungkinan adanya kata umum yang sering muncul dan tidak memiliki makna, sehingga tidak memiliki pengaruh atau tidak memberikan  informasi  dalam  suatu  dokumen  teks.  Hal  tersebut  perlu  dihilangkan  untuk menghasilkan tingkat akurasi yang lebih tinggi pada model klasifikasi. Pada penelitian ini menggunakan  kamus stopwords Indonesia  dan  kamus stopwords manual.  Pada  kamus stopword s Indonesia terdapat 758 kata sedangkan pada kamus stopwords manual terdapat 145 kata.
Stemming dilakukan dengan mengubah kata berimbuhan menjadi kata dasar. Stemming dibutuhkan untuk meminimalisir indeks yang berbeda dengan menjadikan suatu kata yang memiliki  makna  yang  sama  menjadi  bentuk  yang  sama  juga,  seperti  “terbukti”  dan “membuktikan”  menjadi  “bukti”,  kemudian  “dilonggarkan”  dan  “pelonggaran”  menjadi “longgar”, dan sebagainya.
Penyeleksian fitur kata dilakukan dengan memilih fitur kata yang dipakai dalam proses pengujian klasifikasi, sedangkan kata yang tidak masuk dalam proses pengujian klasifikasi akan dihapus. Pemilihan fitur kata pada penelitian ini ditentukan dari kata yang memenuhi syarat untuk uji Chi-Square yaitu tidak boleh ada cell yang memiliki frekuensi harapan atau expected count kurang dari 5. Pada penelitian ini terdapat 556 kata, setelah dilakukan seleksi fitur Chi-Square diperoleh 136 kata yang memenuhi syarat. Setelah mendapatkan nilai Chi- Square, nilai tersebut dibentuk peringkat kemudian diurutkan dari nilai tertinggi hingga nilai terendah. Peringkat Nilai Chi-Square dapat dilihat pada Tabel 4.

## Tabel 4. Peringkat Hasil Seleksi Fitur Chi-Square
No Fitur Kategori  Frekuensi Chi-Square 1 Berhasil Positif 81 38,27271 2 Covid Negatif 146 35,43881 3 PCR Negatif 119 24,53999 4 Senang Positif 73 24,08600 5 Rugi Negatif 73 23,69283 6 Bisnis Negatif 78 17,12950 7 Sengsara Negatif 47 16,73254 8 Turun Negatif 76 16,53484 9 Sehat Positif 29 16,12920 10 Positif Positif 39 14,39604 ⁝ … … ⁝ ⁝ 136  Halang Negatif 13 7,17E-05
Daftar hasil perhitungan nilai seleksi Chi-Square yang berdasarkan hipotesis independensi, dengan hipotesis awal menyatakan bahwa term t independen terhadap kategori c. Apabila nilai  seleksi  fitur Chi-Square lebih  besar  daripada  nilai  signifikan,  sehingga  penolakan hipotesis  awal  akan  terpenuhi.  Hipotesis  akhir  yang  diperoleh  menyatakan  bahwa  term t dependen (ada hubungan antara jenis kata dengan kelas sentimen) terhadap kategori c.
Pembobotan kata diperlukan dalam mentransformasikan kata atau term menjadi sebuah bilangan  yang  dapat  dihitung  dan  diproses.  Pembobotan  kata  TF-IDF  dapat  dilihat  pada Tabel 5.
Tabel 5. Hasil Pembobotan Kata TF-IDF Setelah Seleksi Fitur Chi-Square Tweet akibat alasan atur banget masyarakat  …  yakin 1 0 0 0 0 0,250928 … 0 2 0 0 0,408451 0 0,223549 … 0 3 0 0,302458 0 0 0,127185 … 0 4 0 0 0,247038  0,701528 0 … 0 ⁝ ⁝ ⁝ ⁝ ⁝ ⁝ ⋱ ⁝ 1034 0,441553 0 0 0 0 … 0
Pembagian  data  pelatihan  ( training )  dan  data  uji  ( testing )  yang  digunakan  pada penelitian  ini  sebesar  80%:20%  dan  tidak  dilakukan  pengacakan  data.  Perbandingan  data latih ( training ) dan data uji ( testing ) dapat dilihat pada Tabel 6.
Tabel 6. Perbandingan Data Latih ( training ) dan Data Uji ( testing ) Sentimen Data Latih ( training ) Data Uji ( testing ) Total Positif 380 101 481 Negatif 447 106 553 Total 827 207 1034
Model  klasifikasi  yang  telah  diuji  serta  dibangun  dengan  menggunakan  data  latih ( training )  akan  dievaluasi  kinerjanya.  Evaluasi  kinerja  klasifikasi  yang  akan  digunakan
dalam  penelitian  ini  adalah Confusion  Matrix .  Hasil  dari Confusion  Matrix model Multinomial Naïve Bayes dengan seleksi fitur Chi-Square dapat dilihat pada Tabel 7.
Tabel 7. Hasil Confusion Matrix
Kelas Prediksi Positif Negatif Kelas Aktial Positif 88 21 Negatif 14 84 𝑜𝑣𝑒𝑟𝑎𝑙𝑙 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 = 88 + 88 88 + 21 + 14 + 84 = 83%
Hasil perhitungan overall accuracy didapat tingkat akurasi dari algoritma Multinomial Naïve Bayes dengan seleksi fitur Chi-Square sebesar 83%. Angka tersebut cukup besar sehingga algoritma Multinomial  Naïve  Bayes dengan  seleksi  fitur Chi-Square dapat direkomendasikan sebagai klasifikasi yang baik dalam analisis sentimen penerapan PPKM pada Twitter.
Visualisasi  dokumen  teks  dengan  bentuk wordcloud digunakan  untuk  melihat  secara visual  dari  kata  yang  sering  muncul  pada  dokumen  teks  dalam  sentimen  positif  maupun sentimen  negatif.  Visualisasi  dokumen  teks  dengan  bentuk wordcloud dapat  dilihat  pada Gambar 1 dan Gambar 2.
Gambar 1. Wordcloud Sentimen Positif
Gambar 2. Wordcloud Sentimen Negatif

## 5. KESIMPULAN
Dari hasil pembahasan dapat disimpulkan bahwa kemunculan frekuensi kata pada kelas sentimen memiliki peranan penting dalam seleksi fitur Chi-Square . Penyeleksian fitur Chi- Square menghasilkan  136  dari  total  556  fitur  atau  kata  yang  memenuhi  syarat  uji Chi- Square .  Klasifikasi  dengan  algoritma Multinomial  Naïve  Bayes dengan  seleksi  fitur Chi- Square mendapatkan  tingkat  akurasi  sebesar  83%.  Sehingga  penggunakan Chi-Square sebagai seleksi fitur dapat dibilang cukup efektif pada model klasifikasi Naïve Bayes . Dari hasil pelabelan dokumen teks masyarakat Indonesia yang menggunakan media sosial Twitter cenderung memberikan opini atau sentiment negatif terhadap penerapan PPKM.

## DAFTAR PUSTAKA
Aditya, B. R. 2015. Penggunaan Web Crawler Untuk Menghimpun Tweets dengan Metode Pre-Processing Text Mining. Jurnal Infotel Vol 7, No. 2. DOI: https://doi.org/10.20895/infotel.v7i2.35 .
Agastya, I, M, A., 2018. Pengaruh Stemmer Bahasa Indonesia Terhadap Performa Analisis Sentimen Terjemahan Ulasan Film. Jurnal TEKNOKOMPAK Vol 12, No. 1, Hal: 18- 23. DOI: https://doi.org/10.33365/jtk.v12i1.70 . Azis, H., Tangguh Admojo, F., & Susanti, E. 2020 . Analisis Perbandingan Performa Metode Klasifikasi  pada  Dataset  Multiclass  Citra  Busur  Panah  Performance  Comparison
Analysis of Classification Methods on the Multiclass Dataset of Bows Jurnal Techno , Vol 19, No. 3. DOI: https://doi.org/10.33633/tc.v19i3.3646 .
Basari, A. S. H., Hussin, B., Ananta, I. G. P., & Zeniarja, J. 2013. Opinion mining of movie review  using  hybrid  method  of  support  vector  machine  and  particle  swarm optimization.  Procedia  Engineering. Jurnal  Procedia Engineering Vol  53,  Hal:  453- 462. DOI: https://doi.org/10.1016/j.proeng.2013.02.059 .
Deolika,  A.,  &  Taufiq  Luthfi,  E.  2019.  ANALISIS  PEMBOBOTAN  KATA  PADA KLASIFIKASI TEXT MINING. Jurnal Teknologi Informasi Vol 3, No. 2. Fanissa,  S.,  Fauzi,  M,  A.,  &  Adinugroho,  S.  2018.  Analisis  Sentimen  Pariwisata di  Kota Malang  Menggunakan  Metode  Naive  Bayes  dan  Seleksi  Fitur  Query  Expansion Ranking. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol 2. No. 8, Hal: 2766-2770. DOI: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/1962 . Feldman,  R.,  &  Sanger,  J.  2007. The  text  mining  handbook :  advanced  approaches  in analyzing unstructured data . Cambridge University Press, Volume 34 Number 1. Firdaus, A., & Firdaus, W. I. 2021. Text Mining Dan Pola Algoritma Dalam Penyelesaian Masalah Informasi : (Sebuah Ulasan). Jurnal JUPITER Vol 13, No. 1, Hal: 66-78. Firmansyah,  Z.,  &  Puspitasari,  N.  F.  2021. Analisis  Sentimen  Masyarakat  Terhadap Vaksinasi Covid-19 Berdasarkan Opini Pada twitter Menggunakan Lagoritma Naïve Bayes. Jurnal Teknik Informatika Vol 14, No. 2. DOI: https://doi.org/10.15408/jti.v14i2.24024 . Han,  J.,  Kamber,  M.,  &  Pei,  J.  2011. Data  Mining:  Concept  and  Techniques (3rd  ed.). Morgan Kaufmann Publishers.
Khosmah, S., & Aribowo, A, S. 2020. Model Text-Preprocessing Komentar Youtube Dalam Bahasa Indonesia. Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) Vol 4, No. 4, Hal: 648-654. DOI: https://doi.org/10.29207/resti.v4i4.2035 .
Ling, J., Kencana, I, P, E, N., & Oka, T, B. 2014. Analisis Sentimen Menggunakan Metode Naïve Bayes Classifier Dengan Seleksi Fitur Chi-Square. E-Jurnal Matematika Vol 3, No. 3, Hal: 92-99.
Manning,  C.  D.,  Raghavan,  P.,  &  Schutze,  H.  2008. An  Introduction  to  Information Retrieval . Cambridge University Press, Page 253-270.
Mujilahwati,  S.  2016.  Pre-Processing  Text  Mining  Pada  Data  Twitter. Jurnal  Teknologi Informasi dan Komunikasi.
Nurjannah,  M.,  &  Fitri  Astuti,  I.  2013.  Penerapan  Algoritma  Term  Frequency-Inverse Document Frequency (TF-IDF) Untuk Text Mining. Jurnal Informatika Vol 8, No. 3. DOI: http://dx.doi.org/10.30872/jim.v8i3.113 .
Rodiyansyah, S. F., & Winarko, E. 2013. Klasifikasi Posting Twitter Kemacetan Lalu Lintas Kota Bandung Menggunakan Naive Bayesian Classification. Jurnal IJCCS Vol 7, No. 1. DOI: https://doi.org/10.22146/ijccs.2144 .
Suharno,  F.  A.,  &  Listiyoko,  L.  2018.  Aplikasi  Berbasis  Web  dengan  Metode  Crawling sebagai  Cara  Pengumpulan  Data  untuk  Mengambil  Keputusan. Jurnal  Teknologi Informasi. DOI: https://e-jurnal.lppmunsera.org/index.php/snartisi/article/view/813 . Twitter, A. R. (2019). Report Twitter . https://help.twitter.com/id . (diakses pada 10 Januari 2022).
Twitter,  S.  (2019). Support  Twitter . https://help.twitter.com/id .  (diakses  pada  10  Januari 2022).
Wardani,  N.  W.,  &  Nugraha,  P.  G.  S.  C.  2020.  Stemming  Teks  Bahasa  Bali  dengan Algoritma Enhanced Confix Stripping. International Journal of Natural Science and Engineering Vol 4, No. 3. DOI: https://doi.org/10.23887/ijnse.v4i3.30309 .
Zuhri,  F.  N.,  &  Alamsyah,  A.  2017.  Analisis  Sentimen  Masyarakat  Terhadap  Brand Smartfren  Menggunakan  Naïve  Bayes  Classifier  di  Forum  Kaskus. E-Proceeding  of Management Vol 4, No. 1, Page: 242.