p-ISSN : 2460-3562 / e-ISSN : 2620-8989
Implementasi Naive Bayes Classifier pada Opinion Mining Berdasarkan Tweets Masyarakat Terkait Kinerja Presiden dalam Aspek Ekonomi
Sri Juniarsih a1 , Eva Faja Ripanti a2 , Enda Esyudha Pratama a3 a Program Studi Sarjana Informatika, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Kota Pontianak, 78115
juniasihh@gmail.com evaripanti@untan.ac.id enda@informatika.untan.ac.id

## Abstrak
Media  sosial  salah  satunya  Twitter  dimanfaatkan  sebagai  sarana  untuk  lebih  dekat  dengan  masyarakat.  Hal tersebut  dapat  memberikan  wawasan  yang  mendalam  tentang  apa  yang  masyarakat  inginkan.  Tujuan  dari penelitian  ini  adalah  menghasilkan  mesin  yang  mampu  mengklasifikasikan tweets masyarakat  terkait  kinerja presiden dalam aspek ekonomi ke dalam kelas positif dan negatif. Aspek utama (ekonomi) diturunkan menjadi parameter “ekonomi Indonesia”, “lapangan pekerjaan” dan “rupiah”. Text preprocessing yang digunakan yaitu cleaning, case folding, normalisasi , filtering, dan stemming. Penelitian ini  menerapkan teknik scraping sebagai teknik  pengumpulan  data tweets, TF-IDF  sebagai  metode  pembobotan  kata, Naive  Bayes  Classifier sebagai algoritma pengklasifikasian, serta Confusion Matrix sebagai metode pengujian. Training data terdiri dari training data A yang berjumlah 600 dokumen dari data tweets , dan training data B yang berjumlah 158 dokumen yang disusun  berdasarkan  pola  “parameter  +  kata  independen”. Klasifikasi  yang  dilakukan  oleh opinion  mining machine secara  keseluruhan  (gabungan  semua  parameter)  dapat  dinyatakan  sebagai  “ Good  Classification ”. Berdasarkan pengujian Skenario 1 (klasifikasi menggunakan training data A), mesin mampu mengklasifikasikan 540 testing data (gabungan semua parameter) dengan akurasi sebesar 87.96% dan running time 13 menit 18 detik.  Berdasarkan  pengujian  Skenario  2  (klasifikasi  menggunakan training  data B),  mesin  mampu mengklasifikasikan testing data yang sama (gabungan semua parameter), dengan akurasi sebesar 88,70% dan running  time 6  menit  34  detik.  Berdasarkan  hasil  pengujian  tersebut,  maka  dapat  diketahui  performa  mesin lebih unggul ketika menggunakan training data B. Maka dari itu, dapat disimpulkan bahwa pola yang digunakan dalam penyusunan training data B dinyatakan berhasil dan cocok untuk penelitian ini. Kemudian berdasarkan hasil  analisis  pengujian  yang  menunjukkan  persentase  prediksi  opini  positif  lebih  tinggi,  maka  dapat disimpulkan tweets masyarakat terhadap kinerja presiden dalam aspek ekonomi didominasi oleh opini positif.
Kata kunci: Naive Bayes Classifier , Opinion Mining , Tweets Masyarakat, Kinerja Presiden, Aspek Ekonomi

## Implementation of Naive Bayes Classifier on Opinion Mining Based on the Society Tweets Rjelated to Presidential Performance in Economy Aspect

## Abstract
Twitter is one of social media used as a means to get closer to the society. It can provide insight into what the society  want.  The  purpose  of  this  research  is  to  produce  a  machine  capable  of  classifying  the  society  tweets related  to  presidential  performance  in  economy  aspect  into  positive  and  negative  classes.  The  main  aspects (economy) are reduced into "Indonesian economy", "employment" and "rupiah" parameters. Preprocessing texts used are cleaning, case folding, normalization, filtering, and stemming. This research applies scraping technique as tweets data collection technique,  TF-IDF as word weighting method, Naive Bayes Classifier as classification algorithm,  and  Confusion  Matrix  as  testing  method.  Training  data  consisted  of  training  data  A  totaling  600 documents  from  tweets  data  and  training  data  B  totaling  158  documents  based  "parameter  +  independent word"  pattern.  Classification  that  is  done  by  opinion  mining  machine  as  a  whole  (a  combination  of  all parameters) can be stated as "Good Classification". Based on Scenario 1 testing (classification using training data
A), machine is able to classifying 540 testing data (combination of all parameters) with an accuracy of 87.96% and running time of 13 minutes 18 seconds. Based on Scenario 2 testing (classification using training data B), machine  is  able  to  classifying  the  same  testing  data  (a  combination  of  all  parameters),  with  an  accuracy  of 88.70%  and  running  time  of  6  minutes  34  seconds.  Based  on  results  of  tests,  the  machine's  performance  is superior  when  using  training  data  B.  Therefore,  it  can  be  concluded  that  the  pattern  used  in  preparation  of training  data  B  was  declared  successful  and  suitable  for  this  research.  Then  based  on  results  of  the  testing analysis which shows a higher percentage of positive opinion predictions, it can be concluded the society tweets on the performance of president in the economy aspect is dominated by positive opinions.
Keywords: Naive Bayes Classifier, Opinion Mining, Society Tweets, Presidential Performance, Economy Aspect

## I. P ENDAHULUAN
Presiden  merupakan  orang  yang  memimpin  suatu negara,  maka  dari  itu  kinerja  presiden  dalam  memimpin dan  mengatasi  permasalahan  negara  akan  sangat berpengaruh pada kesejahteraan rakyatnya. Kesejahteraan rakyat erat kaitannya dengan aspek ekonomi, sebagaimana yang telah diketahui, ekonomi merupakan salah satu aspek penting  dalam  kehidupan  bernegara,  karena  menyangkut keberlangsungan hidup seluruh rakyat Indonesia.
Hasil  survei  publik  yang  dilakukan  oleh  lembaga penelitian  Indo  Barometer  pada  tahun  2018  dengan pertanyaan  “Permasalahan  apa  yang  paling  penting  yang ada  di  Indonesia  saat  ini?”,  menunjukkan  permasalahan “Perekonomian  Rakyat”  yang  memiliki persentase  paling teratas  yang  dipilih  oleh  publik,  yakni  20,4%  [1]. Berdasarkan  hasil  survei  tersebut,  maka  penelitian  ini menganalisis  opini  masyarakat  terkait  permasalahan tersebut dengan memanfaatkan media sosial, yakni media sosial  Twitter.  Mengingat  survei  [2]  yang  menyatakan Indonesia  adalah  pengguna  Twitter  terbanyak  ketiga  di dunia, tentu tidak memungkinkan untuk menganalisis data tweets secara manual. Maka dari itu,  pengimplementasian opinion  mining atau  yang  biasa  juga  disebut  dengan analisis sentimen adalah solusi dari permasalahan tersebut.
Opinion  mining merupakan  bidang  studi  yang menganalisis opini, sentimen, penilaian, sikap, dan emosi seseorang terhadap entitas dan atributnya, yang dinyatakan  dalam  teks  tertulis. Opinion  mining pada penelitian  ini  terdapat  beberapa  tahapan  utama,  yakni scraping data pada Twitter, text preprocessing , pembobotan
menggunakan metode
TF-IDF,
pengklasifikasian  menggunakan  algoritma Naive  Bayes Classifier , dan pengujian dengan confusion matrix . Berdasarkan  latar  belakang  permasalahan,  rumusan masalah pada penelitian ini adalah bagaimana membangun opinion mining machine dengan mengimplementasikan  algoritma Naive  Bayes  Classifier untuk  mengklasifikasikan tweets masyarakat  terkait kinerja  presiden  dalam  aspek  ekonomi  ke  dalam  kelas positif dan negatif.
Tujuan  dari  penelitian  ini  adalah  menghasilkan opinion  mining  machine dengan  mengimplementasikan Naive Bayes Classifier sebagai algoritma pengklasifikasian,  sehingga  dapat  mengklasifikasikan tweets masyarakat  terkait  kinerja  presiden  dalam  aspek ekonomi, ke dalam kelas positif dan negatif.
Opinion  mining  machine yang  dihasilkan  dapat menjadi  solusi  untuk  membantu  proses  analisis  data tweets dengan  mengklasifikasikan tweets masyarakat terkait  kinerja  presiden  pada  aspek  ekonomi  ke  dalam kelas positif dan kelas negatif secara otomatis.

## II. M ETODOLOGI

## A. Metodologi Penelitian
Metodologi  penelitian  merupakan  suatu  perencanaan penelitian  yang  akan  dilakukan  secara  sistematis  dan ilmiah.  Proses  tersebut  dilakukan  dengan  mendesain perencanaan  penelitian  sesuai  dengan  tahapan  yang dilakukan  pada penelitian.  Metodologi  penelitian  tersebut diilustrasikan pada Gambar 1.

## Gambar. 1 Metodologi penelitian
Tahapan  pertama  dalam  penelitian  yang  dilakukan adalah  mengumpulkan  data  terkait  topik,  yakni  dengan melakukan  studi  literatur.  Mengumpulkan  referensi  yang antara  lain  berasal  dari  buku, e-book ,  jurnal, website resmi, dan lain-lain. Menghasilkan studi ilmiah mengenai penelitian terkait, text mining , scraping , analisis sentimen ( opinion  mining ),  pembobotan  ( term  weighting )  TF-IDF, Naive  Bayes  Classifier , confusion  matrix ,  bahasa pemrograman  Python,  media  sosial  Twitter,  kinerja presiden, dan ekonomi.
Tahapan  selanjutnya  yakni  melakukan  analisis kebutuhan. Analisis kebutuhan dilakukan dengan menganalisis kembali hasil studi  literatur, kemudian  data yang  telah  diperoleh  dari  studi  literatur  tersebut  dapat menjadi  bahan  untuk  mengidentifikasi  kebutuhan  dalam penelitian.  Pada  tahap  ini,  dapat  diidentifikasi  antara  lain dua  komponen  penting  dalam  penelitian  ini  yaitu kinerja presiden dan ekonomi . Kedua komponen tersebut menjadi fokus  dalam  penelitian  ini.  Selanjutnya,  aspek  ekonomi kemudian  perlu diturunkan  menjadi parameter  yang lebih kecil  yaitu  “ekonomi  indonesia”,  “lapangan  pekerjaan” dan  “rupiah”  untuk  memfokuskan  penelitian.  Penentuan parameter tersebut dibahas lebih lanjut pada poin A (Bab III).  Kemudian  berdasarkan  hasil  analisis,  penelitian  ini
membutuhkan  teknik scraping  data sebagai  teknik pengambilan  data tweets, membutuhkan  proses data selection secara  manual  agar  mendapatkan tweets yang relevan  dengan  penelitian,  membutuhkan  tahap text preprocessing, pembobotan  TF-IDF,  pengklasifikasian menggunakan  algoritma Naive  Bayes  Classifier, dan pengujian menggunakan metode confusion matrix.
Tahapan  perancangan  konseptual  merupakan  tahap untuk  menjelaskan  keterhubungan  antar  bagian  dalam model  klasifikasi  yang  dibangun  menggunakan  diagram pendukung  berupa  arsitektur  sistem.  Arsitektur  sistem digunakan untuk menjelaskan rencana atau pemetaan dari proses-proses  yang  akan  dilakukan  dalam  membangun opinion mining machine.
Tahapan selanjutnya dilakukan implementasi menggunakan  bahasa  pemrograman  Python  yang  diawali dengan  tahap  pengambilan  data  menggunakan  teknik scraping,  text  preprocessing, pembobotan  menggunakan metode TF-IDF, pengklasifikasian menggunakan algoritma Naive Bayes Classifier, hingga tahap pengujian menggunakan metode confusion matrix . Tahapan  pengujian  menggunakan confusion  matrix dilakukan  dengan  beberapa  parameter  pengujian  yakni accuracy,  recall,  precision,  error  rate, sensitivitas,  dan spesifisitas.  Kemudian  hasil  dari  pengujian  tersebut selanjutnya  dilakukan  analisis  lebih  lanjut  untuk  dapat ditarik kesimpulan.

## B. Studi Literatur
1) Penelitian Terkait
Penelitian  ini  mengacu  kepada  dua  penelitian terdahulu.  Pertama,  [3]  melakukan  penelitian  tentang “ Twitter  Used  by  Indonesian  President:  A  Sentiment Analysis  of  Timeline” .  Penggunaan  metode Naive  Bayes Classifier pada model yang dihasilkan pada penelitian ini bekerja  baik  dengan  akurasi  79,42%  yang  menunjukkan bahwa timeline @SBYudhoyono didominasi oleh sentimen  netral.  Kedua,  [4]  melakukan  penelitian  tentang “Analisis Sentimen Calon Gubernur DKI Jakarta 2017 di Twitter”.  Pada  penelitian  tersebut,  metode  klasifikasi Naive  Bayes  Classifier (NBC)  lebih  tinggi  akurasinya dibandingkan  dengan  metode  klasifikasi Support  Vector Machine (SVM).
Berdasarkan  beberapa  penelitian  tersebut,  penelitian ini  mengimplementasikan Naive  Bayes  Classifier pada opinion  mining  machine terkait  kinerja  presiden khususnya  pada  aspek  ekonomi  berdasarkan  media  sosial Twitter  dengan  beberapa  hal  yang  membedakan  yakni penelitian ini menggunakan bahasa pemrograman Python, menggunakan  teknik scraping dalam  pengambilan  data, dan pengujian yang dilakukan menggunakan dua training data yang  berbeda  sebagai  bahan  perbandingan  ( training data A  dan  B). Training  data A  berasal  dari tweets, sedangkan training  data B  disusun  menggunakan  pola “parameter + kata independen”.
2) Text Mining
Text Mining dapat diartikan sebagai penambangan teks yang  bertujuan  untuk  mendapatkan  data  berupa  dokumen yang  tidak  terstruktur  sehingga  dapat  dilakukan  analisis agar  dokumen  menjadi  terstruktur  dan  informasi  dapat
diperoleh  dari  dokumen  tersebut  [5].  Seperti  halnya data mining , text mining juga menghadapi masalah yang sama, termasuk  jumlah  data  yang  besar,  dimensi  yang  tinggi, data  dan  struktur  yang  terus  berubah,  dan  data  “ noise ”. Berbeda  dengan data  mining yang  utamanya  memproses structured  data ,  data  yang  digunakan text  mining pada umumnya dalam bentuk unstructured , atau minimal semi- structured  data [6].  Akibatnya, text  mining mempunyai tantangan tambahan yang tidak ditemui pada data mining , seperti  struktur text yang complex dan  tidak  lengkap,  arti yang  tidak  jelas  dan  tidak  standar,  serta  bahasa  yang berbeda ditambah translasi yang tidak akurat [7].

## 3) Scraping
Scraping adalah  teknik  yang  saat  ini  menonjol  untuk pengumpulan  data online otomatis.  Ini  adalah  salah  satu teknik  khas  yang  terkait  dengan  bentuk-bentuk  penelitian sosial  digital  saat  ini. Secara  formal, scraping mengacu pada  operasi  teknis  ekstraksi  informasi, yang  merupakan bidang  yang  berkaitan  dengan  pemrosesan  data  secara otomatis [8].

## 4) Text Preprocessing
Text  preprocessing adalah  suatu  proses  pengubahan bentuk  data  yang  belum  terstruktur  menjadi  data  yang terstruktur  sesuai  dengan  kebutuhan,  untuk  proses text mining lebih  lanjut  ( sentiment  analysis ,  peringkasan, clustering dokumen dan lain-lain) [9]. Text preprocessing diperlukan  untuk  menyelesaikan  beberapa  jenis  masalah termasuk noisy  data ,  data  redundansi,  nilai  data  yang hilang, dan lain-lain [10].
Adapun tahapan text preprocessing pada penelitian ini yakni cleaning , case  folding ,  normalisasi, filtering ,  dan stemming , yang dijelaskan pada poin-poin berikut ini. a. Cleaning merupakan proses membersihkan tweets dari simbol, karakter, dan sebagainya yang tidak diperlukan untuk mengurangi data noise [7].
b. Case  folding merupakan  proses  mengubah  semua huruf  dalam  suatu  dokumen  atau  kalimat  menjadi huruf  kecil  [11]. Case  folding digunakan  untuk mempermudah pencarian. Tidak semua data konsisten dalam penggunaan huruf kapital.
c. Normalisasi  teks  berfungsi  untuk  memperbaiki  kata- kata yang kurang tepat penulisannya di dalam teks [7].
d. Filtering merupakan suatu proses untuk menghilangkan  bagian-bagian  dari  dokumen  mentah yang  tidak  mempunyai  relevansi  atau  tidak  memiliki arti bagi proses klasifikasi [12].
e. Stemming adalah  proses  pengubahan  bentuk  kata menjadi  kata  dasar  atau  tahap  mencari root kata  dari tiap  kata.  Pada  proses stemming, setiap  kata berimbuhan  akan  berubah  menjadi  kata  dasar,  dengan demikian  dapat  lebih  mengoptimalkan  proses text mining [9].
5) Opinion Mining
Opinion  mining yang  juga  disebut  analisis  sentimen merupakan  salah  satu  cabang  penelitian text  mining . Opinion  mining adalah  bidang  studi  yang  menganalisis opini,  sentimen,  penilaian,  sikap,  dan  emosi  seseorang
terhadap  entitas  dan  atributnya  yang  dinyatakan  dalam teks  tertulis.  Entitas  dapat  berupa  produk,  layanan, organisasi, individu, peristiwa, masalah, atau topik [13].

## 6) Term Frequency - Inverse Document Frequency
Metode Term  Frequency  -  Inverse  Document Frequency (TF-IDF)  merupakan  suatu  cara  untuk memperoleh pembobotan berdasarkan jumlah kemunculan suatu  kata  ( term )  dalam  sebuah  dokumen  dan  dalam keseluruhan  dokumen  [14].  Nilai  TF-IDF  diperoleh setelah  nilai  TF  dan  IDF  dihitung  terlebih  dahulu. Kemudian kedua nilai tersebut dikalikan untuk mendapatkan nilai TF-IDF [15].

## 7) Naive Bayes Classifier
Naive Bayes Classifier yang disingkat NBC merupakan algoritma yang digunakan untuk mencari nilai probabilitas  tertinggi  untuk  mengklasifikasikan  data  uji pada kategori yang paling tepat [ 16].
Klasifikasi  ini  merupakan  klasifikasi  yang  bersifat supervised  learning karena  memiliki  supervisor  (manusia melakukan  klasifikasi  secara  manual  pada  data  yang digunakan dalam pelatihan) selaku pengajar dalam proses belajar  atau learning .  Ciri  utama  dari  NBC  ini  adalah asumsi  yang  sangat  kuat  (naif)  akan  independensi  dari masing-masing  kondisi/kejadian.  NBC  mengasumsikan variabel  independen,  maka  hanya  varians  dari  suatu variabel  dalam  sebuah  kelas  yang  dibutuhkan  untuk menentukan  klasifikasi,  bukan  keseluruhan  dari  matriks kovarians [17].
Naive  Bayes ada  tiga  jenis  menurut  distribusi  fitur, yaitu Gaussian  Naive  Bayes , Multinomial  Naive  Bayes , dan Bernoulli Naive Bayes . Tetapi algoritma Naive Bayes yang  sering  digunakan  untuk text  mining adalah Multinomial  Naive  Bayes [18].  Pada Naive  Bayes Classifier , untuk menghindari peluang 0 yang terjadi pada training yang akan menghancurkan hasil testing nantinya, diperlukan laplace smoothing [15].
8) Confusion Matrix
Confusion  matrix adalah tool yang  digunakan  sebagai evaluasi  model  klasifikasi  untuk  memperkirakan  objek yang  benar  atau  salah.  Sebuah matrix dari  prediksi  yang akan  dibandingkan  dengan  kelas  sebenarnya  atau  dengan kata  lain  berisi  informasi  nilai  sebenarnya  dan  prediksi pada klasifikasi [19]. Tabel confusion matrix dapat dilihat pada Tabel 1 berikut.
TABEL I C ONFUSION M ATRIX Nilai Sebenarnya TRUE FALSE Nila i Pre d ik si TRUE TP ( True Positive ) Correct result FP ( False Positive ) Unexpected result
FALSE FN ( False Negative ) Missing result TN ( True Negative ) Correct absence of result
Parameter  pengukuran  digunakan  untuk  mengevaluasi performansi  dari  model  yang  telah  dibuat.  Metode Text Classification bisa  dievaluasi  dengan  menggunakan accuracy , precision, dan recall [20].
Akurasi didefinisikan sebagai tingkat kedekatan antara nilai  prediksi  dan  nilai  aktual. Precision adalah  tingkat ketepatan  antara  informasi  yang  diminta  oleh  pengguna dengan  jawaban  yang  diberikan  oleh  sistem.  Sedangkan Recall adalah  persentase  keberhasilan  sistem  dalam menemukan kembali sebuah informasi [20]. Rumus untuk menghitung  akurasi, precision, dan recall adalah  sebagai berikut:
Akurasi = (1) Precision = (2) Recall i = (3)
Rumus  untuk  menghitung error  rate pada confusion matrix adalah sebagai berikut:
Error Rate l = (4)
Rumus  untuk  menghitung  spesifisitas  dan  sensitivitas pada confusion matrix adalah sebagai berikut: Sensitivitas = (5) Spesifisitas = (6)

## 9) Bahasa Pemrograman Python
Python  merupakan  bahasa  pemrograman  tingkat tinggi. Hal ini disebabkan karena kode yang dituliskan  akan  di compile menjadi byte  code dan dieksekusi  sehingga  Python  cocok  digunakan  untuk
scripting language , aplikasi web dan lain sebagainya.    Hal  lain  yang  menjadikan  bahasa  ini menjadi  bahasa      pemgrograman  tingkat  tinggi adalah  Python  dapat  di extend ke  dalam  bahasa  C  dan C++  serta  bahasa  pemrograman  ini  memiliki  struktur konstruksi  yang  kuat  (blok  kode,  fungsi, class , modules ,
dan packages )
dan serta konsisten menggunakan  konsep Object  Oriented  Programming (OOP) [21].

## 10) Twitter
Twitter  adalah  sebuah  situs  web  yang  dimiliki dan dioperasikan oleh Twitter Inc., yang menawarkan jaringan sosial berupa mikroblog sehingga memungkinkan penggunanya untuk mengirim dan membaca pesan yang disebut kicauan  ( tweets ) . Tweets adalah  teks  tulisan  hingga 140 karakter yang ditampilkan pada halaman profil  pengguna.  Kicauan  bisa  dilihat  secara  luas, namun pengirim dapat membatasi pengiriman pesan ke daftar teman-teman mereka saja. Pengguna dapat melihat kicauan penulis lain yang dikenal dengan sebutan pengikut [22].

## 11) Kinerja Presiden
Kinerja merujuk kepada tingkat keberhasilan dalam melaksanakan tugas serta kemampuan untuk mencapai tujuan yang telah ditetapkan. Kinerja dinyatakan baik dan sukses jika tujuan yang diinginkan dapat tercapai dengan  baik [23].

## 12) Ekonomi
Menurut hasil survei publik yang dilakukan oleh
lembaga penelitian Indo Barometer dengan
pertanyaan
“Permasalahan
apa yang paling  penting  yang  ada  di  Indonesia  saat  ini?”, permasalahan
“Perekonomian
Rakyat” memiliki persentase  paling  teratas  yang  dipilih  oleh  publik,  yakni 20,4% [1].
Sistem  perekonomian  yang  berlaku  di  Indonesia disebut juga dengan
demokrasi
ekonomi.
Dalam
demokrasi ekonomi, semua kegiatan perekonomian harus lebih mengutamakan pada kesejahteraan  dan  kemakmuran  rakyat  yang  dapat dirasakan  secara  merata  oleh  seluruh  rakyat,  dan untuk mewujudkannya menuntut partisipasi aktif dari seluruh rakyat dalam kegiatan perekonomian [24].

## C. Arsitektur Sistem
Arsitektur  sistem  digunakan  untuk  menjelaskan rencana  atau  pemetaan  dari  proses-proses  yang  akan dilakukan  dalam  membangun opinion  mining  machine . Hasil  perancangan  arsitektur  sistem  dapat  dilihat  pada Gambar 2.

## Gambar. 2 Arsitektur sistem
Gambar 2 merupakan arsitektur sistem pada penelitian ini. Langkah pertama, user melakukan scraping data pada Twitter  dengan  menginputkan  parameter  ( keywords ) kinerja  presiden yang  telah  ditentukan  pada source  code yang  digunakan  untuk request data tweets pada  Twitter pada  rentang  waktu  yang  diinginkan . Data tweets hasil scraping kemudian  dilakukan  persiapan  data  seperti data selection ,  pembagian data  set ,  dan  pelabelan.  Sehingga dari  proses  tersebut,  terbentuk training dan testing  data yang  siap  untuk  diolah  oleh  mesin.  Pada  mesin, training dan testing  data tersebut  dilakukan  tahapan-tahapan penting opinion  mining, dimulai  dari text  preprocessing, pembobotan  menggunakan  metode  TF-IDF,  klasifikasi dengan  algoritma Naive  Bayes  Classifier, hingga  tahap pengujian untuk mengetahui nilai akurasi, error rate , dan parameter  pengujian  lainnya.  Sehingga, user dapat mengetahui  hasil  analisis  (hasil  prediksi  opini  dan  hasil pengujian)  dari  data  yang  telah  diolah  oleh  mesin. Tahapan-tahapan  yang  digambarkan  pada  arsitektur sistem dijelaskan pada poin-poin berikut.

## 1) Scraping Data
Pengumpulan  data  dilakukan  dengan  teknik scraping data  pada  media  sosial  Twitter. Scraping adalah  teknik yang  dilakukan  untuk  memperoleh  data  dari  sebuah sumber  data  tanpa  batas,  dimana  dalam  penelitian  ini Twitter merupakan sumber data tersebut.
Data tweets yang  telah  diperoleh  pada  Januari  2018  – Maret  2019,  terbagi  menjadi training  data yang  diambil dari tahun 2018 dan testing  data yang diambil dari tahun 2019.  Pada  tahun  tersebut  merupakan  waktu  yang  tepat untuk  memperoleh  penilaian  atau  tanggapan  dari masyarakat  tentang  program-program  pemerintah  yang sudah berjalan cukup lama sejak presiden tersebut dilantik. Untuk  mengambil  data  pada  jangka  waktu  yang  cukup panjang  tersebut  dibutuhkan  teknik scraping data,  yang dapat  memperoleh  data  tanpa  batasan  waktu  ataupun batasan jumlah tweets. Proses scraping data  membutuhkan library khusus pada  bahasa  pemrograman  Python,  yakni library Twitterscraper. Kemudian,  data tweets yang  berhasil diperoleh  dari  proses  tersebut  akan  tersimpan  dalam format .csv.
2) Data Selection
Data tweets hasil scraping membutuhkan  penanganan lebih  lanjut  sebelum  dilakukan  pelabelan,  karena tweets hasil scraping ketahui  masih  sangat  bias  dan  masih terdapat data redundansi. Sangat bias misalnya ditemukan  dalam keyword ekonomi  ternyata  dijumpai pada  beberapa  kasus  lain  selain  kinerja  presiden. Data redundansi misalnya tweets yang sama dilakukan posting lebih  dari  satu  kali  pada  akun  yang sama.  Untuk  mengatasi  hal  tersebut,  dibutuhkan tahapan data  selection dengan  bantuan  microsoft excel  untuk  menyeleksi  kembali  data  hasil scraping agar  dapat  mengatasi  data  redundansi  dan  mendapatkan tweets yang  relevan  dengan  topik  yang  diangkat  dalam penelitian.

## 3) Pelabelan
Training  data dan testing  data yang  telah  disiapkan selanjutnya perlu dilakukan pelabelan untuk tujuan  yang  berbeda.  Pelabelan  merupakan  tahap pemberian  label  pada  data tweets yang  sudah  diseleksi , dengan  cara  memberi  label  “positif”  atau  “negatif” sesuai  makna  dari tweets tersebut secara  manual oleh  peneliti.  Kelas  positif  ditentukan  dari  isi tweets yang  mengandung  kata  bermakna  positif,  seperti kata “meningkat”, “maju”, “berkembang”, dan sebagainya. Sedangkan      kelas      negatif      ditentukan    dari    isi tweets yang  mengandung  kata  bermakna  negatif, seperti menurun, sulit, lemah, memburuk, dan sebagainya.

## 4) Text Preprocessing
Data tweets yang  diperoleh  dari  tahap  sebelumnya merupakan    data    yang    belum    terstruktur,    karena tweets yang diperoleh biasanya terdapat noisy data seperti alamat situs (URL/link), mention (@ username ), hashtag (#),  angka,  karakter,  tanda  baca,  dll,  termasuk kata-kata  yang  kurang  penting  untuk  klasifikasi. Maka  dari  itu,  dibutuhkan  tahap text  preprocessing, yang  berfungsi  untuk  membersihkan  data tweets agar  sistem  dapat  lebih  mudah  dalam  melakukan komputerisasi  data  dan  mereduksi  kata  yang  kurang penting.

## 5) Pembobotan TF-IDF
Data yang telah melalui tahap text preprocessing harus berbentuk  numerik.  Maka  dibutuhkan  sebuah  metode pembobotan  yakni Term  Frequency  -  Inverse  Document Frequency (TF-IDF)  untuk  mengubah  teks  (kata)  pada data  yang  digunakan  menjadi  bobot-bobot  angka,  agar dapat  diolah  oleh Naive  Bayes  Classifier. Pembobotan yang  dilakukan  yakni  berdasarkan  frekuensi  kemunculan suatu  kata (term) dalam  sebuah  dokumen  (TF)  dan frekuensi  kemunculan  suatu  kata (term) dalam  kumpulan dokumen (IDF).
6) Klasifikasi Naive Bayes Classifier
NBC  memiliki  asumsi  yang  sangat  kuat  (naif) akan  independensi  dari  masing-masing  kondisi/kejadian. Berdasarkan hasil analisis, dapat diketahui variabel independen dalam NBC merupakan variabel yang
mempengaruhi, dan variabel dependen yakni variabel  yang  dipengaruhi.  Dapat  diambil  contoh pada  kalimat  “ekonomi  indonesia  stabil”  maka kata  “stabil”  merupakan  kata    independen  sedangkan “ekonomi indonesia” merupakan  kata dependen.

## 7) Pengujian
Dalam  menguji  performa  pengklasifikasian  yang dihasilkan mesin, dibutuhkan sebuah metode pengujian, yakni dengan menggunakan metode confusion  matrix . Confusion  matrix merupakan  sebuah matrix yang berisi informasi nilai sebenarnya (klasifikasi  manual)  dan  prediksi  pada  klasifikasi yang  dilakukan  oleh  mesin.  Pengujian  dapat  dilakukan dengan beberapa parameter pengujian, yang pada penelitian ini yakni accuracy, recall, precision, error rate, sensitivitas dan spesifisitas.

## III. H ASIL D AN P EMBAHASAN

## A. Identifikasi Parameter Kinerja Presiden
Aspek ekonomi diturunkan menjadi beberapa parameter  agar  lebih  memfokuskan opinion  mining yang
dilakukan, yaitu
“ekonomi indonesia”, “lapangan pekerjaan” dan “rupiah”. Parameter “ekonomi
Indonesia”
dipilih
karena mampu menggambarkan  kondisi  perekonomian  di  Indonesia secara keseluruhan
termasuk perekonomian rakyat. Kemudian parameter “lapangan pekerjaan” dipilih karena,  [24]  menyatakan  sistem  perekonomian  yang berlaku  di  Indonesia  disebut  juga  dengan  demokrasi ekonomi  yang  mana  salah  satu  cirinya  adalah  warga negara  memiliki  kebebasan  dalam  memilih  pekerjaan yang dikehendaki dan mempunyai hak akan pekerjaan  dan  penghidupan  yang  layak.  Kemudian parameter  “rupiah”  dipilih  karena,  peran  rupiah sangat  berpengaruh  bagi  harga  barang  dan  jasa.  Jika nilai  tukar  rupiah  stabil  maka  harga  barang  dan  jasa  juga stabil,  hal  itu  tentunya  berdampak  pada  stabilitas perekonomian Indonesia.
Penentuan  parameter  juga  ditentukan  berdasarkan kecenderungan  makna  kata  (kata  independen)  yang sama ketika dibahasakan dalam tweets yang bersifat  penilaian  terhadap  kinerja  presiden,  sehingga setelah    dilakukan  analisis,  parameter  “ekonomi Indonesia”, “lapangan pekerjaan”,  dan “rupiah”  memiliki kesamaan dalam kecenderungan makna kata (kata independen) ketika dibahasakan dalam kalimat  ( tweets ) yang  bersifat  penilai  terhadap  kinerja presiden.
Sebagai  contoh,  untuk  mengklasifikasikan tweets terkait  “ekonomi  Indonesia”  sebagai  opini  positif diperlukan kata independen antara lain seperti kata “naik”, “meningkat” dan sebagainya pada kalimat tweets tersebut, begitu  juga  dengan tweets terkait  “lapangan  pekerjaan” dan “rupiah”, ketika terdapat kata independen “naik”, atau “meningkat”  pada  kalimat tweets tersebut, tweets tersebut  juga  dapat  diklasifikasikan  sebagai  opini  positif, bukan  sebaliknya.  Ketika  setiap  parameter  tersebut disandingkan  dengan  kata  independen  berkonotasi negatif  dalam  hal  ini  antara  lain  seperti  “menurun”,  dan
“melemah”,  setiap  parameter  juga  akan  menghasil kecenderungan makna kata yang sama untuk ketiganya,  yakni  akan  menghasilkan  kalimat  bermakna negatif.

## B. Gambaran Umum Opinion Mining
Berdasarkan  analisis  yang  telah  dilakukan,  terdapat beberapa proses  dan output yang  menggambarkan penelitian ini secara keseluruhan, yang divisualisasikan pada Gambar 3 berikut ini.
Gambar. 3 Gambaran umum opinion mining
Gambar  3  di  atas  adalah  gambaran  penelitian secara  keseluruhan  terkait  proses  dan output .  Sumber data  yang  digunakan  berasal  dari  media  sosial  Twitter, dimana proses pengambilan data dilakukan dengan teknik scraping sehingga menghasilkan output berupa data tweets. Selanjutnya data tweets tersebut dilakukan  proses data  selection untuk  mendapatkan tweets yang relevan dengan penelitian sehingga mendapatkan output berupa data  set, yang  selanjutnya data    tersebut  dibagi  menjadi training  data dan testing data. Training data dilakukan pelabelan, text preprocessing, dan  pembobotan  menggunakan  metode TF-IDF,  sehingga  dari      bobot  yang  dihasilkan tersebut  selanjutnya  diolah  menggunakan  algoritma  NBC untuk  proses            pembelajaran  mesin. Kemudian, testing data juga dilakukan pelabelan, text preprocessing, dan  pembobotan menggunakan metode TF-IDF, sehingga dari bobot yang dihasilkan tersebut dapat dilakukan          tahap  selanjutnya  yakni  tahap  memprediksi opini dengan
algoritma NBC berdasarkan pembelajaran
mesin yang telah dilakukan sebelumnya,  sehingga  menghasilkan output berupa klasifikasi  prediksi  opini.  Hasil  klasifikasi  tersebut kemudian dilakukan pengujian menggunakan
metode
confusion
matrix untuk menguji performansi mesin. Pada tahap ini data label dari testing  data yang  telah  dilakukan  sebelumnya menjadi      acuan    untuk    mengetahui    nilai    akurasi, error rate, dan parameter pengujian lainnya.

## C. Twitter Scraping
Perolehan tweets hasil scraping dapat  dilihat  pada Tabel 2 berikut ini.
TABEL II P EROLEHAN T WEETS
Parameter Perolehan Tweets Hasil Scraping Training Data (Jan-Des 2018) Testing Data (Jan-Mar 2019) Ekonomi Indonesia 9639 1599 Lapangan Pekerjaan 8438 1047 Rupiah 6420 1626 Total Tweets 24497 4272
Data  yang  didapatkan  tersebut  merupakan  data  yang bias  dan  banyak  terdapat  redundansi  data,  maka  dari  itu data tweets tersebut  dilakukan  tahap data  selection yang dilakukan  secara  manual , sehingga  didapatkan data  set untuk training dan testing data..

## D. Data Set
Jumlah training  data dalam  sistem  analisis  sentimen memiliki  pengaruh  terhadap  prediksi  sistem.  Selain jumlah,  kualitas  data  latih  juga  berperan  karena  semakin tinggi  kualitas  data  maka  sistem  akan  mendapatkan vocabulary yang semakin besar sehingga akan lebih tepat dalam memprediksi kelas sentimen [25].
Penelitian  ini  menggunakan  dua training  data ,  yaitu training data A  dan training  data B,  tujuannya adalah untuk  membandingkan  hasil  klasifikasi  mesin  ketika menggunakan training  data A  dan training  data B, sehingga  diketahui  pada  penggunaan training  data mana yang menghasilkan performa lebih baik.
Training  data A  adalah training  data yang  berjumlah lebih  banyak  dibandingkan training  data B  dan  memiliki sebaran  jumlah  dokumen  yang  merata  antar  parameter. Training  data A  diambil  dari  data tweets pada  Januari  – Desember tahun 2018, yang berjumlah 600 tweets . Terdiri dari 100 tweets positif dan 100 tweets negatif untuk setiap parameter.
Training  data B  disusun  oleh  peneliti  menggunakan pola “parameter + kata independen”, dimana pola tersebut dapat  bertukar  posisi  menyesuaikan  konteks  kalimat . Kata  independen  yang  digunakan  berdasarkan  hasil analisis  pada  data scraping.  Training  data B  merupakan training  data yang  jumlahnya  lebih  sedikit  dan  lebih singkat  dibandingkan training  data A,  dan  memiliki sebaran  jumlah  dokumen  yang  tidak  merata  antar parameter. Training  data B  berjumlah  158  dokumen, yakni  terdiri  dari  40  dokumen  positif  maupun  negatif untuk  parameter  “ekonomi  Indonesia”,  24  dokumen positif  maupun  negatif  untuk  parameter  “lapangan pekerjaan”,  dan  15  dokumen  positif    maupun  negatif untuk parameter “rupiah”.
Testing  data menggunakan  data tweets pada  bulan Januari - Maret tahun 2019 dengan total 540 opini publik, jumlah  data  yang  digunakan  tersebut  ditentukan berdasarkan jumlah data relevan yang didapat.
Sebaran dokumen pada training data A, training data B dan testing data dapat dilihat pada Tabel 3.
TABEL III S EBARAN D OKUMEN
Parameter
Jumlah Dokumen
Training Data A Training Data B Testing Data Ekonomi Indonesia 200 80 216 Lapangan Pekerjaan 200 48 205 Rupiah 200 30 119 Total Dokumen 600 158 540

## E. Pelabelan
Tahap  pelabelan  adalah  tahap  pemberian  label  pada dokumen  ( tweets ) yang  telah  diperoleh  dari  hasil Twitter scraping dan  telah  melewati  proses data selection. Pelabelan  dilakukan  dengan  cara  memberi label  “positif”  atau  “negatif”  sesuai  kategori tweets tersebut secara  manual  pada  data tweets yang  sudah diseleksi.
Dokumen  yang  telah  dilabel  dalam  bentuk file  .csv dapat dilihat pada Gambar 4 berikut ini.
Gambar. 4 Pelabelan

## F. Text Preprocessing
Setelah  dilakukan  pelabelan  pada  tahap  sebelumnya, training  data dan testing  data kemudian dilakukan text  preprocessing. Tahapan text  preprocessing yang dilakukan  yakni cleaning,  case  folding, normalisasi, filtering, dan stemming, seperti  yang  ditampilkan  pada Gambar 5 berikut ini.
Hasil  implementasi  dari  keseluruhan  tahapan text preprocessing pada  suatu  dokumen,  dituangkan dalam bentuk  tabel  dan  dalam  bentuk  keluaran dari  mesin. Contoh hasil text preprocessing dalam bentuk tabel yakni sebagai berikut.
TABEL IV
H ASIL T EXT P REPROCESSING
Dokumen
Text Preprocessing
asal  kalian  tahu,  EMPAT  Tahun  Terakhir Ekonomi  Indonesia  Membaik  berkat  krj
@jokowi  !  Pemerintah  tidak  gagal  #kerja http://share.babe.news/s/xdSYNpdÂ Original asal  kalian  tahu  EMPAT  Tahun  Terakhir Ekonomi  Indonesia  Membaik  berkat  krj Pemerintah tidak gagal Cleaning asal  kalian  tahu  empat  tahun  terakhir ekonomi  indonesia  membaik  berkat  krj pemerintah tidak gagal Case Folding
asal  kalian  tahu  empat  tahun  terakhir
ekonomi  indonesia  membaik  berkat  kerja pemerintah berhasil Normalisasi tahun  ekonomi  indonesia  membaik  kerja pemerintah berhasil Filtering tahun ekonomi indonesia baik kerja perintah berhasil Stemming
Adapun  hasil  keluaran  dari  keseluruhan  proses text preprocessing oleh mesin pada dokumen yang sama pada Tabel 4 dapat dilihat pada Gambar 6 berikut ini.

## Gambar. 6 Hasil text preprocessing
Pada  Gambar  6,  dapat  dilihat  terdapat  keterangan dengan nomor 0, 1, 2, 3, 4, 5, dan 6.
Nomor  0  merupakan original tweet yang  belum dilakukan preprocessing. Keterangan  pada  nomor  1 merupakan  keluaran    dari  hasil cleaning dimana  tanda baca,  @ username,  #hashtag, dan  URL  yang  terdapat pada  dokumen telah    dibersihkan. Keterangan  pada nomor  2  merupakan  keluaran  dari  hasil case  folding,
dimana  semua  huruf  yang  terdapat  pada  dokumen telah
diseragamkan
menjadi huruf kecil
( lowercase). Keterangan  pada  nomor  3  merupakan keluaran dari hasil normalisasi untuk kata singkat, dimana kata  singkat  yang  terdapat  pada  dokumen  telah disempurnakan menjadi kata yang seharusnya. Keterangan pada  nomor  4    merupakan    keluaran    dari    hasil normalisasi    kata  negasi,  dimana    kata  independen  yang diikuti kata negasi  akan  dinormalisasi  dengan mengganti kata  yang  bermakna  sama.  Keterangan  pada  nomor  5 merupakan keluaran dari hasil filtering, dimana kata-kata  yang    tidak  penting  seperti  kata  ganti,  kata keterangan,  kata  sambung,  kata  depan  dan  kata  sandang
dihilangkan.  Keterangan  pada  nomor  6  merupakan keluaran  dari  hasil stemming, dengan  mengembalikan kata-kata yang terdapat pada dokumen ke bentuk akar kata (kata dasar).

## G. Pembobotan TF-IDF
Hasil text preprocessing kemudian dilakukan tahap  pembobotan  agar  kemudian  dapat  dilakukan    tahap klasifikasi.  Hasil  keluaran  dari  tahap  pembobotan menggunakan  metode  TF-IDF  dapat  dilihat  pada Gambar 7.
Gambar. 7  Hasil pembobotan TF-IDF
Output pada  Gambar  7  tersebut  adalah  bobot-bobot angka  yang  dihasilkan  dari  mesin  yang  kemudian dilanjutkan ke tahap klasifikasi.

## H. Klasifikasi Naive Bayes
Hasil  dari  implementasi  metode Naive  Bayes Classifier yang  dilakukan  pada opinion  mining  machine dapat dilihat pada Gambar 8.

## Gambar. 8 Hasil klasifikasi oleh mesin
Gambar 8 diatas merupakan hasil prediksi dari testing data yang  digunakan  yang  selanjutnya  dilakukan pengujian  untuk  mengetahui  akurasi,  dan  parameter pengujian lainnya.

## I. Pengujian
Pengujian dilakukan dengan dua skenario pengujian,  skenario    pengujian    pertama dilakukan dengan training  data A  yang  berasal  dari  data tweets yang berjumlah 600 dokumen dengan sebaran  jumlah  dokumen  yang  merata  pada    setiap parameter. Sedangkan untuk skenario pengujian kedua,  menggunakan training  data B  yang  disusun berdasarkan  pola  “parameter  +  kata  independen”,  yang berjumlah  158  dokumen    dengan    sebaran  jumlah dokumen  yang  tidak  merata  pada  masing-masing parameter.
Pengujian  dilakukan  dengan  menggunakan  parameter pengujian akurasi , error rate, precision, recall, sensitivitas, dan spesifisitas.
Hasil  pengujian  pada  Tabel  5  dibawah  merupakan tabel  hasil  pengujian  pada  masing-masing  parameter (“ekonomi Indonesia”, “lapangan pekerjaan” dan “rupiah”) dan pengujian pada keseluruhan testing data (gabungan semua parameter) dengan total 540 dokumen.  Hasil  pengujian  dapat  dilihat  pada  Tabel  5 berikut ini.
TABEL V H ASIL P ENGUJIAN Parameter Penilaian Parameter Pengujian Skenario 1 Skenario 2 Ekonomi Indonesia Data Aktual: Total Opini  216 Opini Positif  161 Opini Negatif  55 TP 153 160 FN 8 1 TN 42 42 FP 13 13 Accuracy 90.28% 93.52% Error Rate 9.72% 6.48% Precision 92.17% 92.49% Recall 95.03% 99.38% Sensitivitas 95.03% 99.38% Spesifisitas 76.36% 76.36% Running Time 08 m 06 d 03 m 05 d Prediksi Opini Positif 166 = 76.85% 173 = 80.09% Prediksi Opini Negatif 50 = 23.15% 43 = 19.91%
Lapangan Pekerjaan Data Aktual: Total Opini  205 Opini Positif  93 Opini Negatif 112 TP 67 78 FN 26 15 TN 100 81 FP 12 31 Accuracy 81.46% 77.56% Error Rate 18.54% 22.44% Precision 84.81% 71.56% Recall 72.04% 83.87% Sensitivitas 72.04% 83.87% Spesifisitas 89.29% 72.32% Running Time 07 m 50 d 03 m 27 d Prediksi Opini Positif 79 = 38.54% 109 = 53.17% Prediksi Opini Negatif 126 = 61.46% 96 = 46.83%
Rupiah Data Aktual: Total Opini  119 Opini Positif  82 Opini Negatif  37 TP 80 82 FN 2 0 TN 33 36 FP 4 1 Accuracy 94.96% 99.16% Error Rate 5.04% 0.84% Precision 95.24% 98.80% Recall 97.56% 100% Sensitivitas 97.56% 100% Spesifisitas 89.19% 97.30% Running Time 06 m 09 d 01 m 13 d Prediksi Opini Positif 84 = 70.58% 83 = 69.75% Prediksi Opini Negatif 35 = 29.41% 36 = 30.25%
Gabungan Semua Parameter Data Aktual Total Opini  540 Opini Positif  336 Opini Negatif 204 TP 300 320 FN 36 16 TN 175 159 FP 29 45 Accuracy 87.96% 88.70% Error Rate 12.03% 11.30% Precision 91.18% 87.67% Recall 89.28% 95.24% Sensitivitas 89.28% 95.24% Spesifisitas 85.78% 77.94% Running Time 13 m 18 d 06 m 34 d Prediksi Opini Positif 329 = 60.93% 365 = 67.59% Prediksi Opini Negatif 211 = 39.07% 175 = 32.41%

## J. Analisis Hasil Pengujian
Pengujian  pada  parameter  “ekonomi  Indonesia” menggunakan  Skenario  1,  menghasilkan  nilai  akurasi sebesar  90.28%  dengan running  time 8  menit  6  detik, sedangkan  pada  pengujian  Skenario  2  menghasilkan  nilai akurasi  sebesar  93.52%  dengan running  time 3  menit  5 detik.
Pengujian  pada  parameter  “lapangan  pekerjaan” menggunakan  Skenario  1,  menghasilkan  nilai  akurasi sebesar  81.46%  dengan running  time 7  menit  50  detik, sedangkan  pada  pengujian  Skenario  2  menghasilkan  nilai akurasi  sebesar  77.56%  dengan running  time 3  menit  27 detik.
Pengujian  pada  parameter  “rupiah”  menggunakan Skenario  1,  menghasilkan  nilai  akurasi  sebesar  94.96% dengan running  time 6  menit  9  detik,  sedangkan  pada pengujian  Skenario  2  menghasilkan  nilai  akurasi  sebesar 99.16% dengan running time 1 menit 13 detik.
Pengujian  pada  “gabungan  semua  parameter” menggunakan  Skenario  1,  menghasilkan  nilai  akurasi sebesar  87.96%  dengan running  time 13  menit  18  detik, sedangkan  pada  pengujian  Skenario  2  menghasilkan  nilai akurasi  sebesar  88.70%  dengan running  time 6  menit  34 detik.
Berdasarkan  hasil  pengujian  yang  telah  dipaparkan pada  Tabel  5  dan  pada  penjelasan  diatas,  dapat  diketahui berdasarkan  “gabungan  semua  parameter”,  performa mesin  menjadi  lebih  baik  ketika  menggunakan  pengujian Skenario  2  ( training  data B),  dapat  dilihat  berdasarkan nilai  akurasi.  Hal  tersebut  diduga  karena training  data A yang  berasal  dari  data tweets, menghasilkan  data  yang kurang  bervariasi,  sehingga  akurasinya  sedikit  lebih rendah  dibanding  ketika  mesin  menggunakan training data B yang walaupun memiliki jumlah data yang terbatas, namun memiliki data yang lebih bervariasi sehingga dapat memprediksi testing data dengan lebih baik.
Berdasarkan running  time pada  masing-masing Skenario  pengujian,  baik  pada  pengujian  untuk  masing- masing  parameter  maupun  pengujian  untuk  gabungan semua parameter, running time pada pengujian Skenario 1 jauh  lebih  panjang  dibandingkan running  time pada pengujian Skenario 2. Hal tersebut dikarenakan dokumen pada training  data A  yang  digunakan  pada  pengujian Skenario 1 jauh lebih banyak dibandingkan dokumen pada training data B yang digunakan pada pengujian Skenario 2.
Berdasarkan kedua skenario pengujian yang dilakukan, jika  nilai  prediksi  (POP  dan  PON)  dibandingkan  dengan data  aktual  (opini  positif  =  336  dan  opini  negatif  =  204), maka  Skenario  1  menghasilkan  prediksi  dengan  selisih sebanyak  7  opini.  Sedangkan  Skenario  2  menghasilkan prediksi  dengan  selisih  sebanyak  29  opini.  Berdasarkan perbandingan  selisih  yang  diperoleh  dengan  Skenario  1 dan  Skenario  2,    Skenario  1  yang  menghasilkan  selisih lebih kecil justru memiliki nilai akurasi yang lebih rendah. Sedangkan  Skenario  2  yang  menghasilkan  selisih  lebih besar  justru  memiliki  nilai  akurasi  yang  lebih  tinggi. Seperti pengujian pada “ekonomi Indonesia”, hal tersebut dikarenakan  hasil  prediksi  pada  Skenario  1  jumlahnya lebih mendekati data aktual, namun nilai TP ( True Positif )
dan  TN  ( True  Negative) yang  dihasilkan  dari  prediksi tersebut lebih rendah dibandingkan nilai TP dan TN yang dihasilkan pada Skenario 2. Maka, nilai TP dan TN yang lebih  tinggi  pada  Skenario  2  otomatis  membuat  nilai akurasinya  menjadi  lebih  tinggi  dibandingkan  dengan Skenario  1,  walaupun  memiliki  selisih  yang  lebih  besar terhadap data aktual.
Berdasarkan pada kedua Skenario pengujian (Skenario 1  dan  Skenario  2),  nilai  akurasi  tertinggi  dan  terendah diperoleh pada parameter yang sama, yakni terendah pada “lapangan pekerjaan” (nilai akurasi 81.46%; 77.56%) dan tertinggi  pada  “rupiah”  (nilai  akurasi  94.96%;  99.16%). Akurasi  pada  “lapangan  pekerjaan”  lebih  rendah dibanding  parameter  lainnya  dikarenakan  struktur kata/kalimat  pada  dokumen testing  data “lapangan pekerjaan”  lebih  kompleks  dibanding  parameter  lainnya sehingga mesin bekerja lebih “ekstra”. Sedangkan akurasi tertinggi  yang  diperoleh  pada  “rupiah”  dikarenakan sebaliknya,  yakni  struktur  kata/kalimat  pada  dokumen testing  data “rupiah”  yang  lebih  sederhana,  sehingga mesin  mampu  mengklasifikasikan testing  data dengan sangat baik.
Berdasarkan  analisis  hasil  pengujian,  penelitian  ini mencoba  mengadopsi  tingkat  nilai  diagnosa  pada  Kurva ROC menurut [19] yang menyatakan: a. Akurasi bernilai 0.90-1.00 = excellent classification
b. Akurasi bernilai 0.80-0.90 = good classification
c. Akurasi bernilai 0.70-0.80 = fair classification
d. Akurasi bernilai 0.60-0.70 = poor classification e. Akurasi bernilai 0.50-0.60 = failure
Berdasarkan  tingkat  nilai  diagnosa  di  atas,  klasifikasi yang  dilakukan  oleh opinion  mining  machine dapat dinyatakan  sebagai  “ Good  Classification ” karena  pada pengujian  yang  dilakukan  terhadap  “Gabungan  Semua Parameter”  (keseluruhan testing  data )  menghasilkan akurasi  sebesar  87.96%  (Skenario  1)  dan  akurasi  sebesar 88.70% (Skenario 2).

## IV. K ESIMPULAN
Penelitian  yang  dilakukan  mampu  menghasilkan opinion  mining  machine dengan  pengimplementasian
Naive
Bayes Classifier sebagai algoritma pengklasifikasian,  sehingga  dapat  mengklasifikasikan tweets masyarakat  terkait  kinerja  presiden  dalam  aspek ekonomi ke dalam kelas positif dan negatif.
Berdasarkan analisis hasil pengujian, secara keseluruhan  (gabungan  semua  parameter) menghasilkan prediksi  yang  didominasi  oleh  opini  positif  terhadap kinerja  presiden.  Namun  jika  dianalisis  pada  masing- masing  parameter,  “ekonomi  Indonesia”  dan  “rupiah” menghasilkan  prediksi  yang  didominasi  dengan  opini positif,  sedangkan  “lapangan  pekerjaan”  didominasi dengan  opini  negatif.  Maka  dari  itu,  dapat  diketahui kinerja  presiden  pada  parameter  “ekonomi  Indonesia” dan  “rupiah”  dinilai  masyarakat  sudah  baik,  dan sudah  selayaknya  untuk  dapat  dipertahankan,  bahkan ditingkatkan. Sedangkan kinerja presiden terkait “lapangan  pekerjaan”,  diketahui  mayoritas  masyarakat beropini  negatif.  Maka  dari  itu,  diharapkan  hasil  tersebut dapat  memotivasi  presiden  untuk  terus  meningkatkan
performanya. Kinerja presiden  terkait  “lapangan pekerjaan”  dapat  dilakukan  evaluasi  kembali  dengan segala upaya untuk mencari jalan keluar atas permasalahan tersebut. Pemerintah dapat rutin melakukan opinion  mining (analisis  sentimen) untuk  mengetahui opini  rakyat  mengenai  kinerja-kinerjanya,  yang  tentunya dapat menjadi salah satu pertimbangan dalam  mengambil sebuah keputusan.
Mesin  klasifikasi  yang  dihasilkan  secara  keseluruhan (gabungan  semua  parameter)  dapat  dinyatakan  sebagai “ Good  Classification ”  dengan rentang nilai akurasi 80%- 90%.
Klasifikasi  menggunakan training  data A  yang berjumlah  600  dokumen  (pengujian  Skenario  1),  mesin mampu mengklasifikasikan testing data (gabungan semua parameter) dengan akurasi sebesar 87.96%  ( running time 13  menit  18  detik).  Sedangkan  klasifikasi  menggunakan training data B yang berjumlah 158 dokumen (pengujian Skenario  2),  mesin  mampu  mengklasifikasikan testing data dengan  akurasi  sebesar  88,70%  ( running  time 6 menit 34 detik). Dapat disimpulkan, performa mesin lebih unggul  ketika  menggunakan training  data B  dengan akurasi  yang  lebih  tinggi,  dan running  time yang  jauh lebih cepat dibandingkan dengan training data A.
Pola  “parameter  +  kata  independen”  yang  digunakan peneliti  dalam  penyusunan training  data B  dinyatakan berhasil dan cocok untuk penelitian ini karena mesin tetap dapat  mengklasifikasikan testing  data dengan  baik, bahkan  cukup  mampu  meningkatkan  performa  mesin menjadi lebih baik.
Berdasarkan pada kedua Skenario pengujian (Skenario 1  dan  Skenario  2),  nilai  akurasi  tertinggi  dan  terendah diperoleh pada parameter yang sama, yakni terendah pada “lapangan pekerjaan” (nilai akurasi 81.46%; 77.56%) dan tertinggi  pada  “rupiah”  (nilai  akurasi  94.96%;  99.16%). Hal tersebut dapat dipengaruhi pada kompleksitas struktur kata/kalimat  pada  masing-masing testing  data yang diperoleh dari tweets.
D AFTAR P USTAKA [1] Kumparan, "Kumparan," PT Dynamo Media Network, 20 Mei 2018. [Online].
Available: https://kumparan.com/kumparannews/indo-barometer- perekonomian-jadi-masalah-utama-setelah-reformasi. [Accessed 30 Agustus 2019].
[2] N.  Schoonderwoerd,  "PeerReach,"  PeerReach,  November  2013.
[Online].  Available:  http://blog.peerreach.com/2013/11/4-ways- how-twitter-can-keep-growing/. [Accessed 26 Juni 2019].
[3]
[4] P. Aliandu, "Twitter Used by Indonesian President: An Sentiment Analysis," Information Systems International Conference (ISICO), pp. 713-717, 2013.
G.  A.  Buntoro,  "Analisis  Sentimen  Calon  Gubernur  DKI  Jakarta 2017  di  Twitter," INTEGER:  Journal  of  Information  Technology, vol. 2, no. 1, pp. 32-41, 2017.
[5] S.  Budi,  "Text  Mining  untuk  Analisis  Sentimen  Review  Film Menggunakan Algoritma K-Means," Techno.COM , vol. 16, no. 1, pp. 1-8, 2017.
[6] I. Adiwijaya, "Text Mining dan Knowledge Discovery," Kolokium Bersama  Komunitas  Data  Mining  Indonesia  &  Soft-Computing Indonesia, pp. 1-9, 2006.
[7] E.  E.  Pratama,  "Otomatisasi  Proses  Penemuan  Informasi Berdasarkan  Kuesioner  Pelaksanaan  UTBK  di  Universitas Tanjungpura  Menggunakan  Metode  Text  Mining,"  in Seminar Nasional Penerapan Ilmu Pengetahuan dan Teknologi , Pontianak, 2019.
[8] N.  Marres,  Goldsmiths  and  E.  Weltevrede,  "Scraping  the  Social? Issues  in  Real-Time  Social  Research," Journal  of  Cultural Economy, pp. 313-335, 2013.
[9] M. A. Fauzi, "Docplayer," 2017.  [Online]. Available: https://docplayer.info/43185367-Text-pre-processing-m-ali- fauzi.html. [Accessed 26 Agustus 2019].
[10]   S.  B.  Kotsiantis,  D.  Kanellopoulos  and  P.  E.  Pintelas,  "Data Preprocessing  for  Supervised  Learning," International  Journal  of Computer Science, vol. 1, no. 2, pp. 111-117, 2006.
[11]   L.  Valatehan,  M.  Fachrurrozi  and  d.  O.  Arsalan,  "Identifikasi Kalimat  Pemborosan  Menggunakan  Rule  Based," Annual Research Seminar, vol. 2, no. 1, 2016.
[12]   K.  Dave,  S.  Lawrence  and  D.  M.  Pennock,  "Minning  the  Peanut Gallery:  Opinion  Extraction  and  Semantic  Classification  of Product Reviews," Proceedings of International World Wide Web Conference, pp. 519-528, 2003.
[13]   B.  Liu,  Sentiment  Analysis  :  Mining  Opinions,  Sentiments,  and Emotions, chicago: Cambridge University Press, 2015.
[14]   A.  Riyanto,  "Text  Summarization  dengan  Metode  K-Means  Pada Artikel  Berita  Berbahasa  Indonesia,"  Digital  Library  UNIKOM, Bandung, 2016.
[15]   S.  N.  J.  Fitriyyah,  N.  Safriadi,  and  E.  E.  Pratama,  "Analisis Sentimen  Calon  Presiden  Indonesia  2019  dari  Media  Sosial Twitter  Menggunakan  Metode  Naive  Bayes," JEPIN  (Jurnal Edukasi  dan  Penelitian  Informatika), vol.  5,  no.  3,  pp.  279-285, 2019.
[16]   R. Feldman and J. Sanger, The Text Mining Handbook:Advanced Approaches  to  Analyzing  Unstructured  Data,  Cambridge, England: Cambridge University Press, 2007.
[17]   C.  D.  Manning,  P.  Raghavan  and  H.  Schütze,  Introduction  to Information  Retrieval,  Cambridge:  Cambridge  University  Press, 2008.
[18]   G.  Berliana,  Shaufiah,  S.  Sa’adah,  "Klasifikasi  Posting  Tweet mengenai  Kebijakan  Pemerintah  Menggunakan  Naive  Bayesian Classification," E-Proceeding  of  Engineering, vol.  5,  no.  1,  pp. 1562-1569, 2018.
[19]   F.  Gorunescu,  Data  Mining  Concept  Model  Technique,  Berlin: Springer-Verlag Berlin Heidelberg, 2011.
[20]  J.  Han,  M.  Kamber  and  J.  Pei,  Data  Mining:  Concepts  and Techniques:  Concepts  and  Techniques  Third  Edition,  Waltham: Elsevier, 2012.
[21]  D.  Kuhlman,  A  Python  Book  :  Beginning  Python,  Advanced Python, and, United States: Platypus Global Media, 2013.
[22]  A. Hanafi, "Media Sosial Sebagai Penunjang Proses Perkuliahan," Jurnal Teknomatika, vol. 4, no. 1, pp. 31-44, 2011.
[23]  J.  L.  Gibson,  J.  M.  Ivancevich  and  J.  H.  Donnelly,  Organisasi: Perilaku, Struktur, Proses. Edisi keempat, Jakarta: Erlangga, 1994.
[24]  B. Prishardoyo, A. Trimarwanto and Shodiqin, Pelajaran Ekonomi SMP Kelas 2, Jakarta: PT Grasindo, 2005.
[25]  B.  Gunawan,  H.  S.  Pratiwi,  E.  E.  Pratama,  "Sistem  Analisis Sentimen  pada  Ulasan  Produk  Menggunakan  Metode  Naive Bayes," Jurnal Edukasi dan  Penelitian  Informatika, vol.  4, no.  2, pp. 113-118, 2018.