## SENTIMEN ANALISIS TWEET PORNOGRAFI KAUM HOMOSEKSUAL INDONESIA DI TWITTER DENGAN NAIVE BAYES

## Andre Maureen Pudjajana
Fakultas Teknologi Informasi, Program Studi Magister Sistem Informasi Universitas Kristen Satya Wacana Email: 972016024@student.uksw.edu
Danny Manongga Fakultas Teknologi Informasi Universitas Kristen Satya Wacana Email: dmanongga@gmail.com

## ABSTRAK
Media  sosial  adalah  salah  satu  media  yang  menghubungkan  orang-orang  diseluruh  dunia.  Namun media  sosial  juga  menjadi sarana untuk penyebaran  hal-hal  negatif seperti pornografi.  Berita pornografi yang mendapat banyak perhatian ditahun 2017 yaitu pornografi pada kaum homoseksual yang melakukan pesta  seks  di  beberapa  kota  di  Indonesia.  Kehadiran  para  kaum  homoseksual  dilarang  di  Indonesia  dan mendapat diskriminasi dari  masyarakat. Penolakan  yang dialami  membuat kaum  homoseksual  membuat kaum  tersebut  menggunakan  media  sosial  seperti  Twitter  untuk  membuka  diri  di  khalayak  umum, mencari pasangan sejenis, dan mencari penghasilan. Penelitian ini dilakukan sentimen analisis pada tweet Twitter sebagai text mining menggunakan metode Naïve Bayes. Tujuan penelitian ini adalah mengetahui hasil sentimen positif dan negatif terhadap data uji tweet dan berdasarkan hasil pengujian tersebut dapat disampaikan  kepada  pengguna  Twitter  secara  luas  untuk  menggunakan  Twitter  secara  tepat.  Selain  itu juga,  perhitungan  Naive  Bayes  dibandingkan  dengan k-Nearest  Neighbor (k-NN)  untuk  mengetahui tingkat akurasi. Hasil sentimen analisis terhadap 500 data uji menunjukkan bahwa nilai sentimen negatif sangat  tinggi  yaitu  68.4%.  Sedangkan  hasil  perbandingan  akurasi  kedua  metode  adalah  metode  Naïve Bayes sebesar 87.48% dan k-NN 85.40% dimana metode Naïve Bayes lebih akurasi dibanding metode k- NN.
Kata kunci: twitter, sentimen analisis, homoseksual, na ï ve bayes, k-NN.

## ABSTRACT
Social media is one of media that connects people around the world. However, social media is also a media for the spread of negative things such as pornography. The pornography news that gets a lot of attention  in  2017  is  homosexuals  pornography  who  have  sex  parties  in  several  cities  in  Indonesia.  The presence of homosexuals is prohibited in Indonesia and discriminated against by the public. The rejection experienced  by  homosexuals  make  them  using  social  media  such  as  Twitter  to  open  up  in  the  general public, looking for similar partners, and earn income. In this research, conducted sentiment analysis on Twitter  tweet  as  text  mining  using  Naive  Bayes.  The  purpose  of  this  research  is  to  know  the  results  of positive and negative sentiments to the test data tweets and based on the test results can be submitted to Twitter users  widely to  use Twitter appropriately.  In addition, the calculation  of  Naive Bayes compared with  k-Nearest  Neighbor  (k-NN)  to  determine  the  level  of  accuracy.  Result  of  sentiment  analysis  to  500 test  data  indicate  that  the  value  of  negative  sentiment  is  very  high  that  is  68.4%.  While  the  result  of comparison of both  method  accuracy is  Naïve Bayes method  equal  to  87.48% and k-NN 85.40%  where Naïve Bayes method more accuracy than k-NN method.
Keywords: twitter, sentiment analysis, homosexual, naïve bayes, k-NN.

## 1. PENDAHULUAN
Kemajuan  era  globalisasi  saat  ini  telah  memberi  dampak  positif  dan  negatif  diberbagai  bidang kehidupan.  Salah  satu  bidang  tersebut  adalah  kemajuan  teknologi  informasi  yang  membantu  dan mempermudah  manusia.  Namun  kemajuan  teknologi  juga  memberi  banyak  dampak  negatif  yang merugikan.  Media  sosial  merupakan  contoh  kemajuan  teknologi  informasi  pada  saat  ini  dan  menarik perhatian  banyak  orang.  Contoh  media  sosial  yang  umumnya  digunakan  yaitu  Facebook,  Twitter,
Instagram, dan Path. Media sosial menjadi salah satu media yang menghubungkan orang-orang di seluruh dunia. Namun kehadiran media sosial juga menjadi salah satu sarana untuk terjadinya hal-hal negatif yang merugikan seperti penyebaran status, gambar, dan video pornografi.
Berita  dalam  negeri  tentang  pornografi  yang  menarik  perhatian  banyak  pihak  di  tahun  2017  yaitu pornografi  pada  kaum  homoseksual  (kaum  gay)  yang  melakukan  pesta  seks.  Beberapa  berita  tersebut diantaranya  yaitu  pesta  seks  di  salah  satu  ruko  Kelapa  Gading,  Jakarta  Utara  [1],  pesta  seks  di  tempat sauna Harmoni, Jakarta Pusat [2], dan pesta seks di Hotel Oval, Surabaya [3]. Kaum homoseksual adalah kaum  laki-laki  yang  menyukai  sesama  laki-laki,  menjalani  hubungan  sebagai  pasangan,  atau  telah melakukan  hubungan seksual [4]. Indonesia adalah negera hukum  yang tidak  melegalkan atau melarang hubungan sesama jenis. Selain hukum, masyarakat Indonesia juga menolak kaum penyuka sesama jenis.
Penolakan  yang  dialami  oleh  kaum  homoseksual  membuat  kaum  tersebut  menggunakan  media sosial  untuk  membangun  identitas  diri.  Media  sosial  membantu  kaum  homoseksual  untuk  terbuka terhadap  khalayak  umum,  bersosialisasi  dengan  sesama  manusia  terutama  kaum  sesama  jenis, mendapatkan  pasangan,  hingga  mencari  penghasilan.  Beberapa  media  sosial  yang  dikhususkan  untuk kaum  homoseksual  yaitu  Grindr,  Badoo,  dan  Blued.  Namun  penelitian  ini  menggunakan  media  sosial Twitter  untuk  mendapatkan  data  dari  kaum  homoseksual.  Data  dari tweet Twitter  yang  merupakan text mining akan dilakukan sentimen analisis dan pengklasifikasian  menggunakan  metode Naïve Bayes serta dibandingkan dengan K-Nearest Neighbor .
Twitter merupakan salah satu media sosial dengan jutaan pengguna. Jumlah pengguna Twitter pada tahun 2016 yaitu sekitar 332 juta pengguna bulanan dengan 500 ribuan tweet setiap hari dan 200 milliaran tweet setiap tahun [5]. Twitter digunakan dalam penelitian ini karena proteksi terhadap tweet , gambar, dan video yang bersifat pornografi masih lemah sehingga bila ditelusuri secara khusus maka dapat ditemukan konten-konten pornografi dengan mudah.
Text  mining adalah  suatu  proses  penambangan  data  berupa  teks  yang  dilakukan  oleh  komputer dimana  data  tersebut  dapat  memberikan  informasi-informasi  untuk  dilakukan  analisa  keterhubungannya [6]. Sedangkan sentimen analisis adalah suatu riset  yang  mengelola opini-opini dari  topik tertentu untuk menghasilkan nilai positif, negatif, dan netral dari topik tersebut. Adapun opini-opini tersebut didapatkan melalui penambangan data dokumen, website , atau media sosial [6,7]. Beberapa  penelitian  sebelumnya  tentang  sentimen  analisis  diantaranya  adalah  penelitian  pertama membahas  tentang  analisis  sentimen  pasar  otomotif  mobil  pada tweet Twitter  dengan  metode  Naïve Bayes  dimana  pada  penelitian  ini  bertujuan  untuk  mengetahui  merek  mobil  terlaris  di  Twitter.  Hasil penelitian  ini  menunjukkan  bahwa  tingkat  akurasi  Naïve  Bayes  yaitu  93%  [6].  Penelitian  kedua  yaitu sentimen  analisis tweet berbahasa  Indonesia  dengan Deep  Belief  Network (DBN)  dan  hasil  DBN dibandingkan  dengan  Naïve  Bayes  dan Support  Vector  Machine (SVM).  Tujuan  penelitian  tersebut adalah untuk mengetahui hasil sentimen terhadap tweet berbahasa Indonesia di Twitter dan hasil akurasi DBN sebesar 93.31%, Naïve Bayes sebesar 79.10%, dan SVM sebesar 92.18% [7].
Berbeda dengan penelitian sebelumnya, tujuan dari penelitian ini adalah mengetahui hasil sentimen positif dan  negatif terhadap keseluruhan data uji tweet kaum homoseksual Indonesia di Twitter dan dari hasil  sentimen  analisis  tersebut  dapat  diinfokan  ke  publik  untuk  menggunakan  media  sosial  terutama Twitter secara tepat. Selain itu juga, untuk mengetahui perbandingan tingkat akurasi antara Naïve Bayes dengan k-Nearest Neighbor (k-NN).

## 2. METODOLOGI PENELITIAN

## 2.1 Penentuan Hashtag
Penelitian  ini  dimulai  dengan  menganalisis  dan  menentukan hashtag (#)  yang  sering  muncul  di Twitter  yang  berkaitan  dengan  homoseksual  di  Indonesia. Hashtag pada  Twitter  membantu  dalam mengumpulkan data tweet sehingga data penelitian akan lebih terarah. Terdapat lima hashtag yang dipilih dalam penelitian ini yaitu #gayindonesia, #rtgay, #gaybrondong, #gaybocah, dan #pijatgay.

## 2.2 Pengumpulan Data
Pengumpulan  data  dilakukan  berdasarkan hashtag Twitter  yang  telah  dipilih.  Data  didapat  dengan mengunakan  Twitter  API  dengan tools yang  digunakan  yaitu  Rapidminer  Studio  versi  7.6.1.  Data-data tersebut  disimpan  ke  Microsoft  Excel  2016  dimana  setiap hashtag terdiri  dari  500  data.  Gambar  1 menunjukkan proses pengumpulan data menggunakan Rapidminer Studio.

## Gambar 1. Proses Pengumpulan Data
Proses  pengumpulan  data  dimulai  dari  mengatur  Twitter  API  di  Rapidmaner  Studio.  Kemudian Twitter  API  dihubungkan  ke  internet  untuk login Twitter.  Langkah  berikutnya  adalah  memasukkan hashtag dan memilih bahasa Indonesia lalu dijalankan dan data akan tampil sesuai hashtag tersebut. Data dalam  Rapidmaner  Studio  disimpan  ke  Microsoft  Excel  untuk  dilakukan  proses  selanjutnya.  Tabel  1 menunjukkan beberapa contoh data tweet dengan hashtag #gayindonesia
Tabel 1. Contoh Data Tweet Twitter dengan Hashtag #gayindonesia Username Tweet realsansan @GayIndonesia stay di medan 20 y.o min wa 083879937174 cari buat apa aja #gayindonesia#rtgay iwan RT @AbiRezaa: Libur panjang saatnya ngentot enak @Ony_ron @sem_fack @abutomy93 @AhmadHarahap15 @nughanizm2 #gayindonesia#gaymedan #gayngentot #anal #gay… David Malaka @nyoman_satrya @TurnBackPorn2nd @SuteraJo @tindikpentil @GayIndonesia awas penyakit maaaas,jgn asal masukin doank #gayindonesia Gigih Arjuna Mksh yg sudah BOKING SAYA di PURWOKERTOWA 08157686707 #gayindonesia #rtsurabaya#gaypurwokerto#gaysmp Joshua Malam Surabaya... Malam mingguan yuuk.. #surabaya#gaysurabaya #gayindonesia#gaybrondong#gayindonesia

## 2.3 Proses Proprocessing
Tujuan  dari preproccesing adalah  untuk  membersihkan  data,  menghilangkan tweet yang  muncul berulang,  dan  membakukan  kalimat  yang  tidak  baku  sehingga  mendapatkan  data  bersih.  Tahap preprocessing dalam penelitian ini sebagai berikut :
a. Seleksi Komentar
Data  yang  telah  dikumpulkan  pada  tahap  pengumpulan  data  ternyata  ada  data  yang  berulang dikarenakan  adanya re-tweet tanpa  diberikan  komentar. Re-tweet merupakan  salah  satu  fitur Twitter  untuk  membagikan tweet milik  orang  lain.  Data-data  yang  berulang  diseleksi  dan dihapus  untuk  memaksimalkan  penelitian.  Hasil  seleksi  komentar  didapatkan  data-data  yang akan digunakan dalam penelitian.
b. Cleaning
Cleaning merupakan  proses  pembersihan  tiap tweet dari  hal-hal  yang  tidak  dibutuhkan  dalam penelitian. Beberapa hal yang akan dilakukan proses cleaning pada penelitian ini yaitu emoticon , hashtag , username (@username), dan URL (http://www.website.com). c. Normalisasi Kalimat
Normalisasi  kalimat  merupakan  proses  untuk  mengubah  data tweet yang  tidak  baku  menjadi kalimat  baku.  Hal  ini  dilakukan  karena  ditemukan  banyak tweet yang  menggunakan  kalimat tidak baku sehingga akan sulit dilakukan pengujian data. Contoh, apabila ditemukan kata “gk”, “nggak”, “tdk” maka akan diubah dengan kata “tidak”.
d. Tokenisasi
Proses  tokenisasi  merupakan  proses  memecahkan  data  menggunakan  spasi  untuk  dijadikan token-token. Proses ini merupakan proses akhir untuk mendapatkan data yang akan diolah untuk sentimen analisis.

## 2.4 Pembuatan Data Latih
Penelitian  ini  membagi  data-data  yang  telah  dilakukan  proses preprocessing menjadi  dua  bagian yaitu data latih dan data uji. Pembuatan data latih ini bertujuan sebagai pedoman dalam menentukan hasil data uji dan pada penelitian ini menggunakan 200 data data latih untuk setiap hashtag .

## 2.5 Sentimen Analisis
Sentimen  analisis  adalah  suatu  riset  yang  mengelola  opini-opini  dari  topik  tertentu  untuk menghasilkan  nilai  positif,  negatif,  dan  netral  dari  topik  tersebut  [6].  Data  uji  penelitian  akan  diujikan secara  manual  dan  berdasarkan  data  latih  yang  telah  dibuat  dengan  menggunakan  metode  Naïve  Bayes. Hasil dari pengujian tersebut akan berupa P = sentimen postif dan N = sentimen negatif. Selain itu, hasil perhitungan Naïve Bayes akan dibandingkan dengan hasil perhitungan k-Nearest Neighbor (k-NN) untuk mengetahui tingkat keakurasian metode Naïve Bayes dalam penelitian ini.

## 2.6 Metode Naïve Bayes
Metode Naïve Bayes adalah metode klasifikasi yang digunakan untuk menentukan kelompok kelas. Metode  ini  dapat  mengelola  data  dalam  jumlah  besar  dengan  hasil  akurasi  yang  tinggi.  Rumus  Naïve Bayes ditunjukkan dalam persamaan 1 [8].
(1)
Keterangan : P(C j |W i ) = Posterior ,  adalah  kemunculan  peluang  pada  kategori j tertentu  ketika  terdapat kemunculan kata i . P(C j ) = Prior , adalah peluang kemunculan dokumen pada kategori j . P(W i |C j ) = Likehood atau Conditional  Probability ,  adalah  peluang  sebuah  kata i masuk  ke  dalam kategori j . P(W i ) = Evidence , peluang kemunculan suatu kata. i = indeks kata yang berawal dari 1 sampai dengan kata ke-k. j = indeks kategori yang berawal dari 1 sampai dengan kategori ke-n.

## 2.7 K-Nearest Neighbor (k-NN)
K-NN  adalah  metode  untuk  melakukan  klasifikasi  terhadap  objek  berdasarkan  data training yang menggunakan jarak terdekat atau kemiripan pada objek tertentu. K-NN bekerja pada jarak terpendek dari query distance ke data training sample untuk menentukan k-NNnya. Sebuah titik pada suatu ruang akan mencari  kelas  dengan  klasifikasi  data training  sample terbanyak  pada  k  buah  tetangga  terdekat.  Dekat jauhnya  tetangga  dihitung  berdasarkan Euclidean  Distance [9].  Rumus  k-NN  ditunjukkan  pada persamaan 2.
(2)
Keterangan : x 1 = data latih x 2 = data uji i = variabel data d = jarak p = dimensi data

## 3. HASIL DAN PEMBAHASAN
Penelitian  ini  bertujuan untuk mengetahui  sentimen analisis dari tweet homoseksual di Twitter dan membandingkan  hasil  klasifikasi  antara  metode  Naïve  Bayes  dan  k-NN.  Selain  itu,  hasil  penelitian  ini juga mengingatkan masyarakat Indonesia untuk menggunakan media sosial secara tepat, bijak, dan untuk hal-hal yang bernilai positif.
Penelitian  ini  melakukan  sentimen  analisis  dengan  menguji  500  data tweet dimana  setiap hashtag terdiri dari 100 data. Hasil pengujian ditunjukkan pada tabel 3.
Tabel 3. Rincian sentimen analisis Hashtag Sentimen Positif Sentimen Negatif #gayindonesia 33% 67% #rtgay 30% 70% #gaybrondong 30% 70% #gaybocah 31% 69% #pijatgay 34% 66% Total 31.6% 68.4%
Hasil sentimen analisis  yaitu total rata-rata nilai sentimen  negatif paling tinggi dibanding sentimen positif.    Hal  tersebut  menunjukkan  bahwa  Twitter  digunakan  oleh  kaum  homoskesual  untuk  saling berinteraksi tentang hal-hal yang bernilai negatif.
Selanjutnya,  hasil  sentimen  analisis  dengan  menggunakan  metode  Naïve  Bayes  dibandingkan dengan  hasil  pengujian  k-NN  untuk  mengetahui  tingkat  akurasi.  Hasil  pengujian  kedua  metode tersebut akan ditampilkan dalam nilai akurasi, presisi, recall , dan F1 -score . Tabel 4 menunjukkan hasil pengujian klasifikasi dengan Naïve Baiyes.
Tabel 4. Hasil pengujian naïve bayes Hashtag Akurasi Presisi Recall F1-score #gayindonesia 90.81% 87.5% 84.85% 86.15% #rtgay 84.85% 77.78% 70.00% 73.68% #gaybrondong 90.00% 95.45% 70.00% 80.77% #gaybocah 83.84% 89.47% 54.83% 68.00% #pijatgay 87.88% 92.31% 70.59% 80.00% Total 87.48% 88.50% 70.05% 77.72%
Berdasarkan  tabel  4  maka  diketahui  bahwa  hasil  akurasi  perhitungan  klasifikasi  dengan  metode Naïve  Bayes  yaitu  87.48%,  presisi  88.50%, recall 70.05%,  dan  F1- score 77.72%.  Sedangkan  hasil pengujian dengan k-NN ditunjukkan dalam tabel 5.
Tabel 5. Hasil pengujian k-NN Hashtag Akurasi Presisi Recall F1-score #gayindonesia 91.00% 72.27% 100.00% 84.21% #rtgay 85.00% 51.85% 87.50% 62.12% #gaybrondong 81.00% 13.63% 100.00% 24.00% #gaybocah 85.00% 36.84% 70.00% 48.28% #pijatgay 85.00% 46.15% 92.31% 61.53% Total 85.40% 44.15% 89.96% 56.03%
Berdasarkan  tabel  5  maka  diketahui  bahwa  hasil  akurasi  perhitungan  klasifikasi  dengan  metode  k- NN  yaitu  85.40%,  presisi  44.15%, recall 89.96%,  dan  F1- score 56.03%.  Proses  selanjutnya  adalah membandingkan  akurasi  Naïve  Bayes  dan  k-NN.  Perbandingan  dilakukan  dengan  melihat  nilai  akurasi rata-rata  dari  kelima hashtag yang  diuji  coba.  Hasil  perbandingan  yaitu  nilai  akurasi  Naïve  Bayes  lebih besar 2.08% dari k-NN yang artinya bahwa dalam penelitian ini metode Naïve Bayes merupakan metode yang memiliki nilai akurasi tinggi dan cocok digunakan untuk melakukan klasifikasi.
Berdasarkan  hasil  sentimen  analisis  dan  pengujian  metode  Naïve  Bayes  maka  diketahui  bahwa penggunaan  Twitter  secara  bebas  membuat  kaum  homoseksual  berani  tampil  dan  semakin  membuka identitas diri kepada banyak orang. Pengamatan secara langsung ke data tweet ditemukan bahwa Twitter menjadi  sarana  yang  baik  untuk  saling  berkomunikasi  diantaranya  adalah  mencari  pasangan  sejenis, ajakan  untuk  melakukan  hubungan  seks,  saling  berbagi  foto-foto  seks  dan  masturbasi,  dan  penawaran pijat plus (pijat dan diakhir  hubungan seks). Sedangkan untuk sentimen positif  menurut data ditemukan tweet bernilai positif berisi peringatan dan berita tentang penyimpangan dan penyakit menular seksual dan penjualan produk umum.
Penyebaran  informasi,  foto,  dan  video  yang  berkaitan  dengan  pornografi  termasuk  pornografi homoseksual  dapat  ditemukan  dengan  mudah  di  Twitter.  Penggunaan  Twitter  secara  luas  dan  bebas
membuat  Twitter  menjadi  media  yang  dapat  meningkatkan  pengaksesan  pornografi  di  Indonesia. Peningkatan  tersebut  tentunya  akan  memicu  terjadinya  kejahatan  seksual  dan  berbagai  penyimpangan lain.  Hasil  penelitian  ini  mengingatkan  kepada  para  pengguna  Twitter  untuk  lebih  selektif  dan  kritis dalam penggunaannya.

## 4. KESIMPULAN
Berdasarkan  penelitian  yang  telah  dilakukan  maka  didapat  kesimpulan  bahwa  penelitian  ini menggunakan lima hashtag yang berkaitan dengan pornografi homoseksual untuk mendapatkan data dari Twitter.  Hasil  sentimen  analisis  terhadap  kelima hashtag tersebut  menunjukkan  bahwa  nilai  sentimen negatif sangat tinggi dengan total rata-rata adalah 68.4%. Hasil sentimen tersebut dapat  diartikan bahwa Twitter menjadi salah satu media berkomunikasi oleh kaum homoseksual di Indonesia. Kehadiran Twitter membantu  kaum  homoseksual  tersebut  untuk  membuka  diri  dan  saling  berbagi  hal-hal  negatif  dengan sesama kaum tersebut. Penelitian ini menggunakan metode Naïve Bayes dalam melakukan klasifikasi dan untuk  mengetahui  keakurasian  dari  metode  tersebut  maka  dilakukan  perbandingan  dengan  k-NN.  Hasil perbandingan  kedua  metode tersebut  berdasarkan total  rata-rata  pengujian  kelima hashtag adalah  Naïve Bayes sebesar 87.48%, dan k-NN sebesar 85.40%. Jadi, metode Naïve Bayes memiliki nilai akurasi lebih baik dari metode k-NN.

## DAFTAR PUSTAKA
[1] Purba, D. O., 2017. “ Ini Kronologi Penggerebekan Pesta Kaum Gay di Kelapa Gading ” . Tersedia: http://megapolitan.kompas.com/read/2017/05/22/17453141/ini.kronologi.penggerebekan.pesta.kaum .gay.di.kelapa.gading. Diakses: 3 Oktober 2017.
[2] Ayu,  R.,  2017. “ Penggeberekan  Pesta  Gay  di  Harmoni  Bermula  dari  Hal  ini ” .  Tersedia:
http://www.tribunnews.com/metropolitan/2017/10/07/penggerebekan-pesta-gay-di-harmoni- bermula-dari-hal-ini. Diakses: 3 Oktober 2017.
[3] Priyonggo, R., 2017. “ Sudah Telanjang, Pesta Seks Kaum Gay di Hotel Oval Digerebek ” . Tersedia: http://beritajatim.com/gaya_hidup/296626/sudah_telanjang,_pesta_seks_kaum_gay_di_hotel_oval_d igrebek.html. Diakses: 3 Oktober 2017.
[4] Grov, C., Breslow, A. S., Newcomb, M. E., Rosenberger, J. G., and Bauermeister, J. A., 2014.  “Gay and Bisexual Men’s Use of the Internet: Research from the 1990s through 2013”, J Sex Res.
[5] Maulana,  A.,  2017. “ Twitter  Rahasiakan  Jumlah  Pengguna  di  Indonesia ” .  Tersedia: https://www.cnnindonesia.com/teknologi/20160322085045-185-118939/twitter-rahasiakan-jumlah- pengguna-di-indonesia/. Diakses: 10 November 2017.
[6] Rustiana,  D.,  and  Rahayu,  N.,  2017.    “Analisa  Sentimen  Pasar  Otomotif  Mobil:  Tweet  Twitter menggunakan Naïve Bayes”, Jurnal Simetris 8 . 1, 113-120.
[7] Zulfa,  I.,  and  Winarko,  E.,  2017.    “Sentimen  Analisis  Tweet  Berbahasa  Indonesia  dengan  Deef Belief Network”, IJCSS 11 . 2, 187-198.
[8] Lestari, A. R. T., Perdana, R. S., and Fauzi, M. A., 2017.  “Analisa Sentimen Tentang Opini Pilkada DKI  2017  Pada  Dokumen  Twitter  Berbahasa  Indoensia  Menggunakan  Naïve  Bayes  dan Pembobotan  Emoji”, Jurnal  Pengembangan  Teknologi  Informasi  dan  Ilmu  Komputer 1 . 12,  1718- 1724.
[9] Riany, J., Fajar, M., and Lukman, M. P., 2016.  “Penerapan Deep Sentiment Analysis pada Angket Penilaian Terbuka Menggunakan K-Nearest Neighbor”, Jurnal Sisfo 6 . 1, 147-156.
[10] Ling, J., Kencana, I. P. E., and Oka, T. B., 2014.  “Analisis Sentimen Menggunakan Metode Naïve Bayes Classifier dengan Seleksi Fitur Chi Square”, E-Jurnal Matematika 3.