## Sentiment Analysis Terhadap Tweet Bernada Sarkasme Berbahasa Indonesia
Lanny Septiani 1 , Yuliant Sibaroni 2
Fakultas Informatika, Universitas Telkom Jl Telekomunikasi No.1 Bandung
1 lannyspt@students.telkomuniversity.ac.id
2 yuliant@telkomuniversity.ac.id
Abstrak— Sarkasme dapat mengubah polaritas kalimat dari positif atau negatif menjadi sebaliknya. Sementara senti-men analisis  pada  sosial  media  sudah  banyak  dimanfaatkan, tetapi masih jarang sekali ditemukan sentimen analisis yang mempertimbangkan  pendeteksian  sarkasme  didalamnya. Hal ini tentu akan mempengaruhi kualitas dari hasil analisis. Percobaan  mengenai  sentimen  analisis  dengan  pendeteksian sarkasme  lebih  sering  ditemukan  pada  penggunaan  bahasa Inggris.  Oleh  karena  itu,  dengan  mengacu  pada  penelitian yang  dilakukan  pada  tweet  berbahasa  Inggris,  pada penelitian  ini  kami  menganalisa  sentimen  analisis  bernada sarkasme  pada  Tweet  berbahasa  Indonesia  dengan menggunakan  fitur  interjeksi  dan  unigram  sebagai  fitur utama oendeteksi kalimat sarkasme serta membandingkan 2 metode  klasifikasi  yaitu  Naive  Bayes  dan  Support  Vector Machine  dengan  kernel  polinomial.  Fitur  interjeksi menyatakan fitur yang memuat kata-kata yang mengungkapkan perasaan dan maksud seseorang, sedangkan  fitur  unigram  merupakan  kumpulan  kata tunggal  yang  diperoleh  dari  korpus  secara  otomatis.  Hasil eksperimen  menunjukkan  penggunaan  fitur  interjeksi  dan unigram  sebagai  pendeteksian  sarkasme  pada  tweet berbahasa Indonesia mampu  meningkatkan akurasi  dengan rata-rata  kenaikan  akurasi  lebih  dari  8%  untuk  classifier Naive  Bayes  dan  lebih  dari  13%  untuk  classifier  Support Vector  Machine  dibandingkan  hanya  menggunakan  fitur unigram  saja.  Hasil  lainnya  adalah  akurasi  terbaik  adalah metode  Naive  Bayes  dengan  akurasi  terbaik  yang  diperoleh mencapai lebih dari 91.
Kata kunci — sentimen analisis, sarkasme, twitter, interjeksi, bahasa Indonesia

## I. P ENDAHULUAN
Di-era  globalisasi  ini,  penggunaan  sosial  media semakin  meningkat.  Orang-orang  memanfaatkan  sosial media  sebagai  sarana  penyampaian  aspirasi  dan pendapatnya  terhadap  suatu  hal  secara  bebas  di  internet. Salah  satu  sosial  media  yang  sering  digunakan  untuk beraspirasi  adalah  Twitter.  Twitter  dianggap  sebagai sosial  media  yang  mudah  untuk  digunakan  dan  sangat cepat dalam menyebarkan informasi.
Kini  penggunaan  Twitter  tidak  hanya  sebatas kepentingan  pribadi  saja,  namun  sering  dikaitkan  erat dengan beberapa topik lainnya seperti kepentingan politik maupun bisnis. Perusahaan atau instansi  terkait membutuhkan  pendapat  atau  aspirasi  dari  pengguna Twitter secara umum untuk tujuan tertentu, salah satunya dengan  melakukan  analisis  sentimen  terhadap  pendapat umum tersebut.
Sentimen analisis adalah riset komputasional dari opini, sentimen, dan emosi yang diberikan secara tekstual untuk menentukan  apakah  teks  tersebut  bermakna  positif  atau negatif.  Dalam  kalimat  sarkasme,  hal  yang  terjadi  justru berbeda  dimana  kalimat  sarkasme  umumnya  justru bermakna  positif  tetapi  menggambarkan  situasi  yang sebaliknya[1]. Berdasarkan hasil penelitian yang dilakukan  oleh  Antonakaki  dkk.[2]  pada  saat  masa pemilihan  presiden  Amerika  Serikat,  tercatat  11% pengguna Twitter yang aktif dalam isu pemilihan presiden tersebut menggunakan kalimat sarkasme dalam mengutarakan  pendapatnya.  Hal  ini  membuktikan  bahwa penggunaan  majas  sarkasme  pada  sosial  media  Twitter masih sering ditemukan. Menurut  Lunando dan Purwarianti [3] menyatakan bahwa kalimat sarkasme pada topik  makanan,  kehidupan,  dan  kesehatan  jarang  sekali ditemukan.  Akan  tetapi  pada  topik  pemerintahan,  merek, atau  politik  penggunaan  kalimat  sarkasme  sering ditemukan. Maynard dan Greenwood dalam penelitiannya, menyatakan bahwa sarkasme digunakan oleh orang-orang karena  dianggap  sebagai  bentuk  penyampaian  emosi dengan tujuan menghibur, sehingga penggunaan sarkasme terlihat  tidak  terlalu  serius  namun  emosi  yang  ingin disampaikan tetap tersirat[4].
Menentukan  sentimen  pada  kalimat  sarkasme  masih menjadi  sesuatu  yang  sulit  dilakukan  dalam  pemrosesan teks,  bahkan  oleh  manusia  sekalipun.  Sarkasme  adalah suatu  majas  yang  dimaksudkan  untuk  menyindir,  atau menyinggung  seseorang  atau  sesuatu.  Majas  ini menggunakan  kata  yang  terbalik  dari  maksudnya  dan memiliki  struktur  penulisan  yang  tidak  baku,  sehingga sulit  untuk  dideteksi.  Hal  ini  diperkuat  oleh  pernyataan Rajadesingan  dkk.  [5]  bahwa  salah  satu  karakter
penggunaan  sarkasme  adalah  sarkasme  sebagai  sentimen yang saling kontras.
Adanya  sarkasme  pada  data  dalam  proses  analisis sentimen,  dapat  mengakibatkan  kesalahan  pada  hasil klasifikasi  karena  ambiguitas  yang  dimilikinya,  dan  hal tersebut  akan  mempengaruhi  hasil  akurasi  dan  kualitas dari analisa yang dilakukan[4], [6]. Oleh karena itu, perlu dilakukan  pendeteksian  sarkasme  pada  proses  analisis sentimen agar hasil akurasi lebih akurat.
Dalam  penelitian  ini  diusulkan  pendeteksian  sarkasme berbasis  klasifikasi  teks  dengan  pendekatan supervised learning. Fitur utama yang digunakan dalam penelitian ini adalah  fitur  unigram  dan  interjeksi  dengan  metode classifier yang digunakan adalah Naive Bayes dan Support vector  Machine .  Fitur  unigram  adalah  fitur  yang umumnya  digunakan  dalam  klasifikasi  teks  dan  dapat diekstraksi  secara  otomatis  menyesuaikan  korpus  data. Sedangkan fitur interjeksi sendiri merupakan fitur penting dalam proses klasifikasi kalimat sarkasme[3].
Adapun  batasan  masalah  pada  penelitian  ini  adalah dataset  yang  digunakan  merupakan  hasil crawling berdasarkan  kata  kunci  #sarkasme  untuk  mempersempit ruang  lingkup  dataset  yang  digunakan,  sehingga  hasil analisa  akan  lebih  maksimal.  Selain  itu,  Polaritas  hasil sentimen  analisis  diklasifikasikan  menjadi  dua  kategori yaitu sarkasme dan bukan sarkasme saja.
Tujuan  yang  akan  dicapai  pada  penelitian  ini  adalah, untuk  menganalisa  pengaruh  fitur  interjeksi  dan  unigram dalam  klasifikasi  kalimat  sarkasme  berbahasa  Indonesia. Analisis  sentimen  dengan  pendeteksian  sarkasme  pada Tweet berbahasa Indonesia masih jarang dilakukan, hal ini dikarenakan  penggunaan  sosial  media  dalam  bahasa Indonesia  digunakan  secara  tidak  baku  sehingga  sulit untuk  dianalisis.  Tercatat  baru  beberapa  penelitian  yang fokus dalam bidang penelitian ini[3], [7]–[9].
Pada  penelitian  Bouazizi  dan  Ohtsuki  [10],  hanya dilakukan percobaan menggunakan 1 metode pengklasifikasian  yaitu  Naive  Bayes  saja  dengan menggunakan  4  fitur  pendeteksi  sarkasme  yaitu  fitur sentiment-related , fitur punctuation-related , fitur syntactic & semantic dan  fitur  pattern.  Penelitian  yang  yang dilakukan  Bouazizi  dan  Ohtsuki  dilakukan  dalam  domain bahasa Inggris.
Dalam  makalah  ini  diusulkan  penelitian  pendeteksian sarkasme  menggunakan  untuk  domain  bahasa  Indonesia. Classifier yang  digunakan  dalam  penelitian    ini  adalah Naive Bayes dan Support Vector Machine , yaitu classifier yang  sering  digunakan  dalam  klasifikasi  teks[11]– [15]. .Terdapat 2 fitur yang diusulkan untuk mengidentifikasi  kalimat  sarkasme  yaitu  unigram  dan jumlah  kata  interjeksi.  Penelitian    yang  diusulkan  ini melengkapi  penelitian  sebelumnya  [3],  dimana  dalam penelitian  ini  fitur  interjeksi  digabungkan  dengan  fitur unigram.  Dua  fitur  ini  digabungkan  agar  dapat mengidentifikasi  kalimat  sarkasme  dengan  lebih  baik
sehingga  berpotensi  memberikan  hasil  yang  lebih  baik dibandingkan  penelitian  klasifikasi  kalimat  sarkasme bahasa Indonesia lainnya.

## II. R ISET T ERKAIT
Dalam  beberapa  tahun  terakhir,  sentimen  analisis  pada sosial  media  menarik  perhatian  banyak  peneliti.  Tetapi, seiring  dengan  dilakukannya  penelitian  ini,  masih ditemukan  banyak  faktor  yang  membuat  hasil  analisis sentimen kurang akurat dalam pemrosesannya.
Antonakaki  dkk.  [2]  menyatakan  bahwa  salah  satu faktor  yang  menjadi  tantangan  dalam  sentimen  analisis sosial  media  adalah  adanya  penggunaan  majas  sarkasme pada  penyampaian  pendapat  di  sosial  media.  Terca-tat sebanyak  11%  pengguna  Twitter  menggunakan  bahasa sarkasme  dalam  menyatakan  pendapatnya  terkait  isu pemilihan presiden  Amerika  Serikat  saat itu.  Hal  ini  juga dibuktikan  oleh  Lunando  dan  Purwaranti[3]  bahwa penggunaan  sarkasme  pada  topik  sensitif  seperti  politik, merek,  dan  pemerintahan  lebih  sering  ditemukan.  Dari pengamatannya terhadap 100 tweet dengan topik makanan, kehidupan,  dan  kesehatan  hanya  terdapat  2  tweet  yang terindikasi sarkasme. Sedangkan untuk 100 tweet bertopik pemerintahan,  merek,  dan  politik  ditemukan  18  tweet sarkasme.
Sarkasme  itu  sendiri  merupakan  topik  pembelajaran dari  cabang  Psikologi,  dan  dinyatakan  masih  sulit  untuk diidentifikasi  oleh  manusia  karena  penggunaannya  yang tidak memiliki struktur yang pasti atau baku. Maynard dan Greenwood  [4]  mengategorikan  penggunaan  sarkasme dalam 3 hal, yaitu : i) Sarkasme dengan tujuan menghibur, ii)  Sarkasme  sebagai  bentuk penyampaian  kekesalan atau amarah,  dan  iii)  Sarkasme  dengan  tujuan  untuk menghindari  memberikan  jawaban  yang  jelas  terhadap suatu pertanyaan.
Seiring  dengan  semakin  berkembangnya  penggunaan sarkasme  pada  sosial  media,  beberapa  penelitian  analisis sentimen  dengan  pendeteksian  sarkasme  juga  mulai banyak dikembangkan.
Rajadesingan  dkk.[5]  melakukan  penelitian  terhadap penggunaan  sarkasme  sosial  media  Twitter.  Menurutnya, ada  4  karakter  penggunaan  sarkasme  yang  ditemukan yaitu : i) Sarkasme sebagai sentimen yang saling kontras, ii)  Sarkasme  sebagai  penyampaian  ekspresi  melalui tulisan  yang  kompleks,  iii)  Sarkasme  sebagai  tujuan penyampaian  emosi/perasaan,  dan  iv)  Sarkasme  sebagai bentuk ekspresi yang ditulis.
Bouazizi  dan  Ohtsuki  [10]  pada  penelitiannya mengusulkan  4  set  ekstraksi  fitur  yang  digunakan  untuk mendeteksi  sarkasme.  Fitur  pertama  adalah  fitur sentiment-relate digunakan  untuk  mendeteksi  sarkasme
dengan  bentuk  ekspresi  positif  pada  konteks  negatif. Selanjutnya,  fitur  punctuation-relate  digunakan  untuk mendeteksi  sarkasme  dengan  bentuk  ekspresi  wajah  atau intonasi  dengan  nada  rendah.  Kemudian,  fitur lexical and syntactic  digunakan  untuk  mendeteksi  sarkasme  dengan bentuk kalimat yang ambigu dengan tujuan menyembunyikan maksud asli dari kalimat. Terakhir, fitur pattern-relate  digunakan  untuk mendeteksi  pola  sarkasme yang terdapat pada suatu kalimat.

## III. M ETODE P ENELITIAN
Analysis  sentiment dalam  penelitian  ini  dilakukan dengan  cara  melakukan  klasifikasi  kalimat tweet dalam kelas  sarkasme  atau  non-sarkasme. Proses  klasifikasi dilakukan  dalam  beberapa  tahapan,  yaitu  pengumpulan dan  pelabelan  data, pre-processing ,  ekstraksi  fitur, klasifikasi sentimen, perhitungan kinerja, dan evaluasi.

## A. Pengumpulan Dan Pelabelan Data
Dataset  yang  digunakan  pada  penelitian  ini  diperoleh dari  hasil crawling menggunakan Twitter  Scrapper dengan  kata  kunci  pencarian  #sarkasme.  Dataset  yang didapat  kemudian  dilabelkan  dalam  kelas  sarkasme  atau non-sarkasme.  Dari  hasil  proses  pelabelan  tersebut diperoleh  3892  Tweet  dimana  1945  kalimat  berlabel sarkasme  dan  1947  kalimat  berlabel  non-sarkasme. Contoh  dataset tweet  yang diperoleh,  dapat  dilihat  dalam Tabel I.
TABEL I CONTOH DATASET YANG DIGUNAKAN No Tweet
1 RT @aispod: Eh liat langit deh! Ada awan bentuknya huruf ”JAKARTA DIGOYANG” sama penari dangdut #sarkasme
2 Maafin aku yg dulu blm punya kamera 260 dan software FotoRus dan BeautyPlus. Percayalah aku malah lbh jelek #sarkasme https://twitter.com/hipwee/status/734249192273645568?y ??¨
3 Agresif terhadap rakyat/aktivis, tapi jinak ketika berhadapan dngn koruptor/teroris/penguasa!!!
#FuckElitePolitik #sarkasme #MyQuote
4 Bandara Halim baiknya untuk militer & DPR aja ya pak? #sarkasme
5 Poli tikus itu semuanya sama, mereka berjanji membangun jembatan meskipun sebenernya gak ada sungai disana! #sarkasme
6 Terlalu pagi untuk bangun ....... #sarkasme
7 dengan prestasi seperti ini... ada yang Masih ragu pilih ahok? #Sarkasme https://twitter.com/maspiyungan/status/716427382123397 120?y??¨
8 yang namanya solidaritas itu... saat teman yang lain demo, yang lainnya tetep beraktifitas #sarkasme #dilema #angkutan premium #taxi
9 Yuk bapaknya yg ngerokok ajari anaknya juga biar sama kalau emang rokok itu baik
#sarkasme #nodebat... http://fb.me/2FagQF1xi?y¨
.

## B. Pre-Processing
Sebelum  dataset  Tweet  siap  digunakan  maka  akan terlebih  dahulu  dilakukan pre-processing data.  Tahap  ini dilakukan agar dataset menjadi lebih bersih dan membuat data  menjadi  lebih  efisien  untuk  digunakan  dalam  proses selanjutnya,  terutama  dalam proses  ekstraksi  fitur.  Proses yang dilakukan dalam tahapan ini diantaranya: Mengkonversi  semua  tweet  menjadi  huruf  kecil, Mengubah  2  spasi  atau  lebih  menjadi  1  spasi  saja, Menghapus  URL  pada  Tweet,  Menghapus  simbol-simbol pada  tweet,  Menghapus  karakter  khusus  pada  Twitter yaitu  Hashtag,  Membuang  kata-kata  yang  tidak  penting ( Stopword  removal ,  dan  mengubah  kata  berimbuhan menjadi  kata  dasar  ( Lemmatization ).  Tabel  II  merupakan contoh dari hasil pre-processing yang telah dilakukan.
TABEL III ILUSTRASI PRE-PROCESSING YANG DILAKUKAN Raw 1 RT @imaau: Hari ini pulang jam 3? Trs besok remed bio pagi? Ihihi hidup ini indah yaa Pre- processed imaau hari pulang jam 3 besok remedial biologi pagi ihihi hidup indah Raw 2 Muka ku semulus madu, jerawatku lucu pre- processed muka mulus madu jerawat lucu Raw 3 Selamat Idul Adha Aseek lebaran sekarang seru banget loh kan dikosan : pre- processed selamat idul adha aseek lebaran sekarang seru sangat kosan

## C. Ekstraksi Fitur
Ekstraksi  fitur  yang  dilakukan  dalam  penelitian  ini adalah  ekstraksi  fitur  unigram  dan  fitur  interjeksi.  Fitur unigram  banyak  digunakan  penelitian  tentang  klasifikasi teks dan dapat beradaptasi dengan korpus yang digunakan.
Proses  ekstraksi  fitur  unigram  dilakukan  dengan melakukan pemotongan token  teks twitter yang menghasilkan  kumpulan  kata  tunggal  dan  unik  yang menyusun  dataset.  Hasil  proses  ekstraksi  fitur  unigram umumnya akan menghasilkan  kumpulan kata dalam skala yang besar.
Interjeksi  adalah  kata-kata  yang  mengungkapkan perasaan dan maksud seseorang, misalnya ‘ah’ dan ‘aduh’, atau  melambangkan  tiruan  bunyi,  misalnya  ‘meong’. Bentuk  ini  biasanya  tak  dapat  diberi  afiks  dan  tidak memiliki  dukungan  sintaksis  dengan  bentuk  lain.
Interjeksi juga dapat dikelompokkan berdasarkan karakteristik  tertentu  misalkan  interjeksi  kekesalan, interjeksi  kekaguman  dan  lain-lain.    Menurut  penelitian yang  dilakukan  oleh  Bouazizi  dan  Ohtsuki  [10] penggunaan  kata  interjeksi  pada  sebuah  kalimat merupakan salah satu ciri dari sarkasme. Bentuk fitur kata interjeksi  yang  digunakan  dalam  penelitian  ini  dapat dilihat  pada  Tabel  III.  Kata-kata  ini  diperoleh  secara manual  berdasarkan  analisis  terhadap  korpus  data  dan informmasi lainnya secara umum.
TABEL IIIII

## JENIS FITUR INTERJEKSI DAN MUATAN KATA-NYA
Jenis Interjeksi Muatan Kata interjeksi kejijikan bah,cih,cis,idih interjeksi kekaguman aduh,duh,asyik,wah,wow interjeksi kesyukuran syukur,untung, alhamdulillah interjeksi harapan mudah-mudahan, semoga interjeksi keheranan aduh, aih, ai, lo, duilah, eh, oh, ah interjeksi kekagetan astaga, astagafirullah, masyaallah, masa, alamak, gila, gile interjeksi panggilan hai, he, hei, eh, halo, alo interjeksi makian dasar, tolol

## D. Klasifikasi Sentimen
Pada  penelitian  ini,  dilakukan  proses  klasifikasi sentimen  menggunakan  2  metode  klasifikasi  yang  sering digunakan  dalam  klasifikasi  teks  yaitu  metode Naive Bayes dan Support Vector Machine (SVM).
1)  Naive Bayes ,
Naïve  Bayes  merupakan  metode classifier berbasis model  peluang.  Model  peluang  untuk  proses  klasifikasi atribut X dapat dilihat pada persamaan (1)
( ) ( ) ( ) ( ) ( ) 1 . | | X P C P C X P X C P =
Dimana,  P(C|X)  merupakan  peluang  tweet  yang memiliki  atribut  X  akan  diklasifikasikan  sebagai  kelas  C. P(C)  merupakan  probabilitas  kelas  C  dalam  data  latih, sedangkan P(X) merupakan peluang atribut X pada seluruh data latih dan P(X|C) merupakan Peluang atribut X terjadi dalam kelas C.
Karena  sebuah tweet  akan memuat lebih  dari  1 atribut, maka  rumus  Naive  Bayes  ini  kemudian  dikembangkan agar bisa digunakan untuk mengklasifikasikan suatu tweet yang  memuat  lebih  dari  1  atribut.  Model  peluang  Naive Bayes untuk tweet T dapat dilihat dalam persamaan 2 [12].
( ) ( ) ( ) 2 | max ) ( ,.., { | 1 1  = = = n i i C X P Arg Ci p Xn X T C P
Rumus  ini  diperoleh  berdasarkan  asumsi  independensi antar  atribut  yang  dimiliki  model  Naive  Bayes.  Dalam kasus  ini,  tweet  T  diasumsikan  memiliki  atribut  X 1 ,...,Xn yang saling independen.

## 2)  Support Vector Machines
Metode  ini  menggunakan  pembelajaran  berbasis supervised  learning dengan  mencari  hyperplane  dengan margin yang maksimum.
Tujuannya untuk mengoptimalkan hyperplane agar mampu
mengklasifikasikan data secara akurat. Konsep klasifikasi dengan support vector machine adalah mencari hyperplane  terbaik  yang  berfungsi  sebagai  pemisah  dua kelas  data.  Support  vector  machine  mampu  bekerja  pada dataset  yang  berdimensi  tinggi  dengan  menggunakan kernel  trik. Support  vector  machine hanya  menggunakan beberapa  titik  data  terpilih  yang  berkontribusi  ( Support vector )  untuk  membentuk  model  yang  akan  digunakan dalam  proses  klasifikasi.  Jenis  kernel  yang  digunakan dalam penelitian ini adalah polynomial.
Ilustrasi  dari  model  SVM  untuk  klasifikasi  2  kelas adalah  sebagai  berikut.  Misalkan  dua  kelas  -1  dan  +1 diasumsikan  dapat  dipisahkan  secara  sempurna  oleh hyperplane berdimensi d, yang terdefinisi pada persamaan (3)[16].
0 . = + b x w (3)
Sebuah  data x akan  diklasifikasikan  sebagai  kelas  -1 jika  memenuhi  pertidaksamaan(4),  dan  sebaliknya x akan  diklasifikasikan  sebagai  kelas  +1  jika  memenuhi pertidaksamaan (5).
0 .  + b x w (4) 0 .  + b x w (5)
Dalam  hal  ini w merupakan  vektor  bobot  dan b merupakan  bias. SVM  akan  mencari persamaan hyperplane yang akan meminimalkan error prediksi.

## E. Evaluasi dan Validasi

## 1)  Ukuran Evaluasi
Evaluasi  performansi  dilakukan  untuk  menguji  hasil klasifikasi  dengan  mengukur  nilai  kebenaran  dari  sistem. Ukuran  statistik  yang  digunakan  untuk  mengukur nilai kinerja  sistem  adalah  akurasi.  Akurasi  adalah  persentase teks  yang  berhasil  diklasifikasikan  dengan  tepat  oleh sistem.  Akurasi  diperoleh  dari  hasil  perhitungan  yang ditunjukkan pada Persamaan (6).
TN TF FP TP TN TP Akurasi + + + + = (6)
Keterangan:
TP  = True  Positive ;  merupakan  data  positif  yang terdeteksi positif
TN = True Negative ; merupakan jumlah data negatif yang terdeteksi dengan negatif
FP  = False  Positive ;  merupakan  data  negatif  namun terdeteksi sebagai data positif
FN  = False  Negative ;  merupakan  data  positif  namun terdeteksi sebagai data negatif
2) Validasi
Cross-validation  (CV)  adalah  metode  statistik  yang dapat  digunakan  untuk  mengevaluasi  kinerja  model  atau algoritma  dimana  data  dipisahkan  menjadi  dua  subset yaitu data training dan data testing. Model atau algoritma dilatih oleh subset pembelajaran dan divalidasi oleh subset validasi. Selanjutnya pemilihan jenis CV dapat didasarkan pada  ukuran  dataset.  Biasanya  CV  K-fold  digunakan karena  dapat  mengurangi  waktu  komputasi  dengan  tetap menjaga  keakuratan  estimasi.  Pada  penelitian  ini  K-fold yang  digunakan  adalah  10-fold,  dimana  data  dibagi menjadi  10  bagian  yang  hampir  sama,  sehingga  kita memiliki  10  subset  data  untuk  mengevaluasi  kinerja  mo- del classifier .  Untuk  masing-masing  dari  10  subset  data tersebut,  CV  akan  menggunakan  9  fold  (90%)  untuk pelatihan  dan  1  fold  (10%)  untuk  pengujian  seperti diilustrasikan  pada  Gambar  1.  Bagian  yang  diarsir  gelap, adalah  bagian  dataset  yang  digunakan  sebagai  data  uji, sedangkan  bagian  yang  tidak  diarsir  adalah  sebagai  data latih .
FOLD 1 2 3 4 5 6 7 8 9 10
. Gambar. 1  Pembagian training set dan testing set dalam 10-cross validation
Sebagai  ilustrasi  pada  eksperimen  ke-1,  menggunakan data  fold  ke-2,...,10  sebagai  data  latih  dan  fold-1  sebagai data  uji-nya.  Pada  eksperimen  ke-2,  menggunakan  data fold  ke-1,3,4,...,10  sebagai  data  latih  dan  fold-2  sebagai data  uji-nya.    Dan  terakhir  pada  eksperimen  ke-10, menggunakan  data  fold  ke-1,...,9  sebagai  data  latih  dan fold-10 sebagai data uji-nya.

## IV. E KSPERIMEN  DAN A NALISIS H ASIL

## A. Hasil Eksperimen
Pada  penelitian  ini  dilakukan  proses  pengklasifikasian dengan  2  metode classifier yang  berbeda  yaitu  Naive Bayes  (NB),  dan  SVM  dengan  fungsi  kernel  polinomial. Fitur yang diuji meliputi fitur unigram dan fitur unigram + interjeksi.  Total  terdapat  4  kombinasi  eksperimen  yang dilakukan, yaitu
1. NB dengan fitur unigram
2. NB dengan fitur unigram + interjeksi
3. SVM-polinomial dengan fitur unigram
4. SVM-polinomial dengan fitur unigram + interjeksi
Hasil dari percobaan yang dilakukan pada penelitian ini dapat dilihat dalam Gambar 2.
Gambar. 2  Akurasi NB dan SVM untuk penggunaan fitur interjeksi dan tidak.
Gambar  2  merupakan  hasil  perbandingan  akurasi  pada proses  10-fold cross  validation untuk  4  eksperimen  yang dijelaskan  dibagian  sebelumnya.  Hasil  eksperimen menunjukkan  bahwa  akurasi  klasifikasi  yang  diperoleh dengan  metode Naive  Bayes lebih  tinggi  dibandingkan akurasi  klasifikasi  yang  diperoleh  dengan  metode  SVM. Klasifikasi Naive Bayes tanpa fitur interjeksi menghasilkan akurasi tertinggi sebesar 82,49% sedangkan klasifikasi Naive Bayes dengan fitur interjeksi menghasilkan  akurasi  tertinggi  sebesar  91,39%.  Akurasi klasifikasi  pada  metode  SVM  tanpa  fitur  interjeksi menghasilkan akurasi tertinggi sebesar 43,62% sedangkan SVM  dengan  fitur  interjeksi  menghasilkan  akurasi tertinggi sebesar 57,91%.
Hasil  lainnya  yang  bisa  kita  peroleh  adalah  fitur interjeksi  yang  digunakan  dalam  penelitian  ini  memiliki pengaruh  yang  positif  dalam  meningkatkan  akurasi klasifikasi  sistem.  Hal  ini  ditunjukkan  dari  hasil eksperimen  yang  menunjukkan  bahwa  untuk  kedua classifier yang  digunakan,  akurasi  klasifikasi  sistem keduanya  mengalami  kenaikan.  Pada classifier NB, kenaikan  akurasi  terbaiknya  mencapai  lebih  dari  8%, sedangkan  pada  SVM  kenaikan  akurasi  terbaiknya mencapai lebih dari 13%.

## V. K ESIMPULAN
Pada  penelitian  ini  kami  telah  mencoba  melakukan klasifikasi  kalimat  sarkasme  berbahasa  Indonesia  dengan pendekatan supervised  learning dengan  menggunakan  2 fitur  utama  yaitu  unigram  dan  interjeksi.  Salah  satu  yang ingin  dicapai  adalah  untuk  mengetahui  pengaruh  fitur interjeksi  dan  unigram  dalam  proses  klasifikasi  kalimat sarkasme  berbahasa  Indonesia  dengan  menggunakan  2 metode classifier yaitu  Naive  Bayes  dan  SVM  dengan kernel  polinomial.  Selain  itu,  hasil  lainnya  yang  ingin diperoleh  adalah  untuk  menhetahui  metode classifier terbaik  dalam  proses  klasifikasi  kalimat  sarkasme  ini.
Hasil  eksperimen  yang  diperoleh  menunjukkan  bahwa fitur  interjeksi  dan  unigram  memiliki  pengaruh  yang positif  dalam  meningkatkan  akurasi  klasifikasi  kalimat tweet bernada sarkasme berbahasa Indonesia dibandingkan hanya menggunakan fitur unigram saja.
Peningkatan  akurasi  yang  diperoleh  bervariasi  untuk setiap  metode classifier dalam setiap  percobaan  yang dilakukan. Peningkatan  akurasi  yang  diperoleh  dengan penggunaan fitur interjeksi  dan unigram ini untuk metode classifier Naive Bayes mencapai lebih dari 8%, sedangkan pada metode SVM kenaikannya mencapai lebih dari 13%. Dalam  klasifikasi  kalimat  sarkasme  ini,  metode  Naive Bayes menghasilkan akurasi yang lebih baik dibandingkan SVM  kernel  polinomial.  Hasil  ini  berbeda  dengan penelitian-penelitian  sentimen  analisis  lainnya  yang umumnya  kinerja  yang  diperoleh  SVM  lebih  baik dibandingkan dengan Naive Bayes.

## R EFERENSI
[1] E.  Riloff, A. Qadir,  P.  Surve, L. De Silva, N. Gilbert, and R. Huang,  “Sarcasm  as  Contrast  between  a  Positive  Sentiment and Negative Situation,” no. Emnlp, 2013.
[2] C.  V.  S.  Despoina  Antonakaki  ,  Dimitris  Spiliotopoulos,  P. Pratikakis,  S.  Ioannidis,  and  P.  Fragopoulou,  “Social  media analysis  during  political  turbulence,” e.  PLoS  ONE  12(10) e0186836 , pp. 1–23, 2017.
[3] Edwin Lunando and A. Purwarianti, “Indonesian social media sentiment  analysis  with  sarcasm  detection,”  in International Conference  on  Advanced  Computer  Science  and  Information Systems (ICACSIS) , 2013, pp. 195–198.
[4] D.  Maynard  and  M.  A.  Greenwood,  “Who  cares  about sarcastic  tweets ?  Investigating  the  impact  of  sarcasm  on sentiment analysis.”
[5] A. Rajadesingan, R. Zafarani, and H. Liu, “Sarcasm Detection on Twitter : A Behavioral Modeling Approach,” 2015.
[6] F. Prawira and K. Mustofa, “Pengaruh Pendeteksian Sarkasme Terhadap  Ukuran  Kualitas  Analisis  Sentimen  Pada  Twitter,” Universitas Gadjah Mada, 2017.
[7] N. Monarizqa, L. E. Nugroho, and B. S. Hantono, “Penerapan Analisis  Sentimen  Pada  Twitter  Berbahasa  Indonesia  Sebagai Pemberi  Rating,” Electron.  Thesis  Disertation(ETD)  Gadjah Mada Univ. , vol. 1, pp. 151–155, 2014.
[8] A.  Sianipar,  “Affective  Meaning  ,  Concreteness  ,  and Subjective  Frequency  Norms  for  Indonesian  Words,”  no. December, 2016.
[9] T.  A.  Le  and  D.  Moeljadi,  “Sentiment  Analysis  for  Low Resource  Languages :  A  Study  on  Informal  Indonesian Tweets,” pp. 123–131, 2016.
[10] M. Bouazizi and T. O.  Ohtsuki, “Pattern-Based Approach for Sarcasm Detection on Twitter,” IEEE Access , vol. 4, pp. 5477– 5488, 2016.
[11] S.  Wang  and  C.  Manning,  “Baselines  and  Bigrams:  Simple, Good  Sentiment  and  Topic  Classification,” Proc.  50th  Annu. Meet. Assoc.  Comput.  Linguist. , vol. 94305, no. July, pp. 90– 94, 2012.
[12] S. Wayan, Ni Saraswati, “Naïve Bayes Classifier Dan Support Vector Machines Untuk Sentiment Analysis,” Semin. Nas. Sist.
Inf. Indones. , pp. 2–4, 2013.
[13] Y.  Sibaroni,  D.  H.  Widyantoro,  and  M.  L.  Khodra,  “Extend relation identification in scientific papers based on supervised machine  learning,”  in 2016  International  Conference  on Advanced  Computer  Science  and  Information  Systems, ICACSIS 2016 , 2017.
[14] Y.  Murakami  and  K.  Mizuguchi,  “Applying  the  Naïve  Bayes classifier  with  kernel  density  estimation  to  the  prediction  of protein – protein interaction sites,” vol. 26, no. 15, pp. 1841– 1848, 2010.
[15] D.  Park  and  C.  Blake,  “Identifying  comparative  claim sentences  in  full-text  scientific  articles,” Proc.  50th  Annu.
Meet. Assoc. Comput. Linguist. , no. July, pp. 1–9, 2012.
[16] M.  Allahyari,  E.  D.  Trippe,  and  J.  B.  Gutierrez,  “A  Brief Survey  of  Text  Mining :  Classification  ,  Clustering  and Extraction Techniques,” 2017.
.