Received June1 st ,2012; Revised June25 th , 2012; Accepted July 10 th , 2012

## ANALISIS SVM (SUPPORT VECTOR MECHINE PADA TINGKAT KEPERCAYAAN MASYARAKAT TERHADAP POLRI
Riza Marsuciati * 1 , Kusrini 2 , Emha Taufiq Luthfi 3 1,2,3 Program Studi Magister Teknik Informatika Universitas AMIKOM Yogyakarta, Yogyakarta, Indonesia, (0274) 884201
e-mail: * 1 rizamarsuciati3@students.amikom.ac.id , 2 kusrini@amikom.ac.id ,
3 emhataufiqluthfi@amikom.ac.id

## Abstrak
Twitter merupakan media sosial yang paling sering digunakan oleh para pengguna internet untuk bertukar pendapat tentang berbagai topik, membahas berita atau isu yang sedang terjadi bahkan menceritakan kehidupan pribadi. Tanpa disadari, yang terjadi saat berkomunikasi menggunakan media sosial adalah komunikasi tidak langsung, sehingga pengguna lain yang melihat atau membaca hanya mengetahui dari tweet yang tertulis tanpa mengetahui ekspresi pengguna. Mengetahui pertanyaan atau pernyataan seseorang di media sosial mengenai POLRI perlu dilakukan proses preprocessing dan analisis terhadap tweet yang ditulis oleh pengguna twitter yang membahas hal tersebut. Penelitian ini bertujuan untuk menganalisis tingkat kepercayaan masyarakat terhadap POLRI  menggunakan metode Multiclass Support Vector Machine (SVM) pada media sosial Twitter dengan mengklasifikasikan tweet. Data yang digunakan dalam penelitian ini adalah 4200 tweet yang terbagi menjadi 80% data Training, dan 20% data Test, dari masing-masing 3 kelas yaitu positif, negative dan netral. Berdasarkan hasil penelitian dan pengujian metode SVM untuk mengklasifikasikan tingkat kepercayaan masyarakat terhadap POLRI dengan tweet berbahasa Indonesia menggunakan ekstraksi fitur TF-IDF, diperoleh kesimpulan bahwa penggunaan metode SVM memiliki nilai Akurasi sebesar 94,79, Presisi 95%, Presisi 95% Recall dan 95% F1-Score yang artinya bagus. dalam penelitian Klasifikasi tingkat kepercayaan masyarakat terhadap POLRI menggunakan Tweet berbahasa Indonesia.
Kata kunci — SVM, Klasifikasi, Media Sosial, Twitter

## Abstract
Twitter is a social media that is most often used by internet users to exchange opinions on various topics, discuss news or current issues and even share personal life. Without realizing it, what happens when communicating using social media is indirect communication, so that other users  who  see  or  read  only  know  from  written  tweets  without  knowing  the  user's  expression. Knowing  someone's  question  or  statement  on  social  media  regarding  POLRI  requires  pre- processing and analysis of tweets written by Twitter users discussing this matter. This study aims to analyze the level of public trust in POLRI using the Multiclass Support Vector Machine (SVM) method on Twitter social media by classifying tweets. The data used in this study are 4200 tweets which are divided into 80% training data, and 20% test data, from each of the 3 classes namely positive, negative and neutral. Based on the results of research and testing of the SVM method to classify the level of public trust in POLRI with Indonesian language tweets using TF-IDF feature extraction, it is concluded that the use of the SVM method has an accuracy value of 94.79, 95% precision,  95%  recall  and  95%  precision.  F1-Score  which  means  good.  in  the  study  of  the classification of the level of public trust in POLRI using Indonesian-language Tweets.
Keywords — SVM, Classification, Social Media, Twitter
2

## 1. PENDAHULUAN
Pda era digitalisasi saat ini banyak masyarakat yang menggunakan sosial media untuk melakukan berbagai aktifitas seperti bisnis, komunikasi, tempat berbagi informasi secara  real  time  dan  masih  banyak  lagi.  Tak  sedikit  dari  pengguna  sosial  media  yang mengungkapkan  perasaan,  pernyataan  dalam  sebuah  komentar  tentang  perasaan  dan pendapat apapun salah satunya komentar untuk beberapa instansi yang dituangkan dalam berbagai platform sosial media seperti Twitter dan lain-lain.
Pro  dan  kontra  pada  opini  masyarakat  terhadap  sebuah  instansi  telah  banyak ditemui di platform-platform media sosial salah satunya Twitter. Opini-opini masyarakat yang  dikemukakan  oleh  masyarakan  mengenai  kasus-kasus  yang  melibatkan  anggota polisi  dan  sistem  kerja  polisi  pun  sangat  banyak  ditemui.  Dari  opini-opini  tersebut menimbulkan  keresahan  dimana  rasa  keamanan  yang  telah  menjadi  citra  dari  POLRI menjadi diragukan oleh masyarakat.
Sentimen  analisis  dapat  dilakukan  pada  persepsi  masyarakat  di  sosial  media dengan menganalisis bagaimana masyarakat beropini terhadap beberapa topik (Nurdeni dkk, 2021). Hal ini juga bisa digunakan untuk mempelajari pandangan individu, perilaku, perasaan terhadap orang lain, diri sendiri, masalah yang berkembang serta kegiatan yang selama ini sudah dilakukan. Informasi ini menjadi hal yang menarik bagi para pengambil keputusan sebab mampu memastikan apa yang sedang dipikirkan oleh orang lain (Basari dkk,  2013).  Oleh  sebab  itu  dikembangkan  suatu  teknik  klasifikasi  untuk mengelompokkan suatu opini yang sedang berkembang, baik yang ada di sosial media maupun media masa yang lain.
Dengan  mengamati  opini-opini  masyarakat  pada  sosial  media  Twitter  tentang POLRI  menuntun  penulis  untuk  melakukan  analisis  sentimen  yang  dilontarkan masyarakat  pada  platform  sosial  media  Twitter  dan  melakukan  perbandingan  metode SVM ( Support Vector Mechine ) dan metode Naïve Bayes serta improvement data pada metode SVM ( Support Vector Mechine ) dan Naïve Bayes.
Berdasarkan  penelitian  diatas,  maka  pada  penelitian  ini  akan  dilakukan perbandingan  sentimen  analisis  dengan  menggunakan  metode  SVM  ( Support  Vector Mechine )  dan  Naïve  Bayes  dan  serta  improvement  data  pada  metode  SVM  ( Support Vector  Mechine )  dan  Naïve  Bayes.  Sebagai  bahan  pembanding kedua  metode  tersebut untuk mengetahui hasil keakuratan data didapatkan dari penggunaan metode tersebut atau dari  improvement  data  yang  ditambahkan  pada  kedua  metode  tersebut  dengan menggunakan dataset yang sama.

## 2. METODE PENELITIAN
Metode penelitian dimulai dari perumusan masalah, studi literatur dari berbagai sumber. Sumber  berasal  dari  berbagai  jurnal,  buku,  dan  internet.  Pengumpulan  data  yang  dilakukan dengan  cara  crawling  data  menggunakan  google  colaboratory  dari  rentang  waktu  juni  2022  – oktober 2022. Data tersebut nantinya akan dilakukan proses preprocessing kemudian dilakukan klasifikasi menggunakan metode SVM (Support Vector Mechine).
Penelitian  ini  dimulai  dari  melakukan  pengumpulan  data  dari  sosial  media  Twitter, dimana  didapatkan  2400  data  dengan  3  klasifikasi  yaitu  berupa  komentar  positif,  komentar negative dan netral. Tahap kedua adalah melakukan penerapan teks pre-proccessing. Tahap ketiga adalah melakukan pembobotan menggunakan Term Frequency Inverse Document Frequenc (TF- IDF). . Keempat, pembagian data training dan data testing. Kelima, training data menggunakan model. Dan terakhir, uji coba data testing untuk mendapatkan akurasi, presisi, recall dan f1 score.

## Gambar 1. Alur Penelitian

## 2.1 Rumusan masalah
Berdasarkan uraian latar belakang diatas, maka didapatkan fokus rumusan masalah sebagai berikut : a. Bagaimana  ragam  sentimen  analisi  kepercayaan  masyarakat  terhadap  POLRI  pada pengguna sosial media Twitter?
b. Berapa nilai performa (akurasi, presisi, recall dan f1-score) yang dihasilkan oleh model saat menggunakan metode yaitu SVM ( Support Vector Mechine ).

## 2.2 Study literatur
Study literatur merupakan langkah dimana dilakukan pencarian sumber  – sumber yang berkaitan dengan rumusan masalah yang ditentukan.

## 2.3 Teks Pre-Processing
Tahap teks preprocessing merupakan tahapan yang paling penting dalam melakukan teks analisis terutama data teks yang berasal dari sosial media Twitter. Data yang berasal dari Twitter umumnya masih memiliki banyak noise seperti singkatan kata, simbol, hashtag, link url dan lain sebagainya. Noise tersebut harus dibersihkan terlebih dahulu untuk bisa mendapatkan data yang siap diolah. Beberapa teknik preprocessing yang digunakan antara lain:

## 1. Case Folding
Teknik ini bertujuan untuk mengubah huruf kapital menjadi huruf kecil. Penerapan case folding ditunjukkan pada table 1.
4
Tabel 1. Proses Case Folding
Sebelum case folding Setelah case folding - Dijalanan macet samping”an sama #seragamcoklat  SKSD  bener,  berasa  mau pamer motornya kayaknya. Haha” kocak - dijalanan macet samping”an sama
#seragamcoklat  sksd  bener,  berasa  mau pamer motornya kayaknya. haha” kocak
2. Cleaning
Pada penelitian ini, teknik cleaning yang digunakan adalah dengan menghapus simbol- simbol (punctuation) Contoh penerapan cleaning ditunjukkan pada Tabel 2.
Tabel 2. Proses Cleaning Data Sebelum Cleaning Setelah Cleaning - dijalanan macet samping”an sama #seragamcoklat  sksd  bener,  berasa  mau pamer motornya kayaknya. haha” kocak - dijalanan macet sampingan sama seragamcoklat  sksd  bener  berasa  mau pamer motornya kayaknya haha kocak
3. Stemming
Proses  Stemming  yang  digunakan  menggunakan  Library  Sastrawi  dimana  kata  yang memiliki  imbuhan  diubah  menjadi  kata  dasar.  Contoh  penerapan  Stemming  ditunjukkan  pada tabel 3.
Tabel 3. Proses Stemming
Sebelum Stemming Setelah Stemming - dijalanan macet sampingan sama seragamcoklat  sksd  bener  berasa  mau pamer motornya kayaknya haha kocak - jalan  macet  samping  sama  seragamcoklat sksd bener berasa mau pamer motor kayak haha kocak

## 4. Stopword dan Tokenizing
Proses stopword digunakan untuk mem-filter kata yang dianggap kurang penting. Libray stopword  yang  digunakan  dalam  penelitian  ini  adalah  library  sastrawi.  Pada  tahap  ini  juga dilakukan  tokenizing  yaitu  pemisahan  kata  untuk  dapat  dilakukan  analisis  teks.  Penerapan stopword dan tokenizing dapat dilihat pada table 4.
Tabel 4. Proses Stopword
Sebelum Stopword dan Tokenizing Setelah Stopword dan Tokenizing jalan macet samping sama seragamcoklat sksd bener berasa mau pamer motor kayak haha kocak - jalan,  macet,  seragamcoklat,  sksd,  pamer, motor, kocak
5

## 2.4 Pembobotan Term Frequency Inverse Document Frequenc (TF-IDF)
TF-IDF banyak digunakan di bidang pencarian informasi dan penambangan teks untuk mengevaluasi  hubungan  setiap  kata  dalam  kumpulan  dokumen.  Secara  khusus,  TF-IDF digunakan untuk mengekstrak kata kunci dari dokumen, menghitung derajat yang sama di antara dokumen, menentukan peringkat pencarian, dan sebagainya.
TF  dalam  TF-IDF  berarti  kemunculan  kata-kata  tertentu  dalam  dokumen.  Kata  kata dengan nilai TF tinggi memiliki arti penting dalam dokumen. Sedangkan, DF menyiratkan berapa kali  kata  tertentu  muncul  dalam  kumpulan  dokumen.  Kata-kata  dengan  nilai  DF  tinggi  tidak memiliki  arti  penting  karena  biasanya  muncul  di  semua  dokumen.  Oleh  karena  itu,  IDF  yang merupakan  kebalikan  dari  DF  digunakan  untuk  mengukur  pentingnya  kata-kata  dalam  semua dokumen.  Nilai  IDF  yang  tinggi  berarti  kata-kata  langka  di  semua  dokumen,  sehingga meningkatkan  kepentingan  [4].  Persamaan  (1)  merupakan  persamaan  yang  diganakan  dalam pembobotan TF-IDF.
𝑻𝑭 𝑰𝑫𝑭 = 𝑻𝑭 𝒙 𝑰𝑫𝑭 = 𝑻𝑭 𝒙 𝒍𝒐𝒈 𝒆 ......................................................................................................(1)

## 2.5 SVM (Support Vector Mechine)
SVM  adalah  unit  keluarga  algoritma  machine  learning.  SVM  digunakan  untuk menentukan batasan keputusan karena idenya didasarkan 9 pada bidang keputusan. SVM standar mengambil set input informasi serta membuat prediksi terjadi setiap input data, yang mana dari dua kelas terdiri dari input, membangun SVM linear biner non-probabilistik klasifikasi[5].
Tujuan dari SVM two-class adalah untuk membangun pengklasifikasi biner atau turunkan fungsi keputusan dari sampel yang tersedia yang memiliki kemungkinan kecil untuk kesalahan pengklasifikasian sampel selanjutnya. SVM yang diusulkan mengimplementasikan ide berikut: memetakan vektor input x  R d ke dalam ruang fitur berdimensi tinggi  (x)  pada Gambar 2 dan membangun sebuah hyperplane pemisah yang optimal, yang memaksimalkan margin, yang merupakan jarak antara hyperplane dan titik data terdekat dari setiap kelas di class ruang H pada Gambar 3[6][6][6][5][5][4][4][3][3] .
Gambar 2. Pemetaan Vektor Berdimensi Tinggi
6
Gambar 3. Pembuatan margin antara dua kumpulan data dengan dukungan vektor

## 3. HASIL DAN PEMBAHASAN

## 3.1 Hasil
Dataset penelitian merupakan data sekunder yang didapat dari [7]. Jumlah data yang akan digunakan 300 tweet dari masing-masing kelas berjumlah 3 yaitu positif, negatif dan netral.
Tabel 5. Data Sampel No Data Kelas 1 Bila  mau  berjuang  keras  maka  Tuhan  selalu  mengikuti  jiwa  para pemberani !#SeragamCoklat 2015 ! Amin O ☺ Ã°Å ̧Â¤Â Positif 2 Dijalan macet samping”an sama #seragamcoklat SKSD bener, berasa mau pamer motornya kayaknya. Hha” kocak https://t.co/0VBh2H8III Negatif 3 Mungkin maksudnya “pramuka” #seragamCoklat http://t.co/YCUH6qE5gN Netral
Tahap Case folding adalah mengubah semua huruf dalam dokumen menjadi huruf kecil, hanya huruf ‘a’ sampai dengan ‘z’ yang diterima. Karakter selain huruf dihilangkan dan dianggap delimeter.
Tahap Removing Punctuationtrain Melakukan proses membersihkan data sebelum di analisis.  Proses  tersebut  dengan  mengubah  tulisan  dari  huruf  kapital  menjadi  huruf  kecil, menghilangkan simbol-simbol seperti #@:;”. dan lainnya. Sehingga pada kolom text_clean pada gambar  dibawah  ini,  menunjukkan  bahwa  text  sudah  dilakukan  proses  Removing Punctuationtrain.  Adapun  Function  yang  digunakan  dalam  proses  Removing  Punctuationtrain sebagai berikut:
1. text = re.sub('\[.*?\]', '', str(txt))
2. text = re.sub('[%s]' % re.escape(string.punctuation), '', text)
3. text = re.sub('\w*\d\w*', '', text)
4. text = re.sub('[„‟“”...]', '', text)
5. text = re.sub('\n', '', text)
Tahap stemming adalah tahap mencari root kata dari tiap kata hasil filtering. Pada tahp ini dilakukan proses pengambilan berbagai bentukan kata kedalam suatu representasi yang sama.
7
Tahap ini kebanyakan dipakai untuk teks berbahasa inggris dan lebih sulit diterapkan pada teks berbahasa  Indonesia.  Hal  ini  dikarenakan  bahasa  Indonesia  tidak  memiliki  rumus  bentuk baku yang permanen. Proses Stemming yang digunakan menggunakan Library Sastrawi dimana kata yang memiliki imbuhan diubah menjadi kata dasar. Proses tahapan stemming pada teks berbahasa Indonesia.
Tahap tokenizing atau parsing adalah tahap pemotongan string input berdasarkan tiap kata yang menyusunnya, sedangkan tahap filtering adalah tahap mengambil katakata penting dari hasil  term.  Bisa  menggunakan  algoritma  stoplist  (membuang  kata  yang  kurang  penting)  atau wordlist (menyimpan kata penting). Stoplist/stopword adalah kata-kata yang tidak deskriptif yang dapat  dibuang  dalam  pendekatan  bag-  of-word.  Contoh  stopwords  adalah  “yang”,  “dan”,  “di”, ”dari”, dan seterusnya.
Pembagian Data Training dan Data Uji.
Gambar 4. Pembagian Data Training dan Data Uji
Encoding
Gambar 5. Encoding

## Sistem Pengujian
Pengujian yang digunakan yaitu dengan fitur tfidf yang bertujuan mengetahui seberapa besar nilai Accuracy. Implementasi Proses TF IDF seperti pada Gambar 10.
8
Gambar 6. TF-IDF
Gambar 7. TF-IDF. Dengan Sklearn
9

## Confusion Matrix
Gambar 8. Confusion Matrix
Gambar 9. Tampilan Confusion Matrix

## 3.2 Pembahasan
Dari pengujian menggunakan table Confusion Matrix didapatkan akurasi Algoritma SVM mendapatkan nilai 94.79 % . ini  menandakan tingkat akurasi yang tinggi dan algoritman SVM dapat bekerja dengan baik untuk melakukan klasifikasi tingkat kepercayaan masyarakat terhadap POLRI menggunakan dataset dari tweet. Seperti Tabel 6 dibawah ini:
10
Tabel 6. Data Sampel TF-IDF HASIL (%) Accuracy 95 (Pembulatan) Precision 95 Recall 95 F1-Score 95

## 4. KESIMPULAN
Data yang digunakan 4200 tweet, dibagi menjadi 80% data Training, dan 20% data Uji, dari  masing-  masing  kelas  berjumlah  3  yaitu  positif,  negative  dan  netral.  Berdasarkan  hasil penelitian  dan  pengujian  metode  Support  Vector  Machine  untuk  mengklasifikasi  tingkat kepercayaan  masyarakat  terhadap  POLRI  dengan  tweet  berbahasa  Indonesia  menggunakan ekstraksi  fitur  tf-idf  didapat  kesimpulan  bahwa  penggunaan  metode  Support  Vector  Machine tingkat nilai Accuracy sebesar 94,79, Precision 95%, Recall 95% dan F1- Score 95 % yang artinya baik  dalam  penelitian  mengenai  Klasifikasi  tingkat  kepercayaan  masyarakat  terhadap  POLRI dengan menggunakan Tweet berbahasa Indonesia.

## 5. SARAN
Saran untuk penelitian selanjutnya untuk dapat menambah jumlah dataset agar data yang digunakan  sebagai  perbandingan,  dan  dapat  menggunakan  metode  lain  juga  penggunaan improvement data pada kedua metode untuk membandingkan hasil terbaik.

## DAFTAR PUSTAKA
[1] J. Gondohanindijo, E. Noersasongko, A. Z. Fanani, dan R. S. Basuki, “Comparison Method in Indonesian Emotion Speech Classification,” 2019 Int. Semin. Appl. Technol. Inf. Commun., hal. 230– 235, 2019.
[2]   D.  Ardiada,  M.  Sudarma,  dan  D.  Giriantari,  “Text  Mining  pada  Sosial  Media  untuk Mendeteksi  Emosi  Pengguna  Menggunakan  Metode  Support  Vector  Machine  dan  K-Nearest Neighbour,” vol. 18, no. 1, hal. 55–60, 2019.
[3]  O. V. Putra, “Sundanese Twitter Dataset for Emotion Classification,” Int. Conf. Comput. Eng. Netw. Intell. Multimed., no. Cenim 2020, hal. 391–395, 2020.
[4]  S. W. Kim dan J. M. Gil, “Research paper classification systems based on TF ‐ IDF and LDA schemes,” Human-centric Comput. Inf. Sci., 2019.
[5]   H.  Kaur  dan  A.  Sharma,  “Improved  Email  Spam  Classification  Method  Using  Integrated Particle Swarm Optimization and Decision Tree,” Int. Conf. Next Gener. Comput. Technol., no. October, hal. 516–521, 2016.
[6]  C. Cortes dan V. Vapnik, “Support-Vector Networks,” Mach. Learn., vol. 20, no. 3, 1995.
11
[7]  A. S. Rezeki, “Klasifikasi Emosi Pada Twitter Dengan Metode K-Nearest Neighbor (KNN),” 2021.
[8] Nurdeni, D. A., Budi, I., & Santoso, A. B. (2021). Sentiment Analysis on Covid19 Vaccines in Indonesia: From The Perspective of Sinovac and Pfizer. https://doi.org/10.1109/eiconcit50028.2021.9431852 , 122-127.
[9] Basari, A. S. H., Hussin, B., Ananta, I. G. P., & Zeniarja, J. (2013). Opinion mining of movie review using hybrid method of support vector machine and particle swarm optimization. Procedia Engineering. https://doi.org/10.1016/j.proeng.2013.02.059 , 53.