http://sistemasi.ftik.unisi.ac.id

## Pengaruh Akun BOT pada Sentiment Masyarakat terhadap Pinjaman Online di Twitter

## The Effect of Bot Accounts on Community Toward Online Loans on Twitter
Ahmad Ikhsan, Moch Farrel Arrizal Kusuma*, Angelica Cintya Mannuela Wibowo,

## Nur Aini Rakhmawati
Sistem Informasi, Fakultas Teknologi Elektro dan Informatika Cerdas, Institut Teknologi Sepuluh Nopember Kampus ITS, Keputih, Kec. Sukolilo, Kota Surabaya, Jawa Timur, Indonesia, 60117 *e-mail: farrel.19052@mhs.its.ic.id
( received : 12 Oktober 2021, revised : 7 November 2021, accepted : 19 Desember 2021)

## Abstrak
Kemajuan teknologi yang begitu pesat didukung dengan kenyamanan dan kemudahan bertransaksi yang diusung oleh aplikator fintech terutama  untuk pengalaman pinjaman online (pinjol) semakin  mudah. Namun, kemudahan tersebut menimbulkan isu keresahan dimasyarakat, banyak keluhan yang muncul seperti tagihan yang tidak wajar, bagaimana debt collector pinjol menagih pada saat menjelang jatuh tempo, dan isu membagikan data pribadi peminjam ke publik. Keresahan lain dari keberadaan pinjaman online adalah kejelasan legalitasnya, masih banyak aplikator pinjaman online yang tidak terdaftar di Otoritas  Jasa  Keuangan  (OJK).  Tujuan  dari  penelitian  ini  untuk  mengetahui  sentimen  masyarakat terhadap keberadaan pinjaman online melalui media sosial twitter.Selain itu penelitian ini juga ingin mengetahui apakah terdapat perbedaan sentimen yang signifikan bila akun bot berada dalam dataset. Peneliti mendapatkan data twitter sejumlah 941 baris dengan tidak memisahkan akun bot. Jika akun bot dipisahkan, data menjadi 432 data. Setelah dilakukan analisis lebih dalam ditemukan kecenderungan sentiment terhadap pinjaman online dimasyarakat ialah negatif dengan nilai sebesar 45.6 %. Setelah memisahkan  akun  bot  dari  dataset,  sentiment  negatif  masih  mendominasi  dari  sentimen  yang  ada menjadi 54.2%. Sehingga dapat ditarik kesimpulan lain bahwa ada dan tidak adanya akun bot dalam dataset hanya memberikan sedikit pengaruh saja terhadap sentimen yang lain, akun bot tidak mengubah kesimpulan  awal  yang  mengatakan  sentimen  masyarakat  terhadap  keberadaan  pinjaman  online cenderung mengarah kepada sikap negatif.
Kata kunci: Pinjaman Online, Analisis Sentimen, IndoBERT

## Abstract
The  massive  advancement  of  technology  is  supported  by  the  convenience  and  ease  of  transacting carried  by  fintech  applicators,  especially  for  the  online  loan  (pinjol)  experience  is  getting  easier. However, the ease of it raises issues of unrest in the community, many complaints that arise such as unnatural  bills,  how  debt  collectors  charge  at  the  time  of  maturity,  and  the  issue  of  sharing  the borrower's personal data to the public. Another concern of the existence of online loans is the clarity of their legality, there are still many online loan applicators that are not registered with the Financial Services Authority (OJK). It leads to a negative attitude. The purpose of this study is to find out public sentiment towards the existence of online loans through social media Twitter. The study also wanted to find  out  if  there  were  significant  sentiment  differences  when  bot  accounts  were  in  the  dataset. Researchers  obtained  941 lines  of twitter  data  by  not  separating  bot  accounts. If  the  bot  account  is separated,  the  data  becomes  432  data.  After  a  deeper  analysis,  it  was  found  that  the  tendency  of sentiment towards online loans in the community was negative with a value of 45.6%. After separating the bot account from the dataset, the negative sentiment still dominated from the existing sentiment to 54.2%. So that it can be drawn another conclusion that the existence and absence of bot accounts in the  dataset  only  gives  a  small  influence  on  other  sentiments,  bot  accounts  do not  change  the  initial conclusion that said public sentiment towards the existence of online loans tends to lead to negative attitudes .
Keywords: Online Loan, Sentiment Analysis, IndoBERT.

## 1 Pendahuluan
Kemajuan teknologi seringkali berdampak positif bagi aspek kehidupan terutama dibidang ekonomi. Dengan  adanya  kehidupan  manusia  akan  terasa  lebih  mudah  dalam  memenuhi  sebagian  atau keseluruhan kebutuhan untuk mendapatkan informasi dan menggunakan kebutuhan elektronik lainnya. Salah  satu  kebutuhan  elektronik  yang  membantu  ialah  pada  bidang  finansial. Financial  Technology (Fintech) merupakan  salah  satu  contoh  perkembangan  teknologi  yang  ada  pada  bidang  finansial. Kenyamanan  dan  kemudahan  yang  ditawarkan  oleh  aplikator  fintech  merupakan  faktor  utama masyarakat untuk terus menggunakan jasa layanan fintech .[1] Pada Fintech sendiri memiliki beberapa kategori,  salah  satunya  adalah  Pinjaman  Online  atau  biasa  disebut  dengan Pinjol. Pinjaman  Online merupakan  suatu  fasilitas  di  mana  masyarakat  dapat  melakukan  transaksi  dengan  cara  pinjam meminjam  tanpa  bertemu  secara  langsung  yang  berbasis  teknologi.  Media  internet  sering  kali digunakan sebagai sarana dalam bertransaksi pinjaman online.[2]
Twitter  merupakan  salah  satu  contoh  media  sosial  yang  memiliki  pengguna  paling  tinggi  dibanding media  sosial  lainnya,  sehingga  twitter  dapat  menjadi  sumber  untuk  melakukan  analisis  sentimen terhadap  pinjaman  online  karena  cara  kerja  twitter  mengharapkan  opini  dari  pemilik  akun.  Twitter sebagai  salah  satu  alternatif  untuk  memperoleh  informasi  dengan  mudah  dengan  keberagaman informasi  yang  tersedia  didalamnya.[3]  Analisis  sentimen  merupakan  teknik  yang  digunakan  untuk ekstrak informasi berupa sikap seseorang terhadap isu dengan mengelompokkan polaritas dari sebuah teks yang sudah dilabeli. Hal ini dilakukan untuk mengetahui, melihat, dan mendapatkan kesimpulan apakah teks tersebut bersifat positif, negatif, atau netral. Dengan menggunakan analisis sentimen, kita dapat mengetahui opini masyarakat terhadap isu yang terjadi, terutama mengenai keresahan masyarakat mengenai bagaimana aplikator pinjaman online menagih uang.[4]
Berdasarkan  latar  belakang  yang  ada,  maka  penelitian  ini  dilakukan  untuk  menganalisis  sentimen masyarakat terhadap aplikator pinjaman online dan membandingkan hasil tersebut dengan dan tanpa akun yang terindikasi oleh Botometer sebagai akun bot. Akun Bot merupakan program perangkat lunak yang mengoperasi sebuah akun tanpa pengguna atau non-manusia. [5] Jika pada data terdapat bot, maka hasil analisis sentimen akan mengurangi tingkat akurasi perspektif publik. Hal tersebut dapat terjadi karena pengguna bot memiliki maksud atau tujuan untuk memanipulasi data yang dapat menggiring opini masyarakat. Cara kerja Botomoter, pendeteksi akun bot, yaitu dengan cara melacak aktivitas dari akun yang ingin diteliti dan memberikan nilai akhir terhadap performa akun tersebut. Jika nilai lebih dari sama dengan  4 maka botometer menganggap akun tersebut adalah akun bot, Jika kurang dari 4 maka  botometer  menganggap  akun  tersebut  adalah  akun  personal.  Penelitian  menggunakan  metode Semi-Supervised Learning untuk mengklasifikasikan keseluruhan label sentiment masyarakat terhadap keberadaan pinjaman online.

## 2 Tinjauan Literatur
Untuk mendukung proses penelitian, berikut terdapat literatur penelitian terdahulu yang sudah di publikasikan di berbagai jurnal.

## 2.1 Literatur Relevan
Berdasarkan penelitian sebelumnya tentang perlindungan hukum terhadap pengguna pinjaman online ilegal,  pada  periode  Januari  hingga  Maret  2020,  Satgas  Waspada  Investasi  masih  menemukan  508 fintech peer to peer lending atau pinjaman online (pinjol) ilegal yang tidak terdaftar di Otoritas Jasa Keuangan (OJK). Jika dihitung sejak tahun 2018, maka hingga tahun 2020, sudah ditemukan total 2406 pinjol ilegal. [6]
Keberadaan  pinjol  ilegal  ini  sangat  meresahkan  masyarakat,  masalah  utama  terlihat  pada  data pengaduan  Yayasan  Lembaga  Konsumen  Indonesia  (YLKI)  yang  mencatat  bahwa  terdapat  39,5% keluhan terhadap cara penagihan yang tidak sesuai aturan, salah satunya dengan menggunakan pihak ketiga sebagai debt collector. [6]
Bisa dilihat bahwa metode pengambilan data terkait keresahan masyarakat diambil dari data pengaduan YLKI.  Hal  tersebut  menyebabkan  data  yang  dimiliki  hanyalah  pengguna  pinjaman  online  yang mengadukan (Sudah pasti resah akan pinjaman online). Tujuan dilakukannya penelitian kami adalah untuk  memastikan  keresahan  masyarakat  terhadap  pinjaman  online  ini  secara  keseluruhan  di  sosial media. Karena pastinya data terkait sentimen masyarakat terhadap pinjol akan lebih beragam di sosial media dibandingkan data pengaduan.

## 2.2 Analisis Sentimen
Analisis sentimen merupakan salah satu cara untuk mengekstrak sebuah informasi berupa sikap atau tanggapan  seseorang  terhadap  suatu  isu  atau  kejadian  yang  sedang  terjadi  dengan  mengelompokkan polaritas dari sebuah teks. Pengelompokan ini dilakukan untuk melihat apakah tanggapannya negative, positif, atau netral. Analisis Sentimen juga dapat digunakan untuk mengetahui opini dari masyarakat terhadap suatu isu berdasarkan data tekstual. Penulis akan menganalisis data yang diambil dari twitter menggunakan  teknik  Web  Scrapping.  Web  scrapping  merupakan  sebuah  teknik  untuk  melakukan ekstraksi data dan informasi dari suatu website kemudian menyimpannya dalam format tertentu. Data tersebut yang kemudian akan dianalisa oleh penulis. Klik di sini untuk memasukkan teks. [4]
Pada  penelitian  lainnya  membahas  terkait  perbandingan  metode  untuk  proses  analisis  sentiment  di Twitter.  Dalam  penelitian  tersebut  membandingkan  dua  metode  model  yaitu  model naive  bayes  dan Support Vector Machine (SVM). Dari kedua penelitian tersebut didapatkan kesimpulan bahwa model SVM  adalah  model  yang  paling  baik  untuk  melakukan  klasifikasi  tweets.[8]  Karena  perkembangan model terus mendapatkan pembaruan maka perlu pembuktian bahwa terdapat model lain yang  lebih baik dari penelitian ini.

## 2.3 Machine Learning
Machine  Learning  adalah  bidang  penelitian  dari  salah  satu  cabang  ilmu  pengetahuan  yang menggabungkan gagasan dari beberapa cabang ilmu pengetahuan seperti kecerdasan buatan, statistic, teori informasi, matematika, dll. Machine Learning pada umumnya fokus pada teori, kinerja dan sifat system pembelajaran serta algoritma. [9]
Penyelesaian  masalah  mulai  dari  robotika,  system recognition ,  data mining, dan  system  kontrol otomatis  pun  bisa  diselesaikan  dengan  machine  learning.  Machine  learning  yang  mandiri  ini  sangat membantu  dalam  mengatasi  permasalahan  yang  selama  ini  sulit  manusia  pecahkan,  mempermudah masalah yang sulit. Klik di sini untuk memasukkan teks.[9]
Machine learning juga merupakan bagian dari artificial intelligence yang membantu menemukan solusi dari  berbagai  macam  masalah.  Machine  learning  harus  mampu  belajar  dan  beradaptasi  dengan lingkungan  sebelum  menjadi  mesin  pintar.            Secara  umum  machine  learning  dibagi  menjadi  tiga kategori, supervised  learning,  unsupervised  learning, dan reinforcement  learning. Singkatnya, supervised  learning butuh  pelatihan  dengan  data  berlabel.  Sedangkan unsupervised  learning tidak memerlukan  data  pelatihan  berlabel  dengan  mengharapkan  lingkungan  memberikan  masukan  tanpa target. Sedangkan reinforcement learning memungkinkan pembelajaran didapatkan dari feedback yang diterima lewat interaksi dengan lingkungan eksternal. [9]

## 2.4 Etika Berkomunikasi Dan Media Sosial
Etika  komunikasi  adalah  ilmu  yang  mempertimbangkan  baik  buruknya  cara  dalam  berkomunikasi. Dalam  berkomunikasi,  kita  harus  memperhatikan  lawan  bicara,  apakah  konten  dan  nada  yang disampaikan menyakiti perasaan lawan bicara. [10] Internet dan media sosial adalah satu kesatuan yang abadi  dalam  mendokumentasikan suatu  data.  Setiap  posting-an  di  media  sosial dapat  dengan  mudah tersebar  dan  disimpan  oleh  orang  lain termasuk  orang  yang  tidak  dikenal. Maka  perlu  kewaspadaan lebih  agar  tidak  terjebak  dan  dijebak  dalam  media  sosial.[11]  Penyalahgunaan  media  sosial  dan
merugikan  orang  lain  merupakan  bagian  dari  tindakan  kejahatan  juga  termasuk  dalam  pelanggaran norma dan etika bersosial media.
Van Dijk dalam Nasrullah menyatakan bahwa media sosial adalah platform media yang memfokuskan pada eksistensi pengguna yang memfasilitasi mereka dalam beraktivias maupun berkolaborasi. Karena itu  media  sosial  dapat  dilihat  sebagai  medium  (fasilitator)  online  yang  menguatkan  hubungan  antar pengguna sekaligus sebuah ikatan sosial. [12]
Karakteristik  media  sosial  tidak  jauh  berbeda  dengan  media  siber  (cyber)  dikarenakan  media  sosial merupakan  salah  satu  platform  dari  media  siber.  Namun  demikian,  menurut  Nasrullah  media  sosial memiliki karakter khusus, yaitu: jaringan, informasi, arsip, interaksi, simulasi sosial dan konten oleh pengguna ( user-generated content). [12]

## 2.5 Model IndoBert
Berdasarkan penelitian yang pernah dilakukan dengan judul IndoLEM and IndoBERT : A Benchmark Dataset  and  Pre-trained  Language  Model  for  Indonesian  NLP,  disebutkan  bahwa  untuk  penggunaan klasifikasi  labeling  Model  IndoBERT  memiliki  nilai  f1  score  tertinggi  diantara  5  model  lain  seperti Naive  Bayes,  Logistic  Regression,  BiLSTM  with  FastText,  MBERT,  MalayBERT  yaitu  mencapai 84.13  %.[13]  Berdasarkan  referensi  yang  lain  dari  Indobenchmark  Leaderbord,  ditemukan  dalam halaman perangkingan IndoNLU terkait akurasi model, Model IndoBert menduduki peringkat pertama dengan nilai akurasi sebesar 88.97 %. Dari kedua referensi sebelumnya, ini  menguatkan penulis untuk memilih Model IndoBERT dalam melakukan klasifikasi sentiment. Dipenelitian ini kurang disebutkan contoh sentiment tweetnya, hanya terdapat hasil evaluasi performanya saja.

## 2.6 Evaluasi Performa Model
Berdasarkan  paper  dalam  Jurnal  Teknik  Informatika  dan  Sistem  Informasi  yang  berjudul  Analisis Klasifikasi  Sentimen  Terhadap  Sekolah  Daring  pada  Twitter  Menggunakan  Supervised  Machine Learning, disebutkan untuk medapatkan model terbaik didasari beberapa parameter evaluasi performa seperti akurasi, presisi, dan recall.[14] Pengukuran evaluasi performa terhadap model yang digunakan diperlukan  untuk  mengukur  tingkat  kepahaman  mesin  dalam  mempelajari  suatu  data  dan mengimplementasikan dalam memprediksi klasifikasi sentimen. Semakin rendah performa dari suatu pembelajaran  mesin  maka  tingkat  ketepatan  data  juga  cenderung  menurun  yang  mengakibatkan pembiasan data terjadi.

## 3 Metode Penelitian
Untuk menjawab  tujuan penelitian dengan optimal, Diperlukan serangkaian tahapan yang perlu dilalui  hingga  mendapatkan  data  label  dan  kesimpulan  dari  dataset.  Secara  umum  terdapat  empat tahapan  yaitu  Preprocessing  Data,  Pemrosesan  Data,  Evaluasi  Model,  dan  diakhiri  dengan  tahapan implementasi seperti yang tertera pada Gambar 1.
http://sistemasi.ftik.unisi.ac.id

## Gambar  1. Diagram Alur Pengerjaan Penelitian

## 3.1 Preprocessing Data
Tahap pertama adalah preprocessing data, diawali dengan crawling data di media sosial twitter dengan  menggunakan  library  Python  Twitter  Intelligence  Tool  (TWINT)  untuk  membantu mengambil  data  dari  twitter.  Data  yang  diambil  ditentukan  oleh  beberapa  kata  kunci  yaitu pinjaman online, pinjol, korban pinjaman online, pinjaman online ilegal, pinjaman online legal, pinjaman  online  mudah, dan terjebak  pinjaman  online dengan  periode  waktu  1  Januari  2021 hingga  2  Oktober  2021 . Setelah  mendapatkan  data  awal,  memisahkan  dataset  username menggunakan  tools  Botometer  untuk  melacak  aktivitas  akun  twitter.  Botometer  akan memberikan  luaran  berupa  nilai  dari akun  tersebut, jika  akun  bernilai  lebih  dari  4  maka  akun tersebut  dikategorikan  akun  bot.  Pemisahan  dataset  dibagi  menjadi  dua  yaitu  dengan memperhatikan  akun  bot  dan  menghilangkan  akun  bot  untuk  mendapatkan  insight  pengguna twitter. Bila data dirasa layak digunakan untuk pembanding maka lanjut ke kegiatan berikutnya yaitu melakukan pembersihan data awal dengan memperhatikan beberapa tahapan data cleaning yaitu  pembersihan  karakter  yang  tidak  berguna,  case  folding,  tweet  tokenizing,  stopwords removal, dan slang removal untuk mengganti kata yang tidak umum menjadi kata baku untuk meningkatkan pemahaman mesin.

## 3.2 Pemrosesan Data
Pengolahan  data  dilanjutkan  dengan  tahap  memproses  data  dengan  memisahkan  data  latih dengan data tes. Sebelum masuk ke tahap pembuatan model dengan data latih, Machine Learning ini menggunakan metode semi – supervised learning  dimana terdapat sentiment label yang telah dilabeli  dan  yang  tidak  dilabeli  dalam  datasetnya  sehingga  sebagian  data  latih  perlu  untuk dilakukan manual labeling agar mesin dapat membuat model berdasarkan data yang sudah ada. Dataset yang tersedia dipisahkan dengan komposisi 50 : 50 menjadi data latih dengan data tes. Perbandingan yang dimaksud ialah 50% dari dataset akan dipahami oleh mesin dan 50% dari dataset lainnya digunakan untuk memprediksi data menggunakan model yang sudah dipahami oleh  mesin  sebelumnya.  Setelah  membuat  kode  dari  kedua  model  tersebut,  segera  melakukan predict terhadap data latih yang sudah diberikan label sebelumnya.  Data predict yang berhasil diselesaikan akan disimpan dalam suatu variable untuk dilakukan pengecekan performa model. Terdapat  3  sentimen  yang  dilibatkan  dalam  penelitian  yaitu  sentimen  netral  ada  sentiment masyarakat  yang  cenderung  tidak  menyalahkan  maupun  menyetujui  dan  juga  termasuk  tweet seputar berita. Positif Sentiment berarti pernyataan pernyataan yang mendukung atas keberadaan
pinjaman  online.  Sedangkan  Negatif  Sentiment  berarti  pernyataan  pernyataan  yang  tidak mendukung terhadap adanya pinjaman online.

## 3.3 Evaluasi Model
Evaluasi model dilakukan untuk memastikan performa model. Evaluasi yang dilakukan adalah melihat  performa  menggunakan  confussion  matrix  untuk  merepresentasikan  prediksi  dengan kondisi  actual  terhadap  data  test  dengan  data  predict.  Tidak  hanya  itu  juga  terdapat  laporan tambahan dalam bentuk classification report  seperti accuracy, recall, precision, dan F1 Score. Setelah  berhasil,  maka  data  test  perlu  di  review  Kembali  kesesuaian  data  dengan  data  yang digunakan untuk mengujicoba kan model. Setelah menyelesaikan model maka akan digunakan untuk memprediksi label di tahapan berikutnya.

## 3.4 Implementasi Model
Setelah ditentukan model yang terbaik, tiba saatnya untuk melakukan menjalankan labeling data di dataset yang lebih besar. Model selesai dijalankan akan menghasilkan kolom baru yang berisi sentiment  berdasarakan  model.  Kemudian  peneliti  melakukan  analisa  data  termasuk  dengan melakukan visualisasi data untuk memahami insight yang dapat dipahami dari sentiment ini. Bila analisa sudah selesai dan lengkap, maka penulis perlu menuliskan hasil temuan dan kesimpulan atas sentiment yang sudah didapatkan.

## 4 Hasil dan Pembahasan
Setelah melakukan crawling data di twitter dan melakukan pembersihan dataset, Proses perjalanan data didapatkan data yang siap diolah sebanyak 941 tweets. Dengan menggunakan bantuan botometer, peneliti mendapatkan 432 data tweets yang tidak diindikasikan sebagai akun bot. Akun bot yang ada didominasi juga oleh akun portal berita. Mengacu pada laporan dashboard yang dikeluarkan oleh Tim Indo  NLU,  Model  IndoBERT-large-p1  menduduki  peringkat  tertinggi  dari  keseluruhan  model  yang tertera sehingga model ini akan digunakan sebagai dasar algoritma untuk pelabelan sentiment terhadap tweet seputar pinjaman online. Hasil processing model seperti yang terlampir pada Tabel 1 dimana nilai rata  rata  accuracy  mencapai  angka  69%  dengan  nilai  f1  score  rata  rata  sebesar  0,59  dan  nilai  recall sebesar 0,59.
Tabel 1. Evaluasi Performa Model IndoBERT Klasifikasi Precision Recall F1-score Netral Positif Negatif 0.68 0.30 0.81 0.74 0.23 0.79 0.71 0.26 0.80
Dalam  bentuk  pie  chart,  Gambar  2  menunjukkan  hasil  sentimen  masyarakat  terhadap  topik pinjaman  online.  Secara  umum  Negative  sentiment  yang  ditandai  dengan  warna  kuning  dan  neutral tweet berwarna oranye mendominasi argumen masyarakat terhadap topik pinjaman online yang berhasil dikumpulkan di dataset dan sekitar 9.9 % saja yang merespon positif dari tweet seputar pinjaman online ini.

## Gambar  2. Sebaran Sentiment Tanpa Memisahkan Akun Bot
Gambar  X  menunjukkan  sebaran  engagement  tweets  di  media  sosial  dengan  3  parameter  yaitu reply  berwarna  biru,  retweets  berwarna  oranye,  dan  likes  berwarna  hijau.  Engagement  tweet menunjukkan  rata  rata  atensi  publik  menanggapi  suatu  tweets  tersebut.  Bila  ditarik  kesimpulan engagement tertinggi terjadi pada bulan Juli 2021 untuk retweets dimana rata rata setiap post di retweets oleh  5  akun  lainnya.  Gambar  3  secara  umum  menunjukkan  retweets  dan  likes  mendominasi  dan memiliki kemiripan rasio engagementnya.

## Gambar  3. Sebaran Impresi Data Tanpa Memisahkan Akun Bot
Gambar 4 adalah wordcloud yang memuat kata yang paling sering dibahas didataset. Pinjaman online dan online ilegal adalah kata yang paling populer dibahas oleh akun akun yang ada didataset. Dan bila dilakukan analisa lebih dalam menggunakan unigram seperti pada Gambar 5, terdapat 2 kata dengan frekuensi paling sering dibahas yaitu secara berurutan pinjaman dan online sebanyak 1850 kali dan 1800 kali.
Gambar  4. Word Cloud Tweet Tanpa Memisahkan Akun Bot
http://sistemasi.ftik.unisi.ac.id

## Gambar  5. Kata Dengan Frekuensi Paling Sering Dibahas Dalam Tweet Dengan Akun Bot
Akun bot seringkali menjadi pengacau keabsahan data terkait sentiment masyarakat, sehingga penelitian  ini  dapat  membantu  untuk  mengetahui  sejauh  mana  akun  bot  memberikan  dampak terhadap dataset yang ada. Setelah melalui tahapan pengecekan bot, ditemukan setidaknya 509 data yang di tweets oleh akun terindikasi sebagai akun bot. Gambar 6 menunjukkan terdapat perbedaan dari kecendrungan label di dataset. Sebanyak 54,2 % akun memberikan sentiment negatif terhadap topik pinjaman online dan diikuti dengan 35,3 % memiliki sentiment netral.

## Gambar  6. Sebaran Sentiment Dengan Mengabaikan Akun Bot
Pada  Gambar  7  menunjukkan  hasil engagement  tweets yang  terdapat  di  dataset.  Bila disimpulkan engagement tweets tanpa akun bot dengan akun bot memiliki pola yang hampir sama dimana pada bulan Juli 2021 tren cenderung naik dan likes serta retweets mendominasi engagement secara keseluruhan. Perbedaan yang mendasar terletak di maksimum rata rata engagement nya saja dimana terdapat setidaknya dari setiap tweets yang ada di retweets oleh 7 akun lainnya.

## Gambar  7.  Sebaran Impresi Data Dengan  Mengabaikan Akun Bot
Gambar 8 menunjukkan setelah memisahkan akun bot, pembahasan per kata masih cenderung relatif  sama  dengan  melibatkan  akun  bot.  Perbedaan  mendasar  hanya  di  jumlah  kata  yang diulanginya saja untuk online dan pinjama secara berurutan hanya terdapat 1200 kali dan 1100 kali kata yang dibahas di dataset.
Gambar  8. Kata dengan frekuensi paling sering dibahas dalam tweet Tabel 2. Contoh Sentimen Positif Pada Tweet
Tweet Sentiment SWI  akan  terus mengedukasi  masyarakat untuk  tidak
menggunakan pinjaman  online  ilegal dan  hanya  memanfaatkan fintech lending yang terdaftar di OJK. Kita  tetap waspada jangan  meminjam pinjaman  online  ilegal rentenir online nantinya bakal ngerugiin kamu dikemudian hari biar ak  salah  pilih  yuk  kenali  ciri  ciri  pinjaman  online  ilegal  informasi berikut.
Gak usah malu guys klo mau minjem online , orang kita bayar kok,
tapi cari  Pinjol  Legal  yang  aman biar  kita  juga  tetep  mudah cicilnya, kaya di Tunaiku dari Amar Bank.
Positif Positif Positif
Pada Tabel 2 dapat disimpulkan masyarakat memahami bahwa pinjaman online ilegal perlu dihindari dan cenderung tidak  menyalahkan adanya pinjaman online di Indonesia.  Seperti yang disebut  dalam  tabel  banyak  upaya  upaya  edukasi  yang  ditawarkan  untuk  mencegah  melakukan peminjaman  terhadap  pinjaman  online  ilegal  melalui  media  visualisasi  seperti  poster  misalnya. Selain itu publik juga beropini baik dalam peminjaman dana namun tetap perlu mewaspadai dan mengharuskan untuk meminjam kepada pinjaman online legal dibawah pengawasan Otoritas Jasa Keuangan (OJK).
http://sistemasi.ftik.unisi.ac.id
Tabel 3. Contoh Sentimen Negatif Pada Tweet
Tweet Sentiment
Dalam kondisi sulit seperti ini pinjaman online atau pinjol ilegal juga tetap bergentayangan mencari mangsa baru.
Saya  banget2  saranin,  jangan  pernah  berhubungan  dgn  pinjaman online baik itu legal apalagi ilegal dng alasan apapun. Meski keadaan darurat, mending mati ketimbang harus pinjam uang ke pinjol. Kok  orang  jahat-jahat  sih....  ngutang  pinjaman  online  tapi masukinnya nomor orang lain.. terus orang lainnya jadi korban.. gila ya. Negatif
Negatif
Negatif
Mengacu  pada  Tabel  3  didapatkan  kecenderungan  opini  publik  yang  kurang  menyenangi adanya pinjaman online di Indonesia. Mereka cenderung mengeneralisasi stigma pinjaman online dan  mengabaikan  status  legalitasnya  dan  tidak  merekomendasikan  pinjaman  online  sebagai alternatif solusi pinjaman keuangan. Terdapat beberapa opini publik yang dirugikan dengan adanya pinjaman online ini dimana mereka tidak merasa meminjam namun nomornya digunakan sebagai jaminan  atau    nomor  keluarga  yang  biasanya  oknum  peminjam  tidak  mengembalikan  dana  dan nomor jaminan di teror oleh debt collector perusahaan pinjaman online.
Hasil eksperimen yang diambil dari  dua dataset tweet dengan akun bot sebanyak 941 data dan dataset yang mengabaikan akun bot sebanyak 432 data menunjukkan dengan memperhatikan akun  bot  bahwa  sentiment  negatif  dan  netral  mendominasi  dari  keseluruhan  dataset.  Memiliki engagement tertinggi di periode bulan Juli 2021 yang mencapai rata rata lima retweets untuk satu tweets- nya dan topik yang paling sering dibahas ialah pinjaman online dan online ilegal. Bila data divisualisasikan berdasarkan kata  diperoleh hasil yang menunjukkan kata online, pinjaman, ilegal, dan korban  menduduki peringkat teratas yang dibicarakan dalam dataset.
Sentiment dengan mengabaikan akun bot hanya terdapat sedikit perbedaan sentiment secara keseluruhan  ,  negatif  sentimen  cenderung  meningkat  dan  sentimen  netral  sedikit  mengalami penurunan yang diakibatkan oleh sebagian besar dari akun bot itu sendiri kebanyakan dari portal berita. Terkait dengan engagement , ada sedikit perbedaan rata rata impresi dimana pada bulan Juli 2021 juga menjadi puncak impresi dengan rata rata tujuh retweets untuk satu tweet -nya. Terkait dengan  kepopularitas  pembahasan  berdasarkan  kata,  secara  umum  tidak  banyak  berubah  hanya komposisi jumlah frekuensinya saja yang berkurang hal ini sejalan dengan jumlah data yang lebih sedikit bila dibandingkan dengan dataset sebelumnya.

## 5 Kesimpulan
Penelitian ini yang ditujukan untuk menjawab pengaruh sentiment masyarakat terhadap pinjaman online  di  media  sosial  twitter  baik  dengan  analisis  menggunakan  klasifikasi  model  IndoBERT  dari IndoNLU dengan metode pembelajaran berupa semi supervised learning menunjukkan bahwa ada dan tidaknya akun bot dalam media sosial twitter cukup memberikan pengaruh namun tidak terlalu besar terkait dengan sentiment masyarakat terhadap pinjaman online. Dengan dan tanpa menggunakan akun bot  secara  umum  masyarakat  twitter  memiliki  kecenderungan  bersikap  negatif  terhadap  keberadaan pinjaman online terutama untuk pinjaman online yang tidak memiliki izin secara legal untuk beroperasi dengan puncak engagement post berada di sekitar Bulan Juli 2021. Topik yang paling sering dibahas dalam periode ini meliputi pembahasan kata online, pinjaman, ilegal, dan korban. Seluruh data analisis dan kode dapat diakses melalui zenodo.[15]

## Referensi
[1] V.  Juita,  F.  Firdaus,  and  T.  N.  P.  Hermanto,  “Studi  Prilaku  Pengguna  Layanan  Financial Technology  (Fintech)  di  Indonesia:  Analisa  Persepsi  Risiko  dan  Manfaat,” Jurnal  Inovasi Pendidikan Ekonomi (JIPE) , vol. 10, no. 2, p. 118, Nov. 2020, doi: 10.24036/011100040.
[2] D.  S.  Utami  and  A.  Erfina,  “Analisis  Sentimen  Pinjaman  Online  Di  Twitter  Menggunakan Algoritma  Support  Vector  Machine  (SVM),” Seminar  Nasional  Sistem  Informasi  dan Manajemen Informatika , vol. 1, no. 1, pp. 299–305, 2021, Accessed: Oct. 07, 2021. [Online]. Available: https://sismatik.nusaputra.ac.id/index.php/sismatik/article/view/34/30
[3] K.  Ilmu,  P.  Studi,  I.  Komunikasi,  F.  Komunikasi,  D.  Desain,  and  M.  Retnasary,  “Jurnal Politikom Indonesiana: Penggunaan Media Sosial Twitter Masyarakat di Kota Bandung sebagai Media  untuk  Memperoleh  Informasi  mengenai  New  Normal  dalam  Akun  @humasjabar  Rio Esaputra Rohman,” 2020. [Online]. Available:
https://journal.unsika.ac.id/index.php/politikomindonesianahttps://journal.unsika.ac.id/index.p hp/politikomindonesiana18
[4] M. I. Aditama, R. I. Pratama, K. H. U. Wiwaha, and N. A. Rakhmawati, “Analisis Klasifikasi Sentimen  Pengguna  Media  Sosial  Twitter  Terhadap  Pengadaan  Vaksin  COVID-19,” Journal Information Engineering and Education Technologi , vol. 04, no. 02, 2020.
[5] F. Rashif, G. Ihza Perwira Nirvana, M. Alif Noor, and N. Aini Rakhmawati, “Implementasi LDA untuk  Pengelompokan  Topik  Cuitan  Akun  Bot  Twitter  bertagar  #Covid-19  LDA Implementation for Topic of Bot’s Tweets with #Covid-19 Hashtag,” Cogito Smart Journal | , vol. 7, no. 1, 2021.
[6] R. Sugangga and E. H. Sentoso, “Perlindungan Hukum Terhadap Pengguna Pinjaman Online (Pinjol) Ilegal,” 2020.
[7] M. I. Aditama, R. I. Pratama, K. H. U. Wiwaha, and N. A. Rakhmawati, “Analisis Klasifikasi Sentimen  Pengguna  Media  Sosial  Twitter  Terhadap  Pengadaan  Vaksin  COVID-19,” Journal Information Engineering and Educational Technology (JIEET) , vol. 4, no. 2, 2020.
[8] N. Muchammad Shiddieqy Hadna, P. Insap Santosa, and W. Wahyu Winarno, “Studi Literatur Tentang Perbandingan Metode untuk Proses Analisis Sentimen Di Twitter,” 2016.
[9] J.  Andreanus  and  A.  Kurniawan,  “Sejarah  ,  Teori  Dasar  dan  Penerapan  Reinforcement Learning : Sebuah Tinjauan Pustaka,” Jurnal Telematika , vol. 12, no. 2, 2018.
[10] T. Mutiah, I. Albar, Fitriyanto, and A.Rafiq, “Etika Komunikasi Dalam Menggunakan Media Sosial,” Global Komunika , vol. 1, no. 1, 2019.
[11] Y. Fahrima, “Netiquette: Etika Jejaring Sosial Generasi Milenial dalam Media Sosial,” Jurnal Penelitian  Pers  Dan  Komunikasi  Pembangunan ,  vol.  22,  pp.  69–78,  2018,  doi: doi.org/10.46426/jp2kp.v22i1.82.
[12] A. Setiadi, “Pemanfaatan media sosial untuk efektifitas komunikasi,” Jurnal Ilmiah Matrik , vol. 16, no. 1, 2014.
[13] F.  Koto,  A.  Rahimi,  J.  H.  Lau,  and  T.  Baldwin,  “IndoLEM  and  IndoBERT:  A  Benchmark Dataset  and  Pre-trained  Language  Model  for  Indonesian  NLP,” International  Conference  on Computational Linguistics , vol. 28, pp. 757–770, 2020, doi: 10.18653/v1/2020.coling-main.66.
[14] N. L. P. C. Savitri, R. A. Rahman, R. Venyutzky, and N. A. Rakhmawati, “Analisis Klasifikasi Sentimen Terhadap Sekolah Daring pada Twitter Menggunakan Supervised Machine Learning,” Jurnal  Teknik  Informatika  dan  Sistem  Informasi ,  vol.  7,  no.  1,  Apr.  2021,  doi: 10.28932/jutisi.v7i1.3216.
[15] F. Arrizal, A. Ikhsan, and A. Cintya, “Dataset Pinjaman Online Twitter,” Zenodo , 2021.