## Jurnal Sains dan Teknologi
Volume 13 Number 1, Tahun 2024, pp. 135-146 P-ISSN: 2303-3142 E-ISSN: 2548-8570 Open Access: https://doi.org/10.23887/jstundiksha.v13i1.61570
Pemetaan  Sentimen  Pengguna  Media  Sosial  dalam  Evaluasi Quality of Experience Kinerja Layanan Video Streaming
Fahmi Candra Permana 1* , Yoanes Bandung 2
1,2 Sekolah Teknik Elektro dan Informatika, Institut Teknologi Bandung, Bandung, Indonesia

## A B S T R A K
Salah  satu  sumber  Big  Data  yang  terus  bertambah  adalah  data  pada  media  sosial. Jumlah pengguna media sosial erat kaitannya dengan jumlah pengguna layanan video streaming di Indonesia yang mengalami peningkatan sekitar 25 persen pada tahun 2022, dan mencapai 83 juta jumlah pengguna. Untuk menjamin kualitas komunikasi data  yang  baik,  diperlukan  pengukuran  QoE  yang  baik,  efisien  dan  akurat.  Proses pengukuran  yang  lama  dan  biaya  yang  cukup  besar  dalam  QoE  menjadi  masalah dalam  menjamin  layanan  video  streaming.  Jumlah  pengguna  yang  sangat  banyak memberikan  peluang  terjadi  banyak  interaksi  pengguna  dalam  media  sosial  dan sentimen pengguna dalam memberikan umpan balik secara alami terkait kepuasan layanan yang diterima. Penelitian ini bertujuan untuk memetakan persepsi pengguna dalam pengukuran QoE berdasarkan komentar pengguna layanan pada media sosial. Penelitian ini termasuk ke dalam jenis kuantitatif dan desain eksperimental sebagai desain  penelitian.  Subjek  penelitian  ini  adalah  persepsi  pengguna  layanan  video streaming dalam media sosial. Data yang digunakan dalam penelitian dikumpulkan berbasis  Text  Mining  untuk  selanjutnya  dilakukan  Social  Network  Analystic  untuk menganalisis  data  tersebut.  Hasil  dari  sentimen  pengguna  layanan  yang  telah dipetakan  menunjukan  bahwa  aspek  sistem  dan  konten  penyedia  layanan  dengan jumlah  59,43%  pada  layanan  video  streaming.  Hal  tersebut  menunjukan  bahwa persepsi  sentimen  pengguna  layanan  memiliki  korelasi  yang  cukup  tinggi  dengan parameter  QoE  dalam  pengukuran  kinerja  layanan  video  streaming.  Implikasi penelitian ini adalah Penelitian ini memberikan wawasan yang mendalam mengenai bagaimana  pengguna  merespons  dan  merasakan  kualitas  layanan  video  streaming berdasarkan pengalaman mereka yang diekspresikan di media social.

## A B S T R A C T
One source of Big Data that continues to increase is data on social media. The number of social media users is closely related to the number of video service users streaming in Indonesia, which will experience an increase of around 25 percent in 2022,  and  reach  83  million  users.  To  guarantee  good  data  communication  quality,  good,  efficient  and  accurate  QoE measurements are needed. The long measurement process and significant costs in QoE are problems in guaranteeing video services streaming. The large number of users provides opportunities for a lot of user interaction on social media and user sentiment in providing natural feedback regarding satisfaction with the services received. This research aims to map user perceptions in measuring QoE based on service user comments on social media. This research is included in the quantitative type and experimental design as a research design. The subject of this research is the perception of video service users streaming in social media. The data used in the research is based on collection Text Mining Next, Social Network Analytics is carried out to analyze the data. The results of service user sentiment that have been mapped show that the system and content  aspects  of  service  providers  account  for  59.43%  of  video  services.  streaming.  This  shows  that  the  perceived sentiment  of  service  users  has  a  fairly  high  correlation  with  QoE  parameters  in  measuring  video  service  performance streaming.  The  implications  of  this  research  are  This  research  provides  in-depth  insight  into  how  users  respond  and perceive the quality of video streaming services based on their experiences expressed on social media.

## 1. PENDAHULUAN
Pada  awal  tahun  2020  pandemi  global  COVID-19  mulai  merebak  di  Indonesia  mengubah  cara masyarakat  dalam  menikmati  konten  hiburan,  termasuk  layanan  video streaming .  Saat  ini  masyarakat Indonesia  sudah  terbiasa  dengan  siaran  yang  berbeda  pada platform video  dalam  dan  luar  negeri  yang berbeda. Country Manager Trade Desk Indonesia, Florencia Eka, mengatakan bahwa penggunaan layanan video streaming atau Over the Top (OTT) di Indonesia meningkat hingga 25 persen pada tahun 2022. Saat ini total pengguna platform tersebut di Indonesia mencapai 83 juta orang . Kajian lain tentang penggunaan layanan video streaming di Indonesia yang dilakukan oleh Future of TV dan The Trade Desk menunjukkan bahwa  satu  dari  tiga  masyarakat  Indonesia  menggunakan  layanan  video streaming dan  38  persen penggunanya  merupakan  pengguna  aktif  yang  loyal  dalam  menggunakan  layanan  tersebut  setiap  hari.

## A R T I C L E   I N F O
Article history: Received September 25, 2023 Accepted February 13, 2024 Available online April 25, 2024

## Kata Kunci:
QoE, Big Data, Analasis Sentimen, Video Streaming, Persepsi Pengguna
Keywords: QoE, Big Data, Analasis Sentimen, Video Streaming, Persepsi Pengguna
This is an open access article under the CC BY-SA license.
Copyright © 2024 by Author. Published by Universitas Pendidikan Ganesha.
Perkembangan pesat layanan streaming video ini sejalan dengan pernyataan Cisco bahwa pada tahun 2022, hampir semua perangkat Internet akan mendukung transmisi video yang baik. Cisco mengumumkan bahwa pada tahun  2022, lalu  lintas video di jaringan Internet akan mencapai 82 persen  dari semua lalu  lintas Internet Protocol (IP) di seluruh dunia (Angelia, 2022; Cisco Predicts | Fierce Video, 2020; Live Video Usage Will Increase 15-Fold, 2021)
Meningkatnya  jumlah  pengguna  layanan  video streaming yang  begitu  pesat,  membuat  fokus penyedia layanan tersebut beralih dari pengiriman video dengan skema tradisional menjadi pengiriman video  berbasis Quality  of  Experience (QoE) (Barman  &  Martini,  2019;  Netflix,  2020) International Telecommunication Union of Telecommunication (ITU-T) menyatakan QoE adalah penerimaan keseluruhan aplikasi atau layanan, yang dirasakan secara subjektif oleh pengguna akhir. Jumlah pengguna yang banyak tersebut  seharusnya  dapat  berbanding  lurus  dengan  kualitas  infrastruktur  yang  menunjang keberlangsungan komunikasi data yang baik yang ada di Indoneia.  ITU-T menyatakan bahwa QoS adalah pengaruh kolektif dari kinerja layanan yang menentukan tingkat kepuasan pengguna layanan. Salah satu implementasi  QoS  dalam  IoT  adalah  menyediakan  komunikasi  data  multimedia  melalui  layanan  video streaming .  Komunikasi  ini  memerlukan  penggunaan  protokol  yang  berbeda,  algoritma  jaringan  yang berbeda, sistem komunikasi yang heterogen, dan saluran komunikasi yang berbeda, yang masing-masing memiliki persyaratan QoS yang berbeda (International telemucation, 2020; Khalil et al., 2019; Said, 2022)
Terdapat dua faktor penting yang harus dipertimbangkan dalam pengukuran QoS dan QoE yaitu faktor teknis dan non-teknis. Faktor teknis mempertimbangkan  hilangnya  pelanggan atau  pengguna layanan sebagai akibat dari QoS yang buruk, sedangkan faktor non- teknis mempertimbangkan sekelompok faktor  yang  dapat  berkontribusi  untuk  meningkatkan  QoS.  Faktor non-teknis dikenal  sebagai  QoE yang dianggap  lebih  penting  karena  mengurangi  dampak  negatif  dari  faktor  pertama , yaitu  meningkatkan kepercayaan pelanggan pada penyedia layanan dengan menyesuaikan kualitas layanan (Gramaglia et al., 2019; Habachi  et al., 2019; Mizoguchi & Ito, 2020) Oleh karena itu,  QoE didefinisikan sebagai kepuasan pelanggan dengan output dari aplikasi yang berbeda dan sejauh mana pengembangannya sesuai dengan serangkaian  faktor  seperti  pengalaman  pengguna.  Adaptasi  QoE  bagi  penyedia  layanan  multimedia merupakan tantangan besar karena melibatkan banyak aplikasi yang berbeda, jenis pertukaran data, dan pengguna, serta keragaman jaringan dan perangkat yang menciptakan saluran komunikasi yang beragam (Bouraqia et al., 2020; Fizza et al., 2021; Seufert et al., 2019)
Dalam beberapa tahun terakhir, QoE telah menjadi elemen penting dalam mengevaluasi efisiensi komunikasi data, termasuk dalam komunikasi data multimedia dalam layanan video streaming .  Temuan penelitian  sebelumnya  menyatakan  bahwa  faktor  subjektif  memiliki  pengaruh  yang  lebih  besar  dalam mengevaluasi kinerja penyedia layanan IoT (Fizza et al., 2021). Penelitian tersebut  menunjukkan bahwa faktor objektif yang tidak berkaitan langsung dengan pengguna hanya memiliki pengaruh 22,22 persen saja. Hal  tersebut  mengindikasikan  bahwa  faktor  subjektif  memiliki  pengaruh  yang  lebih  dominan  dengan pengaruh sebesar 77,78 persen dalam evaluasi kinerja layanan IoT (Bouraqia et al., 2020; Fizza et al., 2021) . Dengan adanya Content dan Context sebagai bagian faktor dalam melakukan evaluasi berbasis QoE. Content dan Context dalam  proses  QoE  erat  kaitannya  dengan  berbagai  faktor  sosial  seperti  sosial,  budaya  dan persepsi pengguna. Hal ini merupakan peluang untuk melihat perspektif lain dalam melakukan evaluasi berbasis  QoE.  Persepektif  tersebut  dapat  berdasarkan  pada  aktifitas,  tingkah  laku,  serta  komunikasi pengguna  layanan  saat  menikmati  layanan  tersebut,  sehingga  hal  tersebut  sesuai  empat  faktor  yang memengaruhi QoE sebagaimana disajikan pada Gambar 1 .
Gambar 1. Berbagai Faktor yang Memengaruhi QoE
Selain itu , penelitian lainnya menyatakan bahwa untuk mempertimbangkan kepuasan pengguna dalam konteks aplikasi streaming video secara real-time , QoS tidak lagi cukup untuk mengevaluasi kualitas dari  penyedia  layanan  tersebut . Lebih    jauh  dalam  penelitiannya memberikan  beberapa  teknik  yang dilakukan untuk mengukur  QoE dalam layanan video streaming dengan tingkat keakuratan tinggi, salah satunya  dengan  menggunakan  metode Subjective  Assesment .  Metode  ini  mengumpulkan  serangkaian pengguna layanan sebagai observer dalam suatu waktu, atau dalam satu laboratorium untuk mengevaluasi urutan video dan kemudian memberikan skor yang tergantung pada sudut pandang dan persepsi masing- masing observer , rata-rata nilai yang diperoleh untuk setiap urutan tes dikenal sebagai Mean Opinion Score (MOS) (Bouraqia et al., 2020; International telemucation, 2020). Teknik MOS merupakan cara yang paling sering digunakan untuk mengukur faktor-faktor tersebut . Umumnya video akan dinilai pada skala diskrit titik  sebagai  berikut : sangat  buruk ; buruk ; cukup ; bai k  ; sangat  baik.  Meskipun  MOS  adalah  metode penilaian  yang  paling  dikenal  dan  populer  dalam  melakukan  QoE,  ternyata  teknik  MOS  ini  cenderung memperlambat proses assesment dalam QoE  karena pemikiran dan  interpretasi, serta ingatan evaluator atau penguji yang sangat terbatas sehingga tidak dapat menangkap persepsi pengguna dari waktu ke waktu (Andruloniw et al., 2019; Cieplinska et al., 2022; Fizza et al., 2021; Toet et al., 2021)
Proses  QoE  yang  saat  ini  sudah  dilakukan  dalam  evaluasi  kinerja  layanan  video streaming mengalami beberapa kendala , eperti proses penilaian berbasis QoE yang cenderung lama dan memakan biaya yang cukup besar. Sampel pengujian yang dilakukan dalam proses QoE cenderung homogen dan tidak representatif (W. Kim et al., 2019). Mayoritas pengguna layanan video streaming adalah orang yang awam tentang video (Fizza et al., 2021; Kim et al., 2019, 2020) . Sering terjadi bias dalam proses penilaian QoE karena persepsi setiap orang yang begitu beragam (Akhtar et al., 2019; Song et al., 2020; Yang et al., 2020) . Adapun  QoE  merupakan  domain  multidisiplin  ilmu  yang  membutuhkan  kajian  dari  ilmu  sosial  (seperti psikologi, fisiologi, sosiologi, neuroscience , dan congnitive science ).  Berbagai permasalahan tersebut dapat menjadi peluang untuk dilakukan penelitian baru. Hal tersebut karena salah satu faktor yang berpengaruh dengan  metode  pengukuran  QoE  adalah  adanya  faktor  manusia  ( human  factors )  yang  berkaitan  dengan emosi, mental, sosial dan budaya dari pengguna layanan (Akhtar & Falk, 2017; Kougioumtzidis et al., 2022) Saat ini, terdapat banyak data yang bersumber dari diskusi masyarakat di internet, sehingga QoE terkait layanan  multimedia  tidak  hanya  dapat  dilakukan  di  laboratorium  saja.  Oleh  karena  itu,  keberagaman pengguna layanan yang berada di seluruh dunia dapat dijadikan sebagai sumber data yang begitu besar. Hal tersebut dapat merepresentasikan berbagai latar belakang budaya yang menjadi salah satu faktor dalam proses QoE (Bishop, 2020; Chen et al., 2020; Hossfeld et al., 2019; Ribeiro et al., 2019) Saat ini banyak dikembangkan oleh banyak peneliti model prediksi hasil QoE dalam mengevaluasi kinerja  layanan  multimedia  seperti  layanan  video streaming berbasis  pembelajaran  mesin.  Persepsi pengguna layanan dapat diambil dari media sosial berupa komentar secara terbuka, sehingga data tersebut dapat diolah menggunakan teknik analisis sentimen. Analisis sentimen merupakan pendekatan terhadap Natural  Language  Processing (NLP)  untuk  mengidentifikasi  nada  emosi  di  balik  sebuah  teks  (termasuk aktifitas pengguna layanan video streaming dalam media sosial ataupun kolom komentar penyedia layanan) yang merupakan bagian dari pendekatan pembelajaran mesin, kecerdasan buatan dan penambangan data.
Di antara lima penyedia layanan video streaming dengan pengguna terbanyak di Indonesia, hanya Youtube  dan  Vidio  saja  yang  menyediakan  kolom  komentar  dalam  setiap  video  yang  ditayangkan. Berdasarkan  data  dari  Hotsuite,  Youtube  dapat  juga  dikategorikan  sebagai  situs  media  sosial,  bahkan termasuk dalam media sosial dengan jumlah  pengguna paling  banyak kedua di dunia setelah  Facebook. Berdasarkan data tersebut per-Januari 2023 ini, jumlah pengguna aktif yang terdaftar di Youtube saat ini berjumlah 2,514 Miliar pengguna (International telemucation, 2020; Kougioumtzidis et al., 2022). Saat ini, platform Vidio merupakan layanan video streaming di Indonesia yang memiliki Brand Shares tertinggi di Indonesia.  Meskipun  saat  ini  Netflix  merupakan  layanan  dengan  jumlah  pengguna  tertinggi  di  dunia,  di Indonesia Netflix tidak menjadi platform dengan Brand Shares tertinggi (Marhantara & Widodo, 2021) . Jika merujuk pada definisi dari Kamus Besar Bahasa Indonesia (KBBI) Market Shares atau Brand Shares adalah jumlah  penjualan  produk  atau  komoditas  suatu  penjualan  dibandingkan  dengan  penjualan  produk  atau komoditas itu dalam industri atau penghasil secara keseluruhan. Oleh karena itu, platform Vidio merupakan penyedia layanan video streaming di Indonesia dengan pangsa pasar tertinggi di Indonesia. Hal tersebut sejalan dengan strategi marketing yang dilakukan oleh platform untuk meningkatkan iklan dalam media sosial  Twitter  yang  berdampak  pada  meningkatnya  interaksi  dengan  pengguna  dan  pangsa  pasar  Vidio secara keseluruhan.
Berdasarkan  hasil–hasil  penelitian  di  atas,  diperlukan  sebuah  pembuktian  bahwa  sentimen pengguna layanan pada media sosial memiliki korelasi yang tinggi dengan faktor– faktor yang memengaruhi QoE. Oleh karena itu, penelitian ini difokuskan untuk memetakan persepsi pengguna layanan berupa opini dalam media sosial sebagai langkah penting untuk mengetahui isu apa saja yang banyak diperbincangkan pengguna layanan video streaming dalam media sosial. Dengan demikian, hasil dari penelitian ini dapat
menjadi dasar bahwa komentar pengguna layanan dalam media sosial menjadi metode pengukuran baru dalam proses QoE. Tujuan penelitian ini adalah untuk memetakan sentimen pengguna media sosial dalam rangka mengevaluasi Quality of Experience (QoE) kinerja layanan video streaming. Dengan menganalisis data sentimen yang diekspresikan oleh pengguna di berbagai platform media sosial, penelitian ini bertujuan untuk  mengidentifikasi  pola-pola  sentimen,  baik  positif  maupun  negatif,  yang  berkaitan  dengan pengalaman pengguna terhadap layanan video streaming. Selain itu, penelitian ini juga bertujuan untuk mengungkap  faktor-faktor  utama  yang  mempengaruhi  QoE,  seperti  kualitas  video,  stabilitas  jaringan, kecepatan buffering, dan aspek teknis lainnya. Melalui pemetaan sentimen ini, diharapkan dapat diperoleh wawasan yang mendalam mengenai persepsi pengguna dan area yang memerlukan perbaikan, sehingga penyedia  layanan  dapat  mengimplementasikan  langkah-langkah  strategis  untuk  meningkatkan  kualitas layanan mereka. Pada akhirnya, tujuan penelitian ini adalah untuk memberikan rekomendasi yang berbasis data kepada penyedia layanan video streaming guna meningkatkan kepuasan dan pengalaman pengguna, serta meningkatkan daya saing mereka di pasar yang kompetitif.

## 2. METODE
Penelitian  ini  termasuk  dalam  jenis  penelitian  kuantitatif  dengan  desain  eksperimental  sebagai desain penelitian. Pemilihan jenis  penelitian kuantitatif ini didasari pada tahapan yang perlu dilakukan, seperti  subjek  yang  diteliti,  data  yang  dikumpulkan,  dan  sumber  data  yang  dibutuhkan,  serta  alat pengumpul  data  yang  digunakan (Permana  et  al.,  2021;  Sugiyono,  2019). Sedangkan  pemilihan  desain eksperimental  didasari  pada  metode  penelitian  yang  digunakan.  Sebagai  contoh,  dalam  penelitian  ini dilakukan beberapa kali uji coba atau eksperimen pengambilan data dari media sosial Twitter dan Youtube. Adapun subjek penelitian dalam penelitian ini adalah persepsi pengguna layanan video streaming dalam media sosial. Hal tersebut dilakukan untuk memetakan komentar pengguna layanan video streaming dalam media ke dalam empat parameter QoE yaitu Content, Context, User dan Systems . Penelitian  ini  telah  dilakukan  dalam  dua  tahap  eksperimen,  langkah  pertama  yang  dilakukan adalah pengambilan data berupa teks dari media sosial menggunakan metode Text Mining . Tahapan awal dilakukan Text Mining dalam pengambilan dan pembersihan data, kemudian setelah itu dilakukan proses Social Network Analysis untuk menganalisis setiap kata yang terkait dalam teks yang telah terambil dan memvisualisasikannya dalam berbagai kategori visualiasasi. Tahapan Text Mining , yang merupakan metode yang dapat digunakan untuk mencari, memvisualisasikan, dan mengevaluasi berbagai koleksi pengetahuan dari dokumen teks. Dalam penelitian ini, dokumen teks yang dianalisis adalah teks berbasis media sosial. Informasi  yang  dianalisis  dalam  penambangan  teks  biasanya  melibatkan  proses  pengaturan  input  teks, kemudian  memberikan  pola  menjadi  data  yang  lebih  terstruktur  kemudian  mengevaluasi  output  dari sumber  informasi.  Berikut  beberapa  tahapan  dalam  metode Text  Mining yang  dilakukan  disajikan  pada Gambar 2 .
Tahapan metode Text Mining yang telah digunakan adalah sebagai berikut. Pertama, Akuisisi Data. Tahapan pada proses akusisi data adalah proses pengumpulan data dengan sumber data berasal dari media sosial  Twitter  menggunakan platform Netlytics.  Proses  ini  akan  dilakukan  secara  berkala  untuk  waktu tertentu  dengan  menggunakan  kata  kunci  “@vidio”  sebagai  akun  resmi  layanan  video streaming di Indonesia  dengan Brand  Shares tertinggi  di  Indonesia  pada  tahun  2022  (Statista,  2023).  Kedua,  pra- pemrosesan Teks,  tahapan  selanjutnya setelah  proses akuisisi  data adalah  penyimpanan data teks yang telah dikumpulkan tahapan pertama. Tahapan ini dilakukan agar proses pemodelan menjadi lebih akurat dan sederhana, karena pada tahapan ini akan banyak data yang dihilangkan. Tahapan pra-pemrosesan teks ini juga disebut sebagai proses per kata, teks yang telah diambil akan diurutkan, kemudian dilakukan proses pembersihan data yang tidak relevan dengan parameter QoE sebagai proses evaluasi kinerja layanan video streaming ,  atau  kata-kata  yang  dianggap  tidak  memiliki  makna.  Pada  tahapan  ini,  akan  dibantu menggunakan  kamus  data  berupa stop-word  removal yaitu  proses  menghilangkan  konjungsi  yang  tidak memiliki arti signifikan dalam suatu kalimat seperti kata “dalam”, “ke”, “dari” dan lain sebagainya. Ketiga, korpus Teks, tahapan ini seluruh teks sudah terkumpul dengan kondisi sudah melalui pra-pemrosesan teks, sehingga teks dapat disebut sebuah kumpulan teks atau biasa disebut sebagai korpus teks. Korpus teks ini sudah dapat diproses untuk tahapan selanjutnya, yaitu tahapan pembobotan.. Keempat, pembobotan Teks, Tahapan  selanjutnya  adalah  setelah  pra-pemrosesan  teks  yaitu  melakukan  pemilihan  kata-kata  yang muncul  yang  disesuaikan  dengan  faktor-faktor  yang  memengaruhi  QoE  seperti  yang  ditunjukan  pada Gambar 1 . seperti faktor konten, faktor konteks, faktor pengguna serta faktor sistem yang dapat terwakili dengan persepsi pengguna layanan yang disampaikan melalui media sosial. Kemudian Tahapan berikutnya setelah  selesai  dengan  metode  Teks  Mining  adalah  melakukan  metode Social  Network  Analysis (SNA). Tahapan ini dilakukan untuk menganalisis dan memvisualisasikan setiap kata yang terkandung dalam tweet pengguna, setelah data tersebut terambil dan terproses dengan baik pada tahap Text Mining . Proses SNA berisi pemetaan topik, percakapan, lokasi, dan hubungan antar pengguna. Dalam SNA, terdapat node atau titik jaringan yang menggambarkan sebagai user , lokasi, dan informasi lainnya. Garis yang menghubungkan setiap node menggambarkan  hubungan  antara node .  SNA  sangat  baik  dilakukan  untuk  menganalisis sentiment dan topik percakapan media sosial (Permana et al., 2021). Hubungan node dalam SNA disajikan pada Gambar 3 .
Gambar 3. Hubungan Node dalam SNA (Social Network Analysis for Foundations: Six Ideas to Scale Impact - Visible Network Labs, n.d.).
Proses SNA dapat juga diartikan sebagai metode untuk mempelajari hubungan dan perilaku antara individu  dengan  individu  lain  dalam  suatu  kelompok  sosial.  Di  sisi  lain,  SNA  dapat  digunakan  untuk memahami  hubungan  sosial  dengan  melambangkan  individu  sebagai node (titik)  dan edge (garis)  yang mewakili hubungan antar individu dalam Online Social Networks (OSN). Selain itu, SNA dapat digunakan sebagai model jaringan organisasi, ide, dan orang-orang yang terhubung dengan lingkungan dengan cara yang berbeda (Bratawisnu & Alamsyah, 2020; Ríos et al., 2019). Oleh karena itu, penyedia layanan dapat menggunakan  SNA  untuk  mendapatkan  wawasan  dan  pengetahuan  tentang  pengguna  layanan  dan komunitas melalui media sosial. Penelitian lain menyebutkan bahwa SNA dapat diterapkan pada berbagai topik  bisnis  seperti  pengembangan  strategi  penjualan  dan  pemasaran,  sumber  daya  manusia, pembangunan  tim,  manajemen  informasi,  dan  kolaborasi (Alamsyah  &  Indraswari,  2019;  Sapountzi  & Psannis, 2019). Proses SNA dalam penelitian ini dibuat menggunakan SNA yang terdapat dalam platform Netlytics.

## 3. HASIL DAN PEMBAHASAN
Hasil Hasil dari penelitian ini adalah sebuah pemetaan sentimen pengguna layanan video streaming pada media  sosial  yang  dapat  dijadikan  sebagai  evaluasi  QoE  kinerja  penyedia  layanan  video streaming di Indonesia. Pemilihan platform Youtube dan Vidio ini dikarenakan platform tersebut merupakan dua dari lima  besar  yang  memiliki  pengguna  terbanyak  di  Indonesia  dan  menyediakan  kolom  komentar  dari pengguna. Berdasarkan hasil pengambilan data, isi komentar dalam Youtube sangat beragam, oleh karena itu untuk mengantisipasi bias dari komentar pengguna, dalam penelitian ini dilakukan penambangan data dalam kanal Youtube pendidikan sebagai tahapan awal dalam pengambilan data. Hal ini dilakukan agar mendapatkan penonton atau audiens dari kanal pendidikan yang merupakan orang terpelajar, sehingga tidak terlalu beragam jenis komentarnya. Oleh karena itu, pada penelitian ini telah dilakukan pengambilan data  pada  kanal  “Ruangguru  Bimbel  Online  No.  1”  di  Youtube  dan  media  sosial  Twitter  @r uangguru. Hasilnya dapat dilihat pada Gambar 4 . yang merupakan komentar di akun @ruangguru dalam media sosial Twitter, dimana hanya terambil 48 post dalam rentang 29 September 2022 sampai dengan 6 Oktober 2022. Pengambilan data tweet dengan mention disajikan pada Gambar 4 .
Gambar 4. Pengambilan Data Tweet dengan Mention @ruangguru
Berbeda dengan platform Twitter sebagai media sosial, dalam komentar Youtube salah satu video yang diposting dalam kanal Ruangguru, terdapat 627 komentar dalam rentang waktu komentar antara 29 Mei 2022 s.d 13 Agustus 2022.
Gambar 5. Pengambilan Data Komentar Salah Satu Video dalam Kanal “Ruangguru Bimbel Online No. 1”
Pengambilan data dari laman Youtube memiliki rentang waktu sentimen lebih lama dibandingkan dengan Twitter, dalam penelitian ini pengambilan data dari laman Youtube dapat diambil mulai dari data pada tanggal 29 Mei 2018 sampai dengan  13 Agustus 2022. Hal tersebut dikarenakan dalam API Twitter yang gratis, dibatasi hanya dapat mengambil tweet dalam tujuh hari ke belakang saja. Selain itu, jika dilihat konteks dari komentar dalam media sosial Twitter, mayoritas berisi iklan dan promo dari reseller dan akun @ruangguru  itu  sendiri  seperti  yang  terlihat  pada Gambar  6 .  Tidak  mencerminkan  perasaan  kepuasan layanan yang diterima oleh pengguna.
Berbeda  dengan  data    pada  komentar  yang  terdapat  dalam  Twitter,  dalam  komentar  Youtube terdapat banyak komentar yang menggambarkan kepuasan pengguna layanan yang dapat dikorelasikan sebagai bagian dari proses QoE, yang dapat dilihat pada Gambar 7 .
Gambar 7. Komentar Salah Satu Video dalam Kanal “Ruangguru Bimbel Online No. 1”
Selain  itu  dalam  penelitian  ini  dilakukan  pemetaaan  kata  apa  saja  yang  muncul  dalam  setiap pencarian dalam Twitter yang dapat dilihat pada Gambar 8 ,  yang menggambarkan mayoritas merupakan kata – kata yang bersifat promosi seperti kata “paket”, “#zonauang”, “#zonajaja” dan “#zonabu”.
Gambar 8. Pemetaan Kata dari tweet @ruangguru.
Hal ini berbeda dengan pengambilan data pada laman Youtube ruangguru yang dapat dilihat pada Gambar 9 , dengan kata – kata seperti “makasih”, “terimakasih”, “bagus”, dan “keren” yang menggambarkan kepuasan para pengguna layanan video streaming dalam kanal Youtube “Ruangguru Bimbel Online No. 1”.
Gambar 9. Pemetaan Kata dari Salah Satu Video dalam Kanal “Ruangguru Bimbel Online No. 1”
Setelah  dilakukan pengambilan data dalam platform Youtube dengan data yang  terambil masih terlalu  dangkal  dan  masih  ada  beberapa  proses  yang  harus  dilakukan  seperti text  pre-processing dan klasifikasi opini yang lebih lengkap dan menyeluruh. Berdasarkan data tersebut, telah dihasilkan sedikit gambaran  bahwa  komentar  dalam  Youtube  dianggap  lebih  proposional  untuk  mencerminkan  kepuasan pengguna dibanding dengan komentar dalam media sosial Twitter.
Untuk menguatkan dasar penelitian ini sebagai tahapan awal penelitian, telah dilakukan proses pengambilan data dari platform Vidio sebagai pembanding setelah sebelumnya dilakukan pengambilan data pada platform Youtube. Dalam pengambilan data di media sosial Twitter telah  dilakukan pengambilan data pada rentang 21 November 2022 s.d 2 Desember 2022 dengan  jumlah  data terambil 1289 yang secara langsung mention @vidio sebagai akun resmi platform Vidio dalam media sosial Twitter.
Gambar 10. Pengambilan Data tweet dengan Mention @vidio
Jumlah pengambilan data dengan mention @vidio ini memiliki jumlah tweet yang jauh lebih banyak dibanding  dengan tweet pada @ruangguru  pada sampel sebelumnya. Hal tersebut  kemungkinan karena pada saat pengambilan data di bulan Desember tahun 2022 platform Vidio sedang memiliki program Piala Dunia 2022 yang banyak diminati warga Indonesia. Berdasarkan data yang terambil mayoritas komentar merupakan keluhan terahadap aplikasi, jaringan, dan juga gangguan saat menikmati layanan dari platform Vidio ini. Mayoritas kata yang digunakan seperti “tolong”, “ga bisa”, “gbs nonton”, “error” dan “langganan” menjadi kata yang paling sering banyak muncul dalam tweet dengan mention @vidio yang dapat dilihat pada Gambar 13 .
Gambar 11. Pemetaan Kata dari tweet @vidio
Jika dilihat lebih dalam dan lebih lengkap lagi berikut beberapa contoh tweet dengan mention yang berisi  keluhan  dan  pengalaman  pengguna platform dalam  media  sosial  Twitter  seperti  yang  ditunjukan Gambar 12 .
Gambar 12. Contoh Kalimat Lengkap Keluhan terhadap Platform Vidio
Pada Gambar 12 dapat dilihat beberapa contoh keluhan yang dialami para pengguna layanan video streaming pada platform Vidio. Mayoritas keluhan ini berisi terkait kendala yang dialami saat pengguna akan menikmati layanan yang disediakan bukan berasal dari jaringan internet yang mereka miliki, tetapi kemungkinan  besar  karena  kualitas  yang  diberikan  oleh platform Vidio  ini  sedang  memiliki  kendala internal. Dalam penelitian ini pun telah dilakukan pemetaaan percakapan dalam media sosial Twitter ini SNA yang dapat dilihat pada Gambar 13 .
Gambar 13. SNA dari Akun @vidio dalam twitter saat Pengambilan Data Berlangsung
Dalam SNA yang dipetakan tidak ada akun khusus yang menjadi pusat percakapan dengan retweet dan likes yang  signifikan.  Hal  tersebut  menunjukan  bahwa  mayoritas tweet terhadap  akun  @vidio  ini merupakan tweet mandiri yang berasal dari akun-akun natural dengan tweet yang berbeda – beda. Dalam Gambar 13 ditunjukan salah satu contoh node yang terbentuk dalam akun @vidio ini merupakan tweet yang berisi  keluhan  terhadap maintenance yang  dilakukan  oleh platform Vidio  yang  menyebabkan  pengguna layanan tidak dapat menggunakan layanan dengan baik. Berdasarkan hasil pemetaan sentimen pengguna layanan video streaming Vidio yang telah dilakukan dalam media sosial Twitter, aspek sistem dan konten penyedia layanan dengan jumlah 59,43% pada layanan video streaming .

## Pembahasan
Berdasarkan  hasil – hasil  penelitian  yang  telah  diperoleh,  penelitian  ini  menunjukkan  gambaran bahwa komentar pengguna layanan video streaming pada setiap jenis layanan dan media sosial tidak selalu berkolerasi dengan evaluasi berbasis QoE. Terdapat beberapa komentar yang hanya berisi iklan dan ajakan untuk berlangganan seperti yang banyak didapat pada komentar dengan pencarian kata kunci “ruangguru” dalam media sosial Twitter. Hal tersebut  berbeda dengan komentar  pengguna layanan Vidio, mayoritas sentimen  merupakan  keluhan  terhadap  berbagai  aspek  yang  berpengaruh  dalam  evaluasi  QoE.  Aspek terkait content , context , user dan system banyak terambil dalam komentar dengan pencarian dengan kata kunci “@vidio". Hal ini sejalan dengan strategi marketing dari platform Vidio yang fokus meningkatkan engagement dengan  pengguna  melalui  interaksi  yang  rutin  pada  media  sosial  Twitter (Angelia,  2022; Marhantara & Widodo, 2021). Sehingga, didapat banyak interaksi dengan pengguna layanan pada media sosial  Twitter  yang  sangat  berkolerasi  dengan  faktor-faktor  yang  berpengaruh  pada  evaluasi  QoE  dari platform  Vidio  itu  sendiri.  Dengan  demikian,  komentar  pengguna  layanan  pada  media  sosial  dapat dipetakan dan dianalisis sebagai parameter tambahan untuk mengevaluasi QoE penyedia layanan video streaming . Aspek  teknik  pemasaran  setiap  layanan  video streaming dan  tingkat  pasar  yang  berbeda menghasilkan hasil pengolahan dan analisis data yang berbeda untuk kasus dua platform video streaming yang berbeda antara Youtube Ruangguru, Twitter Ruangguru, dan Twitter Vidio. Terlepas dari perbedaan tersebut, penelitian ini telah menunjukan bahwa persepsi pengguna layanan video streaming Vidio berupa komentar pada media sosial Twitter dapat dijadikan sebagai metode pengukuran yang baru dalam evaluasi berbasis QoE. Hal tersebut ditunjukan dengan terdapat sejumlah 59,43% data komentar pengguna layanan Vidio pada media sosial Twitter berisi tentang topik sistem dan konten yang disediakan. Sehingga pada penelitian ini telah ditunjukkan bahwa komentar pengguna layanan video steraming dalam media sosial memiliki korelasi yang tinggi dengan parameter yang memengaruhi QoE. Penelitian ini menjadi langkah penting bagi dihasilkannya  kontribusi keilmuan berupa metode baru dalam pengukuran QoE layanan video steraming .
Implikasi  dari  penelitian  mengenai  pemetaan  sentimen  pengguna  media  sosial  dalam  evaluasi Quality  of  Experience  (QoE)  kinerja  layanan  video  streaming  dapat  sangat  beragam  dan  signifikan. Penelitian  ini  memberikan  wawasan  yang  mendalam  mengenai  bagaimana  pengguna  merespons  dan merasakan kualitas layanan video streaming berdasarkan pengalaman mereka yang diekspresikan di media sosial. Dari perspektif bisnis, temuan ini dapat digunakan oleh penyedia layanan untuk mengidentifikasi aspek-aspek yang perlu diperbaiki dalam layanan mereka, seperti stabilitas jaringan, resolusi video, waktu buffering,  dan  aspek  teknis  lainnya  yang  berdampak  langsung  pada  kepuasan  pengguna.  Selain  itu,
pemetaan sentimen ini juga dapat membantu dalam pengembangan strategi pemasaran yang lebih efektif dengan  memahami  preferensi  dan  kebutuhan  konsumen  secara  lebih  mendalam.  Bagi  pengembang teknologi, data sentimen  ini dapat menjadi acuan dalam merancang solusi teknis  yang lebih  baik untuk meningkatkan QoE, seperti  algoritma adaptif untuk penyesuaian kualitas video secara real-time. Secara keseluruhan,  implikasi  penelitian  ini  membuka  peluang  untuk  peningkatan  kualitas  layanan  video streaming  yang  lebih  responsif  terhadap  kebutuhan  dan  ekspektasi  pengguna,  sehingga  dapat meningkatkan retensi pelanggan dan daya saing di pasar yang semakin kompetitif.
Adapun  kekurangan  penelitian  adalah  jumlah  sample  yang  digunakan  hanya  tiga  jenis  layanan video streaming. Hal ini berimplikasi pada metode pengukuran QoE baru yang dikembangkan hanya dapat berlaku untuk jenis video streaming tertentu saja. Untuk pengembangan penelitian berikutnya, diperlukan sample  data  yang  lebih  banyak.  Cara  tersebut  dilakukan  agar  metode  baru  yang  dikembangkan  dalam pengukuran  QoE  dapat  berlaku  untuk  seluruh  jenis  video  streaming.  Selain  itu,  diperlukan  kajian  yang berisi  kaitan  video  streaming  dengan  media  sosial  yang  akan  dijadikan  sebagai  subjek  penelitian berikutnya.  Tujuannya  adalah  agar  metode  yang  dikembangkan  menjadi  lebih  efisien  dan merepresentasikan pengguna layanan secara keseluruhan yang sebelumnya menjadi permasalahan dalam proses pengukuran QoE.
Penelitian  mengenai  pemetaan  sentimen  pengguna  media  sosial  dalam  evaluasi  Quality  of Experience  (QoE)  kinerja  layanan  video  streaming  memiliki  beberapa  keterbatasan  yang  perlu diperhatikan.  Pertama,  data  yang  diperoleh  dari  media  sosial  cenderung  bervariasi  dalam  kualitas  dan kuantitas,  serta  mungkin  tidak  sepenuhnya  representatif  terhadap  seluruh  populasi  pengguna  layanan video streaming. Kedua, sentimen yang diungkapkan di media sosial sering kali dipengaruhi oleh berbagai faktor  eksternal,  seperti  kejadian  global  atau  trend  tertentu,  yang  dapat  mempengaruhi  hasil  analisis sentimen. Ketiga, algoritma pengolahan bahasa alami (NLP) yang digunakan untuk menganalisis sentimen masih memiliki keterbatasan dalam memahami konteks dan nuansa bahasa, terutama dalam mendeteksi sarkasme  atau  ironi.  Untuk  mengatasi  keterbatasan  tersebut,  beberapa  rekomendasi  dapat  diajukan. Pertama, penelitian lebih lanjut dapat dilakukan dengan menggabungkan data sentimen dari media sosial dengan  survei  langsung  kepada  pengguna  untuk  mendapatkan  gambaran  yang  lebih  komprehensif  dan representatif  mengenai  QoE.  Kedua,  penggunaan  teknik  NLP  yang  lebih  canggih  dan  pembaruan  model secara berkala dapat meningkatkan akurasi analisis sentimen. Ketiga, penelitian ini dapat diperluas dengan mempertimbangkan  berbagai  platform  media  sosial  dan  demografi  pengguna  yang  berbeda  untuk mendapatkan  wawasan  yang  lebih  kaya  dan  mendalam.  Dengan  demikian,  hasil  penelitian  dapat  lebih akurat dan relevan dalam memberikan rekomendasi kepada penyedia layanan untuk meningkatkan kinerja dan kualitas layanan video streaming mereka.

## 4. SIMPULAN
Berdasarkan dua tahap pengambilan data terhadap dua platform Youtube dan Vidio dan memiliki beberapa jenis  komentar yang  berbeda. Dengan komentar pada platform Youtube lebih  mengarah  pada pengalaman  pengguna  terhadap  kepuasan  dalam  menikmati  konten  yang  disediakan.  Sedangkan  hasil pengambilan data pada platform Vidio menunjukan keluhan terhadap kualitas layanan yang diberikan oleh platform Vidio. Komentar pengguna layanan dapat menunjukan aspek teknis kinerja pengiriman data pada layanan  video streaming dari platform Vidio.  Hal  ini  dapat  dirasakan  langsung  oleh  pengguna  yang disalurkan  melalui  komentar  yang  berbagai  macam  mulai  yang  berisi  kritik,  saran,  pujian  dan  bahkan komentar negatif dalam media sosial. Berdasarkan penelitian ini, komentar pengguna dalam media sosial dapat digali lebih dalam untuk dijadikan sebagai metode baru dalam sistem evaluasi berbasis QoE. Hasil dari  sentimen  pengguna  layanan  yang  telah  dipetakan  menunjukan  bahwa  aspek  sistem  dan  konten penyedia layanan dengan jumlah 59,43%  pada layanan video streaming . Hal tersebut menjadi faktor yang paling  banyak  disampaikan  pengguna  dalam  media  sosial  yang  menunjukan  bahwa  persepsi  sentimen pengguna layanan memilik korelasi yang cukup tinggi dengan parameter QoE dalam pengukuran kinerja layanan video streaming . Oleh karena itu dalam penelitian ini telah dihasilkan landasan yang kuat untuk ditemukan metode baru dalam pengukuran QoE dengan sentimen pengguna layanan di media sosial dalam mengevaluasi kinerja layanan video streaming .

## 5. DAFTAR PUSTAKA
Akhtar, Z., & Falk, T. H. (2017). Audio-Visual Multimedia Quality Assessment: A Comprehensive Survey. IEEE Access , 5 , 21090 – 21117. https://doi.org/10.1109/ACCESS.2017.2750918.
Akhtar, Z., Siddique, K., Rattani, A., Lutfi, S. L., & Falk, T. H. (2019). Why is multimedia quality of experience assessment a challenging problem? IEEE
Access ,
7 , 117897 – 117915.
https://doi.org/10.1109/ACCESS.2019.2936470.
Alamsyah,  A.,  &  Indraswari,  A.  A.  (2019).  Social  network  and  sentiment  analysis  for  social  customer relationship management in Indonesia banking sector. Advanced Science Letters , 23 (4), 3808 – 3812. https://doi.org/10.1166/ASL.2017.9279.
Andruloniw, P., Kowalik, K., & Zwierzykowski, P. (2019). Unsupervised Learning Data-Driven Continuous QoE Assessment in Adaptive Streaming-Based Television  System. Applied Sciences (Switzerland , 12 (16), 8288. https://doi.org/10.3390/APP12168288/S1. Angelia,  D.  (2022).  Platform  Video  Streaming  Paling  Digemari  Masyarakat  Indonesia  2022  -  GoodStats. Goodstats.Id . https://doi.org/https://goodstats.id/article. Barman, N., & Martini, M. G. (2019). QoE Modeling for HTTP Adaptive Video Streaming – A Survey and Open Challenges. IEEE Access , 7 , 30831 – 30859. https://doi.org/10.1109/ACCESS.2019.2901778.
Bishop,
C. M. (2020). Pattern Recognition
and Machine Learning . https://link.springer.com/book/9780387310732.
Bouraqia,  K.,  Sabir,  E.,  Sadik,  M.,  &  Ladid,  L.  (2020).  Quality  of  Experience  for  Streaming  Services: Measurements,
Challenges and
Insights. IEEE
Access , 8 , 13341 – 13361. https://doi.org/10.1109/ACCESS.2020.2965099.
Bratawisnu, M. K., & Alamsyah, A. (2020). Social Network Analysis Untuk Analisa Interaksi User Dimedia Sosial Mengenai Bisnis E-Commerce (Studi Kasus: Lazada, Tokopedia Dan Elevenia. Almana : Jurnal Manajemen Dan Bisnis , 2 (2), 107 – 115. https://doi.org/10.36555/ALMANA.V2I2.143.
Chen, K. T., Wu, C. C., Chang, Y. C., & Lei, C. L. (2020). A crowdsourceable QoE evaluation framework for multimedia  content. Proceedings  of  the  2009  ACM  Multimedia  Conference,  with  Co-Located Workshops and Symposiums , 491 – 500. https://doi.org/10.1145/1631272.1631339.
Cieplinska, N., Janowski, L., Moor, K., & Wierzchon, M. (2022). Long-Term Video QoE Assessment Studies: A
Systematic Review. IEEE Access , 10 , 133883 – 133897. https://doi.org/10.1109/ACCESS.2022.3231747.
Cisco  Predicts  |  Fierce  Video.  (2020). Aplikasi  Video  on  Demand  Paling  Favorit  di  Indonesia . https://databoks.katadata.co.id/datapublish/2022/07/29.
Fizza, K., Banerjee, A., Mitra, K., Jayaraman, P. P., Ranjan, R., Patel, P., & Georgakopoulos, D. (2021). QoE in IoT:  a  vision,  survey  and  future  directions. Discover  Internet  of  Things , 1 (1),  1 – 14. https://doi.org/10.1007/S43926-021-00006-7.
Gramaglia, M., Digon, I., Friderikos, V., Hugo, D., Mannweiler, C., Puente, M. A., Samdanis, K., & Sayadi, B. (2019). Flexible connectivity and QoE/QoS management for 5G Networks. The 5G NORMA View. 2016 IEEE International Conference on Communications Workshops , 373 – 379. https://doi.org/10.1109/ICCW.2016.7503816.
Habachi, O., Hu, Y., Schaar, M., Hayel, Y., & Wu, F. (2019). MOS-based congestion control for conversational services in wireless environments. IEEE Journal on Selected Areas in Communications , 30 (7), 1225 – 1236. https://doi.org/10.1109/JSAC.2012.120808.
Hossfeld, T., Keimel, C., Hirth, M., Gardlo, B., Habigt, J., Diepold, K., & Tran-Gia, P. (2019). Best practices for qoe crowdtesting: Qoe assessment with crowdsourcing. IEEE Transactions on Multimedia , 16 (2), 541 – 558. https://doi.org/10.1109/TMM.2013.2291663. International telemucation. (2020). 100+ Social Media Statistics You Need To Know In 2023 [All Networks . https://statusbrew.com/insights/social-media-statistics.
Khalil, A., Mbarek, N., & Togni, O. (2019). IoT Service QoS Guarantee Using QBAIoT Wireless Access Method. In Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11005 LNCS (pp. 157 – 173). https://doi.org/10.1007/978-3-030- 03101-5_15/COVER.
Kim, W., Ahn, S., Nguyen, A. D., Kim, J., Kim, J., Oh, H., & Lee, S. (2020). Modern trends on quality of experience assessment  and  future  work. APSIPA  Transactions  on  Signal  and  Information  Processing , 8 . https://doi.org/10.1017/ATSIP.2019.16. Kim, W., Kim, J., & Lee, S. (2019). Quality of Experience using Deep Convolutional Neural Networks and future trends . APSIPA Transactions on Signal and Information Processing. Kougioumtzidis, G., Poulkov, V., Zaharis, Z. D., & Lazaridis, P. I. (2022). A Survey on Multimedia Services QoE Assessment  and  Machine  Learning-Based  Prediction. IEEE  Access , 10 ,  19507 – 19538. https://doi.org/10.1109/ACCESS.2022.3149592.
Live Video Usage Will Increase 15-Fold. (2021). Live video usage will increase 15-fold by 2021, Cisco predicts |  Fierce  Video . https://www.fiercevideo.com/cable/live-video-usage-will-increase-15-fold-by- 2021-cisco-predicts.
Marhantara,  Y.  G.,  &  Widodo,  T.  (2021).  Pengaruh  Social  Media  Marketing  Twitter  Dalam  Upaya Meningkatkan Loyalitas Penggunaan Customer Streaming Vidio.com  (Studi  Pada Kota Bandung.
EProceedings of Management , 8 (5). https://openlibrarypublications.telkomuniversity.ac.id/index.php/management/article.
Mizoguchi, T., & Ito, Y. (2020). Effect of QoS degradation caused by 6to4 and IPsec on QoE for Web services.
IEEE 3rd Global Conference on Consumer Electronics, GCCE , 5 – 9. https://doi.org/10.1109/GCCE.2014.7031121.
Netflix. (2020). Social Network Analysis for Foundations: Six Ideas to Scale Impact  - Visible Network Labs . https://visiblenetworklabs.com/2023/01/06/social-network-analysis-for-foundations. Permana, F. C., Wicaksono, Z. M., Kurniawan, C., Abdullah, A. S., & Ruchjana, B. N. (2021). Perception analysis of the Indonesian society on twitter social media on the increase in BPJS kesehatan contribution in the  Covid  19  pandemic  era. Journal  of  Physics:  Conference  Series , 1722 (1),  12022. https://doi.org/10.1088/1742-6596/1722/1/012022.
Ribeiro, F., Florêncio, D., Zhang, C., & Seltzer, M. (2019). CROWDMOS: An approach for crowdsourcing mean opinion  score  studies. ICASSP,  IEEE  International  Conference  on  Acoustics,  Speech  and  Signal Processing - Proceedings , 2416 – 2419. https://doi.org/10.1109/ICASSP.2011.5946971. Ríos, S. A., Aguilera, F., Nuñez-Gonzalez, J. D., & Graña, M. (2019). Semantically enhanced network analysis for  influencer  identification  in  online  social  networks. Neurocomputing , 326 – 327 ,  71 – 81. https://doi.org/10.1016/J.NEUCOM.2017.01.123.
Said,  O.  (2022).  Design  and  performance  evaluation  of  QoE/QoS-oriented  scheme  for  reliable  data transmission  in  Internet  of  Things  environments. Computer  Communications , 189 ,  158 – 174. https://doi.org/10.1016/J.COMCOM.2022.03.020. Sapountzi, A., & Psannis, K. E. (2019). Social networking data analysis tools & challenges. Future Generation Computer Systems , 86 , 893 – 913. https://doi.org/10.1016/J.FUTURE.2016.10.019.
Seufert, M., Wassermann, S., & Casas, P. (2019). Considering User Behavior in the Quality of Experience Cycle:  Towards  Proactive  QoE-Aware  Traffic  Management. IEEE  Communications  Letters , 23 (7), 1145 – 1148. https://doi.org/10.1109/LCOMM.2019.2914038. Song, E., Pan, T., Fu, Q., Zhang, R., Jia, C., Cao, W., & Huang, T. (2020). Threshold-oblivious on-line web QoE assessment  using  neural  network-based  regression  model. IET  Communications , 14 (12),  2018 – 2026. https://doi.org/10.1049/IET-COM.2019.1229. Sugiyono. (2019). Metode Penelitian Kuantitatif (19th ed.). Alfabeta.
Toet, A., Mioch, T., Gunkel, S. N. B., Niamut, O., & Erp, J. B. F. (2021). Towards a multiscale QoE assessment of  mediated  social  communication. Quality  and  User  Experience , 7 (1),  1 – 22. https://doi.org/10.1007/S41233-022-00051-2. Yang, M., Wang, S., Calheiros, R. N., & Yang, F. (2020). Survey on QoE assessment approach for network service. IEEE Access , 6 , 48374 – 48390. https://doi.org/10.1109/ACCESS.2018.2867253.