## ANALISIS  SENTIMEN  BERITA  PROGRAM  CSR  PADA APLIKASI SR-APP OLAHKARSA
Muhammad Daffa’ Athallah Rifqi 1* , Dika Rizky Yunianto 2
1,2 Politeknik Negeri Malang; Jl. Soekarno Hatta No.9, Jatimulyo, Kec. Lowokwaru, Kota Malang, Jawa Timur 65141; (0341) 404424
Riwayat artikel: Received: 25 Juli 2023 Accepted: 19 Agustus 2023 Published: 11 September 2023

## Keywords:
Sentiment Analysis, PT Olahkarsa Inovasi Indonesia, SR-APP, Twitter API,
RoBERTa Base Sentiment
Classifier.
Corespondent Email: daffavcd@gmail.com
Abstrak. PT  Olahkarsa  Inovasi  Indonesia  adalah  perusahaan  B2B  yang inovatif  yang  fokus  pada  Corporate  Social  Responsibility  (CSR)  untuk mendorong ekosistem bisnis  yang berkelanjutan. Sebagai  bagian dari upaya ini,  mereka  telah  mengembangkan  SR-APP,  sebuah  aplikasi  berbasis  web yang membantu perusahaan dalam mengelola dan memantau program CSR. Salah satu tantangan yang dihadapi oleh SR-APP adalah pengembangan fitur sistem  untuk  membantu  klien  perusahaan  PT  Olahkarsa  menganalisis sentimen  publik  melalui  berita  dan  komentar  terkait  program  CSR.  Dengan menganalisis sentimen, perusahaan dapat menggunakannya sebagai referensi dalam menentukan dan meningkatkan kualitas layanan pada program CSR di masa depan. Analisis dan perancangan fitur sistem dilakukan melalui metode observasi dan wawancara dengan PT Olahkarsa. Pengembangan fitur sistem melibatkan pengambilan tweet melalui API Twitter, yang kemudian diproses menggunakan  API  analisis  sentimen  dengan  metode  Klasifikasi  Sentimen RoBERTa Base untuk mengekstraksi sentimen publik terhadap program CSR. Pengujian fungsionalitas dilakukan menggunakan metode black box, dengan semua  8  fungsi  berjalan  dengan  baik  sesuai  yang  diharapkan.  Pengujian performa menunjukkan waktu pemuatan halaman yang memuaskan, dengan rata-rata First Contentful Paint sebesar 4,7 detik dan Speed Index sebesar 6,9 detik. Pengujian Penerimaan Pengguna menghasilkan skor penerimaan positif sebesar 95% untuk sistem tersebut.
Abstract. PT  Olahkarsa  Inovasi  Indonesia  is  an  innovative  B2B  company focusing  on  Corporate  Social  Responsibility  (CSR)  to  promote  sustainable business ecosystems. As part of their efforts, they have developed SR-APP, a web-based  application  that  assists  companies  in  managing  and  monitoring CSR programs. One of the challenges faced by SR-APP is the development of a  system  feature  to  help  PT  Olahkarsa's  corporate  clients  analyze  public sentiment through news and comments related to CSR programs. By analyzing sentiment, companies can use it as a reference to determine and improve the quality  of  services  in  future  CSR  programs.  The  analysis  and  design  of  the system feature were conducted through observation and interviews  with PT Olahkarsa.  The  system  feature  development  involved  retrieving  tweets through the Twitter API, which were then processed using a sentiment analysis API  with  the  RoBERTa  Base  Sentiment  Classifier  method  to  extract  public sentiment towards CSR programs. Functional testing was performed using the black  box  method,  with  all  8  functions  successfully  running  as  expected. Performance testing showed satisfactory page loading times, with an average First Contentful Paint of 4.7 seconds and Speed Index of 6.9 seconds. User Acceptance Testing yielded a positive acceptance score of 95% for the system..

## 1. PENDAHULUAN
PT  Olahkarsa  Inovasi  Indonesia  adalah perusahaan Business to Business (B2B) dengan visi  untuk  menciptakan  Corporate  Social Responsibility  (CSR)  yang  inovatif  sebagai pendorong ekosistem bisnis yang berkelanjutan. Olahkarsa resmi terdaftar sebagai  organisasi  Social  Value  International (SVI)  yang  merupakan  jaringan  global  yang berfokus  pada  dampak  sosial  dan  nilai  sosial, dengan jaringan yang menjangkau lebih dari 45 negara  di  berbagai  industri.  Perusahaan  PT Olahkarsa  Inovasi  Indonesia  memiliki  fokus untuk  menyediakan  solusi  pengelolaan  CSR yang  komprehensif  mulai  dari  research  and development, implementasi, penilaian dampak, dan perencanaan strategi komunikasi CSR [1].
Solusi  pengelolaan  CSR  yang  ditawarkan oleh  PT  Olahkarsa  Inovasi  Indonesia  yaitu melalui  integrasi  SR-APP  (Aplikasi  tanggung jawab  sosial  berbasis  website).  Keuntungan yang  diperoleh  dari  penggunaan  aplikasi  SR- APP yaitu merubah pengelolaan dan penyelenggaraan  program  tanggung  jawab sosial  perusahaan  menjadi  lebih  terstruktur, membantu perusahaan memantau program CSR secara  real  time,  menampilkan  hasil  laporan program  CSR  secara  interaktif  dan  cepat,  dan memberikan  informasi  untuk  pengambilan keputusan  strategis  perusahaan  sehubungan dengan  program  CSR  [2].  SR-APP  ini  juga merupakan  Software  as  a  Service  pertama  di Indonesia  yang  membantu  perusahaan  dalam mengelola CSR dan keberlanjutan secara lebih efisien, efektif, dan terintegrasi [1].
SR-APP digunakan oleh client yang bekerja sama  dengan  PT  Olahkarsa  Inovasi  Indonesia, dimana  para  client  akan  memiliki  berita  yang diterbitkan  oleh  publik  terhadap  setiap  kinerja program  CSR  dari  masing-masing  client perusahaan. Berita sendiri merupakan informasi yang  menyampaikan  peristiwa  yang  sedang terjadi atau terkini. Isi dari teks ini berupa fakta atau  opini  yang  didapatkan  langsung  dari lapangan, sehingga  dapat  dipastikan  bahwa isi dari berita ini merupakan kenyataan yang dapat dipercaya [3]. Pada umumnya setiap berita yang terbit, terdapat juga opini yang diutarakan oleh publik dalam bentuk komentar.
Kumpulan  berita  dan  komentar  selayaknya dapat  diolah  menjadi  informasi  perusahaan yang  dapat  digunakan  untuk  melihat  respon publik  terhadap  jalannya  program  CSR
perusahaan client. Untuk mendapatkan informasi  tersebut,  maka  dapat  dikembangkan sebuah sistem analisis sentimen untuk mengolah  dan  mengekstraksi  berita  maupun komentar  yang  telah  dipublikasikan  oleh publik. Sehingga informasi yang telah diperoleh,  dapat  digunakan  sebagai  salah  satu referensi  perusahaan  client  untuk  mengetahui keberhasilan program CSR dan dapat digunakan untuk menentukan langkah berikutnya dalam pengembangan perusahaan. Analisis sentimen merupakan proses analisa teks  digital  untuk  menentukan  apakah  teks tersebut bernilai positif, negatif, atau netral [4]. Perusahaan  memiliki  data  teks  dalam  volume besar  seperti  berita,  komentar  media  sosial, email,  transkrip  obrolan  dukungan  pelanggan, dan  ulasan.  Untuk  memindai  teks  secara otomatis serta menentukan sikap klien terhadap suatu topik diperlukannya alat bernama analisis sentimen.  Perusahaan  menggunakan  wawasan dari  analisis  sentimen  untuk  meningkatkan mutu  layanan  pelanggan  dan  meningkatkan reputasi merek.
Oleh  sebab  itu,  maka  diusulkan  suatu  fitur berupa  analisis  sentimen  pada  sistem  SR-APP untuk  mengolah  berita  dan  komentar  yang dipublikasikan  oleh  publik  terhadap  program CSR yang dijalankan oleh perusahaan client PT Olahkarsa Inovasi Indonesia. Fitur ini dirancang untuk dapat mengekstraksi berita dan komentar  publik  yang  relevan  terhadap jalannya  program  CSR  perusahaan  client. Dengan demikian dapat membantu perusahaan- perusahaan  client  PT  Olahkarsa  dalam mendapatkan  informasi  sentimen  masyarakat secara  otomatis  melalui  berita  dan  komentar yang  telah  dipublikasikan.  Informasi  ini  dapat digunakan  sebagai  alat  ukur  keberhasilan program  CSR  perusahaan client  PT  Olahkarsa Inovasi Indonesia dan dapat digunakan sebagai referensi dalam meningkatkan kualitas layanan serta reputasi perusahaan.

## 2. TINJAUAN PUSTAKA
Analisis  Sentimen  adalah  teknik  untuk mengekstrak  data  teks  guna  memperoleh informasi  tentang  sentimen  positif,  netral,  dan negatif. Menjelang pemilihan gubernur, terdapat  banyak  berita  dan  pendapat  terkait kandidat  melalui  media  sosial.  Para  kandidat dapat  memetakan  pendapat  positif  masyarakat sebagai dukungan politik yang perlu diperkuat,
dan  pendapat  negatif  yang  perlu  diperbaiki. Untuk memetakan pendapat-pendapat tersebut, diperlukan opinion classification system berdasarkan  teks.  Hal  ini  menjadi  fokus penelitian berjudul "Geo-Sentiment Analysis as a Location-Based Opinion Analysis System on
Public Opinion Data about Governor
Candidates" yang dilakukan oleh Imam Fahrur Rozi,  Dika  Rizky  Yunianto,  Mustika  Mentari, Awan Setiawan, Rudy Ariyanto, dan Indrazno Siradjuddin  di  Politeknik  Negeri  Malang. Sistem  tersebut  dirancang  untuk  bekerja  pada pendapat-pendapat teks dalam Bahasa Indonesia  karena  studi  kasus  yang  diusulkan adalah pendapat kandidat gubernur Jawa Timur yang  sebagian  besar  ditulis  dalam  Bahasa Indonesia.  Metode  klasifikasi  yang  digunakan dalam  sistem  ini  adalah  Naive  Bayes Classification (NBC). Pendapat-pendapat akan diklasifikasikan menjadi 2 kelas, yaitu pendapat negatif  dan  pendapat  positif.  Pendapat- pendapat yang terklasifikasi kemudian dikelompokkan  berdasarkan  wilayah.  Hal  ini akan memudahkan pengguna dalam memetakan pendapat di setiap wilayah. Visualisasi menjadi lebih  user-friendly  karena  jumlah  pendapat yang terklasifikasi ditampilkan sebagai diagram lingkaran  pada  mode  geografis  atau  peta. Setelah diuji pada hasil klasifikasi, nilai akurasi yang  didapatkan  adalah  78%.  Hal  ini menunjukkan  bahwa  NBC  dapat  bekerja dengan  baik  sebagai  metode  klasifikasi  teks yang sederhana namun memberikan hasil yang baik [5].

## 3. METODE PENGEMBANGAN

## 3.1. Perancangan
Pengembangan  fitur  Sistem  Analisis Sentimen  Berita  Program  CSR  pada  Aplikasi SR-APP  Olahkarsa  dilakukan  selama  kurang lebih  5  bulan,  dari  Januari  2023  hingga  Mei 2023.  Proses  ini  dilakukan  secara  hybrid dengan kerja baik dari rumah maupun kampus, untuk  hasil  yang  optimal.  Tahap  awal melibatkan  studi  literatur  selama  1  bulan, diikuti  dengan  perancangan  sistem  yang komprehensif.  Perancangan  sistem  mencakup analisis  kebutuhan  fungsional  dan  non- fungsional,  serta  merancang  sistem  selama  2 bulan.  Metode  wawancara  daring  dengan  PT. Olahkarsa  Inovasi  Indonesia  digunakan  untuk memastikan  kebutuhan  sistem  terpenuhi. Implementasi  sistem  dan  pengujian  dilakukan
secara  bertahap  dari  akhir  Maret  2023  hingga awal  Mei  2023,  menghasilkan  kualitas  sistem yang diharapkan.

## 3.2. Implementasi
Gambar 3.1 SDLC Model Waterfall Gambar 3.1 merupakan alur implementasi  pengembangan  pada  “Analisis
Sentimen  Berita  Program  CSR  Pada  Aplikasi SR-APP Olahkarsa” yaitu dengan menggunakan  SDLC  (Software  Development Life Cycle) model Waterfall. Metode Waterfall adalah  salah  satu  jenis  model  pengembangan aplikasi  yang  termasuk  ke  dalam  classic  life cycle  (siklus  hidup  klasik),  yang  mana menekankan fase yang berurutan dan sistematis.  Oleh  sebab  itu,  apabila  di  setiap tahapan  ternyata  hasil  yang  diberikan  belum baik maka akan kembali ke tahapan sebelumnya.  Setiap  tahap  dikerjakan  secara berurutan  mulai  dari  atas  hingga  ke  bawah layaknya sebuah air terjun [6].

## 3.3. Proses Bisnis Yang Berjalan Saat Ini
Berdasarkan  hasil  wawancara  yang dilakukan,  proses  bisnis  yang  berjalan  saat  ini adalah ketika client dari PT. Olahkarsa Inovasi Indonesia memasukkan berita yang diterbitkan terhadap  suatu  program  CSR,  pihak  client selanjutnya akan mencari respon publik secara manual, baik melalui komentar dari link berita yang  telah  dimasukkan  maupun  melakukan pencarian melalui mesin pencarian. Gambar 3.2 merupakan  gambaran  proses  bisnis  yang digunakan saat ini.

## Gambar 3.2 Proses Bisnis Yang Berjalan

## 3.4. Gambaran Umum Sistem  Yang Diusulkan
Pada  sub  bab  ini  di  jelaskan  proses- proses  sebelum  membuat  fitur  sistem  Analisis Sentimen  Berita  Program  CSR  Pada  Aplikasi SR-APP Olahkarsa. Fitur sistem ini merupakan fitur yang dapat membantu client PT. Olahkarsa dalam  mendapatkan  sentimen  publik  dari pengambilan  konten  data  twitter  terhadap program  CSR.  Gambaran  umum  sistem  yang diusulkan dapat dilihat pada Gambar 3.3
Gambar 3.3 Gambaran Umum Sistem Yang

## Diajukan

## 3.5. Analisis Kebutuhan Sistem
Untuk  mendukung  pengembangan  sistem, maka diperlukannya sebuah analisis kebutuhan sistem. Karena kebutuhan sistem sangat penting dalam mencapai tujuan dari sistem yang dibuat, maka analisis ini dapat membantu menentukan apakah aplikasi yang dibuat telah sesuai dengan kebutuhan  atau  belum.  Berikut  adalah  daftar kebutuhan fungsional dan non fungsional.
1. Kebutuhan Fungsional
a. Pengguna SR-APP dapat membangkitkan analisis sentimen twitter  dari  list  berita/komentar  yang tertera.
b. Pengguna SR-APP dapat melihat hasil analisis  sentimen  yang  telah  ter- generate oleh sistem.
2. Kebutuhan Non Fungsional
a. Sistem  dapat  diakses  menggunakan perangkat desktop maupun mobile melalui web  browser seperti  Google
Chrome,  Microsoft  Edge,  dan  Mozilla
Firefox. b. Sistem  dapat  diakses  sewaktu-waktu dan  dimana  saja  selama  terkoneksi dengan jaringan internet.
c. Sistem  yang  dikembangkan  dirancang untuk meminimalkan penggunaan ruang penyimpanan yang besar karena server setiap perusahaan bisa berbeda- beda.

## 3.6. Use Case
Salah satu dari berbagai jenis diagram UML  (Unified  Modelling  Language) yang menggambarkan  hubungan  interaksi  antara sistem dan aktor merupakan pengertian dari use case [7]. Use  case menggambarkan  interaksi antara satu atau lebih aktor dengan sistem yang akan  dibuat.  Pada  umumnya use  case digunakan  untuk  menemukan  siapa  saja  yang dapat mengakses sistem tersebut serta apa saja fitur-fitur  yang  dapat  digunakan  oleh  setiap aktor  yang  ada.  Berikut  ini  adalah use  case diagram “Analisis  Sentimen  Berita  Program CSR Pada Aplikasi SR-APP Olahkarsa”.
Gambar 3.4 Use Case Sistem Analisis Sentimen
Pada  Gambar  3.4  dapat  dijelaskan  bahwa use case terdiri dari satu aktor yaitu  pengguna SR-APP  yang  merupakan client dari  PT. Olahkarsa  Inovasi  Indonesia.  Pengguna  SR- APP harus ter-otorisasi terlebih dahulu dengan melakukan Login ke aplikasi SR-APP. Setelah itu  Pengguna  SR-APP  dapat  membangkitkan analisis  sentimen  dari  berita  /  komentar  yang ditampilkan.  Apabilah  analisis  sentimen  telah selesai  dibangkitkan  maka  Pengguna  SR-APP dapat  langsung  melihat  hasil  dari  data  yang telah ter- generate .

## 4. HASIL DAN PEMBAHASAN
Bab  ini  membahas  mengenai  implementasi sistem, implementasi antarmuka dari perancangan,  dan  pengujian  fungsional  yang telah  dibahas  pada  bab  iv  untuk  fitur  sistem
Analisis  Sentimen  Berita  Program  CSR  Pada Aplikasi SR-APP Olahkarsa.

## 4.1. Hasil Analisis Sentimen
Dalam  implementasi  analisis  sentimen pada  aplikasi  SR-APP,  digunakan  model RobeRTa  Sentiment  Classifier .  Model  ini diimplementasikan dengan memanfaatkan API yang  disediakan  oleh  w11wo  pada  platform Hugging  Face.  Berdasarkan  proses  pelatihan yang  intensif,  model  yang  digunakan  berhasil mencapai akurasi evaluasi sebesar 94,36% dan F1-makro  sebesar  92,42%  [8].  Hal  ini menunjukkan  bahwa  model  tersebut  memiliki kemampuan yang baik dalam mengklasifikasikan  sentimen  dari  teks  yang diberikan.
Untuk  melakukan  evaluasi  yang  lebih komprehensif,  model  juga  dijalankan  pada set pengujian benchmark .  Hasilnya  menunjukkan bahwa model mencapai akurasi sebesar 93,2% dan  F1-makro  sebesar  91,02%.  Dengan performa yang konsisten baik pada evaluasi dan pengujian benchmark, model RobeRTa Sentiment Classifier terbukti dapat memberikan hasil  yang  akurat  dan  dapat  diandalkan  dalam melakukan analisis sentimen.
Implementasi  teknis  model RobeRTa Sentiment  Classifier pada  aplikasi  SR-APP melibatkan langkah-langkah berikut:
1. Mengintegrasikan  API  Hugging  Face: Digunakan  API  yang  disediakan  oleh w11wo pada platform Hugging Face untuk mengakses  dan  memanfaatkan  model RobeRTa Sentiment Classifier .
2. Preprocessing  teks:  Sebelum  memasukkan teks  ke  dalam  model,  penulis  melakukan beberapa  tahap preprocessing seperti normalisasi, dan penghapusan kata penghubung.  Langkah  ini  bertujuan  untuk mempersiapkan  teks  agar  sesuai  dengan format yang dibutuhkan oleh model.
3. Klasifikasi  sentimen:  Proses  klasifikasi sentimen  dilakukan  dengan  memasukkan teks  ke  dalam  model RobeRTa Sentiment Classifier .  Model  akan  memberikan  hasil berupa  klasifikasi  sentimen  teks  tersebut, yaitu nilai positif, netral, dan negatif.
Dengan  implementasi  teknis  yang  telah dijelaskan  dan  hasil  evaluasi  serta  pengujian benchmark yang memuaskan, dapat disimpulkan bahwa penggunaan model RobeRTa  Sentiment  Classifier dalam  aplikasi
SR-APP  merupakan  pilihan  yang  tepat  untuk melakukan  analisis  sentimen  yang  akurat  dan efektif.

## 4.2. Hasil Database
Implementasi database pada  sistem yang telah dibangun memiliki nama mne1001- v2.  Rancangan database ini  terdiri  dari  satu tabel  dan  beberapa  kolom  yang  digunakkan untuk menjalankan fitur analisis sentimen pada aplikasi  SR-APP.  Tabel  tersebut  diberi  nama “publikasi_berita _ sentiments” dan  terdiri  dari sepuluh column, yang  diantaranya  adalah  1  id sebagai primary  key ,  2 foreign  key terhadap table publikasi berita (table fitur SR-APP lain) dan table program,  twitter_query  untuk menyimpan  kata  kunci  pencarian  twitter. Kemudian  ada positive , negative ,  dan neutral value  untuk  menyimpan  nilai  sentimen, sentimental_tendencies untuk menyimpan tendensi sentimen, dan created dan updated at untuk  menyimpan  waktu  perubahan  isi  row. Detail dari table dapat dilihat pada Gambar 4.1.
Gambar 4.1 Table Publikasi Berita Sentiment

## 4.3. Hasil Proses Sistem
Pada  implementasi  proses  sistem, digunakan  menggunakan  bahasa  PHP.  Maka dari itu digunakanlah Framework Laravel untuk mempercepat proses pengembangan, mempermudah pengelolaan berkas, dan mempermudah  dalam  menggunakan libraries untuk  pengembangan  program.  Berikut  adalah potongan  kode-kode  program  yang  terdapat pada fitur analisis sentimen:
1. Deklarasi  Variable  dan  Client  yang Diperlukan
Gambar 4.2 Deklarasi Variable dan Client
yang Dibutuhkan Pada  Gambar  4.2  dijelaskan  bahwa terdapat  tiga  variabel  yang  diperlukan  dalam proses  analisis  sentimen.  Pertama,  digunakan Twitter Client untuk  mengakses  API  Twitter dan  mengumpulkan  data  berita  atau  komentar yang akan dianalisis sentimennya. Selanjutnya, HuggingFace Client digunakan untuk menghubungkan aplikasi dengan model sentimen RobeRTa. Terakhir, stopwords digunakan  dengan library dari  Sastrawi  untuk menghilangkan  kata-kata  umum  yang  tidak memberikan kontribusi signifikan dalam penentuan sentimen.
2. Pengambilan Tweets Berdasarkan Query
yang Dimasukkan
Gambar 4.3 Pengambilan Tweets Berdasarkan Query yang Dimasukkan
Setelah  memasukkan  kata  kunci  atau query , langkah selanjutnya adalah mengirimkan query tersebut  ke  dalam client Twitter  untuk mendapatkan  tweet  yang  sesuai  dengan query tersebut, seperti yang terlihat pada Gambar 4.3. Jika  tweet  tidak  ditemukan,  sistem  akan membatalkan operasi dan memberikan notifikasi kepada pengguna bahwa tweet tidak ditemukan.  Hal ini  penting  untuk  memberikan informasi  yang  jelas  kepada  pengguna  jika query yang  dimasukkan  tidak  menghasilkan hasil yang relevan.
3. Normalisasi dan Proses Analisis Sentimen
Gambar 4.4 Normalisasi dan Proses Analisis
Sentimen
Setelah mendapatkan tweet yang sesuai dengan  harapan,  langkah  selanjutnya  adalah melakukan  normalisasi  pada  teks  tweet  untuk menghilangkan  kata-kata  yang  tidak  perlu menggunakan library Sastrawi,  sebagaimana yang  ditunjukkan  dalam  Gambar  4.4.  Setelah proses  normalisasi  selesai,  selanjutnya  akan dilakukan  pemanggilan client HuggingFace untuk  melakukan  analisis  sentimen  terhadap teks tweet tersebut.
4. Pengelompokan  Label  Hasil  Analisis Sentimen
Gambar 4.5 Pengelompokan Label Hasil Analisis Sentimen
Setelah proses analisis sentimen selesai,  langkah  berikutnya  adalah  melakukan pengelompokkan  hasil  dan  mencari  rata-rata analisis  sentimen  untuk  menentukan  label positif, negatif, dan netral, sesuai dengan yang terlihat pada Gambar 4.5.
5. Proses Insert Hasil Analisis Sentimen ke Dalam Database
Gambar 4.6 Kode Program Proses Insert Hasil Analisis Sentimen ke Dalam Database
Dalam  Gambar  4.7,  terlihat  bahwa sistem akan menyimpan hasil analisis sentimen ke  dalam database dan memberikan  notifikasi kepada  pengguna  setelah  proses  analisis sentimen selesai.

## 4.4. Pengujian
Untuk  mempunyai  mekanisme  dalam menentukan data uji yang dapat menguji sistem secara  lengkap  dan  mempunyai  kemungkinan untuk menemukan kesalahan maka diperlukannya  sebuah  teknik  atau  cara  untuk menerapkan  pengujian.  Berikut  merupakan pengujian  yang  dilakukan  pada  fitur  sistem Analisis  Sentimen  Berita  Program  CSR  Pada Aplikasi SR-APP Olahkarsa.

## 4.4.1. Pengujian Functionality
Menekankan  pada  fungsionalitas  dari sebuah perangkat lunak untuk mengamati hasil input dan output di dalam perangkat lunak tanpa harus  mengetahui  bagaimana  struktur  kode program adalah tujuan dari pengujian functionality dengan  metode black  box [9]. Pengujian fungsionalitas menggunakan metode black  box dikatakan  berhasil  apabila  fungsi- fungsi yang dibuat telah memenuhi spesifikasi kebutuhan  yang  telah  dibuat  sebelumnya. Pengujian  yang  dilakukan  adalah  pengujian seluruh  fungsi  yang  ada  pada  fitur  sistem Analisis  Sentimen  Berita  Program  CSR  Pada Aplikasi  SR-APP  Olahkarsa.  Hasil  dari pengujian ditunjukkan pada Tabel 4.1.
Tabel 4.1 Hasil Functionality Test

## 4.4.2. Pengujian Performance
Performance Test ditujukan untuk menguji  kecepatan  performa  pada  sistem. Untuk pengujian performance test ini digunakan  fitur inspect  element pada  web browser Chrome  dengan  aplikasi  pihak  ketiga
yaitu
Lighthouse, untuk mengetahui performance dari  setiap  halaman  serta  waktu yang  dibutuhkan  pada  setiap load  index halaman. Sedangkan untuk menghitung kecepatan generate sentimen  dilakukan  secara manual menggunakan aplikasi stopwatch . Pada pengujian menggunakan
Lighthouse  kali  ini,  dilakukan  perhitungan terhadap dua metrik penting, yaitu:
1. First  Contentful  Paint  (FCP) :  Metrik  ini mengukur  waktu  yang  dibutuhkan  untuk menampilkan konten pertama pada halaman  web.  FCP  memberikan  informasi tentang  seberapa  cepat  pengguna  dapat melihat  konten  yang muncul  saat  halaman web dimuat. Semakin cepat FCP, semakin baik pengalaman pengguna dalam mengakses halaman web.
2. Speed  Index :  Metrik  ini  mengukur kecepatan  tampilan  visual  pada  halaman web. Speed  Index menghitung  perubahan visual yang terjadi seiring waktu, sehingga semakin rendah nilai Speed Index , semakin cepat  halaman  web  ditampilkan  secara visual kepada pengguna.
Kedua metrik ini memiliki peran penting dalam  menganalisis  performa  halaman  web. FCP  memberikan  gambaran  tentang  waktu respons  halaman,  sementara Speed  Index memberikan  informasi  tentang  kecepatan tampilan visual yang dirasakan oleh pengguna. Untuk  hasil  yang  baik,  nilai  FCP  sebaiknya berada  di  bawah  1  detik,  dan  semakin  rendah nilai Speed  Index ,  semakin  baik  performa halaman  web  tersebut  [10].  Tabel  4.2 merupakan  hasil  dari performance  test menggunakan  perangkat  keras  yang  penulis gunakan.
Tabel 4.2 Hasil Performance Test No.  Halaman First Contentful Paint Speed Index 1 Load Halaman Publikasi Berita 6.5 s 9.1 s
2 Load Halaman Lihat Sentimen 3.6 s 4.7 s 3 Load Halaman Dashboard Lihat Summary Sentimen 4.0 s 6.9 s 4 Generate Sentimen (Manual) - 24.2 s
Berdasarkan  Tabel  4.2,  terdapat  dua metrik  yang  perlu  diperhatikan,  yaitu  Pertama Kali Konten Digambar ( First Contentful Paint ) dengan  rata-rata  waktu  sebesar  4.7  s,  dan Kecepatan  Terlihat  oleh  Pengguna  ( Speed Index )  dengan  rata-rata  waktu  sebesar  6.9  s. Meskipun  nilai-nilai  ini  melebihi  standar  yang diberikan,  namun  dapat  dikatakan  cukup  baik mengingat dalam SR-APP, setiap halaman perlu memuat  konten-konten  dan library pendukung sebelumnya.
Selanjutnya, untuk proses generate sentimen  (dengan  asumsi  terdapat  2  publikasi berita), membutuhkan waktu sekitar 24.2 s. Hal ini  disebabkan  oleh  sistem  yang  perlu melakukan permintaan kepada API Twitter dan API  analisis  sentimen  sesuai  kebutuhan. Namun, perlu diperhatikan bahwa kedua metrik ini  dapat  berubah  sejalan  dengan  kualitas  dan kecepatan  perangkat  keras  ( server )  yang digunakan.
Meskipun  terdapat  peningkatan  waktu  dalam metrik FCP ke metrik Speed Index , hal ini dapat diterima  mengingat  kompleksitas  SR-APP dalam  memuat  konten  dan  ketergantungan dengan sumber eksternal seperti API dan library lainnya.  Dengan  meningkatkan  kualitas  dan kecepatan  perangkat  keras  yang  digunakan, dapat  diharapkan  bahwa  kinerja  sistem  akan semakin  baik  dan  sesuai  dengan  standar  yang diinginkan.

## 4.4.3.Pengujian User Acceptance Test (UAT)
UAT  dimaksudkan  untuk  menghasilkan sebuah dokumen yang dapat dijadikan sebagai bukti  bahwa  sistem  yang  dikembangkan  dapat diterima  oleh  pengguna,  apabila  sistem  dapat diterapkan  dengan  baik  maka  bisa  dianggap bahwa  hasil  pengujian  UAT  telah  memenuhi
standard kebutuhan  [11].  Melalui  UAT, pengujian  dilakukan  untuk  mengevaluasi kepatuhan  sistem  terhadap  standar  kualitas yang ditetapkan dalam ISO 9126. Aspek-aspek yang  diuji  dalam  UAT  berdasarkan  ISO  9126 mencakup:
1. Fungsionalitas  ( Functionality ):  Pengguna akan  menguji  apakah  fitur  Analisis Sentimen  Berita  Program  CSR  pada Aplikasi SR-APP Olahkarsa berjalan sesuai yang
diharapkan.
Mereka akan memverifikasi apakah sistem dapat membangkitkan hasil analisis sentimen dari berita dan apakah informasi yang dihasilkan akurat dan relevan.
2. Keandalan  ( Reliability ):  Pengguna  akan menguji sejauh  mana sistem dapat diandalkan dalam memberikan hasil analisis  sentimen  yang  konsisten  dan akurat. Mereka akan mengevaluasi apakah sistem mampu mengatasi situasi yang tidak terduga  atau  kesalahan  dalam  proses analisis.
3. Usabilitas  ( Usability ):  Pengguna  akan mengevaluasi  seberapa  mudah  sistem  ini digunakan. Mereka akan mencoba navigasi antarmuka  pengguna,  memasukkan  data, dan melihat hasil analisis sentimen.
4. Efisiensi  (Efficiency):  Pengguna  akan menguji performa sistem dalam mengambil dan  menganalisis  sentimen  dari  volume besar  berita.  Mereka  akan  memperhatikan waktu  respon  sistem  dan  kemampuannya dalam  mengatasi  beban  penggunaan  yang tinggi.
Pada  pelaksanaan user  acceptance  test melibatkan  4  pengguna  dari  PT  Olahkarsa Inovasi  Indonesia  untuk  mencoba  fitur  sistem Analisis  Sentimen  Berita  Program  CSR  Pada Aplikasi  SR-APP  Olahkarsa.  Tabel  4.3 menjelaskan profil peserta UAT dan pada tabel 4.4 menjelaskan hasil dari pengujian UAT.
Tabel 4.3 Profil Peserta UAT
No. Partisipan Jabatan 1. Irfanda Wira System Analyst 2. Dionisius Damarta Yapenrui Fullstack Developer 3. M. Shaladin Rangga S UI / UX Designer 4. Osy Krisdayanti Fullstack Developer Tabel 4.4 Hasil User Acceptance Test (UAT)
Tabel 5.4 merupakan hasil dari pengujian user  acceptance  test (UAT). Setelah  data user acceptance  test didapatkan,  akan  dilakukan penghitungan.  Nilai  dari  pembobotan  hasil dapat dilihat pada Tabel 5.5.
Tabel 4.5 Keterangan Bobot UAT Jawaban Keterangan Bobot 1 Sangat Tidak Setuju 1 2 Tidak Setuju 2 3 Ragu-Ragu 3 4 Setuju 4 5 Sangat Setuju 5
Perhitungan nilai bobot user acceptance test yang  telah  dilakukan  menjelaskan  bahwa fitur  sistem  Analisis  Sentimen  Berita  Program CSR  Pada  Aplikasi  SR-APP  Olahkarsa  ini mendapatkan  total  skor  304.  Skor  dari pengujian  UAT  kali  ini  sebesar  320  yang didapatkan dari perhitungan berikut.
5 (Poin sangat setuju) x Jumlah partisipan x Jumlah pertanyaan
Dari rumusan tersebut didapatkan hasil sebagai berikut.
5 x 4 x 16 = 320
Setelah didapati poin masksimal dari pengujian berikutnya  akan  dicari  persentase  dari  nilai yang didapatkan.
(Poin yang didapatkan / Poin total) x 100% (304 / 320) x 100% = 95%
Berdasarkan nilai bobot UAT pada Tabel 5.5, juga dilakukan perhitungan hasil berdasarkan masing-masing aspek (Fungsionalitas,  Keandalan,  Usabilitas,  dan Efisiensi).  Hasil  pembobotan  berdasarkan setiap aspek dapat dilihat pada Tabel 5.8. Tabel 4.6 Hasil Kualitas Berdasarkan Setiap Aspek Aspek Skor Aktu al Sko r Ide al % Skor Aktu al Kriter ia Functional ity 76 80 95% Sangat Baik Reliability 77 80 96.25 % Sangat Baik Usability 76 80 95% Sangat Baik Efficiency 75 80 93.75 % Sangat Baik
Berdasarkan  perhitungan  dari  Tabel 5.7, dapat disimpulkan bahwa ke-4 aspek dapat berjalan  dengan  baik.  Selain  itu,  dari perhitungan pada Tabel 5.6, didapatkan bahwa tingkat  kualitas  perangkat  lunak  secara keseluruhan  memiliki  persentase  nilai  sebesar 95%. Hal ini menunjukkan bahwa fitur analisis sentimen  pada  sistem  Analisis  Berita  CSR  di aplikasi SR-APP Olahkarsa memenuhi kriteria sangat  baik  dalam  pengujian  UAT  sesuai standar ISO 9126.

## 4.5. Hasil
Hasil  pengujian  fungsionalitas  dengan metode  blackbox  telah  memenuhi  spesifikasi kebutuhan  yang  telah  dibuat  sebelumnya. Pengujian  yang  dilakukan  adalah  pengujian seluruh  fungsi  yang  ada  pada  fitur  sistem Analisis  Sentimen  Berita  Program  CSR  Pada Aplikasi SR-APP Olahkarsa.
Pada performance testing dapat diketahui bahwa  rata-rata  pertama  kali  konten  digambar ( First Contentful Paint ) adalah sebesar 4.7 s dan berapa  lama  halaman  dapat  terlihat  oleh  user ( Speed Index ) sebesar 6.9 s.
Fitur  sistem  Analisis  Sentimen  Berita Program CSR Pada Aplikasi SR-APP Olahkarsa  juga  diuji  dengan  melakukan pengujian  u ser  acceptance  test .  Dari  hasil perhitungan  nilai  bobot user  acceptance  test yang  telah  dilakukan,  didapatkan  total  nilai
pada  pengujian  tersebut  adalah  sebesar  95%. Nilai  tersebut  didapatkan  dari  (poin  yang didapatkan / total poin sempurna) x 100%.

## 4.6. Pembahasan
Berdasarkan  hasil  pengembangan  dan pengujian  yang  telah  dilakukan  sebelumnya, maka terdapat pembahasan sebagai berikut.
1. Sistem yang dibuat dapat berjalan dengan baik,  sesuai  dengan functionality testing menggunakan metode black box, 8 dari 8 fungsi  telah  sesuai  dan  dapat  dijalankan sebagaimana yang diharapkan. Maka dari itu hasil pengujian fungsionalitas dengan metode blackbox telah memenuhi spesifikasi  kebutuhan  yang  telah  dibuat sebelumnya.
2. Dalam performance  testing yang  telah dilakukan diketahui  bahwa  rata-rata pertama  kali  konten  digambar  ( First Contentful Paint ) adalah sebesar 4.7 s dan berapa  lama  halaman  dapat  terlihat  oleh user ( Speed Index ) sebesar 6.9 s. Nilai ini dapat  dikatakan  cukup  baik  dikarenakan setiap  halaman  yang  di  muat  harus memuat  terlebih  dahulu  konten-konten dan library pendukung  yang  digunakan sebelumnya di SR-APP.
3. Untuk  mendukung  bahwa  fitur  telah sesuai  dengan  kebutuhan  sistem  yang telah  direncanakan , maka  dilakukan pengujian user  acceptance  test (UAT) berstandar  ISO  9126  yang  menekankan pada  aspek functionality , reliability , usability ,  dan efficiency .  Pengujian  ini menggunakan  metode  kuisioner  yang melibatkan 4 pengguna dari PT Olahkarsa Inovasi  Indonesia  untuk  mencoba  fitur sistem  yang  telah  dibuat .  Hasil  dari pengujian user  acceptance  test  (UAT)
secara keseluruhan menunjukkan persentase  nilai  sebesar  95%.  Dengan demikian,  dapat  disimpulkan  bahwa bahwa fitur analisis sentimen pada sistem Analisis  Berita  CSR  di  aplikasi  SR-APP Olahkarsa memenuhi kriteria yang sangat baik dalam pengujian UAT sesuai standar ISO 9126

## 5. KESIMPULAN & SARAN
Pada  bab  ini,  terdapat  penjelasan singkat  dan  jelas  tentang  hasil  yang  telah dicapai  sesuai  dengan  tujuan  yang  telah
ditetapkan.  Jika  diperlukan,  saran-saran  dapat digunakan  untuk  menyampaikan  hal-hal  yang dapat  diperbaiki,  dikembangkan,  atau  menjadi objek  pengembangan  lebih  lanjut  di  masa depan.

## 5.1. Kesimpulan
Berdasarkan proses pengujian dan analisis  yang  telah  dilakukan,  dapat  diambil kesimpulan sebagai berikut.
a. Pengembangan Fitur sistem Analisis Sentimen  Berita  Program  CSR  Pada Aplikasi SR-APP Olahkarsa adalah dengan melakukan observasi dan interview kepada pihak  PT  Olahkarsa  Inovasi  Indonesia, dilanjutkan  dengan  membangun  fitur sistem  dengan framework  Laravel dengan bahasa  pemrograman  PHP.  Fitur  sistem tersebut  dapat  mengambil  data  komentar serta berita yang diterbitkan oleh publik dan dilanjutkan  dengan  menggunakan  API analisis  sentimen  untuk  mengekstraksi sentimen terhadap data yang telah diperoleh . Setelah fitur sistem telah selesai dikembangkan,  maka  dilakukan  pengujian dan deliverable .
b. Sistem  telah  berhasil  dikembangkan  dan telah sesuai dengan kebutuhan sistem yang direncanakan, serta dapat digunakan untuk membantu client dari  PT.  Olahkarsa Inovasi  Indonesia  dalam  mendapatkan sentimen  publik  terhadap  program  CSR dengan  cara  mengembangkan  fitur  baru pada sistem SR-APP berupa sistem analisis sentimen  dengan  mendapatkan  komentar dan  berita  yang  diterbitkan  oleh  publik melalui  API  dari  Twitter,  setelah  itu diproses menggunakan API analisis sentimen  dengan  metode RoBERTa Base Sentiment  Classifier untuk  mengekstraksi baik  berita  maupun  komentar  yang diterbitkan  oleh  publik  terhadap  program CSR.
c. Dalam memastikan bahwa fitur sistem telah berhasil  sesuai  dengan  kebutuhan  sistem yang direncanakan, telah dilakukan pengujian
functionality testing menggunakan  metode black box dengan hasil 8 dari 8 fungsi telah sesuai dan dapat dijalankan  sebagaimana  yang  diharapkan, kedua  dilakukan  pengujian performance dengan  rata-rata  pertama  kali  konten digambar  ( First  Contentful  Paint )  adalah
sebesar 4.7 s dan berapa lama halaman dapat terlihat oleh user ( Speed Index ) sebesar 6.9 s,  dan  terakhir  adalah  pengujian user acceptance test (UAT) berstandar ISO 9126, yang menunjukkan nilai persentase keseluruhan  sebesar  95%.  Hasil  ini memenuhi  kriteria  yang  sangat  baik, menegaskan  bahwa  fitur  analisis  sentimen pada  sistem Analisis  Sentimen  Berita Program  CSR  Pada  Aplikasi  SR-APP Olahkarsa telah  berhasil  dalam  pengujian UAT.

## 5.2. Saran
Pengembangan sistem lebih lanjut dapat dilakukan  untuk  meningkatkan  performa  dan kinerja dari sistem. Sehingga saran yang dapat diberikan adalah sebagai berikut.
1. Lanjutan  pengembangan  fitur  sistem untuk mendapatkan berita atau komentar dapat di kembangkan dengan memberikan  opsi  pilihan  tambahan, seperti mencari komentar dengan teknik scrapping,  crawling, ataupun  melalui teknologi mesin pencarian .
2. Untuk pengembangan selanjutnya,
disarankan  untuk  melakukan  optimasi pada pengisian query atau kata kunci saat melakukan  analisis  sentimen.  Hal  ini bertujuan  agar  pengguna  tidak  perlu melakukan  pengecekan  manual  pada layanan  pencarian  Twitter  saat  ingin memasukkan query .  Dengan  melakukan optimasi  ini,  waktu  yang  tidak  perlu dihabiskan  dalam  proses  pengecekan manual  dapat  dipangkas,  sehingga meningkatkan  efisiensi  dan  pengalaman pengguna  dalam  menggunakan  fitur analisis sentimen.
Pengembangan selanjutnya dapat menggunakan  model  analisis  sentimen yang  lain  dan  bahasa  pemrograman alternatif  sebagai  komparasi  terhadap ketepatan dan kecepatan. Dengan mengimplementasikan  model  analisis sentimen yang berbeda
dan mengembangkan fitur menggunakan bahasa  pemrograman  yang  berbeda, dapat  dilakukan  evaluasi  terhadap  hasil yang  dihasilkan  serta  performa  sistem dalam berbagai aspek.

## UCAPAN TERIMA KASIH
Puji syukur kami panjatkan ke hadirat Allah SWT  yang  telah  melimpahkan  rahmat  dan karunia-Nya sehingga penulis dapat menyelesaikan  jurnal  dengan  judul  "Analisis Sentimen  Berita  Program  CSR  Pada  Aplikasi SR-APP Olahkarsa".
Penulis  menyadari  bahwasannya  dengan tanpa  adanya  dukungan  dan  kerja  sama  dari berbagai  pihak,  kegiatan  jurnal  ini  tidak  akan dapat  berjalan  baik.  Untuk  itu,  penulis  ingin menyampaikan rasa terima kasih yang sebesar- besarnya  kepada  seluruh  pihak  yang  telah membantu dan mendukung lancarnya pembuatan skripsi dari awal hingga akhir.
Penulis  menyadari  bahwa  jurnal  ini  masih jauh dari sempurna. Oleh karena itu, kritik dan saran  yang  membangun  dari  pembaca  akan sangat  penulis  hargai  guna  perbaikan  dan pengembangan  penelitian  di  masa  yang  akan datang.  Akhir  kata,  semoga  skripsi  ini bermanfaat  dan  berkontribusi  positif  bagi perkembangan ilmu pengetahuan dan teknologi,  khususnya  dalam  bidang  analisis sentimen dan CSR

## DAFTAR PUSTAKA
[1]  PT  Olahkarsa  Inovasi  Indonesia,  “End-to-end Solution  for  CSR  Management  Company Profile PT Olahkarsa Inovasi Indonesia,” 2022. Accessed:  Jan.  27,  2023.  [Online].  Available: https://olahkarsa.com/
[2]  PT  Olahkarsa  Inovasi  Indonesia,  “CSR Software
Management,”
2021. https://olahkarsa.com/product/srapp  (accessed Jan. 27, 2023).
[3]  Sampoerna University, “Pengertian Teks Berita, Contoh, Ciri, Pedoman dan Struktur,” Apr. 17, 2022.
https://www.sampoernauniversity.ac.id/id/cont oh-teks-berita/ (accessed Jan. 27, 2023).
[4]  AWS  Amazon,  “Apa  itu  Analisis  Sentimen?,” 2022. https://aws.amazon.com/id/what- is/sentiment-analysis/ (accessed Jan. 27, 2023).
[5]  I. Fahrur Rozi, D. Rizky Yunianto, M. Mentari, A.  Setiawan,  R.  Ariyanto,  and  I.  Siradjuddin, “Geo-Sentiment  Analysis  as  a  Location-Based Opinion  Analysis  System  on  Public  Opinion Data  about  Governor  Candidates,”  2018. [Online].
Available:
www.sciencepubco.com/index.php/IJET
[6]  A.  Muhammad  Robith,  “Metode  Waterfall untuk  Pengembangan  Perangkat  Lunak,”  Dec. 29, 2020.
https://www.sekawanmedia.co.id/blog/metode- waterfall/ (accessed Jan. 27, 2023).
[7]  Dicoding  Intern,  “Contoh  Use  Case  Diagram Lengkap dengan Penjelasannya,” May 19, 2021. https://www.dicoding.com/blog/contoh-use- case-diagram/ (accessed Jan. 27, 2023).
[8]  W. Wongso, “indonesian-roberta-base- sentiment-classifier (Revision e402e46),” 2023. https://huggingface.co/w11wo/indonesian- roberta-base-sentiment-classifier  (accessed  Jul.
03, 2023).
[9]  Rony  Setiawan,  “Black  Box  Testing  Untuk Menguji Perangkat Lunak,” Sep. 17, 2021.
[10]  P. Tushar, “What Is Google Lighthouse?,” Mar. 24, 2023.
https://www.semrush.com/blog/google- lighthouse/ (accessed Jul. 04, 2023).
[11]  Abdul Rauf, “Sistem Perpustakaan
Menggunakan  Radio  Frequency  Identification (Rfid)  Dengan  Pendekatan  Smart  City  (Studi Kasus:  Perpustakaan  Wilayah  Soeman  HS Provinsi Riau),” 2016.