## Pembuatan Model Pemeringkatan Ulasan Menggunakan Metode Random Forest Regression
Nisrina Fadhilah Fano* 1 , Arif Djunaidy 2 1,2 Departemen Sistem Informasi, Fakultas Teknologi Elektro Dan Informatika Cerdas Institut Teknologi Sepuluh Nopember Surabaya e-mail: * 1 nisrinafano.19052@mhs.its.ac.id , 2 adjunaidy@its.ac.id

## Abstrak
Di  tengah  perkembangan  teknologi  yang  cepat,  internet  telah  mengubah  gaya  hidup masyarakat,  seperti  dalam  hal  berbelanja  barang.  Dalam  melakukan  pembelanjaan  melalui internet,  salah  satu  hal  yang  perlu  diperhatikan  adalah  ulasan  pelanggan.  Permasalahan muncul  ketika  jumlah  ulasan  pelanggan  yang  ada  sangat  besar,  sehingga  jumlah  informasi yang  tersedia  terlalu  banyak.  Untuk  menyelesaikan  permasalahan  ini,  beberapa  platform belanja  dalam  jaringan  (daring)  mengurutkan  ulasan  pelanggan  dari  yang  paling  membantu hingga  kurang  membantu.  Namun  sistem  ini  memiliki  beberapa  kekurangan,  salah  satunya adalah dapat dimanipulasi. Maka dibutuhkan suatu cara lain untuk menentukan apakah sebuah ulasan  dapat  membantu  calon  pelanggan  memutuskan  pembelian  produk.  Penelitian  ini bertujuan  untuk  membuat  sebuah  model  pemeringkatan  ulasan  berdasarkan  tingkat  kegunaan ulasan  hasil  regresi.  Metode  yang  digunakan  pada  penelitian  ini  adalah  Random  Forest Regression.  Terdapat  enam  tahapan  utama  pada  metodologi  ini,  dimulai  dari  pengumpulan data  ulasan  pelanggan,  praproses  data,  ekstraksi  aspek  dan  analisis  sentiment  aspek  untuk menentukan polaritas aspek, pembuatan model regresi dan pemeringkatan, dan analisis hasil. Hasil  penelitian  menunjukkan  bahwa  model  pemeringkatan  yang  dibuat  berdasarkan  hasil regresi  mempunyai  kinerja  yang  lebih  unggul  dibandingkan  dengan  model  yang  dibuat  hanya berdasarkan nilai helpfulness ratio saja. Hal ini dibuktikan dengan model tersebut unggul pada pengujian nilai kecocokan yang dilakukan dengan peningkatan kinerja sebesar 6%.
Kata kunci — Tingkat Kegunaan Ulasan, Ulasan pelanggan, Aspek Produk, Regresi Random Forest

## Abstract
In  the  midst  of  rapid  technological  developments,  the  internet  has  changed  people’s lifestyles, such as in terms of shopping. When shopping via the internet, one thing that needs to be  considered is customer reviews.  The  problem  arises  when the number of  existing  customer reviews is very large, so the amount of information available is too much. To solve this problem, some  online  shopping  platforms  rank  customer  reviews  from  most  helpful  to  least  helpful. However,  this  system  has  several  drawbacks,  one  of  which  is  that  it  can  be  manipulated.  So another way is needed to determine whether a review can help a potential customer decide to purchase  a  product.  This  study  aims  to  create  a  review  ranking  model  based  on  the  review helpfulness  from  the  regression  review  results.  The  method  used  in  this  study  is  the  Random Forest  Regression.  There  are  six  primary  stages  in  this  methodology,  starting  from  collecting customer review data, preprocessing data, extracting aspects and analyzing aspect sentiment to determine  the  polarity  of  aspects,  creating  regression  models  and  ranking,  and  analyzing  the results. The results showed that the ranking model made based on the regression results had a superior performance compared to the model made based on the value of the helpfulness ratio alone. This is evidenced by the model being superior in testing the matching score which was carried out with an increase in performance of 6%.
E- ISSN 2503-2933   665
Keywords — Review  Helpfulness,  Customer  Reviews,  Product  Aspect,  Random  Forest Regression

## 1. PENDAHULUAN
lasan pelanggan merupakan salah satu fitur yang disediakan oleh pada penyedia layanan belanja  dalam  jaringan  (daring)  bagi  para  pelanggan  agar  dapat  memberikan  ulasan produk  atau  layanan  pada  website  penyedia  layanan  belanja  setelah  membeli  sebuah produk  atau  menggunakan  sebuah  layanan.  Ulasan  pelanggan  dapat  memberikan  informasi mengenai  pengalaman  pelanggan  dalam  menggunakan  produk  atau  layanan,  serta  dapat memberikan informasi lebih detail dari produk atau layanan tersebut  [1]. Sebanyak 70% calon pelanggan  mempercayai  hal-hal  yang  terdapat  pada  ulasan  pelanggan  lain  [2].  Hal  ini menjadikan  ulasan  pelanggan  sebagai  sumber  informasi terpercaya  kedua  setelah  rekomendasi keluarga  dan  kerabat,  serta  mempunyai  pengaruh  yang  kuat  pada  keputusan  pelanggan  dalam membeli  barang  [3].  Ulasan  pelanggan  juga  mempunyai  potensi  untuk  meningkatkan kemampuan  pelanggan  untuk  membuat  keputusan  belanja  yang  lebih  bijak  [4].  Permasalahan muncul ketika jumlah ulasan pelanggan yang ada sangat besar, sehingga jumlah informasi yang tersedia  terlalu  banyak  [1].  Maka  dibutuhkan  suatu  cara  untuk  menentukan  apakah  sebuah ulasan dapat membantu calon pelanggan memutuskan untuk membeli produk atau tidak.  Zhou mengatakan  bahwa  sebuah  ulasan  yang  membantu  adalah  ulasan  yang  memfasilitasi  proses keputusan  belanja  oleh  calon  pelanggan.  Selain  itu,  ulasan  juga  harus  dapat  mendeskripsikan kualitas  dari  produk  atau  jasa  [1]  sehingga  dapat  mengurangi  tingkat  ketidakpastian  dalam berbelanja [5].
Pada  umumnya,  ulasan  pelanggan  terdiri  dari  dua  bagian,  yaitu  rating  produk  atau layanan  dengan  skala  tertentu  dan  ulasan  produk  atau  layanan  [6].  Dari  ulasan  pelanggan, pembaca ulasan dapat mengetahui pengalaman pelanggan terhadap penggunaan sebuah produk atau  layanan  secara  detail.  Terdapat  beberapa  fitur  yang  dapat  dieksplorasi  pada  ulasan pelanggan, seperti helpfulness, informativeness, readability, dan fitur lainnya.
Tingkat kegunaan ulasan atau yang biasa disebut dengan review helpfulness merupakan salah satu fitur paling penting yang terdapat pada ulasan pelanggan [1]. Menurut Mudambi dan Schuff, tingkat kegunaan ulasan didefinisikan sebagai tingkatan dimana pelanggan lain percaya bahwa  ulasan  dapat  membantu  untuk  membuat  keputusan  dalam  berbelanja  [6].  Tingkat kegunaan  sebuah  ulasan  dapat  dipengaruhi  oleh  beberapa  faktor.  Berdasarkan  studi  yang dilakukan  oleh  Sun,  faktor-faktor  tersebut  dapat  dikelompokkan  ke  dalam  dua  bagian,  yaitu faktor  isi  ulasan  dan  faktor  penulis  ulasan  [5].  Dari  aspek  ulasan,  ada  beberapa  faktor  yang ditemukan  oleh  peneliti  sebelumnya,  yaitu  panjang  ulasan,  bahasa  yang  digunakan  [7],  sudut pandang yang digunakan [8], hingga polaritas sentiment ulasan [9]. Dari seluruh faktor tersebut, yang paling berpengaruh adalah panjang ulasan yang didapatkan dari jumlah kata dalam ulasan tersebut [10] [11]. Hal ini menunjukkan bahwa semakin banyak informasi yang diberikan dalam sebuah ulasan, akan semakin membantu calon pelanggan. Akan tetapi dalam sebuah ulasan yang panjang  tidak  selalu  berisi  tentang  informasi  yang  berguna.  Maka  dari  itu,  Sun  menggunakan jumlah  atribut  yang  ada  pada  ulasan  [5].  Semakin  banyak  jumlah  atribut  produk  yang disebutkan,  maka  ulasan  tersebut  lebih  membantu  calon  pelanggan.  Studi  lain  melakukan analisis  sentimen  pada  sebuah  ulasan.  Namun  terdapat  beberapa  pertentangan  pada  hasilnya, dimana Eslami dan Li menyatakan bahwa ulasan yang mengandung polaritas sentiment negatif lebih  berguna  [4]  [7],  namun  Salehan  dan  Kim  menyatakan  bahwa  ulasan  yang  mengandung polaritas  sentimen  netral  dengan  terdapat  sentimen  positif  dan  negatif  di  dalamnya  akan  lebih berguna bagi calon pelanggan [10]. Salah satu isu pada faktor polaritas sentiment ulasan adalah

## U
666 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 664-675 E- ISSN 2503-2933
konsistensi.  Zhou  menemukan  bahwa  polaritas  sentiment  judul  ulasan  yang  sesuai  dengan polaritas sentiment ulasan akan lebih membantu bagi calon pelanggan [1].
Salah  satu  manfaat  dalam  mengetahui  tingkat  kegunaan  ulasan  adalah  dengan menggunakan tingkat kegunaan ulasan tersebut untuk mengurutkan ulasan-ulasan yang ada pada website  belanja  daring.  Beberapa  penelitian  telah  dilakukan  untuk  mencari  cara  yang  efektif untuk  mengurutkan  ulasan  atau  melakukan  pemeringkatan  pada  ulasan.  Pada  model pemeringkatan yang tidak memperhatikan isi ulasan, terdapat tiga cara yang umum digunakan oleh  para  penyedia  layanan  belanja  daring,  yaitu  MRF  ( Most  Recent  First )  yang  didasarkan pada waktu ditulisnya ulasan, MHF ( Most Helpful First ) yang didasarkan pada jumlah helpful vote yang  diberikan  oleh  pengguna,  dan  HRF  ( Helpfulness  Ratio  First )  yang  didasarkan  pada nilai  perbandingan  antara  jumlah  helpful  vote  yang  diterima  dengan  jumlah  keseluruhan vote [12].  Dari  ketiga  metode  yang  telah  disebutkan,  seluruhnya  menggunakan  waktu  dan  jumlah helpful vote yang diterima oleh ulasan. Hal ini akan menjadi masalah apabila suatu ulasan yang tidak  memiliki  helpful  vote  namun  sesungguhnya  ulasan  tersebut  memiliki  tingkat  kegunaan yang baik, maka ulasan tersebut tidak dapat ditampilkan dalam posisi awal. Permasalahan lain muncul  apabila  proses  pemeringkatan  hanya  menggunakan  nilai helpfulness  ratio. Jumlah helpful  vote dan unhelpful  vote dapat  dimanipulasi,  sehingga  model  pemeringkatan  tidak  lagi dapat dipercaya.
Maka pada penelitian ini dilakukan pembuatan model pemeringkatan ulasan pelanggan yang  tidak  hanya  berdasarkan  nilai helpfulness  ratio ataupun  waktu  penulisan  ulasan  saja, namun model pemeringkatan yang diajukan menggunakan hasil regresi sebagai dasar penentuan peringkat ulasan.

## 2. METODE PENELITIAN
Metode  Metodologi  pada  penelitian  ini  mengadaptasi  metodologi  yang  digunakan  oleh Sunil Saumya untuk melakukan pemeringkatan ulasan [13]. Metodologi yang digunakan terdiri dari  enam  tahap  seperti  yang  terdapat  pada  Gambar  1,  meliputi:  (1)  Pengumpulan  Data,  (2) Praproses Data, (3) Ekstraksi Aspek dan Analisis Sentimen, (4) Pembuatan Model Regresi, (5) Melakukan Pemeringkatan Ulasan, dan (6) Analisis Hasil Pemeringkatan.
Gambar 1. Metodologi Penelitian
E- ISSN 2503-2933   667

## 2.1 Pengumpulan Data
Proses pengumpulan data dilakukan dengan metode web scraping. Data yang digunakan pada penelitian ini merupakan data ulasan produk pada tahun 2014 – 2020 yang didapatkan dari tiga  website,  yaitu  Flipkart,  Bol,  dan  Ceneo.  Data  yang  diambil  merupakan  data  ulasan  dari produk pendingin ruangan, mesin cuci, kulkas, televisi, dan kamera. Total data yang terkumpul dari situs Flipkart adalah 69.415 data ulasan, dari situs Bol sebanyak 5.229 data ulasan, dan dari situs  Ceneo  sebanyak  7.620  data  ulasan.  Sehingga  total  data  yang  terkumpul  adalah  82.334. Masing-masing  baris  data  ulasan  yang  dikumpulkan  mempunyai  11  atribut.  Atribut  data  yang diambil meliputi nama produk, harga produk, rating produk, nama penjual, rating penjual, teks ulasan,  judul  ulasan,  nama  pemberi  ulasan, rating produk  yang  diberikan  oleh  ulasan,  jumlah helpful vote dan jumlah unhelpful vote .

## 2.2 Praproses Data
Pada tahap praproses data, terdapat lima aktivitas yang dilakukan. Tahap praproses data yang  digunakan  pada  penelitian  ini  mengadaptasi  langkah-langkah  yang  dilakukan  pada penelitian Mowlaei [14]. Tahap praproses data meliputi :
 Menghapus simbol yang tidak digunakan
Simbol  yang  muncul  pada  data  ulasan  seperti  simbol  mata  uang  akan  dihapus  agar  tidak mengganggu proses ekstraksi aspek.
 Menghapus ulasan yang terdeteksi sebagai spam Ulasan  yang  terindikasi  sebagai  ulasan  spam  diidentifikasi  melalui  beberapa  kriteria, meliputi  mempunyai  nilai  rating  yang  jauh  berbeda  dengan  rating  rata-rata  produk  dan hanya terdiri dari satu kata.
 Melakukan tokenisasi kata pada teks ulasan Teks ulasan yang terdiri dari satu atau lebih kalimat akan dipisah menjadi kata-kata. Proses tokenisasi  dilakukan  dengan  menggunakan  library  fungsi  RegexpTokenizer()  dari library nltk pada Python.
 Menghilangkan stopwords Stopwords merupakan  kata-kata  yang  sering  muncul  namun  kurang    memiliki  makna apabila  berdiri  sendiri.  Dalam  tahap  ini,  kata-kata  yang  termasuk  dalam  kumpulan  kata stopwords akan  dihapus. Kumpulan  kata stopwords yang  digunakan  diperoleh  dari library nltk pada Python.
 Melakukan lematisasi
Pada  tahap  ini  dilakukan  pengubahan  kata-kata  dalam  ulasan  menjadi  kata  dasar.  Proses lemmatisasi  dilakukan  dengan  menggunakan  WordNetLemmatizer()  yang  didapat  dari library  nltk.  Kata-kata  yang  diubah  ke  dalam  bentuk  dasar  meliputi  kata  benda  dan  kata kerja

## 2.3 Ekstraksi Aspek dan Analisis Sentimen
Tahap  ekstraksi  aspek  dibagi  ke  dalam  dua  bagian,  meliputi  ekstraksi  aspek  eksplisit dan  ekstraksi  aspek  implisit.  proses  dilakukan  dengan  cara  membandingkan  kata-kata  dalam ulasan dengan sekelompok kata-kata aspek yang telah ditentukan sebelumnya. Sekelompok kata aspek  tersebut  didapatkan  dari  dua  sumber,  yaitu  fitur  dan  spesifikasi  yang  terdapat  pada deskripsi  produk  serta  kata-kata  yang  paling  sering  disebutkan  pada  ulasan.  Selain membandingkan kata yang akan menjadi kandidat aspek dengan kata-kata aspek, kata kandidat kemudian  akan  dibandingkan  dengan  sinonim  dari  kata-kata  aspek.  Penentuan  sinonim  kata- kata aspek dilakukan dengan menggunakan corpus WordNet dari library nltk.
Pada ekstraksi aspek implisit, kata-kata hasil praproses dimasukkan dalam proses POS- tagging  menggunakan  library  spacy  pada  Python.  Tahap  ekstraksi  aspek  implisit  kemudian
668 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 664-675 E- ISSN 2503-2933
dilakukan  dengan  cara  mencocokkan  tag  yang  didapat  dari  hasil  POS-tagging  dengan  aturan yang ada untuk mendapatkan aspek [15]. Aturan yang digunakan meliputi:
 Apabila sebuah kata sifat (ADJ) diikuti kata benda (NOUN), maka kata benda tersebut akan ditandai sebagai kandidat aspek.
 Apabila sebuah kata benda (NOUN) diikuti oleh kata sifat (ADJ), maka kata benda tersebut akan ditandai sebagai kandidat aspek.
 Apabila  sebuah  kata  kerja  (VERB)  diikuti  oleh  kata  benda  (NOUN),  maka  kata  benda tersebut akan ditandai sebagai kandidat aspek.
Setelah kata-kata tersebut ditandai sebagai kandidat aspek, kata-kata tersebut akan dicek, apakah  kata  tersebut  sudah  ditandai  sebagai  aspek  pada  tahap  ekstraksi  eksplisit.  Jika  sudah, maka  kata  tersebut  tidak  diproses  sebagai  aspek  implisit  agar  tidak  terjadi  adanya  aspek  yang muncul  dua  kali.  Apabila  kata  tersebut  tidak  ditandai  sebagai  aspek  pada  ekstraksi  eksplisit, maka  langkah  selanjutnya  akan  dilakukan  penghitungan  nilai  PMI-IR  (Pointwise  Mutual Information  –  Information  Retrieval)  terhadap  kata  tersebut  [15].  Persamaan  (1)  digunakan untuk menghitung nilai SO dari kandidat aspek.
(     ) ( (            )       ( ) (            )       ( ) ) (1)
Nilai  SO(frasa)  kemudian  digunakan  untuk  menentukan  apakah  kandidat  aspek  akan ditandai sebagai aspek produk, aspek layanan, atau bukan aspek. Apabila nilai SO(frasa) di atas 0.5,  maka  kandidat  aspek  akan  ditandai  sebagai  aspek  produk.  Apabila  nilai  SO(frasa)  lebih kecil  dari  -1.2,  maka  kandidat  aspek  akan  ditandai  sebagai  aspek  layanan.  Sedangkan  apabila nilai  SO(frasa)  terdapat  dalam  rentang  -1.2  <  SO(frasa)  <  0.5,  maka  kata  tersebut  tidak  akan ditandai sebagai aspek.
Setelah aspek berhasil diidentifikasi, tahap selanjutnya adalah penentuan sentiment aspek pada  suatu  ulasan.  Menurut  Brunova  dan  Bidulya,  dalam  suatu  teks,  kata-kata  yang mengandung aspek dan opini biasanya berada dalam jarak yang dekat, yaitu radius 3 kata [16]. Maka dari itu, kata yang berada pada radius tersebut dari kata aspek akan diidentifikasi sebagai kandidat  opini.  Kata-kata  yang  diidentifikasi  sebagai  kandidat  opini  kemudian  akan dibandingkan  dengan  list  opini  positif  dan  list  opini  yang  didapat  dari opinion  lexicon yang disusun oleh Bing & Liu  [17]. Setelah itu juga dilakukan pengecekan keberadaan kata negasi. Apabila  ditemukan  adanya  kata  negasi  sebelum  kandidat  opini,  maka  sentimen  aspek  akan berubah.  Kandidat  opini  yang  ditandai  positif  akan  diberi  nilai  +1.  Sedangkan  kandidat  opini yang  ditandai  negatif  akan  diberi  nilai  -1.  Kandidat  opini  tersebut  kemudian  akan  dinyatakan sebagai opini untuk aspek yang terdekat. Hasil akhir sentiment ulasan akan dibagi menjadi dua, yaitu  sentimen  untuk  produk  dan  sentimen  untuk  layanan.  Sentimen  untuk  produk  didapatkan dari jumlah nilai seluruh opini untuk aspek produk dan sentimen layanan juga didapatkan dari jumlah nilai seluruh opini untuk aspek layanan.

## 2.4 Pembuatan Model Regresi
Model  regresi  yang  digunakan  pada  penelitian  ini  adalah Random  Forest  Regression . Terdapat  delapan  variabel  yang  akan  digunakan  dalam  model  regresi,  meliputi  harga  barang, rating  produk,  rating  penjual,  usia  ulasan,  rating  pada  ulasan.  Nilai  seluruh  variabel  tersebut didapatkan  dari  hasil  pengumpulan  data.  Sedangkan  untuk  variabel  jumlah  aspek  produk  dan nilai sentimen aspek produk diperoleh dari hasil ekstraksi aspek dan analisis sentimen pada teks ulasan.  Variabel  terakhir  yang  digunakan  adalah helpfulness  ratio yang  didapatkan  dengan persamaan (2).
E- ISSN 2503-2933   669
Jumlah  pohon  yang  digunakan  pada  Random  Forest  sebanyak  800 trees .  Metode validasi yang digunakan untuk memvalidasi hasil regresi adalah k-fold cross-validation .

## 2.5 Pembuatan Model Pemeringkatan
Pemeringkatan  ulasan  dilakukan  dengan  mengadaptasi  metode  yang  dilakukan  oleh Sunil Saumya dengan mengurutkan data ulasan berdasarkan nilai hasil regresi [13]. Ulasan yang mempunyai nilai regresi tertinggi akan menduduki peringkat pertama.

## 2.6 Analisis Hasil Pemeringkatan
Hasil pemeringkatan yang telah dilakukan pada tahap ke lima kemudian akan dievaluasi dengan  membandingkan  model  pemeringkatan  hasil  regresi  dengan  pemeringkatan  yang dilakukan  oleh  pakar.  Hasil  dari  evaluasi  adalah  nilai  kecocokan,  yang  kemudian  akan dibandingkan antara model pemeringkatan  berdasarkan hasil regresi dan model pemeringkatan hanya berdasarkan nilai helpfulness ratio .

## 3. HASIL DAN PEMBAHASAN
Untuk  mengetahui  pengaruh  penggunaan  model  regresi  sebagai  dasar  pada  model pemeringkatan  ulasan,  maka  dalam  penelitian  ini  dilakukan  pengujian  perbandingan  nilai kecocokan.  Uji  perbandingan  nilai  kecocokan  dilakukan  dengan  cara  membandingkan  nilai kecocokan  dari  kedua  model.  Model  yang  lebih  baik  adalah  model  yang  mempunyai  nilai kecocokan  lebih  baik.  Sebelum  menghitung  nilai  kecocokan,  kami  melakukan  proses  validasi pemeringkatan  kepada  5  orang  pakar.  Pemilihan  pakar  dilakukan  berdasarkan  dua  kriteria, yaitu:
 Pernah berbelanja barang secara online minimal satu kali dalam satu bulan
 Pernah berbelanja barang elektronik via online
Kelima  orang  tersebut  kemudian  kami  minta  untuk  memberi  peringkat  pada  data validasi.  Data  validasi  merupakan  data  ulasan  yang  dipilih  secara  acak  sebanyak  30.  Dari  30 data tersebut, diambil 10 data ulasan teratas hasil pemeringkatan yang dilakukan oleh masing- masing pakar untuk dibandingkan oleh 10 data validasi teratas hasil pemeringkatan berdasarkan hasil  regresi  [13].  Nilai  kecocokan  didapat  dengan  menghitung  berapa  banyak  ulasan  yang terdapat  pada  kedua  kumpulan  data  ulasan  tersebut.  Persamaan  untuk  menghitung  nilai kecocokan terdapat pada (3).
(3)
Hasil  penghitungan  nilai  kecocokan  pada  model  dengan  aspek  layanan  untuk  data ulasan dari website Flipkart ditampilkan pada Tabel 1. Dalam Tabel 1 dapat terlihat bahwa rata- rata  persentase  kecocokan  hasil  pemeringkatan  berdasarkan  model  regresi  dengan  hasil pemeringkatan  oleh  pakar  pada  data  ulasan  produk  pendingin  ruangan  dari  website  Flipkart adalah  42%.  Pada  data  ulasan  produk  mesin  cuci,  rata-rata  nilai  kecocokannya  adalah  44%. Sedangkan  untuk  rata-rata  nilai  kecocokan  terkecil  terdapat  pada  data  ulasan  produk  kulkas dengan rata-rata persentase 20%.
670 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 664-675 E- ISSN 2503-2933
Tabel 1. Hasil Penghitungan Nilai Kecocokan pada Data Ulasan dari Situs Web Flipkart Jenis Produk Pakar Rata- rata 1 2 3 4 5 Pendingin Ruangan 40% 40% 50% 50% 30% 42% Mesin Cuci 30% 60% 60% 30% 40% 44% Televisi 10% 10% 30% 40% 20% 22% Kulkas 30% 20% 20% 20% 10% 20% Kamera 30% 20% 30% 20% 20% 24%
Hasil  penghitungan  nilai  kecocokan  antara  peringkat  hasil  model  regresi  dengan peringkat  yang  diberikan  oleh  manusia pada  data  ulasan  dari  situs  web  Bol dapat  dilihat  pada Tabel  2.  Dalam  Tabel  2  dapat  terlihat  bahwa  rata-rata  nilai  kecocokan  pada  ulasan  produk pendingin  ruangan  adalah  44%,  terbesar  dibandingkan  nilai  pada  produk  lainnya.  Sedangkan pada produk mesin cuci, rata-rata nilai kecocokannya adalah sebesar 24%. Pada produk kulkas dan kamera, rata-rata nilai kecocokan dari hasil pemeringkatan adalah 40%. Pada ulasan produk televisi, rata-rata nilai kecocokan yang didapat adalah 32%.
Tabel 2. Hasil Penghitungan Nilai Kecocokan pada Data Ulasan dari Situs Web Bol
Jenis Produk Pakar Rata- rata 1 2 3 4 5 Pendingin Ruangan 40% 50% 50% 40% 40% 44% Mesin Cuci 20% 30% 30% 20% 20% 24% Televisi 20% 30% 40% 40% 30% 32% Kulkas 30% 40% 40% 50% 40% 40% Kamera 40% 50% 50% 40% 20% 40%
Hasil penghitungan nilai kecocokan hasil pemeringkatan berdasarkan nilai regresi dengan peringkat yang diberikan oleh manusia pada data ulasan dari situs web Ceneo dapat dilihat pada Tabel 3. Dalam Tabel 3 dapat terlihat bahwa rata-rata nilai kecocokan hasil pemeringkatan pada data  ulasan  produk  pendingin  ruangan  adalah  50%.  Sedangkan  rata-rata  nilai  kecocokan  pada ulasan  produk  mesin  cuci  adalah  42%.  Pada  ulasan  produk  kulkas,  rata-rata  nilai  kecocokan yang  didapat  adalah  46%.  Rata-rata  nilai  kecocokan  yang  didapat  dari  ulasan  produk  televisi adalah  sebesar  36%.  Sedangkan  rata-rata  nilai  kecocokan  yang  didapat  pada  ulasan  produk kamera adalah 42%.
Tabel 3. Hasil Penghitungan Nilai Kecocokan pada Data Ulasan dari Situs Web Ceneo
Jenis Produk Pakar Rata- rata 1 2 3 4 5 Pendingin Ruangan 40% 40% 50% 60% 60% 50% Mesin Cuci 30% 50% 20% 50% 60% 42% Televisi 20% 40% 40% 40% 40% 36% Kulkas 50% 50% 30% 40% 60% 46% Kamera 60% 50% 40% 60% 40% 42%
Dari penghitungan nilai kecocokan antara peringkat hasil model regresi dengan peringkat yang  diberikan  manusia  dapat  disimpulkan  bahwa  rata-rata  nilai  kecocokan  yang  didapat
E- ISSN 2503-2933   671
sebesar 37%% seperti yang terlihat pada Tabel 4. Dalam Tabel 4 dapat terlihat bahwa rata-rata nilai  kecocokan  hasil  pemeringkatan  pada  situs  web  Flipkart  sebesar  30%.  Rata-rata  nilai kecocokan hasil pemeringkatan pada data ulasan dari situs web Bol adalah sebesar  36%. Nilai kecocokan  hasil  pemeringkatan  pada  data  ulasan  dari  situs  web  Ceneo  mempunyai  rata-rata sebesar 43%.
Tabel 4. Rata-rata Nilai Kecocokan Hasil Pemeringkatan Jenis Produk Flipkart Bol Ceneo Pendingin Ruangan 42% 44% 50% Mesin Cuci 44% 24% 42% Televisi 22% 32% 36% Kulkas 20% 40% 46% Kamera 24% 40% 42% Rata-rata 30% 36% 43%
Selain  menghitung  nilai  kecocokan  antara  hasil  pemeringkatan  model  regresi  dengan pemeringkatan  yang  dilakukan  oleh  pakar,  pada  tahap  ini  juga  dilakukan  penghitungan  nilai kecocokan  antara  model  pemeringkatan  tanpa  regresi,  yaitu  hanya  mempertimbangkan  nilai helpfulness  ratio  saja,  dengan  model  pemeringkatan  yang  dilakukan  oleh  pakar.  Hasil penghitungan  ini  kemudian  akan  dibandingkan  dengan  hasil  penghitungan  nilai  kecocokan pemeringkatan model regresi untuk menentukan model mana yang memiliki kinerja lebih baik.
Hasil penghitungan  nilai  kecocokan  model  pemeringkatan  dengan helpfulness  ratio saja dengan model pemeringkatan oleh manusia dapat dilihat pada Tabel 5. Dari tabel tersebut dapat disimpulkan  bahwa  rata-rata  nilai  kecocokan  untuk  data  ulasan  dari  situs  web  Flipkart  adalah 25%, nilai rata-rata kecocokan untuk data ulasan dari situs web Bol adalah 32%, dan rata-rata nilai kecocokan untuk data ulasan dari situs web Ceneo adalah 26%. Sehingga apabila dihitung secara  keseluruhan,  rata-rata  nilai  kecocokan  model  pemeringkatan  dengan  helpfulness  ratio saja  mempunyai  rata-rata  nilai  kecocokan  sebesar  31%.  Hal  ini  menunjukkan  bahwa  model pemeringkatan dengan helpfulness ratio saja memiliki rata-rata nilai kecocokan yang lebih kecil daripada  model  pemeringkatan  hasil  regresi  dengan  selisih  sebesar  6%.  Dari  analisis  tersebut dapat ditarik kesimpulan bahwa model pemeringkatan berdasarkan hasil model regresi memiliki kinerja yang lebih baik daripada model pemeringkatan yang hanya bedasarkan nilai helpfulness ratio saja.
Tabel 5. Hasil Penghitungan Nilai Kecocokan Model Pemeringkatan
berdasarkan Helpfulness Ratio Jenis Produk Flipkart Bol Ceneo Pendingin Ruangan 38% 42% 42% Mesin Cuci 30% 16% 36% Televisi 20% 38% 42% Kulkas 16% 30% 24% Kamera 20% 36% 36% Rata-rata 25% 32% 26%
Perbandingan antara nilai kecocokan pada model pemeringkatan berdasarkan hasil regresi terhadap  model  pemeringkatan  berdasarkan  nilai helpfulness  ratio saja  untuk  data  ulasan  dari situs web Flipkart digambarkan menggunakan diagram batang pada Gambar 2 Dalam Gambar 2 dapat terlihat bahwa  pada seluruh data ulasan produk,  model pemeringkatan  berdasarkan hasil regresi  mempunyai  rata-rata  nilai  kecocokan  yang  lebih  tinggi  daripada  model  pemeringkatan berdasarkan nilai helpfulness ratio saja.
672 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 664-675 E- ISSN 2503-2933
Gambar 2. Diagram Perbandingan Nilai Kecocokan pada Data Ulasan Produk dari Situs Web Flipkart
Perbandingan  antara  rata-rata  nilai  kecocokan  pada  model  pemeringkatan  berdasarkan hasil  regresi  terhadap  model  pemeringkatan  menggunakan helpfulness  ratio saja  pada  data ulasan dari situs web Bol digambarkan dengan diagram batang pada Gambar 3 Dalam Gambar 3 dapat  terlihat  bahwa  pemeringkatan  berdasarkan  hasil  regresi  mempunyai  nilai  rata-rata kecocokan  pada  data  ulasan  produk  pendingin  ruangan,  mesin  cuci,  kulkas,  dan  kamera. Sedangkan  pada  data  ulasan  produk  televisi,  model  pemeringkatan  dengan helpfulness  ratio memiliki nilai rata-rata kecocokan lebih tinggi pada data ulasan produk televisi saja.
Gambar 3. Diagram Perbandingan Nilai Kecocokan pada Data Ulasan Produk dari
Situs Web Bol
Perbandingan  antara  rata-rata  nilai  kecocokan  pada  model  pemeringkatan  berdasarkan hasil  regresi  terhadap  model  pemeringkatan  menggunakan helpfulness  ratio saja  pada  data
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% Pendingin Ruangan Mesin Cuci Televisi Kulkas Kamera Ma tch in g Sco re Jenis Produk Perbandingan Nilai Kecocokan pada Data Ulasan Produk Flipkart Hasil Regresi Helpfulness Ratio 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% Pendingin Ruangan Mesin Cuci Televisi Kulkas
Kamera
Ma tch in g Sco re Jenis Produk Perbandingan Nilai Kecocokan pada Data Ulasan Produk Bol Hasil Regresi Helpfulness Ratio
E- ISSN 2503-2933   673
ulasan  dari  situs  web  Ceneo  digambarkan  dengan  diagram  batang  pada  Gambar  4  Dalam Gambar 4 dapat terlihat bahwa pemeringkatan berdasarkan hasil regresi mempunyai nilai rata- rata  kecocokan  pada  data  ulasan  produk  pendingin  ruangan,  mesin  cuci,  kulkas,  dan  kamera. Sedangkan  pada  data  ulasan  produk  televisi,  model  pemeringkatan  dengan helpfulness  ratio memiliki nilai rata-rata kecocokan lebih tinggi pada data ulasan produk televisi saja.
Gambar 4. Diagram Perbandingan Nilai Kecocokan pada Data Ulasan Produk dari Situs Web Ceneo

## 4. KESIMPULAN
Hasil  penelitian  menunjukkan  bahwa  model  pemeringkatan  berdasarkan  hasil  regresi mempunyai  performa  yang  lebih  baik  dibandingkan  model  pemeringkatan  berdasarkan  nilai helpfulness ratio saja. Dari pengujian perbandingan nilai kecocokan dapat disimpulkan bahwa:
 Rata-rata nilai kecocokan untuk model pemeringkatan berdasarkan hasil regresi mempunyai nilai yang lebih tinggi daripada rata-rata nilai kecocokan model pemeringkatan berdasarkan helpfulness ratio saja. Selisih nilai rata-rata kecocokan mencapai 6%.
 Model pemeringkatan berdasarkan hasil regresi mempunyai rata-rata nilai kecocokan yang lebih  tinggi  pada  13  dari  15  dataset  ulasan  produk.  Hal  ini  menunjukkan  bahwa  model pemeringkatan berdasarkan hasil regresi mempunyai kinerja yang lebih baik daripada model pemeringkatan berdasarkan nilai helpfulness ratio saja.

## 5. SARAN
Pada data ulasan yang digunakan, terdapat beberapa kata yang masih kurang sempurna dalam  penulisan,  sehingga  kata  tersebut  tidak  dapat  dikenali  pada  tahap  ekstraksi  aspek  dan analisis  sentimen.  Kekurangan  ini  dapat  disempurnakan  pada  penelitian  lebih  lanjut  dengan menambahkan  langkah  penyempurnaan  ejaan  kata  pada  tahap  praproses  data  sebelum  data ulasan digunakan dalam tahap aspek ekstraksi.
0% 10% 20% 30% 40% 50% 60% Pendingin Ruangan Mesin Cuci Televisi Kulkas Kamera Ma tch in g Sco re Jenis Produk Perbandingan Nilai Kecocokan pada Data Ulasan Produk Ceneo Hasil Regresi Helpfulness Ratio
674 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 664-675 E- ISSN 2503-2933

## DAFTAR PUSTAKA
[1] Y. Zhou, S. Yang, y. li, Y. chen, J. Yao and A. Qazi, 2020, "Does The Review Deserve More Helpfulness When Its Title Resembles The Content? Locating Helpful Reviews by Text Mining," Information Processing and Management, Vol. 57.
[2] C.-Y. Lai, Y.-M. Li and L.-F. Lin, 2017, "A Social Referral Appraising Mechanism for The E-Marketplace," Information & Management, Vol. 54, Hal. 269-280.
[3] S. Chatterjee, 2019, "Drivers of Helpfulness of Online Hotel Reviews: A Sentiment and Emotion Mining Approach," International Journal of Hospitality Management .
[4] S.  P.  Eslami,  M.  Ghasemaghaei  and  K.  Hassanein,  2018, "Which  Online  Reviews  Do Consumers  Find  Most  Helpful?  A  Multi-Method  Investigation," Decision  Support Systems, Vol. 113, Hal. 32-42.
[5] X. Sun, M. Han and J. Feng, 2019, "Helpfulness of Online Reviews : Examining Review Informativeness  and  Classification  Thresholds  by  Search  Products  and  Experience Products," Decision Support Systems, Vol. 124, hal. 1-11.
[6] S. M. Mudambi and D. Schuff, 2010, "What Makes A Helpful Online Review? A Study of Customer Reviews on Amazon.com," MIS Quarterly, No. 1, Vol. 34, Hal. 185-200.
[7] S.-T. Li, T.-T. Pham and H.-C. Chuang, 2019, "Do Reviewers’ Words Affect Predicting Their  Helpfulness  Ratings?  Locating  Helpful  Reviewers  by  Linguistics  Styles," Information & Management, Vol. 56, Hal. 28-38.
[8] F. Wang and S. Karimi, 2019, "This Product Works Well (for me): The Impact of First- Person  Singular  Pronouns  on  Online  Review  Helpfulness," Journal  of  Business Research, Vol. 104, Hal. 283-294.
[9] V. Srivastava and A. D. Kalro,  2019, "Enhancing The Helpfulness of Online Consumer Reviews: The Role of Latent (Content) Factors," Journal of Interactive Marketing, Vol. 48, Hal. 33-50.
[10] M.  Salehan  and  D.  J.  Kim,  2016, "Predicting  The  Performance  of  Online  Consumer Reviews:  A  Sentiment  Mining  Approach  to  Big  Data  Analytics," Decision  Support Systems, Vol. 81, Hal. 30-40.
[11] M.  Malik  and  A.  Hussain,  2019, "An  Analysis  of  Review  Content  And  Reviewer Variables  That  Contribute  to  Review  Helpfulness," Information  Processing  And Management, Vol. 54, Hal. 88-104.
[12] J.-N. Wang, J. Du and Y.-L. Chiu, 2020, "Can Online User Reviews Be More Helpful? Evaluating  and  Improving  Ranking  Approaches," Information  &  Management, no.  8, vol. 57.
[13] S.  Saumya,  J.  P.  Singh,  A.  M.  Baabdullah,  N.  P.  Rana  and  Y.  K.  Dwivedi,  2018, "Ranking Online Consumer Reviews," Electronic Commerce Research and Applications,
E- ISSN 2503-2933   675
Vol. 29, Hal. 78-89.
[14] M.  E.  Mowlaei,  M.  S.  Abadeh  and  H.  Keshavarz,  2020,  " Aspect-Based  Sentiment Analysis  Using  Adaptive  Aspect-Based  Lexicons," Expert  Systems  With  Applications, Vol. 148, hal. 1-13.
[15] P.  D.  Turney,  2002, "Thumbs  Up  or  Thumbs  Down?  Semantic  Orientation  Applied  to Unsupervised Classification of Reviews," in Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL) , Philadelphia.
[16] E.  Brunova  and  Y.  Bidulya,  2017, "Aspect  Extraction  and  Sentiment  Analysis  in  User Reviews in Russian About Bank Service Quality, " Moscow.
[17] N.  Jindal  and  B.  Liu,  2008, "Opinion  Spam  and  Analysis," in Web  Search  and  Data Mining , California.