ISSN (e): 2598-8069

## Analisis Sentimen Berbasis Aspek dengan Deep Learning Ditinjau dari Sudut Pandang Filsafat Ilmu
NURYANI 1 , DIMITRI MAHAYANA 2
1,2 Sekolah Teknik Elektro dan Informatika Institut Teknologi Bandung
Bandung, Indonesia
Email : nury005@lipi.go.id

## ABSTRAK
Pesatnya  pertumbuhan  internet  dan  semakin  populernya  aplikasi  media  sosial memungkinkan  orang  untuk  mengekspresikan  opini  dan  pengalaman  tentang sesuatu  kepada  public  secara  terbuka.  Hal  tersebut  dapat  dimanfaatkan  dan dianalisis  untuk  mengeksplorasi  customer  behaviour  (perilaku  pengguna), memprediksi  kebutuhan  pengguna  dan  memahami  opininya.  Analisis  sentimen berbasis aspek (aspect-based sentiment analysis) membuat analisis dan investigasi untuk mengidentifikasi polaritas sentimen pada aspek spesifik secara tepat. Deep learning untuk analisis sentimen berbasis aspek saat ini telah menunjukkan kinerja yang  cukup  menjanjikan  karena  efisiensinya  dalam  ekstraksi  fitur  otomatis  dan kemampuannya untuk menangkap fitur sintaksis dan semantik teks tanpa perlu rekayasa  fitur  tingkat  tinggi.  Menurut  Thomas  Kuhn,  ilmu  pengetahuan  tidak bersifat  kumulatif,  tetapi  revolusioner  dan  berkembang  secara  historis.  Ilmu pengetahuan  tidak  terlepas  dari  paradigma.  Tulisan  ini  bertujuan  untuk memberikan  ulasan  tentang  penggunaan  deep  learning  untuk  analisis  sentimen berbasis aspek dan tinjauannya menurut pandangan filsafat ilmu.
Kata kunci : analisis sentimen, analisis sentimen berbasis aspek, ekstraksi aspek, polaritas sentimen, deep learning.

## ABSTRACT
The rapid growth of the internet and social media application make possiblity for people to express their opinion and experinces about something publicly. It can be utilized  and  analysed  to  explore  the  user  behaviour,  predict  their  demand  and understand their opinion. Aspect-based sentiment analysis makes an analysis and investigation  identify  sentiment  polarity on  specific  aspects  precisely.  Currently, deep  learning  for  aspect-based  sentiment  analysis  has  shown  a  promising performance due to their efficiency of automatic feature extraction and their ability to capture both syntactic and semantic features of text without requirements for high-level  feature  engineering.  According to  Thomas  Kuhn, the  development  of science is not cummulative but revolusionary and has a historical story. Science can not be separated from paradigm. The aim of this paper is for describing the
ISSN (e): 2598-8069
used of deep learning for aspect-based sentiment analysis and its review from the philosophy of science.
Keywords :  sentiment  analysis,  aspect-based  sentiment  analysis,  aspect extraction, sentiment polarity, deep learning.

## 1. PENDAHULUAN
Pesatnya  pertumbuhan  internet  dan  semakin  populernya  penggunaan  aplikasi  media  sosial memungkinkan orang untuk mengekspresikan opini dan pengalaman tentang sesuatu kepada publik  secara  terbuka.  Hal  tersebut  dapat  digunakan  untuk  mengeksplorasi customer behaviour  (perilaku  pengguna)  terhadap  sebuah  topik  tertentu  (Pang  &  Lee,  2008), memprediksi  kebutuhan  pengguna  (Yang,  dkk,  2019)  dan  memahami  opini  publik  serta konsumen tentang sebuah peristiwa sosial, gerakan politik, strategi perusahaan, kampanye pemasaran,  preferensi  produk,  dan  pemantauan  reputasi  (Ravi  &  Ravi,  2015).  Opini  dan pendapat orang lain bagi kebanyakan orang telah menjadi salah satu bagian penting dalam proses pengambilan keputusan (Pang & Lee, 2008). Dengan menganalisis opini publik dapat membantu  manajer,  pejabat,  pemegang  kebijakan  dan  pembuat  keputusan  untuk  dapat meningkatkan  kualitas  produk  atau  layanannya,  memprediksi  permintaan  dan  selera pelanggan,  mengukur  kepuasan  pelanggan,  mengukur  dampak  kebijakan,  dll.  Hal tersebut telah  mendorong penelitian  yang  ekstensif pada opinion mining (penambangan opini) atau sentiment  analysis  (analisis  sentimen).  Analisis  sentimen  atau  disebut  juga  dengan penambangan opini saat ini merupakan salah satu obyek penelitian yang paling aktif dalam bidang  Pemrosesan  Bahasa  Alami  ( Natural  Language  Processing/NLP).  Sentimen  analisis adalah pekerjaan komputasi untuk mengidentifikasi dan mengekstraksi opini, sentimen, dan subjektivitas pengguna dalam teks yang biasanya diungkapkan melalui blog, jejaring sosial, forum diskusi, situs web e-commerce (Pang & Lee, 2008) (Rana & Cheah, 2016) (Ravi & Ravi, 2015).
Sebagian  besar  penelitian  tentang  analisis  sentimen  menitikberatkan  kajiannya  pada identifikasi sentimen secara keseluruhan yang terkait dengan keseluruhan entitas atau topik dalam  kalimat  atau  dokumen,  yang  disebut  sebagai  analisis  sentimen  pada  level  kalimat ( sentence-level sentiment analysis) atau analisis sentimen pada level dokumen (document- level sentiment analysis). Sehingga jika ingin menentukan sentimen yang spesifik untuk target atau  aspek  tertentu,  analisis  sentimen  umum  tidak  dapat  memenuhi  kebutuhan  tersebut. Sebagai contoh dalam ulasan restoran berikut ini “ Food is decent but the service is so bad.” berisi sentiment positif untuk aspek “ food ” dan sentiment negatif untuk aspek “ service ” (Wang &  Liu,  2015).  Mengklasifikasikan  keseluruhan  sentimen  menjadi  negatif  akan  mengabaikan fakta  bahwa “food”  memiliki sentimen  positif  dan  begitu  juga  sebaliknya,  mengklasifikan keseluruhan sentiment menjadi positif akan mengabaikan fakta bahwa “ service ” mempunyai sentimen negatif. Oleh karena itu, analisis sentimen berbasis aspek ( aspect-based sentiment analysis) diusulkan untuk mengatasi masalah ini.
Analisis sentimen berbasis aspek  adalah  analisis sentimen  pada tingkat  entitas  atau  aspek, yang membuat analisis dan investigasi untuk mengidentifikasi entitas dan aspek yang terkait, dan kemudian mengklasifikasikan polaritas sentimen yang terkait dengan entitas dan aspek tersebut (Dohaiha, dkk, 2019). Dalam contoh pada paragraf sebelumnya, " food" dan "service" mewakili  aspek-aspek  pada  ulasan  restoran.  Contoh  lain  adalah  laptop  terdiri  dari  CPU, memory, monitor dan keyboard yang masing-masing mewakili suatu aspek. Selain itu harga, desain dan berat juga merupakan aspek pada laptop.
Penggunaan deep  learning  di  bidang  Pemrosesan  Bahasa  Alami  dapat  memberikan  kinerja yang  lebih  baik dengan model  yang  mungkin  membutuhkan  lebih  banyak  data tetapi  tidak banyak memerlukan keahlian linguistik untuk proses melatih ( training) dan mengoperasikan (Jangid,  2018).  Metode non  deep  learning  seperti  pendekatan  berbasis  aturan  (rule-based approach), machine learning models (SVM, Naive Bayes classifier) telah menunjukkan hasil yang  baik  dalam  analisis  sentimen  dan saat  ini model deep learning meskipun masih pada
tahap  awal  tetapi  juga  menunjukkan  kinerja  yang  cukup  menjanjikan  (Wang  &  Liu,  2015) (Dohaiha, dkk, 2019) (Kim, 2014) (Liu, 2012). Deep leaning untuk aspect-based sentiment analysis menunjukkan kinerja yang cukup menjanjikan karena efisiensi ekstraksi fitur secara otomatis dan kemampuannya dalam menangkap fitur sintaksis dan semantik teks tanpa perlu rekayasa fitur tingkat tinggi (Yang, dkk, 2019) (Dohaiha, dkk, 2019). Pendekatan awal deep learning  untuk  analisis  sentimen  berbasis  aspek  adalah  untuk  menganalisa  fitur  linguistik, hubungan tata bahasa ( grammatical relation), machine learning classifier dan pemodelan topik untuk mengidentifikasi aspek dan polaritas.
Menurut  Thomas  Kuhn,  ilmu  pengetahuan  tidak  bersifat  kumulatif  tetapi  revolusioner  dan berkembang secara historis. Ilmu pengetahuan juga tidak terlepas dari “paradigma” dimana paradigma ini dapat terus berkembang dana dipertentangkan sampai akhrnya bisa melahirkan paradigma baru jika paradigma lama tidak cukup untung menampung pandangan terhadap ilmu pengetahuan yang dianggap terlalu revolusioner (Mahayana, 2018) (Kuhn, 1962).
Tujuan dari tulisan ini adalah untuk memberikan gambaran dan informasi mengenai hal-hal yang berkaitan dengan penggunaan deep learning untuk analisis sentimen berbasis aspek dan juga  ulasannya  ditinjau  dari  sudut  pandang  filsafat  ilmu,  khususnya  menurut  pandangan Thomas Kuhn.
Tulisan  ini  disusun  dengan  urutan  sebagai  berikut:  setelah  Pendahuluan,  definisi  dan penjelasan  tentang  analisis  sentimen  berbasis  aspek  dibahas  di  Bab  II.  Penelitian  terkait tentang deep  learning  untuk  analisis  sentimen  berbasis  aspek  disajikan  pada  Bab  III dilanjutkan  dengan  perbandingan,  pembahasan  serta  peluang  penelitiannya  disajikan  pada Bab IV. Dan terakhir ditutup dengan Bab Kesimpulan.

## 2. LANDASAN TEORI

## 2.1. Analisis Sentimen Berbasis Aspek
a. Klasifikasi Sentimen Analisis
Analisis  sentimen  dapat  dibagi  menjadi  tiga  level  klasifikasi  berdasarkan  sasarannya  yaitu, analisis sentimen level dokumen ( document-level sentiment analysis), analisis sentimen level kalimat  ( sentence-level  sentiment  analysis)  dan  analisis  sentimen  level  aspek  atau  entitas ( entity  and  aspect-level  sentiment  analysis)  (Liu,  2012).  Analisis  sentimen  level  dokumen melakukan  klasifikasi  keseluruhan  dokumen  opini  ke  dalam  sentimen  positif  atau  negatif sedangkan analisis sentimen level kalimat merujuk kepada kalimat dan menentukan masing- masing  kalimat  mengekspresikan  sentimen  positif,  negatif  atau  netral  (netral  artinya  tidak mempunyai  opini).  Analisis  sentimen  level  kalimat  disebut  juga  klasifikasi  subyektifitas ( subjectivity  classification)  yang  membedakan  kalimat  dengan  informasi  faktual  dengan kalimat yang mengekspresikan pandangan atau opini subyektif. Analisis sentimen level entitas atau aspek disebut juga dengan analisis sentimen berbasis fitur ( feature-based opinion mining) melakukan analisis sentimen dengan lebih spesifik terhadap target opininya.
Analisis  sentimen  berbasis  aspek (aspect-based  sentiment  analysis)  ditujukan  untuk menentukan polaritas sentimen (misalnya positif, negatif atau netral) dari sebuah kalimat atau teks yang diekspresikan untuk sebuah target yang merupakan aspek dari suatu entitas tertentu (Yang,  dkk,  2019).  Sistem  sentimen  analis  berbasis  aspek  menerima  masukan  berupa serangkaian teks yang membahas entitas tertentu, kemudian berupaya mendeteksi aspek atau fitur utama entitas dan memperkirakan sentimen rata-rata teks per aspek (Pavlopoulus, 2014).
Entitas  dalam  analisis  sentimen  berbasis  aspek  adalah  obyek  yang  dapat  berupa  produk, layanan, topic, isu, orang, organisasi atau even sedangkan aspek adalah bagian atau atribut dari entitas (Liu, 2012). Untuk memahami istilah-istilah dalam analisis sentimen berbasis aspek diberikan contoh ulasan de ngan domain laptop berikut ini: ” I bought an iPhone a few days ago. It was a nice phone. The touch screen was really cool ”. Dalam ulasan tersebut, “ iPhone ” adalah entitas dan “ touch screen ” adalah atribut atau aspek dari entitas tersebut. Sedangkan “ nice ” adalah kata opini untuk target entitas “ iPhone ” dan “ really cool ” adalah kata opini untuk aspek “ touch screen ” (Rana & Cheah, 2016).
b. Sub-task pada Analisis Sentimen Berbasis Aspek
Sentimen  analisis  berbasis  aspek  biasanya  meliputi  beberapa sub-task  termasuk mengidentifikasi entitas dan aspek serta menentukan polaritas sentimen yang sesuai (Dohaiha, dkk, 2019). Rana dan Cheah, 2016 membagi ABSA menjadi tiga task, yaitu ekstraksi aspek dan  opini  ( aspect  and  opinion  extraction),  analisis  leksikon  sentimen  (sentiment  lexicon analysis) dan peringkasan opini (opinion summarization). Tiga sub-task dari analisis sentimen berbasis aspek menurut Rana dan Cheah ditunjukkan pada Gambar 1.
Gambar 1. Sub-tasks dari analisis sentimen berbasis aspek. Diadaptasi dari  (Rana & Cheah, 2016)
Sub-task  ekstraksi  aspek  dan  opini  (aspect  and  opinion  extraction)  pada  analisis  sentimen berbasis  aspek  berkaitan  dengan  ekstraksi  entitas,  aspek  dan  kata-kata  opini  beserta kategorisasinya serta ekstraksi waktu beserta standarisasinya. Waktu yang dimaksud dalam sub-task ini adalah waktu saat opini diberikan (Liu, 2012). Dalam task ekstraksi aspek dan opini  ini,  semua  aspek  akan  diekstraksi  dan  kemudian  aspek-aspek  yang  sejenis  akan dikelompokkan.  Analisis  leksikon  sentimen  ( sentiment  lexicon  analysis)  digunakan  untuk menemukan polaritas sentimen kata yang diekstraksi dalam tugas pertama. Contoh leksikon publik untuk analisis leksikon sentimen adalah SentiWordNet, SenticNet, dan WorNet-Affect.
an alis is s en time n b erb asi s as p ek ekstraksi aspek dan opini ekstraksi dan kategorisasi entitas
ekstraksi dan kategorisasi aspek ekstraksi dan kategorisasi opini
ekstraksi dan standarisasi waktu analisis leksikon sentimen SentiWordNet WordNetAffect
SenticNet
ringkasan opini kuantitatif kualitatif
Ringkasan  opini  ( opinion  summarization)  dirancang  untuk  membuat  ringkasan  aspek  dan polaritas dari kata-kata sentimen yang diekstraksi untuk disajikan ke pengguna dengan cara efektif. Ringkasan opini dapat disajikan dalam bentuk ringkasan terstruktur atau dalam bentuk kuantitatif  yang  menyatakan  jumlah  atau  persentase  opini  (berapa  banyak  orang  yang mempunyai  opini  negatif  atau  positif)  terhadap  entitas  atau  aspek  (Liu,  2012).  Contoh visualisasi ringkasan opini kamera digital diberikan di Gambar 2 dan Gambar 3.

## Gambar 2. Contoh visualisasi ringkasan opini untuk kamera digital dengan bentuk ringkasan terstruktur (structured summary) (Liu, 2012)
Gambar 3. Contoh visualisasi ringkasan opini pada ulasan kamera digital secara kuantitatif (Liu, 2012)
Sementara  itu,  Wang  dan  Liu,  serta  Pontiki,  dkk  membagi sub-task  utama  dalam  analis sentimen  berbasis  aspek  meliputi  ekstraksi  target  opini  ( opinion  target  extraction/OTE), deteksi  kategori  aspek  ( aspect  category  detection/ACD)  dan  polaritas  sentimen  (sentiment polarity/SP) (Wang & Liu, 2015) (Dohaiha, dkk, 2019) (Pontiki, dkk, 2015) (Brownlee, 2017). Task ekstraksi target opini (OTE) bertujuan untuk mengekstraksi aspek atau ekspresi linguistik atau kata aktual (Liu, 2012) yang digunakan di dalam teks yang diberikan, yang merujuk ke pasangan  entitas  dan  atribut. Task  deteksi  kategori  aspek  (ACD)  bertujuan  untuk mengidentifikasi setiap pasangan entitas dan atribut yang berhubungan dengan opini yang diungkapkan dalam teks yang diberikan. Selanjutnya, task polaritas sentimen (SP) bertujuan untuk  mengklasifikasikan  polaritas  sentimen  aspek  ke  dalam  sentimen  positif  atau  negatif (atau dalam beberapa publikasi diklasifikasikan ke dalam sentimen positif, negatif atau netral). Penjelasan  tiga sub-task  pada  analisis  sentimen  berbasis  aspek  dalam  contoh  kalimat ditunjukkan pada Gambar 4.
Gambar 4. Tiga sub-task pada analisis sentimen berbasis aspek dalam contoh kalimat (Dohaiha, dkk, 2019)
Pada Gambar 4, diberikan teks ulasan restoran : “ It has great sushi and even better service ”. Pada sub-task ekstraksi target opini (OTE), dirancang untuk mengekstrak target opini (juga disebut sebagai aspek) dari kalimat, yang dalam contoh ini adalah “ sushi ” atau “ service ”. Pada sub-task kedua, deteksi kategori aspek (ACD) digunakan untuk mengidentifikasi entitas, dalam contoh  adalah  aspek “ sushi ”  sebagai  “ food ”  dengan atribut “ quality ” menghasilkan  entitas “ FOOD#QUALITY ” ,  sedangkan aspek  lain  yaitu  “ service ”  sebagai  “ service ” dan  atributnya adalah “ general ” menghasilkan entitas “ SERVICE#GENERAL ” . Sub-task polaritas sentimen (SP) mengidentifikasi  sentimen  dari  aspek  target,  dalam  contoh  kategori  " sushi" dikombinasikan dengan  " great"  memiliki  polaritas  "positive"  sedangkan  untuk  kategori  "service" dikombinasikan dengan " better" juga memiliki polaritas "positive".
c. Aspek Eksplisit dan Aspek Implisit
Berdasarkan penyebutan aspek dalam kalimat, aspek pada analisis sentimen berbasis aspek dibagi  menjadi 2  jenis  yaitu aspek  eksplisit  dan implisit.  Aspek  eksplisit adalah  aspek  yang secara  eksplisit  disebutkan  di  dalam  kalimat  sedangkan  aspek  implisit  adalah  aspek  yang tersirat  atau  tidak  disebutkan  secara  langsung  dalam  kalimat.  Contoh  aspek  eksplisit  pada ula san berikut ini: " It’s light weight enough to take with you everywhere, but powerful enough to get outstanding pix.". Aspek "weight" secara eksplisit disebutkan dalam kalimat. Sementara contoh aspek implisit dalam ulasan berikut: "It is light enough to carry all day without bother", aspek "weight" tidak secara eksplisit dinyatakan dalam kalimat.
d. Pengukuran Evaluasi Analisis Sentimen Berbasis Aspek
Parameter untuk  mengukur  kinerja  analisis sentimen  berbasis  aspek diantaranya: Precision (P), Recall (R), F-score (F1), dan Accuracy (Acc) (Dohaiha, dkk, 2019) (Pavlopoulus, 2014). Precision  (P)  mengukur  persentase  label  yang  diidentifikasi  dengan  benar  oleh  sistem sedangkan Recall (R) mengukur persentase label (benar maupun salah) yang dihasilkan oleh sistem.  F-score  (F1)  merepresentasikan  nilai  rata-rata  harmonik  dari Precision  dan  Recall. Accuracy (Acc) mengukur jumlah aspek benar yang berhasil diklasifikasikan dibagi total jumlah aspek  (Pavlopoulus,  2014).  Formula  untuk Precision,  Recall,  F-score,  dan  Accuracy didefinisikan di dalam (1), (2), (3), and (4).
(1)
𝑅 = 𝑇𝑃 𝑇𝑃+𝐹𝑁
(2) 𝐹1 = 2𝑃𝑅 𝑃+𝑅 (3) 𝐴𝑐𝑐 = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (4)
Dimana TP ( true positive) label benar yang diidentifikasi oleh sistem maupun oleh penganotasi manual ( human annotator) dan TN (true negative) adalah non label (label salah). FP (false positive) adalah label yang dihasilkan oleh sistem tetapi tidak oleh human annotator dan FN ( false negative) adalah label yang ditetapkan oleh human annotator  tetapi tidak terdeteksi oleh sistem.

## 2.2. Perkembangan Ilmu Pengetahuan Menurut Thomas Kuhn
Menurut Thomas Kuhn, ilmu pengetahuan tidak bersifat kumulatif, tetapi bersifat revolusioner dan  berkembang  secara  historis. Ilmu  pengetahuan  juga  tidak  terlepas  dari  “paradigma” dimana  paradigma  ini  dapat  terus  berkembang  dana  dipertentangkan  sampai  akhrnya  bisa melahirkan paradigma baru jika paradigma lama tidak cukup untung menampung pandangan terhadap  ilmu  pengetahuan  yang  dianggap  terlalu  revolusioner  (Mahayana,  2018)  (Kuhn, 1962).  Paradigma  adalah  suatu  pandangan  yang  dapat  dipengaruhi  oleh  latar  belakang ideologi, otoritas dan fanatisme mendasar tentang inti persoalan ilmu pengetahuan.
Siklus perkembangan ilmu pengetahuan menurut Thomas Kuhn atau dikenal dengan sebutan revolusi ilmu pengetahuan ( scientific revolution) meliputi 5 tahap yaitu:
1. Pra-paradigma ( pre-paradigm)
Pada fase pra-paradigma, setiap fenomena alam ditafsirkan melalui kumpulan kepercayaan teoritis dan metodologis yang saling berhubungan. Untuk menjadi fasa paradigma, fase pra-paradigma membutuhkan kumpulan teori yang lebih baik dari sebelumnya. Fase awal paradigma  ditandai  dengan  munculnya  teori-teori,  metode-metode,  fakta-fakta  dan eksperimen-eksperimen  yang  disepakati  bersama  dan  menjadi  pegangan  bagi  aktivitas ilmiah para ilmuwan.
2. Sains normal ( normal science)
Pada  fase  sains  normal,  setiap  penelitian  menjadikan  pencapaian  ilmiah  sebelumnya sebagai landasan dan pondasi. Pada fase ini, selama paradigma masih dianggap mampu menjawab masalah-masalah ilmiah yang terjadi, maka selama itu pula sains normal masih diterima.
3. Anomali ( anomaly)
Menurut  Thomas  Kuhn,  sejarah  membuktikan  bahwa  tidak  ada  suatu  paradigma  yang sempurna yang mampu menjawab semua permasalahan ilmiah. Selalu ada permasalahan yang  tidak  bisa  diselesaikan  oleh  paradigma  tersebut.  Fase  anomali  muncul  ketika paradigma  lama  tidak  mampu  lagi  menjawab  permasalahan-permasalahan  ilmiah  yang muncul.
4. Krisis dan kemunculan teori ilmu pengetahuan ( crisis and emengence of scientific theory)
Fase krisis muncul ketika permasalahan yang tidak bisa diselesaikan oleh paradigma lama atau anomali semakin menumpuk. Pada fase ini, sains normal sudah dengan paradigmanya yang  lama  sudah tidak mampu menyelesaikan  permasalahan-permasalahan  ilmiah  baru yang muncul. Namun Thomas Kuhn menegaskan bahwa teori sains atau paradigma lama ditinggalkan  bukan  karena  kurang  ilmiah  dibandingkan  dengan  paradigma  baru,  tetapi dianggap tidak sesuai lagi untuk menyelesaikan permasalahan ilmiah yang ada.
5. Revolusi  ilmu  pengetahuan  ( scientific  revolution)  atau  sains  normal  baru  (new  normal science)
Fase  revolusi  sains  muncul  setelah  terjadinya  penumpukan  anomali  yang  tidak  mampu dijawab oleh sains normal. Sains revolusioner tersebut akan menjadi sains normal baru.
Proses dari sains normal ke sains normal yang baru, kemudian disusul oleh sains normal yang baru  lagi  dan  seterusnya  merupakan  siklus  proses  perkembangan  sains  yang  tidak  pernah berakhir. Siklus perkembangan ilmu pengetahuan menurut Thomas Kuhn dapat dilihat pada Gambar.

## Gambar 5. Tiga sub-task pada analisis sentimen berbasis aspek dalam contoh kalimat (Mahayana, 2018)

## 2.3. Teori Falsifikasi dan Deduksi Menurut Karl Popper
Karl Popper dalam bukunya yang berjudul Logic of Scientific Discoveries menyatakan bahwa tidak mungkin pernyataan partikular menjadi universal atau dengan kata lain Popper menolak pemikiran  induksi.  Kemudian  Popper  mengembangkan  metode  deduksi  dalam  penemuan saintifik.  Dalam  sains,  pernyataan-pernyataan  sains  sesungguhnya  hanya  merupakan pengajuan hipotesis untuk kemudian diuji kebenarannya dengan beragam teori dan kenyataan empirik  (Mahayana,  2018).  Jika  sebuah  pernyataan  saintifik  bertahan  dari  berbagai  upaya untuk menyalahkannya, maka pernyataan tersebut bisa dianggap mendekati kebenaran atau belum  terbukti  salah.  Pernyataan  tersebut  terkenal  dengan  istilah  deduksi  yang  kemudian berkembang  menjadi  falsifikasi.  Sebuah  teori  semakin  terbuka  terhadap  falsifikasi,  maka semakin ilmiah teori tersebut.
Pengujian  teori  atau  hipotesa  berdasarkan  metode  deduksi  dan  falsifikasi  memiliki  struktur dasar sebagai berikut:
1. P adalah hipotesa yang hendak diuji kebenarannya
2. p1, p2, p3,…, pn adalah implikasi dari P. Bila P benar, maka p1, p2, p3,…, pn juga benar.
3. Jika salah satu dari p1, p2, p3,…, pn salah, maka P menjadi salah.
4. Namun jika p1,p2,p3,…,pn benar, tidak ada bukti bahwa P salah atau dengan kata lain tidak cukup bukti bahwa P benar. Sehingga dapat dikatakan bahwa P cukup baik untuk dijadikan hipotesa sandaran atau teori sementara, sampai ada pi yang yang bernilai salah yang melakukan falsifikasi terhadap P.
Dalam pengujian berdasarkan metode deduksi dan falsifikasi, pernyataan-pernyataan singular tertentu  atau  bisa  disebut  prediksi  dideduksikan  dari  suatu  teori.  Pernyataan  yang dideduksikan tersebut adalah prediksi yang bersifat mudah diuji.

## 3. ANALISIS SENTIMEN BERBASIS ASPEK DITINJAU DARI SUDUT PANDANG FILSAFAT ILMU
3.1.  Perkembangan  Analisis  Sentimen  Berbasis  Aspek  dengan Deep  Learning Ditinjau  Dari  Sudut  Pandang  Revolusi  Ilmu  Pengetahuan  Menurut  Thomas Kuhn
Perkembangan  analisis  sentimen  berbasis  aspek  ( aspect-based  sentiment  analysis)  dengan deep  learning  berdasarkan  teori  revolusi  ilmu  pengetahuan  (scientific  revolution)  Thomas Kuhn, saat ini berada pada fase krisis. Sedangkan pada bagian analisis sentimen secara umum, analisis sentimen berbasis aspek berada pada fase revolusi. Sebelumnya, analisis sentimen secara umum yaitu analisis sentimen pada level dokumen ( document level sentiment analysis) dan level kalimat ( sentence level sentiment analysis) menjadi sains normal. Kemudian terjadi anomali saat di dalam satu kalimat atau dalam satu dokumen terdapat polaritas sentimen yang berbeda, seperti sudah dijelaskan pada Bab 1. Pendahuluan paragraph kedua. Sebagai contoh dalam ulasan restoran berikut ini “ Food is decent but the service is so bad.” berisi sentiment positif untuk aspek “ food ” dan sentiment negatif untuk aspek “ service ” (Wang & Liu, 2015). Analisis  sentimen  level  dokumen  dan  level  kalimat  tidak  mampu  menjawab  permasalahan sentimen  tingkat  aspek.  Mengklasifikasikan  keseluruhan  sentimen  menjadi  negatif  akan mengabaikan  fakta  bahwa “food”  memiliki sentimen  positif  dan  begitu  juga  sebaliknya, mengklasifikan keseluruhan sentimen menjadi positif akan mengabaikan fakta bahwa “ service ” mempunyai sentimen negatif. Sedangkan pada analisis sentiment level dokomen, akan lebih banyak  aspek-aspek  yang  terabaikan  polaritas  sentimennya.  Sehingga  kemudian  muncul analisis sentimen berbasis aspek yang memberikan solusi bagi permasalahan tersebut.
Perkembangan metode deep learning untuk analisis sentimen berbasis aspek saat ini sedang berada pada fase krisis setelah sebelumnya metode non deep learning yang menjadi sains normal. Adapun urutan fase perkembangannya adalah sebagai berikut:

## 1. Fase pra-paradigma
Pada fase ini, belum ada penelitian dan metode yang dikemukakan untuk menyelesaikan permasalahan pada analisis sentimen berbasis aspek. Kebanyakan penelitian masih fokus pada  analisis  sentimen  pada  level  dokumen  dan  kalimat.  Kemudian  pada  awal  fase paradigma, muncul gagasan atau framework untuk melakukan analisis sentimen secara lebih  presisi  terhadap  aspek-aspek  yang  terdapat  dalam  kalimat  opini  yang  kemudian dikenal dengan nama analisis sentimen berbasis aspek.
2. Sains normal
Pada fase ini, analisis sentimen berbasis aspek telah menjadi standar untuk menentukan polaritas  sentimen  secara  lebih  presisi  terhadap  aspek-aspek  yang  dikaji  atau  diulas dengan mayoritas data yang dikaji berupa ulasan produk atau ulasan pelanggan. Berbagai metode dikemukakan oleh beberapa penelitian diantaranya pendekatan berbasis frekuensi ( frequency based), pemanfaatan relasi opini dan target (rule-based linguistic patterns), pemodelan topik ( topic modelling) dan pendekatan supervised learning (Dohaiha, 2019).
Metode berbasis frekuensi dan pemanfaatkan relasi target dan opini biasanya digunakan untuk sub-task ekstraksi target opini (opinion target extraction/OTE) dan deteksi kategori aspek  ( aspect category detection/ACD). Pemodelan topik banyak digunakan untuk  sub- task  deteksi  kategori  aspek  (ACD)  sedangkan  pendekatan  dengan  supervised  learning digunakan di semua sub-task.
Yang mendasari pendekatan berbasis frekuensi adalah bahwa kata aspek biasanya kata- kata yang lebih sering muncul. Pendekatan ini mengekstraksi kata benda ( nouns atau noun phrases yang sering muncul yang biasanya merupakan aspek kemudian mengekstrak kata sifat terdekat sebagai kata opini yang potensial untuk menghasilkan pasangan aspek-opini (Rana dan Cheah, 2016)(Dohaiha, 2019).
Pemanfaatan hubungan opini dan target dilakukan dengan menggunakan pola linguistik berbasis  aturan  ( rule-based  linguistic  patterns),  termasuk  di  dalamnya  stopword    dan negasi menggunakan asumsi salah satunya adalah bahwa lebih mudah untuk mendeteksi kata-kata  sentimen  dari  pada  kata-kata  aspek.  Setelah  kata-kata  sentimen  ditemukan kemudian  menggunakan  hubungan  tata  bahasa  dalam  membangun  struktur  sintaktis kalimat untuk mendeteksi kata-kata aspek (Dohaiha, 2019). Pendekataan lainnya adalah dengan berasumsi bahwa semua kata benda ( nouns dan noun phrases) merupakan kata- kata  aspek  dan  kata  sifat  ( adjective)  sebagai  kata  sentimennya.  Rule  yang  dibuat digunakan  untuk  menentukan  hubungan  antara  aspek  dengan  opini  atau  sentimennya (Rana dan Cheah, 2016).
Contoh  pemodelan  topik  yang  paling  popular  adalah  dengan  teknik Latent  Dirichlet Allocation (LDA). Dasar dari teknik LDA adalah pengenalan variabel laten “topik” antara variabel ”dokumen” dan variabel “kata”, dimana setiap dokumen bisa berisi bebe rapa topik dan setiap topik dibentuk dari beberapa kata yang relevan (Dohaiha, 2019).
Pendekatan dengan supervised learning dilakukan dengan penggunaan classifier seperti Maximum  Entropy  (ME),  Conditional  Random  Field  (CRF)  dan  Support  Vector  Machine (SVM)  yang  menggunakan  fitur  utama  dari  input  untuk  memprediksi  output  (Dohaiha, 2019). Pendekatan dengan Maximum Entropy (ME) salah satunya menggunakan jumlah kemunculan  kata unigram  dan  bigram  dalam  kalimat  sebagai  fitur  [19].    Salah  satu pendekatan dengan Conditional Random Fields (CRF) adalah dengan menganggap bahwa sub-task ekstraksi aspek dan opini adalah task pelabelan dan tagging sequence (Rana dan Cheah,  2016) .  Penggunaan  Support  Vector  Machine  (SVM)  classifier  dalam  analisis sentimen berbasis aspek salah satu pendekatannya untuk mengklasifikasikan aspek dan menentukan skor polaritas sentimennya (Dohaiha, 2019) (Pontiki, dkk, 2016) (Alqaryouti, dkk, 2019).
3. Anomali
Pada fase anomali ini, metode-metode yang telah dipublikasikan oleh beberapa penelitian tidak mampu menyelesaikan beberapa masalah untuk analisis sentimen berbasis aspek. Permasalahan tersebut diantaranya adalah pemakaian kalimat ironi, sarkasme, satire dan
negasi di dalam ulasan atau review yang dikaji serta keberadaan kata-kata di luar kosakata umum ( out of vocabulary). Selain itu juga sifatnya yang spesifik domain (domain-specific) dan  spesifik  bahasa  ( language-specific)  sehingga  metode  tertentu  yang  bekerja  baik terhadap sebuah domain belum tentu bisa bekerja dengan baik pada domain yang lain, demikian juga dengan metode yang mempunyai kinerja baik untuk dataset dengan suatu bahasa tertentu belum tentu berkinerja baik untuk bahasa yang lain.
4. Krisis
Dengan banyaknya permasalahan yang berhubungan dengan analisis sentimen berbasis aspek dan tidak bisa diselesaikan dengan metode-metode yang telah dikemukakan dalam beberapa  penelitian  yang  ada  sebelumnya,  menjadikan penelitian  tentang  analisis sentimen berbasis aspek saat ini berada dalam fase krisis. Menurut Wang dan Liu, 2016, metode deep  learning  telah  menunjukkan  kinerja  yang  sangat  bagus  untuk  analisis sentimen  secara  umum,  tetapi  untuk  analisis  sentimen  berbasis  aspek  belum  banyak digunakan.  Beberapa  penelitian  yang  telah  menggunakan deep  learning  untuk  analisis sentimen berbasis aspek saat ini masih dalam tahap awal dan belum terbangun standar umum metode deep learning untuk analisis sentimen berbasis aspek. Beberapa penelitian meskipun belum mampu mencapai kinerja yang lebih baik dari pendekatan sebelumnya, dalam hal ini pendekatan dengan metode non-deep learning, namun pendekatan dengan metode deep  learning  telah  menunjukkan  kinerja  yang  cukup  menjanjikan  karena keunggulannya dalam efisiensi ekstraksi fitur secara otomatis dan kemampuannya dalam menangkap fitur sintaksis dan semantik teks tanpa persyaratan rekayasa fitur tingkat tinggi ( high-level  feature  engineering)  (Dohaiha,  2019).  Menurut  Wang  dan  Liu,  2016, pendekatan  dengan  metode deep  learning  dipercaya  dapat  bekerja  dengan  baik  untuk analisis  sentimen  berbasis  aspek  jika  pemilihan  model  dan  strategi  pembelajarannya dilakukan  dengan  tepat dan  juga  karena  metode  deep  learning  mempunyai  sifat  non- linearitas yang sangat besar.
Pada fase ini, pendekatan dengan metode deep learning untuk analisis sentimen berbasis aspek yang telah dieksplorasi oleh peneliti meliputi beberapa diantaranya berfokus pada ekstraksi  atau  kategorisasi  aspek  saja,  beberapa  menggabungkan  metode non  deep learning dengan metode deep learning, dan beberapa studi mengkombinasikan dua atau lebih metode deep learning untuk deteksi aspek dan analisis sentimen.
Fernando, dkk, 2019 melakukan modifikasi arsitektur CMLA ( Coupled  Multilayer Attention) dan mekanisme double embedding untuk melakukan ekstraksi aspek dan opini. Modifikasi yang  dilakukan  adalah  dengan  mencoba  berbagai  tipe  model  RNN  untuk  CMLA  dan berbagai tipe word embedding. Untuk mendeteksi multi-aspek dalam satu kalimat, Mulyo dan  Widyantoro,  2018  menggunakan  metode  CNN  yang  telah  dioptimasi  dan menggunakan threshold (CNN-T) untuk memilih data terbaik dalam data training. Ray dan Chakrabarti, 2019 menggabungkan metode deep learning berbasis CNN dengan metode berbasis  rule  ( rule-based)  untuk  ekstraksi  aspek.  Model  CNN  yang  digunakan  untuk melakukan tagging terhadap aspek-aspek dalam kalimat opini adalah CNN dengan 7 layer. Kemudian dikombinasikan dengan sekumpulan pendekatan berbasis rule untuk ekstraksi aspek dan pemberian skor sentimennya.
Yang,dkk, 2019 menggunakan mekanisme coattention untuk representasi pembelajaran target  dan  konteks.  Dalam  analisis  sentimen  berbasis  aspek,  dalam  satu  kalimat  dapat muncul beberapa aspek dan setiap aspek memiliki kata-kata opini yang terkait. Sehingga hubungan  antara  kata  target  dan  konteksnya  perlu  dipahami.  Mekanisme attention digunakan  untuk  mempelajari  fitur  konteks  yang  terkait  dengan  target  untuk  analisis
sentimen.  Coattention  LSTM  diusulkan  untuk  mempelajari  representasi  nonlinier  untuk target  dan  konteks  kemudian  mengekstraksi  fitur  sentiment  dari  konteks  berdasarkan proses pembelajaran coattention. Coattention-MemNet untuk mempelajari fitur-fitur utama dari  target  dan  konteks  secara  bergantian  dengan  mekanisme  iterasi.  Mekanisme coattention  didesain  pada  level  target  dan  level  konteks  untuk  mengurangi noise  word pada aspek/target dan lebih berkonsentrasi pada target kata kunci ( keywords of targets). Coattention-MemNet didesain untuk mengatasi kelemahan drawback dalam deep memory network dalam mengeksplorasi petunjuk konteks utama dengan vektor target rata-rata.
Xu, dkk, 2018 menggabungkan metode deep learning untuk ekstraksi aspek (ACD) dan analisis  sentimen  (SP)  serta  CRF  untuk  ekspresi  target  opini  (OTE).    Dalam  metode tersebut, model CNN digunakan untuk melakukan ekstraksi aspek kemudian pendekatan pelabelan  sequence  dengan  CRF  digunakan  untuk  deteksi  target  opininya.  Kemudian menggabungkan  vector  aspek  dengan  setiap  word  embedding  dan  menggunakan  CNN untuk  menentukan  sentiment  dari  aspek  tersebut.  Hasilnya  model  ini  lebih  baik dibandingkan dengan model LSTM dan RNN tetapi masih dibawah feature+SVM.
Untuk mengurangi kekurangan sumber dataset khusus untuk analisis sentimen pada level aspek, Ruidan, dkk, 2018 menggunakan dua pendekatan untuk transfer knowledge  dari data  set  untuk  level  dokumen  dengan  metode pre-training  dan  multi-task  learning menggunakan attention-based  LSTM.  Pada  jaringan  attention-based  LSTM,  LSTM digunakan untuk mendapatkan informasi sequential dan menghasilkan sebuah sequence dari hidden vector dan attention layer menghitung bobot untuk setiap kata dalam kalimat. Pre-training    dilakukan dengan  melalukan  training  pada  data  level  dokumen.  Hasil  dari vektor hidden layer terakhir digunakan sebagai representasi dokumen. Bobot dari proses pre-training  digunakan  untuk  inisialisasi  parameter  baik  pada  level  aspek  maupun  level dokumen. Multi-task learning dimaksudkan dengan melakukan training data pada level dokumen maupun level aspek secara simultan. Embedding layer dan LSTM layer digunakan bersama oleh dua level tersebut, dan dokumen direpresentasikan sebagai vektor rata-rata dari  hasil  LSTM.  Kombinasi attention-based  LSTM  dengan  pre-training  dan  multi-task learning dapat mengurangi kesalahan sistem dalam menentukan polaritas sentimen pada data beda domain dan kalimat dengan kata-kata negasi serta kalimat dengan sentimen netral.
Wang dan Liu [4] menggabungkan metode deep learning berbasis CNN dengan struktur sintaksis untuk mencocokkan secara langsung aspek dengan sentimen yang berhubungan secara  langsung.  Sistem  yang  digunakan  menggunakan  dua  bagian  utama  yaitu pemodelan  aspek  ( Aspect  Model)  dan  pemodelan  sentimen  (Sentiment  Model).  Pada pemodelan  aspek  mengambil  input  vektor  kalimat  atau  sekumpulan  vektor  kata  ( word vector) dan menghasilkan nilai distribusi probabilitas pada aspek (pasangan entitas dan atribut). Pada pemodelan aspek ini digunakan metode neural network sederhana dua layer, dengan  layer  pertama  berupa fully  connected  dan  layer  kedua  menghasilkan  distribusi softmax layer. Sedangkan pemodelan sentimen terhubungan dengan aspek-aspek target dengan  menggabungkan word  vector  dengan  aspect-specific  re-scaling.    Pemodelan sentimen  menggunakan  CNN  dengan  filter  atau convolution  ke  sebuah  window  5  kata berurutan. Feature map dihasilkan setelah iterasi penuh (mencakup seluruh dokumen). Max-over-time pooling dilakukan melalui feature map dan mengambil nilai maksimumnya. Untuk mengatasi kesulitan dalam memprediksi adanya beberapan sentimen yang berbeda dalam satu kalimat, maka setiap word vector dilakukan skala ulang ( re-scale) berdasarkan keterkaitan  dengan  aspek  yang  diberikan  sebelum  masuk  atau  dikirim  ke  CNN.  Untuk prosesnya,  sebuah  kalimat  dikirim  ke  pemodelan  aspek  dan  hasilnya  adalah  n-aspek
terbaik  (paling  sesuai  dengan threshold  yang  diberikan).  Kemudian  n-aspek  terbaik tersebut disaring menggunakan parser StanfordCoreNLP.

## 3.2. Analisis Sentimen Berbasis Aspek dengan Deep Learning Ditinjau Dari Sudut Pandang Falsifikasi Menurut Karl Popper
Menurut  studi  dari  beberapa  literatur,  metode-metode deep  learning  yang  diajukan  untuk menyelesaikan sub-task sub-task dalam analisis sentimen berbasis aspek bersifat mudah untuk diuji dan difalsifikasi. Setiap metode yang diajukan bisa dibandingkan dengan metode lain dan terbuka  untuk  pengujian  selanjutnya.  Pengukuran  evaluasi  terhadap  metode deep  learning untuk  analisis  sentimen  berbasis  aspek  dengan Precision,  Recall,  F-score,  dan  Accuracy digunakan  untuk  membandingkannya  atau  dengan  kata  lain  digunakan  untuk  melakukan falsifikasi terhadap metode yang digunakan untuk pembanding. Dengan sifatnya yang mudah untuk  diuji  dan  bisa  difalsifikasi  menjadikan  metode deep  learning  untuk  analisis  sentimen berbasis aspek tidak menjadi pseudo-science.

## 4. KESIMPULAN
Penelitian tentang analisis sentimen berbasis aspek dengan deep learning masih dalam tahap awal tetapi telah menunjukkan kinerja yang cukup menjanjikan karena keunggulannya dalam efisiensi ekstraksi fitur secara otomatis dan kemampuannya dalam menangkap fitur sintaksis dan  semantik  teks  tanpa  persyaratan  rekayasa  fitur  tingkat  tinggi  ( high-level  feature engineering).  Ditinjau  dari  sudut  pandang  filsafat  ilmu,  perkembangan  analisis  sentimen berbasis  aspek  ( aspect-based  sentiment  analysis)  dengan  deep  learning  berdasarkan  teori revolusi ilmu pengetahuan ( scientific revolution) Thomas Kuhn, saat ini berada pada fase krisis. Sedangkan dilihat dari sudut pandang metode deduksi dan falsifikasi Karl Popper, metode deep learning untuk analisis sentimen berbasis aspek bersifat mudah untuk diuji dan difalsifikasi.

## DAFTAR RUJUKAN
Bo Pang and Lillian Lee. 2008. Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval 2, 1-2 (2008), 1-135.
DOI=http://dx.doi.org/10.1561/1500000011.
Toqir A. Rana, Yu-N Cheah, Aspect Extraction in sentiment analysis: comparative analysis and survey, Springer Science+Business Media Dordrecht 2016, ArtifIntell Rev (2016) 46:459- 483.
Kumar  Ravi,  Vadlamani  Ravi,  A  survey  on  opinion  mining  and  sentiment  analysis:  Tasks, approaches and applications, Knowledge-Based Systems 89 (2015) 14-46
Bo Wang and Min Liu, Deep Learning for Aspect-Based Sentiment Analysis, Stanford University Report, 2015, [Online]. Available: https://cs224d.stanford.edu. [Accessed: 21-Desember- 2019].
Chao  Yang,  Hefeng  Zhang,  Bin  Jiang,  Keqin  Li,  Aspect-based  sentiment  analysis  with alternating coattention networks, Information Processing and Management 56 (2019) 463- 478.
Hai Ha Dohaiha, PWC Prasad, Angelika Maag, AbeerAlsadoon, Deep Learning for Aspect-Based Sentiment Analysis: A Comparative Review, Expert Systems with Applications 118 (2019) 272-299.
John Pavlopoulos. 2014. Aspect based sentiment analysis. PhD thesis, Dept. of Informatics, Athens University of Economics and Business, Greece.
Maria Pontiki, DimitriosGalanis, HarisPapageorgiou, Suresh Manandhar, Ion Androutsopoulos, SemEval-2005  Task  12:  Aspect  Based  Sentiment  Analysis,  Proceedings  of  the  9th International Workshop on Semantic Evaluation (SemEval 2015), pages 486-495, Denver, Colorado, June 4-5, 2015. @ 2015 Association for Computational Linguistics
Maria Pontiki, DimitriosGalanis, HarisPapageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad AL-Smadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, VéroniqueHoste,  Marianna  Apidianaki,  Xavier  Tannier,  Natalia  Loukachevitch, EvgenyKotelnikov,  Nuria  Bel,  Salud  María  Jiménez- Zafra,  GülşenEryiğit,  SemEval -2016
Task 5: Aspect Based Sentiment Analysis, Proceedings of SemEval-2016, pages 19 – 30, San Diego, California, June 16-17, 2016. @ 2016 Association for Computational Linguistics.
Jason Brownlee, Deep Learning for Natural Language Processing, Machine Learning Mastery,
2017. https://machinelearningmastery.com/deep-learning-for-nlp/
HitkulJangid, Shivangi Singhal, Rajiv Ratn Shah, and Roger Zimmermann. 2018. Aspect-Based Financial Sentiment Analysis using Deep Learning. In WWW ’18 Companion: The 2018 Web Conference  Companion,  April  23 – 27,  2018,  Lyon,  France.  ACM,  New  York,  NY,  USA,  6 pages. https://doi.org/10. 1145/3184558.3191827
Yoon Kim, Convolutional Neural Networks for Sentence Classification, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1746- 1751,  October  25-29,  2014,  Doha,  Qatar.  @  2014  Association  for  Computational Linguistics.
Bing Liu. Sentiment Analysis and Opinion Mining, Morgan & Claypool Publishers, May 2012.
Dimitri Mahayana, Catatan Kuliah: EL 7090 Filsafat Ilmu Pengetahuan, ITB Press, 2018.
T. S. Kuhn, “The Structure of Scientific Revolutions,” Chicago, IL: University of Chicago Press, 1962.
Yoon Kim, Convolutional Neural Networks for Sentence Classification, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1746-
1751,  October  25-29,  2014,  Doha,  Qatar.  @  2014  Association  for  Computational Linguistics.
Xu L., Liu J., Wang L., Yin C. (2018) Aspect Based Sentiment Analysis for Online Reviews. In:
Park  J.,  Loia  V.,  Yi  G.,  Sung  Y.  (eds)  Advances  in  Computer  Science  and  Ubiquitous Computing.  CUTE  2017,  CSA  2017.  Lecture  Notes  in  Electrical  Engineering,  vol  474. Springer, Singapore
Ruidan  He, Wee Sun  Lee, Hwee Tou Ng,  Daniel Dahlmeier, Exploiting Document Knowledge for Aspect-level Sentiment Classification, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics, 2018.
Alqaryouti, O., Siyam, N., Monem, A.A., Shaalan, K., Aspect-Based Sentiment AnalysisUsing Smart  Government  Review  Data,  Applied  Computing  and  Informatics  (2019),  doi: https://doi.org/10.1016/j.aci.2019.11.003
Liu, P. and H. Meng. 2014. “Seemgo: Conditional random fields labeling and maximum entropy classification for aspect based sentiment analysis”. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014). Dublin, Ireland: ACL and Dublin City University, August 2014, pages 527 – 531.
Jordhy  Fernando,  Masayu  Leylia  Khodra,  Ali  Akbar  Septiandri,  Aspect  and  Opinion  Terms Extraction  Using  Double  Embeddings  and  Attention  Mechanism  for  Indonesian  Hotel Reviews, arXiv:1908.04899 [cs.CL], 2019.
Budi  M  Mulyo  &  Dwi  H  Widyantoro,  Aspect-Based  Sentiment  Analysis  Approach  with  CNN, Proceeding of EECSI 2018, Malang - Indonesia, 16-18 Oct 2018.
P. Ray and A. Chakrabarti, A Mixed approach of Deep Learning method and Rule-Based method to improve Aspect Level Sentiment Analysis, Applied Computing and Informatics,  2019, https://doi.org/10.1016/j.aci.2019.02.002