## ANALISIS TREND TOPIK PENELITIAN PADA WEB OF SCIENCE DAN SINTA UNTUK PENENTUAN TEMA TUGAS AKHIR MAHASISWA
Bahruni 1 dan Fathurrahmad 2
1,2) Manajemen Informatika, AMIK Indonesia Jalan T. Nyak Arief No. 400, Jeulingke, Kota Banda Aceh, Aceh, Indonesia. Email: bahruni@amikindonesia.ac.id,  fathurrahmad@amikindonesia.ac.id

## ABSTRACT
This  study  aims  to  conduct  mining  using  web  technology  to  collect  information  data collected from Web of Science and SINTA as many as 20 each collected from 2018 to 2019. The Cross-Industrial  Standard  Process  Methodology  for  data  mining  (CRISP-DM)  is  used  as standard data mining processes and research methods. This research addresses research topics in  the  journal Web of  Science  and  research  which  is  accompanied by  research  trends  and  the most emerging are learning, networking, analysis, systems, control, data, images, optimization, systems,  and  nerves.  The  classification  process  with  Generalized  Linear  Model  and  Decision Tree  models  has  an  accuracy  of  94.3%,  while  Gradient  Boosted  Trees  has  an  accuracy percentage  of  93.8%.  Naive  Bayes  shows  an  accuracy  rate  of  91.4%,  followed  by  Fast  Large Margins,  Deep  Learning,  Random  Forest,  and  Support  Vector  Machine  models  that  have  an accuracy of 91.4%.
Keyword : analysis, trends, research topics, web of science, sinta.

## PENDAHULUAN
Sejumlah  besar  data  saat  ini dikumpulkan dan disimpan oleh organisasi, dengan harapan dapat digunakan  di  masa  depan,  hal  ini menimbulkan tantangan dalam
mengelola banyak data dan mengekstraksi  dari  pengetahuan  yang tepat untuk mendukung keputusan (Amado et  al ,  2018).  Salah  satu  cara untuk  mengolah  data  dengan  beragam jenis  diperlukan  sebuah  teknik  yang dikenal sebagai data mining (Mäntylä et
al .,  2018). Data  mining merupakan proses  penambangan  informasi  agar dapat melakukan klasifikasi dan prediksi dalam  bentuk  analisis  data  yang  dapat digunakan  untuk  mengekstrak  model yang menggambarkan kelas data penting atau  untuk  memprediksi  tren  data  masa depan  (Han,  Pei,  dan  Kamber,  2011). Data mining merupakan bidang penelitian interdisipliner yang mencakup beberapa  disiplin  ilmu  seperti database system,  machine  learning , intelligent information  systems , statistics ,  dan
expert  systems (Deogun et  al .  1997).
Data  mining telah  berkembang  menjadi area  penelitian  yang  penting  dan  aktif, karena  tantangan  teoritis  dan  aplikasi praktis  yang  terkait  dengan  masalah penemuan (atau penggalian) dapat menarik dimana sebelumnya tidak diketahui  pengetahuan  dari  basis  data dengan fakta dunia nyata.
Studi  tentang  topik  penelitian dalam  publikasi  telah  mendapatkan popularitas  di  bidang  ilmu  pengetahuan dan  teknologi  selama  beberapa  dekade karena  tren  baru  dan  topik  muncul dengan cepat dan para peneliti cenderung mengandalkan saluran formal untuk mengkomunikasikan temuan penelitian  (Chang,  Huang,  dan  Lin, 2015).  Evolusi  topik  penelitian  dalam sains  dan  teknologi  adalah  hal  yang menarik bagi pemerintah, industri, pendidikan dan sains.
Beberapa  teknik  penelitian  telah dikembangkan dan digunakan di Indonesia  (Liu  dan  Yang,  2019).  Ada minat  yang  tumbuh  dalam  penelitian untuk mempelajari topik bidang Laboratory  Information  System (LIS), studi  semacam  evolusi  kerangka  kerja disiplin  (Tuomaala et  al .,  2014;  Wilder dan  Walters,  2019),  studi  longitudinal dari  subyek  penelitian  (Chang et  al .,
2015; Onyancha dan Plekhanova, 2018), kategorisasi jurnal (Abrizah et al ., 2015), tren yang muncul (Hou et al ., 2018; Lyu et  al .,  2015),  pola  publikasi  (Blecic et al .,  2017),  dan  penelitian  topik  studi dalam kepustakawanan sekolah (Joo dan Cahill,  2018),  kepustakawanan  medis (Lyu et  al .,  2015),  dan  manajemen pengetahuan (Fteimi dan Lehner, 2016).
Meskipun  para  peneliti  memiliki temuan  yang  baik  di  beberapa  bidang, penelitian  topik  untuk  penentuan  tema tugas  akhir  mahasiswa  masih  belum tersentuh  dengan  investigasi  lebih  lanjut (Bahruni dan Fathurrahmad, 2019). Pada penelitian ini, peneliti melakukan pengelompokan  dengan  kata  kunci  dan analisis  untuk  tahun-tahun  terakhir  yang dipilih  dari  daftar Web  of  Science dan SINTA.
Penulis menyajikan dengan jelas gambaran  penelitian  yang  diilustrasikan dengan  analisis  topik  komparatif  dan studi  longitudinal  pada  kategori  tema tugas  akhir  yang  nantinya  dipilih  artikel jurnal sesuai dengan topik terkait dengan ilmu sistem informasi manajemen (Bahruni  dan  Fathurrahmad,  2019). Melalui analisis tersebut, penulis berharap  dapat  mengukur  tren  topik penelitian  dalam  literatur  saat  ini  dan berharap  untuk  mendapatkan  penelitian
lebih lanjut tentang tren di bidang sistem informasi manajemen.
Penelitian  ini  mencoba  untuk melakukan penambangan dengan menggunakan  teknologi web untuk mengumpulkan  data  informasi  yang berasal  dari Web  of  Science dan  SINTA yang  dikumpulkan.  Dengan  demikian, dengan  mengamati  perkembangan  topik manajemen  sistem  informasi  di  dunia dan  di  Indonesia  menggunakan Data mining dapat  membawa  kontribusi  yang cukup  besar  bagi  lembaga  pendidikan, dalam upaya peningkatan kurikulum dan mata  kuliah  pada  AMIK  Indonesia diharapkan  hasil data  mining dapat menjadikan  referensi  dalam  penentuan tema  tugas  akhir  dan  mata  kuliah  baru sesuai trend teknologi  saat  ini.  Tujuan penelitian ini adalah memberikan sebuah
Penunjang keputusan bagi pengambil  kebijakan  di  program  studi khususnya  pada  AMIK  Indonesia  agar setiap judul tugas akhir mahasiswa yang diajukan sesuai dengan trend topik yang terdapat  pada Web  of  Science dan SINTA.

## METODE

## A. Kerangka Pemrosesan Text mining
Peneliti  mengembangkan  kerangka kerja  khusus  yang  terinspirasi  oleh desain kerangka yang diusulkan oleh (Salloum et  al ,  2017)  dan  (Zhang et al .,  2015).  Tiga  langkah  termasuk dalam text mining : text pre- processing , text  mining  operations , dan post  processing . Text  pre- processing terdiri  dari  proses: data selection , classification , feature extraction dan text  normalization ,
Gambar 1. Kerangka Pemrosesan Text Mining
yaitu  mengubah  dokumen  menjadi bentuk  perantara  untuk  memastikan
kompatibilitas berbagai alat penambangan. Langkah kedua yang
dilakukan  berkaitan  dengan  yaitu,
clustering , association rule detection , visualization ,  dan terms frequency . Langkah ketiga dilakukan apabila adanya perubahan pada data melalui fungsi penambangan  teks  seperti  evaluasi analisis  dan  visualisasi  dari  hasil proses yang ditampilkan.
B. Data Collection dan Pre-processing Artikel-artikel penelitian dikumpulkan  dari  dua  database ilmiah,  yaitu: Web  of  Science dan SINTA. Berdasarkan itu, ada 38.162 publikasi  yang  berhasil  diambil  di Web-Science-defined kategori  Ilmu Komputer dan Sistem Informasi dan 230  diambil  dari website SINTA.
Artikel-artikel  ini  dikategorikan  ke dalam  dua  folder,  setiap  folder mewakili  basis  data  di  mana  artikel diambil.  Penulis  hanya  mengambil 20 Jurnal dengan H-Index Tertinggi di Web  of  Science  Core  Collection sedangkan  pada  SINTA,  penulis juga  mengambil  20  Jurnal  dengan
rangking  SINTA  1  dan  2  seperti terlihat pada Tabel 1.
Pengambilan  jurnal  tersebut diambil  mengingat  bahwa  jurnal dengan  rangking  SINTA  1  dan  2 merupakan  jurnal  nasional  yang telah  terindeks dan bereputasi internasional (Arjuna, 2019).
Ada  dua  jenis  kata  kunci yang  tersedia  di dataset ,  termasuk Author keywords dan Keyword Plus .
Menurut
Clarivate
Pedoman
Analytics  (2018), Keyword  Plus dihasilkan  dari  judul  dari  artikel yang  dikutip  oleh  algoritma Web  of Science , bermaksud untuk menambah  kata  kunci  tradisional. Namun,  kata  kunci  jenis  ini  tidak sesuai  untuk  penelitian  karena istilah yang dihasilkan oleh algoritma juga luas untuk mencerminkan topik tertentu.
Misalnya, keyword  plus berisi  kata kunci  seperti  Informasi,  Model, Sistem, Manajemen, Komputer, dan sebagainya.
Tabel 1. Jurnal Ilmiah Dipilih untuk
Penelitian ini No Nama Jurnal Indexing 1 Bioinformatics Web of Science index 2 IEEE Transactions on Pattern  Analysis  and Web of Science
Machine Intelligence index 3 IEEE Transactions on Automatic Control Web of Science index 4 IEEE Transactions on Information Theory Web of Science index 5 IEEE Transactions on Image Processing Web of Science index 6 IEEE Transactions on Signal Processing Web of Science index 7 IEEE Transactions on Industrial Electronics Web of Science index 8 IEEE Journal on Selected Areas in Communications Web of Science index 9 Journal of Computational Physics Web of Science index 10  IEEE Communications Magazine Web of Science index 11  MIS Quarterly Management Information Systems Web of Science index 12  IEEE Transactions on Medical Imaging Web of Science index 13  Expert  Systems  with Applications Web of Science index 14  IEEE Transactions on Wireless Communications Web of Science index 15  BMC Bioinformatics Web of Science index 16  IEEE Transactions on Neural  Networks  and Learning Systems Web of Science index 17  ACM Transactions Web of
on Graphics Science index 18  Pattern Recognition Web of Science index 19  International  Journal of Computer Vision Web of Science index 20  IEEE Transactions on Fuzzy Systems Web of Science index 21  International  Journal of Electrical and Computer Engineering SINTA (S1) 22  TELKOMNIKA (Telecommunication Computing Electronics and Control) SINTA (S1) 23  Indonesian  Journal of Electrical Engineering and Computer Science SINTA (S1) 24  International  Journal of  Power  Electronics and Drive Systems SINTA (S1) 25  International  Journal on Electrical Engineering and Informatics SINTA (S1) 26  International  Journal on Advanced Science,  Engineering and Information Technology SINTA (S1) 27  Journal of Engineering and Technological Sciences SINTA (S1) 28  Journal of ICT Research and Applications SINTA (S1) 29  Indonesian  Journal of Electrical SINTA (S1)
Engineering and Informatics 30  Jurnal Sistem Informasi  (Journal  of Information System) SINTA (S2) 31  JSINBIS SINTA (S2) 32  Register: Jurnal Ilmiah Teknologi Sistem Informasi SINTA (S2) 33  Jurnal  Teknologi  dan Sistem Komputer SINTA (S2) 34  Jurnal Teknologi Informasi  dan  Ilmu Komputer SINTA (S2) 35  Indonesian  Journal of Science and Technology SINTA (S2) 36  Lontar Komputer: Jurnal Ilmiah Teknologi Informasi SINTA (S2) 37  Khazanah Informatika: Jurnal Ilmu  Komputer  dan Informatika SINTA (S2) 38  Journal  of  Degraded and  Mining  Lands Management SINTA (S2) 39  Indonesian Mining Journal SINTA (S2) 40  Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) SINTA (S2)
Oleh  karena  itu,  peneliti hanya  mengambil  a uthor  keywords yang  diadopsi  dalam  penelitian  ini. Setelah  melakukan  ekstraksi  data, penulis  dapat  mengekstraksi  494 kata  kunci  yang  valid  dari  artikel jurnal Web  of  Science dan  SINTA sebesar 320. Informasi dan
persentase keseluruhan dari penelitian  terpilih  kata  kunci  dari dua tingkatan disajikan pada Gambar 2.
Gambar 2. Grafik dari kata kunci yang diekstraksi valid
Untuk  meningkatkan  kinerja dan kualitas data, semua karakteristik  yang  tidak  relevan diblokir saat data diunggah (Gambar  1).  Kerangka  pemrosesan menggunakan  teknik text  mining sedangkan untuk mengekstrak informasi  menggunakan software RapidMiner. Langkah-langkah yang digunakan untuk pemisahan dokumen  menjadi  token;  tugas  ini disebut tokenization (Verma, 2014).
Langkah selanjutnya berkaitan dengan  proses  transformasi  semua karakter dimana setiap judul dokumen  dibuat  dalam  huruf  kecil. Stop words filtering juga digunakan untuk menfilter bahasa Inggris, satu kata  bahasa  Inggris  diperlukan
untuk  ditandai  oleh  setiap  token.
Langkah  terakhir  berkaitan  dengan fase pemrosesan teks yang melibatkan  memfilter  token  sesuai dengan panjangnya. jumlah minimum  karakter  yang  harus dimiliki  token  adalah  4,  sedangkan jumlah maksimum adalah 25 karakter.
Proses  penerapan  model  dilakukan terhadap  hasil  sebelum  proses  yang merupakan  representasi  data  dalam bentuk model ruang vector . Metode pertama  ialah  penerapan  model Naive  Bayes , Generalized  Linear Model,  Logistic  Regression,  Fast Large  Margin,  Deep  Learning, Decision  Tree,  Random  Forest,
Gradient Boosted Trees, dan
Support Vector Machine .
C. Alat Penelitian
Alat yang digunakan dalam penelitian  ini  adalah  seperangkat komputer dengan spesifikasi
standard . Kemudian perangkat lunak yang digunakan antara lain:
1. SQL, database dan  aplikasi pemodelan Data mining .
2. Ms. Office Excel 2016,
3. Rapidminer 9.2.
4. Sistem  Operasi  Windows
8.1.

## HASIL DAN PEMBAHASAN

## Peneliti  menggunakan  algoritma
Naive Bayes , Generalized Linear Model, Logistic Regression, Fast Large Margin, Deep  Learning,  Decision  Tree,  Random Forest,  Gradient  Boosted  Trees, dan Support Vector Machine yang digunakan akan  membuktikan  tingkat  klasifikasi tren topik penelitian yang lebih baik.
A. Performance
Dari  hasil cross  validation maka didapatkan hasil akurasi dan klasifikasi error dari  penggunaan model Naive  Bayes , Generalized Linear  Model,  Logistic  Regression, Fast Large Margin, Deep Learning, Decision  Tree,  Random  Forest, Gradient Boosted Trees, dan Support  Vector  Machine sebagai berikut:
B. Akurasi
Hasil  akurasi  dengan  menggunakan model Naive  Bayes , Generalized Linear  Model,  Logistic  Regression, Fast Large Margin, Deep Learning, Decision  Tree,  Random  Forest, Gradient Boosted Trees, dan Support  Vector  Machine seperti ditunjukkan pada Gambar 3.

## Gambar 3. Hasil Akurasi Model
Pada  evaluasi  akurasi,  dapat diketahui  keakuratan  pada  setiap  model dan mengetahui nilai akurasi yang paling tinggi  dengan  membandingkan  akurasi pada  model.  Berdasarkan  hasil  akurasi, model Generalized  Linear  Model dan Decision  Tree memiliki  akurasi  sebesar 94.3%,  sedangkan Gradient  Boosted
Trees memiliki    persentase  akurasi
sebesar 93.8%. Naive Bayes
menunjukkan  tingkat  akurasi  sebesar 91.4%, diikuti dengan model Fast Large Margin, Deep Learning , Random Forest , dan Support  Vector  Machine memiliki
akurasi  sebesar  91.4%.  Nilai  dengan akurasi  terendah  menggunakan  model Logistic  Regression sebesar  65.2%.  Hal ini  menunjukan  bahwa  tingkat  akurasi tertinggi  yaitu  dengan  menggunakan model Generalized  Linear  Model dan Decision  Tree sehingga  hasilnya  dapat memprediksi cukup akurat.
Gambar 4. Hasil ROC Comparison
Untuk tingkat classification error pada  model Naive  Bayes , Generalized Linear  Model,  Logistic  Regression,  Fast Large Margin, Deep Learning, Decision Tree,  Random  Forest,  Gradient  Boosted Trees, dan Support  Vector  Machine seperti ditunjukkan pada Gambar 5.
Gambar 5. Hasil Classification Error
Dari  Gambar  5  dapat  diketahui bahwa tingkat classification error tertinggi pada model Logistic Regression dengan persentase sebesar 34.8%, selanjutnya  pada  model Naive  Bayes , Fast  Large  Margin , Random  Forest , Support  Vector  Machine ,  dan Deep Learning memiliki classification  error
sebesar  8.6%. Gradient  Boosted  Trees classification error sebesar 6.2%.
Classification  error terendah  sebesar 5.7%  pada Generalized  Linear  Model dan Decision Tree .
Gambar 6. Hasil AUC
Dari  Gambar  6  dapat  dijelaskan  bahwa berdasarkan  hasil  AUC  dengan  nilai terendah  pada  model  Naive  Bayes sedangkan Support  Vector  Machine dengan nilai 0,300.
Gambar 7. Hasil Precision
Gambar  7  menunjukkan  hasil precision rata-rata  memiliki  tinggi,  dimana  model Deep  Learning dan Gradient  Boosted
Trees dengan persentase 100%,
Generalized  Linear  Model dan Decision Tree dengan persentase 94.3%,
sedangkan Support  Vector  Machine dengan persentase 91.4%.
Gambar 8. Hasil Recall
Hasil  dari recall menunjukkan  bahwa model Naive  Bayes , Generalized  Linear Model , Fast  Large  Margin , Decision Tree , Random  Forest ,  dan Support Vector  Machine memiliki  persentase sebesar  100%, Gradient  Boosted  Trees
93.3%, Deep Learning sebesar 90%, dan Logistic  Regression 68.1%.  Hasil  lain seperti  F Measure dan Sensitivity dapat dilihat pada Gambar 9 dan 10.
Gambar 9. F Measure
Gambar 10. Sensitivity

## C. Pembahasan
Dengan menganalisis author keywords dalam  jurnal Web  of
Science dan  SINTA  seperti  terlihat pada  tabel  1,  penulis  menemukan bahwa  jumlah  total  sepuluh  kata kunci  teratas  dalam  artikel  2  (dua) jurnal range mewakili  hampir  70% dan  30%  dari  total  jumlah  kata kunci  dalam  kategori  ini.  Beberapa istilah yang paling sering digunakan bahkan  diindeks  lebih  dari  60  kali, termasuk learning 92  kali, network 60 kali, analysis 58 kali, dan system 54 kali seperti terlihat pada Gambar 11.
Gambar 11. Top Author keywords
Gambar 12 menunjukkan sepuluh kata  kunci  teratas  dalam  satu  tahun terakhir atau volume penerbitan terakhir pada jurnal.
Gambar 12. Top 10 Author keywords
Temuan ini mengemukakan beberapa  studi  terbaru,  Liu  dan  Yang (2019)  menemukan  bahwa  data  adalah salah satu kata kunci yang paling sering dan  banyak  digunakan.    Kata  kunci analysis dan system juga  mirip  dengan temuan  oleh  Chang  et  al.  (2015)  dan Tuomaala  et  al.  (2014).  Penelitian  ini mengungkapkan  beberapa  istilah  baru yang  sedang  diidentifikasi  pertama  kali sebagai  kata  kunci  teratas,  termasuk learning , network , analysis , system , control , data , image , optimization ,
systems , dan neural .
Beberapa  penelitian  sebelumnya kata author keywords dapat lebih rendah digunakan karena kutipan serta referensi (Chang et al ., 2015; Jabeen et al ., 2015;
Onyancha  dan  Plekhanova,  2018). Temuan  baru  membenarkan  bahwa ketika metodologi yang berbeda digunakan,  terutama  pemilihan  jurnal, hasilnya  bisa  berbeda  dan  akibatnya lebih  berlaku  untuk  kelompok  disiplin ilmu  tertentu.  Ini  juga  karena  periode waktu  yang  dipilih  untuk  studi  adalah yang terbaru dibandingkan dengan studi sebelumnya.  Oleh  karena  itu,  para peneliti di bidang lain dapat memahami tren  topik  terbaru  dengan  memilih penelitian  popular  (Liu  dan  Yang, 2019).
Untuk
author
keywords
selanjutnya,  penulis  menemukan  bahwa di  kata  kunci cluster  based , deep leaning , model , multi , information , networks , detection , algorithm , fuzzy , dan management juga banyak digunakan.
Gambar 11. Top 11-20 Author keywords
Melihat author  keywords berdasarkan artikel  jurnal  yang  dipilih Web  of
Science dan  SINTA  maka  kata  kunci yang  paling  banyak  digunakan  adalah learning , network , analysis seperti ditunjukkan pada Gambar 12.
Gambar 12. Top Author keywords

## UCAPAN TERIMA KASIH
Ucapan  terima  kasih  sebesar- besarnya  kepada  Ditjen  Penguatan  Riset dan  Pengembangan  Kementerian  Riset, Teknologi, dan Pendidikan Tinggi selaku penyandang  dana  penelitian  pada  skema Penelitian  Dosen  Pemula  (PDP)  Tahun Anggaran  2019.  Tak  luput  pula,  ucapan kepada  LPPM  AMIK  Indonesia  yang telah memberikan dukungan dan bimbingan dalam penelitian ini.

## DAFTAR PUSTAKA
Abrizah,  A.,  Noorhidawati,  A.  and Zainab,  A.N.,  2015.  LIS  journals categorization in the Journal
Citation Report: a stated
preference  study.  Scientometrics, 102(2), pp.1083-1099.
Amado,  A.,  Cortez,  P.,  Rita,  P.  dan Moro,  S.,  2018. Research  Trends on  Big  Data  in  Marketing:  A  text mining and Topic Modeling Based Literature Analysis. European Research  on  Management  and Business  Economics , 24(1),  pp.1- 7. Arjuna. 2019. Panduan Akreditasi Jurnal Nasional (ARJUNA). URL: http://arjuna.ristekdikti.go.id/. Diakses  tanggal  20  Agustus  2019
(15:19).
Bahruni, B. dan Fathurrahmad, F., 2019. Analisis Trend Topik Pengembangan Rekayasa Perangkat Lunak dalam mendukung  Strategi  Kurikulum Perguruan  Tinggi. Jurnal  JTIK (Jurnal  Teknologi  Informasi  dan Komunikasi), 3(2), pp.70-74.
Blecic, D.D., Wiberley, S.E., De Groote,
S.L.,  Cullars,  J.,  Shultz,  M.  and
Chan, V., 2017. Publication patterns of US academic librarians and libraries from 2003 to 2012.
Chang, Y., Huang, M., dan Lin, C. 2015. Evolution  of  Research  Subjects  in Library  and  Information  Science Based on Keyword, Bibliographical Coupling, and Co- citation  Analyses. Scientometrics, 105(3), 2071–2087.
Chen,  F.,  Deng,  P.,  Wan,  J.,  Zhang,  D., Vasilakos,  A.V.  dan  Rong,  X., 2015.  Data  mining  for  the  internet of  things:  literature  review  and challenges. International  Journal of  Distributed  Sensor  Networks, 11(8), p.431047.
Clarivate  Pedoman  Analytics.  2018.
Web  of  Science  Core  Collection: Introduction. URL: http://clarivate.libguides.com/wosc c/basics.  Diakses  tanggal  20  Juli
2018 (20:10).
Deogun,  J.S.,  Raghavan,  V.V.,  Sarkar, A.  dan  Sever,  H.,  1997. Data mining:  Trends  in  research  and development.  In  Rough  Sets  and Data  mining (pp.  9-45).  Springer, Boston, MA.
Fteimi,  N.  and  Lehner,  F.,  2016.  Main research  topics  in  knowledge management: A content analysis of ECKM  publications.  Electronic Journal of Knowledge Management, 14(1). Han,  J.,  Pei,  J.  and  Kamber,  M.,  2011. Data Mining: Concepts and Techniques . Elsevier.
Hou,  J.,  Yang,  X.  and  Chen,  C.,  2018. Emerging trends and new developments in information science:  A  document  co-citation analysis (2009–2016). Scientometrics,  115(2),  pp.869- 892. Jabeen,  M.,  Yun,  L.,  Rafiq,  M.  and Jabeen, M., 2015. Research productivity  of  library  scholars. New Library World.
Joo,  S.  and  Cahill,  M.,  2018.  Exploring Research  Topics  in  the  Field  of School Librarianship based on Text mining . School Libraries
Worldwide, 24(1).
Liu,  B.,  2007. Web  Data  mining:
exploring hyperlinks, contents, and usage  data .  Springer  Science  & Business Media.
Liu,  G.  dan  Yang,  L.,  2019.  Popular Research  Topics  in  the  Recent Journal Publications of Library and Information  Science. The  Journal of  Academic  Librarianship ,  45(3), pp.278-287.
Lyu,  P.H.,  Yao,  Q.,  Mao,  J.  and  Zhang, S.J.,  2015.  Emerging  medical informatics research trends detection  based  on  MeSH  terms. Informatics  for  Health  and  Social
Care, 40(3), pp.210-228.
Mäntylä,  M.  V.,  Graziotin,  D.,  dan Kuutila, M. 2018. The evolution of sentiment  analysis—A  review  of research  topics,  venues,  and  top cited  papers .  Computer  Science Review, 27, 16–32. doi:
10.1016/j.cosrev.2017.10.002.
Onyancha,  J.  and  Plekhanova,  V.,  2018.
‘Noise  Reduction in  Web  Data:  A Learning  Approach  Based  on Dynamic User Interests'. International Journal of Information and Education Technology, 12(1), pp.7-14. Salloum,  S.  A.,  Al-Emran,  M.,  Monem, A.  A.,  dan  Shaalan,  K.  (2017). Using  Text  mining  Techniques  for Extracting Information
from
Research  Articles. Studies  in Computational  Intelligence,  373–
397. doi:10.1007/978-3-319- 67056-0_18
Tuomaala, O., Järvelin, K., dan Vakkari, P.  2014. Evolution  of  library  and information  science ,  1965–2005:
Content analysis of journal articles.
Verma, T., 2014. Renu and Deepti Gaur, Tokenization and Filtering Process
in RapidMiner.
International Journal  of  Applied  Information
System (IJAIS).
Wilder,  E.I.  and  Walters,  W.H.,  2019. Quantifying Scholarly Output: Contribution Studies and Productivity  Studies  in  Sociology since 1970. The American
Sociologist, 50(3), pp.430-436.
Zhang,  Y.,  Chen,  M.  dan  Liu,  L.,  2015, September. A  review  on  text mining. In 2015 6th IEEE International Conference on Software  Engineering  and  Service Science  (ICSESS) (pp.  681-685).
IEEE.