Klasifikasi Data Penderita Skizofrenia Menggunakan CNN-LSTM dan CNN-GRU pada Data Sinyal EEG 2D
Firmansyah 1* , Dian Palupi Rini 2 , Sukemi 3
1*,2,3 Magister Ilmu Komputer, Fakultas Ilmu Komputer, Universitas Sriwijaya, Kota Palembang, Provinsi Sumatera Selatan, Indonesia .

## a r t i c l e  i n f o
Article history: Received 28 March 2023 Received in revised form 6 August 2023 Accepted 28 August 2023 Available online October 2023 DOI: https://doi.org/10.35870/jti k.v7i4.1072
Keywords: Schizophrenia;
Elektroensefalografi; Deep Learning; Convolutional Neural Network; Gated Recurrent Unit; Long Short- Term Memory.
Kata Kunci: Skizofrenia; Elektroensefalografi; Deep Learning; Convolutional Neural Network; Gated Recurrent Unit; Long Short- Term Memory.

## a b s t r a c t
Schizophrenia (SZ) is a brain disease with a chronic condition that affects the ability to think.  Common  symptoms  that  are  often  seen  in  SZ  patients  are  hallucinations, delusions, abnormal behavior, speech disorders, and mood disorders. SZ patients can be  diagnosed  using  electroencephalographic  (EEG)  signals.  This  study  conducted  a comparative analysis of the best method in EEG classification using the Deep Learning (DL)  method.  The  author  uses  the  2D  Convolutional  Neural  Network  (2D-CNN) method  with  different  layers.  The  first  2D-CNN  uses  a  layer  of  Long  Short  Term memory(LSTM) and Gate Recurrent Unit(GRU). The dataset used consists of two types of  EEG  signals  obtained  from  39  healthy  individuals  and  45  schizophrenic  patients during a resting state. Test results for the accuracy of the F1-score from 5 times testing the CNN method using the LSTM layer has the best accuracy value of 94.12% and 5 times  testing  the  CNN  method  using  the  GRU  layer  has  the  best  accuracy  value  of 94.12%.

## a b s t r a k
Skizofrenia  (SZ)  adalah  penyakit  otak  dengan  kondisi  kronis  yang  memengaruhi kemampuan berpikir. Gejala umum yang sering terlihat pada pasien SZ adalah halusinasi, delusi,  perilaku  abnormal,  gangguan  bicara,  dan  gangguan  mood.  Pasien  SZ  dapat didiagnosis menggunakan sinyal elektroensefalografi (EEG). Penelitian ini melakukan Analisis  perbandingan  metode  terbaik  dalam  klasifikasi  EEG  menggunakan  metode Deep  Learning  (DL).  Penulis  menggunakan  metode  2D  Convolutional  Neural Network(2D-CNN) dengan layer berbeda. 2D-CNN Pertama menggunakan layer Long Short Term memory(LSTM) dan Gate Recurrent Unit(GRU). Dataset yang digunakan terdiri dari dua jenis sinyal EEG yang diperoleh  dari 39 individu sehat dan 45 pasien skizofrenia  selama  keadaan  istirahat.  Hasil  Pengujian  akurasi  F1-score  dari  5  kali pengujian metode CNN yang menggunakan layer LSTM memiliki nilai akurasi terbaik sebesar  94,12%  dan  5  kali  pengujian  metode  CNN  yang  menggunakan  layer  GRU memiliki nilai akurasi terbaik sebesar 94,12%.
*Corresponding Author. Email: firman.251122@gmail.com 1* .
© E-ISSN: 2580-1643.
Copyright @ 2023. Published by Lembaga Otonom Lembaga Informasi dan Riset Indonesia (KITA INFO dan RISET) ( http://creativecommons.org/licenses/by/4.0/ ).

## Jurnal JTIK (Jurnal Teknologi Informasi dan Komunikasi)
journal homepage: http://journal.lembagakita.org/index.php/jtik

## 1. Latar Belakang
Skizofrenia (SZ) adalah penyakit otak dimana kondisi kronis  yang  mempengaruhi  kemampuan  berpikir. Gejala  umum  SZ  yaitu  halusinasi,  delusi,  perilaku abnormal,  gangguan  bicara,  dan  gangguan  suasana hati [1]. Gangguan ini biasanya dimulai antara 18 dan 25  tahun  pada  pria  dan  antara  25  dan  35  tahun perempuan. Tanpa pengobatan, penderita skizofrenia  dapat  mengembangkan  gangguan kesehatan  mental  lainnya  dan  signifikan  masalah Kesehatan[2].  Pasien  skizofrenia  yang  tidak mendapatkan  pengobatan  yang  tepat  lebih  rentan mengalami stigmatisasi, diskriminasi, dan pelanggaran  hak  asasinya,  harapan  hidup  penderita ini adalah antara 10 hingga 15 tahun dan risiko bunuh diri  adalah  10%  [2].  Untuk  diagnosis  gangguan mental  seperti  SZ,  Elektroensefalografi  (EEG) adalah alat yang ampuh karena dapat menginterpretasikan  keadaan  otak  dengan  baik  dan banyak  digunakan  dalam  aplikasi  klinis  [3].  EEG menjadi  modalitas  penting  dalam  mempelajari  dan mendiagnosis  berbagai  gangguan  otak  [4].  Karena EEG  bersifat  non-invasif,  aman,  murah,  dan menunjukkan  konten  temporal  yang  kaya  [5]. Rekaman EEG berisi informasi yang diperoleh dari sinyal  listrik  yang  dideteksi  dengan  menggunakan elektroda yang ditempatkan di berbagai area di kepala pasien.  EEG  dapat  membantu  para  ahli mengevaluasi informasi yang sulit dianalisis di mana sinyal  mentah  tidak  secara  langsung  menunjukkan anomali terkait penyakit [6].
Pada  penelitian[2],  menerapkan  Koefisien  Korelasi Pearson (PCC) untuk mendapatkan matriks korelasi sebagai  masukan  ke  CNN  mencapai  hasil  akurasi, spesifisitas,  dan  sensitivitas  masing-masing  90%, 90%,  90%.  Dalam  penelitian  Fadel et  al (2020) menggunakan  dataset  sinyal  EEG  citra  motor ditransformasikan  menjadi  gambar  dua  dimensi. Selanjutnya  menggunakan  Leave-One-Out-Cross- Validation  (LOOCV)  untuk  mengevaluasi  kinerja model  [7].  Setelah  itu,  Klasifikasi  CNN  dan  LSTM menghasilkan rata-rata akurasi pengujian 70,64% dan 68,13%.  Penelitian  Naira  &  Del  Alamo  (2019) menggunakan tiga dataset berbeda yaitu UCI-HAR, WISDM,  dan  PAMAP2  dengan  pelatihan  dataset UCI-HAR  21  peserta  dengan  7352  sample  dan pengujian  9  peserta,  dataset  WISDM  diambil  29
peserta  dataset  pelatihan  dan  7  peserta  dataset pengujian, terakhir dataset PAMAP2 diambil dari 52 fitur. Hasil klasifikasi CNN dan GRU menghasilkan akurasi masing-masing 96,20%, 97,21%, dan 95,27% [8].  Penelitian  sebelumnya  telah  membuktikan kemampuan untuk data eeg dengan berbagai model. tujuan  penelitian  ini  adalah  membandingkan  CNN, LSTM, dan GRU untuk memudahkan para ahli dalam membedakan  pasien  SZ  dan  kontrol  sehat  serta gambar penyakit SZ ditafsirkan dengan jelas.

## 2. Metode Penelitian
Bahasan  dari  penelitian  mengenai  perbandingan metode  CNN,  LSTM  dengan  GRU  dalam mendiagnosa penderita Skizofrenia. Adapun tahapan metodologi dalam penelitian kali ini terbagi menjadi tiga  tahapan:  1)  Melakukan  preprocessing  pada dataset, 2) Membandingkan metode CNN, LSTM dan GRU,  dan  3)  Menganalisis  hasil  yang  sudah didapatkan  dari  ketiga  metode  tersebut.  Dari  ketiga tahapan tersebut maka akan didapatkan hasil berupa akurasi,  recall,  precission  dan  time,  yang  mana  dari hasil perbandingan tersebut penulis akan mengetahui metode  yang  paling  baik  antara  CNN,  LSTM  dan GRU untuk diagnosis pasien skizofrenia.

## Gambar 1. Diagram Kerangka Penelitian

## Penelusuran Pustaka
Pada tahapan ini dilakukan proses pembelajaran dari beberapa Pustaka dan literature yang relevan dengan
penelitian  sebagai  acuan,  antara  lain  jurnal Classification of People who Suffer Schizophrenia and Healthy People  by  EEG  Signals  using  DeepLearning,  Deep Convolutional  Neural  Network  Model  for  Automated Diagnosis  of  Schizophrenia  Using  EEG  Signals,  dan Automatic  Diagnosis  of  Schizophrenia  in  EEG  Signals Using CNN-LSTM Models.

## Persiapan Data
Dataset yang digunakan diperoleh dan disiapkan oleh Prof. N.N. Gorbachevskaya (Peneliti Terkemuka di Pusat  Penelitian  Kesehatan  Mental)  dan  Dr.  S.V. Borisov  (Peneliti  Senior  Fakultas  Biologi  M.V. Lomonosov  Moscow  State  University)  di Laboratorium  Neurofisiologi  dan  Antarmuka Komputer  Neuro  di  M.V.  Universitas  Negeri Moskow  Lomonosov  tersedia  akses  terbuka[8]. Dataset  terdiri  dari  dua  jenis  sinyal  EEG  yang diperoleh masing-masing dari 39 anak laki-laki sehat (11-13  tahun)  dan  45  anak  laki-laki  (10-14  tahun) yang didiagnosis skizofrenia menggunakan wawancara klinis di Pusat Penelitian untuk gangguan Psikologis  dari  Akademi  Ilmu  Kedokteran  Rusia. Selama  perekaman,  pasien  dalam  keadaan  istirahat dengan  mata  tertutup  selama  60  detik  [9].  Setiap sinyal  EEG  dari  dataset  ini  terdiri  dari  16  saluran, yaitu, F7, F3, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1 dan O2yang dirujuk ke elektroda telinga berpasangan)  direkam  dengan  pengambilan  sampel frekuensi 128 Hz selama 1 menit. Semua pasien SZ (termasuk  SZ  masa  kanak-kanak,  gangguan skizotipikal  dan  skizoafektif)  didiagnosis  di  Pusat Penelitian  Kesehatan  Mental  (MHRC),  menurut kriteria  diagnostik  SZ  F20,  F21,  F25  dari  ICD-10 Klasifikasi  Gangguan  Mental  dan  Perilaku,  yang ditetapkan oleh International Statistical Classification of  Diseases  and  Related  Health  Problems.  Pasien tidak  menjalani  kemoterapi  apapun  selama pemeriksaan di MHRC [10].
Gambar 2. Sinyal EEG pasien SZ (kiri) dan sehat (kanan)

## Preprocessing
Gambar 3. Preprocessing Data
Pada  tahapan  ini,  setiap  sinyal  EEG  dataset  dibagi menjadi 16 saluran F7, F3, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1 dan O2. Sinyal EEG direkam dari  kulit  kepala  peserta  berdurasi  1  menit,  masing- masing berisi voltase 7680 EEG dengan urutan mV, dan  diambil  frekuensi  sampel  pada  128Hz.  Setiap saluran  dibagi  menjadi  segmen-segmen  dengan Panjang  5  detik,  dengan  menggabungkan  segmen yang  sesuai  diperoleh  vektor  satu  dimensi,  masing- masing Panjangnya 10240. Selanjutnya panjang vektor dihitung  sebagai  (5s  x  128  frekuensi  sampel  x  16 saluran).  Vektor  yang  diperoleh  ditransformasikan menjadi  citra  scalogram  (224x224)  menggunakan metode Continuous Wavelet Transform (CWT) dan morlet  mavelet.  Selanjutnya  diperoleh  gambar  1008 citra scalogram.

## Convolutional Neural Network (CNN)
CNN adalah sejenis jaringan saraf umpan maju, yang sangat  cocok  untuk  ekstraksi  fitur  dua  dimensi  dan dekat dengan jaringan saraf biologis nyata [11]. setiap lapisan  model  CNN  terdiri  dari  lapisan  konvolusi dengan filter dan kernel untuk membuat vektor fitur, lapisan  penyatuan  untuk  mengurangi  dimensi, dropout  dan  lapisan  generalisasi  untuk  mengurangi over-fitting  dan  meningkatkan  kinerja[12].  CNN dapat secara otomatis menemukan dan mengekstrak struktur  internal  deret  waktu  input  untuk menghasilkan fitur mendalam untuk klasifikasi[13].
Gambar 4. Contoh pipiple pemrosessan EEG berbasis CNN satu dimensi
Gambar 5. Flowchart Model Arsitektur CNN yang diusulkan
Gambar 6. Model Arsitektur 2D CNN yang diusulkan
Convolutional  Neural  Network-Long  Short-Term  Memory (CNN-LSTM)
CNN-LSTM  digunakan  pada  tugas-tugas  varian seperti menemukan hubungan spatiotemporal dalam teks  input  untuk  klasifikasi  teks  atau  diagnosis gangguan  depresi  pada  sinyal  EGG.  CNN-LSTM dihasilkan  dari  serangkaian  lapisan  konvolusional yang diikuti oleh beberapa lapisan LSTM. Pertama, ini mengekstrak  fitur  kaya  menggunakan  lapisan konvolusional dari data masukan. Kemudian berikan fitur  ini  ke  lapisan  LSTM  yang  bertanggung  jawab untuk  mengekstraksi  informasi  temporal.  Terakhir, klasifikasi dilakukan dengan menerapkan lapisan yang terhubung  penuh  ke  informasi  temporal  yang diperoleh  lapisan  LSTM[14].  CNN  memiliki karakteristik memperhatikan fitur yang paling jelas di garis  pandang,  sehingga  banyak  digunakan  dalam rekayasa  fitur.  LSTM  memiliki  sifat  mengembang mengikuti urutan waktu, dan banyak digunakan dalam deret waktu. dan struktur utamanya adalah CNN dan LSTM,  termasuk  lapisan input,  lapisan  konvosi  satu dimensi,  lapisan  penyatuan,  lapisan  tersembunyi LSTM, dan lapisan koneksi penuh[15].
Gambar 7. Contoh diagram struktur CNN-LSTM [15]

## Gambar 8. Flowchart Model CNN-LSTM
Gambar 9. Model Arsitektur 2D CNN-LSTM yang

## diusulkan
Convolutional  Neural  Network-Gate  Recurrent  Unit (CNN-GRU)
Karena  di  layer  CNN  yang  terhubung  penuh,  unit saraf tidak terhubung satu sama lain. Jaringan GRU menggantikan  lapisan  CNN  yang  terhubung sepenuhnya  untuk  mengubah  tugas  klasifikasi menjadi tugas berurutan, di mana hasil klasifikasi dari setiap  peta  fitur  ditambahkan  ke  perhitungan klasifikasi  peta  fitur  berikutnya  di  lapisan tersembunyi yang sama untuk meningkatkan kinerja pengenalan  CNN.  Arsitektur  CNN-GRU  pada penelitian  [16]  ditunjukkan  pada  Gambar  10. Selanjutnya, metode dropout yang secara acak dapat menghapus  beberapa  unit  neural  pada  lapisan tersembunyi digunakan untuk menghindari
kemungkinan masalah over-fitting pada model CNN-
GRU.
Gambar 10. Contoh Struktur model hybrid CNN- GRU
Gambar 11. Flowchart CNN – GRU
Gambar 12. Model Arsitektur 2D CNN-GRU yang diusulkan.

## 3. Hasil dan Pembahasan
Pada  pengujian  terdapat  parameter  yang  digunakan dalam menguji model CNN-LSTM dan CNN-GRU. Training data menggunakan ukuran batch berjumlah 8  dan  setiap  jaringan  dilatih  dengan  60  epoch,  100 epoch,  200  epoch,  500  epoch.  Learning  rate ditetapkan  10-4.  Sparse  Categorical  Crossentropy dipilih sebagai fungsi loss dan optimasi adam dipilih karena  hasil  yang  baik  dan  waktu  proses  lebih pendek.  Pelatihan  dilakukan  pada  80%  data digunakan  sebagai  data  pelatihan,  sedangkan  20% data digunakan sebagai data testing.
Tabel 1. Hasil Pengujian Model CNN-LSTM dan
CNN-GRU Metode Parameter  Classification Report
E poch L ea rning R at e A kuras i Pres is i R ec all F1 -Sc ore CNN 60 10 -4 0,97  - - - CNN_LSTM  200  10 -4 0,94  0,95  0,94  0,94
CNN-GRU 100  10 -5 0,94  0,95  0,94  0,94
Gambar 13. Plot Akurasi CNN
Gambar 14. Plot Loss CNN
Gambar 15. Plot Akurasi CNN-LSTM
Gambar 16. Plot Loss CNN-LSTM
Gambar 17. Confusion Matrix CNN-LSTM
Gambar 18. Plot Akurasi CNN-GRU
Gambar 19. Plot Loss CNN-GRU

## Gambar 20. Confusion Matrix CNN-GRU
Analisis  Hasil  Validasi  CNN,  CNN-LSTM,  CNN- GRU
Validasi  pengujian  terhadap  metode  CNN-LSTM- GRU dilakukan pengujian sebanyak 5 kali. Hasil Rata- Rata  Akurasi  metode  CNN  mencapai  hasil  terbaik sebesar 97%. Sedangkan hasil rata-rata akurasi metode CNN-LSTM mencapai hasil terbaik sebesar 94,12%. Terakhir,  hasil  rata-rata  akurasi  metode  CNN-GRU mencapai  hasil  terbaik  sebesar  94,12%.  Hasil  dari metode CNN, LSTM, dan GRU menunjukkan bahwa metode  CNN  lebih  baik  dari  metode  CNN-LSTM dan  CNN-GRU.  Sedangkan  metode  CNN-LSTM menunjukkan  hasil  lebih  baik  dari  metode  CNN- GRU.
Hasil klasifikasi model CNN-LSTM dan CNN-GRU terdapat  hasil  yang  overfitting  seperti  pada  gambar 4.16 dan 4.19 bahwa grafik yang dihasilkan memiliki rentang yang jauh antara grafik training dan validasi. Kemudian terdapat hasil grafik yang tidak overfitting seperti pada gambar 4.1 dan 4.2 dengan menunjukkan grafik  training  dan  validasi  tidak  memiliki  rentang yang  jauh  atau  sejajar.  Pada  penelitian  ini  setiap pengujian dilakukan dengan variasi yang berbeda yaitu dengan epoch atau learning rate yang berbeda, maka akan mempengaruhi hasil akurasi, presisi, recall, dan F1-score.

## 4. Kesimpulan
Pada  penelitian  ini,  kesimpulan  dari  percobaan klasifikasi
penderita
Skizofrenia dengan menggunakan  sinyal  EEG  subjek  berbasis  CNN dengan  arsitektur  CNN-LSTM  dan  CNN-GRU antara lain sebagai berikut:
1) Klasifikasi  yang  telah  dilakukan  dengan  model CNN yang memiliki fitur spektral, segmen EEG temporal  dan  spektral  dengan  menggunakan model LSTM dan GRU sebagai inputnya dalam diagnosis pasien skizofrenia.
2) Model  klasifikasi  dengan  menggunakan  model CNN  dengan  arsitektur  CNN  dari  semua  uji coba model memiliki tingkat akurasi yang lebih tinggi dibandingkan dengan model CNN-LSTM dan CNN-GRU karena parameter tuning dapat mempengaruhi  dan  meningkatkan  akurasi  dari algoritma.
Berdasarkan  kesimpulan  penelitian,  beberapa  saran dapat dilakukan pada penelitian selanjutnya, yaitu:
1) Model CNN dengan fitur spektral, segmen EEG temporal dan spektral dapat dijadikan alternatif untuk  diagnosis  penderita  skizofrenia  dengan sinyal subjek EEG.
2) Model  CNN  dengan  arsitektur  CNN  memiliki tingkat  akurasi  yang  lebih  tinggi  dibandingkan dengan  model  CNN-LSTM  dan  CNN-GRU, oleh karena itu disarankan untuk menggunakan model  CNN  dengan  arsitektur  CNN  pada penelitian selanjutnya.
3) Dapat  dilakukan  penambahan  fitur  atau parameter  tuning  pada  model  CNN  untuk meningkatkan akurasi klasifikasi.
4) Dapat  dilakukan  penelitian  lebih  lanjut  dengan jumlah subjek yang lebih banyak dan variasi data yang  lebih  luas  untuk  meningkatkan  validitas dari hasil penelitian.

## 5. Daftar Pustaka
[1] Baygin,  M.,  2021.  An  accurate  automated schizophrenia  detection  using  TQWT  and statistical moment based feature extraction. Biomedical  Signal  Processing  and Control , 68 , p.102777. DOI: https://doi.org/10.1016/j.bspc.2021.102777 .
[2] Aydemir, E., Dogan, S., Baygin, M., Ooi, C.P.,
Barua,  P.D.,  Tuncer,  T.  and  Acharya,  U.R., 2022, March. CGP17Pat: automated schizophrenia detection based on a cyclic group of  prime  order  patterns  using  EEG  signals. In Healthcare (Vol.  10,  No.  4,  p.  643).  MDPI. DOI: https://doi.org/10.3390/healthcare10040643 .
[3] Shalbaf,  A.,  Bagherzadeh,  S.  and  Maghsoudi, A.,  2020.  Transfer  learning  with  deep convolutional  neural  network  for  automated detection  of  schizophrenia  from  EEG signals. Physical  and  Engineering  Sciences  in Medicine , 43 ,
pp.1229-1239.
DOI: https://doi.org/10.1007/s13246-020-00925-9 . [4] Afrooz, E. and Taghavi, M., 2022. Information- Theoretic  Analysis  of  EEG  Signals  to Differentiate  Schizophrenic  Patients  with Positive and Negative Symptoms and Control Group. Iranian Journal of Psychiatry and Behavioral Sciences , 16 (3). DOI: https://doi.org/10.5812/ijpbs-118000 .
[5] Calhas,  D.,  Romero,  E.  and  Henriques,  R., 2020. On the use of pairwise distance learning for  brain  signal  classification  with  limited observations. Artificial intelligence in medicine , 105 , p.101852.
DOI: https://doi.org/10.1016/j.artmed.2020.101852
.
[6] Aslan,  Z.  and  Akin,  M.,  2020.  Automatic Detection of Schizophrenia by Applying Deep Learning  over  Spectrogram  Images  of  EEG Signals. Traitement  du  Signal , 37 (2).  DOI: https://doi.org/10.18280/ts.370209 .
[7] Fadel, W., Kollod, C., Wahdow, M., Ibrahim, Y. and  Ulbert,  I.,  2020,  February.  Multi-class classification  of  motor  imagery  EEG  signals using image-based deep recurrent convolutional  neural  network.  In 2020  8th
International  Winter  Conference  on  Brain-Computer Interface  (BCI) (pp.  1-4).  IEEE.  DOI: https://doi.org/10.1109/BCI48061.2020.9061 622 .
[8] Singh,  K.,  Singh,  S.  and  Malhotra,  J.,  2021. Spectral  features  based  convolutional  neural network for accurate and prompt identification of  schizophrenic  patients. Proceedings  of  the Institution of Mechanical Engineers, Part H: Journal of  Engineering  in  Medicine , 235 (2),  pp.167-184. DOI:
https://doi.org/10.1177/0954411920966937 .
[9] Torres  Naira,  C.A.,  2020.  Classification  of people  who  suffer  schizophrenia  and  healthy people by EEG signals using Deep Learning. Int. J. Adv. Comput. Sci. Appl., vol. 10, no. 10, pp. 511 – 516, 2019, DOI: https://doi.org/10.14569/ijacsa.2019.010106 7 .
[10] Phang,  C.R.,  Ting,  C.M.,  Noman,  F.  and
Ombao,  H.,  2019.  Classification  of  EEG- based  brain  connectivity  networks  in schizophrenia using a multi-domain connectome convolutional neural network. arXiv preprint arXiv:1903.08858 . DOI: https://doi.org/10.1109/JBHI.2019.2941222 .
[11] Rong,  Y.,  Wu,  X.  and  Zhang,  Y.,  2020.
Classification of motor imagery electroencephalography signals using continuous  small  convolutional  neural network. International  Journal  of  Imaging  Systems and  Technology , 30 (3),  pp.653-659.  DOI: https://doi.org/10.1002/ima.22405 .
[12] Balam,  V.P.,  Sameer,  V.U.  and  Chinara,  S., 2021.  Automated  classification  system  for drowsiness  detection  using  convolutional neural network and electroencephalogram. IET Intelligent  Transport  Systems , 15 (4),  pp.514-524. DOI: https://doi.org/10.1049/itr2.12041 .
[13] Zhao, B., Lu, H., Chen, S., Liu, J. and Wu, D., 2017. Convolutional neural networks for time series classification. Journal of Systems Engineering and  Electronics , 28 (1),  pp.162-169.  DOI: https://doi.org/10.21629/JSEE.2017.01.18 .
[14] Saeedi,  M.,  Saeedi,  A.  and  Mohammadi,  P.,
2022.  Schizophrenia  Diagnosis  via  FFT  and Wavelet  Convolutional  Neural  Networks utilizing EEG signals. DOI: https://doi.org/10.21203/rs.3.rs-1497490/v1 .
[15] Lu, W., Li, J., Li, Y., Sun, A. and Wang, J., 2020. A CNN-LSTM-based model to forecast stock prices. Complexity , 2020 , pp.1-10. DOI: https://doi.org/10.1155/2020/6622927 .
[16] Nguyen, V., Cai, J. and Chu, J., 2019, August. Hybrid  CNN-GRU  model  for  high  efficient handwritten  digit  recognition.  In Proceedings  of the 2nd international conference on artificial intelligence and  pattern  recognition (pp.  66-71).  DOI: https://doi.org/10.1145/3357254.3357276 .