Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E- ISSN 2503-2933 1752
Simulasi Self-Driving Car Dengan Reinforcement Learning Dan Neuro Evolution Of Augmenting

## Topologies (NEAT)
Dhimas Dwi Cahyo* 1 , Nur Hayati 2
1,2 Universitas Nasional; Jl. Sawo Manila, Pejaten Ps. Minggu Jakarta 12520 1,2 Fakutas Teknologi Komunikasi dan Informatika Universitas Nasional e-mail: * 1 dhimasdwicahyo2018@student.unas.ac.id, 2 nurhayati@civitas.unas.ac.id

## Abstrak
Peningkatan produksi mobil listrik akibat perubahan iklim dan pemanasan global, dan dengan  diimplentasikannya  sistem  Self-driving  pada  mobil  listrik  membuat  kepopulerannya melesat.  Masalah  dengan  implementasi  mobil  self-driving  saat  ini  adalah  kebutuhan  akan dataset  besar.  Pada  penelitian  ini  diusulkan  sistem  yang  tidak  memerlukan  dataset  untuk pelatihannya  dengan  menerapkan  Reinforcement  Learning  dan  NeuroEvolution  of  Augmented Topologies (NEAT), NEAT merupakan suatu bentuk algoritma genetik digunakan sebagai otak dari  mobil  self-  driving  dan  Reinforcement  Learning  digunakan  sebagai  set  aturan  dan  aksi untuk  melatih  mobil  self-  driving  dalam  lingkungan  simulasi  dengan  bantuan  Unity  Engine. Hasil dari simulasi ini membuktikan bahwa metode Reinforcement Learning dan NEAT mampu menyelesaikan  trek  dengan  rata-rata  12  menit  20  detik  lebih  cepat  dibandingkan  dengan simulasi menggunakkan NEAT saja.
Kata  kunci — Self-driving  Car , Reinforcement  Learning , Neuroevolution  of  Augmented Topologies (NEAT), evolusi

## Abstract
Increased  production  of  electric  cars  due to  climate change  and global  warming,  and the ability of self-driving systems in electric cars made its popularity soar. The problem with the current implementation of self-driving cars is the need for large datasets. In this study proposed a system that does not require datasets for its training by applying Reinforcement Learning and NeuroEvolution of Augmented Topologies (NEAT), NEAT is a form of genetic algorithm used as the brain of self-driving cars and Reinforcement Learning is used as a set of rules and actions to train self-driving cars in simulation environments with the help of Unity Engine. The results of  this  simulation  prove  that  the  Reinforcement  Learning  and  NEAT  methods  are  able  to complete tracks with an average of 12 minutes 20 seconds faster than neat simulations alone.
Keywords — Self-driving  Car, Reinforcement  Learning,  Neuroevolution  of  Augmented Topologies (NEAT), evolution

## 1. PENDAHULUAN
Produksi  mobil  listrik  belakangan  ini  meninggkat  akibat  perubahan  iklim  di  bumi  dan pemanasan global mendorong berbagai manufaktur otomotif untuk memproduksi mobil listrik. Namun  sulit  bagi  mobil  listrik  untuk  menggeser  mobil  dengan  bahan  bakar  bensin  yang mendominasi  jalanan.  Perusahaan  teknologi  Tesla  memiliki  inovasi  untuk  mendorong kepopuleran  mobil  listrik  mereka,  yaitu  dengan  sistem  Auto-Pilot  yang  memungkinkan  mobil
1753 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933
Dhimas , et., al [ Simulasi Self-Driving Car Dengan Reinforcement Learning dan Neuro Evolution of Augmenting Topologies (NEAT)]
Title of manuscript is short and clear, implies research results (First Author)
untuk  bermanuver  tanpa  pengemudi  yang  sangat  memudahkan  banyak  orang.  Secara  umum sistem Auto- Pilot pada Tesla dapat disebut sebagai Self-driving Car (mobil tanpa pengemudi) [1].
Sistem  dan  algoritma  pada  Self-driving  Car  dapat  secara  otomatis  mempelajari representasi  internal  dari  proses  dan  langkah-langkah  seperti  yang  dilakukan  oleh  pengemudi mobil [2]. Level dan tingkat kompleksitas dari sistem Self-driving Car dibagi menjadi otonomi level 1 sampai dengan otonomi level 5 yang paling tinggi [3].
Pada  penelitian  yang  dilakukan  sebelumnya  hambatan  utama  untuk  mencapai  otonomi level 5 adalah kesulitan dalam pengumpulan data yang menggabungkan kebiasaan mengemudi yang  baik  serta  kekurangannya  kekurangannya  [4].  Penelitian  lainnya  mengatakan  bahwa masalah  dengan  implementasi  mobil  self-driving  saat  ini  adalah  kebutuhan  akan  dataset  besar dan  kebutuhan  untuk  mengevaluasi  kemampuan  mengemudi  pada  dataset  [5].  Pada  penelitian lainnya  mengatakan  bahwa  dengan  sistem  Self-driving  Car  yang  baik,  kecelakaan  yang diakibatkan  oleh  kesalahan  manusia  di  jalan  raya  dapat  diminimalkan,  bahkan  hingga  sampai 90%  [6].  Oleh  karena  itu  sangat  penting  untuk  mengembangakan  sistem  Self-driving  Car dengan  melakukan  penelitian  menggunakan  berbagai  algoritma  yang  ada  sehingga  tercipta sistem Self-driving Car yang dapat meminimalkan tingkat kecelakaan.
Penelitian  ini  bertujuan  untuk  mensimulasikan  sistem  Self-driving  car  dengan menerapkan Reinforcement  Learning dan  Algoritma  Genetik NeuroEvolution  of  Augmented Topologies (NEAT)  untuk  mengembangkan  model  pelatihan  Self-driving  Car  tanpa membutuhkan  dataset.  Algoritma  genetik  dapat  membantu  proses  initialisasi neural  network pada  Self-driving  Car  tanpa  memerlukan  dataset  [7],  dengan  cara  melakukan  proses trial  and error dengan  memutasikan weight dari setiap  genome  yang  ada  pada  satu  generasi  kegenerasi berikutnya  [8]  menggunakan NeuroEvolution  of  Augmented  Topologies (NEAT)  untuk kontrolnya. Reinforcement Learning merupakan algoritma penguatan yang dapat bekerja secara otomatis untuk menentukan perilaku yang ideal [9], sehingga dapat memaksimalkan kinerja dari algoritma genetik untuk mendapatkan sistem Self-Driving Car yang optimal.

## 2. METODE PENELITIAN

## 2.1 Reinforcement Learning
Reinforcement  Learning dalam  skenario  ini  digunakan  untuk  menambahkan  tingkat akurasi dari agent, Reinforcement Learning akan menjadi wadah yang didalamnya akan terdapat algoritma genetik dan NEAT.
Gambar 1. Flowchart dari Model Simulasi yang Dibuat Dengan Menggabungkan Reinforcement Learning dan NEAT
Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933 1754
Alur Reinforcement  Learning pada  simulasi  dijelaskan  pada  gambar  1.  Algoritma Genetik akan mengatur State pada Reinforcement Learning dengan mengganti generasi nya, jadi ketika  berganti  ke  generasi  baru  state juga  akan  berganti.  Lalu  feedback  akan  berupa  evaluasi fitness oleh algoritma genetik, dan reward yang didapatkan adalah ketika mobil mencapai titik checkpoint yang menyerupai bentuk trek. Reward akan berupa nilai fitness akan ditambah 100 setiap mencapainya. [10]

## 2.2 Algoritma Genetik
Algoritma  genetik  dalam  skenario  ini  digunakan  mengawasi  proses  yang  bertanggung jawab  untuk  seleksi,  crossover  dan  mutasi.  Ini  mengontrol  tingkat  mutasi  dan  crossover  dan bertanggung  jawab  untuk  pelacakan  semua  fitur  dari  seluruh  spesies  kendaraan  untuk  setiap generasi populasi [11].
. Gambar 2. Flowchart dari Algoritma Genetik Dalam Simulasi
Pada  gambar  2  dapat  dilihat  awalnya,  pada  generasi  pertama,  semua weight dari  semua neural  network diinisialisasi  dengan  nilai  acak,  dan  melalui  penemuan  acak/kebetulan  yang dibantu oleh fungsi fitness yang dikumpulkan ke solusi melalui seleksi dan crossover dan juga mencari solusi yang lebih baik melalui mutasi.

## 2.3 Mobil
Mobil  di  dalam  simulasi  bertindak  sebagai agent AI .  Mobil  harus  menyelesaikan  Trek atau  jalanan  yang  ada  di  dalam  lingkungan  tanpa  keluar  dari  jalan  atau  menabrak halangan/pembatas yang ada di jalan [12]. Selain itu mobil harus mengatur kecepatan agar tidak terbalik ketika berbelok atau pun terbang ketika ada jalanan yang menurun.
1755 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933
Dhimas , et., al [ Simulasi Self-Driving Car Dengan Reinforcement Learning dan Neuro Evolution of Augmenting Topologies (NEAT)]
Title of manuscript is short and clear, implies research results (First Author)
Gambar 3. Setup Mobil di Dalam Simulasi
Gambar  3  menunjukkan  mobil  dalam  simulasi  memiliki  7  sensor  jarak  dengan  cakupan 180° mengitari mobil dan jarak maksimal 30 meter. Mobil didalam simulasi bertindak sebagai agent  AI.  Mobil  harus  menyelesaikan  Trek  atau  jalanan  yang  ada  di  dalam  lingkungan  tanpa keluar  dari  jalan  atau  menabrak  halangan/pembatas  yang  ada  di  jalan.  Selain  itu  mobil  harus mengatur kecepatan agar tidak terbalik ketika berbelok atau pun terbang ketika ada jalanan yang menurun.

## 2.4 Lingkungan Training
Lingkungan  untuk  proses Training ini  dibuat  menggunakan Unity  Engine yang  mampu mensimulasikan  kondisi  dunia nyata  dengan  baik  berkat engine fisika PhsyX dari Nvidia [13], Simulasi menjadi lebih bisa dibandingkan dengan dunia nyata dengan hal ini.
Gambar 4. Konfigurasi Trek Pertama
Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933 1756
Gambar  4  menunjukkan layout dari  trek  pertama  tanpa  ada  penghalang  dan  rintangan. Trek pertama berupa jalan pegunungan yang memiliki tanjakan, turunan dan tikungan tikungan tajam yang akan membuat mobil harus beradaptasi terhadap medannya.
Gambar 5. Konfigurasi Trek Kedua Dengan Ditambahkan Penghalang dan Rintangan
Selain  itu  ada  juga  trek  kedua  dengan layout sama  namun  diberikan  beberapa penghalang  dan  rintangan  seperti  mobil  lain  dan  pembatas  jalan  ditunjukkan  pada  Gambar  5. Didalam training environment nya  akan  ada  checkpoint  dan  minimap  untuk  mapping  dan reward pada Reinforcement  Learning nya.  Setiap  mobil  melewati checkpoint nilai fitness nya akan bertambah sebanyak 100 poin. Checkpoint juga dapat di set sebagai titik finish di simulasi.
2.5 Training
Pada  generasi  pertama,  semua  bobot  semua neural  network di  kendaraan  diinisialisasi secara  acak,  sehingga  mereka  tidak  tahu  apa  yang  harus  dilakukan  ketika  mereka  muncul  dan karenanya bergerak secara acak. Untuk menghilangkan agen berkinerja buruk, yang merupakan bagian  penting  dari  evolusi  Darwin  [14],  simulasi  menghilangkan  kendaraan  yang  menabrak rintangan, keluar jalan dan terbalik saat berbelok atau yang tidak mencapai skor ambang tertentu dalam periode waktu yang telah ditentukan.
Dari  sini,  dapat  dihitung  skor  bersih  setiap frame ,  yang  merupakan  total  jarak  yang ditempuh sebelum menghilang dan dihitung sebagai:
∑∆
(1) ∆ d = total jarak tempuh pada generasi.
Pada akhir setiap generasi, fitness relatif dari setiap neural network dihitung sebagai tingkat akurasi dari suatu genome berdasarkan nilai fitness optimal yang telah diberikan:
(2)
Fitness = fungsi fitness relatif dari neural network saat ini. Skor = total jarak yang ditempuh kendaraan. t = waktu hidup dari suatu kendaraan sebelum menghilang.
Fitness yang paling optimal pada proses training ini adalah 42000 ditentukan dari panjang trek  dan  rata-rata  kecepatan  yang  optimal  [15].  Sekarang  untuk  memunculkan  kendaraan
1757 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933
Dhimas , et., al [ Simulasi Self-Driving Car Dengan Reinforcement Learning dan Neuro Evolution of Augmenting Topologies (NEAT)]
Title of manuscript is short and clear, implies research results (First Author)
generasi berikutnya, dipilih n kendaraan teratas dengan fitness terbesar dipilih dari radius mutasi sebesar 50% atau setengan dari populasi degan genome terbaik.

## 3. HASIL DAN PEMBAHASAN
Dengan  metode  menggunakan  Reinforcement  Learning  dan  NEAT  hasil  kovergensinya didapatkan  secara  acak  dan  kebetulan  sehingga  akan  mendapatkan  hasil  yang  berbeda  pada waktu simulasi yang lain.
Gambar 6. Tampilan dari Simulasi yang Dilakukan Dengan Konfigurasi Besar Populasi 50, Radius Mutasi 50% dan Tingkat Mutasi 50%
Dalam lingkungan simulasi, telah diamati bahwa populasi selama beberapa generasi telah berevolusi  untuk  tidak  keluar  dari  jalur  seperti  gambar  6.  Beberapa  hal  yang  dapat  diamati selama  menjalankan  beberapa  simulasi,  iterasi  dan  memvariasikan  parameter  yang  berbeda, adalah bahwa ketika fungsi fitness nya tidak terlalu tinggi, itu menggeneralisasi training dengan cukup  cepat  dan  mampu  menavigasi  dengan  baik  selama  beberapa  generasi.  Namun,  ketika fungsi fitness nya sangat tinggi karena mencoba mempertahankan kecepatan terlalu rendah dan berbelok secara acak, dibutuhkan lebih banyak generasi untuk mencapai spesialisasi terbaik.
Tabel 1. Hasil Simulasi yang Dilakukan Selama 60 Menit di Trek 1
dari Simulasi Kombinasi Reinforcement Learning Besar Populasi Radius Mutasi Tingkat Mutasi Generasi Konvergensi Max Fitness Durasi 10 50% 10% 122 67.26% 60:00 10 50% 50% 124 67.49% 60:00 10 50% 80% 64 193.10% 23:44 50 50% 10% 33 193.90% 29:27
Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933 1758
Dhimas , et., al [ Simulasi Self-Driving Car Dengan Reinforcement Learning dan Neuro Evolution of Augmenting Topologies (NEAT)] 50 50% 50% 12 98.59% 11:07 50 50% 80% 27 194.11% 21:38 100 50% 10% 11 194.65% 25:32 100 50% 50% 2 97.45% 7:41 100 50% 80% 20 108.56% 40:25
Dapat dilihat dari Tabel 1 simulasi menghasilkan nilai fitness yang berbeda-beda, bahkan melebihi  dari  nilai  optimal  100%  walaupun  telah  menyelesaikan  simulasi,  hal  ini  dikarenakan mobil melakukan banyak gerakan yang tidak diperlukan seperti mencoba berbelok-belok dijalan lurus  saat  menyelesaikan  treknya.  Spesimen  mobil  yang  baik  adalah  yang  mempunyai  nilai fitness berada pada tingkat toleransi sebesar 5% dari nilai yang optimal.
Pada  Tabel  1  di  populasi  sebesar  10  pada  tingkat  mutasi  10%  dan  50%  simulasi  tidak selsai  karena  mobil tidak  dapat beradaptasi  dalam  batas  waktu  yang  diberikan  yaitu  60  menit. Konfigurasi dengan besar populasi 50, radius mutasi 50% dan tingkat mutasi 50% menghasilkan spesimen  mobil  dengan  tingkat  fitness  yang  paling  mendekati  optimal  di  98.59%,  durasi penyelesaiannya pun terbilang rendah. Konfigurasi lainnya yang mendekati optimal adalah pada besar populasi 100 radius mutasi 50% dan tingkat mutasi 50% dengan fitness 97.45%.
Gambar 7. Generasi Konvergensi dari Simulasi
Seperti yang dapat kita lihat dalam grafik pada Gambar 7, untuk tingkat mutasi 50% dan di bawahnya nampak bahwa algoritma genetik dioptimalkan lebih baik pada ukuran populasi 50 dan 100 dibandingkan dengan 10. Tetapi ketika sampai pada tingkat mutasi 80%, menarik untuk dilihat bahwa algoritma genetik melakukan hal yang sama di berbagai ukuran populasi dengan konvergensi  sekitar  generasi  ke  25  dapat  dilihat  pada  Tabel  1.  Radius  mutasi  0,5  atau  50% dipilih karena merupakan satu-satunya radius mutasi yang dapat kami amati konvergensi untuk berbagai tingkat populasi dan mutasi yang dipilih.
1759 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
Tabel 2. Hasil Simulasi yang Dilakukan Selama 60 Menit di Trek 1
dari Simulasi yang Hanya Menggunakan NEAT Besar Populasi Radius Mutasi Tingkat Mutasi Generasi Konvergensi Max Fitness Durasi 10 50% 10% 120 3.51% 60:00 10 50% 50% 35 23.22% 60:00 10 50% 80% 45 145.02% 31:53 50 50% 10% 16 144.27% 34:33 50 50% 50% 9 104.44% 18:57 50 50% 80% 57 120.87% 45:26 100 50% 10% 15 71.66% 39:54 100 50% 50% 19 100.85% 19:05 100 50% 80% 35 111.43% 56:16
Performa simulasi menggunakan NEAT saja dapat dilihat pada Tabel 2. Dari data pada tabel tersebut dapat dilihat bahwa NEAT yang dikombinasikan dengan Reinforcement Learning mampu  menyelesaikan  simulasi  dengan  lebih  cepat  dibandingan  hanya  dengan  algoritma genetik dan NEAT saja.
Rata-rata  waktu  penyelesaian  Reinforcement  Learning  dan  NEAT  adalah  22  menit  47 detik sementara rata-rata waktu penyelesaian algoritma genetik dan NEAT saja adalah 35 menit 8 detik, dari situ didapat rata-rata selisih waktunya adalah 12 menit 20 detik.
Kemudian  dari  parameter  terbaik  lanjut  ke  trek  kedua  yang  memiliki  rintangan  dan penghalang  untuk  memimik  kondisi jalan  di  dunia  nyata,  mobilpun  dituntut  untuk  beradaptasi lebih baik lagi.
Tabel 3. Hasil Simulasi yang Dilakukan di Trek 2 dari
Simulasi Kombinasi Reinforcement Learning dan NEAT Besar Populasi Radius Mutasi Tingkat Mutasi Generasi Konvergensi Max Fitness Durasi 100 50% 50% 66 97.56% 3:39:33
Dengan  parameter  terbaik  yaitu  populasi  100  radius  mutasi  50%  dan  tingkat  mutasi 50% mobil dapat menyelesaikan trek kedua dalam waktu 3 jam 39 menit 33 detik. Pada trek 2 mobil  dapat  mengingat  bentuk  jalan  keseluruhan  namun  harus  beradaptasi  kembali  terhadap jalur  yang  telah  dilewati  karena  pada  trek  2  ada  beberapa  rintangan  dan  penghalang  yang diberikan.
Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933 1760

## 4. KESIMPULAN
Berdasarkan hasil yang telah diamati di atas, dapat ditarik kesimpulan bahwa kombinasi dari Reinforcement Learning dan NEAT dapat meningkatkan performa dari simulasi self-driving car dibandingkan  dengan  hanya  menggunakan  NEAT  saja.  Algoritma  genetik  seperti NeuroEvolution  of  Augmenting  Topologies atau  NEAT  dapat  mempercepat  fase  awal generalisasi  fitur  beberapa  kali  lipat  dibandingkan  dengan  teknik  tradisional  seperti backpropagation yang  membutuhkan  dataset  besar  untuk  proses  training  untuk  menghasilkan solusi yang baik, tetapi begitu jaringan mencapai kemampuan kognitif dasar untuk mengemudi, kemampuannya dapat lebih ditingkatkan melalui teknik pembelajaran penguatan menggunakan Reinforcement Learning .
Dalam  penelitian  yang  dilakukan  dengan  menggunakan Reinforcement  Learning dan NEAT  ini  dapat  menghasilkan  hasil  yang  bagus  hanya  dengan  menerapkan  empat  aturan sederhana untuk mobil (maju, belok ke kiri, belok ke kanan, rem). Keempat aturan sederhana ini memberi  mobil  kemampuan  untuk  bermanuver  melalui  tikungan  tajam  untuk  menyelesaikan trek yang diberikan.

## 5. SARAN
Saran  untuk  kedepan  di  harapkan  peneliti  dapat  membandingkan  dengan  metode pengembangan self-driving  car lainnya  seperti  Convolutional  Neural  Network  (CNN)  dan Artificial  Neural  Network (ANN)  untuk  mengetahui apakah  metode  kombinasi Reinforcement Learning dan NeuroEvolution of Augmenting Topologies (NEAT) lebih baik dari metode yang telah disebutkan.

## DAFTAR PUSTAKA
[1] Sainath G, Vignesh S, Siddarth S, and Suganya G, 2020 , “Application of  Neuroevolution in Autonomous Cars,” arXiv:2006.15175 [cs].
[2] M. Bojarski et al., “End to End Learning for Self-Driving Cars,” arXiv:1604.07316 [cs], Apr. 2016.
[3] K.  Bimbraw, “Autonomous  Cars:  Past,  Present  and  Future  -  A  Review  of  The Developments  in  The  Last  Century,  The  Present  Scenario  and  The  Expected  Future  of Autonomous  Vehicle  Technology,” ICINCO  2015  -  12th  International  Conference  on Informatics in Control, Automation and Robotics, Proceedings, Vol. 1, pp. 191–198, Jan..
[4] S.  Varun,  T.  Rohan,  S.  Abhishek  and  S.  Rajan,  2020, “Self-Driving  Car  Simulation Using  Genetic  Algorithm,” International  Journal  for  Research  in  Applied  Science  & Engineering Technology (IJRASET)., Vol. 8, No. 4, pp. 514-519.
[5] S. Bhandari and B. Poudel, 2021, “Self Driving Car Simulation ,” Vol. I, p. 6.
[6] N.  J.  Goodall ,  “Can  You  Program  Ethics  Into  A  Self-Driving  Car?,” IEEE  Spectrum, Vol. 53, No. 6, pp. 28–58, Jun. 2016.
1761 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 1752-1761 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
[7] M.  S.  Chuttumanil,  2020, “Self-Driving  Cars  using  Genetic  Algorithm”, International Journal for Research in Applied Science & Engineering Technology., Vol. 8, No. 11, pp. 508-511.
[8] A. Sehgal, H. M. La, S. J. Louis, and H. Nguyen, 2019, “Deep Reinforcement Learning using Genetic Algorithm for Parameter Optimization,” arXiv:1905.04100 [cs].
[9] K.  Stanley,  J.  Clune,  J.  Lehman,  and  R.  Miikkulainen,  2019, “Designing  Neural Networks Through Neuroevolution,” Nature Machine Intelligence, Vol. 1.
[10] M.  Abdelatti  and  M.  Sodhi, 2021, “Using  Reinforcement  Learning  for Tuning Genetic Algorithms,” doi:10.1145/3449726.3463203.
[11] F. P. Such, V. Madhavan, E. Conti, J. Lehman, K. O. Stanley, and J. Clune, 2017, “Deep Neuroevolution:  Genetic  Algorithms  Are  a  Competitive  Alternative  for  Training  Deep Neural Networks for Reinforcement Learning,” arXiv:1712.06567 [cs].
[12] C. Bartneck, C. Lütge, A. Wagner, and S. Welsh, “Autonomous Vehicles,” 2021, pp. 83– 92. doi: 10.1007/978-3-030-51110-4_10.
[13] S.  Hossain  and  D.-J.  Lee ,  “Autonomous-Driving  Vehicle  Learning  Environments  using Unity  Real-Time  Engine  and  End-to-End  CNN  Approach,” Journal  of  Korea  Robotics Society, Vol. 14, No. 2. The Korea Robotics Society, pp. 122–130, 31-May-2019.
[14] A. AbuZekry, I. Sobh, M. Hadhoud, and M. Fayek, 2019, “Comparative Study of Neuro Evolution Algorithms in Reinforcement Learning for Self-Driving Cars,” Eur. j., eng. sci., Tech., Vol. 2, No. 4.
[15] W.  Winata,  L.  P.  Dewi,  and  A.  N.  Tjondrowiguno,  2020 ,  “Prediksi  Skor  Pertandingan Sepak  Bola  Menggunakan  Neuro  Evolution  of  Augmenting  Topologies  dan Backpropagation,” Jurnal Infra, Vol. 8, No. 1, Art. No. 1.