## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
Vol. 9 No. 3 Desember 2023

## Perancangan Model Pergerakan Mobile Robot dengan Metode Deep Q Learning
Samsul Arifin *1 , Siti Sendari #2 , Ilham Ari Elbaith Zaini #3
# Departemen Teknik Elektro, Fakultas Teknik Universitas Negeri Malang Jl. Semarang no 6 Malang
2 siti.sendari.ft@um.ac.id
3 ilham.ari.ft@um.ac.id
* Institut Teknologi dan Bisnis Asia Malang Jl. Soekarno-Hatta Rembuksari 1A Malang
1 samsul@asia.ac.id Abstrak — Path Planning merupakan salah satu permasalahan yang sering terjadi pada mobile robot. Tujuan utama  dalam  path  planning  adalah  untuk  mendapatkan path/jalur  yang  paling  optimal  sehingga  bisa  meminimalisir waktu komputasi. Kelemahan yang umum terjadi pada path planning  adalah  waktu  komputasi  yang  besar  pada  suatu environment.  Dengan  adanya  permasalahan  ini  maka  akan diterapkan  metode  deep  Q  learning  untuk  meningkatkan kecepatan  waktu  komputasi.  Metode  deep  q  learning menyimpan hasil pembelajaran dalam bentuk neural network. Mobile  robot  dilatih  agar  dapat  menemukan  jalur  pada environment  yang  belum  dikenali  sama  sekali.  Melalui beberapa tahapan dalam proses training dan proses running maka  mobile  robot  dapat  menemukan  jalur  dengan  cepat. Keseimbangan  proses  eksplorasi  dan  eksploitasi  akan mempengaruhi proses training. Pada penelitan ini ditentukan nilai untuk proses eksplorasi adalah 80 episode pertama. Pada proses training telah didapatkan nilai parameter gamma yang optimal  adalah  0.9.  Setelah  mendapatkan  pengetahuan  dari proses  training  maka  mobile  robot  dapat  menemukan  path yang paling optimal dengan waktu tempuh  1.92s.
Kata kunci — path planning, mobile robot, deep Q learning, training, environment

## I. P ENDAHULUAN
Teknologi mobile robot mengalami perkembangan yang sangat  pesat  pada  era  saat  ini.  Berbagai  banyak  bidang pekerjaan  telah  menempatkan mobile  robot sebagai pendukung  pekerjanya  [1].  Keberadaan mobile  robot sangat  membantu  meningkatkan  produktifitas  kerja manusia.  Dalam  menyelesaikan  suatu  pekerjaan, mobile robo t  mampu  dengan  mudah  bergerak  secara  bebas  ke segala arah. Kemudahan pergerakan mobile robot menjadi suatu  keuntungan dalam  proses path planning pada  suatu environment .  Kemampuan  pencarian  jalur  menjadi  kunci utama  bagi mobile  robot untuk  menemukan  jalur  yang optimal  pada suatu environment [2]. Environment merupakan  suatu  representasi  tempat dimana  robot  berada,  yang  tidak  diketahui  informasi
sebelumnya.  Dalam  hal  ini  robot  harus  mampu  untuk mempelajari dan menemukan jalur yang harus dilalui [3]. Robot harus bergerak secara mandiri dan menemukan jalur yang  paling  optimal  [4].  Beberapa  metode  telah dikembangkan  untuk  mengatasi  permasalahan  robot  pada lingkungan statis maupun dinamis.
Metode-metode  ini  memiliki  kemampuan  untuk melakukan komputasi terhadap permasalahan tertentu agar menjadi suatu bentuk solusi pengetahuan dan mewujudkannya ke dalam perilaku yang cerdas [5]. Untuk menyelesaikan  permasalahan  dengan  kompleksitas  yang tinggi  maka  dibutuhkan  suatu  kombinasi  pengetahuan, teknologi dan metode. Sistem cerdas ini memiliki keahlian yang  sama  atau  mendekati  manusia  di  bidang  tertentu, sehingga dapat beradaptasi dan mengembangkan kemampuan belajar dalam suatu environment . Metode-metode yang populer seperti algoritma djikstra [6]  ,  algoritma A* [7],  algoritma D* ,  algoritma rapidly exploring random tree (RRT) [8], [9], algoritma ant colony [10],  sering  digunakan  dalam path  planning ,  akan  tetapi pada  umumnya  belum  bisa  menyelesaikan  kasus path planning pada environment dinamis  yang  kompleks  [11]. Penelitian  yang  lainnya  juga  menerapkan  metode deterministic annealing akan tetapi belum dilakukan pada environment statis.  Penelitian  berikutnya  menerapkan metode fuzzy untuk  mencari  suatu  rute  pada environment statis  hal  ini  belum  bisa  dilakukan  pada environment dinamis [12].
Reinforcement  learning (RL)  menjadi  sangat  populer dalam  beberapa  tahun  terakhir  [13].  Salah  satu  metode dalam RL adalah Q learning . Q learning menyimpan hasil dari  proses  pembelajaran  ke  dalam  bentuk Q-table yang sesuai  dengan  kondisi environment awal.  Ketika  terjadi perubahan  pada environment maka  harus  mengubah Q- table dan  melakukan update yang  sesuai.  Hal  ini  akan mengakibatkan proses pembelajaran lebih lama [14].
Kemajuan deep neural network atau deep learning [15] membawa  perubahan  dalam reinforcement  learning .
Reinforcement learning yang sebelumnya hanya digunakan untuk permasalahan dengan dimensi state dan action yang rendah  dan  sulit  diterapkan  pada  dimensi  besar  telah menjadi  masalah.  Kekurangan  inilah  yang  menjadi  dasar untuk menggabungkan deep learning dengan reinforcement  learning [16].  Saat  ini deep  reinforcement learning menjadi bagian penting dalam machine  learning yang  terdiri  dari  2  bagian  yaitu deep  learning dan reinforcement  learning . Deep  Q  learning menjadi  bagian dari deep reinforcement learning yang banyak diaplikasikan dalam sistem pengontrolan mobile robot [17], [18].
Penelitian  ini  menerapkan  metode deep  Q  learning untuk mengembangkan path planning pada mobile robot . Metode  deep  Q  learning  memiliki  pendekatan  dalam menentukan action yang akan dijalankan oleh mobile robot . Untuk membantu proses pemilihan action yang tepat maka akan  ditambahkan  fungsi  untuk  menghitung  nilai error yang disebut sebagai loss function . Dengan penambahan ini maka metode deep Q learning dapat bekerja dengan lebih baik.

## II. M ETODE P ENELITIAN
Penelitian  untuk  mengembangkan path  planning pada mobile robo t meliputi mendesain aplikasi simulasi dengan menggunakan pygame serta membuat kerangka sistem path planning  dengan  metode  DQL  menggunakan  library framework pytorch .
Gambar  1  menunjukkan  kerangka reinforcement learning secara  umum.  Ada  5  bagian  utama  dalam reinforcement  learning yaitu agent , environment , state , action dan reward . Agent melakukan  interaksi  dengan environment dan akan mendapatkan reward sesuai dengan keberhasilan agent dalam mempelajari kondisi environment .
Gambar 1. Gambaran reinforcement learning
Agent dalam penelitian ini merupakan representasi dari sebuah mobile  robot . Mobile  robot harus  mempelajari kondisi environment dan  menemukan  jalur  yang  optimal. Pada  start  awal  robot  tidak  mengetahui  pengetahuan apapun  tentang  kondisi  lingkungan.  Ketika  robot mengobservasi lingkungan dari state satu ke state lainnya maka robot akan mendapatkan reward.
A. Desain Environment
Environment didesain  agar mobile  robot bisa  bergerak secara  bebas  dari  titik  start  menuju  target. Mobile  robot akan dilatih agar dapat menemukan jalur dari start menuju target  berdasarkan  pengetahuan  yang  telah  didapatkan
sebelumnya. Environment yang digunakan dalam penelitian  ini  terdiri  dari  grid  2  dimensi  dengan  ukuran 20x20. Setiap grid yang berbentuk persegi mewakili state yang akan dilewati oleh mobile robot . Mobile robot akan bergerak dari satu state menuju state lainnya dengan cara memilih action yang paling optimal. Skenario environment dalam  penelitian  ini  tidak  terdapat  penghalang  apa  pun didalamnya seperti yang ditunjukkan pada Gambar 2.
Gambar 2. Simulasi environment
Gambar  2  menunjukkan environment yang  akan digunakan  untuk  melatih mobile  robot agar  bisa menemukan  jalur  dari  titik  start  (biru)  menuju  titik target(merah).
Titik  biru  yang  merupakan start  grid berada  pada koordinat  (x=0,y=380)  dan target  grid berada  pada koordinat (x=380, y=0). Robot akan mulai start pada grid biru dan kemudian bergerak terus sampai menemukan grid merah.  Environment  dibuat  dengan  menggunakan framework pygame diimplementasikan sebagai berikut:
• Ukuran 400x400 pixel.
• Ukuran per grid 20x20 pixel.
• Jumlah total grid adalah 400 grid termasuk start state dan target state .
• Ukuran mobile robot 20x20 pixel.

## B. Arsitektur Model Agen
Deep  Q  learning merupakan  suatu  metode  yang mengambil  ide  dasarnya  dari  metode Q  learning yang dikombinasikan  dengan deep  learning . Deep  Q  learning menghasilkan  performa  yang  baik  dan  sangat  relevan dengan  perubahan environment .  Metode Q  learning bisa bekerja  untuk  memecahkan  permasalahan  dengan  jumlah action dan state yang relatif sedikit. Apabila ada perubahan environment menjadi  kompleks  maka  isi Q-table tidak menjadi  efektif  lagi  karena  harus  disesuaikan  dengan kondisi environment . Hal inilah yang menjadi alasan harus menggunakan  model  arsitektur  jaringan  saraf/ neural network untuk menggantikan data tabel.
[0,380] [380,0]

## Gambar 3. Arsitektur deep Q learning
DQL  menyimpan  pengetahuan  dalam  bentuk  jaringan saraf.  Input neuron dari  jaringan  digunakan  sebagai state dan output  neuron  action dengan  nilai  Q  terbaik  atau maksimal.  Model  pembelajaran  masih  sama  dengan menggunakan iterasi untuk memperbaiki dan meningkatkan nilai bobot jaringan saraf. Robot akan terus melakukan pembelajaran sampai memperoleh reward yang maksimal dan membentuk jalur yang terbaik. Environment akan  memberikan reward sesuai  dengan  capaian  langkah yang dipilih oleh robot.

## C. Reward
Robot akan menerima reward setiap kali mencapai state berikutnya  dan  seterusnya.  Pemberian reward mengikuti aturan sebagai berikut:
1. Mencapai target state = +10
2. Menabrak = -10
3. Selain nomer 1 dan 2 = 0 Meskipun  robot  menerima reward setiap  saat  hal  ini sebenarnya  digunakan  untuk  mendapatkan  nilai reward kumulatif. Reward kumulatif  adalah  tujuan  utama pembelajaran dengan metode reinforcement learning untuk memperoleh reward jangka  panjang. Reward kumulatif dapat dihitung dengan formula:
𝑅 𝑡 = 𝑟 𝑡+1 + 𝛾𝑟 𝑡+2 + 𝛾 2 𝑟 𝑡+3 + ⋯ =
∑ 𝛾 𝑘 𝑟 𝑡+𝑘+1 ∞ 𝑘=0 (1)
Dimana  adalah konstanta faktor diskon yang nilainya antara [0, 1]. Nilai  yang rendah akan membuat robot tidak lagi mengejar kumulatif reward pada jangka panjang. Hal ini  akan  mendorong agent untuk  mengumpulkan instant reward dengan lebih cepat dari pada reward kumulatif pada jangka panjang.

## D. Deep Q Learning
Algoritma deep  Q  learning mengambil  ide  dasar utamanya dari metode Q learning . Q learning menyimpan nilai state dan action dalam bentuk tabel sedangkan deep Q learning terdiri  dari  jaringan  saraf  multi  layer  yang menyimpan state pada input layer dan action pada output
layer . Deep Q learning dikenal juga dengan nama deep Q network (DQN) [19]. Diagram blok sistem yang diterapkan pada mobile robot dapat dilihat pada Gambar 4.

## Gambar 4. Blok diagram mobile robot path planning [19]
Gambar 4 menjelaskan blok diagram sistem DQL yang diterapkan pada mobile robot . DQL agent menerima state dari environment dan pada saat yang sama reward disimpan pada replay  memory . Replay  memory berfungsi  untuk menyimpan dan menghitung reward yang sudah diperoleh agent selama  proses  pemberlajaran.  Kemudian mobile robot memilih action ke enviroment dan  akan  membaca state baru  untuk  mendapatkan reward .  Begitu  seterusnya diulang sampai memperoleh nilai konvergen.
Algoritma 1 . Algoritma deep Q learning [19]
1. Inisialisasi Jaringan Saraf dengan bobot 
2. Inisialisasi Replay Memory D
3. For Episode = 1:K do
4. Reset environment
5. Dapatkan state S i dari environment
6. Hitung action A i
7. Set nilai S t dan A t ke S i dan A i 8. For waktu-step t = 1: T do
9.
Probabilitas  pilih A t untuk  S t 10. Else , pilih A t = argmax a q(S t , A t ;  )
11.
Eksekusi A t 12. Observasi R t+1 , dan S t+1
13. Simpan (S t , A t , R t+1 , S t+1 ) ke D 14. Ambil contoh (S t , A t , R t+1 , S t+1 )  dari D 15. If S t+1 = S T , set q DQN to R T Else , set 16. 𝑞 𝐷𝑄𝑁 (𝑠, 𝑎) = 𝑅 𝑡+1 + 𝛾𝑚𝑎𝑥 𝑎′ (𝑞 ′ (𝑠 ′ , 𝑎 ′ ; 𝜃 − )) 17. Hitung 𝐿 = 1/𝑀 ∑ (𝑞 𝐷𝑄𝑁 − 𝑞(𝑠 ′ , 𝑎 ′ ;  𝜃 𝑀 𝑖=1 )) 2 18. Update  19. Update  - setiap 1 episode 20.
Update 
21. End For
22. End For

## Gambar 5. Arsitektur jaringan saraf DQL
Arsitektur  jaringan  saraf  DQL  yang  ditunjukkan  pada Gambar 5. terdiri dari 3 layer yaitu (1) layer input (2) layer hidden  dan  (3)  layer  output.  Masing-masing  layer  terdiri dari  neuron  input  sebanyak  11,  neuron  hidden  sebanyak 256 dan neuron output sebanyak 3. Fungsi aktivasi jaringan neuron  menggunakan rectified  linear  units (ReLU). Jaringan  saraf  akan  selalu  diupdate  ketika  robot  sedang bekerja menemukan state baru dan seterusnya.

## III. H ASIL DAN P EMBAHASAN
Pada bab ini akan dibahas hasil dari eksperimen simulasi path  planning pada mobile  robot dengan  menggunakan DQL. Secara garis besar ada 2 bagian utama dalam proses eksperimen  yang  dilakukan  yaitu  proses training dan running. Proses training merupakan  proses  untuk mempelajari  dan  memperoleh  data  jalur  yang  bisa  dilalui oleh mobile robot . Dalam proses training ini mobile robot akan mendapatkan nilai reward untuk menghitung nilai Q yang  paling  optimal  yang  digunakan  untuk  mengupdate neural network berdasarkan jalur yang telah dilewati oleh mobile  robot.  Proses training dilakukan  sampai  robot mendapatkan  jalur  yang  paling  optimal.  Proses running merupakan proses untuk menguji kemampuan mobile robot setelah proses training selesai.

## A. Proses Training
Proses training yang  akan  dilakukan  mengikuti parameter-parameter  pelatihan  yang  disesuaikan  dengan eksperimen dalam simulasi. Parameter pelatihan bertujuan untuk mendapatkan hasil pembelajaran mobile robot yang paling  optimal.  Parameter  pelatihan  dapat  mempengaruhi hasil  pembelajaran  oleh  karena  ini  dalam  proses training ini  akan  dilakukan  percobaan  dengan  beberapa  kali parameter pelatihan yang berbeda.
TABEL I P ARAMETER P ROSES T RAINING No Parameter Nilai 1 Learning rate 0.002 2 Gamma 0.9 3 Iteration max 400 4 Episode 130 5 Layer input 11 6 Layer Hidden 128
No Parameter Nilai 7 Layer Output 3 8 Eksploration 80
Parameter  ini  diperoleh  dari  percobaan  maupun  dari sumber  refensi  yang  telah  didapatkan.  Dengan  parameter training yang  telah  ditentukan  maka  diharapkan  dapat memperoleh  hasil  yang  optimal.  Penentuan learning  rate dengan nilai 0.002 adalah agar nilai Q tidak cepat bernilai besar sedangkan nilai gamma adalah untuk mengendalikan nilai  Q  yang  baru  apabila  terlalu  besar.  Iterasi  maksimal yang bisa dilakukan oleh robot pada setiap episode adalah 400.  Iterasi  dapat  berakhir  lebih  cepat  apabila  robot menabrak halangan.
Dalam proses training ada 2 hal yang dilakukan mobile robot untuk memperoleh hasil pembelajaran terbaik yaitu keseimbangan  eksplorasi  dan  eksploitasi.  Eksplorasi adalah  dimana mobile  robot menentukan  pergerakan selanjutnya  dengan  cara  memilih  secara random untuk mendapatkan pengalaman baru. Proses eksplorasi dibutuhkan  ketika mobile  robot belum  mengetahui  sama sekali  kondisi  lingkungan,  sehingga  bisa  menemukan daerah baru. Sedangkan eksploitasi adalah dimana mobile robot menentukan  langkah  selanjutnya  dengan  cara menghitung  nilai  yang  paling  maksimal  berdasarkan pengalaman mobile  robot yang  telah  didapatkan sebelumnya.  Proses  eksplorasi  dibatasi  sampai  dengan episode ke-80 setelah itu robot akan melakukan eksploitasi. Hasil  proses training adalah  berupa  pengetahuan  yang disimpan dalam sebuah neural network dalam bentuk file dengan ekstensi model( .pth ).

## Gambar 6. Grafik nilai score dan rata-rata
Pada  Gambar  6  terlihat  bahwa  hasil  proses training menunjukkan mobile  robot mampu  mempelajari  dan menyimpan pengetahuan dengan baik pada episode ke-80. Saat awal training mobile robot banyak bergerak pada area yang terdekat dengan titik start sampai menemukan target pertama pada episode ke-25 dengan nilai score 1. Score 1
memiliki arti bahwa mobile robot mampu mencapai target sebanyak 1 kali dalam 1 episode . Sampai dengan episode ke-50 mobile  robot hanya  mampu mencapai target 1  kali dalam 1 episode .
Mobile  robot  terus  melakukan  eksplorasi  sampai batasnya  untuk  berusaha  mencari  daerah  yang  belum pernah  dikunjungi.  Nilai  rata-rata  jumlah score yang diperoleh  terhadap  jumlah episode mulai  meningkat  pada episode ke-60.  Ketika  proses  eksplorasi  selesai  pada episode ke-80 maka mobile robot sudah mulai menemukan jalur yang stabil dengan nilai rata-rata score = 4.17.

## Gambar 7. Grafik nilai score dan rata-rata
Gambar  7  menunjukkan  hasil  proses training dengan mengubah  nilai gamma =  0.99 . Perubahan  nilai  pada gamma berdampak pada proses pembelajaran pada mobile robot sehingga  setelah episode ke-80  masih  belum mendapatkan  nilai  yang  stabil.  Sampai  dengan  episode terakhir  ke-130  pembelajaran  hanya  mampu  memperoleh nilai rata-rata score = 1.27.
Gambar 8. Grafik nilai score dan rata-rata
Gambar  8  menunjukkan  hasil  proses training dengan menggunakan nilai gamma = 0.8. Hasilnya bahwa mobile robot telah mampu belajar dengan baik dan mendapatkan nilai rata-rata score = 4.02.
Dari ketiga proses training yang telah dilakukan maka nilai terbaik adalah dengan menggunakan nilai gamma = 0.9.

## B. Proses Running
Proses running digunakan untuk mengetahui keberhasilan dari proses training . Pengetahuan yang telah diperoleh mobile robot selama proses training akan terlihat ketika mobile  robot mampu  menemukan  jalur  dari start menuju target .

## Gambar 9. Grafik score dan rata-rata
Gambar  9  menunjukkan  hasil  proses running dengan menggunakan  pengetahuan  yang  telah  diperoleh  selama training . Mobile  robot telah  menemukan  jalur  dari start menuju target .  Uji  coba  proses running dilakukan  mulai dari episode ke-1  sampai  dengan episode ke-100  dan mampu mendapatkan nilai rata-rata score tertinggi yaitu 10.
b. Jalur 2 Gambar 10. Jalur terbaik dari mobile robot
Gambar  10  menunjukkan  hasil  jalur  yang  terbentuk setelah  robot  dilatih  selama  130  episode.  Jalur  yang dihasilkan  dari  proses training juga  dipengaruhi  oleh banyaknya  episode  waktu  pelatihan  dan  keseimbangan probabilitas  eksplorasi  (epsilon).  Dengan  penambahan kesempatan  waktu  pelatihan  bagi  robot  yang  semakin banyak  maka  hasil  pembelajaran  juga  diharapkan  bisa meningkat.

## IV. K ESIMPULAN
Berdasarkan  hasil  uji  coba  yang  telah  dilakukan  maka dapat  diambil  kesimpulan  bahwa mobile  robot dapat menemukan jalur dari start menuju target . Keseimbangan eksplorasi  dan  eksploitasi  juga  sangat  mempengaruhi proses  pembelajaran mobile  robot .  Parameter  ekplorasi dalam  penelitian  ini  menggunakan  nilai  80 episode . Pembelajaran dapat berjalan dengan optimal pada langkah eksplorasi 80 episode awal.
Metode deep Q learning mampu bekerja dengan optimal dengan  nilai gamma =  0.9. Mobile  robot mampu menemukan  2  jalur  berbeda  dengan  jarak  tempuh  yang sama. Waktu tempuh mobile robot dari start menuju target adalah  1.92s.  Metode deep  Q  learning memiliki kemampuan  untuk  menyimpan  pengetahuan  pada mobile robot sehingga  bisa  menyelesaikan  permasalahan  pada pencarian  jalur  pada environment yang  tidak  diketahui informasinya  sama  sekali.  Penelitian  selanjutnya  akan meningkatkan  kemampuan  metode deep  Q  learning dengan  melakukan  improvisasi  pada  keseimbangan eksplorasi.

## R EFERENSI
[1] H. Zhang, W. Lin, and A. Chen, “Path Planning for the Mobile Robot: A Review,” Symmetry, vol. 10, no. 10, p. 450, Oct. 2018, doi: 10.3390/sym10100450.
[2] E. S. Low, P. Ong, C. Y. Low, and R. Omar, “Modified Q-learning with distance metric and virtual target on path planning of mobile robot,” Expert  Systems  with  Applications ,  vol.  199,  p.  117191, Aug. 2022, doi: 10.1016/j.eswa.2022.117191.
[3] R. Huang, C. Qin, J. L. Li, and X. Lan, “Path planning of mobile robot in unknown dynamic continuous environment using reward- modified  deep  Q-network,” Optimal  Control  Applications  and Methods , vol. n/a, no. n/a, doi: 10.1002/oca.2781.
[4] T. Bonny and M. Kashkash, “Highly optimized Q-learning-based bees  approach  for  mobile  robot  path  planning  in  static  and dynamic environments,” Journal of Field Robotics , vol. 39, no. 4, pp. 317–334, 2022, doi: 10.1002/rob.22052.
[5] J. Dai, J. Qiu, H. Yu, C. Zhang, Z. Wu, and Q. Gao, “Robot Static Path  Planning  Method  Based  on  Deterministic  Annealing,” Machines ,  vol.  10,  no.  8,  p.  600,  Jul.  2022,  doi:
10.3390/machines10080600.
[6] M. Luo,  X.  Hou,  and  J.  Yang, “Surface  Optimal  Path  Planning Using an Extended Dijkstra Algorithm,” IEEE Access , vol. 8, pp. 147827–147838, 2020, doi: 10.1109/ACCESS.2020.3015976.
[7] D. Xiang, H. Lin, J. Ouyang, and D. Huang, “Combined improved A*  and  greedy  algorithm  for  path  planning  of  multi-objective mobile robot,” Sci Rep , vol. 12, no. 1, p. 13273, Aug. 2022, doi:
10.1038/s41598-022-17684-0.
[8] M.  N.  A.  Wahab,  S.  Nefti-Meziani,  and  A.  Atyabi,  “A comparative  review  on  mobile  robot path planning:  Classical or meta-heuristic methods?,” Annual Reviews in Control , vol. 50, pp. 233–252, 2020, doi: 10.1016/j.arcontrol.2020.10.001.
[9] Y.  Li,  W.  Wei,  Y.  Gao,  D.  Wang,  and  Z.  Fan,  “PQ-RRT*:  An improved  path  planning  algorithm  for  mobile  robots,” Expert Systems with Applications , vol. 152, p. 113425, Aug. 2020, doi: 10.1016/j.eswa.2020.113425.
[10] Q.  Luo,  H.  Wang,  Y.  Zheng,  and  J.  He,  “Research  on  path planning of mobile robot based on improved ant colony algorithm,” Neural  Comput  &  Applic ,  vol.  32,  no.  6,  pp.  1555–1566,  Mar. 2020, doi: 10.1007/s00521-019-04172-2.
[11] H.  S.  Hewawasam,  M.  Y.  Ibrahim,  and  G.  K.  Appuhamillage, “Past, Present and Future of Path-Planning Algorithms for Mobile Robot Navigation in Dynamic Environments,” IEEE Open J. Ind. Electron. Soc. , vol. 3, pp. 353–365, 2022, doi: 10.1109/OJIES.2022.3179617.
[12] T.  A.  Teli  and  M.  A.  Wani,  “A  fuzzy  based  local  minima avoidance path planning in autonomous robots,” Int. j. inf. tecnol. , vol.  13,  no.  1,  pp.  33–40,  Feb.  2021,  doi:  10.1007/s41870-020- 00547-0.
[13] T. Zhang and H. Mo, “Reinforcement learning for robot research: A comprehensive review and open issues,” International Journal of Advanced Robotic Systems , vol. 18, no. 3, p. 172988142110073, May 2021, doi: 10.1177/17298814211007305.
[14] E. S. Low, P. Ong, and K. C. Cheah, “Solving the optimal path planning of a mobile robot using improved Q-learning,” Robotics and Autonomous Systems , vol. 115, pp. 143–161, May 2019, doi: 10.1016/j.robot.2019.02.013.
[15] L. Zhang, Y. Zhang, and Y. Li, “Path planning for indoor Mobile robot based on deep learning,” Optik ,  vol.  219,  p.  165096,  Oct. 2020, doi: 10.1016/j.ijleo.2020.165096.
[16] H. Shen, H. Hashimoto, A. Matsuda, Y. Taniguchi, D. Terada, and C. Guo, “Automatic collision avoidance of multiple ships based on deep Q-learning,” Applied Ocean Research , vol. 86, pp. 268– 288, May 2019, doi: 10.1016/j.apor.2019.02.020.
[17] J. Gao, W. Ye, J. Guo, and Z. Li, “Deep Reinforcement Learning for Indoor Mobile Robot Path Planning,” Sensors , vol. 20, no. 19, p. 5493, Sep. 2020, doi: 10.3390/s20195493.
[18] H. Quan, Y. Li, and Y. Zhang, “A novel mobile robot navigation method  based  on  deep  reinforcement  learning,” International Journal  of  Advanced  Robotic  Systems ,  vol.  17,  no.  3,  p. 172988142092167, May 2020, doi: 10.1177/1729881420921672.
[19] M.-F. R. Lee and S. H. Yusuf, “Mobile Robot Navigation Using Deep  Reinforcement  Learning,” Processes ,  vol.  10,  no.  12,  p. 2748, Dec. 2022, doi: 10.3390/pr10122748.