Patent DE-102020209685-B4 (DE)
Title: Verfahren zum steuern einer robotervorrichtung und robotervorrichtungssteuerung
Inventor: ABDOU KIROLOS SAMY ATTIA
IPC: B25J9/16
Filed: 2020-07-31
Granted: 2023-07-06
Abstract: Verfahren zum Steuern einer Robotervorrichtung (100), umfassend:Erhalten von Demonstrationen zum Steuern der Robotervorrichtung (100); Durchführen eines anfänglichen Trainings für ein neuronales Aktornetz (202, 302) durch Imitationslernen der Demonstrationen;Steuern der Robotervorrichtung (100) durch das anfänglich trainierte neuronale Aktornetz (202, 302), um mehrere Trajektorien der Robotervorrichtung (100) zu generieren, wobei jede Trajektorie eine Folge von Aktionen umfasst, die von dem anfänglich trainierten neuronalen Aktornetz (202, 302) in einer Folge von Zuständen ausgewählt wird, und Beobachten der Rückgabe für jede der Aktionen,die von dem anfänglich trainierten neuronalen Aktornetz (202, 302) ausgewählt wird;Durchführen eines anfänglichen Trainings eines neuronalen Kritikernetzes (204, 304) durch beaufsichtigtes Lernen, wobei das neuronale Kritikernetz (204, 304) dafür trainiert ist, die beobachteten Rückgaben der Aktionen zu bestimmen, die von dem anfänglich trainierten neuronalen Aktornetz (202, 302) ausgewählt werden;Trainieren des neuronalen Aktornetzes (202, 302) und des neuronalen Kritikernetzes durch Verstärkungslernen, beginnend bei dem anfänglich trainierten neuronalen Aktornetz (202, 302) und dem anfänglich trainierten neuronalen Kritikernetz (204, 304); undSteuern der Robotervorrichtung (100) durch das trainierte neuronale Aktornetz (202, 302) und das trainierte neuronale Kritikernetz (204, 304), wobei das Trainieren des neuronalen Aktornetzes (202, 302) und des neuronalen Kritikernetzes (204, 304) durch Verstärkungslernen das Durchführen mehrerer Episoden umfasst, wobei in jeder Episode das neuronale Aktornetz (202, 302) eine Steuerungsaktion für jeden von mehreren Zeitschritten auswählt, wobei das Verfahren das Kopieren, mit einer Verzögerung von mehreren Zeitschritten, des neuronalen Aktornetzes (202, 302) umfasst, um ein neuronales Aktor-Zielnetz (203, 303) zu generieren, und des neuronalen Kritikernetzes (204, 304), um ein neuronales Kritiker-Zielnetz (204, 304) zu generieren, und das Verfahren das Verwenden des neuronalen Aktor-Zielnetzes (203, 303) umfasst, um, für jede Steuerungsaktion, die von dem neuronalen Aktornetz (202, 302) ausgewählt wird,eine oder mehrere Steuerungsaktionen, die auf die Steuerungsaktion folgen, die von dem neuronalen Aktornetz (202, 302) ausgewählt wird, für das neuronale Kritiker-Zielnetz (204, 304) bereitzustellen, wobei das neuronale Kritiker-Zielnetz (204, 304) eine Rückgabe der einen oder mehreren Steuerungsaktionen bestimmt, die von dem neuronalen Aktor-Zielnetz (203, 303) ausgewählt werden,wobei ein Verlust des Kritikers anhand einer Rückgabe der von dem neuronalen Aktornetz (202, 302) ausgewählten Aktion, die von dem Kritiker bestimmt wird, einer Summe der Rückgaben der einen oder mehreren Steuerungsaktionen, die von dem neuronalen Aktor-Zielnetz (203, 303) ausgewählt werden, und einer Rückgabe der von dem neuronalen Aktornetz (202, 302) ausgewählten Aktion bestimmt wird.