title: Learning Visuomotor Policies for Cooperative Robot-Assisted Surgery
title: Lernen von visuomotorischen Strategien für kooperative roboterassistierte Chirurgie
Creators: name: Scheikl, Paul Maria
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024
Subjects: subject: Robot-Assisted Surgery
subject: Reinforcement Learning
subject: Imitation Learning
subject: Visuomotor
subject: Deformable Object Manipulation
subject: Simulation

description: An ageing population and increasing urbanization have led to a shortage of medical personnel, which impacts patient care, especially in surgery. Minimally invasive surgery of the abdomen, laparoscopy, has advantages over open surgery, such as less bleeding and infection risk, shorter hospital stays, and reduced pain. However, the complexity of laparoscopic procedures demands a high level of skill and coordination among surgical staff, exacerbating personnel shortages. Although developments in Robot-Assisted Surgery (RAS) have eased the physical and mental strain on surgeons and enabled solo-surgery to partly address the personnel shortage, these systems lack autonomy and are mostly controlled directly by surgeons. Automation of repetitive tasks and cooperative assistive systems could further reduce the strain on surgical staff and improve patient care. The complexity of laparoscopic tasks, cooperation among team members with distinct roles, and the intricacies of the surgical environment underscore the demand for decentralized artificial agents to cooperatively solve tasks in RAS. This thesis focuses on advancing RAS by learning visuomotor policies that are able to cooperate with human surgeons. It addresses a variety of challenges in laparoscopic surgery, such as the need for precision in manipulating deformable objects, reacting to changes and uncertainties in the environment, and flexibly cooperating with human surgeons. The contributions of this thesis encompass five topics. 1) Standardized Learning Environments: Establishes benchmark environments for comparable RAS research and identifies challenges for Reinforcement Learning (RL) in this domain. 2) Semantic Segmentation: Compares various architectures and training strategies for semantic segmentation in laparoscopic surgery, crucial for generating semantically rich observations as policy inputs. 3) Human-Robot Cooperation: Applies Multi-Agent RL in RAS, simplifying coordination in multi-instrument control and laying the foundation for cooperative autonomous surgical assistants. 4) Sim-to-Real Transfer of Visuomotor Policies: Demonstrates data-efficient transfer of visuomotor policies from simulation to real systems, focusing on deformable object manipulation. 5) Gentle Manipulation of Deformable Objects: Introduces a novel method integrating diffusion-based Imitation Learning (IL) and Probabilistic Dynamic Movement Primitives (ProDMPs) for data-efficient and robust policies in deformable object manipulation. The research contributes to cognitive surgical robotics, aiming to enhance patient care and surgical efficiency, emphasizing the synergy of human expertise and robotic precision.
description: Eine alternde Bevölkerung und zunehmende Urbanisierung führen zu einem Mangel an medizinischem Personal, was sich insbesondere auf die Patientenversorgung in der Chirurgie auswirkt. Die minimalinvasive Chirurgie des Abdomens, die Laparoskopie, bietet gegenüber der offenen Chirurgie Vorteile wie weniger Blutungen und Infektionsrisiken, kürzere Krankenhausaufenthalte und geringere Schmerzen für die Patienten. Allerdings erfordert die Komplexität laparoskopischer Eingriffe ein hohes Maß an Geschick und Koordination zwischen dem chirurgischen Personal, was den Personalmangel verschärft. Obwohl Entwicklungen in der roboterassistierten Chirurgie (RAC) die physische und mentale Belastung für Chirurginnen und Chirurgen senken und die Solo-Chirurgie den Personalmangel verringert, fehlt diesen Systemen Autonomie, und sie werden größtenteils direkt von Chirurginnen und Chirurgen telemanipuliert. Die Automatisierung repetitiver Aufgaben und kooperative Assistenzsysteme haben das Potential die Belastung für das chirurgische Personal weiter reduzieren und die Patientenversorgung verbessern. Die Komplexität laparoskopischer Aufgaben, die Zusammenarbeit zwischen Teammitgliedern mit unterschiedlichen Aufgaben und die besonderen Anforderungen des chirurgischen Umfelds vedeutlichen die die Relevanz von dezentralen künstlichen Agenten, die in der lage sind kooperativ Aufgaben der RAC zu lösen. Diese Arbeit konzentriert sich darauf, die RAC durch das Erlernen von visuomotorischen Strategien, die mit menschlichen Chirurginnen und Chirurgen kooperieren können, voranzutreiben. Sie befasst sich mit einer Vielzahl von Herausforderungen in der laparoskopischen Chirurgie, wie der Notwendigkeit von Präzision bei der Manipulation von verformbaren Objekten, der Reaktion auf Veränderungen und Unsicherheiten in der Umgebung und der flexiblen Zusammenarbeit mit menschlichen Chirurginnen und Chirurgen. Die Beiträge dieser Arbeit umfassen fünf Themen. 1) Standardisierte Lernumgebungen: Etabliert Benchmark-Umgebungen für vergleichbare RAC-Forschung und identifiziert Herausforderungen für Reinforcement Learning (RL) in diesem Bereich. 2) Semantische Segmentierung: Vergleicht verschiedene Architekturen und Trainingsstrategien für die semantische Segmentierung in der laparoskopischen Chirurgie, um semantisch verarbeitete Beobachtungen als Eingaben für autonome Systeme zu erzeugen. 3) Mensch-Roboter-Kooperation: Wendet Multi-Agenten-RL in der RAC an, vereinfacht die Koordination in der Multi-Instrumenten-Steuerung und legt den Grundstein für kooperative autonome chirurgische Assistenten. 4) Übertragung von visuomotorischen Strategien von der Simulation auf reale Systeme: Demonstriert die dateneffiziente Übertragung von visuomotorischen Strategien von der Simulation auf reale Systeme, mit Fokus auf die Manipulation von verformbaren Objekten. 5) Sanfte Manipulation von verformbaren Objekten: Stellt eine neuartige Methode vor, die diffusionsbasiertes Imitationslernen und probabilistische dynamische Bewegungsprimitive für dateneffiziente und robuste Strategien bei der Manipulation von verformbaren Objekten integriert. Die Forschung trägt zur kognitiven Chirurgie-Robotik bei, mit dem Ziel, die Patientenversorgung und die chirurgische Effizienz zu verbessern, mit besonderem Fokus auf die Synergie von menschlicher Expertise und robotischer Präzision.