Augmented Reality-based Assistance and Automated Planning for Neurosurgical Interventions
Creators: name: Kunz, Christian-Peter
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2022
Subjects: Augmented Reality
Neurosurgery
Neurosurgical Interventions
Automated Operation Planning
Medical Robotics
Medical Automation
Statistical Shape Models
Computer Assisted Interventions
Ventricular Puncture

description: Neurochirurgische Eingriffe sind aufgrund der empfindlichen Strukturen des menschlichen Gehirns eine große Herausforderung. Das gesamte Gehirn besteht aus sensiblem Gewebe, das so wenig wie möglich beeinträchtigt werden sollte. Dennoch ist dies nicht immer möglich, da es bei vielen Operation nötig ist, durch Gewebe hindurch zum Zielgebiet zu gelangen. Beispiele sind Biopsien, die Ventrikelpunktion, tiefe Hirnstimulation und Tumorentfernungen. Dabei muss speziell verhindert werden, dass Hochrisikobereiche verletzt werden, da dies zu erheblichen neurologischen Beeinträchtigungen führen kann, z.B. dem Verlust der Sprachfähigkeit. Eine optimierte Planung der Operation kann hierbei verhindern, dass Hochrisikobereiche verletzt werden, um so neurologische Schäden zu verhindern. In dieser Arbeit wird ein neuartiges System vorgestellt, das den kompletten chirurgischen Arbeitsablauf abdeckt, indem eine vollautomatische Operationsplanung und anschließende Szenenregistrierung ausgeführt wird, um dem Chirurgen eine intraoperative Assistenz auf Basis von Augmented Reality (AR) zu ermöglichen. In einem ersten Schritt werden die Bilddaten des Patienten segmentiert, um Patientenmodelle zu erstellen, die die Anatomie des zu Operierenden möglichst exakt darstellen. Die vorgestellten Methoden erreichen eine Segmentierungsgenauigkeit von 98% (F1-Score). In einem weiteren Schritt verwendet das System Statistical Shape Models, um die Punktionstrajektorie für den linken und rechten Ventrikel automatisiert zu bestimmen. Der Kocher Punkt wird in 98,4% der Fälle gefunden. Der korrekte Zielpunkt innerhalb des Ventrikelsystems wird in 95,4% bestimmt. Dies führt insgesamt zu 93,9% korrekt geplanten Trajektorien. Diese Planung wird durch eine patientenspezifische, Risikokarten-basierte Eintrittspunktbestimmung erweitert, um den optimalen risikoreduzierten Pfad für einen Patienten zu finden. In dieser Arbeit werden Methoden vorgestellt, die ein robustes und akkurates Tracking des Patienten während eines chirurgischen Eingriffs ermöglichen. Verschiedene Marker für eine robuste Patientenverfolgung wurden untersucht. Als Ergebnis sind Vuforia Marker ausgewählt worden, da diese die Anforderungen am besten abdecken. Zusätzlich wurde ein Infrarot-Marker Tracking auf der zur Unterstützung verwendeten AR-Brille (HoloLens) implementiert, um die Unzulänglichkeiten der relativ großen und nicht frei nutzbaren zwei-dimensionalen Vuforia Marker zu adressieren. Die chirurgischen Anforderungen an Sterilisierbarkeit und eine hohe Trackinggenauigkeit werden durch die Infrarot Marker erfüllt. Es wird ein Markersystem vorgestellt, das den Prozesswechsel von der unsterilen zur sterilen Operationsphase unterstützt. Die Wiederholgenauigkeit bei erneuter Montage beträgt 0,18 $\pm$ 0,06 mm. Das Markersystem kann Vuforia- und Infrarotmarker aufnehmen. Es werden vier Registrierungsmethoden vorgestellt, um das Markersystem auf den Patienten zu registrieren. Drei der Verfahren unterstützen einen Benutzer bei der manuellen Registrierung, um die Patientenmodelle möglichst exakt mit dem realen Patienten in Einklang zu bringen. Verwendet werden kann ein Spielecontroller, ein Pointer oder Gesten. Das letzte Verfahren verwendet einen mehrstufigen surface matching Ansatz, um die Registrierung automatisiert auszuführen. Die Registrierungsmethode mithilfe des Spielecontrollers erreicht die höchste Genauigkeit mit einem Wert von 2,71 $\pm$ 1,18 mm. Die erstellten Patientenmodelle und die ermittelten Punktionstrajektorien werden verwendet, um den Chirurgen intraoperativ durch Visualisierung dieser verborgenen Strukturen zu unterstützen. Die vorgestellten Methoden erhöhen die Punktionsgenauigkeit von linearen Trajektorien in Bezug auf die optimalen Eintritts- und Zielpunkte. Dies kann zu einer geringeren Penetrationsrate von Hochrisikobereichen im Gehirn und zu einem besseren Ergebnis für den Patienten führen. Zunächst wurden Experimente nach dem Behandlungsstandard durchgeführt. Dabei wurde ein mittlerer Fehler von 6,6 $\pm$ 3,1 mm und eine Erfolgsrate von 72,7% festgestellt. Diese Werte liegen im Bereich, der im Stand der Forschung kommuniziert wird. In der ersten Stufe wird dem Anwender eine virtuelle Führung zur Unterstützung bei neurochirurgischen Eingriffen zur Verfügung gestellt. Dabei wurde ein mittlerer Fehler von 4,8 $\pm$ 2,5 mm und eine um neun Prozent bessere Erfolgsrate von 81,7% ermittelt. In einer aufbauenden Stufe wurde die Herausforderung eines gut gewählten initialen Punktionswinkels durch die Einführung einer Katheternavigationshilfe in Kombination mit dem AR-System adressiert. Der mittlere Fehler konnte auf 3,1 $\pm$ 1,8 mm gesenkt werden und eine Erfolgsrate von 98% wurde erreicht. Dennoch blieb die Herausforderung einer manuellen Manipulation bestehen. Um eine stabilere Manipulation im Raum zu ermöglichen, wurde die Navigationshilfe an einen Roboter montiert, der mit einem Spielecontroller telemanipuliert werden kann. Der Controller wurde verwendet, um den korrekten Winkel einzustellen. Es wurde ein mittlerer Fehler von 1,9 $\pm$ 1,2 mm erreicht. Alle Katheter konnten korrekt platziert werden. In den darauffolgenden Schritten wurde jeweils eine höhere Genauigkeit und Präzision erreicht.