Fundamentals of imaging in interferometric scattering microscopy: theoretical analysis and data science techniques
Grundlagen der Bildgebung in der interferometrischen Streumikroskopie: Theoretische Analyse und Datenverarbeitungstechniken
Creators: name: Gholami Mahmoodabadi, Reza
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: Studying cellular and subcellular processes in biology provides vital insights into our fundamental understanding of life. Labeling biological features with fluorescent labels and imaging them using a fluorescence microscope has been the method of choice in these investigations. However, this approach suffers from the limited photophysical properties of conventional fluorophores. In addition, labeling specimens with fluorophores is generally required, and this might affect the physiological state of the biological system under study. Therefore, noninvasive microscopy modalities that do not require labels are highly desirable. In the pursuit of achieving label-free imaging, a contrast mechanism native to specimens must be utilized. Scattering is one of the most attractive possibilities for attaining contrast without using labels. However, the scattering intensity of objects at nanoscales is very weak, resulting in significant technical challenges for their detection. As a means to circumvent these issues, the scattered electric field can be interfered with a reference beam to produce a pronounced interferometric contrast overlaid on a strong reference intensity. The readily accessible signal using this methodology relaxes several technological restrictions for detection. This technique, known as interferometric scattering (iSCAT) microscopy, allows the detection and tracking of matter at the nanoscale, even down to single, unlabeled proteins. Since the invention of iSCAT microscopy approximately twenty years ago, this technique has emerged as a powerful tool for label-free studies. However, the quantitative details for its image formation had not been examined prior to this doctoral dissertation. This restricted 3D tracking capabilities of iSCAT to an axial range of barely a few tens of nanometers. The current work presents a comprehensive computational study exploring and integrating various fundamental aspects of image formation in iSCAT and approaches from data science to tackle the sample’s complex scattering signal, as well as advance the detection sensitivity of iSCAT. The scope of this doctoral thesis ranges from the mathematical modeling and simulation of the interferometric point spread function (iPSF) in iSCAT to addressing challenges in iSCAT applications, i.e., algorithmic solutions for applications such as tracking proteins in cellular membranes and investigating membrane diffusion and fusion in model membranes. The findings and methodologies presented here contribute to advancing label-free detection and analysis of nanoscale matter in diverse research domains. The first aspect of this study addresses the formulation of the iPSF in iSCAT, for which a vectorial diffraction model is developed. Experimental measurements and rigorous simulations are employed to examine theiPSF in various imaging scenarios. In both the reflection imaging mode a transmission imaging mode of iSCAT, the effect of interfaces on the scattered light from a nanoparticle is examined in detail. Analyzing the information encoded in iPSFs demonstrates nanometric three-dimensional (3D) localization of nanoparticles over a two orders of magnitude longer axial range than was previously possible. These findings have direct positive implications for single particle tracking (SPT) against a more complex scattering background. The cellular background in iSCAT images is an example of one such environment. Another aspect of this work is to employ computational techniques to enable the study of protein motion in cell membranes and to investigate fundamental processes in lipid bilayers. Through the use of novel image processing techniques, we address the challenge of a speckle-like background and perform nanometer precision tracking of transmembrane epidermal growth factor receptors in all three dimensions. We showcase recordings of nanoscale motion and confinement in mechanisms such as diffusion in the plasma membrane, transport on filopodia, and rotational motion during endocytosis. In one study, we focus on pore-spanning membranes (PSMs). Utilizing iSCAT, we compare the diffusion of lipids in supported and suspended regions of PSMs. This makes it possible to directly examine the influence of the substrate on the diffusion of membrane components in supported regions. This adds to previous fluorescence studies that only looked at suspended regions. In another research project, we delve into the study of membrane fusion. By tracking the movement of single vesicles across giant unilamellar vesicles (GUVs), we can look at the intermediate states before membrane fusion. Lastly, we examine the complications associated with interferometric detection, specifically shot noise, speckle-like background, and technological difficulties in experimental setups, which adversely affect the highest achievable iSCAT sensitivity. We draw attention to key technical and conceptual requirements and deliver a set of modeling methods, together with algorithms from the fields of computer vision and machine learning, for iSCAT data processing. This paves the way for a completely novel set of applications in biophysical and medical research, where quantitative information extraction with unprecedented spatiotemporal details is in high demand.
description: Die Untersuchung von zellulären und subzellulären Prozessen in der Biologie liefert wichtige Einblicke in unser grundlegendes Verständnis des Lebens. Die Markierung biologischer Merkmale mit fluoreszierenden Markern und deren Abbildung mit einem Fluoreszenzmikroskop war die Methode der Wahl bei diesen Untersuchungen. Dieser Ansatz leidet jedoch unter den begrenzten photophysikalischen Eigenschaften herkömmlicher Fluorophore. Außerdem müssen die Proben in der Regel mit Fluorophoren markiert werden, was den physiologischen Zustand des untersuchten biologischen Systems beeinträchtigen kann. Daher sind nicht-invasive Mikroskopieverfahren, die ohne Markierungen auskommen, äußerst wünschenswert. Um eine markierungsfreie Bildgebung zu erreichen, muss ein für die Proben intrisicher Kontrastmechanismus genutzt werden. Streuung ist eine der attraktivsten Möglichkeiten, einen Kontrast ohne Markierungen zu erzielen. Die Streuungsintensität von Objekten im Nanobereich ist jedoch sehr gering, was ihre Erkennung zu einer großen technischen Herausforderung macht. Um diese Probleme zu umgehen, kann das gestreute elektrische Feld mit einem Referenzfeld interferiert werden, um einen ausgeprägten interferometrischen Kontrast zu erzeugen, der eine starke Referenzintensität überlagert. Das mit dieser Methode leicht zugängliche Signal lockert mehrere technologische Detektions-beschränkungen. Diese Technik, die als interferometrische Streuungsmikroskopie (iSCAT) bezeichnet wird, ermöglicht den Nachweis und die Verfolgung von Materie im Nanobereich, bis hin zu einzelnen unmarkierten Proteinen. Seit der Erfindung der iSCAT-Mikroskopie vor etwa zwanzig Jahren hat sich diese Technik zu einem leistungsstarken Werkzeug für markierungsfreie Studien entwickelt. Allerdings wurden die quantitativen Details der Bilderzeugung vor dieser Doktorarbeit nie untersucht. Dies beschränkte die 3D-Verfolgungs-Fähigkeiten von iSCAT auf einen axialen Bereich von nur wenigen zehn Nanometern. Die vorliegende Arbeit stellt eine umfassende rechnerische Studie vor, in der verschiedene grundlegende Aspekte der Bildentstehung bei iSCAT und Ansätze aus der Datenverarbeitung untersucht und integriert werden, um das komplexe Streusignal der Probe zu bewältigen und die Nachweisempfindlichkeit von iSCAT zu verbessern. Der Umfang dieser Doktorarbeit reicht von der mathematischen Modellierung und Simulation der interferometrischen Punktspreizfunktion (iPSF) in iSCAT bis hin zur Bewältigung von Herausforderungen bei iSCAT-Anwendungen, d.h. algorithmische Lösungen für Anwendungen wie die Verfolgung von Proteinen in Zellmembranen und die Untersuchung von Membrandiffusion und {-fusion} in Modellmembranen. Die hier vorgestellten Erkenntnisse und Methoden tragen dazu bei, die markierungsfreie Detektion und Analyse von nanoskaliger Materie in verschiedenen Forschungsbereichen voranzutreiben. Der erste Aspekt dieser Studie befasst sich mit der Formulierung des iPSF in iSCAT, für das ein vektorielles Beugungsmodell entwickelt wurde. Experimentelle Messungen und strenge Simulationen wurden eingesetzt, um die iPSF in verschiedenen Abbildungsszenarien zu untersuchen. Sowohl im Reflexionsbildgebungsmodus als auch im Transmissionsbildgebungsmodus von iSCAT wurde der Einfluss von Grenzflächen auf das von einem Nanopartikel gestreute Licht im Detail untersucht. Die Analyse der in den iPSFs kodierten Informationen zeigt eine nanometergenauere dreidimensionale (3D) Lokalisierung von Nanopartikeln über einen um zwei Größenordnungen größeren axialen Bereich als bisher möglich war. Diese Erkenntnisse haben direkte positive Auswirkungen auf die Einzelpartikelverfolgung vor einem komplexeren Streuungshintergrund. Der Zell- Hintergrund in iSCAT-Bildern ist ein Beispiel für eine solche Umgebung. Ein weiterer Aspekt dieser Arbeit ist der Einsatz von Computertechniken, um die Untersuchung von Proteinbewegungen in Zellmembranen zu ermöglichen und grundlegende Prozesse in Lipiddoppelschichten zu untersuchen. Durch den Einsatz neuartiger Bildverarbeitungstechniken bewältigen wir die Herausforderung eines Speckle-artigen Hintergrunds und führen eine nanometergenaue Verfolgung von transmembranen Epidermal Growth Factor Rezeptoren in allen drei Dimensionen durch. Wir zeigen Aufzeichnungen von Bewegungen im Nanobereich und deren Begrenzung bei Mechanismen wie der Diffusion in der Plasmamembran, dem Transport auf Filopodien und der Rotationsbewegung während der Endozytose. In einer Studie konzentrieren wir uns auf porenüberspannende Membranen (PSMs). Mithilfe von iSCAT vergleichen wir die Diffusion von Lipiden in gestützten und fre hängenten Regionen von PSMs. Dies ermöglicht es, den Einfluss des Substrats auf die Diffusion von Membrankomponenten in gestützten Regionen direkt zu untersuchen. Dies ergänzt frühere Fluoreszenzstudien, die nur die suspendierten Regionen untersuchten. In einem anderen Forschungsprojekt befassen wir uns mit der Untersuchung der Membranfusion. Indem wir die Bewegung einzelner Vesikel durch riesige unilamellare Vesikel (GUVs) verfolgen, können wir die Zwischenzustände vor der Membranfusion untersuchen. Schließlich untersuchen wir die Komplikationen, die mit der interferometrischen Detektion verbunden sind, insbesondere das Schrotrauschen, den Speckle-ähnlichen Hintergrund und die technischen Schwierigkeiten bei den Versuchsaufbauten, die sich negativ auf die höchstmögliche iSCAT-Empfindlichkeit auswirken. Wir weisen auf die wichtigsten technischen und konzeptionellen Anforderungen hin und liefern eine Reihe von Modellierungsmethoden sowie Algorithmen aus den Bereichen Computer Vision und maschinelles Lernen für die iSCAT-Datenverarbeitung. Dies ebnet den Weg für eine völlig neue Reihe von Anwendungen in der biophysikalischen und medizinischen Forschung, wo eine quantitative Informationsgewinnung mit noch nie dagewesenen räumlichen und zeitlichen Details sehr gefragt ist.