Punktbasiertes 3D-Tracking starrer und dynamischer Modelle mit einem Stereokamerasystem für mixed reality

Virtual Reality (VR) und Augmented Reality (AR) sowie die verschiedenen Zwischenformen, die unter dem Begriff Mixed Reality (MR) zusammengefasst sind, haben vor allem eines gemeinsam: Tracking, das heist die Verfolgung von Objekten oder Personen in Echtzeit, bildet einen wesentlichen technologischen Bestandteil zahlreicher MR-Anwendungen. Wahrend im VR-Bereich Tracking ein wichtiges Instrument ist, um Anwendungen immersiver zu machen und eine naturlichere Interaktion mit den virtuellen Welten zu ermoglichen, ist Tracking fur AR von elementarer Bedeutung, da vor allem der Blickpunkt und die Ausrichtung des Betrachters bekannt sein mussen, um eine Uberlagerung der realen Sicht zu ermoglichen. Im Rahmen dieser Arbeit wurden verschiedene Algorithmen fur videobasiertes, raumliches Tracking entwickelt. Alle Algorithmen basieren auf der bereits durch ein Stereokamerasystem rekonstruierten Menge von 3D-Punkten und ermoglichen Verfolgung von Objekten und/oder Personen in Echtzeit (3D-Tracking). Die Algorithmen sind auch an Systeme anpassbar, die aus einfachen Hardwarekomponenten bestehen. Dazu zahlen insbesondere Stereokamerasysteme mit zwei einfachen Kameras. Ein Schwerpunkt dieser Arbeit besteht in der Eignung der Algorithmen fur Infrarottrackingsysteme, bei denen die rekonstruierten 3D-Punkte die Koordinaten einheitlicher, kugelformiger, also nicht unterscheidbarer, Marker sind. Weitere Grundlagen fur die gesamte Verarbeitungspipeline eines solchen Trackingsystems, wie Kalibrierung der Kameras und Bildverarbeitung, Rekonstruktion der 3D-Punkte, sowie die Filterung der durch das Tracking bestimmten Transformationen sind hinsichtlich der Zusammenhange mit den entwickelten Algorithmen kurz dargestellt. Die Trackingalgorithmen sind in verschiedene Bereiche unterteilt: Dies sind unter anderem die Verfolgung einzelner Punkte, die Verfolgung einer beliebigen Anzahl relativ zueinander fest (starr) positionierter Punkte oder die Verfolgung einer sich verandernden (dynamischen) Anordnung von Punkten. Die verschiedenen Arten von Konstellationen von 3D-Punkten werden in dieser Arbeit als Modelle bezeichnet, die jeweils eine effiziente und zuverlassige Verfolgung unterstutzen. Neben dem eigentlichen Tracking wird ebenfalls das Initialisieren, beziehungsweise das Anlernen der Modelle, beschrieben. Ein Algorithmus fur das Anlernen starrer Modellen wird dargestellt, bei dem das Modell wahrend der Anlernphase frei bewegt werden kann. Die Erweiterung eines 3D-Punktes durch ein Punktmodell, welches Zusatzinformationen tragt, wie zum Beispiel dessen vorausgegangene Positionen oder bestimmte Indizes, wird so eingefuhrt, dass es fur alle hier entwickelten Trackingalgorithmen verwendbar ist. Dies unterstutzt die Moglichkeit verschiedene Modelltypen innerhalb eines Trackingframeworks zu kombinieren. Neben der Entwicklung der Theorie fur die Algorithmen ist der direkte Bezug zu praktischen Anwendungen dargestellt, unter anderem anhand des Medarpa Projekts. Insbesondere die durch die Anwendungen vorgegebenen Anforderungen an die Algorithmen werden dabei berucksichtigt.