Unsupervised object candidate discovery for activity recognition

Die automatische Interpretation menschlicher Bewegungsablaufe auf Basis von Videos ist ein wichtiger Bestandteil vieler Anwendungen im Bereich des Maschinellen Sehens, wie zum Beispiel Mensch-Roboter Interaktion, Videouberwachung, und inhaltsbasierte Analyse von Multimedia Daten. Anders als die meisten Ansatze auf diesem Gebiet, die hauptsachlich auf die Klassifikation von einfachen Aktionen, wie Aufstehen, oder Gehen ausgerichtet sind, liegt der Schwerpunkt dieser Arbeit auf der Erkennung menschlicher Aktivitaten, d.h. komplexer Aktionssequenzen, die meist Interaktionen des Menschen mit Objekten beinhalten. Gemas der Aktionsidentifikationstheorie leiten menschliche Aktivitaten ihre Bedeutung nicht nur von den involvierten Bewegungsmustern ab, sondern vor allem vom generellen Kontext, in dem sie stattfinden. Zu diesen kontextuellen Informationen gehoren unter anderem die Gesamtheit aller vorher furchgefuhrter Aktionen, der Ort an dem sich die aktive Person befindet, sowie die Menge der Objekte, die von ihr manipuliert werden. Es ist zum Beispiel nicht moglich auf alleiniger Basis von Bewegungsmustern und ohne jeglicher Miteinbeziehung von Objektwissen zu entschieden ob eine Person, die ihre Hand zum Mund fuhrt gerade etwas isst oder trinkt, raucht, oder blos die Lippen abwischt. Die meisten Arbeiten auf dem Gebiet der computergestutzten Aktons- und Aktivitatserkennung ignorieren allerdings jegliche durch den Kontext bedingte Informationen und beschranken sich auf die Identifikation menschlicher Aktivitaten auf Basis der beobachteten Bewegung. Wird jedoch Objektwissen fur die Klassifikation miteinbezogen, so geschieht dies meist unter Zuhilfenahme von uberwachten Detektoren, fur deren Einrichtung widerum eine erhebliche Menge an Trainingsdaten erforderlich ist. Bedingt durch die hohen zeitlichen Kosten, die die Annotation dieser Trainingsdaten mit sich bringt, wird das Erweitern solcher Systeme, zum Beispiel durch das Hinzufugen neuer Typen von Aktionen, zum eigentlichen Flaschenhals. Ein weiterer Nachteil des Hinzuziehens von uberwacht trainierten Objektdetektoren, ist deren Fehleranfalligkeit, selbst wenn die verwendeten Algorithmen dem neuesten Stand der Technik entsprechen. Basierend auf dieser Beobachtung ist das Ziel dieser Arbeit die Leistungsfahigkeit computergestutzter Aktivitatserkennung zu verbessern mit Hilfe der Hinzunahme von Objektwissen, welches im Gegensatz zu den bisherigen Ansatzen ohne uberwachten Trainings gewonnen werden kann. Wir Menschen haben die bemerkenswerte Fahigkeit selektiv die Aufmerksamkeit auf bestimmte Regionen im Blickfeld zu fokussieren und gleichzeitig nicht relevante Regionen auszublenden. Dieser kognitive Prozess erlaubt es uns unsere beschrankten Bewusstseinsressourcen unbewusst auf Inhalte zu richten, die anschliesend durch das Gehirn ausgewertet werden. Zum Beispiel zur Interpretation visueller Muster als Objekte eines bestimmten Typs. Die Regionen im Blickfeld, die unsere Aufmerksamkeit unbewusst anziehen werden als Proto-Objekte bezeichnet. Sie sind definiert als unbestimmte Teile des visuellen Informationsspektrums, die zu einem spateren Zeitpunkt durch den Menschen als tatsachliche Objekte wahrgenommen werden konnen, wenn er seine Aufmerksamkeit auf diese richtet. Einfacher ausgedruckt: Proto-Objekte sind Kandidaten fur Objekte, oder deren Bestandteile, die zwar lokalisiert aber noch nicht identifiziert wurden. Angeregt durch die menschliche Fahigkeit solche visuell hervorstechenden (salienten) Regionen zuverlassig vom Hintergrund zu unterscheiden, haben viele Wissenschaftler Methoden entwickelt, die es erlauben Proto-Objekte zu lokalisieren. Allen diesen Algorithmen ist gemein, dass moglichst wenig statistisches Wissens uber tatsachliche Objekte vorausgesetzt wird. Visuelle Aufmerksamkeit und Objekterkennung sind sehr eng miteinander vernkupfte Prozesse im visuellen System des Menschen. Aus diesem Grund herrscht auf dem Gebiet des Maschinellen Sehens ein reges Interesse an der Integration beider Konzepte zur Erhohung der Leistung aktueller Bilderkennungssysteme. Die im Rahmen dieser Arbeit entwickelten Methoden gehen in eine ahnliche Richtung: wir demonstrieren, dass die Lokalisation von Proto-Objekten es erlaubt Objektkandidaten zu finden, die geeignet sind als zusatzliche Modalitat zu dienen fur die bewegungsbasierte Erkennung menschlicher Aktivitaten. Die Grundlage dieser Arbeit bildet dabei ein sehr effizienter Algorithmus, der die visuelle Salienz mit Hilfe von quaternionenbasierten DCT Bildsignaturen approximiert. Zur Extraktion einer Menge geeigneter Objektkandidaten (d.h. Proto-Objekten) aus den resultierenden Salienzkarten, haben wir eine Methode entwickelt, die den kognitiven Mechanismus des Inhibition of Return implementiert. Die auf diese Weise gewonnenen Objektkandidaten nutzen wir anschliessend in Kombination mit state-of-the-art Bag-of-Words Methoden zur Merkmalsbeschreibung von Bewegungsmustern um komplexe Aktivitaten des taglichen Lebens zu klassifizieren. Wir evaluieren das im Rahmen dieser Arbeit entwickelte System auf diversen haufig genutzten Benchmark-Datensatzen und zeigen experimentell, dass das Miteinbeziehen von Proto-Objekten fur die Aktivitatserkennung zu einer erheblichen Leistungssteigerung fuhrt im Vergleich zu rein bewegungsbasierten Ansatzen. Zudem demonstrieren wir, dass das vorgestellte System bei der Erkennung menschlicher Aktivitaten deutlich weniger Fehler macht als eine Vielzahl von Methoden, die dem aktuellen Stand der Technik entsprechen. Uberraschenderweise ubertrifft unser System leistungsmasig sogar Verfahren, die auf Objektwissen aufbauen, welches von uberwacht trainierten Detektoren, oder manuell erstellten Annotationen stammt. Benchmark-Datensatze sind ein sehr wichtiges Mittel zum quantitativen Vergleich von computergestutzten Mustererkennungsverfahren. Nach einer Uberprufung aller offentlich verfugbaren, relevanten Benchmarks, haben wir jedoch festgestellt, dass keiner davon geeignet war fur eine detaillierte Evaluation von Methoden zur Erkennung komplexer, menschlicher Aktivitaten. Aus diesem Grund bestand ein Teil dieser Arbeit aus der Konzeption und Aufnahme eines solchen Datensatzes, des KIT Robo-kitchen Benchmarks. Wie der Name vermuten lasst haben wir uns dabei fur ein Kuchenszenario entschieden, da es ermoglicht einen grosen Umfang an Aktivitaten des taglichen Lebens einzufangen, von denen viele Objektmanipulationen enthalten. Um eine moglichst umfangreiche Menge naturlicher Bewegungen zu erhalten, wurden die Teilnehmer wahrend der Aufnahmen kaum eingeschrankt in der Art und Weise wie die diversen Aktivitaten auszufuhren sind. Zu diesem Zweck haben wir den Probanden nur die Art der auszufuhrenden Aktivitat mitgeteilt, sowie wo die benotigten Gegenstande zu finden sind, und ob die jeweilige Tatigkeit am Kuchentisch oder auf der Arbeitsplatte auszufuhren ist. Dies hebt KIT Robo-kitchen deutlich hervor gegenuber den meisten existierenden Datensatzen, die sehr unrealistisch gespielte Aktivitaten enthalten, welche unter Laborbedingungen aufgenommen wurden. Seit seiner Veroffentlichung wurde der resultierende Benchmark mehrfach verwendet zur Evaluation von Algorithmen, die darauf abzielen lang andauerne, realistische, komplexe, und quasi-periodische menschliche Aktivitaten zu erkennen.