title: Erkennung visueller Konzepte in Bildern und Videos
title: Visual Concept Detection in Images and Videos
Creators: name: Mühling, Markus
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: Video Retrieval
Mustererkennung
Bildverstehen
Information Retrieval
Image Retrieval
Maschinelles Lernen
Informatik
Visual Concept Detection
Video
Bild

description: The rapidly increasing
      proliferation of digital images and videos leads to a
      situation where content-based search in multimedia databases
      becomes more and more important. A prerequisite for effective
      image and video search is to analyze and index media content
      automatically. Current approaches in the field of image and
      video retrieval focus on semantic concepts serving as an
      intermediate description to bridge the “semantic gap” between
      the data representation and the human interpretation. Due to
      the large complexity and variability in the appearance of
      visual concepts, the detection of arbitrary concepts
      represents a very challenging task. In this thesis, the
      following aspects of visual concept detection systems are
      addressed: First, enhanced local descriptors for mid-level
      feature coding are presented. Based on the observation that
      scale-invariant feature transform (SIFT) descriptors with
      different spatial extents yield large performance
      differences, a novel concept detection system is proposed
      that combines feature representations for different spatial
      extents using multiple kernel learning (MKL). A multi-modal
      video concept detection system is presented that relies on
      Bag-of-Words representations for visual and in particular for
      audio features. Furthermore, a method for the SIFT-based
      integration of color information, called color moment SIFT,
      is introduced. Comparative experimental results demonstrate
      the superior performance of the proposed systems on the
      Mediamill and on the VOC Challenge. Second, an approach is
      presented that systematically utilizes results of object
      detectors. Novel object-based features are generated based on
      object detection results using different pooling strategies.
      For videos, detection results are assembled to object
      sequences and a shot-based confidence score as well as
      further features, such as position, frame coverage or
      movement, are computed for each object class. These features
      are used as additional input for the support vector machine
      (SVM)-based concept classifiers. Thus, other related concepts
      can also profit from object-based features. Extensive
      experiments on the Mediamill, VOC and TRECVid Challenge show
      significant improvements in terms of retrieval performance
      not only for the object classes, but also in particular for a
      large number of indirectly related concepts. Moreover, it has
      been demonstrated that a few object-based features are
      beneficial for a large number of concept classes. On the VOC
      Challenge, the additional use of object-based features led to
      a superior performance for the image classification task of
      63.8% mean average precision (AP). Furthermore, the
      generalization capabilities of concept models are
      investigated. It is shown that different source and target
      domains lead to a severe loss in concept detection
      performance. In these cross-domain settings, object-based
      features achieve a significant performance improvement. Since
      it is inefficient to run a large number of single-class
      object detectors, it is additionally demonstrated how a
      concurrent multi-class object detection system can be
      constructed to speed up the detection of many object classes
      in images. Third, a novel, purely web-supervised learning
      approach for modeling heterogeneous concept classes in images
      is proposed. Tags and annotations of multimedia data in the
      WWW are rich sources of information that can be employed for
      learning visual concepts. The presented approach is aimed at
      continuous long-term learning of appearance models and
      improving these models periodically. For this purpose,
      several components have been developed: a crawling component,
      a multi-modal clustering component for spam detection and
      subclass identification, a novel learning component, called
      “random savanna”, a validation component, an updating
      component, and a scalability manager. Only a single word
      describing the visual concept is required to initiate the
      learning process. Experimental results demonstrate the
      capabilities of the individual components. Finally, a generic
      concept detection system is applied to support
      interdisciplinary research efforts in the field of psychology
      and media science. The psychological research question
      addressed in the field of behavioral sciences is, whether and
      how playing violent content in computer games may induce
      aggression. Therefore, novel semantic concepts most notably
      “violence” are detected in computer game videos to gain
      insights into the interrelationship of violent game events
      and the brain activity of a player. Experimental results
      demonstrate the excellent performance of the proposed
      automatic concept detection approach for such
      interdisciplinary research.
description: Aufgrund der starken Verbreitung
      digitaler Bild- und Videodaten wächst der Bedarf an
      Möglichkeiten zur inhaltsbasierten Suche. Hierzu sind
      Verfahren, welche Bilder und Videos automatisch mit
      entsprechenden Annotationen versehen, erforderlich. Aktuelle
      Forschungsansätze im Bereich Bild- und Videoretrieval
      basieren auf semantischen Konzepten, die als intermediäre
      Beschreibung dienen, um die “semantische Lücke” zwischen der
      Datenrepräsentation und der menschlichen Interpretation des
      Inhalts zu schließen. Die Detektion beliebiger visueller
      Konzepte stellt aufgund der hohen Komplexität und
      Variabilität im Erscheinungsbild eine große Herausforderung
      dar. Die vorliegende Arbeit befasst sich mit folgenden
      Aspekten zur visuellen Konzeptdetektion in Bildern und
      Videos: Erstens werden verbesserte lokale Deskriptoren für
      die Kodierung von Mid-Level Merkmalen präsentiert. Basierend
      auf der Beobachtung, dass Scale-Invariant Feature Transform
      (SIFT) Deskriptoren mit unterschiedlichen räumlichen
      Ausdehnungen große Performanceunterschiede pro Konzept
      erzielen, wird ein neuer Ansatz zur Konzeptdetektion
      vorgestellt. Dieser kombiniert Merkmalsrepräsentationen für
      unterschiedliche räumliche Ausdehnungen mittels Multiple
      Kernel Learning. Zur Konzeptdetektion in Videos wird ein
      multimodales System vorgeschlagen, welches das Bag-of-Words
      Verfahren auf visuelle Merkmale und insbesondere auf
      Audiomerkmale anwendet. Zudem wird eine Methode zur
      SIFT-basierten Integration von Farbinformationen, Color
      Moment SIFT genannt, eingeführt. Experimentelle Ergebnisse
      demonstrieren die hervorragende Performanz der
      vorgeschlagenen Ansätze auf der Mediamill sowie auf der VOC
      Challenge. Diese Merkmale werden als zusätzliche Eingabe für
      die Support Vector Machine (SVM)-basierten
      Konzeptklassifizierer verwendet. Somit können auch indirekte
      Konzepte von Objekt-basierten Merkmalen profitieren.
      Umfangreiche Experimente auf der Mediamill, VOC und TRECVid
      Challenge zeigen signifikante Verbesserungen der
      Retrieval-Performance, nicht nur für die Objektklassen selbst
      sondern insbesondere für eine große Anzahl indirekt im
      Zusammenhang mit den Objektklassen stehender Konzepte. Es
      konnte gezeigt werden, dass bereits eine geringe Anzahl
      Objekt-basierter Merkmale für eine große Anzahl an
      Konzeptklassen vorteilhaft ist. Auf der VOC Challenge wurde
      durch das Hinzunehmen Objekt-basierter Merkmale eine
      herausragende Performanz von im Schnitt 63.8% Average
      Precision erzielt. Desweiteren wurde die
      Generalisierungsfähigkeit von Konzeptmodellen untersucht. So
      wurde gezeigt, dass unterschiedliche Quell- und Zieldomänen
      zu einem schwerwiegenden Performanzverlust führen und dass
      Objekt-basierte Merkmale die Domänen-übergreifende Performanz
      in der Konzeptdetektion deutlich verbessern. Da es sich als
      ineffizient erwiesen hat, eine große Anzahl von Single-Class
      Objektdetektoren anzuwenden, wurde ferner ein Multi-Class
      System basierend auf Hough-Forests zur Beschleunigung der
      Detektion mehrerer Objektklassen in Bildern vorgeschlagen.
      Drittens wird ein neuartiger rein Web-überwachter Lernansatz
      zur Modellierung heterogener Konzeptklassen in Bildern
      vorgestellt. Annotationen von Multimediadaten im WWW sind
      ergiebige Informationsquellen, welche zum Lernen visueller
      Konzepte herangezogen werden können. Der präsentierte Ansatz
      zielt auf ein kontinuierliches langfristiges Lernen von
      Modellen und deren periodischer Verbesserung ab. Zu diesem
      Zweck wurden mehrere Komponeneten entwickelt, darunter ein
      Webcrawler, eine multi-modale Clustering-Komponente zur
      Spamdetektion und zur Erkennung von Unterklassen, ein
      neuartiges Lernverfahren, das sog. “Random Savanna” sowie
      eine Validierungs-, eine Aktualisierungs- und eine
      Skalierbarkeitskomponente. Ein einziges Wort zur Beschreibung
      des visuellen Konzepts reicht aus, um den Lernprozess zu
      starten. Experimentelle Ergebnisse demonstrieren die
      Leistungsfähigkeit der einzelnen Komponenten. Schließlich
      wird ein generisches System zur visuellen Konzeptdetektion
      vorgestellt, welches zur Unterstützung interdisziplinärer
      Forschung im Bereich Psychologie und Medienwissenschaften
      eingesetzt wird. Um Einblick in die Wechselbeziehung von
      gewalttätigen Spielereignissen und der Gehirnaktivität des
      Spielers zu gewinnen, wurden neuartige semantische Konzepte,
      allen voran “Gewalt”, in Computerspielvideos detektiert.
      Experimentelle Ergebnisse zeigen die exzellente Performanz
      des vorgeschlagenen generischen Ansatzes zur automatischen
      Konzeptdetektion für derartige interdisziplinäre
      Forschung.