Automatic video segmentation by polygon evolution

This work treats the segmentation of videos with pre-defined start and end frame, as well as video data streams without a firmly defined start and end frame. The video segmentation consists of the time analysis of the video data material and the determination of striking segments in this material, as well as the representation of the segments by single frames. The video segmentation is used in multiple applications, e.g. in the production control, monitoring as well as in the automatic interpretation of videos. The fundamental concepts of the used image processing are explained. Since there are no objective and clear criteria for the definition of video segments, subjective criteria are deduced, which a video segmentation should fulfill. As foundation for the video segmentation the discrete curve evolution is used, which turned out as a flexible and versatile applicable algorithm. It was developed at the University of Hamburg by Mr. Latecki and Mr. Lakamper and used by Mr. DeMenthon at the University of Maryland (USA) for video segmentation. The used frame descriptors are based on the statistical analysis of pixels, whereby a reduction of the picture information in R^37 is reached. These frame descriptors and algorithms are further analyzed and verified by experiments. This leads to the normalization of the basic video material concerning playing speed of the video and the dimensions of the display format. Additionally the selected number of frame descriptors is improved, normalized and weighted. The use of morphological filters on the characteristics round off the improvement of these characteristics. A further beginning off the improvement of video segmentation is the use of other frame descriptors, e.g. the RGB-color space and/or dominating colors, on which will be get into deeper. It will be shown, how the video segmentation algorithm can be applied to video data streams by the use of a window. The problems and possible proposals for solution arising here are addressed. The work is rounded off by a description of the accomplished experiments. Die Arbeit behandelt die Segmentierung von sowohl Videos mit vordefinierten Anfangs- und Endbildern als auch Videodatenstrome ohne ein fest definiertes Anfangs- und Endbild. Die Videosegmentierung besteht aus der Zeitanalyse des Videodatenmaterials und der Bestimmung von markanten Abschnitten in diesem Material, sowie der Reprasentation der Abschnitte durch Einzelbilder. Die Videosegmentierung findet vielfache Anwendung z.B. in der Produktions-kontrolle, der Uberwachung sowie in der automatischen Interpretation von Filmen. Es werden die Grundbegriffe der verwendeten Bildverarbeitung erklart. Da es keine objektive und eindeutige Kriterien fur die Definition der Videosegmente gibt, werden subjective Kriterien hergeleitet, die eine Videosegmentierung erfullen sollte. Als Grundlage fur die Videosegmentierung wird die Diskrete Kurvenevolution verwendet, die sich als ein flexibler und vielseitig anwendbarer Algorithmus herausgestellt hat. Sie wurde an der Universitat Hamburg von Herrn Latecki ur die Videosegmentierung angewandt. Die benutzten Bilddeskriptoren basieren auf der statistischen Analyse von Bildpunkten, wodurch eine Reduzierung der Bildinformationen auf R hoch 37 erreicht wird. Diese Bilddeskriptoren und Algorithmen werden naher analysiert und durch Experimente verifiziert. Die daraus gewonnenen Informationen werden benutzt um die Deskriptoren und Algorithmen zu verbessern. Dies fuhrt zur Normalisierung des zugrunde liegenden Videomaterials bzgl. Abspielgeschwindigkeit des Videos und der Dimensionen des Bildformates. Zudem wird die gewahlte Anzahl der Bilddeskriptoren verbessert, normalisiert und gewichtet. Die Anwendung von morphologischen Filtern auf den Merkmalen rundet die Verbesserung dieser Merkmale ab. Ein weiterer Ansatz fur die Verbesserung der Bildsegmentierung ist die Verwendung von anderen Bilddeskriptoren, wie z.B. der RGB-Farbraum bzw. dominierende Farben, worauf vertieft eingegangen wird. Es wird gezeigt, wie der Videosegmentierungsalgorithmus durch die Verwendung eines Fensters auch auf Videodatenstrome angewandt werden kann. Die hier auftretenden Probleme und mogliche Losungsvorschlage werden angesprochen. Die Arbeit wird durch eine Beschreibung der durchgefuhrten Experimente abgerundet.