Interactive, example-driven synthesis and manipulation of visual media

This thesis proposes several novel techniques for interactive, example-driven synthesis and manipulation of visual media. The numerous display devices in our everyday lives make visual media, such as images, videos, or three-dimensional models, easily accessible to a large group of people. Consequently, there is a rising demand for efficient generation of synthetic visual content and its manipulation, especially by casual users operating on low-end, mobile devices. Off-the-shelf software supporting such tasks typically requires extensive training and in-depth understanding of the underlying concepts of content acquisition, on the one hand, and runs only on powerful desktop machines, on the other hand, limiting the possibility of artistic media generation to a small group of trained experts with appropriate hardware. Our proposed techniques aim to alleviate these requirements by allowing casual users to synthesize complex, high-quality content in real-time as well as to manipulate it by means of simple, example-driven interactions. First, this thesis discusses a manipulation technique that visualizes an additional level of information, such as importance, on images and three-dimensional surface models by local, non-uniform, and self-intersection-free size manipulations. Second, we propose a technique to automatically arrange and sort collections of images based on the images’ shape and a sparse set of exemplar images that builds on a novel distribution algorithm. Along this line, an extension for higher dimensions such as three-dimensional models is presented and the implications of distributions for lower-dimensional projections are discussed. Further, the spectral properties of the distributions are analyzed and the results are applied for efficient, high-quality image synthesis. Finally, we suggest an algorithm to extract deformable, three dimensional content from a two-dimensional video leveraging a simple limb representation that the user sketches onto a sparse set of keyframes. All methods build on the availability of massively parallel execution hardware, such as graphics processing units (GPUs), nowadays built also into cheap mobile devices. By mathematical abstraction, parallelization, and task distribution our algorithms achieve a high efficiency that allows running our methods in real-time on low-end devices. Die vorliegende Dissertation stellt mehrere neuartige Techniken zur interaktiven, beispielbasierten Synthese und Manipulation visueller Medien vor. Die zunehmende Verbreitung von Wiedergabegeraten macht visuelle Medien – wie Bilder, Videos oder dreidimensionale Oberflachen – einer Vielzahl von (Privat-)Nutzern zuganglich. Folglich gibt es auch im Alltagsbereich einen wachsenden Bedarf an effizienter Synthese und Bearbeitung visueller Medien unter Zuhilfenahme weitverbreiteter, mobiler Endgerate. Handelsubliche Software, die in der Lage ist, diese Aufgaben umzusetzen, setzt in der Regel langwierige Schulungen sowie ein tiefgreifendes Verstandnis der zugrundeliegenden Konzepte zur Inhaltserzeugung voraus. Auf der anderen Seite lasst sich diese Software nur auf leistungsstarken Arbeitsplatzcomputern ausfuhren, wodurch die Moglichkeit kunstlerischer Medienerzeugung auf eine kleine Gruppe gut ausgebildeter Experten mit passender Hardware beschrankt wird. Die im Rahmen dieser Arbeit entwickelten Techniken haben das Ziel, die Hurden fur private Endnutzer herabzusetzen, indem sie Gelegenheitsnutzern ermoglichen, komplexe Inhalte von hoher Qualitat mit Hilfe von einfachen, beispielbasierten Interaktionen in Echtzeit zu synthetisieren und zu manipulieren. Zunachst wird eine Manipulationstechnik prasentiert, bei der es darum geht, ein weiteres Level an Informationen, wie z. B. Gewicht, auf Bildern und dreidimensionalen Modellen durch lokale, ungleichformige und selbstuberschneidungsfreie Grosenmanipulationen zu visualisieren. Anschliesend stellen wir eine Technik vor, die auf einem neuartigen Verteilungsalgorithmus beruht und Bildersammlungen automatisch anhand der Form der Bilder sowie einer kleinen Menge von Beispielbildern arrangiert. In diesem Kontext stellen wir eine Erweiterung fur hohere Dimensionen, wie z. B. dreidimensionale Oberflachen, vor und diskutieren die Implikationen der Verteilungen auf geringer-dimensionale Projektionen. Weiterhin werden die spektralen Eigenschaften der Verteilungen analysiert und zur effizienten, hochqualitativen Bildsynthese eingesetzt. Schlieslich schlagen wir einen Algorithmus zur Extraktion deformierbarer, dreidimensionaler Inhalte aus zweidimensionalen Videos vor, der auf einer simplen Reprasentation von Korperteilen beruht, die der Nutzer in einigen wenigen Schlusselbildern skizziert. Alle Methoden basieren auf der Verfugbarkeit von hochgradig paralleler Hardware, wie z.B. eine Grafikkarte (GPU), die heutzutage auch in gunstigen, mobilen Geraten verbaut wird. Durch mathematische Abstraktion, Parallelisierung und Aufgabenverteilung erreichen unsere Algorithmen eine hohe Effizienz, die es erlaubt die Techniken in Echtzeit auf diesen mobilen Geraten auszufuhren.