Linguistic interpretation of visual contents via Deep Learning Der Hauptteil dieser Arbeit besteht darin Deep Learning (DL) Modelle für die sprachliche Interpretation von visuellen Inhalten zu entwickeln. Dieser Teil ist in zwei Forschungsprobleme gegliedert: Interaktive Segmentierung und Beschriftung (Captioning) von Regionen und selektive Texturbeschriftung. Zur Lösung der ersten Aufgabenstellung wurde eine neue hybride DL Architektur vorgestellt bei der der Benutzer eine beliebige Region eines Bildes anklicken kann die automatisch segmentiert und sprachlich beschrieben werden soll. Das neue Modell wechselt die Bounding Box Indikationen des Standardobjektlokalisierungsprozesses mit der Ausgabe eines interaktiven Deep Learning basierten Segmentierungsmodules. Auf diese Weise wird ein besseres Resultat für das Captioning erzielt und auch die Objektsegmentierung wird verbessert. Im zweiten Teil der neuen Entwicklungen wird eine wechselseitige Korrelation zwischen DL basierten Texturrepräsentationen einerseits und deren sprachlicher Beschreibung andererseits mittels einer neuen speziellen Konstruktion neuraler Netze hergestellt. Dieses neuartige hybride CNN RNN Modell ermöglicht ein sogenanntes end to end Learning von Texturbeschreibungen. ...