Visual search and analysis of documents in the intellectual property domain

Today’s society generates and stores digital information in enormous amounts and at rapidly increasing rates. This trend affects all parts of modern society, such as commerce and economy, politics and governments, health and medicine, science in general, media and entertainment, the private sector, etc. The stored information comprises text documents, images, audio files, videos, structured data from a variety of sources, as well as multimodal combinations of them, and is available in a multitude of electronic formats and flavors. As a consequence, the need for automated and interactive tools supporting tasks, such as searching, exploring, monitoring, sorting, and making sense of this information at different levels of abstraction and within different but steadily converging domains, increases at the same pace as the data is generated and represents one of the biggest challenges for current computer science. A relatively young approach to tackle these tasks by exploiting human analytic power in synergetic combination with advanced computerized techniques has emerged with the research field of visual analytics. Visual analytics aims at combining automated methods, visualization techniques, and approaches from the field of human computer interaction in order to equip analysts with more powerful tools, tailored to domains, where large amounts of data must be analyzed. In this work, visual analytics methods and concepts play a central role. They are used to search and analyze texts or multimodal documents containing a considerable amount of textual content. The presented approaches are primarily employed for analyzing a very special type of document from the intellectual property domain, namely patents. Since the retrieval and analysis tasks carried out in the patent domain differ greatly from standard search and analysis tasks regarding rigorous requirements, high costs, and the involved risks, new, more effective, efficient, and more reliable methods need to be developed. Accordingly, this thesis focuses on researching the combination of automatic methods and information visualization by using advanced interaction techniques in order to improve upon the state of the art in patent literature retrieval. Such integration is achieved and exemplified through different visual analytics prototypes, aiming at creating support for real-world tasks and processes. The main contributions presented in this thesis encompass enhancements for all stages of patent literature analysis processes. This includes improving patent search by presenting techniques for interactive visual query building, which helps analysts to formulate complex information needs, the development of a technique that allows users to build their own precise search mechanism in the form of binary classifiers, and advanced approaches for making sense of a retrieved result set through visual analysis. The latter builds the base to let users generate insights needed for judging and improving previous query formulations. Interaction methods facilitating forward analysis as well as feedback loops, which constitute a critical part of visual analytics approaches, are discussed afterwards. These methods are the key to integrating all stages of the patent analysis process in a seamless visual manner. Another contribution is the discussion of scalability issues in context of the described visual analytics approaches. Especially interaction scalability, the recording of analytic provenance, insight management, the visualization of analytic reporting, and collaborative approaches are addressed. Although the described approaches are exemplified by applying them to the field of intellectual property analysis, the developments regarding search and analysis have the potential to be adapted to complicated text document retrieval and analysis tasks in various domains. The general ideas regarding the facilitation of low-level feedback loops, user-steered machine classification, and technical solutions for diminishing negative scalability effects can be directly transferred to other visual analytics scenarios. Unsere heutige Gesellschaft erzeugt ernorme Mengen digitaler Informationen, und das in rasant steigender Geschwindigkeit. Dieser Trend zeichnet sich in allen Bereichen der modernen Gesellschaft ab, sei es in Handel und Wirtschaft, in der Politik und der offentlichen Hand, im Gesundheitswesen und der Medizin, in der Wissenschaft, den Medien, der Unterhaltungsbranche oder im privaten Umfeld. Die gespeicherten Informationen umfassen unter anderem Textdokumente, digitale Bilder, Tonaufnahmen, Videos, strukturierte Daten aus unterschiedlichen Quellen, sowie multimodale Kombinationen aus den verschiedenen Sparten. Sie alle liegen in einer Fulle unterschiedlicher elektronischer Formate und Varianten vor. Entsprechend wachst der Bedarf an automatisierten und interaktiven Werkzeugen, die Unterstutzung fur eine ganze Reihe von Aufgaben bieten - wie z.B. der Suche, der Exploration, der Uberwachung, der Einordnung, und der Analyse gespeicherter digitaler Informationen, auf unterschiedlichen Abstraktionsebenen und in unterschiedlichen aber stetig konvergierenden Fachgebieten. Die Entwicklung von Werkzeugen um diese Aufgaben unter Berucksichtigung standig wachsender Datenmengen zu bewaltigen stellt dabei eine der grosten Herausforderungen fur die heutige Informatik dar. Ein vergleichsweise neuer Ansatz zur Losung dieser Probleme wurde mit dem Forschungsgebiet "Visual Analytics" geschaffen, der Synergieeffekte aus der Verbindung von analytischen Fahigkeiten des Menschen mit fortschrittlichen Informationsverar beitungstechniken nutzt. Visual Analytics kombiniert dabei automatische Verfahren, Visualisierungstechniken und Ansatze aus der Mensch-Computer-Interaktion, um Analysten mit machtigeren Werkzeugen fur die Analyse groser Datensatze auszurusten. In dieser Arbeit spielen Visual-Analytics-Ansatze eine tragende Rolle. Sie werden fur die Suche nach und die Analyse von Texten und multimodalen Dokumenten, die einen grosen Textanteil aufweisen eingesetzt. Die vorgestellten Ansatze, werden hauptsachlich auf die Analyse von Patenten als eine besondere Art von Textdokumenten angewandt. Da sich die Such- und Analyseaufgaben innerhalb des Patentumfelds deutlich von Standardsuche und klassischen Analysen unterscheiden, was die strengen Anforderungen, hohen Aufwand und Kosten und die damit verbundenen Risiken betrifft, mussen neue, effektivere, effizientere und verlassliche Methoden entwickelt werden. Die vorliegende Arbeit beschaftigt sich deshalb mit der Kombination von automatischen Methoden und Methoden der Informationsvisualisierung unter Nutzung moderner Interaktionstechniken, um die Patentsuche uber den aktuellen Stand der Technik hinaus zu verbessern. Die Integration dieser Methoden wird mittels einer Reihe von Visual-Analytics-Prototypen, welche Unterstutzung fur reale Prozesse und Aufgaben bieten, erreicht und exemplarisch aufgezeigt. Die vorgestellten Neuerungen umfassen Verbesserungen fur samtliche Schritte des Patentanalyseprozesses. Dazu gehort die Optimierung der Patentsuche durch die vorgestellten Techniken zur interaktiven visuellen Anfrageerstellung, die Analysten dabei helfen einen komplexen Informationsbedarf zu formulieren. Des Weiteren wird ein Verfahren erlautert, das es Benutzern erlaubt, ihre eigenen, prazisen Suchmechanismen in der Form binarer Klassifikatoren zu erstellen. Auserdem werden moderne Ansatze prasentiert, wie Ergebnismengen mit Unterstutzung von visueller Analyse interpretiert und verstanden werden konnen. Daraus wiederum konnen Benutzer sodann Erkenntnisse gewinnen, die fur die Bewertung und Verbesserung vorhergehender Anfrageformulierungen notwendig sind. Im Anschluss folgt die Auseinandersetzung mit interaktiven Methoden, die sowohl eine Vorwartsanalyse als auch Feedback Loops ermoglichen, die einen wesentlich Bestandteil von Visual-Analytics-Ansatze darstellen. Diese Methoden bilden die Grundlage, auf deren Basis alle Phasen des Patentanalyseprozesses auf nahtlose Weise visuell miteinander verknupft werden konnen. Ein weiterer Forschungsbeitrag besteht in der Untersuchung von Skalierbarkeitsaspekten im Zusammenhang mit den verwendeten Visual-Analytics-Ansatzen. Eine wesentliche Rolle spielen hier vor allem die Skalierbarkeit von Interaktionstechniken, die Aufzeichnung analytischer Prozesse, die Kombination und weitere Nutzung von gewonnenen Erkenntnissen, die Erzeugung von Analyseberichten, sowie kooperative Ansatze. Auch wenn die hier vorgestellten Ansatze anhand konkreter Beispiele fur spezielle Fachgebiete beschrieben werden, verfugen einige der Entwicklungen uber das Potential, auf andere komplexe Textdokumentsuch- und Analyseaufgaben ubertragen werden zu konnen. Insbesondere die Ideen zur Optimierung von Feedback Loops und benutzergesteuerter Klassifikation, sowie technische Losungen zur Verbesserung der Skalierbarkeit lassen sich direkt auf andere Visual-Analytics-Szenarien ubertragen.