Natural language processing and information retrieval methods for intellectual property analysis

More intellectual property information is generated now than ever before. The accumulation of intellectual property data, further complicated by this continued increase in production, makes it imperative to develop better methods for archiving and more importantly for accessing this information. Information retrieval (IR) is a standard technique used for efficiently accessing information in such large collections. The most prominent example comprising a vast amount of data is the World Wide Web, where current search engines already satisfy user queries by immediately providing an accurate list of relevant documents. However, IR for intellectual property is neither as fast nor as accurate as what we expect from an Internet search engine. In this thesis, we explore how to improve information access in intellectual property collections by combining previously mentioned IR techniques with advanced natural language processing (NLP) techniques. The information in intellectual property is encoded in text (i.e., language), and we expect that by adding better language processing to IR we can better understand and access the data. NLP is a quite varied field encompassing a number of solutions for improving the understanding of language input. We concentrate more specifically on the NLP tasks of statistical machine translation, information extraction, named entity recognition (NER), sentiment analysis, relation extraction, and text classification. Searching for intellectual property, specifically patents, is a difficult retrieval task where standard IR techniques have had only moderate success. The difficulty of this task only increases when presented with multilingual collections as is the case with patents. We present an approach for improving retrieval performance on a multilingual patent collection by using machine translation (an active research area in NLP) to translate patent queries before concatenating these parallel translations into a multilingual query. Even after retrieving an intellectual property document however, we still face the problem of extracting the relevant information needed. We would like to improve our understanding of the complex intellectual property data by uncovering latent information in the text. We do this by identifying citations in a collection of scientific literature and classifying them by their citation function. This classification is successfully carried out by exploiting some characteristics of the citation text, including features extracted via sentiment analysis, NER, and relation extraction. By assigning labels to citations we can better understand the relationships between intellectual property documents, which can be valuable information for IR or other applications. Die Menge an Texten, die geistiges Eigentum beschreiben, wachst stetig. Um diese Masse an Informationen uberschaubar zu machen, ist es notwendig, bessere Methoden zu entwickeln, um den Zugriff darauf zu vereinfachen. Information Retrieval (IR) ist eine Standardtechnik, um effizient Informationen aus grosen Datenbanken abzurufen. Die wohl bekannteste Informationsquelle, deren Grose die effiziente Verarbeitung erschwert, ist das World Wide Web (WWW). Hierfur wurden Suchmaschinen entwickelt, die fur von Benutzern gestellte Suchanfragen Listen relevanter Dokumente erstellen. IR fur geistiges Eigentum ist jedoch im Vergleich langsamer und ungenauer als wir es von Suchmaschinen im WWW gewohnt sind. Diese Dissertation befasst sich damit, wie mit einer Kombination von Methoden aus dem Information Retrieval und der naturlichen Sprachverarbeitung (Natural Language Processing, kurz NLP) der Zugang zu Textsammlungen geistigen Eigentums verbessert werden kann. Diese Kombination ist vielversprechend, da Informationen uber geistiges Eigentum wie bereits erwahnt in Texten festgehalten werden (d.h., es handelt sich um naturliche Sprache). NLP ist ein komplexer Forschungsbereich, der ein breites Spektrum an Ansatzen bietet, um die Bedeutung sprachlicher Daten automatisch zu analysieren. Die in dieser Dissertation beschriebene Arbeit befasst sich mit statistischer maschineller Ubersetzung, Informationsextraktion (genauer mit Named Entity Recognition (NER), Sentiment-Analyse und Relationsextraktion) und Textklassifikation. Automatisches Suchen in Textsammlungen geistigen Eigentums, insbesondere Patentsuche, stellt eine besondere Herausforderung dar. Bisherige Ansatze unter Verwendung von IR-Standardtechniken waren daher nur wenig erfolgreich. Zusatzliche Schwierigkeiten treten auf, wenn mehrsprachige Textsammlungen durchsucht werden sollen, wie es in der Patentsuche oft der Fall ist. In dieser Arbeit wird ein Verfahren vorgestellt, um die Suche in einer mehrsprachigen Textsammlung von Patenten zu verbessern. Dies wird durch die Verwendung von maschineller Ubersetzung erzielt, die auf die Suchanfragen angewendet wird, indem aus mehreren ubersetzten Suchanfragen eine mehrsprachige Suchanfrage erstellt wird. Die Extraktion von relevanten Informationen aus einem Dokument ist ein weiteres Problem, das dem Suchvorgang folgt. Um dieses Problem zu losen, ist es notwendig, implizite Informationen in den Daten zu erkennen, um komplexe Zusammenhange besser verstehen zu konnen. In dieser Arbeit wird dies durch die automatische Identifikation und Klassifikation von Zitaten in einer Textsammlung wissenschaftlicher Fachliteratur erreicht. Der vorgestellte Ansatz kombiniert dazu verschiedene Merkmale der Texte, die unter Anderem durch Sentiment-Analyse, NER und Relationsextraktion automatisch erkannt werden. Durch die Klassifikation von Zitaten werden Zusammenhange zwischen den Dokumenten ersichtlich, die fur die Verbesserung von IR-Systeme und andere Anwendungen genutzt werden konnen konnen.