Multi-word tokenization for natural language processing

Sophisticated natural language processing (NLP) applications are entering everyday life in the form of translation services, electronic personal assistants or open-domain question answering systems. The more voice-operated applications like these become commonplace, the more expectations of users are raised to communicate with these services in unrestricted natural language, just as in a normal conversation. One obstacle that hinders computers to understand unrestricted natural language is that of collocations, combinations of multiple words that have idiosyncratic properties, for example, red tape, kick the bucket or there's no use crying over spilled milk. Automatic processing of collocations is nontrivial because these properties cannot be predicted from the properties of the individual words. This thesis addresses multi-word units (MWUs), collocations that appear in the form of complex noun phrases. Complex noun phrases are important for NLP because they denote real-world entities and concepts and are often used for specialized vocabulary such as scientific or legal terms. Virtually every NLP system uses tokenization, the partitioning of textual input into meaningful units, or tokens, as part of preprocessing. Traditionally, tokenization does not deal with MWUs which leads to early errors and error propagation in subsequent NLP tasks, resulting in poorer quality of NLP applications. The central idea presented in this thesis is the proposition of multi-word tokenization (MWT), MWU-aware tokenization as a preprocessing step for NLP systems. The goal of this thesis is to drive research towards NLP applications that understand unrestricted natural language. Our main contributions cover two aspects of MWT. First, we conducted fundamental research into asymmetric association, the phenomenon that lexical association from one component of an MWU to another can be stronger in one direction than in the other. This property has not been investigated deeply in the literature. We position asymmetric association in the broader context of different types of word association and collected human syntagmatic associations using a novel experiment setup. We measured asymmetric association in human syntagmatic production and showed that it is a phenomenon that is indicative of MWUs. Furthermore, we created corpus-based asymmetric association measures and showed that asymmetry in word combinations can be predicted automatically with high accuracy using these measures. Second, we present an implementation of MWT where we cast MWU recognition as a classification problem. We built an MWU classifier whose features address properties of MWUs. In particular, we targeted semantic non-compositionality, a phenomenon of unpredictable meaning shifts that occurs in many MWUs. In order to detect meaning shifts, we used features of contextual similarity based on distributional semantics. We found that context features significantly improve MWU classification accuracy but that there are unreliable aspects in the workings of such features. Additionally, we integrated MWT into an information retrieval system and showed that incorporating MWU information improves retrieval performance. Hoch entwickelte Anwendungen der maschinellen Sprachverarbeitung (NLP, von engl. natural language processing) erhalten Einzug in das tagliche Leben in Form automatischer Ubersetzungs-, allgemeiner Frage-Antwort-Systeme sowie elektronischer personlicher Assistenten. Mit der Etablierung sprachgesteuerter Anwendungen steigen die Erwartungen der Benutzer, diese Anwendungen mit unbeschrankter naturlicher Sprache zu bedienen, sich also ganz normal mit ihnen zu unterhalten. Ein Hindernis, das es Computern erschwert, uneingeschrankte naturliche Sprache zu verstehen, sind Kollokationen, Kombinationen mehrerer Worter mit besonderen Eigenschaften, wie zum Beispiel toller Hecht, den Loffel abgeben oder wo gehobelt wird, da fallen Spane. Die Automatische Verarbeitung von Kollokationen ist ein nicht-triviales Problem, weil deren besondere Eigenschaften nicht aus den Eigenschaften ihrer Bestandteile vorhergesagt werden konnen. Die vorliegende Arbeit beschaftigt sich mit Mehrworteinheiten (MWUs, von engl. multi-word unit), Kollokationen, die als komplexe Nominalphrasen auftreten. Komplexe Nominalphrasen sind fur NLP von besonderer Bedeutung, da sie Objekte und Konzepte der realen Welt bezeichnen und haufig in Fachbegriffen auftreten, so zum Beispiel in wissenschaftlichen oder juristischen Begriffen. Beinahe jedes NLP-System beruht auf dem Vorverarbeitungsschritt der Tokenisierung, der Unterteilung textueller Daten in bedeutungstragende Einheiten, sogenannter Tokens. Fur gewohnlich beinhaltet Tokenisierung keine Behandlung von Mehrworteinheiten, was zu fruhen Fehlern, Fehlerfortpflanzung und schlechterer Qualitat in NLP-Anwendungen fuhrt. In der vorliegenden Arbeit schlagen wir Mehrwort-Tokenisierung (MWT, engl. multi-word tokenization) vor, Tokenisierung, die Mehrworteinheiten erkennt. Ziel unserer Arbeit ist, Forschung voranzutreiben, die es Anwendungen ermoglicht, uneingeschrankte naturliche Sprache verstehen. Die Hauptbeitrage decken zwei Bereiche ab, die fur MWT relevant sind. Erstens prasentieren wir Grundlagenforschung zu asymmetrischer Assoziation, dem Phanomen, das lexikalische Assoziation zwischen den Bestandteilen von MWUs unterschiedlich stark ausgepragt sein kann. Diese Eigenschaft wurde bisher in der Literatur noch nicht tiefer gehend behandelt. Zum einen verorten wir asymmetrische Assoziation in einem breiteren Kontext verschiedener Typen von Wortassoziationen, zum anderen haben wir menschliche syntagmatische Assoziationen in einem dafur neu entwickelten Experiment gemessen. Wir zeigen, dass asymmetrische Assoziation ein Indikator dafur ist, dass eine Phrase eine MWUs ist. Auserdem haben wir korpus-basierte Assoziationsmase entwickelt und gezeigt, dass Asymmetrie in Wortpaaren automatisch und mit hoher Genauigkeit vorhergesagt werde kann. Zweitens prasentieren wir eine MWT-Implementierung, in der MWU-Erkennung als Klassifikationsproblem definiert wird. Dazu haben wir einen Klassifikator entwickelt, dessen Features auf MWU-Eigenschaften zugeschnitten sind. Dabei zielen wir insbesondere auf Nicht-Kompositionalitat ab, das Phanomen unvorhersehbarer Bedeutungsverschiebungen, das in vielen MWUs auftritt. Zur Erkennung von Bedeutungsverschiebungen benutzen wir Features kontextueller Ahnlichkeit, die auf distributioneller Semantik aufbauen. Wir zeigen, dass diese Features MWU-Klassifikation entscheidend verbessern, Aspekte ihrer Funktionsweise jedoch unzuverlassig sind. Daruber hinaus haben wir MWT in ein Information-Retrieval-System integriert und gezeigt, dass das Einbeziehen von MWU-Informationen die Leistung des Systems verbessert.