Effective active learning for complex natural language processing tasks

Supervised machine learning is a widely used approach to natural language processing tasks. However, supervised learning needs large amounts of labeled training data, which needs to be annotated in a time-consuming and expensive process. Active learning is a strategy to reduce this annotation effort by setting up an interactive process in which the machine learning system iteratively selects data for annotation. By selecting only data that the system considers informative, this strategy promises a significant reduction of data that is needed for training. In this thesis, we investigate the application of active learning to key natural language processing tasks. We investigate selection strategies for “informative” training examples for two key NLP tasks: named entity recognition and coreference resolution. We show that active learning can deliver a large reduction in annotation effort for these NLP tasks. However, in cases of unfortunate initialization, active learning can suffer from slow learning progress on infrequent classes: the missed cluster effect. We show that active learning can be made resilient against this phenomenon by co-selecting examples that occur together in a natural context (e.g. a sentence). We also apply this strategy to selection of examples for coreference annotation and could demonstrate for the first time a successful active learning approach to coreference resolution. We also monitor training progress during data annotation. We investigate a method to estimate performance without additional labeled test data. While this method is not reliable for stopping at a performance threshold, we can use it to define effective criteria to stop when performance for a given system and given dataset is close to optimal. Finally, we investigate crowdsourcing as a complementary cost reduction approach that aims to reduce the per-example cost by outsourcing annotation over the web. We propose strategies to mitigate the higher mistake rates of crowdsourcing annotators and present a successful combination of active learning with crowdsourcing. Uberwachtes machinelles Lernen ist ein weitverbreiteter und sehr erfolgreicher Ansatz fur Aufgaben der maschinellen Sprachverarbeitung. Uberwachtes Lernen erfordert jedoch grose Mengen an annotierten Trainingsdaten, die in einem oftmals teuren und zeitaufwendigen Prozess erstellt werden mussen. Eine Strategie, diesen Annotationsaufwand zu reduzieren ist das aktive Lernen: Ein interaktiver Prozess zwischen lernendem System und Annotator, in dem das System schrittweise informative Daten zur Annotation auswahlt. Durch den Fokus auf fur das System informative Daten soll die erforderliche Menge an Trainingsdaten reduziert werden. In dieser Arbeit wird die Anwendung des aktiven Lernens auf zwei wichtige Aufgaben der maschinellen Sprachverarbeitung, Erkennung von Eigennamen und Koreferenzauflosung, untersucht. Es wird gezeigt, dass aktives Lernen eine erhebliche Reduktion der erforderlichen Datenmenge erzielen kann. Bei ungunstiger Initialisierung kann es jedoch zu einem verzogerten Lernen, speziell von wenig haufigen Klassen, kommen. Fur Sprachdaten kann dieser “Missed-Cluster”-Effekt vermieden werden, indem mehrere Trainingsbeispiele aus einem naturlichen Kontext (z.B. einem Satz) gemeinsam ausgewahlt werden. Mit dieser Strategie der Ko-Selektion kann erstmals auch die erfolgreiche Anwendung von aktivem Lernen auf die Annotation von Daten fur die Koreferenzauflosung gezeigt werden. Weiter wird untersucht, wie der Trainingsfortschritt des Systems wahrend des Lernverfahrens uberwacht werden kann. Wir stellen Stoppkriterien vor, mit denen der Auswahlprozess beendet werden kann, wenn ein fur das gegebene System und die gegebenen Daten nahezu optimales Ergebnis erreicht wird. Schlieslich wird eine Kombination mit dem Crowdsourcing-Ansatz als komplementarer Strategie zur Senkung von Annotationskosten untersucht. Crowdsourcing verspricht durch Outsourcing der Datenannotation uber das World Wide Web die Kosten pro annotiertem Trainingsbeispiel zu reduzieren, zieht jedoch oft fehlerbehaftete Annotationen nach sich. Es wird gezeigt, wie sich diese Fehler kompensieren lassen und dass sich somit Crowdsourcing und aktives Lernen erfolgreich verbinden lassen.