A joint translation model with integrated reordering

This dissertation aims at combining the benefits and to remedy the flaws of the two popular frameworks in statistical machine translation, namely Phrase-based MT and N-gram-based MT. Phrase-based MT advanced the state-of-the art towards translating phrases than words. By memorizing phrases, phrasal MT, is able to learn local reorderings, and handling of other local dependencies such as insertions, deletions etc. Inter-phrasal reorderings are handled through the lexicalized reordering model, which remains the state-of-the-art model for reordering in phrase-based SMT till date. However, phrase-based MT has some drawbacks: • Dependencies across phrases are not directly represented in the translation model • Discontinuous phrases cannot be represented and used • The reordering model is not designed to handle long range reorderings • Search and modeling problems require the use of a hard reordering limit • The presence of many different equivalent segmentations increases the search space • Source word deletion and target word insertion outside phrases is not allowed during decoding N-gram-based MT exists as an alternate to the more commonly used Phrase-based MT. Unlike Phrasal MT, N-gram-based MT uses minimal translation units called as tuples. Using minimal translation units, enables N-gram systems to avoid the spurious phrasal segmentation problem in the phrase-based MT. However, it also gives up the ability to memorize dependencies such as short reorderings that are local to the phrases. Reordering in N-gram MT is carried out by source linearization and POS-based rewrite rules. The search graph for decoding is constructed as a preprocessing step using these rules. N-gram-based MT has the following drawbacks: • Only the pre-calculated orderings are hypothesized during decoding • The N-gram model can not use lexical triggers • Long distance reorderings can not be performed • Unaligned target words can not be handled • Using tuples presents a more difficult search problem than that in phrase-based SMT In this dissertation, we present a novel machine translation model based on a joint probability model, which represents translation process as a linear sequence of operations. Our model like the N-gram model uses minimal translation units, but has the ability to memorize like the phrase-based model. Unlike the “N-gram” model, our operation sequence includes not only translation but also reordering operations. The strong coupling of reordering and translation into a single generative story provides a mechanism to better restrict the position to which a word or phrase can be moved, and is able to handle short and long distance reorderings effectively. This thesis remedies the problems in phrasal MT and N-gram-based MT by making the following contributions: • We proposed a model that handles both local and long distance dependencies uniformly and effectively • Our model is able to handle discontinuous source-side units • During the decoding, we are able to remove the hard reordering constraint which is necessary in the phrase-based systems • Like the phrase-based and unlike the N-gram model, our model exhibits the ability to memorize phrases • In comparison to the N-gram-based model, our model performs search on all possible reorderings and has the ability to learn lexical triggers and apply them to unseen contexts A secondary goal of this thesis is to challenge the belief that conditional probability models work better than the joint probability models in SMT and that the source-side context is less helpful in the translation process. Diese Dissertation setzt sich zum Ziel, die Vorteile der beiden popularsten Methoden in der statistische maschinellen Ubersetzung, namlich der phrasenbasierten Ubersetzung und der N-Gramm-basierten Ubersetzung zu kombinieren und ihre Nachteile zu vermeiden. Phrasenbasierte maschinelle Ubersetzung (PBMU) erzielte eine zuvor unerreichte Genauigkeit, indem ganze Wortfolgen (genannt Phrasen) statt einzelner Wortern ubersetzt werden. Durch Abspeicherung von phrasalen Ubersetzungen ist PBMU in der Lage, lokale Umordnungen zu lernen wie auch die Behandlung anderer lokaler Abhangigkeiten, die bei Einfugungen und Loschungen auftreten. Phrasenubergreifende Umordnungen werden mit Hilfe des lexikalisierten Umordnungsmodelles behandelt, das im Bereich der PBMU nach wie vor Stand der Technik ist. PBMU hat jedoch einige Nachteile: • Abhangigkeiten zwischen Phrasen werden nicht direkt im Modell reprasentiert. • Diskontinuierliche Phrasen konnen nicht reprasentiert und verwendet werden. • Das Umordnungsmodell ist ungeeignet fur die Behandlung von Umordnungen uber weite Distanzen. • Probleme bei der Modellierung und Suche erfordern eine harte maximale Grenze fur die Umordnungsdistanz. • Die Existenz vieler verschiedener aquivalenter Segmentierungen lasst den • Suchraum anwachsen. • Die Loschung von Wortern im Ausgangssatz und die Einfugung von Wortern in der Ubersetzung ist nur innerhalb von (groseren) Phrasen erlaubt. N-Gramm-basierte maschinelle Ubersetzung (NGMU) stellt eine Alternative zu der weiter verbreiteten phrasenbasierten Ubersetzung dar. Im Gegensatz zur PBMU verwendet die NGMU minimale Ubersetzungseinheiten, die “Tupel” genannt werden. Dadurch vermeidet die NGMU das Problem der PBMU mit vermeintlichen Ambiguitaten in der Segmentierung. Allerdings verliert es damit auch die Fahigkeit, lokale Abhangigkeiten bei Umordnungen uber kurze Distanzen mit Hilfe der Phrasen abzuspeichern. Die Umordnung erfolgt in der NGMU mit Wortart-basierten Umordnungsregeln. Der Suchgraph fur die Ubersetzung wird mit Hilfe dieser Regeln bereits in einem Vorverarbeitungsschritt aufgebaut. NGMU hat folgende Nachteile: • Der Ubersetzer erlaubt nur die vorausberechneten Umordnungen. • NGMU kann keine lexikalischen Trigger fur Umordnungen berucksichtigen. • Nicht alignierte Worter in der Ubersetzung sind nicht moglich. • Die Verwendung von Tupeln vergrosert das Suchproblem im Vergleich zur PBMU. In dieser Dissertation stelle ich ein neuartiges Modell fur die maschinelle Ubersetzung vor, das die gemeinsame Wahrscheinlichkeit von Quell- und Zielsatz beschreibt und den Ubersetzungsprozess als eine lineare Folge von Operationen reprasentiert. Wie die NGMU verwendet auch dieses Modell minimale Ubersetzungseinheiten, ist aber dennoch wie die PBMU in der Lage, kurze Ubersetzungsteile abzuspeichern. Im Gegensatz zur NGMU hat das Modell nicht nur Operationen fur Ubersetzungen sondern auch fur Umordnungen. Die starke Kopplung von Ubersetzung und Umordnung in einem einzigen NGramm-Modell liefert einen Mechanismus, mit dem die Position, zu der ein Wort oder eine Wortfolge verschoben wird, besser eingeschrankt werden kann, und mit dem Umordnungen uber kurze wie lange Distanzen effektiver behandelt werden konnen. Diese Arbeit lost die Probleme in PBMU und NGMU durch die folgenden wissenschaftlichen Beitrage: • Es wird ein Modell prasentiert, das Umordnungen uber kurze wie lange Distanzen einheitlich und effektiv behandelt. • Das Modell erlaubt diskontinuierliche Ubersetzungseinheiten auf der quellsprachlichen Seite. • Im Gegensatz zur PBMU erfordert der Ubersetzer keine harte Begrenzung der maximalen Umordnungsdistanz. • Wie die PBMU und im Gegensatz zur NGMU hat dasModell die Fahigkeit, Phrasen abzuspeichern. • Im Unterschied zur NGMU wird der Suchraum nicht im voraus eingeschrankt, und es konnen lexikalische Trigger fur die Umordnung gelernt und auf neue Kontexte angewendet werden. Die Arbeit stellt die Meinung in Frage, dass bedingte Wahrscheinlichkeitsmodelle in der maschinelle Ubersetzung generell besser funktionieren, und dass Kontextinformation auf der quellsprachlichen Seite weniger nutzlich fur den Ubersetzungsprozess ist.