Add ul2 base en->nl model. Special care for its newline_token and use_fast=False

app.py

@@ -15,8 +15,8 @@ TRANSLATION_NL_TO_EN = "translation_nl_to_en"
 
 GENERATOR_LIST = [
     {
-        "model_name": "yhavinga/longt5-local-eff-large-nl8-voc8k-ddwn-neddx2-en-nl",
-        "desc": "longT5 large nl8 en->nl",
+        "model_name": "yhavinga/ul2-base-en-nl",
+        "desc": "UL2 base en->nl",
         "task": TRANSLATION_EN_TO_NL,
         "split_sentences": False,
     },

default_texts.py

@@ -33,7 +33,7 @@ The ISS - a joint project involving five space agencies - has been in orbit sinc
     "Het Verboden Rijk (nl)": {
         "url": "https://nl.wikipedia.org/wiki/Het_Verboden_Rijk",
         "year": 1932,
-        "text": """Geduldig als een dode zat ik op het dek van de boot te wachten die mij de stroom op zou varen. Het was een sombere dag. De vele kleuren van Lisboa waren verduisterd door een nevel die hoogst zelden de mond van de Taag kan vinden. Het duurde lang. Telkens kwamen nog een paar mensen of een paar vaten de plank over. Maar opeens stroomde een brede strook water tussen de stroom en de oever. Ik zag een ruiter wegrijden, ik kende zijn gelaat: een koerier, hij moest berichten dat ik veilig vertrokken was. Maar wie zou mij beletten in het water te springen en met enkele armslagen de oever weer te bereiken! Ik deed het niet, al was het gemakkelijk. Weinig wist ik dat ik later toch dien sprong zou doen om een duizendvoudigen afstand te overzwemmen, niet meer om mijn ziel, maar om mijn lichaam te redden, en een stuk papier."""
+        "text": """Geduldig als een dode zat ik op het dek van de boot te wachten die mij de stroom op zou varen. Het was een sombere dag. De vele kleuren van Lisboa waren verduisterd door een nevel die hoogst zelden de mond van de Taag kan vinden. Het duurde lang. Telkens kwamen nog een paar mensen of een paar vaten de plank over. Maar opeens stroomde een brede strook water tussen de stroom en de oever. Ik zag een ruiter wegrijden, ik kende zijn gelaat: een koerier, hij moest berichten dat ik veilig vertrokken was. Maar wie zou mij beletten in het water te springen en met enkele armslagen de oever weer te bereiken! Ik deed het niet, al was het gemakkelijk. Weinig wist ik dat ik later toch dien sprong zou doen om een duizendvoudigen afstand te overzwemmen, niet meer om mijn ziel, maar om mijn lichaam te redden, en een stuk papier.""",
     },
     "Hersenschimmen (nl)": {
         "url": "https://www.bibliotheek.nl/catalogus/titel.37120397X.html/hersenschimmen/",

generator.py

@@ -22,7 +22,10 @@ def get_access_token():
 def load_model(model_name):
     os.environ["TOKENIZERS_PARALLELISM"] = "false"
     tokenizer = AutoTokenizer.from_pretrained(
-        model_name, from_flax=True, use_auth_token=get_access_token()
+        model_name,
+        from_flax=True,
+        use_fast=("ul2" not in model_name),
+        use_auth_token=get_access_token(),
     )
     if tokenizer.pad_token is None:
         print("Adding pad_token to the tokenizer")
@@ -89,6 +92,7 @@ class Generator:
     def generate(self, text: str, **generate_kwargs) -> (str, dict):
         # Replace two or more newlines with a single newline in text
         text = re.sub(r"\n{2,}", "\n", text)
+
         generate_kwargs = {**self.gen_kwargs, **generate_kwargs}
 
         # if there are newlines in the text, and the model needs line-splitting, split the text and recurse
@@ -97,6 +101,10 @@ class Generator:
             translated = [self.generate(line, **generate_kwargs)[0] for line in lines]
             return "\n".join(translated), generate_kwargs
 
+        # if self.tokenizer has a newline_token attribute, replace \n with it
+        if hasattr(self.tokenizer, "newline_token"):
+            text = re.sub(r"\n", self.tokenizer.newline_token, text)
+
         batch_encoded = self.tokenizer(
             self.prefix + text,
             max_length=generate_kwargs["max_length"],
@@ -114,10 +122,14 @@ class Generator:
         decoded_preds = self.tokenizer.batch_decode(
             logits.cpu().numpy(), skip_special_tokens=False
         )
-        decoded_preds = [
-            pred.replace("<pad> ", "").replace("<pad>", "").replace("</s>", "")
-            for pred in decoded_preds
-        ]
+
+        def replace_tokens(pred):
+            pred = pred.replace("<pad> ", "").replace("<pad>", "").replace("</s>", "")
+            if hasattr(self.tokenizer, "newline_token"):
+                pred = pred.replace(self.tokenizer.newline_token, "\n")
+            return pred
+
+        decoded_preds = list(map(replace_tokens, decoded_preds))
         return decoded_preds[0], generate_kwargs
 
     def __str__(self):