Update streamit, cleanup requirements, pin jax and flax, add some models

README.md

@@ -6,7 +6,7 @@ colorTo: granola
 sdk: streamlit
 app_file: app.py
 pinned: false
-sdk_version: 1.0.0
+sdk_version: 1.25.0
 license: postgresql
 ---
 

app.py

@@ -27,18 +27,18 @@ GENERATOR_LIST = [
     #     "task": TRANSLATION_EN_TO_NL,
     #     "split_sentences": False,
     # },
-    # {
-    #     "model_name": "Helsinki-NLP/opus-mt-en-nl",
-    #     "desc": "Opus MT en->nl",
-    #     "task": TRANSLATION_EN_TO_NL,
-    #     "split_sentences": True,
-    # },
-    # {
-    #     "model_name": "Helsinki-NLP/opus-mt-nl-en",
-    #     "desc": "Opus MT nl->en",
-    #     "task": TRANSLATION_NL_TO_EN,
-    #     "split_sentences": True,
-    # },
+    {
+        "model_name": "Helsinki-NLP/opus-mt-en-nl",
+        "desc": "Opus MT en->nl",
+        "task": TRANSLATION_EN_TO_NL,
+        "split_sentences": True,
+    },
+    {
+        "model_name": "Helsinki-NLP/opus-mt-nl-en",
+        "desc": "Opus MT nl->en",
+        "task": TRANSLATION_NL_TO_EN,
+        "split_sentences": True,
+    },
     # {
     #     "model_name": "yhavinga/t5-small-24L-ccmatrix-multi",
     #     "desc": "T5 small nl24 ccmatrix nl-en",

default_texts.py

@@ -28,17 +28,20 @@ The ISS - a joint project involving five space agencies - has been in orbit sinc
     "Encylopedia of Swearing (en)": {
         "url": "https://www.academia.edu/32398800/Encyclopedia_of_Swearing",
         "year": 2006,
-        "text": """"Animal terms figure notably in the history of swearing, although they were not a major feature of Anglo-Saxon literature. The major exception was wulf, used to refer to a cruel, rapacious, or evil person, often in the title “the Devil’s wolf.” Otherwise, the chosen animals themselves are not especially dangerous or repulsive, though some are poisonous, such as the snake, and others malodorous, such as the skunk and polecat. For some cultural reason the pig provides the richest verbal field, together with the variants sow and swine. (The same pattern is seen, interestingly, in the dominance of French cochon and German schweinhund.) Swine is the oldest term in the field, being recorded in Chaucer’s richest swearing resource, the Wife of Bath, who condemns “Metellius, the foule cherl, the swyn” (Prologue l. 460). Unlike sow, swine continues to have resonance in swearing in the British Isles, especially among the older generation, while pig has become more a feature of U. S. swearing, having been especially fashionable among radical youth in the 1960s as an opprobrious term for the police.""",
+        "text": """"Animal terms figure notably in the history of swearing, although they were not a major feature of Anglo-Saxon literature. The major exception was wulf, used to refer to a cruel, rapacious, or evil person, often in the title “the Devil’s wolf.” Otherwise, the chosen animals themselves are not especially dangerous or repulsive, though some are poisonous, such as the snake, and others malodorous, such as the skunk and polecat.For some cultural reason the pig provides the richest verbal field, together with the variants sow and swine. (The same pattern is seen, interestingly, in the dominance of French cochon and German schweinhund.) Swine is the oldest term in the field, being recorded in Chaucer’s richest swearing resource, the Wife of Bath, who condemns “Metellius, the foule cherl, the swyn” (Prologue l. 460). Unlike sow, swine continues to have resonance in swearing in the British Isles, especially among the older generation, while pig has become more a feature of U. S. swearing, having been especially fashionable among radical youth in the 1960s as an opprobrious term for the police.""",
     },
-    "Squad Chopin (en)": {
+    "Squad Chopin (nl)": {
         "url": "https://rajpurkar.github.io/SQuAD-explorer/",
         "year": 2018,
-        "text": """Frédéric François Chopin (/˃oʊpæn; Franse uitspraak: [fʁe.de.ˁ.fʁ.swa ʃˋ.pû]; 22 februari of 1 maart 1810 – 17 oktober 1849), geboren Fryderyk Franciszek Chopin (1951), was een Pools-Franse componist (van geboorte en geboorte van zijn vader) en een virtuoos pianist uit de Romantische tijd, die voornamelijk voor de solo piano schreef. Hij verwierf wereldwijd bekendheid en heeft zich een van de belangrijkste musici van zijn tijd genoemd, wiens 'poëtische genie was gebaseerd op een professionele techniek die in zijn generatie niet te evenaren was. Chopin werd geboren in wat toen het hertogdom Warschau was en groeide op in Warschau, dat na 1815 deel werd van het Congres van Polen. Als wonderkind voltooide hij zijn muzikale opleiding en schreef zijn eerdere werken in Warschau voordat hij op 20-jarige leeftijd Polen verliet, minder dan een maand voor de uitbraak van de Novemberbeweging van 1830.""",
+        "text": """Frédéric François Chopin (/˃oʊpæn; Franse uitspraak: [fʁe.de.ˁ.fʁ.swa ʃˋ.pû]; 22 februari of 1 maart 1810 – 17 oktober 1849), geboren Fryderyk Franciszek Chopin (1951), was een Pools-Franse componist (van geboorte en geboorte van zijn vader) en een virtuoos pianist uit de Romantische tijd, die voornamelijk voor de solo piano schreef.
+Hij verwierf wereldwijd bekendheid en heeft zich een van de belangrijkste musici van zijn tijd genoemd, wiens 'poëtische genie was gebaseerd op een professionele techniek die in zijn generatie niet te evenaren was. Chopin werd geboren in wat toen het hertogdom Warschau was en groeide op in Warschau, dat na 1815 deel werd van het Congres van Polen.
+Als wonderkind voltooide hij zijn muzikale opleiding en schreef zijn eerdere werken in Warschau voordat hij op 20-jarige leeftijd Polen verliet, minder dan een maand voor de uitbraak van de Novemberbeweging van 1830.""",
     },
     "Het Verboden Rijk (nl)": {
         "url": "https://nl.wikipedia.org/wiki/Het_Verboden_Rijk",
         "year": 1932,
-        "text": """Geduldig als een dode zat ik op het dek van de boot te wachten die mij de stroom op zou varen. Het was een sombere dag. De vele kleuren van Lisboa waren verduisterd door een nevel die hoogst zelden de mond van de Taag kan vinden. Het duurde lang. Telkens kwamen nog een paar mensen of een paar vaten de plank over. Maar opeens stroomde een brede strook water tussen de stroom en de oever. Ik zag een ruiter wegrijden, ik kende zijn gelaat: een koerier, hij moest berichten dat ik veilig vertrokken was. Maar wie zou mij beletten in het water te springen en met enkele armslagen de oever weer te bereiken! Ik deed het niet, al was het gemakkelijk. Weinig wist ik dat ik later toch dien sprong zou doen om een duizendvoudigen afstand te overzwemmen, niet meer om mijn ziel, maar om mijn lichaam te redden, en een stuk papier.""",
+        "text": """Geduldig als een dode zat ik op het dek van de boot te wachten die mij de stroom op zou varen. Het was een sombere dag. De vele kleuren van Lisboa waren verduisterd door een nevel die hoogst zelden de mond van de Taag kan vinden. Het duurde lang. Telkens kwamen nog een paar mensen of een paar vaten de plank over. Maar opeens stroomde een brede strook water tussen de stroom en de oever.
+Ik zag een ruiter wegrijden, ik kende zijn gelaat: een koerier, hij moest berichten dat ik veilig vertrokken was. Maar wie zou mij beletten in het water te springen en met enkele armslagen de oever weer te bereiken! Ik deed het niet, al was het gemakkelijk. Weinig wist ik dat ik later toch dien sprong zou doen om een duizendvoudigen afstand te overzwemmen, niet meer om mijn ziel, maar om mijn lichaam te redden, en een stuk papier.""",
     },
     "Hersenschimmen (nl)": {
         "url": "https://www.bibliotheek.nl/catalogus/titel.37120397X.html/hersenschimmen/",

generator.py

@@ -1,3 +1,4 @@
+import _thread
 import os
 import re
 
@@ -18,12 +19,11 @@ def get_access_token():
     return access_token
 
 
-@st.cache(suppress_st_warning=True, allow_output_mutation=True)
+# @st.cache(hash_funcs={_thread.RLock: lambda _: None}, suppress_st_warning=True, allow_output_mutation=True)
 def load_model(model_name):
     os.environ.setdefault("TOKENIZERS_PARALLELISM", "false")
     tokenizer = AutoTokenizer.from_pretrained(
         model_name,
-        from_flax=True,
         use_fast=("ul2" not in model_name),
         use_auth_token=get_access_token(),
     )

requirements.txt

@@ -1,14 +1,11 @@
-#-f https://download.pytorch.org/whl/torch_stable.html
--f https://download.pytorch.org/whl/cu116
--f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
-protobuf<3.20
-streamlit>=1.4.0,<=1.10.0
+streamlit
 torch
-git+https://github.com/huggingface/transformers.git@1905384fd576acf4b645a8216907f980b4788d9b
+transformers
 langdetect
 psutil
-jax[cuda]==0.3.16
+jax<0.4.0
+jaxlib<0.4.0
 chex>=0.1.4
-##jaxlib==0.1.67
-flax>=0.5.3
+flax<0.6.0
 sentencepiece
+nltk