Add initial model version for testing purposes

README.md

@@ -0,0 +1,25 @@
+## t5-base-dutch-demo
+
+This model is used for the Dutch news summarization demo.
+
+The base model is t5-base-dutch, which is pre-trained on cleaned and
+deduplicated Dutch c4.
+
+t5-base-dutch-demo is fine-tuned on three mixed news sources:
+
+ 1. CNN DM translated to Dutch with MarianMT.
+ 2. XSUM translated to Dutch with MarianMt.
+ 3. News article summaries distilled from the nu.nl website.
+
+---
+tags:
+- summarization
+language: 
+- dutch
+datasets:
+- xsum_nl
+widget:
+- text: "Onderzoekers ontdekten dat vier van de vijf kinderen in Engeland die op school lunches hadden gegeten, op school voedsel hadden geprobeerd dat ze thuis niet hadden geprobeerd.De helft van de ondervraagde ouders zei dat hun kinderen hadden gevraagd om voedsel dat ze op school hadden gegeten om thuis te worden gekookt.De enquête, van ongeveer 1.000 ouders, vond dat de meest populaire groenten wortelen, suikermaïs en erwten waren.Aubergine, kikkererwten en spinazie waren een van de minst populaire.Van de ondervraagde ouders, 628 hadden kinderen die lunches op school aten. (% duidt op een deel van de ouders die zeiden dat hun kind elke groente zou eten) England's School Food Trust gaf opdracht tot het onderzoek na een onderzoek door de Mumsnet-website suggereerde dat sommige ouders hun kinderen lunchpakket gaven omdat ze dachten dat ze te kieskeurig waren om iets anders te eten. \"Schoolmaaltijden kunnen een geweldige manier zijn om ouders te helpen hun kinderen aan te moedigen om nieuw voedsel te proberen en om de verscheidenheid van voedsel in hun dieet te verhogen. \"Mumsnet medeoprichter, Carrie Longton, zei: \"Het krijgen van kinderen om gezond te eten is de droom van elke ouder, maar maaltijdtijden thuis kan vaak een slagveld en emotioneel geladen zijn. \"Vanuit Mumsnetters' ervaring lijkt het erop dat eenmaal op school is er een verlangen om in te passen bij iedereen anders en zelfs een aantal positieve peer pressure om op te scheppen over de verscheidenheid van wat voedsel je kunt eten. \"Schoolmaaltijden zijn ook verplaatst op nogal een beetje van toen Mumsnetters op school waren, met gezondere opties en meer afwisseling. \"Schoolmaaltijden in Engeland moeten nu voldoen aan strenge voedingsrichtlijnen.Ongeveer vier op de tien basisschoolkinderen in Engeland eten nu schoollunches, iets meer dan op middelbare scholen.Meer kinderen in Schotland eten schoollunches - ongeveer 46%.Het onderzoek werd online uitgevoerd tussen 26 februari en 5 maart onder een panel van ouders die ten minste één kind op school hadden van 4-17 jaar oud."
+- text: "Het Londense trio staat klaar voor de beste Britse act en beste album, evenals voor twee nominaties in de beste song categorie. \"We kregen te horen zoals vanmorgen 'Oh I think you're genomineerd',\" zei Dappy. \"En ik was als 'Oh yeah, what one?' En nu zijn we genomineerd voor vier awards. Ik bedoel, wow! \"Bandmate Fazer voegde eraan toe: \"We dachten dat het het beste van ons was om met iedereen naar beneden te komen en hallo te zeggen tegen de camera's.En nu vinden we dat we vier nominaties hebben. \"De band heeft twee shots bij de beste song prijs, het krijgen van het knikje voor hun Tyncy Stryder samenwerking nummer één, en single Strong Again.Their album Uncle B zal ook gaan tegen platen van Beyonce en Kany \"Aan het eind van de dag zijn we dankbaar om te zijn waar we zijn in onze carrières. \"Als het niet gebeurt dan gebeurt het niet - live om te vechten een andere dag en blijven maken albums en hits voor de fans. \"Dappy onthulde ook dat ze kunnen worden optreden live op de avond.De groep zal doen Nummer Een en ook een mogelijke uitlevering van de War Child single, I Got Soul.Het liefdadigheidslied is een re-working van The Killers' All These Things That I've Done en is ingesteld op artiesten als Chipmunk, Ironik en Pixie Lott.Dit jaar zal Mobos worden gehouden buiten Londen voor de eerste keer, in Glasgow op 30 september.N-Dubz zei dat ze op zoek waren naar optredens voor hun Schotse fans en bogen over hun recente shows ten noorden van de Londense We hebben Aberdeen ongeveer drie of vier maanden geleden gedaan - we hebben die show daar verbrijzeld! Overal waar we heen gaan slaan we hem in elkaar!\""
+---
+

added_tokens.json

@@ -0,0 +1 @@
+{"<extra_id_85>": 32088, "<extra_id_44>": 32047, "<extra_id_51>": 32054, "<extra_id_34>": 32037, "<extra_id_74>": 32077, "<extra_id_12>": 32015, "<extra_id_35>": 32038, "<extra_id_38>": 32041, "<extra_id_89>": 32092, "<extra_id_41>": 32044, "<extra_id_70>": 32073, "<extra_id_62>": 32065, "<extra_id_75>": 32078, "<extra_id_60>": 32063, "<extra_id_27>": 32030, "<extra_id_23>": 32026, "<extra_id_87>": 32090, "<extra_id_73>": 32076, "<extra_id_40>": 32043, "<extra_id_69>": 32072, "<extra_id_80>": 32083, "<extra_id_22>": 32025, "<extra_id_86>": 32089, "<extra_id_64>": 32067, "<extra_id_68>": 32071, "<extra_id_49>": 32052, "<extra_id_55>": 32058, "<extra_id_10>": 32013, "<extra_id_16>": 32019, "<extra_id_15>": 32018, "<extra_id_88>": 32091, "<extra_id_96>": 32099, "<extra_id_28>": 32031, "<extra_id_82>": 32085, "<extra_id_37>": 32040, "<extra_id_52>": 32055, "<extra_id_61>": 32064, "<extra_id_36>": 32039, "<extra_id_59>": 32062, "<extra_id_63>": 32066, "<extra_id_57>": 32060, "<extra_id_3>": 32006, "<extra_id_21>": 32024, "<extra_id_97>": 32100, "<extra_id_33>": 32036, "<extra_id_58>": 32061, "<extra_id_84>": 32087, "<extra_id_48>": 32051, "<extra_id_4>": 32007, "<extra_id_42>": 32045, "<extra_id_20>": 32023, "<extra_id_76>": 32079, "<extra_id_47>": 32050, "<extra_id_11>": 32014, "<extra_id_98>": 32101, "<extra_id_14>": 32017, "<extra_id_93>": 32096, "<extra_id_99>": 32102, "<extra_id_53>": 32056, "<extra_id_56>": 32059, "<extra_id_31>": 32034, "<extra_id_54>": 32057, "<extra_id_39>": 32042, "<extra_id_6>": 32009, "<extra_id_94>": 32097, "<extra_id_45>": 32048, "<extra_id_1>": 32004, "<extra_id_92>": 32095, "<extra_id_0>": 32003, "<extra_id_8>": 32011, "<extra_id_71>": 32074, "<extra_id_32>": 32035, "<extra_id_2>": 32005, "<extra_id_91>": 32094, "<extra_id_43>": 32046, "<extra_id_90>": 32093, "<extra_id_7>": 32010, "<extra_id_5>": 32008, "<extra_id_77>": 32080, "<extra_id_25>": 32028, "<extra_id_29>": 32032, "<extra_id_78>": 32081, "<extra_id_83>": 32086, "<extra_id_30>": 32033, "<extra_id_65>": 32068, "<extra_id_66>": 32069, "<extra_id_17>": 32020, "<extra_id_46>": 32049, "<extra_id_95>": 32098, "<extra_id_19>": 32022, "<extra_id_26>": 32029, "<extra_id_13>": 32016, "<extra_id_9>": 32012, "<extra_id_81>": 32084, "<extra_id_67>": 32070, "<extra_id_24>": 32027, "<extra_id_18>": 32021, "<extra_id_72>": 32075, "<extra_id_79>": 32082, "<extra_id_50>": 32053}

config.json

@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "flax-community/t5-base-dutch-demo",
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "d_ff": 3072,
+  "d_kv": 64,
+  "d_model": 768,
+  "decoder_start_token_id": 0,
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "relu",
+  "gradient_checkpointing": false,
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 12,
+  "num_heads": 12,
+  "num_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_num_buckets": 32,
+  "torch_dtype": "float32",
+  "transformers_version": "4.9.0.dev0",
+  "use_cache": true,
+  "vocab_size": 32103
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f076caa70c7c40a4f35fd69e904e3589f3a10f5cbce12efadd5c2818d4fb3070
+size 891654079

special_tokens_map.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "additional_special_tokens": ["<extra_id_0>", "<extra_id_1>", "<extra_id_2>", "<extra_id_3>", "<extra_id_4>", "<extra_id_5>", "<extra_id_6>", "<extra_id_7>", "<extra_id_8>", "<extra_id_9>", "<extra_id_10>", "<extra_id_11>", "<extra_id_12>", "<extra_id_13>", "<extra_id_14>", "<extra_id_15>", "<extra_id_16>", "<extra_id_17>", "<extra_id_18>", "<extra_id_19>", "<extra_id_20>", "<extra_id_21>", "<extra_id_22>", "<extra_id_23>", "<extra_id_24>", "<extra_id_25>", "<extra_id_26>", "<extra_id_27>", "<extra_id_28>", "<extra_id_29>", "<extra_id_30>", "<extra_id_31>", "<extra_id_32>", "<extra_id_33>", "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>"]}

tokenizer_config.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "extra_ids": 100, "additional_special_tokens": ["<extra_id_0>", "<extra_id_1>", "<extra_id_2>", "<extra_id_3>", "<extra_id_4>", "<extra_id_5>", "<extra_id_6>", "<extra_id_7>", "<extra_id_8>", "<extra_id_9>", "<extra_id_10>", "<extra_id_11>", "<extra_id_12>", "<extra_id_13>", "<extra_id_14>", "<extra_id_15>", "<extra_id_16>", "<extra_id_17>", "<extra_id_18>", "<extra_id_19>", "<extra_id_20>", "<extra_id_21>", "<extra_id_22>", "<extra_id_23>", "<extra_id_24>", "<extra_id_25>", "<extra_id_26>", "<extra_id_27>", "<extra_id_28>", "<extra_id_29>", "<extra_id_30>", "<extra_id_31>", "<extra_id_32>", "<extra_id_33>", "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>"], "special_tokens_map_file": null, "name_or_path": "flax-community/t5-base-dutch", "tokenizer_class": "T5Tokenizer"}