--- language: - nl datasets: - yhavinga/mc4_nl_cleaned - ml6team/cnn_dailymail_nl tags: - summarization - t5 - seq2seq license: apache-2.0 pipeline_tag: summarization widget: - text: "Het Van Goghmuseum in Amsterdam heeft vier kostbare prenten verworven van\ \ Mary Cassatt, de Amerikaanse impressionistische kunstenaar en tijdgenoot van\ \ Vincent van Gogh. Dat heeft het museum woensdagmiddag op een persconferentie\ \ bekendgemaakt. Het gaat om drie grote kleurenetsen en een zwart-wit litho met\ \ voorstellingen van vrouwen. Voor deze prenten, die afkomstig zijn van een Amerikaanse\ \ verzamelaar, betaalde het museum ruim 1,4 miljoen euro. Drie grote fondsen en\ \ een aantal particulieren hebben samen de aankoopsom beschikbaar gesteld. Mary\ \ Stevenson Cassatt (1844-1926) woonde en werkte lange tijd in Frankrijk. Ze staat\ \ met haar impressionistische schilderijen en tekeningen te boek als een van de\ \ vernieuwers van de Parijse kunstwereld in de late negentiende eeuw. Het Van\ \ Goghmuseum rekent haar prenten \u201Etot het mooiste wat op grafisch gebied\ \ in het fin de si\xE8cle is geproduceerd\u201D. De drie aangekochte kleurenetsen\ \ \u2013 Het doorpassen, De brief en Badende vrouw \u2013 komen uit een serie\ \ van tien waarmee Cassatt haar naam als (prent)kunstenaar definitief vestigde.\ \ Ze maakte de etsen na een bezoek in 1890 aan een tentoonstelling van Japanse\ \ prenten in Parijs. Over die expositie schreef de Amerikaanse aan haar vriendin\ \ Berthe Morisot, een andere vrouwelijke impressionist: \u201EWe kunnen de Japanse\ \ prenten in de Beaux-Arts gaan bekijken. Echt, die mag je niet missen. Als je\ \ kleurenprenten wilt maken, is er niets mooiers voorstelbaar. Ik droom ervan\ \ en denk nergens anders meer aan dan aan kleur op koper." - text: "Afgelopen zaterdagochtend werden Hunga Tonga en Hunga Hapai opnieuw twee\ \ aparte eilanden toen de vulkaan met een hevige explosie uitbarstte. De aanloop\ \ tot de uitbarsting begon al eind vorig jaar met kleinere explosies. Begin januari\ \ nam de activiteit af en dachten geologen dat de vulkaan tot rust was gekomen.\ \ Toch barstte hij afgelopen zaterdag opnieuw uit, veel heviger dan de uitbarstingen\ \ ervoor. Vl\xE1k voor deze explosie stortte het kilometerslange verbindingsstuk\ \ in en verdween onder het water. De eruptie duurde acht minuten. De wolk van\ \ as en giftige gasdeeltjes, zoals zwaveloxide, die daarbij vrijkwam, reikte tot\ \ dertig kilometer hoogte en was zo\u2019n vijfhonderd kilometer breed. Ter vergelijking:\ \ de pluimen uit de recente vulkaanuitbarsting op La Palma reikten maximaal zo\u2019\ n vijf kilometer hoog. De hoofdstad van Tonga, vijfenzestig kilometer verderop\ \ is bedekt met een dikke laag as. Dat heeft bijvoorbeeld gevolgen voor de veiligheid\ \ van het drinkwater op Tonga. De uitbarsting van de onderzeese vulkaan in de\ \ eilandstaat Tonga afgelopen zaterdag was bijzonder heftig. De eruptie veroorzaakte\ \ een tsunami die reikte van Nieuw-Zeeland tot de Verenigde Staten en in Nederland\ \ ging de luchtdruk omhoog. Geologen verwachten niet dat de vulkaan op Tonga voor\ \ een lange wereldwijde afkoeling zorgt, zoals bij andere hevige vulkaanuitbarstingen\ \ het geval is geweest. De vulkaan ligt onder water tussen de onbewoonde eilandjes\ \ Hunga Tonga (0,39 vierkante kilometer) en Hunga Ha\u2019apai (0,65 vierkante\ \ kilometer). Magma dat bij kleinere uitbarsting in 2009 en 2014 omhoog kwam,\ \ koelde af en vormde een verbindingsstuk tussen de twee eilanden in. Een explosie\ \ van een onderwatervulkaan als die bij Tonga is heftiger dan bijvoorbeeld die\ \ uitbarsting op La Palma. \u201EDat komt doordat het vulkanisme hier veroorzaakt\ \ wordt door subductie: de Pacifische plaat zinkt onder Tonga de aardmantel in\ \ en neemt water mee omlaag\u201D, zegt hoogleraar paleogeografie Douwe van Hinsbergen\ \ van de Universiteit Utrecht. \u201EDit water komt met magma als gas, als waterdamp,\ \ mee omhoog. Dat voert de druk onder de aardkost enorm op. Arwen Deuss, geowetenschapper\ \ aan de Universiteit Utrecht, vergelijkt het met een fles cola. \u201EWanneer\ \ je een fles cola schudt, zal het gas er met veel geweld uitkomen. Dat is waarschijnlijk\ \ wat er gebeurd is op Tonga, maar we weten het niet precies.\u201D" model-index: - name: yhavinga/t5-v1.1-large-dutch-cnn-test results: - task: type: summarization name: Summarization dataset: name: ml6team/cnn_dailymail_nl type: ml6team/cnn_dailymail_nl config: default split: test metrics: - name: ROUGE-1 type: rouge value: 19.0751 verified: true - name: ROUGE-2 type: rouge value: 8.0947 verified: true - name: ROUGE-L type: rouge value: 16.1203 verified: true - name: ROUGE-LSUM type: rouge value: 17.9802 verified: true - name: loss type: loss value: 3.143123149871826 verified: true - name: gen_len type: gen_len value: 19.0 verified: true --- # T5 v1.1 Large finetuned for CNN news summarization in Dutch 🇳🇱 This model is [t5-v1.1-large-dutch-cased](https://huggingface.co/yhavinga/t5-v1.1-large-dutch-cased) finetuned on [CNN Dailymail NL](https://huggingface.co/datasets/ml6team/cnn_dailymail_nl) For a demo of the Dutch CNN summarization models, head over to the Hugging Face Spaces for the **[Netherformer 📰](https://huggingface.co/spaces/flax-community/netherformer)** example application! Rouge scores for this model are listed below. ## Tokenizer * SentencePiece tokenizer trained from scratch for Dutch on mC4 nl cleaned with scripts from the Huggingface Transformers [Flax examples](https://github.com/huggingface/transformers/tree/master/examples/flax/language-modeling). ## Dataset All models listed below are trained on of the `full` configuration (39B tokens) of [cleaned Dutch mC4](https://huggingface.co/datasets/yhavinga/mc4_nl_cleaned), which is the original mC4, except * Documents that contained words from a selection of the Dutch and English [List of Dirty Naught Obscene and Otherwise Bad Words](https://github.com/LDNOOBW/List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words) are removed * Sentences with less than 3 words are removed * Sentences with a word of more than 1000 characters are removed * Documents with less than 5 sentences are removed * Documents with "javascript", "lorum ipsum", "terms of use", "privacy policy", "cookie policy", "uses cookies", "use of cookies", "use cookies", "elementen ontbreken", "deze printversie" are removed. ## Models TL;DR: [yhavinga/t5-v1.1-base-dutch-cased](https://huggingface.co/yhavinga/t5-v1.1-base-dutch-cased) is the best model. * `yhavinga/t5-base-dutch` is a re-training of the Dutch T5 base v1.0 model trained during the summer 2021 Flax/Jax community week. Accuracy was improved from 0.64 to 0.70. * The two T5 v1.1 base models are an uncased and cased version of `t5-v1.1-base`, again pre-trained from scratch on Dutch, with a tokenizer also trained from scratch. The t5 v1.1 models are slightly different from the t5 models, and the base models are trained with a dropout of 0.0. For fine-tuning it is intended to set this back to 0.1. * The large cased model is a pre-trained Dutch version of `t5-v1.1-large`. Training of t5-v1.1-large proved difficult. Without dropout regularization, the training would diverge at a certain point. With dropout training went better, be it much slower than training the t5-model. At some point convergance was too slow to warrant further training. The latest checkpoint, training scripts and metrics are available for reference. For actual fine-tuning the cased base model is probably the better choice. | | model | train seq len | acc | loss | batch size | epochs | steps | dropout | optim | lr | duration | |---------------------------------------------------------------------------------------------------|---------|---------------|----------|----------|------------|--------|---------|---------|-----------|------|----------| | [yhavinga/t5-base-dutch](https://huggingface.co/yhavinga/t5-base-dutch) | T5 | 512 | 0,70 | 1,38 | 128 | 1 | 528481 | 0.1 | adafactor | 5e-3 | 2d 9h | | [yhavinga/t5-v1.1-base-dutch-uncased](https://huggingface.co/yhavinga/t5-v1.1-base-dutch-uncased) | t5-v1.1 | 1024 | 0,73 | 1,20 | 64 | 2 | 1014525 | 0.0 | adafactor | 5e-3 | 5d 5h | | [yhavinga/t5-v1.1-base-dutch-cased](https://huggingface.co/yhavinga/t5-v1.1-base-dutch-cased) | t5-v1.1 | 1024 | **0,78** | **0,96** | 64 | 2 | 1210000 | 0.0 | adafactor | 5e-3 | 6d 6h | | [yhavinga/t5-v1.1-large-dutch-cased](https://huggingface.co/yhavinga/t5-v1.1-large-dutch-cased) | t5-v1.1 | 512 | 0,76 | 1,07 | 64 | 1 | 1120000 | 0.1 | adafactor | 5e-3 | 86 13h | The cased t5-v1.1 Dutch models were fine-tuned on summarizing the CNN Daily Mail dataset. | | model | input len | target len | Rouge1 | Rouge2 | RougeL | RougeLsum | Test Gen Len | epochs | batch size | steps | duration | |-------------------------------------------------------------------------------------------------------|---------|-----------|------------|--------|--------|--------|-----------|--------------|--------|------------|-------|----------| | [yhavinga/t5-v1.1-base-dutch-cnn-test](https://huggingface.co/yhavinga/t5-v1.1-base-dutch-cnn-test) | t5-v1.1 | 1024 | 96 | 34,8 | 13,6 | 25,2 | 32,1 | 79 | 6 | 64 | 26916 | 2h 40m | | [yhavinga/t5-v1.1-large-dutch-cnn-test](https://huggingface.co/yhavinga/t5-v1.1-large-dutch-cnn-test) | t5-v1.1 | 1024 | 96 | 34,4 | 13,6 | 25,3 | 31,7 | 81 | 5 | 16 | 89720 | 11h | ## Acknowledgements This project would not have been possible without compute generously provided by Google through the [TPU Research Cloud](https://sites.research.google/trc/). The HuggingFace 🤗 ecosystem was also instrumental in many, if not all parts of the training. The following repositories where helpful in setting up the TPU-VM, and training the models: * [Gsarti's Pretrain and Fine-tune a T5 model with Flax on GCP](https://github.com/gsarti/t5-flax-gcp) * [HUggingFace Flax MLM examples](https://github.com/huggingface/transformers/tree/master/examples/flax/language-modeling) * [Flax/Jax Community week t5-base-dutch](https://huggingface.co/flax-community/t5-base-dutch) Created by [Yeb Havinga](https://www.linkedin.com/in/yeb-havinga-86530825/)