init model

README.md

@@ -1,3 +1,138 @@
 ---
 license: cc-by-nc-sa-4.0
+tags:
+  - generated_from_trainer
+  - simplification
+task_categories:
+  - text2text-generation
+task_ids:
+  - text-simplification
+language:
+  - nl
+datasets:
+  - BramVanroy/chatgpt-dutch-simplification
+metrics:
+  - rouge
+  - sari
+model-index:
+- name: BramVanroy/ul2-base-dutch-simplification-mai-2023
+  results:
+  - task:
+      type: text-simplification
+      name: Text Simplification
+    dataset:
+      type: BramVanroy/chatgpt-dutch-simplification
+      name: ChatGPT Dutch Simplification
+    metrics:
+      - type: rouge
+        value: 41.5749
+        name: Eval Rouge-1
+      - type: rouge
+        value: 19.9
+        name: Eval Rouge-2
+      - type: rouge
+        value: 36.3204
+        name: Eval RougeL
+      - type: rouge
+        value: 36.2596
+        name: Eval RougeLsum
+      - type: sari
+        value: 53.0091
+        name: Eval SARI
+      - type: rouge
+        value: 44.2877
+        name: Test Rouge-1
+      - type: rouge
+        value: 20.8132
+        name: Test Rouge-2
+      - type: rouge
+        value: 39.0951
+        name: Test RougeL
+      - type: rouge
+        value: 39.2709
+        name: Test RougeLsum
+      - type: sari
+        value: 52.9621
+        name: Test SARI
+widget:
+- example_title: "Cooking"
+  text: "Op bepaalde tijdstippen verlang ik naar de smaakvolle culinaire creaties welke door de ambachtelijke expertise van mijn grootmoeder zijn vervaardigd."
+
 ---
+
+
+# ul2-base-dutch-simplification-mai-2023
+
+This model is intended to simplify Dutch sentences.
+
+This model is a fine-tuned version of [yhavinga/ul2-base-dutch](https://huggingface.co/yhavinga/ul2-base-dutch) on
+the [BramVanroy/chatgpt-dutch-simplification](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification)
+dataset. 
+
+The model was created in light of the master thesis of Charlotte Van de Velde in the Master of Science in Artificial
+Intelligence (MAI) at KU Leuven in 2023. Dataset creation by Charlotte, model training by Bram.
+
+## Quick links
+
+- [Repository](https://github.com/BramVanroy/mai-simplification-nl-2023#22-hyperparameter-sweep): includes training code and model creation log
+- [Dataset](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification): `BramVanroy/chatgpt-dutch-simplification`
+- [Parent model](https://huggingface.co/yhavinga/ul2-base-dutch): this model was finetuned on `yhavinga/ul2-base-dutch`
+
+## Intended uses & limitations, and dataset
+
+The model is intended for sentence-level simplification of Dutch. It might extend to document-level simplification
+but most of the dataset is limited to sentences so document-level performance is not guaranteed.
+
+The dataset has been generated automatically (cf.
+[dataset description](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification)) and has not been
+manually verified. On top of that, this model has been fine-tuned and we did not scrutinize the parent model or its
+training data. Output of the current model is therefore subject to unexpected results (as most if not all neural
+networks).
+
+Because the dataset was generated with ChatGPT, this model cannot be used for commercial purposes.
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 0.00026885245616406115
+- train_batch_size: 12
+- optimizer: Adafactor
+- num_epochs: 26
+
+These hyperarameters were found through Bayesian hyperparameter search with `wandb`. This is described in the
+[repository](https://github.com/BramVanroy/mai-simplification-nl-2023#22-hyperparameter-sweep).
+
+### Training results
+
+`eval` results are on the evaluation set, `predict` results are on the test set. These were achieved with
+beam search (num_beams=3).
+
+```json
+{
+    "eval_gen_len": 21.206349206349206,
+    "eval_loss": 2.598172903060913,
+    "eval_rouge1": 41.5749,
+    "eval_rouge2": 19.9,
+    "eval_rougeL": 36.3204,
+    "eval_rougeLsum": 36.2596,
+    "eval_sari": 53.0091,
+  
+    "predict_gen_len": 22.40625,
+    "predict_loss": 2.517918586730957,
+    "predict_rouge1": 44.2877,
+    "predict_rouge2": 20.8132,
+    "predict_rougeL": 39.0951,
+    "predict_rougeLsum": 39.2709,
+    "predict_sari": 52.9621
+}
+```
+
+
+### Framework versions
+
+- Transformers 4.29.2
+- Pytorch 2.0.1+cu117
+- Datasets 2.12.0
+- Tokenizers 0.13.3

added_tokens.json

@@ -0,0 +1,30 @@
+{
+  "[new_id_0]": 32100,
+  "[new_id_10]": 32110,
+  "[new_id_11]": 32111,
+  "[new_id_12]": 32112,
+  "[new_id_13]": 32113,
+  "[new_id_14]": 32114,
+  "[new_id_15]": 32115,
+  "[new_id_16]": 32116,
+  "[new_id_17]": 32117,
+  "[new_id_18]": 32118,
+  "[new_id_19]": 32119,
+  "[new_id_1]": 32101,
+  "[new_id_20]": 32120,
+  "[new_id_21]": 32121,
+  "[new_id_22]": 32122,
+  "[new_id_23]": 32123,
+  "[new_id_24]": 32124,
+  "[new_id_25]": 32125,
+  "[new_id_26]": 32126,
+  "[new_id_27]": 32127,
+  "[new_id_2]": 32102,
+  "[new_id_3]": 32103,
+  "[new_id_4]": 32104,
+  "[new_id_5]": 32105,
+  "[new_id_6]": 32106,
+  "[new_id_7]": 32107,
+  "[new_id_8]": 32108,
+  "[new_id_9]": 32109
+}

all_results.json

@@ -0,0 +1,24 @@
+{
+    "eval_gen_len": 21.206349206349206,
+    "eval_loss": 2.598172903060913,
+    "eval_rouge1": 41.5749,
+    "eval_rouge2": 19.9,
+    "eval_rougeL": 36.3204,
+    "eval_rougeLsum": 36.2596,
+    "eval_runtime": 14.7656,
+    "eval_samples": 126,
+    "eval_samples_per_second": 8.533,
+    "eval_sari": 53.0091,
+    "eval_steps_per_second": 1.084,
+    "predict_gen_len": 22.40625,
+    "predict_loss": 2.517918586730957,
+    "predict_rouge1": 44.2877,
+    "predict_rouge2": 20.8132,
+    "predict_rougeL": 39.0951,
+    "predict_rougeLsum": 39.2709,
+    "predict_runtime": 16.4028,
+    "predict_samples": 128,
+    "predict_samples_per_second": 7.804,
+    "predict_sari": 52.9621,
+    "predict_steps_per_second": 0.975
+}

config.json

@@ -0,0 +1,31 @@
+{
+  "_name_or_path": "yhavinga/ul2-base-dutch",
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "d_ff": 2048,
+  "d_kv": 64,
+  "d_model": 768,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "num_decoder_layers": 12,
+  "num_heads": 12,
+  "num_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.29.2",
+  "use_cache": true,
+  "vocab_size": 32128
+}

generated_predictions.txt

@@ -0,0 +1,128 @@
+Onze hersenen kunnen ingewikkelde dingen doen door middel van elektrische verbindingen tussen zenuwcellen die informatie verwerken en doorsturen.
+We hebben getest hoe goed de ziekte was door naar de patiënt te kijken en tests uit te voeren.
+Om deze opdracht goed te kunnen uitvoeren, moet je veel weten over de materie en de regels.
+Het is belangrijk om niet te voorspellen wat er kan gebeuren door dingen die onvoorspelbaar zijn.
+Hij kon het niet goed uitleggen, ook al was hij heel slim.
+Bij het uitvoeren van de taak waren er veel onverwachte problemen die het eindresultaat negatief beïnvloedden.
+Mensen produceren gassen die bijdragen aan het veranderen van het klimaat.
+Omdat deze materie erg ingewikkeld is, is het logisch dat er soms twijfels kunnen ontstaan over hoe we dit concept moeten uitleggen.
+Als twee deeltjes verstrengeld zijn, beïnvloedt de toestand van het ene deeltje direct de toestand van het andere, zelfs als ze ver uit elkaar zijn.
+Het is belangrijk om te bedenken wat er kan gebeuren als je een bepaalde beslissing maakt.
+Het constructivisme zegt dat kennis wordt opgebouwd door te handelen en contact te maken met anderen.
+Het is belangrijk om te bedenken wat we kunnen doen om klimaatverandering tegen te gaan.
+Hoewel zij niet goed genoeg kon doen, heeft ze geen kans gehad om haar vaardigheden te testen.
+Als je te veel insuline gebruikt, kan dat leiden tot problemen met het hart, zoals diabetische retinopathie, neuropathie en longziektes.
+Het is belangrijk om na te denken over hoe we duurzame energie gaan gebruiken.
+Mensen hebben allemaal dezelfde ervaring die ze al heel lang kennen, en die ook belangrijk is voor hun cultuur en geschiedenis.
+Dit probleem is heel ingewikkeld en vereist veel verschillende expertises en aandacht voor de situatie.
+Mensen veroorzaken de klimaatverandering door het uitstoten van broeikasgassen.
+Gezondheidswerkers weten nog niet genoeg over het gebruik van een vaginale ring, ook al is het al heel lang bekend.
+Deze auto is heel flexibel en heeft veel vermogen om te kunnen rijden op lage snelheid.
+Mensen willen altijd verbinding en sociaal contact, wat we vaak zien bij groepsgedrag en het vormen van gemeenschappen.
+Kwantummechanica gaat over hele kleine deeltjes die soms als golven en soms als deeltjes functioneren.
+In de westerse filosofie denken mensen dat het universum zich in het centrum van de wereld bevindt.
+Als de data niet goed is, kan dat ervoor zorgen dat de resultaten niet kloppen.
+Elektromagnetische straling heeft verschillende soorten golven, zoals gammastraling met hoge frequenties en energieën, en radiogolven met lage frequenties en energieën.
+Onze hersenen zijn ingewikkeld en hebben verschillende onderdelen zoals zien, horen, ruiken en praten.
+Hoewel de medicatie en de leefstijl goed waren, waren de deelnemers niet gezonder.
+In het retorisch discours gebruik je vaak hyperbolen en metaforen om de boodschap extra kracht te geven.
+Ik denk dat het gebruik van deze nieuwe software voor de huidige systemen geen problemen zal veroorzaken.
+Als we verder denken op basis van deze gegevens, kunnen we verkeerde conclusies trekken.
+Kwantummechanica is gebaseerd op moeilijke wiskunde en vereist veel kennis van de hogere wiskunde.
+Het is belangrijk om te begrijpen dat het niet betekent dat een idee waar is, alleen kan worden bewezen door middel van proeven.
+Het verschijnsel is moeilijk te begrijpen omdat het niet altijd duidelijk is.
+Het is duidelijk dat de behandeling afhankelijk is van verschillende dingen, zoals hoe de patiënt zich voelt en welke medicijnen hij of zij gebruikt.
+Het is ingewikkeld hoe verschillende partijen in het geldsysteem met elkaar omgaan, en dat is een probleem voor beleidsmakers.
+Als er te veel stikstofrijke verbindingen in de grond zitten, kan dat ervoor zorgen dat planten en dieren zich anders gaan gedragen.
+Onze hersenen kunnen niet goed begrijpen wat er gebeurt omdat ons brein erg ingewikkeld is.
+Als je veel weet over de kwestie, kun je een conclusie trekken die waarschijnlijk klopt.
+De wetenschap heeft veel gedaan aan het begrijpen van dit fenomeen, ook al is het ingewikkeld.
+Als je het menselijk lichaam goed bekijkt, kun je zien dat er verschillende soorten structuren zijn die hun eigen functies en processen hebben.
+Kwantumsuperpositie betekent dat een deeltje op meerdere plaatsen tegelijk kan zijn, totdat iemand het bekijkt of meet.
+Hoe dik twee oppervlakken zijn, hangt af van hoe dik ze zijn en hoe sterk ze zijn.
+Om de natuurkunde op een niveau van kleine deeltjes te begrijpen, moet je het idee van kwantummechanica begrijpen.
+Kwantumverstrengeling betekent dat als twee deeltjes ooit met elkaar in contact zijn gekomen, ze nog steeds met elkaar verbonden zijn, zelfs als ze ver uit elkaar zijn.
+De gegevens laten zien dat het fenomeen steeds groter kan worden, wat slecht is voor de economie.
+Het is moeilijk om deze ingewikkelde materie in begrijpelijke taal te vertalen.
+De manier waarop we dingen weten, is niet overeenkomen met wat we hadden verwacht.
+De coëfficiënt van deze twee dingen is laag, wat betekent dat er misschien geen verband is tussen beide of dat het verband niet-lineair is.
+Bij het maken van een plan om beleid te analyseren, moet je kijken naar welke kenmerken het systeem heeft.
+Om de onderneming goed te laten functioneren, moeten de afdelingen goed met elkaar kunnen samenwerken.
+Door de slechte allocatie van geld is het moeilijk om genoeg productieve bronnen te hebben.
+Omdat de ziekte erg lang duurt, is het moeilijk om te voorspellen wat er gaat gebeuren door de vele klachten en het verloop.
+De tentoonstelling in de oude museumzaal was erg interessant.
+Om tot overeenstemming te komen over een groep mensen met verschillende ideeën, is het belangrijk om compromissen te sluiten.
+Als je dingen doet die niet passen bij wat je denkt, kun je daarvan in de war raken en dat kan voor stress zorgen.
+Omdat deze discussie over kennis en waarheid gaat, moeten we onze eigen ideeën over wat we weten en wat waar is, onderzoeken.
+Uit deze gegevens blijkt dat er in de toekomst steeds meer mensen zullen zijn.
+De manier waarop een organisme zich gedraagt, bepaalt hoe genetische eigenschappen zich gedragen.
+De virtuele werkelijkheid is een manier om een virtuele werkelijkheid te creëren die anders is dan wat je in een echt gebouw ziet.
+Linguïstische relativiteit betekent dat de taal die we spreken invloed heeft op hoe we de wereld zien en begrijpen.
+Hoe iemand eruitziet, hangt af van hun genen en omgeving.
+Het placebo-effect is wanneer mensen een nepmedicijn gebruiken dat geen actieve ingrediënten bevat.
+De cognitieve dissonantietheorie zegt dat mensen geneigd zijn om dingen te veranderen of minder vaak te doen om een harmonieus gevoel te behouden.
+De begrippen individualisme en collectivisme worden gebruikt om te beschrijven of culturen zich richten op het verkrijgen van persoonlijke vrijheid of op het onderhouden van goede relaties met anderen.
+De betekenis van de apocalyptische voorspellingen was voor de meeste mensen niet goed te begrijpen.
+Het is niet goed om te zeggen dat het altijd zo is geweest en dat het daarom zo zal blijven.
+Mensen maken de aarde warmer door het verbranden van fossiele brandstoffen en het kappen van bossen.
+Hoewel de informatie in de rapporten duidelijk is, wordt de analyse van de gegevens beschermd door strenge methoden en analyses.
+De manier waarop de werknemers met hun baas praatten en omgingen, was heel goed.
+Het is interessant dat de discussie over klimaatverandering is afgenomen sinds de COVID-19-pandemie.
+Kwantumverstrengeling betekent dat twee deeltjes met elkaar verbonden zijn op een manier waarbij de toestand van het ene deeltje afhangt van de toestand van het andere deeltje, zelfs als ze ver uit elkaar zijn.
+We hebben het protocol niet goed begrepen en hebben slechte resultaten in ons experimenten.
+Bij een moeilijke taak zijn er soms menselijke fouten.
+Omdat het universum zo groot is en het zich steeds uitbreidt, is het moeilijk om te begrijpen hoe het universum steeds groter wordt.
+Als twee deeltjes met elkaar verbonden zijn, beïnvloedt de toestand van het ene deeltje direct de toestand van het andere, zelfs als ze ver uit elkaar zijn.
+Kwantumverstrengeling gaat over hele kleine deeltjes en hoe ze met elkaar omgaan, en het heeft veel invloed op technologieën en toepassingen, zoals quantumcomputers en cryptografie.
+Onze hersenen zijn een ingewikkeld apparaat dat zorgt voor dingen als zien, horen, praten en emoties.
+Het is duidelijk dat mensen verschillen in hun denkvermogen.
+Cognitieve dissonantie is wanneer je niet goed begrijpt wat iemand doet en wat hij of zij doet.
+Het is belangrijk om dit onderwerp goed te kennen.
+Existentiale angst kan ontstaan als je je bewust bent van de zinloosheid of het gebrek aan betekenis in je leven.
+Het is lastig om te begrijpen hoe onze hersenen werken en hoe we ons gedrag beïnvloeden omdat het erg ingewikkeld is.
+Omdat de rente momenteel laag is, kun je overwegen om de rente langer vast te houden om te profiteren van de lage rente.
+Quantumverstrengeling betekent dat twee of meer deeltjes zo verbonden zijn dat de toestand van het ene deeltje afhangt van de toestand van het andere deeltje, zelfs als ze ver uit elkaar zijn.
+Een moeilijke taak kost meer tijd om te voltooien.
+De som van de economische groei van de BRICS-landen is hoger dan de som van de S&P 500-index en de Amerikaanse dollar.
+Door klimaatverandering worden het steeds warmere weer zoals overstromingen, droogtes en hittegolven.
+Er zijn al verschillende politieke partijen die het eens zijn over de zaak, ook al weten we nog niet precies wat de rechter gaat beslissen.
+Het is duidelijk dat de plannen om de economie te veranderen in de regio veel invloed zullen hebben op de werkgelegenheid en inkomens van de mensen.
+De tekst was verwarrend omdat de woorden niet goed in elkaar zaten en de zinsopbouw niet goed was.
+De onderzoekers dachten dat als ze meer van het medicijn in hun bloed hadden, het beter zou werken.
+Het bloed circuleert door het lichaam en de hormonen die door de endocriene klieren worden geproduceerd.
+De wetenschappelijke methode werkt met een logische redenatie die gebaseerd is op een bepaalde hypothetische gedachte.
+De meeste mensen begrijpen niet de ingewikkelde filosofieën van de metaforen realiteit.
+Het utilitarisme zegt dat het belangrijk is om zoveel mogelijk geluk te hebben voor de meeste mensen.
+Als er maar één soort mensen werkt bij een bedrijf, kunnen sommige mensen zich buitengesloten voelen en andere mensen juist belangrijk vinden.
+Om dit probleem op te lossen, moet je veel weten over algebraïsche structuren en getaltheorie.
+Hoe ingewikkeld de realiteit is, hangt af van hoe goed je hersenen werken en hoe goed je nadenkt.
+Door verschillende expertises te combineren, hebben we het probleem beter kunnen begrijpen.
+Het is belangrijk dat we een plan maken om de strategie uit te voeren.
+We hebben onderzocht hoe alcoholgebruik bij oudere mannen invloed kan hebben op hoe slim ze zijn.
+Bij de onomasiologische omschrijving wordt een woord vervangen door een omschrijving van wat het betekent.
+Deze studie gaat over verschillende aspecten van identiteit.
+Als verschillende groepen binnen een bedrijf samenwerken, kan het soms problemen veroorzaken die we niet hadden verwacht.
+Als de gegevens niet regelmatig veranderen, is de analyse minder betrouwbaar.
+Het menselijk brein is erg ingewikkeld, daarom begrijpen we niet helemaal hoe het werkt.
+Omdat taalverwerving ingewikkeld is, kunnen we verschillende manieren van denken en begrijpen gebruiken die helpen bij het begrijpen van de taal.
+De relativiteitstheorie gaat over hoe snel het licht gaat als je beweegt, en dat dit afhankelijk is van hoe je beweegt.
+Om te begrijpen wat kunstvoorwerpen betekenen, moeten we kijken naar wat ze waard zijn en naar de geschiedenis van de kunstvoorwerpen.
+Het is moeilijk om te voorspellen welke planten en dieren zich voortplanten vanwege de complexiteit van het ecosysteem.
+De groei van zenuwcellen in de hippocampus wordt beïnvloed door dingen die in de hersenen gebeuren.
+De kwantumfysica legt uit hoe hele kleine deeltjes zich gedragen en wordt uitgelegd met ingewikkelde rekensommen.
+Als je te veel dingen tegelijk doet, word je moe in je hoofd en ga je slechter presteren.
+Het is niet altijd goed om te voorspellen wat er gaat gebeuren door de geluidsintensiteit van het gesteente.
+De technologieën die we tegenwoordig gebruiken zijn erg ingewikkeld en kunnen ons moeilijk helpen om ze te begrijpen en te beheersen.
+Met een microscoop kan je de vorm van de deeltjes in de vloeistof bekijken.
+Voordat we conclusies trekken, moeten we bespreken wat er aan de hand is.
+Het is belangrijk dat we verschillende manieren van werken gebruiken om duurzame ontwikkeling te bereiken.
+Het corpus callosum is een stof die de twee hersenhelften met elkaar verbindt en zorgt dat ze met elkaar kunnen praten.
+De kwantummechanica is moeilijk te begrijpen voor de meeste mensen omdat het een ingewikkeld idee is.
+Het is belangrijk om te bedenken hoe een uitdrukking gebruikt wordt in verschillende situaties.
+Het sublimeren van een fysieke substantie gebeurt door de overgang van de vaste fase naar de gasvormige fase, zonder dat de substantie eerst smelt om een vloeibare fase te creëren.
+Het is lastig om te begrijpen hoe verschillende dingen invloed hebben op elkaar.
+Het dialect is anders dan de standaardtaal.
+Als het voertuig onvoorspelbaar is, kunnen de passagiers de nooduitgangen gebruiken die aan weerszijden van het voertuig zijn.
+Om het onderzoek goed te laten verlopen, moeten deskundigen uit verschillende vakgebieden samenwerken.
+De theorie dat genetisch materiaal invloed heeft op welke eigenschappen iemand heeft, wordt ondersteund door de experimentele resultaten.
+Taalkennis kan worden opgedaan door het opdoen van ervaringen met taal in verschillende situaties.

generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.29.2"
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b22209aeb7d67666bf7a5973396e584fd8351fbe61d6a22ba1cbd5e76036182b
+size 990408885

special_tokens_map.json

@@ -0,0 +1,107 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "eos_token": "</s>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:caa6e2f21aeec181276ab80273e3f869ce303ccb8602d68e0524783c3581092d
+size 800223

tokenizer_config.json

@@ -0,0 +1,113 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "</s>",
+  "extra_ids": 100,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "T5Tokenizer",
+  "unk_token": "<unk>",
+  "use_fast_tokenizer": false
+}