Upload tokenizer

added_tokens.json

@@ -0,0 +1,124 @@
+{
+  "accertamento": 31119,
+  "accertata": 31192,
+  "accoglimento": 31153,
+  "ancorché": 31186,
+  "anzianità": 31142,
+  "assistenziale": 31217,
+  "att": 31180,
+  "avverso": 31122,
+  "cassata": 31213,
+  "cassazione": 31103,
+  "ccnl": 31112,
+  "censure": 31135,
+  "civ": 31104,
+  "compensate": 31219,
+  "compensi": 31118,
+  "conseguentemente": 31207,
+  "conservativa": 31151,
+  "contestato": 31165,
+  "contestazione": 31121,
+  "contrattazione": 31130,
+  "contributiva": 31145,
+  "contributivo": 31133,
+  "contribuzione": 31126,
+  "controricorrente": 31164,
+  "controricorso": 31115,
+  "conv": 31128,
+  "convincimento": 31203,
+  "correttezza": 31216,
+  "cpc": 31155,
+  "datoriale": 31160,
+  "datrice": 31172,
+  "declaratoria": 31182,
+  "decorrenza": 31158,
+  "dedotta": 31161,
+  "dedotto": 31174,
+  "deduce": 31120,
+  "deducendo": 31205,
+  "deduzione": 31187,
+  "denunciata": 31190,
+  "dettata": 31162,
+  "dilettantistica": 31123,
+  "dilettantistiche": 31109,
+  "dirigenziale": 31201,
+  "disciplinari": 31177,
+  "dpr": 31195,
+  "enpals": 31223,
+  "erronea": 31159,
+  "esborsi": 31152,
+  "estensore": 31150,
+  "federazioni": 31196,
+  "giudiziale": 31191,
+  "graduatorie": 31114,
+  "gravame": 31166,
+  "illegittimità": 31138,
+  "impugnazione": 31146,
+  "inail": 31222,
+  "inammissibile": 31108,
+  "inammissibili": 31212,
+  "inammissibilità": 31143,
+  "incidentale": 31113,
+  "indeterminato": 31129,
+  "individuazione": 31194,
+  "infondato": 31137,
+  "inps": 31221,
+  "inquadramento": 31181,
+  "intimato": 31167,
+  "invero": 31173,
+  "istruttori": 31127,
+  "istruttorie": 31202,
+  "lavoratrice": 31156,
+  "lgs": 31220,
+  "liquidate": 31154,
+  "maturata": 31211,
+  "mensilità": 31208,
+  "meramente": 31184,
+  "miur": 31210,
+  "nullità": 31111,
+  "oggettivo": 31215,
+  "omessa": 31149,
+  "omesso": 31125,
+  "pg": 31163,
+  "premesso": 31176,
+  "previdenziale": 31110,
+  "previdenziali": 31144,
+  "probatorio": 31170,
+  "proc": 31102,
+  "processuale": 31157,
+  "processuali": 31105,
+  "quater": 31136,
+  "ratio": 31179,
+  "ratione": 31189,
+  "reintegra": 31206,
+  "reintegrazione": 31178,
+  "rendita": 31171,
+  "resistito": 31139,
+  "revocazione": 31198,
+  "rg": 31117,
+  "richiamata": 31175,
+  "ricorrenza": 31197,
+  "riferita": 31218,
+  "rigetta": 31134,
+  "rigettato": 31124,
+  "rigetto": 31116,
+  "rilevando": 31214,
+  "rinvia": 31169,
+  "risarcitoria": 31183,
+  "risultanze": 31140,
+  "ritenersi": 31148,
+  "sez": 31147,
+  "sicché": 31141,
+  "soccombenza": 31132,
+  "soggettivo": 31185,
+  "spettante": 31200,
+  "statuizione": 31168,
+  "stipulati": 31204,
+  "stregua": 31193,
+  "sussistenza": 31106,
+  "sussunzione": 31199,
+  "temporis": 31188,
+  "tuir": 31131,
+  "unificato": 31107,
+  "vizi": 31209
+}

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,16 @@
+{
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "mask_token": "[MASK]",
+  "max_len": 512,
+  "name_or_path": "models/LawBERT-IT_trained",
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": null,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}