First version of the model

README.md

@@ -0,0 +1,69 @@
+
+---
+language: Italian   
+tags:
+- classification Italian model
+datasets:
+- jrc-acquis
+widget:
+- text: "REGOLAMENTO (CE) N. 2495/97 DELLA COMMISSIONE del 12 dicembre 1997 che modifica il regolamento (CE) n. 1460/96 che stabilisce la modalità di applicazione dei regimi di scambi preferenziali per talune merci risultanti dalla trasformazione di prodotti agricoli di cui all'articolo 7 del regolamento (CE) n. 3448/93 del Consiglio LA COMMISSIONE DELLE COMUNITÀ EUROPEE, visto il trattato che istituisce la Comunità europea, visto il regolamento (CE) n. 3448/93 del Consiglio, del 6 dicembre 1993, sul regime di scambio per talune merci ottenute dalla trasformazione di prodotti agricoli (1), in particolare l'articolo 8, paragrafo 3, primo comma, considerando che il regolamento (CE) n. 1460/96 della Commissione, del 25 luglio 1996, che stabilisce le modalità di applicazione dei regimi di scambi preferenziali per talune merci risultanti dalla trasformazione di prodotti agricoli di cui all'articolo 7 del regolamento (CE) n. 3448/93 del Consiglio (2) prevede all'articolo 10 le regole di gestione dei contingenti tariffari; considerando che, dall'adozione di tale regolamento, il regolamento (CEE) n. 2454/93 della Commissione del 2 luglio 1993, che fissa talune disposizioni di applicazione del regolamento (CEE) n. 2913/92 del Consiglio, che istituisce il codice doganale comunitario (3), modificato da ultimo dal regolamento (CE) n. 1427/97 (4), ha codificato le disposizioni in materia di gestione dei contingenti tariffari destinati ad essere utilizzati seguendo l'ordine cronologico delle date di accettazione delle dichiarazioni di immissione in libera pratica; che è opportuno sostituire il testo attuale dell'articolo 10 del regolamento (CE) n. 1460/96 con un riferimento alle disposizioni degli articoli 308 bis a 308 quater del regolamento (CEE) n. 2454/93; considerando che le misure previste dal presente regolamento sono conformi al parere del comitato di gestione per i problemi orizzontali relativi agli scambi di prodotti agricoli trasformati non figuranti nell'allegato II, HA ADOTTATO IL PRESENTE REGOLAMENTO: Articolo 1 L'articolo 10 del regolamento (CE) n. 1460/96 è sostituito dal testo seguente: «Articolo 10 Il contingente tariffario comunitario di cui all'articolo 1 è gestito dalla Commissione conformemente alle disposizioni previste dagli articoli da 308 bis a 308 quater del regolamento (CEE) n. 2454/93 della Commissione (*). (*) GU L 253 dell'11. 10. 1993, pag. 1.» Articolo 2 Il presente regolamento entra in vigore il terzo giorno successivo alla pubblicazione nella Gazzetta ufficiale delle Comunità europee. Il presente regolamento è applicabile a partire dal 1° gennaio 1998. Il presente regolamento è obbligatorio in tutti i suoi elementi e direttamente applicabile in ciascuno degli Stati membri. Fatto a Bruxelles, il 12 dicembre 1997. Per la Commissione Martin BANGEMANN Membro della Commissione (1) GU L 318 del 20. 12. 1993, pag. 18. (2) GU L 187 del 26. 7. 1996, pag. 18. (3) GU L 253 dell'11. 10. 1993, pag. 1. (4) GU L 196 del 24. 7. 1997, pag. 31."
+
+---
+
+# legal_t5_small_cls_it model
+
+Model for classification of legal text written in Italian. It was first released in
+[this repository](https://github.com/agemagician/LegalTrans). This model is trained on three parallel corpus from jrc-acquis.
+
+
+## Model description
+
+legal_t5_small_cls_it is based on the `t5-small` model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using `dmodel = 512`, `dff = 2,048`, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.
+
+## Intended uses & limitations
+
+The model could be used for classification of legal texts written in Italian.
+
+### How to use
+
+Here is how to use this model to classify legal text written in Italian in PyTorch:
+
+```python
+from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline
+
+pipeline = TranslationPipeline(
+model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_cls_it"),
+tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_cls_it", do_lower_case=False, 
+                                            skip_special_tokens=True),
+    device=0
+)
+
+it_text = "REGOLAMENTO (CE) N. 2495/97 DELLA COMMISSIONE del 12 dicembre 1997 che modifica il regolamento (CE) n. 1460/96 che stabilisce la modalità di applicazione dei regimi di scambi preferenziali per talune merci risultanti dalla trasformazione di prodotti agricoli di cui all'articolo 7 del regolamento (CE) n. 3448/93 del Consiglio LA COMMISSIONE DELLE COMUNITÀ EUROPEE, visto il trattato che istituisce la Comunità europea, visto il regolamento (CE) n. 3448/93 del Consiglio, del 6 dicembre 1993, sul regime di scambio per talune merci ottenute dalla trasformazione di prodotti agricoli (1), in particolare l'articolo 8, paragrafo 3, primo comma, considerando che il regolamento (CE) n. 1460/96 della Commissione, del 25 luglio 1996, che stabilisce le modalità di applicazione dei regimi di scambi preferenziali per talune merci risultanti dalla trasformazione di prodotti agricoli di cui all'articolo 7 del regolamento (CE) n. 3448/93 del Consiglio (2) prevede all'articolo 10 le regole di gestione dei contingenti tariffari; considerando che, dall'adozione di tale regolamento, il regolamento (CEE) n. 2454/93 della Commissione del 2 luglio 1993, che fissa talune disposizioni di applicazione del regolamento (CEE) n. 2913/92 del Consiglio, che istituisce il codice doganale comunitario (3), modificato da ultimo dal regolamento (CE) n. 1427/97 (4), ha codificato le disposizioni in materia di gestione dei contingenti tariffari destinati ad essere utilizzati seguendo l'ordine cronologico delle date di accettazione delle dichiarazioni di immissione in libera pratica; che è opportuno sostituire il testo attuale dell'articolo 10 del regolamento (CE) n. 1460/96 con un riferimento alle disposizioni degli articoli 308 bis a 308 quater del regolamento (CEE) n. 2454/93; considerando che le misure previste dal presente regolamento sono conformi al parere del comitato di gestione per i problemi orizzontali relativi agli scambi di prodotti agricoli trasformati non figuranti nell'allegato II, HA ADOTTATO IL PRESENTE REGOLAMENTO: Articolo 1 L'articolo 10 del regolamento (CE) n. 1460/96 è sostituito dal testo seguente: «Articolo 10 Il contingente tariffario comunitario di cui all'articolo 1 è gestito dalla Commissione conformemente alle disposizioni previste dagli articoli da 308 bis a 308 quater del regolamento (CEE) n. 2454/93 della Commissione (*). (*) GU L 253 dell'11. 10. 1993, pag. 1.» Articolo 2 Il presente regolamento entra in vigore il terzo giorno successivo alla pubblicazione nella Gazzetta ufficiale delle Comunità europee. Il presente regolamento è applicabile a partire dal 1° gennaio 1998. Il presente regolamento è obbligatorio in tutti i suoi elementi e direttamente applicabile in ciascuno degli Stati membri. Fatto a Bruxelles, il 12 dicembre 1997. Per la Commissione Martin BANGEMANN Membro della Commissione (1) GU L 318 del 20. 12. 1993, pag. 18. (2) GU L 187 del 26. 7. 1996, pag. 18. (3) GU L 253 dell'11. 10. 1993, pag. 1. (4) GU L 196 del 24. 7. 1997, pag. 31."
+
+pipeline([it_text], max_length=512)
+```
+
+## Training data
+
+The legal_t5_small_cls_it model was trained on [JRC-ACQUIS](https://wt-public.emm4u.eu/Acquis/index_2.2.html) dataset consisting of 14 Thousand texts.
+
+## Training procedure
+
+### Preprocessing
+
+### Pretraining
+An unigram model with 88M parameters is trained over the complete parallel corpus to get the vocabulary (with byte pair encoding), which is used with this model.
+
+
+## Evaluation results
+
+When the model is used for classification test dataset, achieves the following results:
+
+Test results :
+
+| Model | F1 score |
+|:-----:|:-----:|
+|   legal_t5_small_cls_it | 0.6296|
+
+
+### BibTeX entry and citation info