Mainak Manna commited on
Commit
b85f2cb
1 Parent(s): cd300c6

First version of the model

Browse files
Files changed (1) hide show
  1. README.md +69 -0
README.md ADDED
@@ -0,0 +1,69 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ language: Swedish
4
+ tags:
5
+ - summarization Swedish model
6
+ datasets:
7
+ - jrc-acquis
8
+ widget:
9
+ - text: "[delgivet med nr K(2005) 1355] (2005/369/EG) EUROPEISKA GEMENSKAPERNAS KOMMISSION HAR FATTAT DETTA BESLUT med beaktande av Fördraget om upprättandet av Europeiska gemenskapen, med beaktande av Europaparlamentets och rådets direktiv 2002/96/EG av den 27 januari 2003 om avfall som utgörs av eller innehåller elektriska eller elektroniska produkter (WEEE) [1], särskilt artiklarna 7.3 andra stycket och 12.1 tredje stycket i detta, och av följande skäl: (1) För att kunna jämföra den information som medlemsstaterna skall lämna, bör metoden för att beräkna huruvida målen i artikel 7.2 i direktiv 2002/96/EG har uppnåtts harmoniseras med avseende på presentationen. (2) För att hitta en balans mellan risken för felaktiga uppgifter och den administrativa börda det innebär att få fram exakt information, bör medlemsstaterna få ange ett uppskattat värde för den mängd material och komponenter i avfall som utgörs av eller innehåller elektriska eller elektroniska produkter och som återvinns, återanvänds eller materialåtervinns. (3) Enligt artikel 6.5 i direktiv 2002/96/EG kan behandlingen genomföras även utanför den berörda medlemsstaten eller utanför gemenskapen under förutsättning att avfallstransporten sker i enlighet med rådets förordning (EEG) nr 259/93 av den 1 februari 1993 om övervakning och kontroll av avfallstransporter inom, till och från Europeiska gemenskapen [2]. Medlemsstater som skickar avfall som utgörs av eller innehåller elektriska eller elektroniska produkter för behandling i andra medlemsstater eller exporterar sådant avfall för behandling i tredjeländer bör kunna få räkna av den exporterade mängden från de mål som anges i artikel 7.2 i direktiv 2002/96/EG under förutsättning att avfallet samlats in av den exporterande medlemsstaten. (4) De åtgärder som föreskrivs i detta beslut är förenliga med yttrandet från den kommitté som inrättats i enlighet med artikel 18 i direktiv 75/442/EEG [3]. HÄRIGENOM FÖRESKRIVS FÖLJANDE. Artikel 1 Medlemsstaterna skall lämna den information som krävs enligt artikel 12.1 i direktiv 2002/96/EG med användning av de dataformat som anges i tabell 1 i bilagan till detta beslut. Artikel 2 1. Medlemsstaterna skall visa att de uppnått de kvoter för återvinning, återanvändning och materialåtervinning som anges i artikel 7.2 i direktiv 2002/96/EG genom att fylla i tabell 2 i bilagan till detta beslut. Medlemsstaterna får när de fyller i den tabellen använda sig av ett uppskattat värde när det gäller den genomsnittliga procentsatsen för hur mycket material som återvunnits, återanvänts eller materialåtervunnits, såsom metall, glas och plast och komponenter i avfall som utgörs av eller innehåller elektriska eller elektroniska produkter. 2. Om avfall som utgörs av eller innehåller elektriska eller elektroniska produkter exporteras för behandling i ett tredjeland eller skickas för behandling i en annan medlemsstat i enlighet med artikel 6.5 i direktiv 2002/96/EG får endast medlemsstaten som samlat in och exporterat avfallet räkna av det från de mål som ställs upp i artikel 7.2 i det direktivet. 3. Medlemsstaterna skall fastställa om det utöver det bevis som föreskrivs i artikel 6.5 andra stycket i direktiv 2002/96/EG behövs ytterligare skriftlig bevisning. Artikel 3 Medlemsstaterna skall när de skickar in tabellerna 1 och 2 i bilagan till kommissionen utförligt beskriva hur informationen har sammanställts och förklara de uppskattade värdena och de använda metoderna. Artikel 4 Detta beslut riktar sig till medlemsstaterna. Utfärdat i Bryssel den 3 maj 2005. På kommissionens vägnar Stavros Dimas Ledamot av kommissionen [1] EUT L 37, 13.2.2003, s. 24. Direktivet ändrat genom direktiv 2003/108/EG (EUT L 345, 31.12.2003, s. 106). [2] EGT L 30, 6.2.1993, s. 1. Förordningen senast ändrad genom kommissionens förordning (EG) nr 2557/2001. (EGT L 349, 31.12.2001, s. 1). [3] EGT L 194, 25.7.1975, s. 39. Direktivet senast ändrat genom Europaparlamentets och rådets förordning (EG) nr 1882/2003 (EUT L 284, 31.10.2003, s. 1). -------------------------------------------------- BILAGA Kolumnnummer | 1 | 2 | 3 | 4 | 5 | 6 | 7 | Utsläppta på marknaden | Utsläppta på marknaden | Insamlade från privathushåll | Insamlade från andra användare än privathushåll | Totalt insamlat WEEE | Behandlat i medlemsstaten | Behandlat i en annan medlemsstat | Behandlat utanför gemenskapen | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | 1.Stora hushållsapparater | | | | | | | | 2.Små hushållsapparater | | | | | | | | 3.IT- och telekommunikationsutrustning | | | | | | | | 4.Hemutrustning | | | | | | | | 5.Belysningsutrustning | | | | | | | | 5a.Gasurladdningslampor | | | | | | | | 6.Elektriska och elektroniska verktyg | | | | | | | | 7.Leksaker samt fritids- och sportutrustning | | | | | | | | 8.Medicintekniska produkter | | | | | | | | 9.Övervaknings- och kontrollinstrument | | | | | | | | 10.Varuautomater | | | | | | | | Kolumnnummer | 1 | 2 | 3 | 4 | 5 | Produktkategori | Återvinning | Återvinningskvot | Återanvändning- och materialåtervinning | Återanvändnings- och materialåtervinningskvot | WEEE som återanvänds som hela apparater | Total vikti ton | % | Total vikti ton | % | Total vikti ton | 1.Stora hushållsapparater | | | | | | 2.Små hushållsapparater | | | | | | 3.IT- och telekommunikationsutrustning | | | | | | 4.Hemutrustning | | | | | | 5.Belysningsutrustning | | | | | | 5a.Gasurladdningslampor | Ej tillämpligt | Ej tillämpligt | | | | 6.Elektriska och elektroniska verktyg | | | | | | 7.Leksaker samt fritids- och sportutrustning | | | | | | 8.Medicintekniska produkter | | | | | | 9.Övervaknings- och kontrollinstrument | | | | | | 10.Varuautomater | | | | | | -------------------------------------------------- "
10
+
11
+ ---
12
+
13
+ # legal_t5_small_summ_sv model
14
+
15
+ Model for Summarization of legal text written in Swedish. It was first released in
16
+ [this repository](https://github.com/agemagician/LegalTrans). This model is trained on three parallel corpus from jrc-acquis.
17
+
18
+
19
+ ## Model description
20
+
21
+ legal_t5_small_summ_sv is based on the `t5-small` model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using `dmodel = 512`, `dff = 2,048`, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.
22
+
23
+ ## Intended uses & limitations
24
+
25
+ The model could be used for summarization of legal texts written in Swedish.
26
+
27
+ ### How to use
28
+
29
+ Here is how to use this model to summarize legal text written in Swedish in PyTorch:
30
+
31
+ ```python
32
+ from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline
33
+
34
+ pipeline = TranslationPipeline(
35
+ model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_sv"),
36
+ tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_sv", do_lower_case=False,
37
+ skip_special_tokens=True),
38
+ device=0
39
+ )
40
+
41
+ sv_text = "[delgivet med nr K(2005) 1355] (2005/369/EG) EUROPEISKA GEMENSKAPERNAS KOMMISSION HAR FATTAT DETTA BESLUT med beaktande av Fördraget om upprättandet av Europeiska gemenskapen, med beaktande av Europaparlamentets och rådets direktiv 2002/96/EG av den 27 januari 2003 om avfall som utgörs av eller innehåller elektriska eller elektroniska produkter (WEEE) [1], särskilt artiklarna 7.3 andra stycket och 12.1 tredje stycket i detta, och av följande skäl: (1) För att kunna jämföra den information som medlemsstaterna skall lämna, bör metoden för att beräkna huruvida målen i artikel 7.2 i direktiv 2002/96/EG har uppnåtts harmoniseras med avseende på presentationen. (2) För att hitta en balans mellan risken för felaktiga uppgifter och den administrativa börda det innebär att få fram exakt information, bör medlemsstaterna få ange ett uppskattat värde för den mängd material och komponenter i avfall som utgörs av eller innehåller elektriska eller elektroniska produkter och som återvinns, återanvänds eller materialåtervinns. (3) Enligt artikel 6.5 i direktiv 2002/96/EG kan behandlingen genomföras även utanför den berörda medlemsstaten eller utanför gemenskapen under förutsättning att avfallstransporten sker i enlighet med rådets förordning (EEG) nr 259/93 av den 1 februari 1993 om övervakning och kontroll av avfallstransporter inom, till och från Europeiska gemenskapen [2]. Medlemsstater som skickar avfall som utgörs av eller innehåller elektriska eller elektroniska produkter för behandling i andra medlemsstater eller exporterar sådant avfall för behandling i tredjeländer bör kunna få räkna av den exporterade mängden från de mål som anges i artikel 7.2 i direktiv 2002/96/EG under förutsättning att avfallet samlats in av den exporterande medlemsstaten. (4) De åtgärder som föreskrivs i detta beslut är förenliga med yttrandet från den kommitté som inrättats i enlighet med artikel 18 i direktiv 75/442/EEG [3]. HÄRIGENOM FÖRESKRIVS FÖLJANDE. Artikel 1 Medlemsstaterna skall lämna den information som krävs enligt artikel 12.1 i direktiv 2002/96/EG med användning av de dataformat som anges i tabell 1 i bilagan till detta beslut. Artikel 2 1. Medlemsstaterna skall visa att de uppnått de kvoter för återvinning, återanvändning och materialåtervinning som anges i artikel 7.2 i direktiv 2002/96/EG genom att fylla i tabell 2 i bilagan till detta beslut. Medlemsstaterna får när de fyller i den tabellen använda sig av ett uppskattat värde när det gäller den genomsnittliga procentsatsen för hur mycket material som återvunnits, återanvänts eller materialåtervunnits, såsom metall, glas och plast och komponenter i avfall som utgörs av eller innehåller elektriska eller elektroniska produkter. 2. Om avfall som utgörs av eller innehåller elektriska eller elektroniska produkter exporteras för behandling i ett tredjeland eller skickas för behandling i en annan medlemsstat i enlighet med artikel 6.5 i direktiv 2002/96/EG får endast medlemsstaten som samlat in och exporterat avfallet räkna av det från de mål som ställs upp i artikel 7.2 i det direktivet. 3. Medlemsstaterna skall fastställa om det utöver det bevis som föreskrivs i artikel 6.5 andra stycket i direktiv 2002/96/EG behövs ytterligare skriftlig bevisning. Artikel 3 Medlemsstaterna skall när de skickar in tabellerna 1 och 2 i bilagan till kommissionen utförligt beskriva hur informationen har sammanställts och förklara de uppskattade värdena och de använda metoderna. Artikel 4 Detta beslut riktar sig till medlemsstaterna. Utfärdat i Bryssel den 3 maj 2005. På kommissionens vägnar Stavros Dimas Ledamot av kommissionen [1] EUT L 37, 13.2.2003, s. 24. Direktivet ändrat genom direktiv 2003/108/EG (EUT L 345, 31.12.2003, s. 106). [2] EGT L 30, 6.2.1993, s. 1. Förordningen senast ändrad genom kommissionens förordning (EG) nr 2557/2001. (EGT L 349, 31.12.2001, s. 1). [3] EGT L 194, 25.7.1975, s. 39. Direktivet senast ändrat genom Europaparlamentets och rådets förordning (EG) nr 1882/2003 (EUT L 284, 31.10.2003, s. 1). -------------------------------------------------- BILAGA Kolumnnummer | 1 | 2 | 3 | 4 | 5 | 6 | 7 | Utsläppta på marknaden | Utsläppta på marknaden | Insamlade från privathushåll | Insamlade från andra användare än privathushåll | Totalt insamlat WEEE | Behandlat i medlemsstaten | Behandlat i en annan medlemsstat | Behandlat utanför gemenskapen | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | Total vikti ton | 1.Stora hushållsapparater | | | | | | | | 2.Små hushållsapparater | | | | | | | | 3.IT- och telekommunikationsutrustning | | | | | | | | 4.Hemutrustning | | | | | | | | 5.Belysningsutrustning | | | | | | | | 5a.Gasurladdningslampor | | | | | | | | 6.Elektriska och elektroniska verktyg | | | | | | | | 7.Leksaker samt fritids- och sportutrustning | | | | | | | | 8.Medicintekniska produkter | | | | | | | | 9.Övervaknings- och kontrollinstrument | | | | | | | | 10.Varuautomater | | | | | | | | Kolumnnummer | 1 | 2 | 3 | 4 | 5 | Produktkategori | Återvinning | Återvinningskvot | Återanvändning- och materialåtervinning | Återanvändnings- och materialåtervinningskvot | WEEE som återanvänds som hela apparater | Total vikti ton | % | Total vikti ton | % | Total vikti ton | 1.Stora hushållsapparater | | | | | | 2.Små hushållsapparater | | | | | | 3.IT- och telekommunikationsutrustning | | | | | | 4.Hemutrustning | | | | | | 5.Belysningsutrustning | | | | | | 5a.Gasurladdningslampor | Ej tillämpligt | Ej tillämpligt | | | | 6.Elektriska och elektroniska verktyg | | | | | | 7.Leksaker samt fritids- och sportutrustning | | | | | | 8.Medicintekniska produkter | | | | | | 9.Övervaknings- och kontrollinstrument | | | | | | 10.Varuautomater | | | | | | -------------------------------------------------- "
42
+
43
+ pipeline([sv_text], max_length=512)
44
+ ```
45
+
46
+ ## Training data
47
+
48
+ The legal_t5_small_summ_sv model was trained on [JRC-ACQUIS](https://wt-public.emm4u.eu/Acquis/index_2.2.html) dataset consisting of 19 Thousand texts.
49
+
50
+ ## Training procedure
51
+
52
+ ### Preprocessing
53
+
54
+ ### Pretraining
55
+ An unigram model with 88M parameters is trained over the complete parallel corpus to get the vocabulary (with byte pair encoding), which is used with this model.
56
+
57
+
58
+ ## Evaluation results
59
+
60
+ When the model is used for classification test dataset, achieves the following results:
61
+
62
+ Test results :
63
+
64
+ | Model | Rouge1 | Rouge2 | Rouge Lsum |
65
+ |:-----:|:-----:|:-----:|:-----:|
66
+ | legal_t5_small_cls_sv | 78.84|69.97 |77.59|
67
+
68
+
69
+ ### BibTeX entry and citation info