Mainak Manna
First version of the model
74f76a8
metadata
language: Deustch
tags:
  - summarization Deustch model
datasets:
  - jrc-acquis
widget:
  - text: >-
      (90/365/EWG) DER RAT DER EUROPÄISCHEN GEMEINSCHAFTEN - gestützt auf den
      Vertrag zur Gründung der Europäischen Wirtschaftsgemeinschaft,
      insbesondere auf Artikel 235, auf Vorschlag der Kommission (1), nach
      Stellungnahme des Europäischen Parlaments (2), nach Stellungnahme des
      Wirtschafts- und Sozialausschusses (3), in Erwägung nachstehender Gründe:
      Gemäß Artikel 3 Buchstabe c) des Vertrages umfasst die Tätigkeit der
      Gemeinschaft, nach Maßgabe des Vertrages, die Beseitigung der Hindernisse
      für den freien Personenverkehr zwischen den Mitgliedstaaten. Artikel 8a
      des Vertrages sieht vor, daß der Binnenmarkt bis zum 31. Dezember 1992 zu
      verwirklichen ist. Der Binnenmarkt umfasst einen Raum ohne Binnengrenzen,
      in dem der freie Verkehr von Waren, Personen, Dienstleistungen und Kapital
      gemäß den Bestimmungen des Vertrages gewährleistet ist. Die Artikel 48 und
      52 des Vertrages sehen die Freizuegigkeit der Arbeitnehmer und selbständig
      Erwerbstätigen vor, was ein Recht auf Aufenthalt in dem Mitgliedstaat
      beinhaltet, in dem sie ihr Berufsleben verbringen. Es empfiehlt sich,
      dieses Aufenthaltsrecht auch Personen zu gewähren, die aus dem
      Erwerbsleben ausgeschieden sind, auch wenn sie während ihres Berufslebens
      von dem Recht auf Freizuegigkeit keinen Gebrauch gemacht haben. Die
      Aufenthaltsberechtigten dürfen die öffentlichen Finanzen des
      Aufnahmemitgliedstaates nicht über Gebühr belasten. Nach Artikel 10 der
      Verordnung (EWG) Nr. 1408/71 (4) in der Fassung der Verordnung (EWG) Nr.
      1390/81 (5) haben die Empfänger von Geldleistungen bei Invalidität und
      Alter und die Bezieher von Renten bei Arbeitsunfällen oder
      Berufskrankheiten auch dann weiterhin Anspruch auf diese Leistungen und
      Renten, wenn sie im Gebiet eines anderen Mitgliedstaates als des Staates
      wohnen, auf dessen Gebiet der zur Zahlung verpflichtete Träger seinen Sitz
      hat. Die Ausübung des Aufenthaltsrechts wird erst dann eine reale
      Möglichkeit, wenn es auch den Familienangehörigen zugestanden wird. Für
      die von dieser Richtlinie Begünstigten sollte eine Verwaltungsregelung
      entsprechend der insbesondere in der Richtlinie 68/360/EWG (6) und in der
      Richtlinie 64/221/EWG (7) vorgesehenen Regelung gelten. Der Vertrag
      enthält Befugnisse für den Erlaß der vorliegenden Richtlinie nur in
      Artikel 235 - HAT FOLGENDE RICHTLINIE ERLASSEN: Artikel 1 (1) Die
      Mitgliedstaaten gewähren den Angehörigen der Mitgliedstaaten, die in der
      Gemeinschaft eine Tätigkeit als Arbeitnehmer oder als Selbständige
      ausgeuebt haben, sowie deren Familienangehörigen nach der Definition von
      Absatz 2 unter der Bedingung das Aufenthaltsrecht, daß sie eine
      Invaliditäts-, Vorruhestands- oder Altersrente oder eine Rente wegen
      Arbeitsunfalls oder Berufskrankheit in einer solchen Höhe beziehen, daß
      sie während ihres Aufenthalts nicht die Sozialhilfe des
      Aufnahmemitgliedstaats in Anspruch nehmen müssen, und einen
      Krankenversicherungsschutz genießen, der im Aufnahmemitgliedstaat alle
      Risiken abdeckt. Die Existenzmittel des Antragstellers gelten als
      ausreichend, wenn sie einen Betrag übersteigen, unterhalb dessen der
      Aufnahmemitgliedstaat seinen Staatsangehörigen aufgrund der persönlichen
      Situation des Antragstellers und gegebenenfalls der Situation der nach
      Absatz 2 aufgenommenen Personen Sozialhilfe gewähren kann. Ist Unterabsatz
      2 in einem Mitgliedstaat nicht anwendbar, so gelten die Existenzmittel des
      Antragstellers als ausreichend, wenn sie den Betrag der Grundrente der
      Sozialversicherung übersteigen, die der Aufnahmemitgliedstaat zahlt. (2)
      Bei dem Aufenthaltsberechtigten dürfen folgende Personen ungeachtet ihrer
      Staatsangehörigkeit in einem anderen Mitgliedstaat Wohnung nehmen: a) sein
      Ehegatte sowie die Verwandten in absteigender Linie, denen Unterhalt
      gewährt wird; b) seine Verwandten und die Verwandten seines Ehegatten in
      aufsteigender Linie, denen er Unterhalt gewährt. Artikel 2 (1) Zum
      Nachweis des Aufenthaltsrechts wird eine Bescheinigung, die
      »Aufenthaltserlaubnis für Staatsangehörige eines
      EWG-Mitgliedstaates%quot%, erteilt, deren Gültigkeit auf fünf Jahre mit
      Verlängerungsmöglichkeit begrenzt werden kann. Die Mitgliedstaaten können
      jedoch die Erneuerung der Aufenthaltserlaubnis nach den ersten zwei
      Aufenthaltsjahren verlangen, wenn sie dies für erforderlich halten. Einem
      Familienmitglied, das nicht die Staatsangehörigkeit eines Mitgliedstaats
      besitzt, wird ein Aufenthaltsdokument mit der gleichen Gültigkeitsdauer
      ausgestellt wie dem Staatsangehörigen, von dem es seine Rechte herleitet.
      Für die Erteilung der Aufenthaltserlaubnis oder des Aufenthaltsdokuments
      darf der Mitgliedstaat vom Antragsteller nur die Vorlage eines gültigen
      Personalausweises bzw. Reisepasses sowie den Nachweis verlangen, daß er
      die Voraussetzungen des Artikels 1 erfuellt. (2) Die Artikel 2 und 3,
      Artikel 6 Absatz 1 Buchstabe a) und Absatz 2 sowie Artikel 9 der
      Richtlinie 68/360/EWG finden auf die von dieser Richtlinie Begünstigten
      entsprechende Anwendung. Der Ehegatte eines Staatsangehörigen eines
      Mitgliedstaats, der im Hoheitsgebiet eines Mitgliedstaats
      aufenthaltsberechtigt ist, sowie die Kinder dieses Staatsangehörigen,
      denen er Unterhalt gewährt, haben, auch wenn sie die Staatsangehörigkeit
      eines Mitgliedstaats nicht besitzen, das Recht, im gesamten Hoheitsgebiet
      dieses Mitgliedstaats jedwede Tätigkeit im Lohn- oder Gehaltsverhältnis
      oder jedwede selbständige Erwerbstätigkeit auszuüben. Die Mitgliedstaaten
      dürfen nur aus Gründen der öffentlichen Ordnung, der öffentlichen
      Sicherheit oder der Volksgesundheit von den Bestimmungen dieser Richtlinie
      abweichen. In diesem Fall findet die Richtlinie 64/221/EWG Anwendung. (3)
      Die vorliegende Richtlinie berührt nicht die geltenden Rechtsvorschriften
      für den Erwerb von Zweitwohnungen. Artikel 3 Das Aufenthaltsrecht besteht,
      solange die Berechtigten die Bedingungen des Artikels 1 erfuellen. Artikel
      4 Die Kommission arbeitet spätestens drei Jahre nach dem Beginn der
      Anwendung dieser Richtlinie und anschließend alle drei Jahre einen Bericht
      über ihre Anwendung aus und legt ihn dem Europäischen Parlament und dem
      Rat vor. Artikel 5 Die Mitgliedstaaten setzen die erforderlichen Rechts-
      und Verwaltungsvorschriften in Kraft, um dieser Richtlinie bis spätestens
      30. Juni 1992 nachzukommen. Sie setzen die Kommission unverzueglich davon
      in Kenntnis. Artikel 6 Diese Richtlinie ist an die Mitgliedstaaten
      gerichtet. Geschehen zu Luxemburg am 28. Juni 1990. Im Namen des Rates Der
      Präsident M. GEOGHEGAN-QUINN (1) ABl. Nr. C 191 vom 28. 7. 1989, S. 3 und
      ABl. Nr. C 26 vom 3. 2. 1990, S. 19. (2) Stellungnahme vom 13. Juni 1990
      (noch nicht im Amtsblatt veröffentlicht). (3) ABl. Nr. C 329 vom 30. 12.
      1989, S. 25. (4) ABl. Nr. L 149 vom 5. 7. 1971, S. 2. (5) ABl. Nr. L 143
      vom 29. 5. 1981, S. 1. (6) ABl. Nr. L 257 vom 19. 10. 1968, S. 13. (7)
      ABl. Nr. 56 vom 4. 4. 1964, S. 850/64. 

legal_t5_small_summ_de model

Model for Summarization of legal text written in Deustch. It was first released in this repository. This model is trained on three parallel corpus from jrc-acquis.

Model description

legal_t5_small_summ_de is based on the t5-small model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using dmodel = 512, dff = 2,048, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.

Intended uses & limitations

The model could be used for summarization of legal texts written in Deustch.

How to use

Here is how to use this model to summarize legal text written in Deustch in PyTorch:

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_de"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_de", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "(90/365/EWG) DER RAT DER EUROPÄISCHEN GEMEINSCHAFTEN - gestützt auf den Vertrag zur Gründung der Europäischen Wirtschaftsgemeinschaft, insbesondere auf Artikel 235, auf Vorschlag der Kommission (1), nach Stellungnahme des Europäischen Parlaments (2), nach Stellungnahme des Wirtschafts- und Sozialausschusses (3), in Erwägung nachstehender Gründe: Gemäß Artikel 3 Buchstabe c) des Vertrages umfasst die Tätigkeit der Gemeinschaft, nach Maßgabe des Vertrages, die Beseitigung der Hindernisse für den freien Personenverkehr zwischen den Mitgliedstaaten. Artikel 8a des Vertrages sieht vor, daß der Binnenmarkt bis zum 31. Dezember 1992 zu verwirklichen ist. Der Binnenmarkt umfasst einen Raum ohne Binnengrenzen, in dem der freie Verkehr von Waren, Personen, Dienstleistungen und Kapital gemäß den Bestimmungen des Vertrages gewährleistet ist. Die Artikel 48 und 52 des Vertrages sehen die Freizuegigkeit der Arbeitnehmer und selbständig Erwerbstätigen vor, was ein Recht auf Aufenthalt in dem Mitgliedstaat beinhaltet, in dem sie ihr Berufsleben verbringen. Es empfiehlt sich, dieses Aufenthaltsrecht auch Personen zu gewähren, die aus dem Erwerbsleben ausgeschieden sind, auch wenn sie während ihres Berufslebens von dem Recht auf Freizuegigkeit keinen Gebrauch gemacht haben. Die Aufenthaltsberechtigten dürfen die öffentlichen Finanzen des Aufnahmemitgliedstaates nicht über Gebühr belasten. Nach Artikel 10 der Verordnung (EWG) Nr. 1408/71 (4) in der Fassung der Verordnung (EWG) Nr. 1390/81 (5) haben die Empfänger von Geldleistungen bei Invalidität und Alter und die Bezieher von Renten bei Arbeitsunfällen oder Berufskrankheiten auch dann weiterhin Anspruch auf diese Leistungen und Renten, wenn sie im Gebiet eines anderen Mitgliedstaates als des Staates wohnen, auf dessen Gebiet der zur Zahlung verpflichtete Träger seinen Sitz hat. Die Ausübung des Aufenthaltsrechts wird erst dann eine reale Möglichkeit, wenn es auch den Familienangehörigen zugestanden wird. Für die von dieser Richtlinie Begünstigten sollte eine Verwaltungsregelung entsprechend der insbesondere in der Richtlinie 68/360/EWG (6) und in der Richtlinie 64/221/EWG (7) vorgesehenen Regelung gelten. Der Vertrag enthält Befugnisse für den Erlaß der vorliegenden Richtlinie nur in Artikel 235 - HAT FOLGENDE RICHTLINIE ERLASSEN: Artikel 1 (1) Die Mitgliedstaaten gewähren den Angehörigen der Mitgliedstaaten, die in der Gemeinschaft eine Tätigkeit als Arbeitnehmer oder als Selbständige ausgeuebt haben, sowie deren Familienangehörigen nach der Definition von Absatz 2 unter der Bedingung das Aufenthaltsrecht, daß sie eine Invaliditäts-, Vorruhestands- oder Altersrente oder eine Rente wegen Arbeitsunfalls oder Berufskrankheit in einer solchen Höhe beziehen, daß sie während ihres Aufenthalts nicht die Sozialhilfe des Aufnahmemitgliedstaats in Anspruch nehmen müssen, und einen Krankenversicherungsschutz genießen, der im Aufnahmemitgliedstaat alle Risiken abdeckt. Die Existenzmittel des Antragstellers gelten als ausreichend, wenn sie einen Betrag übersteigen, unterhalb dessen der Aufnahmemitgliedstaat seinen Staatsangehörigen aufgrund der persönlichen Situation des Antragstellers und gegebenenfalls der Situation der nach Absatz 2 aufgenommenen Personen Sozialhilfe gewähren kann. Ist Unterabsatz 2 in einem Mitgliedstaat nicht anwendbar, so gelten die Existenzmittel des Antragstellers als ausreichend, wenn sie den Betrag der Grundrente der Sozialversicherung übersteigen, die der Aufnahmemitgliedstaat zahlt. (2) Bei dem Aufenthaltsberechtigten dürfen folgende Personen ungeachtet ihrer Staatsangehörigkeit in einem anderen Mitgliedstaat Wohnung nehmen: a) sein Ehegatte sowie die Verwandten in absteigender Linie, denen Unterhalt gewährt wird; b) seine Verwandten und die Verwandten seines Ehegatten in aufsteigender Linie, denen er Unterhalt gewährt. Artikel 2 (1) Zum Nachweis des Aufenthaltsrechts wird eine Bescheinigung, die »Aufenthaltserlaubnis für Staatsangehörige eines EWG-Mitgliedstaates%quot%, erteilt, deren Gültigkeit auf fünf Jahre mit Verlängerungsmöglichkeit begrenzt werden kann. Die Mitgliedstaaten können jedoch die Erneuerung der Aufenthaltserlaubnis nach den ersten zwei Aufenthaltsjahren verlangen, wenn sie dies für erforderlich halten. Einem Familienmitglied, das nicht die Staatsangehörigkeit eines Mitgliedstaats besitzt, wird ein Aufenthaltsdokument mit der gleichen Gültigkeitsdauer ausgestellt wie dem Staatsangehörigen, von dem es seine Rechte herleitet. Für die Erteilung der Aufenthaltserlaubnis oder des Aufenthaltsdokuments darf der Mitgliedstaat vom Antragsteller nur die Vorlage eines gültigen Personalausweises bzw. Reisepasses sowie den Nachweis verlangen, daß er die Voraussetzungen des Artikels 1 erfuellt. (2) Die Artikel 2 und 3, Artikel 6 Absatz 1 Buchstabe a) und Absatz 2 sowie Artikel 9 der Richtlinie 68/360/EWG finden auf die von dieser Richtlinie Begünstigten entsprechende Anwendung. Der Ehegatte eines Staatsangehörigen eines Mitgliedstaats, der im Hoheitsgebiet eines Mitgliedstaats aufenthaltsberechtigt ist, sowie die Kinder dieses Staatsangehörigen, denen er Unterhalt gewährt, haben, auch wenn sie die Staatsangehörigkeit eines Mitgliedstaats nicht besitzen, das Recht, im gesamten Hoheitsgebiet dieses Mitgliedstaats jedwede Tätigkeit im Lohn- oder Gehaltsverhältnis oder jedwede selbständige Erwerbstätigkeit auszuüben. Die Mitgliedstaaten dürfen nur aus Gründen der öffentlichen Ordnung, der öffentlichen Sicherheit oder der Volksgesundheit von den Bestimmungen dieser Richtlinie abweichen. In diesem Fall findet die Richtlinie 64/221/EWG Anwendung. (3) Die vorliegende Richtlinie berührt nicht die geltenden Rechtsvorschriften für den Erwerb von Zweitwohnungen. Artikel 3 Das Aufenthaltsrecht besteht, solange die Berechtigten die Bedingungen des Artikels 1 erfuellen. Artikel 4 Die Kommission arbeitet spätestens drei Jahre nach dem Beginn der Anwendung dieser Richtlinie und anschließend alle drei Jahre einen Bericht über ihre Anwendung aus und legt ihn dem Europäischen Parlament und dem Rat vor. Artikel 5 Die Mitgliedstaaten setzen die erforderlichen Rechts- und Verwaltungsvorschriften in Kraft, um dieser Richtlinie bis spätestens 30. Juni 1992 nachzukommen. Sie setzen die Kommission unverzueglich davon in Kenntnis. Artikel 6 Diese Richtlinie ist an die Mitgliedstaaten gerichtet. Geschehen zu Luxemburg am 28. Juni 1990. Im Namen des Rates Der Präsident M. GEOGHEGAN-QUINN (1) ABl. Nr. C 191 vom 28. 7. 1989, S. 3 und ABl. Nr. C 26 vom 3. 2. 1990, S. 19. (2) Stellungnahme vom 13. Juni 1990 (noch nicht im Amtsblatt veröffentlicht). (3) ABl. Nr. C 329 vom 30. 12. 1989, S. 25. (4) ABl. Nr. L 149 vom 5. 7. 1971, S. 2. (5) ABl. Nr. L 143 vom 29. 5. 1981, S. 1. (6) ABl. Nr. L 257 vom 19. 10. 1968, S. 13. (7) ABl. Nr. 56 vom 4. 4. 1964, S. 850/64. "

pipeline([de_text], max_length=512)

Training data

The legal_t5_small_summ_de model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.

Training procedure

The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.

Preprocessing

An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.

Pretraining

Evaluation results

When the model is used for classification test dataset, achieves the following results:

Test results :

Model Rouge1 Rouge2 Rouge Lsum
legal_t5_small_summ_de 78.03 68.84 76.95

BibTeX entry and citation info

Created by Ahmed Elnaggar/@Elnaggar_AI | LinkedIn