README.md

---
language: de
license: cc-by-4.0
tags:
- named-entity-recognition
- legal
- ner
datasets:
- elenanereiss/german-ler
metrics:
- precision
- recall
- f1
pipeline_tag: token-classification
widget:
- text: Der aus Afghanistan stammende Angeklagte war am 11. November 2007 in einen
    Streit mit seinem Landsmann P. um die Nutzung eines Fahrzeugstellplatzes geraten
- text: Der Angeklagte hatte seinen Sohn Y. S., einen Boxsportler, sowie seinen Bruder
    A. S., der stark sehbehindert und kriegsversehrt war, zum Tatort mitgebracht.
- text: Das Ablehnungsgesuch der Beschuldigten vom 1. April 2018 gegen die Vorsitzende
    Richterin am Bundesgerichtshof Sost-Scheible, die Richterin am Bundesgerichtshof
    Roggenbuck und die Richter am Bundesgerichtshof Cierniak, Bender und Dr. Feilcke
    wird als unzulässig verworfen.
- text: Die Freie und Hansestadt Hamburg  hat der Beschwerdeführerin ihre notwendigen
    Auslagen zu erstatten.
- text: Zu der Verfassungsbeschwerde haben das Bundesministerium für Ernährung und
    Landwirtschaft, der Bayerische Jagdverband, der Naturschutzbund Deutschland e.V.
    (NABU), der Deutsche Bauernverband, die Arbeitsgemeinschaft Deutscher Waldbesitzerverbände
    e.V., der Deutsche Jagdverband e.V. sowie die Bundesarbeitsgemeinschaft der Jagdgenossenschaften
    und Eigenjagdbesitzer Stellung genommen.
- text: Auf die Revisionen des Angeklagten und der Staatsanwaltschaft wird das Urteil
    des Landgerichts Fulda vom 30. Mai 2017 im Ausspruch über die Gesamtstrafe aufgehoben.
- text: 'Im Tatzeitraum vom 19. Mai 2010 bis zum 21. Dezember 2011 lieferte die V.
    Fleisch GmbH & Co. KG (im Folgenden: Firma V.) Fleischprodukte, unter anderem
    Schweinerückenspeck, an das in der Ukraine ansässige Unternehmen VAT „M.Y.“ (fortan:
    Firma Y.).'
- text: § 14 Absatz 2 Satz 2 des Gesetzes über Teilzeitarbeit und befristete Arbeitsverträge
    (TzBfG) vom 21. Dezember 2000 (Bundesgesetzblatt I Seite 1966), zuletzt geändert
    durch Gesetz vom 20. Dezember 2011 (Bundesgesetzblatt I Seite 2854), ist nach
    Maßgabe der Gründe mit dem Grundgesetz vereinbar.
- text: Auf das Arbeitsverhältnis der Parteien fand der Manteltarifvertrag für die
    Beschäftigten der Mitglieder der TGAOK (BAT/AOK-Neu) vom 7. August 2003 Anwendung.
- text: Besteht - wie hier - eine Diskrepanz, muss dem Gesetzeswortlaut, dem Regelungssystem
    und dem Regelungsziel der Vorrang zukommen (stRspr; vgl zB BVerfGE 62, 1, 45;
    BVerfGE 119, 96, 179; BSG SozR 4 - 2500 § 62 Nr 8 RdNr 20 f; Hauck/Wiegand, KrV
    2016, 1, 4).
- text: Herr W. verstieß gegen § 36 Abs. 7 IfSG.
base_model: bert-base-german-cased
model-index:
- name: elenanereiss/bert-german-ler
  results:
  - task:
      type: token-classification
      name: Token Classification
    dataset:
      name: elenanereiss/german-ler
      type: elenanereiss/german-ler
      args: elenanereiss/german-ler
    metrics:
    - type: f1
      value: 0.9546215361725869
      name: F1
    - type: precision
      value: 0.9449558173784978
      name: Precision
    - type: recall
      value: 0.9644870349492672
      name: Recall
---


# bert-german-ler

## Model description

This model is a fine-tuned version of [bert-base-german-cased](https://huggingface.co/bert-base-german-cased) on the 
[German LER Dataset](https://huggingface.co/datasets/elenanereiss/german-ler).

Distribution of classes in the dataset:
|    |         | **Fine-grained classes** | **#**      | **%**   |
|----|---------|--------------------------|------------|---------|
| 1  | **PER** | _Person_                 | 1,747      | 3.26    |
| 2  | **RR**  | _Judge_                  | 1,519      | 2.83    |
| 3  | **AN**  | _Lawyer_                 | 111        | 0.21    |
| 4  | **LD**  | _Country_                | 1,429      | 2.66    |
| 5  | **ST**  | _City_                   | 705        | 1.31    |
| 6  | **STR** | _Street_                 | 136        | 0.25    |
| 7  | **LDS** | _Landscape_              | 198        | 0.37    |
| 8  | **ORG** | _Organization_           | 1,166      | 2.17    |
| 9  | **UN**  | _Company_                | 1,058      | 1.97    |
| 10 | **INN** | _Institution_            | 2,196      | 4.09    |
| 11 | **GRT** | _Court_                  | 3,212      | 5.99    |
| 12 | **MRK** | _Brand_                  | 283        | 0.53    |
| 13 | **GS**  | _Law_                    | 18,52      | 34.53   |
| 14 | **VO**  | _Ordinance_              | 797        | 1.49    |
| 15 | **EUN** | _European legal norm_    | 1,499      | 2.79    |
| 16 | **VS**  | _Regulation_             | 607        | 1.13    |
| 17 | **VT**  | _Contract_               | 2,863      | 5.34    |
| 18 | **RS**  | _Court decision_         | 12,58      | 23.46   |
| 19 | **LIT** | _Legal literature_       | 3,006      | 5.60    |
|    |         | **Total**                | **53,632** | **100** |

How to fine-tune another model on the German LER Dataset, see [GitHub](https://github.com/elenanereiss/bert-legal-ner).

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 1e-05
- train_batch_size: 12
- eval_batch_size: 16
- max_seq_length: 512
- num_epochs: 3

## Results 

## Results on the dev set:

```
              precision    recall  f1-score   support

          AN       0.75      0.50      0.60        12
         EUN       0.92      0.93      0.92       116
         GRT       0.95      0.99      0.97       331
          GS       0.98      0.98      0.98      1720
         INN       0.84      0.91      0.88       199
          LD       0.95      0.95      0.95       109
         LDS       0.82      0.43      0.56        21
         LIT       0.88      0.92      0.90       231
         MRK       0.50      0.70      0.58        23
         ORG       0.64      0.71      0.67       103
         PER       0.86      0.93      0.90       186
          RR       0.97      0.98      0.97       144
          RS       0.94      0.95      0.94      1126
          ST       0.91      0.88      0.89        58
         STR       0.29      0.29      0.29         7
          UN       0.81      0.85      0.83       143
          VO       0.76      0.95      0.84        37
          VS       0.62      0.80      0.70        56
          VT       0.87      0.92      0.90       275

   micro avg       0.92      0.94      0.93      4897
   macro avg       0.80      0.82      0.80      4897
weighted avg       0.92      0.94      0.93      4897
```

## Results on the test set:

```
              precision    recall  f1-score   support

          AN       1.00      0.89      0.94         9
         EUN       0.90      0.97      0.93       150
         GRT       0.98      0.98      0.98       321
          GS       0.98      0.99      0.98      1818
         INN       0.90      0.95      0.92       222
          LD       0.97      0.92      0.94       149
         LDS       0.91      0.45      0.61        22
         LIT       0.92      0.96      0.94       314
         MRK       0.78      0.88      0.82        32
         ORG       0.82      0.88      0.85       113
         PER       0.92      0.88      0.90       173
          RR       0.95      0.99      0.97       142
          RS       0.97      0.98      0.97      1245
          ST       0.79      0.86      0.82        64
         STR       0.75      0.80      0.77        15
          UN       0.90      0.95      0.93       108
          VO       0.80      0.83      0.81        71
          VS       0.73      0.84      0.78        64
          VT       0.93      0.97      0.95       290

   micro avg       0.94      0.96      0.95      5322
   macro avg       0.89      0.89      0.89      5322
weighted avg       0.95      0.96      0.95      5322
```

### Reference
```
@misc{https://doi.org/10.48550/arxiv.2003.13016,
  doi = {10.48550/ARXIV.2003.13016},
  url = {https://arxiv.org/abs/2003.13016},  
  author = {Leitner, Elena and Rehm, Georg and Moreno-Schneider, Julián},  
  keywords = {Computation and Language (cs.CL), Information Retrieval (cs.IR), FOS: Computer and information sciences, FOS: Computer and information sciences},  
  title = {A Dataset of German Legal Documents for Named Entity Recognition},  
  publisher = {arXiv},  
  year = {2020},  
  copyright = {arXiv.org perpetual, non-exclusive license}
}

```