README.md

---
base_model:
- MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
- DiscoResearch/DiscoLM_German_7b_v1
library_name: transformers
tags:
- mergekit
- merge
language:
- de
- en
license: apache-2.0
---
![VA Logo](VA_Disco.png)

# VerwaltungsAnthologie_Disco_7B
This is my first "usable" POC of a german based text summarizer after the [VA_talky_7B](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B) and the intermediate [VA_clear_7B](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B)-versions.
In a short direct comparison to [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1) using ROUGE1, 2 and L, VA_Disco_7B in combination with [hiig-piai/simba-v01c](https://huggingface.co/hiig-piai/simba-v01c) is capable of writing 'better' (more fluently) summaries.
### GGUF-versions
For usage with f.ex. llama.cpp you can find the most popular GGUF-versions from Q2 up to Q8 in a seperate repository: [VerwaltungsAnthologie_Disco_7B_GGUF](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_Disco_7B_GGUF)
### mlsum-DE only for testing
Only for testing I used the [mlsum-DE](https://huggingface.co/datasets/mlsum/viewer/de/test)-test-subset. As the whole [mlsum](mlsum)-set is under copyright restrictions, I do hope noone use(s/d) this for finetuning.
|Model|Rouge-1 F|Rouge-2 F|Rouge-L F|
|-|-|-|-|
|DiscoLM_results_#6b|18,88|5,70|17,18|
|VA_talky_results_#6b|20,85|6,06|19,09|
|VA_disco_results_#6b|23,15|8,67|21,16|

"#6b" is the "prompt"-version to "provoke" nicer sentences. 
## Prompts for Retrieval
Mainly based on DiscoLM, you can use their provided examples – and simplify it a little bit. For possible problems with the "EOT"-Tag I'll just always add the sentence to finish the answer with 3 ###.
### Prompt example
```
### System:

Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen.
Du schreibst nur auf Deutsch.
Es folgt ein Kontext, den Du lernst. Danach folgt eine Aufgabe, die Du ausführst.
Fasse sprachlich doppelte Punkte zusammen.
Deine Aufgabe beendest Du mit \"###\".
Für die folgende Aufgabe steht dir zwischen den Tags BEGINCONTEXT und ENDCONTEXT eine Quelle zum Lernen zur Verfügung. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus der gelernten Quelle.

### User Prompt:

BEGINCONTEXT
{Your main text}
ENDCONTEXT
BEGININSTRUCTION
Du schreibst nur Leichtes Deutsch.
Schreibe einen kurzen Klappentext mit maximal 2 Sätzen für eine Einleitung.
Wenn Du feststellst, dass Dein Sätz länger als 3 Sätze ist, kürze ihn auf 2 Sätze.
ENDINSTRUCTION

### Model Answer:
Klappentext: 
```

## Three examples
### Example #1 (id232 from mlsum-DE)
|DiscoLM|VA_disco|
|-|-|
|Manfred Weber hat trotz seiner Kandidatur für den Posten des Kommissionspräsidenten wenig Einfluss und muss bis zum nächsten Gipfel in einer Woche eine Mehrheit im EU-Parlament hinter sich bringen. Es ist unwahrscheinlich, dass er dies erreichen wird, da er auf starken Widerstand aus Frankreich und Spanien trifft.|Manfred Weber ist noch im Rennen um den Posten des Kommissionspräsidenten der EU. Doch seine Chancen sind gering, da er keine Mehrheit im EU-Parlament hinter sich versammeln kann. Die Blockade aus Frankreich und Spanien wird wohl bestehen bleiben.|
### Example #2 (id4723 from mlsum-DE)
|DiscoLM|VA_disco|
|-|-|
|Die Versicherungswirtschaft hinkt der schnell fortschreitenden Digitalisierung in der Industrie hinterher. Dies führt dazu, dass Versicherer Schwierigkeiten haben, Daten der Industrie effizient zu verarbeiten und Risiken angemessen abzusichern. Die Folge sind veraltete IT-Systeme und Probleme bei der Kundenbetreuung. Daher plant die Munich Re-Tochter Ergo, eine spezialisierte Software nur für den Bereich Automobilindustrie zu entwickeln.|Die Versicherungswirtschaft hinkt der Digitalisierung hinterher und hat Schwierigkeiten, Daten der Industrie zu verarbeiten. Die Folge sind Excel-Sheets und manuelle Dateneingaben. Die Industrie fordert guten Service und die Versicherer haben dringenden Handlungsbedarf.|
### Example #3 (id9500 from mlsum-DE)
|DiscoLM|VA_disco|
|-|-|
|Der Europäische Gerichtshof hat in einem Urteil den Rechtsschutz gegen Hass und Hetze im Netz gestärkt. Plattformen wie Facebook können nun verpflichtet werden, bei der Löschung rechtswidriger Inhalte effektiver vorzugehen. Sie müssen nicht nur den konkreten beleidigenden Post löschen, sondern auch ähnliche Inhalte weltweit entfernen. Der Gerichtshof bestätigt damit die Klage der österreichischen Politikerin Eva Glawischnig, deren Fall den Anstoß für das Urteil gab. Sie hatte sich in der Einwanderungspolitik zu Wort gemeldet und wurde daraufhin auf Facebook beschimpft.|Der Europäische Gerichtshof hat ein Urteil gefällt, das den Rechtsschutz gegen Hass und Hetze im Netz stärken soll. Plattformen wie Facebook können künftig verpflichtet werden, bei der Tilgung rechtswidriger Inhalte effektiver vorzugehen - indem sie nicht nur exakt den einen gerichtlich beanstandeten Post löschen, sondern auch sämtliche wort- und sinngleiche Inhalte. Zudem eröffnet der EuGH den Gerichten einen Weg, um Onlinedienste zur weltweiten Löschung zu verdonnern. Auslöser des Verfahrens ist eine Klage der österreichischen Politikerin Eva Glawischnig.|

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

## Merge Details
### Merge Method

This model was merged using the SLERP merge method.

### Models Merged

The following models were included in the merge:
* [MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B)
* [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1)

### Configuration

The following YAML configuration was used to produce this model:

```yaml
# 
# 
slices:
  - sources:
      - model: DiscoResearch/DiscoLM_German_7b_v1
        layer_range: [0, 32]
      - model: MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
        layer_range: [0, 32]
merge_method: slerp
base_model: MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
embed_slerp: true
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16
name: VerwaltungsAnthologie_Disco_7B


```