---
base_model:
- MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
- DiscoResearch/DiscoLM_German_7b_v1
library_name: transformers
tags:
- mergekit
- merge
language:
- de
- en
---
# VerwaltungsAnthologie_Disco_7B

This is my first "usable" POC of a german based text summarizer after the [talky](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B) and the intermediate [clear](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B)-versions.

In a short direct comparison to [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1) using ROUGE1, 2 and L, VA_Disco in combination with [hiig-piai/simba-v01c](https://huggingface.co/hiig-piai/simba-v01c) is capable of writing 'better' (more fluently) summaries.
### mlsum-DE only for testing
Only for testing I used the [mlsum-DE](https://huggingface.co/datasets/mlsum/viewer/de/test)-test-set. As the whole [mlsum](mlsum)-set is under copyright restrictions, I do hope noone use(s/d) this for finetuning.
|Model|Rouge-1 F|Rouge-2 F|Rouge-L F|
|-|-|-|-|
|DiscoLM_results_#6b|18,88|5,70|17,18|
|VA_talky_results_#6b|20,85|6,06|19,09|
|VA_disco_results_#6b|23,15|8,67|21,16|

"#6b" is the "prompt"-version to "provoke" nicer sentences. 

### Example (id233 from mlsum-DE)
|DiscoLM|VA_disco|
|-|-|
|Manfred Weber hat trotz seiner Kandidatur für den Posten des Kommissionspräsidenten wenig Einfluss und muss bis zum nächsten Gipfel in einer Woche eine Mehrheit im EU-Parlament hinter sich bringen. Es ist unwahrscheinlich, dass er dies erreichen wird, da er auf starken Widerstand aus Frankreich und Spanien trifft.|Manfred Weber ist noch im Rennen um den Posten des Kommissionspräsidenten der EU. Doch seine Chancen sind gering, da er keine Mehrheit im EU-Parlament hinter sich versammeln kann. Die Blockade aus Frankreich und Spanien wird wohl bestehen bleiben.|

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

## Merge Details
### Merge Method

This model was merged using the SLERP merge method.

### Models Merged

The following models were included in the merge:
* [MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B](https://huggingface.co/MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B)
* [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1)

### Configuration

The following YAML configuration was used to produce this model:

```yaml
# 
# 
slices:
  - sources:
      - model: DiscoResearch/DiscoLM_German_7b_v1
        layer_range: [0, 32]
      - model: MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
        layer_range: [0, 32]
merge_method: slerp
base_model: MarcGrumpyOlejak/VerwaltungsAnthologie_clear_7B
embed_slerp: true
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16
name: VerwaltungsAnthologie_Disco_7B


```