mtc/LeoLM-leo-mistral-hessianai-7b-classification-with-explanation-3-epochs-finetuned

Model Card for LeoLM-leo-mistral-Absinth

This model is a finetuned version of the LeoLM/leo-mistral-hessianai-7b . The model was finetuned on the Absinth dataset to predict for a given German news article and sentence a label indicating whether the sentence is faithful to the article or not.

Instruction format

This format must be strictly respected, otherwise the model will generate sub-optimal outputs.

The template used to build a prompt for the Instruct model is defined as follows:

### Anweisung:
Analysiere ob der gegebene Satz dem Artikel treu ist. Wenn der Satz ausschließlich Informationen wiedergibt, die direkt aus dem Artikel stammen, ohne jegliche Ergänzungen oder Weglassungen, antworte mit 'Faithful'. Wenn der Satz Informationen enthält, die im direkten Widerspruch zum Artikel stehen, antworte mit 'Intrinsic Hallucination'. Wenn der Satz Informationen oder Details einführt, die im Artikel selbst nicht ausdrücklich erwähnt werden, antworte mit 'Extrinsic Hallucination'. Gib zuerst ein kurze Erklärung ob der Satz treu ist oder nicht und danach das entsprechende Label.
Artikel: {article}
Satz: {sentence}

### Erklärung und Label:

Paste into the template the desired article and the corresponding sentence. The model will output a short explanation followed by a label. For more information about the possible labels, see here.

Training procedure

The model was finetuned using qlora with 4bit quantization on a A100-80Gb Gpu. The following bitsandbytes quantization config was used during training:

• quant_method: QuantizationMethod.BITS_AND_BYTES
• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: True
• bnb_4bit_compute_dtype: bfloat16

Framework versions

• PEFT 0.5.0