RichardErkhov/FairMind_-_Minerva-3B-Instruct-v1.0-4bits

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Minerva-3B-Instruct-v1.0 - bnb 4bits

• Model creator: https://huggingface.co/FairMind/
• Original model: https://huggingface.co/FairMind/Minerva-3B-Instruct-v1.0/

Original model description:

license: cc-by-nc-sa-4.0 language: - it pipeline_tag: text-generation tags: - text-generation-inference - transformers - mistral - trl - sft base_model: sapienzanlp/Minerva-3B-base-v1.0 datasets: - mchl-labs/stambecco_data_it widget: - text: "Di seguito è riportata un'istruzione che descrive un'attività, abbinata ad un input che fornisce ulteriore informazione. Scrivi una risposta che soddisfi adeguatamente la richiesta. \n### Istruzione:\nSuggerisci un'attività serale romantica\n\n### Input:\n\n### Risposta:" example_title: Example 1

Model Card for Minerva-3B-Instruct-v1.0

Minerva-3B-Instruct-v1.0 is an instruction-tuned version of the Minerva-3B-base-v1.0 model, specifically fine-tuned for understanding and following instructions in Italian.

Model Details

Model Description

• Developed by: Walid Iguider
• Model type: Instruction Tuned
• License: cc-by-nc-sa-4.0
• Finetuned from model: Minerva-3B-base-v1.0, developed by Sapienza NLP in collaboration with Future Artificial Intelligence Research (FAIR) and CINECA

Evaluation

For a detailed comparison of model performance, check out the Leaderboard for Italian Language Models.

Here's a breakdown of the performance metrics:

Model/metric	hellaswag_it acc_norm	arc_it acc_norm	m_mmlu_it 5-shot acc	Average
Minerva-3B-Instruct-v1.0	0.5197	0.3157	0.2631	0.366
Minerva-3B-base-v1.0	0.5187	0.3045	0.2612	0.361

Sample Code

  from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
  import torch
  torch.random.manual_seed(0)
  # Run text generation pipeline with our next model
  prompt = """Di seguito è riportata un'istruzione che descrive un'attività, abbinata ad un input che fornisce
  ulteriore informazione. Scrivi una risposta che soddisfi adeguatamente la richiesta.
  
  ### Istruzione:
  Suggerisci un'attività serale romantica

  ### Input:
  
  
  ### Risposta:"""
  
  model_id = "FairMind/Minerva-3B-Instruct-v1.0"
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  model = AutoModelForCausalLM.from_pretrained(
      model_id, 
      device_map="cuda", 
      torch_dtype="auto", 
      trust_remote_code=True, 
  )
  
  generation_args = {
      "max_new_tokens": 500,
      "return_full_text": False,
      "temperature": 0.0,
      "do_sample": False,
  }
  
  pipe = pipeline(
      "text-generation",
      model=model,
      tokenizer=tokenizer,
  )
  
  output = pipe(prompt, **generation_args)
  print(output[0]['generated_text'])