Model Card for Modello Italia 9B INT4 group-size 128 cpu-optimized

This an UNOFFICIAL conversion/quantization of the OFFICIAL model checkpoint of "Modello Italia 9B", Large Language Model (LLM) developed by iGenius in collaboration with CINECA.

More information about Modello Italia: click here.

This model has been quantized in INT4, group-size 128, and optimized for inferencing on cpu.

🚨 Disclaimers

This is an UNOFFICIAL quantization of the OFFICIAL model checkpoint released by iGenius.
This model is based also on the conversion made for HF Transformers by Sapienza NLP, Sapienza University of Rome.
The original model was developed using LitGPT, therefore, the weights need to be converted before they can be used with Hugging Face transformers.

🚨 Terms and Conditions

Note: By using this model, you accept the iGenius' terms and conditions.

🚨 Reproducibility

This model has been quantized using Intel auto-round, based on SignRound technique.

git clone https://github.com/fbaldassarri/model-conversion.git

cd model-conversion

mkdir models

cd models

huggingface-cli download --resume-download --local-dir sapienzanlp_modello-italia-9b --local-dir-use-symlinks False  sapienzanlp/modello-italia-9b

Then,

python3 main.py \
  --model_name  ./models/sapienzanlp_modello-italia-9b \
  --device 0 \
  --group_size 128 \
  --bits 4 \
  --iters 1000 \
  --deployment_device 'cpu' \
  --output_dir "./models/sapienzanlp_modello-italia-9b-int4" \
  --train_bs 1 \
  --gradient_accumulate_steps 8

🚨 Biases and Risks

From the terms and conditions of iGenius for Modello Italia:

Modello Italia è concepito per essere utilizzato da tutti e per adattarsi a una vasta gamma di casi d'uso. È stato progettato con l'obiettivo di essere accessibile a persone provenienti da background, esperienze e prospettive diverse. Modello Italia si rivolge agli utenti e alle loro esigenze senza inserire giudizi superflui o normative, riconoscendo al contempo che anche contenuti potenzialmente problematici in determinati contesti possono avere scopi validi in altri. Il rispetto per la dignità e l'autonomia di tutti gli utenti, specialmente in termini di libertà di pensiero ed espressione, è un pilastro fondamentale del suo design. Tuttavia, essendo una nuova tecnologia, Modello Italia comporta rischi legati al suo utilizzo. I test condotti finora sono stati eseguiti in italiano e non hanno potuto coprire tutte le possibili situazioni. Pertanto, come per tutti gli LLM, non è possibile prevedere in anticipo gli output di Modello Italia e il modello potrebbe in alcuni casi generare risposte imprecise, tendenziose o altre risposte discutibili. Prima di utilizzare Modello Italia in qualsiasi contesto, gli sviluppatori sono fortemente incoraggiati a eseguire test di sicurezza e adattamento specifici per le loro applicazioni.

We are aware of the biases and potential problematic/toxic content that current pretrained large language models exhibit: more specifically, as probabilistic models of (Italian and English) languages, they reflect and amplify the biases of their training data.

For more information about this issue, please refer to our survey paper:

Biases in Large Language Models: Origins, Inventory, and Discussion

Model architecture

The model architecture is based on GPT-NeoX.

Results

Modello Italia 9B INT4 group-size 128 cpu-optimized has not been evaluated on standard benchmarks yet. If you would like to contribute with your evaluation, please feel free to submit a pull request.