ItsMatti4/ItaPhi1

Phi-3.5 Italian Long Context

Descrizione

Questo modello è un fine-tuning di Phi-3.5-mini-instruct ottimizzato per la lingua italiana, la cultura locale e il ragionamento logico. È stato addestrato con una finestra di contesto estesa a 4096 token.

Fondatore

Mattia Ristori

Licenza

Questo progetto è rilasciato sotto licenza Open Source (MIT/Apache 2.0).

Dettagli Tecnici

• Base Model: unsloth/Phi-3.5-mini-instruct
• Metodo: LoRA (Low-Rank Adaptation)
• Parametri LoRA: r=32, alpha=32
• Lingua: Italiano
• Contesto: 4096 token

Come usarlo sul PC (Local Usage)

Per utilizzare questo adapter LoRA sul tuo computer, assicurati di avere installato transformers, peft e torch. Ecco un esempio di codice:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

model_id = "unsloth/Phi-3.5-mini-instruct"
adapter_path = "./percorso_tua_cartella" # Cartella contenente i file dell'adapter

tokenizer = AutoTokenizer.from_pretrained(model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    torch_dtype=torch.float16, 
    device_map="auto"
)

# Caricamento del modello con l'adapter applicato
model = PeftModel.from_pretrained(base_model, adapter_path)

# Test rapido
inputs = tokenizer("<|user|>Ciao! Suggeriscimi una meta turistica in Italia.<|end|><|assistant|>", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))