# Llama (modello linguistico)

Llama (acronimo di Large Language Model Meta AI, e precedentemente stilizzato come LLaMA) è una famiglia di modelli linguistici autoregressivi di grandi dimensioni (LLM) pubblicati da Meta AI a partire da febbraio 2023. L'ultima versione è Llama 3.3, rilasciata nel dicembre 2024.
I pesi del modello per la prima versione di Llama sono stati resi disponibili alla comunità di ricerca con una licenza non commerciale e l'accesso è stato concesso caso per caso. Copie non autorizzate del modello sono state condivise via BitTorrent. In risposta, Meta AI ha emesso richieste di rimozione, secondo la legge statunitense DMCA, contro i repository che condividevano il link su GitHub. Le versioni successive di Llama sono state rese accessibili al di fuori del mondo accademico e pubblicate con licenze che consentivano un limitato uso commerciale. I modelli di Llama sono addestrati con parametri di dimensioni diverse, comprese tra 7B e 405B. In origine, Llama era disponibile solo come modello fondativo. A partire da Llama 2, Meta AI ha iniziato a pubblicare versioni perfezionate delle istruzioni accanto ai modelli di base.
Parallelamente al lancio di Llama 3, Meta ha aggiunto la funzionalità di assistente virtuale a Facebook e WhatsApp in alcune regioni del mondo selezionate, nonché un sito web autonomo. Entrambi i servizi utilizzano un modello Llama 3.

## Confronto dei modelli

Nella colonna dei costi di formazione viene riportato solo il costo del modello più esteso. Ad esempio, "21.000" è il costo di addestramento di Llama 2 cioè 69B in unità di petaFLOP per giorno. Inoltre, 1 petaFLOP-giorno = 1 petaFLOP/sec × 1 giorno = 8,64E19 FLOP.
| Nome | Data di rilascio | Parametri | Costo della formazione (petaFLOP-giorno) | Lunghezza del contesto | Dimensione del corpus | Sostenibile commercialmente? |
| Llama | 24 febbraio 2023 | 6,7 miliardi 13 miliardi 32,5 miliardi 65,2 miliardi | 6.300 | 2048 | 1–1,4 T | No |
| Llama 2 | 18 luglio 2023 | 6,7 miliardi 13 miliardi 69 miliardi | 21.000 | 4096 | 2T | Si |
| Codice Llama | 24 agosto 2023 | 6,7 miliardi 13 miliardi 33,7 miliardi 69 miliardi | | 4096 | 2T | Si |
| Llama 3 | 18 aprile 2024 | 8 miliardi 70,6 miliardi | 100.000 | 8192 | 15T | Si |
| Llama 3.1 | 23 luglio 2024 | 8 miliardi 70.6 miliardi 405 miliardi | 440,000 | 128,000 | 15T | Si |
| Llama 3.2 | 25 settembre 2024 | 1 miliardi 3 miliardi 11 miliardi 90 miliardi | | 128,000 | | Si |

## Applicazioni

Il Center for Research on Foundation Models (CRFM) dell'Institute for Human-Centered Artificial Intelligence (HAI) dell'Università di Stanford ha pubblicato Alpaca, una soluzione di addestramento basata sul modello LLaMA 7B che utilizza il metodo “Self-Instruct” di messa a punto delle istruzioni per acquisire capacità paragonabili al modello OpenAI GPT-3 della serie text-davinci-003 a un costo modesto. I file del modello sono stati rimossi il 21 marzo 2023, a causa dei costi di hosting e di problemi di sicurezza, sebbene il codice e il documento sono rimasti online come riferimento.
Meditron è una famiglia di strumenti basati su Llama, perfezionati su un insieme di linee guida cliniche, articoli e documenti PubMed. È stato creato dai ricercatori della Facoltà di Informatica e Scienze della Comunicazione dell'École Polytechnique Fédérale di Losanna e della Facoltà di Medicina dell'Università Yale. Mostra prestazioni migliorate nei benchmark correlati alla medicina come MedQA e MedMCQA.
Zoom ha utilizzato Meta Llama 2 per creare un'intelligenza artificiale in grado di riassumere le riunioni, fornire utili suggerimenti per presentazioni e fare da assistente nelle risposte ai messaggi. Questo assistente AI è alimentato da più modelli, tra cui Meta Llama 2.