# GPT-4

GPT-4 (Generative Pre-trained Transformer 4) è un modello linguistico di grandi dimensioni multimodale. È il modello di quarta generazione della serie GPT (successore di GPT-3) creato da OpenAI, un laboratorio di ricerca sull'intelligenza artificiale con sede a San Francisco. È stato rilasciato il 14 marzo 2023 ed è attualmente disponibile tramite l'utilizzo di chiamate API e per gli utenti di ChatGPT Plus. Come altri "trasformatori", GPT-4 è stato pre-addestrato a prevedere il prossimo token utilizzando sia dati pubblici che "dati concessi in licenza da fornitori di terze parti", ed è stato poi perfezionato con l'apprendimento per rinforzo dal feedback umano. Non sono disponibili dati ufficiali confermati da OpenAI riguardo al numero di parametri utilizzati dal modello neurale, e nemmeno dettagli sull'infrastruttura di calcolo e l'architettura usata per eseguire GPT-4.
Nell'aprile 2023 ha superato un test di informatica quantistica preparato da Scott Aaronson.

## Microsoft Bing e GPT-4

Cinque settimane prima dell'annuncio ufficiale da parte di OpenAI, Microsoft Bing ha iniziato a sfruttare il modello GPT-4 per la sua sezione Chat, disponibile a seguito di un'iscrizione in una lista d'attesa. La conferma è giunta attraverso un post sul blog di Microsoft firmato da Yusuf Mehdi (Corporate Vice President e Consumer Chief Marketing Officer dell'azienda), che si apre con queste parole:
   Siamo lieti di confermare che il nuovo Bing gira su GPT-4, che abbiamo personalizzato per la ricerca. Se avete usato l'anteprima del nuovo Bing in qualsiasi momento delle ultime cinque settimane, avete già sperimentato una prima versione di questo potente modello.

## Differenze con GPT-3.5

La distinzione tra GPT-3.5 e GPT-4 può essere difficilmente notabile nelle conversazioni quotidiane. La differenza emerge quando la complessità del compito raggiunge una soglia sufficiente: GPT-4 è più affidabile, creativo e in grado di gestire istruzioni molto più sfumate rispetto a GPT-3.5. Questo è evidente in una serie di test, benchmark ed esami simulati, come quelli descritti sotto, dove ha ottenuto un punteggio di circa il 10 punti percentili più alti dei partecipanti. GPT-4 è il primo modello di intelligenza artificiale ad aver superato entrambe le parti, a scelta multipla e scritta, dell'UBE, l'Uniform Bar Exam, con un punteggio superiore alla media degli esaminati reali è una potente convalida.
| Esami simulati | GPT-4 punteggio percentile stimato | GPT-4 (no vision) punteggio percentile stimato | GPT-3.5 punteggio percentile stimato |
| Uniform Bar Exam (MBE+MEE+MPT) | 298 / 400 ~90th | 298 / 400 ~90th | 213 / 400 ~10th |
| LSAT | 163 ~88th | 161 ~83rd | 149 ~40th |
| SAT Evidence-Based Reading & Writing | 710 / 800 ~93rd | 710 / 800 ~93rd | 670 / 800 ~87th |
| SAT Math | 700 / 800 ~89th | 690 / 800 ~89th | 590 / 800 ~70th |
| Graduate Record Examination (GRE) Quantitative | 163 / 170 ~80th | 157 / 170 ~62nd | 147 / 170 ~25th |
| Graduate Record Examination (GRE) Verbal | 169 / 170 ~99th | 165 / 170 ~96th | 154 / 170 ~63rd |
| Graduate Record Examination (GRE) Writing | 4 / 6 ~54th | 4 / 6 ~54th | 4 / 6 ~54th |
| USABO Semifinal Exam 2020 | 87 / 150 99th–100th | 87 / 150 99th–100th | 43 / 150 31st–33rd |
| USNCO Local Section Exam 2022 | 36 / 60 | 38 / 60 | 24 / 60 |
| Medical Knowledge Self-Assessment Program | 75% | 75% | 53% |
| Codeforces Rating | 392 sotto 5th | 392 sotto 5th | 260 sotto 5th |
| AP Art History | 586th–100th | 586th–100th | 586th–100th |
| AP Biology | 585th–100th | 585th–100th | 462nd–85th |
| AP Calculus BC | 443rd–59th | 443rd–59th | 10th–7th |
A differenza delle versioni precedenti, GPT-4 può accettare un prompt di testo e immagini che, parallelamente all'impostazione di solo testo, consente all'utente di specificare qualsiasi compito di visione o di linguaggio. In particolare, genera output testuali (linguaggio naturale, codice, ecc.) con input costituiti da testo e immagini intercalati. In una serie di domini, tra cui documenti con testo e fotografie, diagrammi o schermate, GPT-4 mostra capacità simili a quelle degli input di solo testo. Inoltre, può essere potenziato con le tecniche di test-time sviluppate per i modelli linguistici di solo testo, tra cui il prompt di pochi colpi e la catena dei pensieri. Gli input di immagini sono ancora un'anteprima della ricerca e non sono disponibili al pubblico.
L'addestramento di GPT-4 costò più di 100 milioni di dollari.

## Sviluppi

Secondo i rumors, la fine dell'apprendimento per GPT-5 era programmata per dicembre 2023. GPT 4 è stato addestrato su circa 570 GB di dati testuali, pari a circa 300 miliardi di parole.
In un evento pubblico tenutosi al MIT, Sam Altman, amministratore delegato di OpenAI, ha chiarito che esistono limiti fisici allo sviluppo di nuovi datacenter e che gli sviluppi dell'IA dovranno concentrarsi sull'efficienza piuttosto che sull'incremento del numero di parametri gestiti.
A fine luglio 2023 GPT-4 ha aperto all'uso da parte degli utenti a pagamento e poi rilasciato l'API per la totalità degli sviluppatori.
Stimando il rischio che l'intelligenza artificiale nei prossimi 10 anni superi l'intelligenza umana, è stato creato un team col compito di controllarne lo sviluppo.