<figure><img src="image_1.png" /></figure>

HAL
open science

# Evolution des LLMs Open-Source

Yannis Bendi-Ouis, Xavier Hinaut

► To cite this version:

Yannis Bendi-Ouis, Xavier Hinaut. Evolution des LLMs Open-Source. Unithé ou Café à l'Inria, Feb 2024, Bordeaux, France. hal-04850997

HAL Id: hal-04850997

https://hal.science/hal-04850997v1

Submitted on 20 Dec 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Inria

Evolution des
LLMs Open-Source

<figure><img src="image_3.png" /></figure>
Inria

# Evolution des LLMs Open-Source Weights

<figure><img src="image_4.png" /></figure>
Inria

# Yannis Bendi-Ouis

## Doctorant dans l'équipe Mnemosyne

## Encadré par Xavier Hinaut

<figure><img src="image_5.png" /></figure>

BORDEAUX
neurocampus

Email:

yannis.bendi-ouis@inria.fr

Site web :

www.naowak.fr
## Introduction

> ChatGPT

<figure><img src="image_6.png" /></figure>

> LLM : Large Language Model

> Beaucoup de paramètres => beaucoup de calcul

<figure><img src="image_7.png" /></figure>

> Très peu accessible

> Certaines entreprises peuvent avoir un monopole et garder leur modèle opaque

> La recherche publique peine à rattraper

> Enfin... jusqu'à maintenant !
<figure><img src="image_8.png" /></figure>

Modèle Open Source

<figure><img src="image_9.png" /></figure>

Modèle Privé

<figure><img src="image_10.png" /></figure>

Association à but non lucratif

<figure><img src="image_11.png" /></figure>

Entreprise à but lucratif

<figure><img src="image_12.png" /></figure>

Papier scientifique

<figure><img src="image_13.png" /></figure>

Bibliothèque programmation
# Timeline 2015-2019

Une recherche privée très publique
Timeline 2015 - 2019

<figure><img src="image_14.png" /></figure>
Timeline 2015 - 2019

<figure><img src="image_15.png" /></figure>

déc.

<figure><img src="image_16.png" /></figure>

OpenAI

<figure><img src="image_17.png" /></figure>

Création de
l'association à but non
lucratif
Timeline 2015 - 2019

<figure><img src="image_18.png" /></figure>

déc.

?

<figure><img src="image_19.png" /></figure>

OpenAI

<figure><img src="image_20.png" /></figure>

Création de
l'association à but non
lucratif

<figure><img src="image_21.png" /></figure>

Hugging Face

<figure><img src="image_22.png" /></figure>

Création de
l'entreprise
Timeline 2015 - 2019

<figure><img src="image_23.png" /></figure>

déc.

<figure><img src="image_24.png" /></figure>

OpenAI

<figure><img src="image_25.png" /></figure>

Création de
l'association à but non
lucratif

?

<figure><img src="image_26.png" /></figure>

Hugging Face

<figure><img src="image_27.png" /></figure>

Création de
l'entreprise

2017

juin

2018

2019

Google

<figure><img src="image_28.png" /></figure>

Attention is all you
need
Attention is all you need (2017)

<figure><img src="image_29.png" /></figure>

* Initialement prévu pour
de la traduction
Attention is all you need (2017)

<figure><img src="image_30.png" /></figure>

* Initialement prévu pour
de la traduction
Attention is all you need (2017)

<figure><img src="image_31.png" /><figcaption>Décodeur</figcaption></figure>

<footnote>* Initialement prévu pour
de la traduction</footnote>
Timeline 2015 - 2019

<figure><img src="image_32.png" /></figure>

déc.

<figure><img src="image_33.png" /></figure>

OpenAI

<figure><img src="image_34.png" /></figure>

Création de
l'association à but non
lucratif

?

<figure><img src="image_35.png" /></figure>

Hugging Face

<figure><img src="image_36.png" /></figure>

Création de
l'entreprise

2017

juin

2018

2019

Google

<figure><img src="image_37.png" /></figure>

Attention is all you
need
Timeline 2015 - 2019

<figure><img src="image_38.png" /></figure>

déc.

<figure><img src="image_39.png" /></figure>

OpenAI

<figure><img src="image_40.png" /></figure>

Création de
l'association à but non
lucratif

?

2017

Google

<figure><img src="image_41.png" /></figure>

Attention is all you
need

juin

2018

juin

2019

<figure><img src="image_42.png" /></figure>

Hugging Face

<figure><img src="image_43.png" /></figure>

Création de
l'entreprise

<figure><img src="image_44.png" /></figure>

OpenAI

<figure><img src="image_45.png" /></figure>

Release GPT-1
117M paramètres

<figure><img src="image_46.png" /></figure>

Improving Language
Understanding by
Generative Pre-Training
# GPT-1

## Décodeur

<figure><img src="image_47.png" /></figure>

12 couches - 768 dims

117M de paramètres

Dataset: BookCorpus - (~3 GB)

## What follows is an explanation about Transformers in NLP.

but the scientific community has a strict anti-mormon policy regarding transformers."

" no, " smith objected. " that's not the point. what the hell was done by the trans - continental railroad to the point that it could be the cause of the cross - referencing the date."

" well, you said you knew about the cross - referencing of the cross? " " i'm the guy who told you, " smith insisted.

" ah. yes... it took me a year to track you down... and you were right. it wasn't just any cross - referencing. there was a very specific crossroad in the legend that goes back
Timeline 2015 - 2019

<figure><img src="image_48.png" /></figure>
# Timeline 2015 - 2019

<figure><img src="image_49.png" /></figure>
# BERT

## Encodeur

<figure><img src="image_50.png" /></figure>

- 12 couches - 768 dims
- 110M, 340M de paramètres
- BookCorpus (~3 GB)
- English Wikipedia (~9 GB)

<figure><img src="image_51.png" /></figure>
Timeline 2015 - 2019

<figure><img src="image_52.png" /></figure>
# Timeline 2015 - 2019

<figure><img src="image_53.png" /></figure>
Timeline 2015 - 2019

<figure><img src="image_54.png" /></figure>
# Timeline 2015 - 2019

<figure><img src="image_55.png" /></figure>
Décodeur

<figure><img src="image_56.png" /></figure>

12 couches - 768 dims
124M, 355M, 774M, 1.5B de paramètres
BookCorpus (~3 GB)
WebText (~40 GB)

What follows is an explanation about
Transformers in NLP.

So what is it that makes a robot move forward?

The way we normally think about it is by observing
the movement of a particular object. What is the
object? It is called a robot, i.e it is a physical object
that in our world can behave in certain specific ways
based on its behavior.

In this case, the objects are robots, which are like
automatons but have a central controller inside that
gives them certain properties such as direction,
speed, and position. Robots can be robots that are
made of metal, wood, rubber, or other materials
which move in a particular way. For instance, some
robots make sounds, others can be programmed to
move a
# Timeline 2015 - 2019

<figure><img src="image_57.png" /></figure>
# Timeline 2020-2022

CloseAI, ou quand le privé ferme ses portes
Timeline 2020 - 2022

<figure><img src="image_58.png" /></figure>
Timeline 2020 - 2022

<figure><img src="image_59.png" /></figure>

<figure><img src="image_60.png" /></figure>

OpenAI

<figure><img src="image_61.png" /></figure>

Release GPT-3

175B paramètres

<figure><img src="image_62.png" /></figure>

Language models are
Few-Shot Learners
# Timeline 2020 - 2022

<figure><img src="image_63.png" /></figure>

<figure><img src="image_64.png" /></figure>

OpenAI

<figure><img src="image_65.png" /></figure>

Release GPT-3

175B paramètres

<figure><img src="image_66.png" /></figure>

Language models are
Few-Shot Learners

<figure><img src="image_67.png" /></figure>

EleutherAI

<figure><img src="image_68.png" /></figure>

Création du groupe de
recherche à but non
lucratif
Timeline 2020 - 2022

<figure><img src="image_69.png" /></figure>
Timeline 2020 - 2022

<figure><img src="image_70.png" /></figure>
Timeline 2020 - 2022

<figure><img src="image_71.png" /></figure>
# GPT-Neo

## Décodeur

<figure><img src="image_72.png" /></figure>

32 couches - 2560 dims
125M, 1.3B, 2.7B de paramètres
The Pile (~800 GB)

What follows is an explanation about Transformers in NLP.

As most NLP algorithms that I have seen so far are rule-based they tend to be difficult to apply to an unknown text. The algorithm that I have developed, however, can be used in a NLP application where the user needs to perform some analysis and then have the results presented in new text. The algorithm is based on the following assumption: There is no context, no information, no context.

To make it a little more clear, I will share my results, what they are saying and why I think they are meaningful. I hope that the following can be used as a reference in such an application. This is a brief, almost naive, explanation of my algorithm.

It is clear that it can easily be extended to fit more complex scenarios.
Timeline 2020 - 2022

<figure><img src="image_73.png" /></figure>
Timeline 2020 - 2022

<figure><img src="image_74.png" /></figure>
## Décodeur

<figure><img src="image_75.png" /></figure>

28 couches - 4096 dims
6B de paramètres
The Pile (~800 GB)

<figure><img src="image_76.png" /></figure>

cedille

<figure><img src="image_77.png" /></figure>

Prompt

Qu'est ce que la réforme des retraites prévoit?...

<figure><img src="image_78.png" /></figure>

Texte généré par le modèle

Nous avons travaillé à cette question et la réforme des retraites prévoit une réforme de notre système de répartition. Nous prendrons le problème de l'équilibre de notre système de retraite pour en dégager les éléments nécessaires à sa stabilité. Après beaucoup de travaux académiques nous pourrons mettre en place ce rééquilibrage si cela paraît nécessaire.

Mais je crois que quand nous parlons retraites, quand nous prenons pour référence les travaux académiques, nous partons du principe qu'un système de retraite est un système de répartition, c'est notre système de répartition qui est au cœur de la société, la rémunération, la pension de retraite et nous devons le maintenir dans la durée.

GPT-J-Overton
Par Yannis Bendi-Ouis
www.naowak.fr

Qu'est ce que la commune de paris de 1871 ?

La Commune de Paris, un mouvement d'inspiration anarchiste et qui durera 72 jours (du 18 mars 1871 au 28 mai 1871), est un épisode de la Révolution française qui a bouleversé la capitale, Paris. Elle est en partie considérée comme le dernier épisode de l'anarchisme français et comme l'un des épisodes les plus sombres de la Commune, avec la répression menée par la Préfecture de Paris, qui ne s'achèvera qu'avec l'armée versailaise.

Une fois encore, il est difficile de qualifier la Commune de Paris de mouvement anarchiste tant elle est imprégnée de l'idéologie de la bourgeoisie révolutionnaire de la fin du XIXe siècle. Mais dans sa répression, elle a été, avec la Terreur de 1793, le premier exemple de la prise de pouvoir par des minorités armées.

Les débuts de la Commune de Paris

Cet épisode de la Révolution française a lieu dans un contexte particulier : le siège de Paris par les Prussiens, puis par les Allemands. En effet, depuis le traité de Francfort (1871) qui a mis fin à la guerre franco-prussienne, la France a perdu son rang de première puissance militaire et mondiale au profit de l'Allemagne.

[...]

Les chatbots t'intéressent ?
Contacte moi !

GPT-J-Overton
Par Yannis Bendi-Ouis
www.naowak.fr

<figure><img src="image_79.png" /></figure>
Timeline 2020 - 2022

<figure><img src="image_80.png" /></figure>
# Timeline 2020 - 2022

<figure><img src="image_81.png" /></figure>
# Timeline 2020 - 2022

<figure><img src="image_82.png" /></figure>
# Timeline 2020 - 2022

<figure><img src="image_83.png" /></figure>
# Timeline 2023

## Des LLMs pour tous ?
Timeline 2023

<figure><img src="image_84.png" /></figure>
Timeline 2023

<figure><img src="image_85.png" /></figure>

<figure><img src="image_86.png" /></figure>

Meta

<figure><img src="image_87.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_88.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models
# Timeline 2023

janvier

24 fév.

14 mars

mai

septembre

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

Meta

<figure><img src="image_91.png" /></figure>

Release LLaMa-1

7, 13, 33, 70B

paramètres

<figure><img src="image_92.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

<figure><img src="image_93.png" /></figure>

OpenAI

<figure><img src="image_94.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -

1800B paramètres
# Dégradation des modèles d'OpenAI ?

De moins en moins bon ?

<figure><img src="image_95.png" /></figure>
# Dégradation des modèles d'OpenAI ?

De moins en moins bon ?

<figure><img src="image_96.png" /></figure>

> Finetuning pour supprimer certains comportement
# Dégradation des modèles d'OpenAI ?

De moins en moins bon ?

<figure><img src="image_97.png" /></figure>

> Finetuning pour supprimer certains comportement

> Distillation dans de plus petit modèle

<figure><img src="image_98.png" /></figure>
# Dégradation des modèles d'OpenAI ?

De moins en moins bon ?

<figure><img src="image_99.png" /></figure>

* Finetuning pour supprimer certains comportement

* Distillation dans de plus petit modèle

Professeur

<figure><img src="image_100.png" /></figure>

## System description

<table><thead><tr><th>System</th><th>Model</th><th>#P</th></tr></thead><tbody><tr><td>T5</td><td>t5-large</td><td>770M</td></tr><tr><td>CodeT5</td><td>codet5-large</td><td>770M</td></tr><tr><td>GPT-3</td><td>text-davinci-003</td><td>175B</td></tr><tr><td>ChatGPT</td><td>gpt-3.5-turbo</td><td>20B</td></tr><tr><td>StarCoder</td><td>starcoder</td><td>15.5B</td></tr><tr><td>CodeT5+</td><td>codet5p-16b</td><td>16B</td></tr><tr><td>CodeGen</td><td>codegen-350m</td><td>350M</td></tr><tr><td>Diffusion-LM</td><td>Custom</td><td>50M</td></tr><tr><td>GENIE</td><td>Custom</td><td>93M</td></tr><tr><td>CODEFUSION</td><td>Custom</td><td>75M</td></tr></tbody></table>
# Timeline 2023

janvier

24 fév.

14 mars

mai

septembre

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>

Meta

<figure><img src="image_103.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_104.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

<figure><img src="image_105.png" /></figure>

OpenAI

<figure><img src="image_106.png" /></figure>

Release GPT-4
16x111B ou 8x220B MoE -
1800B paramètres
# Timeline 2023

janvier

24 fév.

14 mars

mai

<figure><img src="image_107.png" /></figure>

<figure><img src="image_108.png" /></figure>

septembre

<figure><img src="image_109.png" /></figure>

<figure><img src="image_110.png" /></figure>

Meta

<figure><img src="image_111.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_112.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

<figure><img src="image_113.png" /></figure>

<figure><img src="image_114.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_115.png" /></figure>

OpenAI

<figure><img src="image_116.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres
LLaMa.cpp

<figure><img src="image_117.png" /></figure>

<figure><img src="image_118.png" /></figure>

LocalLlama

<figure><img src="image_119.png" /></figure>

<figure><img src="image_120.png" /></figure>

/LocalLLaMA
# LLaMa.cpp

<figure><img src="image_121.png" /></figure>

<figure><img src="image_122.png" /></figure>

LocalLlama

/LocalLLaMA

<figure><img src="image_123.png" /></figure>

<figure><img src="image_124.png" /></figure>

## Quantification

Float 32

<figure><img src="image_125.png" /></figure>

Signe

<figure><img src="image_126.png" /></figure>

Entier

<figure><img src="image_127.png" /></figure>

Décimale

Float 8

<figure><img src="image_128.png" /></figure>

<figure><img src="image_129.png" /></figure>

<figure><img src="image_130.png" /></figure>

<figure><img src="image_131.png" /></figure>

Float 2, 3, 4, 5, 6, 7, 8

> Taille d'un modèle quantifié

7B ~ 30 Go → 4 bits → ~ 4 Go

> RAM / VRAM nécessaire

7B ~ 30 Go → 4 bits → ~ 7 Go
# LLaMa.cpp

<figure><img src="image_132.png" /></figure>

<figure><img src="image_133.png" /></figure>

LocalLlama

/LocalLLaMA

Rejointe

<figure><img src="image_134.png" /></figure>

## Quantification

Float 32

<figure><img src="image_135.png" /></figure>

Signe

<figure><img src="image_136.png" /></figure>

Entier

<figure><img src="image_137.png" /></figure>

Décimale

Float 8

<figure><img src="image_138.png" /></figure>

<figure><img src="image_139.png" /></figure>

<figure><img src="image_140.png" /></figure>

<figure><img src="image_141.png" /></figure>

Float 2, 3, 4, 5, 6, 7, 8

> Taille d'un modèle quantifié

7B ~ 30 Go → 4 bits → ~ 4 Go

> RAM / VRAM nécessaire

7B ~ 30 Go → 4 bits → ~ 7 Go
# Timeline 2023

janvier

24 fév.

14 mars

mai

<figure><img src="image_142.png" /></figure>

<figure><img src="image_143.png" /></figure>

septembre

<figure><img src="image_144.png" /></figure>

<figure><img src="image_145.png" /></figure>

Meta

<figure><img src="image_146.png" /></figure>

Release LLaMa-1

7, 13, 33, 70B

paramètres

<figure><img src="image_147.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

<figure><img src="image_148.png" /></figure>

<figure><img src="image_149.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_150.png" /></figure>

OpenAI

<figure><img src="image_151.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

septembre

Meta

<figure><img src="image_152.png" /></figure>

Release LLaMa-1

7, 13, 33, 70B

paramètres

<figure><img src="image_153.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

<figure><img src="image_154.png" /></figure>

<figure><img src="image_155.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_156.png" /></figure>

OpenAI

<figure><img src="image_157.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_158.png" /></figure>

FALCON LLM

<figure><img src="image_159.png" /></figure>

Release Falcon

7, 40, 180B

parameters

<figure><img src="image_160.png" /></figure>

The Falcon Series of
Open Language Models
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

13 juin

septembre

<figure><img src="image_161.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_162.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

Meta

LLaMA

<figure><img src="image_163.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_164.png" /></figure>

MISTRAL
AI_

<figure><img src="image_165.png" /></figure>

Levée de 105M €

Start-up créée en avril qui
promet de déployer des
modèles open-source

<figure><img src="image_166.png" /></figure>

OpenAI

<figure><img src="image_167.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_168.png" /></figure>

FALCON LLM

<figure><img src="image_169.png" /></figure>

Release Falcon

7, 40, 180B
parameters

<figure><img src="image_170.png" /></figure>

The Falcon Series of
Open Language Models
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

13 juin

18 juil.

septembre

Meta

<figure><img src="image_171.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_172.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

LLaMA

<figure><img src="image_173.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_174.png" /></figure>

MISTRAL
AI_

<figure><img src="image_175.png" /></figure>

Levée de 105M €

Start-up créée en avril qui
promet de déployer des
modèles open-source

<figure><img src="image_176.png" /></figure>

OpenAI

<figure><img src="image_177.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_178.png" /></figure>

FALCON LLM

<figure><img src="image_179.png" /></figure>

Release Falcon

7, 40, 180B
parameters

<figure><img src="image_180.png" /></figure>

The Falcon Series of
Open Language Models

Meta

<figure><img src="image_181.png" /></figure>

Release LLaMa-2

7, 13, 70B paramètres

<figure><img src="image_182.png" /></figure>

LLaMa-2: Open

Foundation and
Fine-Tuned Chat
Models
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

13 juin

18 juil.

septembre

27 sept.

Meta

<figure><img src="image_183.png" /></figure>

Release LLaMa-1

7, 13, 33, 70B

paramètres

<figure><img src="image_184.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

LLaMA

<figure><img src="image_185.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_186.png" /></figure>

MISTRAL
AI_

<figure><img src="image_187.png" /></figure>

Levée de 105M €

Start-up créée en avril qui
promet de déployer des
modèles open-source

<figure><img src="image_188.png" /></figure>

OpenAI

<figure><img src="image_189.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_190.png" /></figure>

FALCON LLM

<figure><img src="image_191.png" /></figure>

Release Falcon

7, 40, 180B

parameters

<figure><img src="image_192.png" /></figure>

The Falcon Series of
Open Language Models

Meta

<figure><img src="image_193.png" /></figure>

Release LLaMa-2

7, 13, 70B paramètres

<figure><img src="image_194.png" /></figure>

LLaMa-2: Open

Foundation and

Fine-Tuned Chat
Models

<figure><img src="image_195.png" /></figure>

MISTRAL
AI_

<figure><img src="image_196.png" /></figure>

Release Mistral

7B paramètres

<figure><img src="image_197.png" /></figure>

Mistral 7B
# Mistral

## Décodeur

<figure><img src="image_198.png" /></figure>

32 couches - 4096 dims
7B de paramètres
Dataset: ?

## What follows is an explanation about Transformers in NLP.

Transformers are a type of neural network model architecture that has revolutionized the field of Natural Language Processing (NLP) and achieved state-of-the-art results on various language understanding tasks, such as machine translation, question answering, text summarization, and speech recognition.

The Transformer model was introduced by Vaswani et al. in their 2017 paper "Attention Is All You Need." It departs from traditional Recurrent Neural Networks (RNNs) or Long Short-Term Memory networks (LSTMs), which process sequences one token at a time, by using self-attention mechanisms to compute relationships between all pairs of tokens within a sequence in parallel. This allows the model to capture long-range dependencies more effectively and makes it particularly well-suited for handling longer texts.
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

13 juin

18 juil.

septembre

27 sept.

Meta

<figure><img src="image_199.png" /></figure>

Release LLaMa-1

7, 13, 33, 70B

paramètres

<figure><img src="image_200.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

LLaMA

<figure><img src="image_201.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_202.png" /></figure>

MISTRAL
AI_

<figure><img src="image_203.png" /></figure>

Levée de 105M €

Start-up créée en avril qui
promet de déployer des
modèles open-source

<figure><img src="image_204.png" /></figure>

OpenAI

<figure><img src="image_205.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_206.png" /></figure>

FALCON LLM

<figure><img src="image_207.png" /></figure>

Release Falcon

7, 40, 180B

parameters

<figure><img src="image_208.png" /></figure>

The Falcon Series of
Open Language Models

Meta

<figure><img src="image_209.png" /></figure>

Release LLaMa-2

7, 13, 70B paramètres

<figure><img src="image_210.png" /></figure>

LLaMa-2: Open

Foundation and

Fine-Tuned Chat

Models

<figure><img src="image_211.png" /></figure>

MISTRAL
AI_

<figure><img src="image_212.png" /></figure>

Release Mistral

7B paramètres

<figure><img src="image_213.png" /></figure>

Mistral 7B
# Timeline 2023

<figure><img src="image_214.png" /></figure>
# Mixtral

## Décodeur

<figure><img src="image_215.png" /></figure>

- 32 couches - 4096 dims
- ~49B de paramètres
- Mixture of Expert 8x7B

<figure><img src="image_216.png" /></figure>

**What follows is an explanation about Transformers in NLP.**

Sure, I'm happy to help explain Transformers in the context of Natural Language Processing (NLP)!

Transformers are a type of model architecture used in machine learning, and they have been particularly successful in the field of NLP. The key innovation of Transformer models is their use of self-attention mechanisms, which allow the model to consider the entire input sequence when making predictions, rather than processing it sequentially like traditional recurrent neural networks (RNNs). This makes Transformer models more parallelizable and therefore faster to train on large datasets.
# Timeline 2023

janvier

24 fév.

14 mars

18 mars

24 avr. mai

13 juin

18 juil.

septembre

27 sept.

8 déc.

Meta

<figure><img src="image_217.png" /></figure>

Release LLaMa-1
7, 13, 33, 70B
paramètres

<figure><img src="image_218.png" /></figure>

LLaMa: Open and Efficient
Foundation Language
Models

LLaMA

<figure><img src="image_219.png" /></figure>

LLaMa.cpp

Une communauté se crée
autour de ce projet open
source

<figure><img src="image_220.png" /></figure>

MISTRAL
AI_

<figure><img src="image_221.png" /></figure>

Levée de 105M €

Start-up créée en avril qui
promet de déployer des
modèles open-source

<figure><img src="image_222.png" /></figure>

MISTRAL
AI_

<figure><img src="image_223.png" /></figure>

Release Mistral
7B paramètres

<figure><img src="image_224.png" /></figure>

Mistral 7B

<figure><img src="image_225.png" /></figure>

OpenAI

<figure><img src="image_226.png" /></figure>

Release GPT-4

16x111B ou 8x220B MoE -
1800B paramètres

<figure><img src="image_227.png" /></figure>

FALCON LLM

<figure><img src="image_228.png" /></figure>

Release Falcon
7, 40, 180B
parameters

<figure><img src="image_229.png" /></figure>

The Falcon Series of
Open Language Models

Meta

<figure><img src="image_230.png" /></figure>

Release LLaMa-2

7, 13, 70B paramètres

<figure><img src="image_231.png" /></figure>

LLaMa-2: Open
Foundation and
Fine-Tuned Chat
Models

<figure><img src="image_232.png" /></figure>

MISTRAL
AI_

<figure><img src="image_233.png" /></figure>

Release Mixtral
8x7B MoE - 49B
parameters

<figure><img src="image_234.png" /></figure>

Mixtral of Experts
# Evaluation des modèles

## De l'open source dans le top 10 ?
# Chatbot Arena

<figure><img src="image_235.png" /></figure>
# Chatbot Arena

<figure><img src="image_236.png" /></figure>

bard-jan-24-gemini-pro (2ème)

vicuna-33b (18ème)
Leaderboard - Chatbot Arena

<table><thead><tr><th>Rank</th><th>Model</th><th>Arena Elo</th><th>Organization</th><th>License</th></tr></thead><tbody><tr><td>1</td><td>GPT-4-Turbo</td><td>1249</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>2</td><td>Bard... (Gemini... Pro)</td><td>1215</td><td>Google</td><td>Proprietary</td></tr><tr><td>3</td><td>GPT-4-0314</td><td>1189</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>4</td><td>GPT-4-0613</td><td>1161</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>5</td><td>Mistral... Medium</td><td>1150</td><td>Mistral</td><td>Proprietary</td></tr><tr><td>6</td><td>Claude-1</td><td>1150</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>7</td><td>Claude-2.0</td><td>1131</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>8</td><td>Mixtral... Bx7b-Instruct-v0.1</td><td>1123</td><td>Mistral</td><td>Apache 2.0</td></tr><tr><td>9</td><td>Gemini... Pro... (Dev... API)</td><td>1122</td><td>Google</td><td>Proprietary</td></tr><tr><td>10</td><td>Claude-2.1</td><td>1119</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>11</td><td>GPT-3.5-Turbo-0613</td><td>1117</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>12</td><td>Gemini... Pro</td><td>1114</td><td>Google</td><td>Proprietary</td></tr><tr><td>13</td><td>Yi-34B-Chat</td><td>1112</td><td>01 AI</td><td>Yi License</td></tr><tr><td>14</td><td>Claude-Instant-1</td><td>1110</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>15</td><td>WizardLM-70B-v1.0</td><td>1106</td><td>Microsoft</td><td>Llama 2 Community</td></tr><tr><td>16</td><td>Tulu-2-DPO-70B</td><td>1105</td><td>AllenAI/UW</td><td>AI2 ImpACT Low-risk</td></tr></tbody></table>
# Leaderboard - Chatbot Arena

<table><thead><tr><th>Rank</th><th>Model</th><th>Arena Elo</th><th>Organization</th><th>License</th></tr></thead><tbody><tr><td>1</td><td>GPT-4-Turbo</td><td>1249</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>2</td><td>Bard... (Gemini... Pro)</td><td>1215</td><td>Google</td><td>Proprietary</td></tr><tr><td>3</td><td>GPT-4-0314</td><td>1189</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>4</td><td>GPT-4-0613</td><td>1161</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>5</td><td>Mistral... Medium</td><td>1150</td><td>Mistral</td><td>Proprietary</td></tr><tr><td>6</td><td>Claude-1</td><td>1150</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>7</td><td>Claude-2.0</td><td>1131</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>8</td><td>Mixtral... Bx7b-Instruct-v0.1</td><td>1123</td><td>Mistral</td><td>Apache 2.0</td></tr><tr><td>9</td><td>Gemini... Pro... (Dev... API)</td><td>1122</td><td>Google</td><td>Proprietary</td></tr><tr><td>10</td><td>Claude-2.1</td><td>1119</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>11</td><td>GPT-3.5-Turbo-0613</td><td>1117</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>12</td><td>Gemini... Pro</td><td>1114</td><td>Google</td><td>Proprietary</td></tr><tr><td>13</td><td>Yi-34B-Chat</td><td>1112</td><td>01 AI</td><td>Yi License</td></tr><tr><td>14</td><td>Claude-Instant-1</td><td>1110</td><td>Anthropic</td><td>Proprietary</td></tr><tr><td>15</td><td>WizardLM-70B-v1.0</td><td>1106</td><td>Microsoft</td><td>Llama 2 Community</td></tr><tr><td>16</td><td>Tulu-2-DPO-70B</td><td>1105</td><td>AllenAI/UW</td><td>AI2 ImpACT Low-risk</td></tr></tbody></table>
Leaderboard - Chatbot Arena

<table><thead><tr><th>Rank</th><th>Model</th><th>Arena Elo</th><th>Organization</th><th>License</th></tr></thead><tbody><tr><td>17</td><td>GPT-3.5-Turbo-0314</td><td>1104</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>18</td><td>Vicuna-33B</td><td>1094</td><td>LMSYS</td><td>Non-commercial</td></tr><tr><td>19</td><td>Starling-LM-7B-alpha</td><td>1089</td><td>UC Berkeley</td><td>CC-BY-NC-4.0</td></tr><tr><td>20</td><td>Llama-2-70b-chat</td><td>1081</td><td>Meta</td><td>Llama 2 Community</td></tr><tr><td>22</td><td>OpenChat-3.5</td><td>1077</td><td>OpenChat</td><td>Apache-2.0</td></tr><tr><td>21</td><td>NV-Llama2-70B-SteexLM-Chat</td><td>1077</td><td>Nvidia</td><td>Llama 2 Community</td></tr><tr><td>23</td><td>OpenHermes-2.5-Mistral-7b</td><td>1075</td><td>NousResearch</td><td>Apache-2.0</td></tr><tr><td>24</td><td>pplx-70b-online</td><td>1074</td><td>Perplexity AI</td><td>Proprietary</td></tr><tr><td>25</td><td>GPT-3.5-Turbo-1106</td><td>1072</td><td>OpenAI</td><td>Proprietary</td></tr><tr><td>26</td><td>SOLAR-10.7B-Instruct-v1.0</td><td>1065</td><td>Upstage AI</td><td>CC-BY-NC-4.0</td></tr><tr><td>27</td><td>Dolphin-2.2.1-Mistral-7B</td><td>1064</td><td>Cognitive Computations</td><td>Apache-2.0</td></tr><tr><td>28</td><td>WizardLM-13b-v1.2</td><td>1058</td><td>Microsoft</td><td>Llama 2 Community</td></tr><tr><td>29</td><td>Zephyr-7b-beta</td><td>1050</td><td>HuggingFace</td><td>MIT</td></tr><tr><td>30</td><td>MPT-30B-chat</td><td>1043</td><td>MosaicML</td><td>CC-BY-NC-SA-4.0</td></tr><tr><td>31</td><td>CodeLlama-34B-instruct</td><td>1042</td><td>Meta</td><td>Llama 2 Community</td></tr><tr><td>32</td><td>Vicuna-13B</td><td>1040</td><td>LMSYS</td><td>Llama 2 Community</td></tr></tbody></table>
Mixtral sur Plafrim,
c'est possible ?
<figure><img src="image_237.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_238.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_239.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_240.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_241.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_242.png" /></figure>
# Mixtral sur Plafrim

<figure><img src="image_243.png" /></figure>
# Des LLMs qui ne sont pas des Transformers
# D'autres architectures

* Calcul de l'attention des Transformers est très couteux (n²)
# D'autres architectures

> Calcul de l'attention des Transformers est très couteux (n²)

<figure><img src="image_244.png" /><figcaption>RWKV</figcaption></figure>

<figure><img src="image_245.png" /><figcaption>(a) Parallel representation.</figcaption></figure>

<figure><img src="image_246.png" /><figcaption>(b) Recurrent representation.</figcaption></figure>

<figure><img src="image_247.png" /><figcaption>MAMBA</figcaption></figure>
Merci !