•01/02/2024

IA générative :opportunités, défis et risques desModèles massifs du langage (MMLs LLMs)

Pr. Brahim Chaib-draa

1

Cette présentation est soutendue par
Les MMLs peuvent-ils jouer un rôle importantdans l’avancée de l’IA ?

2© B. Chaib-draa

2Plan de la présentation
 Aperçu de IA générative et des MMDs
 Opportunités des MMDs

Apports/possibilités/utilisations etc.(+ voire +++)
 Défis des MMDs

Enjeux/difficultés/obstacles
 Risques des MMDs

Dangers/abus/violation etc. (- voire ---)
 Futur et conclusion

3© B. Chaib-draa

31

•01/02/2024

IA vs ML vs IA Générative
CaractéristiquesObjectif

DonnéesIAAM

Générative IA

Techniques
informatiques visantà concevoir dessystèmes visant à
raisonner, planifier,apprendre, agir

Prédire et prendre
des décisions une
fois unapprentissage fait à
partir des données

Génère un« nouveau »ensemble dedonnées similaires à
un ensemble dedonnées à partirduquel il a appris

L’AM apprend àpartir de données
pourprédictions/décisions
sur de nouvelles
données

G-IA produit denouvelles données #des donnéesd’apprentissage maisqui partagent
certaines
caractéristiques

G-IA ⊆ AM ⊆ IA

4

Exemple d’image générée

5© B. Chaib-draa

5

Génération d’explication à partir de l’image

6© B. Chaib-draa

62

•01/02/2024

Re-explications

7© B. Chaib-draa

7

Génération de texte

8© B. Chaib-draa

8

IA générative pour le texte

9© B. Chaib-draa

93•01/02/2024

Processus d’évolution des LLMs (MMLs)

10© B. Chaib-draa

10

Autres Modèles Massifs du Langage


BERT, LamdDA et PaLM développés par Google



Llama développé par Meta



BLOOM modèle multilingues du langage (BigScience)

GLM-130B développé par Tsinghua University (Chine)GPT 3.5 et GPT4 : Successeur de GPT3 par OpenAI

Bien d’autresDALL-E 2 : Open AI pour générer des images basées sur desdescriptions “prompts”

11© B. Chaib-draa

11

De GPT à ChatGPT

From Ultimate.ai

12https://chat.openai.com© B. Chaib-draa

124•01/02/2024

Opportunités (O) des MMLs: applis

13© B. Chaib-draa

13

Opportunités (O) des MMLs

14



Productivité accrue : Les MMLs peuvent améliorer la productivité dans denombreux secteurs. Par exemple, ils peuvent rédiger des courriels, générer ducode, créer du contenu ou aider à la recherche, ce qui rend les flux de travail
plus efficaces.



Éducation et formation : les MMLs peuvent être utilisés comme tuteurs,
fournissant des explications sur une variété de sujets et aidant les élèves àapprendre à leur propre rythme.

Créativité améliorée : De la rédaction d’histoires à la génération de paroles
de musique, les MMLs peuvent être utilisés pour stimuler la créativité etfournir de l’inspiration.

Capacités multilingues : Les MMLs peuvent comprendre et générer ducontenu dans plusieurs langues, combler les lacunes de communication etpermettre une communication globale plus inclusive.



Accessibilité : Les MMLs peuvent aider les personnes ayant des capacités
différentes, par exemple en convertissant le texte en parole ou vice versa.

Recherche : Les MMLs peuvent faciliter l’analyse des données, la revue de lalittérature ou même la génération d’hypothèses.
© B. Chaib-draa

14

Opportunités (O) : Couvrir tout l’IA ?
Les MMLs peuvent-ils jouer un rôle importantdans l’avancée de l’IA ?

15© B. Chaib-draa

15

5

•01/02/2024

O : MMLs peuvent traiter le langage naturel

La catégorisation de contenu. Un résumé linguistique du document,
comprenant la recherche et l’indexation, des alertes de contenu, etc.

Modélisation et découverte automatique de thèmes. Capture précise dusens et des thèmes cachés dans une collection de textes,.



Extraction contextuelle. Extraction automatique d’informations structurées
prenant en compte le contexte de la phrase à partir de sources textuelles brutes.



Analyse de sentiment. Identification de l’humeur ou des opinions subjectives
dans de larges volumes de textes, et identification automatique des sentiments.

Conversion parole-texte et texte-parole. Transformation des commandes
vocales en texte écrit, et inversement.



Synthèse de documents. Génération automatique de résumés.

Traduction automatique. Traduction automatique de textes ou discours d’une
langue source vers une langue cible.
https://www.sas.com/fr_ca/insights/analytics/what-is-natural-language-processing-nlp.html

16© B. Chaib-draa

16

O : Raisonnement par induction et déduction

17© B. Chaib-draa

17

O : Formuler et raisonner

LOGIC-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning by L. Pan et al.

18© B. Chaib-draa

18

6•01/02/2024

O : Raisonnement par analogie P est similaire à Q à
certains égards
 P englobe certaines
caractéristiques – R.
 Donc, probablement Q
a aussi R.

Analogical prompting

19© B. Chaib-draa

19

O : Raisonnement type « Système Expert »20© B. Chaib-draa

20

O : Raisonnement symbolique21© B. Chaib-draa

21

7

•01/02/2024

O : Raisonnement sens commun
On pourrait utiliser CommonsenseQA, une base de données
genre QR, consistant en 12.247 exemples pour évaluer leraisonnement sens commun. Mind Meets Machine, by Sifatkaur et al.
EX: Le matin, dans ma rue déneigée, la poubelle est
renversée: PossR: Chat, Chien, Raton, Camion de déneigement
GPT-3.5 66%
GPT-4
83.2%
Humain 89%

22© B. Chaib-draa

22

O : Explication du raisonnement

ChatGPT and other Large Language Models….By Yiqin Chen et al.

23© B. Chaib-draa

23

O : Apport à la Vision

IdealGPT by H. You et al.

24© B. Chaib-draa

24

8

•01/02/2024

O : Planification

25© B. Chaib-draa

25

O : Planification

La planification via
MMLs est à ses débuts
Benchmark < 10%26© B. Chaib-draa

26

O : Apport à la Robotique27© B. Chaib-draa

27

9•01/02/2024

O: Analyse de sentiments (Émotions)
Analyse de sentiment. Identification del’humeur ou des opinions subjectives dans de larges
volumes de textes, et identification automatique dessentiments.

Prompt (avec émotions). Peut booster desréponses voire les mieux contextualisées28© B. Chaib-draa

28

Défis (D) des MMLs

29



Biais de données : Les MMLs apprennent de grandes quantités de données, qui
peuvent contenir des biais. Cela signifie qu’ils peuvent parfois produire desrésultats qui reflètent ces biais.

Coûts et Préoccupations environnementales : La formation des MMLs
nécessite des coûts faramineux et une puissance de calcul importante, entraînant
une consommation d’énergie élevée et des préoccupations environnementales
potentielles.



Dépendance excessive : Il y a un risque que les gens deviennent trop
dépendants des MMLs, conduisant à un déclin potentiel des compétences
humaines dans certains domaines.

Manque d’interprétabilité : La nature « boîte noire » des MMLs rend difficile lacompréhension ou l’explication de leur processus décisionnel, ce qui peut êtreproblématique dans les applications à enjeux élevés.



Taille et efficacité du modèle : À mesure que les MMLs se développent, leursbesoins de stockage et de calcul augmentent également. Le déploiement de ces
modèles dans des environnements aux ressources limitées, comme les appareils
mobiles, devient difficile.
© B. Chaib-draa

29

Défis (D) des MMLs Généralisation et mémorisation : Bien que les MMLs soient conçus pourgénéraliser à partir des données, ils peuvent parfois mémoriser des informations, ce
qui pourrait entraîner des problèmes de confidentialité.
 Sur-ajustement (Overfitting) : Même avec des quantités massives de données,
les MMLs peuvent sur-ajuster, via un modèle, l’ensemble d’entraînement. Cela peutles rendre moins fiables dans des environnements réels et diversifiés.
 Attaques adverses : Les MMLs peuvent être vulnérables aux entrées adverses
conçues pour les tromper ou les induire en erreur, ce qui entraîne des sorties
incorrectes.
 Fiabilité dans divers domaines : Bien que les MMLs soient polyvalents, ils nefournissent pas toujours des informations précises ou fiables dans tous lesdomaines de connaissances, en particulier dans les domaines hautement
spécialisés.
 Dépendance aux données d’entrainement: La performance d’un MML dépend
fortement de la qualité et de la diversité de ses données d’entrainement. Si lesdonnées ne sont pas représentatives ou contiennent des erreurs, le modèle hériterade ces défauts.

30© B. Chaib-draa

30

10•01/02/2024

Défis (D) des MMLs
- Réglementation et conformité : À mesure que l’importance et l’impact desMMDs augmentent, les appels à la réglementation se multiplient. Ça peut
entraver l’innovation, voir l’exemple européen- Mises à jour continues : Il est difficile de s’assurer que les modèles restent àjour avec des informations nouvelles, exactes et impartiales.
- Mesures d’évaluation : Les mesures traditionnelles peuvent ne pas saisirl’ensemble du spectre de performance des MMDs. De nouvelles mesures et denouveaux repères sont nécessaires pour évaluer ces modèles de façon
exhaustive.
- Oubli catastrophique : Le réglage fin des MMDs sur les nouvelles tâches peut
parfois les amener à "oublier" les informations précédemment apprises, ce qui
réduit leur efficacité sur les anciennes tâches.
- Manque d’interprétabilité : La nature « boîte noire » des MMLs rend difficile lacompréhension ou l’explication de leur processus décisionnel, ce qui peut êtreproblématique dans les applications à enjeux élevés.

31© B. Chaib-draa

31

Défis : Hallucinations
 Les MMLs génèrent des réponses sous formed’extrapolation à partir du prompt fourni.
 Le résultat de l’extrapolation n’est pas nécessairementétayé par les données d’entrainement, mais est plus
corrélé au prompt fourni.
 Ceci peut mener à des réponses incorrectes, absurdes
voire carrément inexistantes, appelées hallucinations.

32© B. Chaib-draa

32

Défis : Hallucinations

33© B. Chaib-draa

33

11

•01/02/2024

Défis : Éviter les hallucinations via le contexte

34© B. Chaib-draa

34

Défis : Alignement avec les humains
Ce que dit ChatGPT : Le besoin d’alignement avec les êtres humains lorsqu’il s’agit demodèles d’apprentissage automatique comme ChatGPT découle de plusieurs raisons

Sécurité : L’IA non alignée pourrait ne pas agir dans l’intérêt des humains. À mesure que lessystèmes d’IA deviennent plus performants, il devient encore plus crucial de s’assurer qu’ils
comprennent et respectent les valeurs et les objectifs humains.



Utilité : Le but principal des systèmes d’IA est d’être utiles aux humains. Si une IA n’est pasalignée sur les valeurs humaines, elle peut fournir des réponses ou prendre des mesures qui
ne sont pas bénéfiques ou même contre-productives.



Confiance : Pour que les humains fassent confiance aux systèmes d’IA et les utilisent, ils
doivent sentir que l’IA comprend et respecte leurs valeurs et leurs intentions. L’IA malalignée peut éroder la confiance et entraver l’adoption.



Éviter les conséquences involontaires : Un modèle d’apprentissage automatique peut, s’iln’est pas correctement aligné, amplifier les biais présents dans les données d’entraînement
ou afficher des comportements qui n’étaient pas prévus par ses concepteurs.
L’harmonisation aide à atténuer ces risques.

35© B. Chaib-draa

35

D: Alignement avec les humains
Ce que dit ChatGPT : Le besoin d’alignement avec les êtres humains lorsqu’il s’agit de modèles
d’apprentissage automatique comme ChatGPT découle de plusieurs raisons36Interactivité : Pour de nombreuses applications, l’IA doit travailler aux côtés deshumains, qu’il s’agisse de travail collaboratif, d’aide à la décision ou dedivertissement. Un alignement approprié garantit que les interactions sontfluides et bénéfiques.

Considérations éthiques : À mesure que nous construisons et déployons depuissants systèmes d’IA, il est essentiel de s’assurer qu’ils fonctionnent demanière éthique et qu’ils ne causent pas de tort par inadvertance ou neperpétuent pas d’injustices.



Apprentissage et adaptabilité : Les modèles d’IA, en particulier ceux conçus pourl’apprentissage continu, ont besoin d’un alignement pour s’assurer qu’ilsévoluent de manière cohérente avec les intérêts et les valeurs humaines.

© B. Chaib-draa

36

12

•01/02/2024

D: Alignement via l’apprentissage par renforcement
RLHF = Reinforcement Learning from Human Feedback37© B. Chaib-draa

37

D: Alignement via DPO
DPO > RLHF•••

Le DPO simplifie le contrôle en traitant la tâche comme un problèmede classification. Concrètement, il utilise deux modèles : le modèle
entrainé (ou modèle de politique) et une copie de celui-ci appelé lemodèle de référence. Pendant l’entrainement, l’objectif est des’assurer que le modèle entrainé produit des probabilités plusélevées pour les réponses préférées que le modèle de référence. Àl’inverse, il devra produire des probabilités plus faibles pour lesréponses pas préférées. Cela signifie que nous pénalisons le LLM
pour les mauvaises réponses et le récompensons pour les bonnes.

StablePerformant
Computation
moins exigeanteDéfi pour l’alignement :Une approche
multidisciplinaire qui tientcompte desconsidérations techniques,éthiques et sociales est
nécessaire pourdévelopper des systèmesd’IA sûrs et bénéfiques.

https://towardsdatascience.com/fine-tune-a-mistral-7b-model-with-direc...

38© B. Chaib-draa

38

Risques (R) des MMLs

39



Désinformation : Si elles sont utilisées de façon malveillante, les MMLS peuvent générer
des fausses nouvelles, des histoires ou des informations erronées convaincantes.

Problèmes de sécurité : Les MMLs pourraient être utilisées dans des cyberattaques, pourdes stratagèmes de phishing ou exploiter des vulnérabilités dans des systèmes en
générant du code malveillant.



Préoccupations éthiques : Décider comment utiliser ou non les résultats des LLM dansdes domaines sensibles (comme les décisions juridiques ou les diagnostics médicaux)
est une préoccupation importante.



Inégalités économiques : Comme les entreprises ayant accès à de grandes ressources
informatiques développent principalement des MMLs, il existe un risque de centralisation
du pouvoir et de création de disparités technologiques.

Perte de vie privée : Si les MMLs ne sont pas utilisées de façon responsable, il y a unrisque potentiel de les utiliser de pour générer des informations basées sur des données
privées.



Dévalorisation de l’expertise humaine : Il y a un risque pour la société de sous-évaluer les
experts humains dans les domaines où les MMLs deviennent importantes.

© B. Chaib-draa

39

13

•01/02/2024

Risques des MMLs












40

Homogénéisation de l’information : Si de nombreux systèmes et plateformes reposent
sur quelques MMLs largement utilisées, cela peut conduire à une homogénéisation del’information, réduisant ainsi la diversité de la pensée et de la créativité.
Manipulation : Les MMLs peuvent être affinées ou adaptées à des fins nuisibles, encréant des modèles qui produisent spécifiquement du contenu dangereux ou
malveillant.
Problèmes de sécurité : Les acteurs malveillants peuvent utiliser des MMLs pourautomatiser les tentatives d’hameçonnage, créer des attaques d’ingénierie sociale
sophistiquées ou produire des spams à grande échelle.
Confidentialité des données : Il est possible que les MMLs produisent par inadvertancedes informations qu’ils ont vues pendant la formation, soulevant des préoccupations
concernant la fuite de données ou les atteintes à la vie privée.
Plagiat et inconduites
Hallucinations et autres limitations techniques (réponses incorrectes, illogiques,inconstitantes)
Évolution vers des Agents Autonomes© B. Chaib-draa

40

R: Empoisonner les MMDs

41

© B. Chaib-draa

41

R : Plagiat et inconduites

42© B. Chaib-draa

42

14•01/02/2024

R: des MMLs aux Agents Autonomes

A Survey on Large Language Model based Autonomous Agents Lei Wang et al.
Les agents autonomes exécutent généralement des tâches en assumant des rôles spécifiques, tels que les codeurs, les enseignants et les experts dedomaine Le module de profilage vise à indiquer les profils de rôle des agents, qui sont généralement écrits dans l’invite pour influencer lescomportements de LLM. Dans les travaux existants, il existe trois stratégies couramment utilisées pour générer des profils d’agents43© B. Chaib-draa

43

R : Des MMDs aux Autonomes Agents
https://medium.com/the-generator/chatgpts-next-level-is-agent-ai-auto-gpt-babyagi-agentgpt-microsoft-jarvis-friends-d354aa18f21

Système 2

Complexe désigne le niveau decomposants d’un système. Si un
problème est complexe, cela
signifie qu’il comporte denombreux composants. La
complexité n’évoque pas ladifficulté.
Compliqué se réfère à unniveau élevé de difficulté. Si un
problème est compliqué, il peut
y avoir ou pas beaucoup departies, mais il faudra
certainement beaucoup detravail pour le résoudre.

44© B. Chaib-draa

44

Kahneman’s dual-system : System 1 et System 2

D es ign thinking, fas t and s low: A framework for K ahneman’s dual-s ys tem
theory in des ign by Udo K annengies s er1 and J ohn S . G ero2

45

© B. Chaib-draa

45

15

•01/02/2024

MMLs  AAs : les risques Faible risque si MMLs  AAs se fait

graduellement selon un soft takeoff des AAs
 Fort risque dû à un « Hard takeoff » des AAs– On est pris de court;– On n’a pas le temps pour des corrections– On n’a pa as le temps d’élaborer un certain contrôle46© B. Chaib-draa

46

Conclusion IA-Générative : évolution ou révolution
 LLMs = avancées significatives/spectaculaires

de l’IA À l’avenir il convient de faire de l’IA autre (ouen plus) que l’apprentissage automatique Le système 1 de Kahneman’s est « presqueréalisé ». Beaucoup de partants pour le système 2
 If You Think AI Is Hot, Wait Until It Meets

Quantum Computing
47© B. Chaib-draa

47

MERCI

48

© B. Chaib-draa

48

16

•01/02/2024

O : Raisonnement inductif
Dans une tâche typique d’induction
de propriété, on demande aux
participants d’évaluer la force desarguments inductifs comme « lesmerles ont la propriété P, donc lesoiseaux ont la propriété P ». Nous
utiliserons la notation robin bird
pour indiquer un argument qui
implique de généraliser une
propriété à partir d’une prémisse (p.
ex., rouge-gorge) jusqu’à laconclusion (p. ex., oiseaux). Lesarguments peuvent également avoir
plusieurs prémisses, indiquées en
les mettant entre parenthèses àgauche.

49© B. Chaib-draa

4917