Liste des contrôles LLM
AI Cybersécurité etgouvernanceDe l’équipe OWASP Top 10 pour lesapplications LLM

Version: 1.0

Published: March 13, 2024

Revision History
Revision
0.1
0.5
0.9
1.0

Date
2023-11-01
2023-12-06
2023-02-15
2024-02-19

Author(s)Sandy Dunn
SD, Equipe
SD, Equipe
SD, Equipe

Description
Draft initial
Draft public
Draft pré-version
version publique v 1.0

Les informations fournies dans ce document ne constituent pas et ne sont pas destinées à constituer
un avis juridique. Toutes les informations sont uniquement à des ﬁns d’information générale.
Ce document contient des liens vers d’autres sites Web tiers. Ces liens sont uniquement destinés àdes ﬁns de commodité et l’OWASP ne recommande ni n’approuve le contenu des sites tiers.

1Aperçu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.1

L’intelligence artiﬁcielle responsable et digne de conﬁance . . . . . . . . . . . . . . . . . . . . . . . 7

1.2

À qui est-ce destiné ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.3

Pourquoi une check-list ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.4

Pas complet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.5

Déﬁs des grands modèles de langage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.6

Catégories de menaces LLM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.7

Formation sur la sécurité et la conﬁdentialité de l’intelligence artiﬁcielle . . . . . . . . . . . . 9

1.8

Intégrer la sécurité et la gouvernance du LLM aux pratiques et contrôles existants etétablis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.9

Principes fondamentaux de sécurité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.10

Risques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.11

Taxonomie de vulnérabilité et d’atténuation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2

Déterminer la stratégie LLM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.1

Stratégie de déploiement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3

Liste de contrôles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.1

Risque contradictoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.2

Modélisation des menaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3

Inventaire des actifs d’IA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.4

Formation sur la sécurité et la conﬁdentialité de l’IA . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.5

Établir des analyses de rentabilisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.6

Gouvernance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.7

Légal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.8

Réglementaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.9

Utilisation ou implémentation de solutions de grands modèles de langage . . . . . . . . . 22

3.10

Tests, évaluation, vériﬁcation et validation (TEVV) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.11

Cartes modèles et cartes de risques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.12

RAG: optimisation des grands modèles de langage . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.13

L’équipe Red Team IA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4

Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

ATeam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Aperçu
Chaque utilisateur d’Internet et chaque entreprise devraient se préparer à la prochaine vague
d’applications puissantes d’intelligence artiﬁcielle générative ou IA générative (IAg ou GenAI). La
GenAI est extrêmement prometteur en matière d’innovation, d’efﬁcacité et de réussite commercialedans une variété d’industries. Pourtant, comme toute technologie puissante à un stade précoce,elle comporte son propre ensemble de déﬁs évidents et inattendus.
L’intelligence artiﬁcielle a considérablement progressé au cours des 50 dernières années, prenant
discrètement en charge une variété de processus d’entreprise jusqu’à ce que l’apparition publiquede ChatGPT stimule le développement et l’utilisation de grands modèles linguistiques parmi lesparticuliers et les entreprises. Initialement, ces technologies étaient limitées aux études universitairesou à l’exécution d’activités certaines, mais vitales, au sein des entreprises, visibles uniquement par
quelques privilégiés. Cependant, les progrès récents en matière de disponibilité des données, depuissance informatique, de capacités GenAI et de publication d’outils tels que Llama 2, ElevenLabs
et Midjourney ont fait passer l’IA d’une niche à une acceptation généralisée. Ces améliorations ont
non seulement rendu les technologies GenAI plus accessibles, mais elles ont également souligné
la nécessité cruciale pour les entreprises de développer des stratégies solides pour intégrer etexploiter l’IA dans leurs opérations, ce qui représente un énorme pas en avant dans la façon dont
nous utilisons la technologie.

• Intelligence artiﬁcielle (IA) est un terme général qui englobe tous les domaines de l’informatiquepermettant aux machines d’accomplir des tâches qui nécessiteraient normalement l’intelligencehumaine. L’apprentissage automatique et l’IA générative sont deux sous-catégories de l’IA.

• Apprentissage automatique ou Machine learning est un sous-ensemble de l’IA qui se concentre

sur la création d’algorithmes capables d’apprendre à partir des données. Les algorithmes
d’apprentissage automatique sont formés sur un ensemble de données, puis peuvent utiliser
ces données pour faire des prédictions ou prendre des décisions concernant de nouvelles
données.

• L’ IA générative est un type d’apprentissage automatique qui se concentre sur la création de
nouvelles données.

• Un grand modèle de langage (LLM pour "Large Language Models" en anglais) est un type demodèle d’IA qui traite et génère du texte de type humain. Dans le contexte de l’intelligence
artiﬁcielle, un « modèle » fait référence à un système formé pour faire des prédictions basées
sur des données d’entrée. Les LLM sont spéciﬁquement formés sur de grands ensembles dedonnées de langage naturel et sont appelés grands modèles de langage.

Les organisations pénètrent dans des territoires inexplorés en matière de sécurisation et de supervision
des solutions GenAI. Les progrès rapides de GenAI permettent également aux adversaires d’améliorer
leurs stratégies d’attaque, introduisant ainsi un double déﬁ de défense et d’escalade des menaces.
Les entreprises utilisent l’intelligence artiﬁcielle dans de nombreux domaines, notamment les
RH pour le recrutement, la détection du spam par courrier électronique, le SIEM pour l’analyse
comportementale et les applications gérées de détection et de réponse. Cependant, ce document
se concentre principalement sur les applications Large Language Model et leur fonction dans lacréation de contenu généré.

L’intelligence artiﬁcielle responsable et digne de conﬁance
À mesure que les déﬁs et les avantages de l’intelligence artiﬁcielle émergent - et que des réglementations
et des lois sont adoptées - les principes et les piliers d’une utilisation responsable et digne deconﬁance de l’IA évoluent d’objets et de préoccupations idéalistes vers des normes établies. Legroupe de travail OWASP AI Exchange surveille ces changements et aborde les considérations plus
larges et plus difﬁciles pour tous les aspects de l’intelligence artiﬁcielle.

Figure 1.1: Image illustrant les piliers d’une intelligence artiﬁcielle ﬁable

À qui est-ce destiné ?
La liste de contrôle OWASP Top 10 pour les applications LLM en matière de cybersécurité etde gouvernance s’adresse aux dirigeants des domaines de la direction, de la technologie, de la
cybersécurité, de la conﬁdentialité, de la conformité et du droit, aux équipes et défenseurs de
DevSecOps, MLSecOps et de cybersécurité. Il est destiné aux personnes qui s’efforcent de garderune longueur d’avance dans le monde en évolution rapide de l’IA, dans le but non seulement d’exploiterl’IA pour le succès de l’entreprise, mais également de se protéger contre les risques de mises enœuvre hâtives ou non sécurisées de l’IA. Ces dirigeants et équipes doivent créer des stratégies poursaisir les opportunités, relever les déﬁs et atténuer les risques.
Cette liste de contrôles est destinée à aider ces responsables technologiques et commerciaux àcomprendre rapidement les risques et les avantages de l’utilisation du LLM, leur permettant de seconcentrer sur l’élaboration d’une liste complète des domaines et des tâches critiques nécessaires
pour défendre et protéger l’organisation lors de l’élaboration d’une stratégie de modèle linguistiqueétendu.

Le Top 10 OWASP pour l’équipe Applications LLM espère que cette liste aidera les organisations àaméliorer leurs techniques défensives existantes et à développer des techniques pour faire face
aux nouvelles menaces liées à l’utilisation de cette technologie passionnante.

Pourquoi une check-list ?
Les listes de contrôles utilisées pour formuler des stratégies améliorent la précision, déﬁnissent les
objectifs, préservent l’uniformité et favorisent un travail délibéré ciblé, réduisant ainsi les oublis etles détails manqués. Suivre une liste de contrôles augmente non seulement la conﬁance dans un
parcours d’adoption sûr, mais encourage également les innovations des futures organisations enfournissant une stratégie simple et efﬁcace d’amélioration continue.

Pas complet
Bien que ce document vise à aider les organisations à développer une stratégie LLM initiale dansun environnement technique, juridique et réglementaire en évolution rapide, il n’est pas exhaustif
et ne couvre pas tous les cas d’utilisation ou obligations. Lors de l’utilisation de ce document, lesorganisations doivent étendre les évaluations et les pratiques au-delà de la portée de la liste decontrôle fournie, selon les besoins de leur cas d’utilisation ou de leur juridiction.

Déﬁs des grands modèles de langage
Les grands modèles de langage sont confrontés à plusieurs problèmes sérieux et uniques. L’un desplus importants est que lorsque l’on travaille avec des LLM, les plans de contrôle et de données nepeuvent pas être strictement isolés ou séparables. Un autre déﬁ important est que les LLM sontnon déterministes de par leur conception, produisant un résultat différent lorsqu’ils y sont invités ou
demandés.
Les LLM utilisent la recherche sémantique plutôt que la recherche par mots clés. La principale
distinction entre les deux réside dans le fait que l’algorithme du modèle donne la priorité aux
termes dans sa réponse. Il s’agit d’un changement important par rapport à la manière dont lesconsommateurs utilisaient auparavant la technologie, et cela a un impact sur la cohérence et laﬁabilité des résultats. Les hallucinations, émergeant des lacunes et des défauts de formation dansles données sur lesquelles le modèle est formé, sont le résultat de cette méthode.
Il existe des méthodes pour améliorer la ﬁabilité et réduire la surface d’attaque pour le jailbreak, lemodel tricking et les hallucinations, mais il existe un compromis entre les restrictions et l’utilité, à lafois en termes de coût et de fonctionnalité.
L’utilisation du LLM et les applications LLM augmentent la surface d’attaque d’une organisation.
Certains risques associés aux LLM sont uniques, mais beaucoup sont des problèmes familiers, tels
que la nomenclature logicielle connue (SBoM pour "software bill of materials" en anglais), la chaîne
d’approvisionnement, la protection contre la perte de données (DLP pour "data loss protection" enanglais) et l’accès autorisé. Il existe également des risques accrus qui ne sont pas directement
liés à la GenAI, mais la GenAI augmente l’efﬁcience, la capacité et l’efﬁcacité des attaquants qui
attaquent et menacent les organisations.
Les adversaires exploitent de plus en plus les outils LLM et d’IA générative pour afﬁner et accélérer lesméthodes traditionnelles d’attaque des organisations, des individus et des systèmes gouvernementaux.

Le LLM facilite leur capacité à améliorer les techniques leur permettant de créer sans effort denouveaux logiciels malveillants, potentiellement intégrés à de nouvelles vulnérabilités zero-day ou
conçus pour échapper à la détection. Ils peuvent également générer des programmes de phishingsophistiqués, uniques ou personnalisés. La création de deep fakes convaincants, qu’ils soient vidéo
ou audio, favorise encore davantage leurs stratagèmes d’ingénierie sociale. De plus, ces outils leurpermettent d’exécuter des intrusions et de développer des capacités de piratage innovantes. Àl’avenir, une utilisation plus « adaptée » et plus complexe de la technologie de l’IA par les acteurs
criminels exigera des réponses spéciﬁques et des solutions dédiées pour les capacités de défense
et de résilience appropriées d’une organisation.
Les organisations sont également confrontées à la menace de NE PAS utiliser les capacitésdes LLM, telles qu’un désavantage concurrentiel, la perception du marché par les clients et lespartenaires comme étant obsolètes, l’incapacité à faire évoluer les communications personnalisées,la stagnation de l’innovation, l’inefﬁcacité opérationnelle, le risque plus élevé d’erreur humaine dansles processus, et allocation inefﬁcace des ressources humaines.
Comprendre les différents types de menaces et les intégrer à la stratégie commerciale aidera àpeser les avantages et les inconvénients de l’utilisation des grands modèles de langage par rapport
à leur non-utilisation, en s’assurant qu’ils accélèrent plutôt qu’entravent la réalisation des objectifs
commerciaux de l’entreprise.

Catégories de menaces LLM

Figure 1.2: Image illustrant les types de menaces liées à l’IA

Formation sur la sécurité et la conﬁdentialité de l’intelligence artiﬁcielle
Les employés de toutes les organisations bénéﬁcient d’une formation pour comprendre l’intelligence
artiﬁcielle, l’intelligence artiﬁcielle générative et les conséquences potentielles futures de la création,
de l’achat ou de l’utilisation de LLM. La formation aux utilisations autorisées et à la sensibilisation àla sécurité devrait cibler tous les employés et être plus spécialisée pour certains postes tels que
les ressources humaines, les services juridiques, les développeurs, les équipes de données et leséquipes de sécurité.
Les politiques d’utilisation équitable et les interactions saines sont des aspects clés qui, s’ils
sont intégrés dès le début, constitueront la pierre angulaire du succès des futures campagnes

de sensibilisation à la cybersécurité de l’IA. Cela fournira nécessairement aux utilisateurs uneconnaissance des règles de base de l’interaction ainsi que la capacité de distinguer les bonscomportements des mauvais comportements ou des comportements contraires à l’éthique.

Intégrer la sécurité et la gouvernance du LLM aux pratiques et contrôles
existants et établisMême si l’IA et l’IA générée ajoutent une nouvelle dimension à la cybersécurité, à la résilience, àla conﬁdentialité et au respect des exigences légales et réglementaires, les meilleures pratiques
qui existent depuis longtemps restent le meilleur moyen d’identiﬁer les problèmes, de trouver lesvulnérabilités, de les corriger et de les résoudre. atténuer les problèmes de sécurité potentiels.

• Conﬁrmer que la gestion des systèmes d’intelligence artiﬁcielle est intégrée aux pratiques
organisationnelles existantes.

• Conﬁrmer que les systèmes AIML ("langage de balisage d’intelligence artiﬁcielle" ou "Artiﬁcial

Intelligence Markup Language", en anglais) suivent les pratiques existantes en matière deconﬁdentialité, de gouvernance et de sécurité, avec des pratiques de conﬁdentialité, degouvernance et de sécurité spéciﬁques à l’IA mises en œuvre si nécessaire.

Principes fondamentaux de sécurité
Les capacités LLM introduisent un type différent d’attaque et de surface d’attaque. Les LLM sontvulnérables aux bogues de logique métier complexes, tels que l’injection rapide, la conception
de plugins non sécurisées et l’exécution de code à distance. Les meilleures pratiques existantes
constituent le meilleur moyen de résoudre ces problèmes. Une équipe interne de sécurité desproduits qui comprend l’examen des logiciels sécurisés, l’architecture, la gouvernance des donnéeset les évaluations tierces. L’équipe de cybersécurité doit également vériﬁer la solidité des contrôles
actuels pour détecter les problèmes qui pourraient être aggravés par LLM, tels que le clonage vocal,
l’usurpation d’identité, ou en contournant les captchas.
Compte tenu des progrès récents en matière d’apprentissage automatique, de NLP (Traitement
automatique des langues ou "Natural Language Processing" en anglais), de NLU (Compréhension
du langage naturel ou "Natural Language Understanding" en anglais), de Deep Learning et, plus
récemment, de LLM et d’IA générative, il est recommandé d’inclure des professionnels compétents
dans ces domaines aux côtés de la cybersécurité et équipes devops. Leur expertise contribuera
non seulement à l’adoption de ces technologies, mais également à l’élaboration d’analyses et deréponses innovantes aux déﬁs émergents.

RisquesLa référence au risque utilise la déﬁnition ISO 31000 : Risque = « effet de l’incertitude sur les objectifs». Les risques LLM inclus dans la liste de contrôle comprennent une liste ciblée de risques LLM qui
traitent des risques contradictoires, de sécurité, juridiques, réglementaires, de réputation, ﬁnancierset concurrentiels.

Taxonomie de vulnérabilité et d’atténuation
Les systèmes actuels de classiﬁcation des vulnérabilités et de partage d’informations sur les
menaces, comme OVAL, STIX, CVE et CWE, développent encore la capacité de surveiller et d’alerter
les défenseurs des vulnérabilités et des menaces spéciﬁques aux grands modèles de langage et
aux modèles prédictifs. On s’attend à ce que les organisations s’appuient sur ces normes établies
et reconnues, telles que CVE pour la classiﬁcation des vulnérabilités et STIX pour l’échange derenseignements sur les cybermenaces (CTI), lorsque des vulnérabilités ou des menaces pesant surles systèmes d’IA/ML et leurs chaînes d’approvisionnement sont identiﬁées.

Déterminer la stratégie LLM
L’expansion rapide des applications LLM a accru l’attention et l’examen de tous les systèmes d’IA/ML
utilisés dans les opérations commerciales, englobant à la fois l’IA générative et les systèmes d’IA/ML
prédictifs établis de longue date. Cette attention accrue expose des risques potentiels, tels que desattaquants ciblant des systèmes qui étaient auparavant négligés et des problèmes de gouvernanceou juridiques qui auraient pu être ignorés en termes de problèmes juridiques, de conﬁdentialité, deresponsabilité ou de garantie. Pour toute organisation tirant parti des systèmes d’IA/ML dans ses
opérations, il est essentiel d’évaluer et d’établir des politiques complètes, une gouvernance, desprotocoles de sécurité, des mesures de conﬁdentialité et des normes de responsabilité pour garantir
que ces technologies s’alignent sur les processus commerciaux de manière sécurisée et éthique.
Les attaquants, ou adversaires, constituent la menace la plus immédiate et la plus nuisible pourles entreprises, les personnes et les agences gouvernementales. Leurs objectifs, qui vont du gainﬁnancier à l’espionnage, les poussent à voler des informations critiques, à perturber les opérationset à nuire à la conﬁance. De plus, leur capacité à exploiter de nouvelles technologies telles que l’IAet l’apprentissage automatique augmente la vitesse et la sophistication des attaques, ce qui rend
difﬁcile pour les défenses de garder une longueur d’avance sur les attaques.
La menace LLM non adverse la plus pressante pour de nombreuses organisations provient de« Shadow IA » : des employés utilisant des outils d’IA en ligne non approuvés, des plug-ins denavigateur dangereux et des applications tierces qui introduisent des fonctionnalités LLM via desmises à jour ou des mises à niveau, contournant les processus d’approbation de logiciels standard.

Figure 2.1: Image des options pour la stratégie de déploiement

Stratégie de déploiement
Les domaines d’application vont de l’exploitation d’applications grand public à la formation demodèles propriétaires sur des données privées. Des facteurs tels que la sensibilité des cas
d’utilisation, les capacités nécessaires et les ressources disponibles aident à déterminer le bonéquilibre entre commodité et contrôle. Cependant, la compréhension de ces cinq types de modèles
fournit un cadre pour évaluer les options.

Figure 2.2: Image des options pour les types de déploiement

Liste de contrôles

Risque contradictoire
Le risque contradictoire inclut les concurrents et les attaquants.
□ Examiner la manière dont les concurrents investissent dans l’intelligence artiﬁcielle. Bien quel’adoption de l’IA comporte des risques, elle présente également des avantages commerciaux
qui peuvent avoir un impact sur les positions futures sur le marché.
□ Étudier l’impact des contrôles actuels, tels que la réinitialisation des mots de passe, qui utilisentla reconnaissance vocale et qui pourraient ne plus fournir la sécurité défensive appropriéecontre les nouvelles attaques améliorées de la GenAI.
□ Mettre à jour le plan de réponse aux incidents et les playbooks pour les attaques amélioréesde la GenAI et les incidents spéciﬁques à l’AIML.

Modélisation des menaces
La modélisation des menaces est fortement recommandée pour identiﬁer les menaces et examinerles processus et les défenses de sécurité. La modélisation des menaces est un ensemble deprocessus systématiques et reproductibles qui permettent de prendre des décisions raisonnables enmatière de sécurité pour les applications, les logiciels et les systèmes. La modélisation des menaces
pour les attaques accélérées de la GenAI et avant le déploiement du LLM est le moyen le plus
rentable d’identiﬁer et d’atténuer les risques, de protéger les données, de protéger la conﬁdentialité
et d’assurer une intégration sécurisée et conforme au sein de l’entreprise.

□ Comment les attaquants vont-ils accélérer les attaques contre l’organisation, les employés,
les dirigeants ou les utilisateurs ? Les organisations doivent anticiper les attaques «hyper-personnalisées » à grande échelle grâce à l’IA générative. Les attaques de spear phishingassistées par LLM sont désormais exponentiellement plus efﬁcaces, ciblées et militariséespour une attaque.
□ Comment la GenAI pourrait-il être utilisé pour des attaques contre les clients de l’entreprise
via l’usurpation d’identité ou le contenu généré par la GenAI ?
□ L’entreprise peut-elle détecter et neutraliser les entrées ou requêtes nuisibles ou malveillantes
adressées aux solutions LLM ?
□ L’entreprise peut-elle protéger les connexions avec les systèmes et bases de données existants
avec des intégrations sécurisées à toutes les limites de conﬁance LLM ?
□ L’entreprise dispose-t-elle d’une atténuation des menaces internes pour empêcher touteutilisation abusive par les utilisateurs autorisés ?
□ L’entreprise peut-elle empêcher l’accès non autorisé à des modèles ou des données
propriétaires pour protéger la propriété intellectuelle ?
□ L’entreprise peut-elle empêcher la génération de contenu nuisible ou inapproprié grâce au
ﬁltrage automatisé du contenu ?

Inventaire des actifs d’IA
Un inventaire des actifs d’IA doit s’appliquer à la fois aux solutions développées en interne et aux
solutions externes ou tierces.
□ Cataloguer les services, outils et propriétaires d’IA existants. Désigner une balise dans lagestion des actifs pour un inventaire spéciﬁque.
□ Inclure les composants IA dans la nomenclature logicielle (SBOM pour "Software Bill ofMaterials" en anglais), une liste complète de tous les composants logiciels, dépendances etmétadonnées associés aux applications.
□ Cataloguer les sources de données IA et la sensibilité des données (protégées, conﬁdentielles,
publiques)□ Déterminer si des tests d’intrusion ou une équipe rouge des solutions d’IA déployées sontnécessaires pour déterminer le risque actuel de surface d’attaque.
□ Créer un processus d’intégration de solution d’IA.
□ S’assurer que le personnel administratif informatique qualiﬁé est disponible en interne ou enexterne, conformément aux exigences SBoM.

Formation sur la sécurité et la conﬁdentialité de l’IA
□ S’engager activement avec les employés pour comprendre et répondre aux préoccupations
concernant les initiatives LLM prévues.
□ Établir une culture de communication ouverte et transparente sur l’utilisation par l’organisation
de l’IA prédictive ou générative au sein des processus, des systèmes, de la gestion et dusupport des employés, des engagements des clients et sur la manière dont son utilisation est
régie, gérée et les risques gérés.
□ Former tous les utilisateurs à l’éthique, à la responsabilité et aux questions juridiques telles
que la garantie, la licence et le droit d’auteur.
□ Mettre à jour la formation de sensibilisation à la sécurité pour inclure les menaces liées àla GenAI. Clonage de voix et clonage d’images, ainsi qu’en prévision de l’augmentation desattaques de spear phishing□ Toute solution GenAI adoptée devrait inclure une formation aux DevOps et à la cybersécurité
pour le pipeline de déploiement aﬁn de garantir la sûreté et la sécurité de l’IA.

Établir des analyses de rentabilisation
Des analyses de rentabilisation solides sont essentielles pour déterminer la valeur commerciale detoute solution d’IA proposée, équilibrer les risques et les avantages, et évaluer et tester le retour surinvestissement. Il existe un très grand nombre de cas d’utilisation potentiels ; quelques exemples
sont fournis.
□ Améliorer l’expérience client□ Meilleure efﬁcacité opérationnelle□ Une meilleure gestion des connaissances□ Innovation améliorée□ Études de marché et analyse des concurrents□ Création, traduction, synthèse et analyse de documents

Gouvernance
La gouvernance d’entreprise en LLM est nécessaire pour fournir aux organisations transparence etresponsabilité. L’identiﬁcation des propriétaires de plates-formes ou de processus d’IA potentiellement
familiers avec la technologie ou les cas d’utilisation sélectionnés pour l’entreprise est non seulement
conseillé, mais également nécessaire pour garantir une vitesse de réaction adéquate qui évite lesdommages collatéraux aux processus numériques d’entreprise bien établis.
□ Établir la matrice RACI IA de l’organisation (qui est responsable, qui doit rendre des comptes,
qui doit être consulté et qui doit être informé)□ Documenter et attribuer les risques liés à l’IA, les évaluations des risques et les responsabilitésde gouvernance au sein de l’organisation.
□ Établir des politiques de gestion des données, y compris l’application technique, concernant laclassiﬁcation des données et les limitations d’utilisation. Les modèles ne doivent exploiterque les données classées pour le niveau d’accès minimum de tout utilisateur du système. Par
exemple, mettez à jour la politique de protection des données pour insister sur le fait de nepas saisir de données protégées ou conﬁdentielles dans des outils non gérés par l’entreprise.
□ Créer une politique d’IA soutenue par une politique établie (par exemple, norme de bonne
conduite, protection des données, utilisation des logiciels)□ Publier une matrice d’utilisation acceptable pour divers outils d’IA générative que les employés
pourront utiliser.
□ Documenter les sources et la gestion de toutes les données que l’organisation utilise à partir
des modèles LLM génératifs.

LégalDe nombreuses implications juridiques de l’IA restent ﬂoues et potentiellement très coûteuses. Un
partenariat informatique, sécuritaire et juridique est essentiel pour identiﬁer les lacunes et prendre
des décisions obscures.

□ Conﬁrmer que les garanties des produits sont claires dans le ﬂux de développement de produits
pour désigner qui est responsable des garanties des produits avec l’IA.
□ Examiner et mettre à jour les termes et conditions existants pour toute considération relative
à la GenAI.
□ Consulter les accords CLUF sur l’IA. Les accords de licence d’utilisateur ﬁnal pour lesplates-formes GenAI sont très différents dans la manière dont ils traitent les invites desutilisateurs, les droits et la propriété des résultats, la conﬁdentialité des données, la conformité,la responsabilité, la conﬁdentialité et les limites d’utilisation des résultats.
□ CLUF de l’organisation pour les clients : modiﬁer les accords d’utilisateur ﬁnal pour empêcher
l’organisation d’encourir des responsabilités liées au plagiat, à la propagation de préjugés ou à
la violation de la propriété intellectuelle via le contenu généré par l’IA.
□ Passer en revue les outils assistés par l’IA existants utilisés pour le développement de code.
La capacité d’un chatbot à écrire du code peut menacer les droits de propriété d’une entreprise
sur son produit si un chatbot est utilisé pour générer du code pour le produit. Par exemple,
cela pourrait remettre en question le statut et la protection du contenu généré et qui détient ledroit d’utiliser le contenu généré.
□ Examiner tous les risques liés à la propriété intellectuelle. La propriété intellectuelle générée
par un chatbot pourrait être menacée si des données obtenues de manière inappropriée étaientutilisées au cours du processus de génération, qui est soumis à la protection des droits d’auteur,des marques ou des brevets. Si les produits d’IA utilisent du matériel contrefait, cela crée unrisque pour les résultats de l’IA, ce qui peut entraîner une violation de la propriété intellectuelle.
□ Examiner tous les contrats comportant des dispositions d’indemnisation. Les clausesd’indemnisation tentent de faire porter la responsabilité d’un événement entraînant une
responsabilité sur celui qui en était le plus fautif ou qui avait le plus de chances de l’arrêter.
Établir des garde-fous pour déterminer si le fournisseur de l’IA ou son utilisateur est à l’origine
de l’événement, engageant sa responsabilité.
□ Examiner la responsabilité pour les blessures potentielles et les dommages matériels causéspar les systèmes d’IA.
□ Examiner la couverture d’assurance. Les polices d’assurance responsabilité civile générale
(D&O) et commerciale générale sont probablement insufﬁsantes pour protéger pleinement
l’utilisation de l’IA.
□ Identiﬁer tout problème de droits d’auteur. La paternité humaine est requise pour le droit
d’auteur. Une organisation peut également être tenue responsable de plagiat, de propagationde préjugés ou de violation de la propriété intellectuelle si les outils LLM sont utilisés à mauvais
escient.
□ Veiller à ce que des accords soient en place pour les sous-traitants et à l’utilisation appropriéede l’IA pour tout développement ou service fourni.
□ Restreindre ou interdire l’utilisation d’outils d’IA générative pour les employés ou lessous-traitants lorsque les droits exécutoires peuvent poser problème ou lorsqu’il existe desproblèmes de violation de la propriété intellectuelle.
□ Les solutions d’évaluation et d’IA utilisées pour la gestion ou l’embauche des employés
pourraient donner lieu à des demandes de traitement ou d’impact disparates.
□ S’assurer que les solutions d’IA ne collectent ni ne partagent d’informations sensibles sans leconsentement ou l’autorisation appropriée.

Réglementaire
La loi européenne sur l’IA devrait être la première loi complète sur l’IA, mais elle s’appliquera auplus tôt en 2025. Le règlement général sur la protection des données (RGPD) de l’UE ne traite pas
spéciﬁquement de l’IA, mais comprend des règles relatives à la collecte de données, à la sécuritédes données, à l’équité et à la transparence, à l’exactitude et à la ﬁabilité, ainsi qu’à la responsabilité,qui peuvent avoir un impact sur l’utilisation de la GenAI. Aux États-Unis, la réglementation de l’IA est
incluse dans des lois plus larges sur la protection de la vie privée des consommateurs. Dix Étatsaméricains ont adopté ou disposent de lois qui entreront en vigueur d’ici la ﬁn de 2023.
Des organisations fédérales telles que la Commission américaine pour l’égalité des chances
en matière d’emploi (EEOC), le Bureau de protection ﬁnancière des consommateurs (CFPB), la
Commission fédérale du commerce (FTC) et la Division des droits civils (DOJ) du ministère américainde la Justice surveillent de près l’équité en matière d’embauche.
□ Déterminer les exigences de conformité en matière d’IA spéciﬁques au pays, à l’État ou à tout
autre gouvernement.
□ Déterminer les exigences de conformité pour restreindre la surveillance électronique desemployés et les systèmes de décision automatisés liés à l’emploi (Vermont, Californie,
Maryland, New York, New Jersey)□ Déterminer les exigences de conformité en matière de consentement à la reconnaissancefaciale et à l’analyse vidéo IA requise (Illinois, Maryland, Washington, Vermont)□ Passer en revue tous les outils d’IA utilisés ou envisagés pour l’embauche ou la gestion desemployés.
□ Conﬁrmer la conformité du fournisseur aux lois et aux meilleures pratiques applicables enmatière d’IA.
□ Demander et documenter tous les produits utilisant l’IA pendant le processus d’embauche.
Demander comment le modèle a été formé et comment il est surveillé, et suivez toutes lescorrections apportées pour éviter la discrimination et les préjugés.
□ Demander et documenter quelles options d’hébergement sont incluses.
□ Demander et documenter si le fournisseur collecte des données conﬁdentielles.
□ Demander comment le fournisseur ou l’outil stocke et supprime les données et réglementel’utilisation des outils de reconnaissance faciale et d’analyse vidéo pendant la période préalable
à l’emploi.
□ Examiner les autres exigences réglementaires spéciﬁques à l’organisation avec l’IA qui peuvent
soulever des problèmes de conformité. La Loi sur la sécurité du revenu de retraite des employés
de 1974, par exemple, impose des obligations ﬁduciaires pour les régimes de retraite qu’unchatbot pourrait ne pas être en mesure de respecter.

Utilisation ou implémentation de solutions de grands modèles de langage□ Composants LLM du modèle de menace et limites de conﬁance de l’architecture.
□ Sécurité des données : vériﬁer comment les données sont classées et protégées en fonction deleur sensibilité, y compris les données professionnelles personnelles et exclusives. (Comment
les autorisations des utilisateurs sont-elles gérées et quelles protections sont en place?)□ Contrôle d’accès : mise en œuvre de contrôles d’accès au moindre privilège et mise en œuvre
de mesures de défense en profondeur□ La sécurité des pipelines de formation nécessite un contrôle rigoureux de la gouvernance desdonnées de formation, des pipelines, des modèles et des algorithmes.
□ Sécurité des entrées et des sorties : évaluer les méthodes de validation des entrées, ainsi quela manière dont les sorties sont ﬁltrées, nettoyées et approuvées.
□ Surveillance et réponse : cartographier les ﬂux de travail, la surveillance et les réponses pourcomprendre l’automatisation, la journalisation et l’audit. Conﬁrmer que les enregistrements
d’audit sont sécurisés.
□ Inclure les tests d’application, l’examen du code source, les évaluations de vulnérabilité etl’équipe Red Team dans le processus de publication de production.
□ Rechercher les vulnérabilités existantes dans le modèle LLM ou la chaîne d’approvisionnement.
□ Examiner les effets des menaces et des attaques sur les solutions LLM, telles que l’injection
rapide, la divulgation d’informations sensibles et la manipulation de processus.
□ Étudier l’impact des attaques et des menaces sur les modèles LLM, notamment
l’empoisonnement des modèles, la gestion inappropriée des données, les attaques de lachaîne d’approvisionnement et le vol de modèles.
□ Sécurité de la chaîne d’approvisionnement, demandez des audits tiers, des tests d’intrusion etdes révisions de code pour les fournisseurs tiers (à la fois initialement et de manière continue).
□ Sécurité de l’infrastructure, se demander à quelle fréquence un fournisseur effectue des testsde résilience? Quels sont leurs SLA en termes de disponibilité, d’évolutivité et de performances?
□ Mettre à jour les playbooks de réponse aux incidents et incluez un incident LLM dans les
exercices théoriques.
□ Identiﬁer ou développer des mesures pour comparer l’IA de cybersécurité générative à d’autres
approches aﬁn de mesurer les améliorations de productivité attendues.

Tests, évaluation, vériﬁcation et validation (TEVV)
Le cadre NIST AI recommande un processus TEVV continu tout au long du cycle de vie de l’IA qui
inclut les opérateurs du système d’IA, les experts du domaine, les concepteurs d’IA, les utilisateurs,les développeurs de produits, les évaluateurs et les auditeurs. TEVV comprend une gamme detâches telles que la validation du système, l’intégration, les tests, le recalibrage et la surveillance
continue pour des mises à jour périodiques aﬁn de gérer les risques et les changements du systèmed’IA.
□ Établir des tests, des évaluations, des vériﬁcations et des validations continus tout au long ducycle de vie du modèle d’IA.
□ Fournir des mesures exécutives régulières et des mises à jour sur la fonctionnalité, la sécurité,
la ﬁabilité et la robustesse du modèle d’IA.

Cartes modèles et cartes de risques
Les cartes modèles et les cartes de risque sont des éléments fondamentaux pour accroître latransparence, la responsabilité et le déploiement éthique des grands modèles linguistiques (LLM).
Les cartes modèles aident les utilisateurs à comprendre et à faire conﬁance aux systèmes d’IA en
fournissant une documentation standardisée sur leur conception, leurs capacités et leurs contraintes,
les amenant ainsi à créer des applications informées et sûres. Les cartes de risque complètent
cela en abordant ouvertement les conséquences négatives potentielles, telles que les préjugés,les problèmes de conﬁdentialité et les vulnérabilités de sécurité, ce qui encourage une approche
proactive de la prévention des dommages. Ces documents sont essentiels pour les développeurs,
les utilisateurs, les régulateurs et les éthiciens, car ils établissent une atmosphère collaborativedans laquelle les implications sociales de l’IA sont soigneusement abordées et traitées. Ces cartes,développées et gérées par les organisations qui ont créé les modèles, jouent un rôle important engarantissant que les technologies d’IA respectent les normes éthiques et les exigences légales,
permettant ainsi une recherche et un déploiement responsables dans l’écosystème de l’IA.
Les cartes de modèle incluent des attributs clés associés au modèle ML :• Détails du modèle: Informations de base sur le modèle, c’est-à-dire son nom, sa version etson type (réseau neuronal, arbre de décision, etc.), ainsi que le cas d’utilisation prévu.

• Architecture du modèle: Comprend une description de la structure du modèle, telle que lenombre et le type de couches, les fonctions d’activation et d’autres choix architecturaux clés.

• Données et méthodologie de formation: Informations sur les données utilisées pour entraîner
le modèle, telles que la taille de l’ensemble de données, les sources de données et lestechniques de prétraitement ou d’augmentation des données utilisées. Il comprend également
des détails sur la méthodologie de formation, tels que l’optimiseur utilisé, la fonction de perte
et tous les hyperparamètres réglés.

• Indicateurs de performance: Informations sur les performances du modèle sur diverses

mesures, telles que l’exactitude, la précision, le rappel et le score F1. Il peut également inclure
des informations sur les performances du modèle sur différents sous-ensembles de données.

• Biais et limites potentiels: Répertorier les biais ou limitations potentiels du modèle, tels quedes données d’entraînement déséquilibrées, un surajustement ou des biais dans les prédictions
du modèle. Il peut également inclure des informations sur les limites du modèle, telles que sa
capacité à se généraliser à de nouvelles données ou son adéquation à certains cas d’utilisation.

• Considérations sur l’IA responsable: Toute considération éthique ou responsable en matièred’IA liée au modèle, telle que les problèmes de conﬁdentialité, d’équité et de transparence,ou les impacts sociétaux potentiels de l’utilisation du modèle. Il peut également inclure desrecommandations pour des tests, une validation ou une surveillance plus approfondis dumodèle.

Les fonctionnalités précises contenues dans une carte modèle peuvent différer en fonction ducontexte du modèle et de l’utilisation prévue, mais l’objectif est de donner ouverture et responsabilité
dans la création et le déploiement de modèles d’apprentissage automatique.
□ Examiner une ﬁche de modèle de modèles□ Examiner la carte de risque si disponible□ Établisser un processus pour suivre et conserver les ﬁches de modèle pour tout modèle
déployé, y compris les modèles utilisés par un tiers.

RAG: optimisation des grands modèles de langage
Le réglage ﬁn, la méthode traditionnelle d’optimisation d’un modèle pré-entraîné, impliquait derecycler un modèle existant sur des données nouvelles et spéciﬁques à un domaine, en le modiﬁant
pour les performances d’une tâche ou d’une application. Le réglage ﬁn est coûteux mais essentiel
pour améliorer les performances.
La génération augmentée par récupération (RAG pour "Retrieval-Augmented Generation" en anglais)a évolué pour devenir un moyen plus efﬁcace d’optimiser et d’augmenter les capacités des rands
modèles de langage en récupérant des données pertinentes à partir de sources de connaissances
disponibles à jour. RAG peut être personnalisé pour des domaines spéciﬁques, optimisant larécupération d’informations spéciﬁques au domaine et adaptant le processus de génération aux
nuances des domaines spécialisés. RAG est considéré comme une méthode plus efﬁcace ettransparente pour l’optimisation LLM, en particulier pour les problèmes où les données étiquetéessont limitées ou coûteuses à collecter. L’un des principaux avantages de RAG est sa prise en charge
de l’apprentissage continu puisque les nouvelles informations peuvent être continuellement mises
à jour au stade de la récupération.
La mise en œuvre du RAG implique plusieurs étapes clés, depuis l’intégration du déploiement dumodèle, l’indexation de la bibliothèque de connaissances jusqu’à la récupération des documents lesplus pertinents pour le traitement des requêtes. Une récupération efﬁcace du contexte pertinent
est effectuée sur la base de bases de données vectorielles qui sont utilisées pour le stockage etl’interrogation des intégrations de documents.
Référence RAG□ Retrieval Augmented Generation (RAG) & LLM: Examples□ 12 RAG Pain Points and Proposed Solutions

L’équipe Red Team IA
L’équipe Red Team IA est une simulation de test d’attaque contradictoire du système IA pour valider
qu’il n’existe aucune vulnérabilité existante pouvant être exploitée par un attaquant. Il s’agit d’une
pratique recommandée par de nombreux organismes de réglementation et de gouvernance de l’IA, ycompris l’administration Biden. L’équipe rouge ne constitue pas à elle seule une solution complète
pour valider tous les préjudices réels associés aux systèmes d’IA et doit être incluse avec d’autres
formes de tests, d’évaluation, de vériﬁcation et de validation telles que les évaluations d’impact
algorithmiques et les audits externes.

□ Intégrer les tests Red Team comme pratique standard pour les modèles et applications d’IA.

Resourcesf
OWASP Top 10 pour les applications de grands modèles de langage

Figure 4.1: Image du Top 10 OWASP pour les applications de grands modèles de langage

Top 10 OWASP pour les applications de grands modèles de langage visualisées

Figure 4.2: Image du OWASP Top 10 pour les applications de grands modèles de langage visualisées

Ressources OWASP L’utilisation de solutions LLM élargit la surface d’attaque d’une organisation
et présente de nouveaux déﬁs, nécessitant des tactiques et des défenses spéciales. Cela poseégalement des problèmes similaires aux problèmes connus, et il existe déjà des procédures et desmesures d’atténuation de cybersécurité établies. L’intégration de la cybersécurité LLM aux contrôles,processus et procédures de cybersécurité établis d’une organisation permet à une organisation deréduire sa vulnérabilité aux menaces. La façon dont ils s’intègrent les uns aux autres est disponible
sur le Normes d’intégration OWASP.
Ressource OWASP

Description

OWASP SAMM

Modèle de maturité del’assurance
logicielle(SAMM pour "Software
Assurance
Maturity
Model" en anglais)

OWASP AI Security andPrivacy Guide

Projet OWASP dans lebut de se connecter dansle monde entier pour unéchange sur la sécurité
de l’IA, en favorisantl’alignement des normes
et en favorisant lacollaboration.

OWASP AI Exchange

OWASP AI Exchange est
la méthode d’admission
au guide de sécurité
et de conﬁdentialité
OWASP AI.

Pourquoi est-ce recommandé etoù l’utiliser ?
Fournir un moyen efﬁcace
et mesurable d’analyser etd’améliorer le cycle de vie dedéveloppement sécurisé d’uneorganisation. SAMM prend en
charge le cycle de vie complet
du logiciel. Il est interactif et
axé sur les risques, permettant
aux organisations d’identiﬁer
et de hiérarchiser les lacunes
dans le développement delogiciels sécurisés aﬁn que
les ressources destinées à
l’amélioration
duprocessus
puissent être consacrées là où lesefforts ont le plus grand impact
d’amélioration.
Le guide de sécurité et deconﬁdentialité
de
l’IA
de
l’OWASP est une liste complètedes considérations les plus
importantes en matière de sécurité
et de conﬁdentialité de l’IA. Il
s’agit d’une ressource complète
permettant aux développeurs, auxchercheurs en sécurité et aux
consultants en sécurité de vériﬁer
la sécurité et la conﬁdentialité dessystèmes d’IA.
L’AI Exchange est la principale
méthode d’admission utilisée parl’OWASP pour orienter le guide desécurité et de conﬁdentialité de l’IAde l’OWASP.

OWASP Resource

Description

OWASP
Learning
Top 10OWASPMachineLearning
Security
Top 10 des problèmes desécurité des systèmesd’apprentissage
automatique.

MachineSecurity

OpenCREOWASP Threat Modeling

OpenCRE(CommonRequirement
Enumeration) est une
plate-forme interactivede liaison de contenu
permettant de regrouper
les normes et directivesde sécurité en un seulaperçu.
Un processus structuréet formel pour lamodélisation
desmenacesd’uneapplication

Pourquoi est-ce recommandé etoù l’utiliser ?
Le Top 10 OWASP Machine
Learning Security est un effort
communautaire visant à collecter
et à présenter les problèmesde sécurité les plus importants
des systèmes d’apprentissage
automatique dans un format facile
à comprendre à la fois par un
expert en sécurité et par un data
scientist. Ce projet comprend le
ML Top 10 et est un document detravail en direct qui fournit desinformations claires et exploitables
sur la conception, la création, lestests et l’achat de systèmesd’IA sécurisés et préservant laconﬁdentialité.
Il s’agit de la
meilleure ressource OWASP pourles informations mondiales sur laréglementation et la conﬁdentialitéde l’IA.
Utiliser ce site pour rechercher desnormes. Vous pouvez effectuer
une recherche par nom standard
ou par type de contrôle.

Apprenez tout sur la modélisation
des menaces qui est une
représentation structurée de toutes
les informations qui affectent lasécurité d’une application.

OWASP Resource

Description

OWASP CycloneDXOWASPCycloneDX
est
une
norme
de
nomenclature(BOM) complète qui
fournit des capacitésavancées de chaîne
d’approvisionnement
pour la réduction descyber-risques.

OWASP
Software
Component Veriﬁcation
Standard (SCVS)

Un
effortcommunautaire visantà établir un cadre pouridentiﬁer les activités,les contrôles et les
meilleurespratiquespeut aider à identiﬁer età réduire les risquesdansunechaîned’approvisionnement
logicielle.
La sécurité des API
seconcentre
surles stratégies et lessolutions permettant decomprendre et d’atténuer
lesvulnérabilités
uniques et les risques desécurité des API.

OWASP
Project

API

Security

Pourquoi est-ce recommandé etoù l’utiliser ?
Les logiciels modernes sontassemblés à l’aide de composantstiers et open source. Ils sontassemblés ensemble de manière
complexe et unique et intégrés
au code original pour obtenir lafonctionnalité souhaitée. Un SBOM
fournit un inventaire précis detous les composants qui permet
aux organisations d’identiﬁer
les risques, permet une plus
grande transparence et permet
une analyse rapide de l’impact.
EO 14028 fourni des exigences
minimales pour le SBOM pour lessystèmes fédéraux.
Utilisez SCVS pour développer
un ensemble commun d’activités,de contrôles et de bonnes
pratiques susceptibles de réduire
les risques dans une chaîne
d’approvisionnement logicielle etd’identiﬁer une référence et un
chemin vers une vigilance maturede la chaîne d’approvisionnement
logicielle.
Les API sont un élément
fondamental de la connexion
des applications, et l’atténuation
des erreurs de conﬁguration ou
des vulnérabilités est obligatoire
pour protéger les utilisateurs et
les organisations. À utiliser pourles tests de sécurité et la Red
Team des environnements deconstruction et de production.

OWASP Resource

Description

OWASP
Application
Security
Veriﬁcation
Standard ASVS

Le
projetASVS(Application
Security
Veriﬁcation Standard)fournit une base pourtester les contrôles desécuritétechniquesdes applications Web
et fournit également
aux développeurs une
liste d’exigences pourundéveloppement
sécurisé.
Une vision orientée vers
l’action pour sauvegarder
et dynamiser l’entreprise

Matrice des menaces
et des sauvegardes del’OWASP (TaSM)

Defect Dojo

Pourquoi est-ce recommandé etoù l’utiliser ?
Livre de bonnes pratiques pourles exigences de sécurité desapplications Web, les tests desécurité et les métriques. Utiliser
pour établir des user stories desécurité et des tests de version decas d’utilisation de sécurité.

Cette matrice permet à uneentreprise de superposer ses
principales
menacesavec
les fonctions du cadre decybersécurité du NIST (identiﬁer,
protéger, détecter, répondre etrécupérer) pour élaborer un plande sécurité robuste. Utilisez-lecomme tableau de bord poursuivre et créer des rapports surla sécurité dans l’ensemble del’organisation.
Utiliser Defect Dojo pour réduirele temps de journalisation desvulnérabilités avec des modèlesde vulnérabilités, des importations
pour les scanners de vulnérabilités
courants, la génération de rapports
et des métriques.

Un outil de gestion
des vulnérabilités open
source qui rationalisele processus de test en
proposant des outils decréation de modèles, degénération de rapports,de métriques et de baseen libre-service.
Table 4.1: Ressources OWASPRessources MITRE La fréquence accrue des menaces LLM souligne la valeur d’une approche axée
sur la résilience pour défendre la surface d’attaque d’une organisation. Les TTPS existants sontcombinés avec de nouvelles surfaces d’attaque et capacités dans les menaces et l’atténuation desadversaires LLM. MITRE maintient un mécanisme bien établi et largement accepté pour coordonner
les tactiques et les procédures des adversaires, basées sur des observations du monde réel.
La coordination et la cartographie de la stratégie de sécurité LLM d’une organisation avec MITRE
ATT&CK et MITRE ATLAS permettent à une organisation de déterminer où la sécurité LLM est
couverte par les processus actuels tels que les normes de sécurité API ou où existent des failles desécurité.
MITRE ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge) est un cadre, unecollection de matrices de données et un outil d’évaluation créé par MITRE Corporation pour aider
les organisations à déterminer dans quelle mesure leur cybersécurité fonctionne sur l’ensemble deleur surface d’attaque numérique et trouver des trous qui n’avaient pas été trouvés auparavant. Il
s’agit d’un référentiel de connaissances utilisé partout dans le monde. La matrice MITRE ATT&CK
contient un ensemble de stratégies utilisées par les adversaires pour atteindre un certain objectif.
Dans la matrice ATT&CK, ces objectifs sont classés comme tactiques. Les objectifs sont déﬁnis par
ordre d’attaque, en commençant par la reconnaissance et en progressant jusqu’à l’objectif éventuelde l’exﬁltration ou de l’impact.
MITRE ATLAS, qui signiﬁe "Adversarial Threat Landscape for Artiﬁcial Intelligence Systems", est unebase de connaissances basée sur des exemples réels d’attaques contre des systèmes d’apprentissage
automatique (ML) par des acteurs malveillants. ATLAS est basé sur l’architecture MITRE ATT&CK,
et ses tactiques et procédures complètent celles trouvées dans ATT&CK.
Ressources MITRE

Description

MITRE ATT&CK

Base de connaissancesdestactiquesettechniques
adversesbaséessurdesobservations du monde
réel

MITRE
Workbench

AT&CK

Créer ou étendre lesdonnées
ATT&CKdans une base deconnaissances locale

Pourquoi est-ce recommandé ? &Où l’utiliser ?
La base de connaissances
ATT&CK sert de base audéveloppementdemodèleset de méthodologies de menaces
spéciﬁques. Cartographiez lescontrôles existants au sein del’organisation avec les tactiques
et techniques de l’adversaire aﬁnd’identiﬁer les lacunes ou lesdomaines à tester.
Hébergez et gérez une copie
personnalisée de la base deconnaissances ATT&CK. Cette
copie locale de la base deconnaissances ATT&CK peut êtreétendue avec des techniques,des tactiques, des groupesd’atténuation et des logiciels
nouveaux ou mis à jour spéciﬁquesà votre organisation.

Ressources MITRE

Description

MITRE ATLAS

MITRE
ATLAS
(Adversarial
ThreatLandscapefor
Artiﬁcial-Intelligence
Systems) est une basedeconnaissances
surlestactiques,
techniques et études
de cas de l’adversaire
pourles
systèmes
d’apprentissage
automatique (Machine
Learning ou ML) basées
sur des observations
du monde réel, desdémonstrationsd’équipes rouges etde groupes de sécuritéde ML, et l’état dupossible issu de larecherche universitaire.
ATT&CK Powered Suit
est une extension denavigateur qui met labase de connaissances
MITRE ATT&CK à portéede main.
Automatisel’identiﬁcation
TTP
dans les rapports CTI

MITRE ATT&CK Powered
Suit

The
ThreatReport
ATT&CK Mapper (TRAM)

Attack Flow v2.1.0

Attack Flow est un
langage permettant dedécrire comment les
cyber-adversaires
combinentetséquencent
diversestechniques offensives
pour atteindre leurs
objectifs.

Pourquoi est-ce recommandé ? &Où l’utiliser ?
Utilisez-le pour cartographierles vulnérabilités ML connues
et cartographier les vériﬁcationset les contrôles pour les projets
proposés ou les systèmesexistants.

Ajoutez-le à votre navigateur
pour rechercher rapidement destactiques, des techniques et bienplus encore sans perturber votre
ﬂux de travail.
Le mappage des TTP trouvés
dans les rapports CTI vers
MITRE ATT&CK est difﬁcile, sujet
aux erreurs et prend du temps.
TRAM utilise des LLM pourautomatiser ce processus pour les
50 techniques les plus courantes.
Prend en charge les ordinateurs
portables Juypter.
Attack Flow aide à visualisercomment un attaquant utilise une
technique, aﬁn que les défenseurset les dirigeants comprennent
comment les adversaires opèrent
et améliorent leur propre posturedéfensive.

Ressources MITRE
MITRE Caldera

DescriptionUne
plate-forme(framework)decybersécurité conçue
pourautomatiser
facilement l’émulation
des adversaires, faciliter
le travail manuel deséquipes Red Team etautomatiser la réponse
aux incidents.
CALDERAplugin: Un plugin développé pourArsenall’émulation adverse dessystèmes compatibles
avec l’IA.
Atomic Red Team
Bibliothèquedetests mappés sur leframework
MITRE
ATT&CK.

MITRE CTI Blueprints

Pourquoi est-ce recommandé ? &Où l’utiliser ?
Les plugins sont disponibles pourCaldera et aident à étendre lescapacités de base du framework
et fournissent des fonctionnalités
supplémentaires,notamment
des agents, des rapports, descollections de TTP et autres.

Ce plugin fournit des TTP
déﬁnis dans MITRE ATLAS
pour s’interfacer avec CALDERA.

Utiliser pour valider et tester lescontrôles dans un environnement.
Les équipes de sécurité peuvent
utiliser Atomic Red Team pourtester leurs environnements
de manière rapide, portable etreproductible.
Vous pouvez
exécuter des tests atomiques
directement depuis la ligne decommande; aucune installationn’est requise.
Automatise les rapports CTI Blueprints aide les analystes
de cybermenace.
de Cyber Threat Intelligence (CTI)à créer des rapports exploitables
de haute qualité de manière plus
cohérente et efﬁcace.
Table 4.2: Ressources MITRE

Référentiels de vulnérabilités IA
Nom
Base de données des incidents IA

Description
Un référentiel d’articles sur les différents moments oùl’IA a échoué dans des applications du monde réel et
est maintenu par un groupe de recherche universitaireet provenant de tout public.
Le Moniteur des incidents d’IA de l’OCDE offre un point de départ accessible pour comprendre(AIM)le paysage des déﬁs liés à l’IA.
Trois des principales entreprises qui suivent les vulnérabilités des modèles d’IA
Huntr Bug Bounty : ProtectAI
Plateforme de bug bounty pour l’IA/ML
AI Vulnerability Database (AVID) : GarakBase de données des vulnérabilités du modèle
AI Risk Database: Robust Intelligence
Base de données des vulnérabilités du modèle
Table 4.3: Référentiels de vulnérabilités IA

Guide d’approvisionnement en IA
Nom
World Economic Forum: Adopting AI
Responsibly: Guidelines for Procurement of
AI Solutions by the Private Sector: Insight
Report June 2023

Description
Les références standard et les critères d’évaluation
pour l’achat de systèmes artiﬁciels en sont à
leurs débuts. Les lignes directrices en matièred’approvisionnement fournissent aux organisations
une base de considérations pour le processus
d’approvisionnement de bout en bout.
Utilisez ces conseils pour améliorer le processus
d’approvisionnement existant d’une organisationen matière de risques liés aux tiers etd’approvisionnement.
Table 4.4: Guide d’approvisionnement en IA

Team
Merci aux contributeurs de la liste de contrôles de cybersécurité et de gouvernance des applications
LLM du Top 10 OWASP.
Contributeurs à la liste de contrôles
Sandy Dunn
Heather Linn
John Sotiropoulos
Steve Wilson
Fabrizio Cilli
Aubrey King
Bob Simonoff
David Rowe
Rob Vanderveer
Emmanual Guilherme JuniorAndrea Succi
Jason Ross
Talesh Seeparsan
Anthony Glynn
Julie Tao
Table A.1: Équipe de liste de contrôle de sécurité et degouvernance de l’IA OWASP LLM

Ce projet est sous licence selon les termes du Creative Commons Attribution-ShareAlike 4.0
International License