# SB1047

La Loi sur l'Innovation Sécurisée et Sûre pour les Modèles d'Intelligence Artificielle de Pointe, ou SB 1047, est un projet de loi californien de 2024 visant à « atténuer le risque de dommages catastrophiques provenant de modèles d'IA si avancés qu'ils ne sont pas encore connus pour exister ». Plus précisément, le projet de loi s'appliquerait aux modèles dont le coût d'entraînement dépasse 100 millions de dollars et qui ont été entraînés en utilisant une quantité de puissance de calcul supérieure à 10$^{26}$ opérations entières ou flottantes. SB 1047 s'appliquerait à toutes les entreprises d'IA faisant des affaires en Californie—l'emplacement de l'entreprise n'a pas d'importance. Le projet de loi crée des protections pour les lanceurs d'alerte et exige que les développeurs effectuent des évaluations des risques de leurs modèles avant leur sortie, sous la supervision de l'Agence des Opérations Gouvernementales. Il établirait également CalCompute, un cluster de informatique en nuage public Université de Californie destiné aux startups, chercheurs et groupes communautaires.

## Contexte

La augmentation rapide des capacités des systèmes d'IA dans les années 2020, y compris le lancement de ChatGPT en novembre 2022, a conduit certains chercheurs et membres du public à exprimer des préoccupations concernant les risques existentiels associés aux systèmes d'IA de plus en plus puissants$^,$. La plausibilité de cette menace est largement débattue. La régulation de l'IA est également parfois préconisée pour prévenir les biais et les violations de la vie privée. Cependant, elle a été critiquée comme pouvant potentiellement mener à une capture règlementaire par les grandes entreprises d'IA telles que OpenAI, où la régulation favoriserait les intérêts des grandes entreprises au détriment des plus petites et du public en général.
En mai 2023, des centaines de cadres technologiques et de chercheurs en IA ont signé une déclaration sur le risque d'IA, qui disait "Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale aux côtés d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire." Elle a reçu les signatures des deux chercheurs en IA les plus cités$^,$$^,$, Geoffrey Hinton et Yoshua Bengio, ainsi que des figures de l'industrie telles que le PDG de OpenAI Sam Altman, le PDG de Google DeepMind Demis Hassabis, et le PDG de Anthropic Dario Amodei$^,$. De nombreux autres experts pensaient que les préoccupations existentielles étaient exagérées et irréalistes, ainsi qu'une distraction des dommages à court terme de l'IA, par exemple la prise de décision automatisée discriminatoire. Célèbrement, Sam Altman a fortement demandé une régulation de l'IA au Congrès lors d'une audition le même mois$^,$. Plusieurs entreprises technologiques ont pris des engagements volontaires pour mener des tests de sécurité, par exemple lors du Sommet sur la sécurité de l'IA et du Sommet IA de Séoul$^,$.
Le gouverneur Newsom de Californie et le président Biden ont émis des ordres exécutifs sur l'intelligence artificielle en 2023$^,$$^,$. Le sénateur d'État Wiener a déclaré que le SB 1047 s'inspire fortement de l'ordre exécutif de Biden, et est motivé par l'absence d'une législation fédérale unifiée sur la sécurité de l'IA. La Californie a déjà légiféré sur des questions technologiques, y compris la confidentialité des consommateurs et la neutralité du net, en l'absence d'action du Congrès$^,$.

## Histoire

Le projet de loi a été initialement rédigé par Dan Hendrycks, cofondateur du Centre pour la Sécurité de l'IA, qui a déjà soutenu que les pressions évolutives sur l'IA pourraient conduire à "une voie menant à être supplanté comme l'espèce dominante de la Terre"$^,$. Le centre a publié une déclaration en mai 2023 signée par Elon Musk et des centaines d'autres dirigeants d'entreprise déclarant que "Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale aux côtés d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire."
Le sénateur d'État Wiener a d'abord proposé une législation sur l'IA pour la Californie via un projet de loi d'intention appelé SB 294, la Loi sur la Sécurité dans l'Intelligence Artificielle, en septembre 2023$^,$$^,$. SB 1047 a été introduit par Wiener le 7 février 2024$^,$.
Le 21 mai, SB 1047 a été adopté par le Sénat avec un vote de 32-1$^,$. Le projet de loi a été significativement modifié par Wiener le 15 août 2024 en réponse aux conseils de l'industrie. Les amendements incluaient l'ajout de clarifications et la suppression de la création d'une "Division des Modèles de Pointe" et de la pénalité de parjure$^,$.
Le 28 août, le projet de loi a été adopté par l'Assemblée d'État avec un vote de 48-16. Ensuite, en raison des amendements, le projet de loi a de nouveau été voté par le Sénat, passant 30-9$^,$.
Le 29 septembre, le gouverneur Gavin Newsom a opposé son veto au projet de loi. Il est considéré peu probable que la législature annule le veto du gouverneur avec un vote des deux chambres à deux tiers.

## Dispositions

Avant l'entraînement du modèle, les développeurs des modèles couverts et de leurs dérivés doivent soumettre une certification, sujette à audit, de l'atténuation des risques "raisonnables" de "dommages critiques" du modèle couvert et de ses dérivés, y compris les modifications post-entraînement. Les sauvegardes pour réduire les risques incluent la capacité d'éteindre le modèle, qui a été décrite de diverses manières comme un "interrupteur d'arrêt" et un "circuit breaker". Les dispositions sur les lanceurs d'alerte protègent les employés qui signalent des problèmes de sécurité et des incidents.
SB 1047 créerait également un cluster d'informatique en nuage public appelé CalCompute, associé à l'Université de Californie, pour soutenir les startups, les chercheurs et les groupes communautaires qui manquent de ressources informatiques à grande échelle.

### Modèles couverts

SB 1047 couvre les modèles d'IA avec une puissance de calcul d'entraînement supérieure à 10$^{26}$ opérations entières ou flottantes et un coût de plus de 100 millions de dollars$^,$. Si un modèle couvert est affiné en utilisant plus de 10 millions de dollars, le modèle résultant est également couvert.

### Dommages critiques

Les dommages critiques sont définis en fonction de quatre catégories$^,$:
* Création ou utilisation d'une arme chimique, d'un agent biologique, d'une guerre radiologique, ou d'une arme nucléaire
* Cyberattaques sur des infrastructures critiques causant des victimes de masse ou au moins 500 millions de dollars de dommages
* Crimes autonomes causant des victimes de masse ou au moins 500 millions de dollars de dommages
* Autres dommages de gravité comparable

### Conformité et supervision

SB 1047 exigerait que les développeurs, à partir du 1er janvier 2026, retiennent annuellement un auditeur tiers pour effectuer un audit indépendant de la conformité avec les exigences du projet de loi, comme prévu. L'Agence des Opérations Gouvernementales examinerait les résultats des tests de sécurité et des incidents, et émettrait des directives, des normes et des meilleures pratiques. Le projet de loi crée un Conseil des Modèles de Pointe pour superviser l'application du projet de loi par l'Agence des Opérations Gouvernementales. Il est composé de 9 membres.

## Réception
### Débat

Les partisans du projet de loi décrivent ses dispositions comme simples et étroitement ciblées, le Sénateur Scott Weiner le qualifiant de "projet de loi de sécurité léger et de base". Cela a été contesté par les critiques du projet de loi, qui décrivent le langage du projet de loi comme vague et le critiquent comme consolidant le pouvoir dans les plus grandes entreprises d'IA au détriment des plus petites. Les partisans ont répondu que le projet de loi ne s'applique qu'aux modèles entraînés en utilisant plus de 10$^{26}$ FLOPS et avec plus de 100 millions de dollars, ou affinés avec plus de 10 millions de dollars, et que le seuil pourrait être augmenté si nécessaire.
La pénalité de parjure a été un sujet de débat et a finalement été supprimée par un amendement. La portée de l'exigence de l'"interrupteur d'arrêt" a également été réduite, suite à des préoccupations des développeurs open source. Il y a eu des contentions sur l'utilisation du terme "assurance raisonnable", finalement remplacé après l'amendement par "soin raisonnable". Les critiques ont soutenu que la norme de "soin raisonnable" impose une charge excessive en exigeant la confiance que les modèles ne pourraient pas être utilisés pour causer des dommages catastrophiques, tandis que les partisans ont argumenté que la norme de "soin raisonnable" n'implique pas une certitude et est une norme juridique bien établie qui s'applique déjà aux développeurs d'IA selon la loi existante.

### Soutien et opposition

Les partisans du projet de loi incluent des Lauréats du prix Turing Yoshua Bengio et Geoffrey Hinton, Elon Musk, Bill de Blasio, Kevin Esvelt, Dan Hendrycks, Vitalik Buterin, SAG-AFTRA, ainsi que deux groupes de femmes, la National Organization for Women et Fund Her, ont envoyé des lettres de soutien au gouverneur Newsom. Plus de 120 célébrités hollywoodiennes, dont Mark Hamill, Jane Fonda et J. J. Abrams, ont signé une déclaration en soutien au projet de loi. Andrew Ng, Fei-Fei Li, Ion Stoica, Jeremy Howard, le Lauréat du prix Turing Yann LeCun, ainsi que des membres du Congrès américain Nancy Pelosi, Zoe Lofgren, Anna Eshoo, Ro Khanna, Scott Peters, Tony Cárdenas, Ami Bera, Nanette Barragán et Lou Correa se sont opposés à la législation$^,$$^,$. Andrew Ng soutient spécifiquement qu'il existe de meilleures approches réglementaires plus ciblées, telles que cibler la pornographie deepfake, le filigrane des matériaux générés, et investir dans le red teaming et d'autres mesures de sécurité. Des chercheurs de l'Université de Californie et de Caltech ont également rédigé des lettres ouvertes en opposition.

### Industrie

Le projet de loi est opposé par des associations commerciales de l'industrie incluant la Chambre de commerce de Californie, la Chambre du progrès, la Association de l'industrie des ordinateurs et des communications et TechNet. Des entreprises incluant Meta et OpenAI s'opposent ou ont exprimé des préoccupations concernant le projet de loi, tandis que Google, Microsoft et Anthropic ont proposé des amendements substantiels. Plusieurs fondateurs de startups et organisations de capital-risque s'opposent au projet de loi, par exemple, Y Combinator$^,$, Andreessen Horowitz$^,$$^,$, Context Fund$^,$ et Alliance for the Future.
Après que le projet de loi a été amendé, le PDG d'Anthropic Dario Amodei a écrit que "le nouveau SB 1047 est considérablement amélioré, au point que nous croyons que ses avantages dépassent probablement ses coûts. Cependant, nous n'en sommes pas certains, et il y a encore certains aspects du projet de loi qui semblent préoccupants ou ambigus pour nous." Amodei a également commenté, "Certaines entreprises parlaient de déplacer leurs opérations hors de Californie. En fait, le projet de loi s'applique à faire des affaires en Californie ou à déployer des modèles en Californie... Tout ce qui concerne 'Oh, nous déplaçons notre siège social hors de Californie...' Ce n'est que du théâtre. C'est juste une manœuvre de négociation. Cela n'a aucun rapport avec le contenu réel du projet de loi." Le PDG de xAI Elon Musk a écrit, "Je pense que la Californie devrait probablement adopter le projet de loi SB 1047 sur la sécurité de l'IA. Depuis plus de 20 ans, je suis un défenseur de la régulation de l'IA, tout comme nous régulons tout produit/technologie qui présente un risque potentiel pour le public."
Le 9 septembre 2024, au moins 113 employés actuels et anciens des entreprises d'IA OpenAI, Google DeepMind, Anthropic, Meta et xAI ont signé une lettre au gouverneur Newsom en soutien au SB 1047$^,$.

### Développeurs open source

Les critiques ont exprimé des préoccupations concernant la responsabilité imposée aux logiciels open source par le projet de loi s'ils utilisent ou améliorent des modèles déjà disponibles gratuitement. Yann LeCun, le Chief AI Officer de Meta, a suggéré que le projet de loi tuerait les modèles d'IA open source. Actuellement (en juillet 2024), il y a des inquiétudes dans la communauté open source que, en raison de la menace de responsabilité légale, des entreprises comme Meta pourraient choisir de ne pas rendre les modèles (par exemple, Llama) disponibles gratuitement$^,$. L'Alliance pour l'IA a écrit en opposition au projet de loi, parmi d'autres organisations open source. En revanche, le cofondateur de Creative Commons Lawrence Lessig a écrit que le SB 1047 rendrait les modèles d'IA open source plus sûrs et plus populaires auprès des développeurs, car les dommages et la responsabilité pour ces dommages sont moins probables.

### Sondages d'opinion publique

L'Institut de Politique sur l'Intelligence Artificielle, un groupe de réflexion pro-régulation sur l'IA, a réalisé trois sondages auprès des répondants californiens sur leur soutien ou opposition au SB 1047.
| | Soutien | Opposition | Incertain | Marge d'erreur |
| 9 juillet 2024$^,$ | 59% | 20% | 22% | ±5,2% |
| 4–5 août 2024$^,$ | 65% | 25% | 10% | ±4,9% |
| 25–26 août 2024$^,$ | 70% | 13% | 17% | ±4,2% |
Un sondage YouGov commandité par le Economic Security Project a révélé que 78% des électeurs inscrits à travers les États-Unis soutenaient le SB 1047, et 80% pensaient que le gouverneur Newsom devrait signer le projet de loi.
Un sondage de David Binder Research commandité par le Centre pour la Sécurité de l'IA, un groupe axé sur l'atténuation des risques à l'échelle sociétale et un sponsor du projet de loi, a révélé que 77% des Californiens soutiennent une proposition visant à obliger les entreprises à tester les modèles d'IA pour les risques de sécurité, et 86% considèrent qu'il est une priorité importante pour la Californie de développer des régulations de sécurité de l'IA$^,$$^,$$^,$.

### Veto du SB 1047 par le Gouverneur

Le gouverneur Gavin Newsom a opposé son veto au SB 1047 le 29 septembre 2024, invoquant des préoccupations concernant le cadre réglementaire du projet de loi qui cible uniquement les grands modèles d'IA en fonction de leur taille computationnelle, sans prendre en compte si les modèles sont déployés dans des environnements à haut risque. Newsom a souligné que cette approche pourrait créer un faux sentiment de sécurité, en négligeant les petits modèles qui pourraient présenter des risques tout aussi importants$^,$. Il a reconnu la nécessité de protocoles de sécurité de l'IA mais a insisté sur l'importance de l'adaptabilité dans la régulation alors que la technologie de l'IA continue d'évoluer rapidement$^,$.
Le gouverneur Newsom s'est également engagé à travailler avec des experts technologiques, des partenaires fédéraux et des institutions académiques, y compris l'Institut de l'IA Centrée sur l'Humain de Stanford, dirigé par le Dr. Fei-Fei Li. Il a annoncé des plans de collaboration avec ces entités pour promouvoir un développement responsable de l'IA, visant à protéger le public tout en favorisant l'innovation$^,$.