# Lei de Inovação Segura e Protegida para Modelos de Inteligência Artificial de Fronteira

O Safe and Secure Innovation for Frontier Artificial Intelligence Models Act, ou SB 1047, é um projeto de lei da Califórnia de 2024 destinado a "mitigar o risco de danos catastróficos de modelos de IA tão avançados que ainda não são conhecidos". Especificamente, o projeto de lei se aplicaria a modelos que custam mais de US$ 100 milhões para serem treinados e foram treinados usando uma quantidade de poder computacional superior a 10$^{26}$ operações inteiras ou de ponto flutuante. O SB 1047 se aplicaria a todas as empresas de IA que fazem negócios na Califórnia—não importa a localização da empresa. O projeto de lei cria proteções para denunciantes e exige que os desenvolvedores realizem avaliações de risco de seus modelos antes do lançamento, sob a supervisão da Agência de Operações Governamentais da Califórnia. Ele também estabeleceria o CalCompute, um cluster público de computação em nuvem da Universidade da Califórnia para startups, pesquisadores e grupos comunitários.

## Contexto

O rápido aumento nas capacidades dos sistemas de IA na década de 2020, incluindo o lançamento do ChatGPT em novembro de 2022, levou alguns pesquisadores e membros do público a expressarem preocupação com os riscos existenciais associados a sistemas de IA cada vez mais poderosos. A plausibilidade dessa ameaça é amplamente debatida. A regulamentação da IA também é às vezes defendida para evitar viés e violações de privacidade. No entanto, foi criticada por possivelmente levar à captura regulatória por grandes empresas de IA como a OpenAI, em que a regulamentação avança os interesses de empresas maiores em detrimento da concorrência menor e do público em geral.
Em maio de 2023, centenas de executivos de tecnologia e pesquisadores de IA assinaram uma declaração sobre o risco de extinção da IA, que dizia "Mitigar o risco de extinção pela IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear." Ela recebeu assinaturas dos dois pesquisadores de IA mais citados, Geoffrey Hinton e Yoshua Bengio, junto com figuras da indústria como o CEO da OpenAI Sam Altman, o CEO da Google DeepMind Demis Hassabis e o CEO da Anthropic Dario Amodei. Muitos outros especialistas achavam que as preocupações existenciais eram exageradas e irreais, além de uma distração dos danos imediatos da IA, como a tomada de decisões automatizada discriminatória. Famosamente, Sam Altman pediu fortemente regulamentação da IA ao Congresso na mesma época. Várias empresas de tecnologia fizeram compromissos voluntários para realizar testes de segurança, por exemplo, no AI Safety Summit e no AI Seoul Summit.
O Governador Newsom da Califórnia e o Presidente Biden emitiram ordens executivas sobre inteligência artificial em 2023. O Senador Estadual Wiener disse que o SB 1047 se baseia fortemente na ordem executiva de Biden, e é motivado pela ausência de uma legislação federal unificada sobre segurança de IA. A Califórnia já legislou anteriormente sobre questões tecnológicas, incluindo privacidade do consumidor e a neutralidade de rede, na ausência de ação pelo Congresso.

## História

O projeto de lei foi originalmente redigido por Dan Hendrycks, cofundador do Center for AI Safety, que anteriormente argumentou que as pressões evolutivas sobre a IA poderiam levar a "um caminho em direção a sermos substituídos como a espécie dominante na Terra." O centro emitiu uma declaração em maio de 2023 co-assinada por Elon Musk e centenas de outros líderes empresariais afirmando que "Mitigar o risco de extinção pela IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear."
O Senador Estadual Wiener propôs pela primeira vez uma legislação de IA para a Califórnia por meio de um projeto de intenção chamado SB 294, a Lei de Segurança em Inteligência Artificial, em setembro de 2023. O SB 1047 foi introduzido por Wiener em 7 de fevereiro de 2024.
Em 21 de maio, o SB 1047 foi aprovado no Senado por 32-1. O projeto de lei foi significativamente emendado por Wiener em 15 de agosto de 2024 em resposta ao aconselhamento da indústria. As emendas incluíram a adição de esclarecimentos e a remoção da criação de uma "Divisão de Modelos de Fronteira" e da penalidade de perjúrio.
Em 28 de agosto, o projeto foi aprovado na Assembleia Estadual por 48-16. Em seguida, devido às emendas, o projeto foi novamente votado pelo Senado, sendo aprovado por 30-9.
Em 29 de setembro, o Governador Gavin Newsom vetou o projeto de lei. É considerado improvável que a legislatura derrube o veto do governador com um voto de dois terços de ambas as casas.

## Provisões

Antes do treinamento do modelo, os desenvolvedores dos modelos cobertos e seus derivados são obrigados a apresentar uma certificação, sujeita a auditoria, de mitigação de risco "razoável" de "danos críticos" do modelo coberto e seus derivados, incluindo modificações pós-treinamento. Salvaguardas para reduzir o risco incluem a capacidade de desligar o modelo, que foi descrita de várias maneiras como um "botão de desligar" e um "disjuntor". As disposições de denúncia protegem os funcionários que relatam problemas de segurança e incidentes.
O SB 1047 também criaria um cluster público de computação em nuvem chamado CalCompute, associado à Universidade da Califórnia, para apoiar startups, pesquisadores e grupos comunitários que carecem de grandes recursos de computação.

### Modelos cobertos

O SB 1047 cobre modelos de IA com treinamento computacional superior a 10$^{26}$ operações inteiras ou de ponto flutuante e um custo superior a US$ 100 milhões. Se um modelo coberto for ajustado usando mais de US$ 10 milhões, o modelo resultante também é coberto.

### Danos críticos

Danos críticos são definidos em relação a quatro categorias:
* Criação ou uso de uma arma química, agente biológico, guerra radiológica ou arma nuclear
* Ciberataques à infraestrutura crítica causando baixas em massa ou pelo menos US$ 500 milhões de danos
* Crimes autônomos causando baixas em massa ou pelo menos US$ 500 milhões de danos
* Outros danos de gravidade comparável

### Conformidade e supervisão

O SB 1047 exigiria que os desenvolvedores, a partir de 1º de janeiro de 2026, contratassem anualmente um auditor terceirizado para realizar uma auditoria independente de conformidade com os requisitos do projeto de lei, conforme estabelecido. A Agência de Operações Governamentais da Califórnia revisaria os resultados dos testes de segurança e incidentes, e emitiria orientações, padrões e melhores práticas. O projeto de lei cria um Conselho de Modelos de Fronteira para supervisionar a aplicação do projeto pela Agência de Operações Governamentais. Ele é composto por 9 membros.

## Recepção
### Debate

Os defensores do projeto descrevem suas disposições como simples e focadas de maneira restrita, com o Sen. Scott Weiner descrevendo-o como um "projeto de lei básico e de toque leve sobre segurança". Isso foi contestado pelos críticos do projeto, que descrevem a linguagem do projeto como vaga e o criticam por consolidar poder nas maiores empresas de IA em detrimento das menores. Os defensores responderam que o projeto se aplica apenas a modelos treinados com mais de 10$^{26}$ FLOPS e com mais de US$ 100 milhões, ou ajustados com mais de US$ 10 milhões, e que o limite poderia ser aumentado, se necessário.
A penalidade por perjúrio foi tema de debate e acabou sendo removida por meio de uma emenda. O escopo do requisito de "botão de desligar" também foi reduzido, após preocupações de desenvolvedores de código aberto. Houve também controvérsia sobre o uso do termo "garantia razoável", que foi substituído após a emenda por "cuidado razoável". Críticos argumentaram que o padrão de "cuidado razoável" impõe um fardo excessivo ao exigir confiança de que os modelos não poderiam ser usados para causar danos catastróficos, enquanto os defensores argumentaram que o padrão de "cuidado razoável" não implica certeza e é um padrão legal bem estabelecido que já se aplica aos desenvolvedores de IA sob a legislação existente.

### Apoio e oposição

Os apoiadores do projeto incluem os ganhadores do Prêmio Turing Yoshua Bengio e Geoffrey Hinton, Elon Musk, Bill de Blasio, Kevin Esvelt, Dan Hendrycks, Vitalik Buterin, os denunciantes da OpenAI Daniel Kokotajlo e William Saunders, Lawrence Lessig, Sneha Revanur, Stuart Russell, Jan Leike, atores Mark Ruffalo, Sean Astin e Rosie Perez, Scott Aaronson, e Max Tegmark. O Center for AI Safety, o Projeto de Segurança Econômica da Califórnia e a Encode Justice são patrocinadores. Yoshua Bengio escreve que o projeto é um grande passo em direção a medidas de teste e segurança para "sistemas de IA além de um certo nível de capacidade [que] podem representar riscos significativos para as democracias e a segurança pública." Max Tegmark comparou o foco do projeto em responsabilizar as empresas pelos danos causados por seus modelos à exigência do FDA de testes clínicos antes de uma empresa poder lançar um medicamento no mercado. Ele também argumentou que a oposição ao projeto por algumas empresas é "tirada diretamente do manual do Big Tech." O conselho editorial do Los Angeles Times também escreveu em apoio ao projeto. O sindicato SAG-AFTRA e dois grupos de mulheres, a Organização Nacional para Mulheres e o Fund Her, enviaram cartas de apoio ao Governador Newsom. Mais de 120 celebridades de Hollywood, incluindo Mark Hamill, Jane Fonda e J. J. Abrams, assinaram uma declaração em apoio ao projeto.
Andrew Ng, Fei-Fei Li, Ion Stoica, Jeremy Howard, o ganhador do Prêmio Turing Yann LeCun, junto com os congressistas dos EUA Nancy Pelosi, Zoe Lofgren, Anna Eshoo, Ro Khanna, Scott Peters, Tony Cárdenas, Ami Bera, Nanette Barragán e Lou Correa se manifestaram contra a legislação. Andrew Ng argumenta especificamente que existem abordagens regulatórias mais direcionadas e eficazes, como direcionar a pornografia deepfake, marcar materiais gerados e investir em red teaming e outras medidas de segurança. Pesquisadores da Universidade da Califórnia e do Caltech também escreveram cartas abertas contra o projeto.

### Indústria

O projeto de lei é contestado por associações comerciais da indústria, incluindo a California Chamber of Commerce, a Chamber of Progress, a Computer & Communications Industry Association e a TechNet. Empresas como a Meta e a OpenAI são contra ou levantaram preocupações sobre o projeto, enquanto Google, Microsoft e Anthropic propuseram emendas substanciais. Vários fundadores de startups e organizações de capital de risco são contra o projeto, por exemplo, Y Combinator, Andreessen Horowitz, Context Fund e Alliance for the Future.
Após o projeto ser emendado, o CEO da Anthropic Dario Amodei escreveu que "o novo SB 1047 está substancialmente melhorado, a ponto de acreditarmos que seus benefícios provavelmente superam seus custos. No entanto, não temos certeza disso, e ainda há alguns aspectos do projeto que nos parecem preocupantes ou ambíguos." Amodei também comentou: "Havia algumas empresas falando sobre mudar suas operações para fora da Califórnia. Na verdade, o projeto se aplica a fazer negócios na Califórnia ou implantar modelos na Califórnia... Qualquer coisa sobre 'Ah, estamos mudando nossa sede para fora da Califórnia...' Isso é apenas teatro. Isso é apenas uma alavanca de negociação. Não tem relação com o conteúdo real do projeto." O CEO da xAI Elon Musk escreveu: "Acho que a Califórnia provavelmente deveria aprovar o projeto de lei de segurança de IA SB 1047. Por mais de 20 anos, tenho sido um defensor da regulamentação de IA, assim como regulamentamos qualquer produto/tecnologia que seja um risco potencial para o público."
Em 9 de setembro de 2024, pelo menos 113 funcionários atuais e ex-funcionários de empresas de IA, como OpenAI, Google DeepMind, Anthropic, Meta e xAI, assinaram uma carta ao Governador Newsom em apoio ao SB 1047.

### Desenvolvedores de código aberto

Críticos expressaram preocupações sobre a responsabilidade sobre software de código aberto imposta pelo projeto, se usarem ou melhorarem modelos existentes disponíveis gratuitamente. Yann LeCun, o Chief AI Officer da Meta, sugeriu que o projeto mataria modelos de IA de código aberto. Atualmente (em julho de 2024), existem preocupações na comunidade de código aberto de que, devido à ameaça de responsabilidade legal, empresas como a Meta podem optar por não disponibilizar modelos (por exemplo, Llama) gratuitamente. A AI Alliance escreveu em oposição ao projeto, entre outras organizações de código aberto. Em contraste, o cofundador do Creative Commons Lawrence Lessig escreveu que o SB 1047 tornaria os modelos de IA de código aberto mais seguros e mais populares entre os desenvolvedores, já que tanto o dano quanto a responsabilidade por esse dano seriam menos prováveis.

### Pesquisas de opinião pública

O Artificial Intelligence Policy Institute, um think tank de IA pró-regulação, realizou três pesquisas com entrevistados da Califór
nia sobre se apoiavam ou se opunham ao SB 1047.
| | Apoio | Oposição | Não tenho certeza | Margem de erro |
| 9 de julho de 2024 | 59% | 20% | 22% | ±5,2% |
| 4–5 de agosto de 2024 | 65% | 25% | 10% | ±4,9% |
| 25–26 de agosto de 2024 | 70% | 13% | 17% | ±4,2% |
Uma pesquisa YouGov encomendada pelo Economic Security Project descobriu que 78% dos eleitores registrados nos Estados Unidos apoiavam o SB 1047 e 80% achavam que o Governador Newsom deveria assinar o projeto.
Uma pesquisa do David Binder Research encomendada pelo Center for AI Safety, um grupo focado na mitigação de risco em escala social e patrocinador do projeto, descobriu que 77% dos californianos apoiam uma proposta para exigir que empresas testem modelos de IA quanto a riscos de segurança, e 86% consideram importante que a Califórnia desenvolva regulamentações de segurança de IA.

### Veto do Governador ao SB 1047

O governador Gavin Newsom vetou o SB 1047 em 29 de setembro de 2024, citando preocupações sobre o quadro regulatório do projeto, que visa apenas modelos de IA de grande escala com base em seu tamanho computacional, sem levar em consideração se os modelos são implantados em ambientes de alto risco. Newsom enfatizou que essa abordagem poderia criar uma falsa sensação de segurança, negligenciando modelos menores que poderiam apresentar riscos igualmente significativos. Ele reconheceu a necessidade de protocolos de segurança de IA mas destacou a importância da adaptabilidade na regulamentação à medida que a tecnologia de IA continua a evoluir rapidamente.
O governador Newsom também se comprometeu a trabalhar com especialistas em tecnologia, parceiros federais e instituições acadêmicas, incluindo o Instituto de IA Centrada no Humano (HAI) da Universidade de Stanford, liderado pela Dra. Fei-Fei Li. Ele anunciou planos de colaborar com essas entidades para avançar no desenvolvimento responsável da IA, com o objetivo de proteger o público enquanto promove a inovação.