# Segurança da inteligência artificial

A segurança da inteligência artificial (do termo em inglês AI Safety) é um campo interdisciplinar que se preocupa com a prevenção de acidentes, uso indevido ou outras consequências prejudiciais que possam resultar de sistemas de inteligência artificial (IA). Ela engloba a ética de máquinas e o alinhamento da IA ("AI alignment"), que visam tornar os sistemas de IA morais e benéficos. Também engloba questões técnicas, incluindo o monitoramento dos sistemas quanto a riscos e a sua alta confiabilidade. Além da pesquisa em inteligência artificial, ela envolve o desenvolvimento de normas e políticas que promovam a segurança.

## Motivações

Os pesquisadores de IA divergem quanto à gravidade e as principais fontes de risco provenientes da tecnologia de IA, embora as pesquisas indiquem que os especialistas levam a sério os riscos de alta consequência. Em duas pesquisas, os entrevistados estavam otimistas em relação à inteligência artificial em geral, mas estimaram uma probabilidade de 5% de um resultado "extremamente ruim da inteligência artificial avançada" (por exemplo, extinção humana). Em uma pesquisa de 2022 da comunidade de Processamento de Linguagem Natural (NLP em inglês), 37% concordaram ou concordaram levemente que é plausível que as decisões de IA possam levar a uma catástrofe "pelo menos tão ruim quanto uma guerra nuclear total".
Os estudiosos discutem os riscos atuais de falhas em sistemas críticos, parcialidade ("bias"), vigilância habilitada por IA ("AI-enabled surveillance"); riscos emergentes do desemprego tecnológico, manipulação digital, armamento e riscos especulativos de perda de controle de futuros agentes da inteligência artificial geral (AGI em inglês).
Alguns criticam as preocupações com a AGI, como o professor adjunto da Universidade de Stanford, Andrew Ng, que as comparou à "preocupação com a superpopulação em Marte quando ainda nem pisamos no planeta". Outros, como o professor da Universidade da Califórnia em Berkeley, Stuart J. Russell, pedem cautela, argumentando que "é melhor antecipar a engenhosidade humana do que subestimá-la".

## Precedentes

Os riscos da inteligência artificial começaram a ser seriamente discutidos no início da era da informática:
   "Além disso, se avançarmos no sentido de criar máquinas que aprendam e cujo comportamento seja modificado pela experiência, teremos de encarar o fato de que cada grau de independência que concedemos à máquina é um grau de possível desafio aos nossos desejos." -Norbert Wiener (1949)
De 2008 a 2009, a Associação para o Avanço da Inteligência Artificial (AAAI em inglês) encomendou um estudo para explorar e abordar as possíveis influências sociais de longo prazo da pesquisa e do desenvolvimento da IA. Em geral, o painel foi cético em relação às visões radicais expressas pelos autores de ficção científica, mas concordou que "pesquisas adicionais sobre métodos para compreender e verificar a variedade de comportamentos de sistemas computacionais complexos para minimizar resultados inesperados seriam valiosas".
Em 2011, Roman Yampolskiy introduziu o termo "engenharia de segurança de IA" ("AI safety engineering") na Conferência de Filosofia e Teoria da Inteligência Artificial ("Philosophy and Theory of Artificial Intelligence Conference"), listando falhas anteriores de sistemas de IA e argumentando que "a frequência e a gravidade de tais eventos aumentarão constantemente à medida que as inteligências artificiais se tornam mais poderosas".
Em 2014, o filósofo Nick Bostrom publicou o livro Superintelligence: Paths, Dangers, Strategies ("Superinteligência: Caminhos, Perigos, Estratégias"). Seu argumento de que futuros sistemas avançados podem representar uma ameaça à existência humana levou Elon Musk, Bill Gates, e Stephen Hawking a expressarem preocupações semelhantes.
Em 2015, dezenas de especialistas em inteligência artificial assinaram uma Carta Aberta Sobre Inteligência Artificial ("Open letter on artificial intelligence") pedindo pesquisas sobre os impactos sociais da IA e delineando diretrizes concretas. A carta já foi assinada por mais de 8.000 pessoas, incluindo Yann LeCun, Shane Legg, Yoshua Bengio e Stuart J. Russell.
No mesmo ano, um grupo de acadêmicos liderado pelo professor Russell fundou o Centro de Inteligência Artificial Compatível com Humanos ("Center for Human-Compatible AI") na UC Berkeley e o Instituto Future of Life concedeu US$ 6,5 milhões em subsídios para pesquisas destinadas a "garantir que a inteligência artificial permaneça segura, ética e benéfica".
Em 2016, o Escritório de Políticas de Ciência e Tecnologia da Casa Branca ("White House Office of Science and Technology Policy") e a Universidade Carnegie Mellon anunciaram o Workshop Público sobre Segurança e Controle para Inteligência Artificial, que foi um de uma sequência de quatro workshops da Casa Branca com o objetivo de investigar "as vantagens e desvantagens" da IA. No mesmo ano, foi publicado o Problemas Concretos na Segurança da IA ("Concrete Problems in AI Safety"), uma das primeiras e mais influentes agendas técnicas de segurança da IA.
Em 2017, o Instituto Future of Life patrocinou a Conferência Asilomar sobre IA benéfica ("Asilomar Conference on Beneficial AI"), na qual mais de 100 líderes formularam princípios para a inteligência artificial benéfica, incluindo "Evitar corridas: as equipes que desenvolvem sistemas de IA devem cooperar ativamente para evitar cortes nos padrões de segurança."
Em 2018, a equipe de segurança da DeepMind delineou problemas de segurança de IA em especificação, robustez e segurança. No ano seguinte, os pesquisadores organizaram um workshop na Conferência Internacional sobre Representações de Aprendizagem (ICLR em inglês) que se concentrou nessas áreas problemáticas.

## Focos de pesquisa

As áreas de pesquisa de segurança da IA incluem robustez ("robustness"), monitoramento ("monitoring") e alinhamento ("alignment"). A robustez se preocupa em tornar os sistemas altamente confiáveis, o monitoramento trata da antecipação de falhas ou da detecção de uso indevido, e o alinhamento se concentra em garantir que ela tenha objetivos benéficos.

### Robustez

A pesquisa de robustez se concentra em garantir que os sistemas de IA se comportem como pretendido em uma ampla gama de situações diferentes, o que inclui os seguintes subproblemas:
* Robustez do cisne preto ("black swan"): criação de sistemas que se comportam como pretendido em situações raras.
* Robustez adversária ("adversarial machine learning"): projetar sistemas para serem resilientes a entradas que são intencionalmente selecionadas para fazê-los falhar.

#### Robustez do cisne preto ("black swan robustness")

Entradas ("inputs") raras podem fazer com que os sistemas de inteligência artificial falhem de forma catastrófica. Por exemplo, no Flash Crash de 2010, os sistemas de negociação automatizados reagiram inesperadamente de forma exagerada às flutuações do mercado, destruindo um trilhão de dólares do valor das ações em minutos. Não é necessário que ocorra nenhuma mudança na distribuição ("distribution shift"; quando conjuntos de treinamento e teste não são provenientes da mesma distribuição) para que isso aconteça. Falhas do tipo cisne preto podem ocorrer como consequência de os dados de entrada serem de cauda longa, o que geralmente acontece em ambientes do mundo real. Os veículos autônomos continuam a ter dificuldades com "casos extremos" que podem não ter surgido durante o treinamento; por exemplo, um veículo pode ignorar um sinal de parada que está iluminado como uma grade de LED. Embora problemas como esses possam ser resolvidos à medida que os sistemas de aprendizado de máquina ("machine learning") desenvolvem uma melhor compreensão do mundo, alguns pesquisadores apontam que até mesmo os seres humanos muitas vezes não conseguem responder adequadamente a eventos sem precedentes, como a pandemia da COVID-19, argumentando que a robustez do cisne preto será um problema de segurança persistente.

#### Robustez adversária ("adversarial robustness")

Os sistemas de IA geralmente são vulneráveis a exemplos adversários ou "entradas para modelos de aprendizado de máquina que um invasor tenha intencionalmente projetado para fazer com que o modelo cometa um erro". Por exemplo, em 2013, Szegedy et al. descobriram que adicionar perturbações imperceptíveis específicas a uma imagem poderia fazer com que ela fosse classificada incorretamente com alta confiança. Isso continua a ser um problema com as redes neurais ("ANNs" em inglês), embora em trabalhos recentes as perturbações geralmente sejam grandes o suficiente para serem perceptíveis.
Todas as imagens ao lado são previstas como sendo de um avestruz após a aplicação da perturbação. A da esquerda é uma amostra prevista corretamente, a do centro possui perturbação aplicada ampliada em 10x, e a da direita um exemplo contraditório.
A robustez adversária é frequentemente associada à segurança. Pesquisadores demonstraram que um sinal de áudio pode ser imperceptivelmente modificado para que os sistemas de fala para texto o transcrevam para qualquer mensagem que o invasor escolher. Os sistemas de detecção de intrusão de rede e de malware também precisam ser robustos em termos de adversariedade, pois os invasores podem projetar seus ataques para enganar os detectores.
Os modelos que representam objetivos (aprendizado por reforço) também devem ser robustos nesse sentido. Por exemplo, um modelo de aprendizado por reforço pode estimar o quanto uma resposta de texto é útil e se um modelo de linguagem pode ser treinado para maximizar essa pontuação. Pesquisadores demonstraram que, se um modelo de linguagem for treinado por tempo suficiente, ele aproveitará as vulnerabilidades do modelo de aprendizado para obter uma pontuação melhor e ter um desempenho pior na tarefa pretendida. Esse problema pode ser resolvido melhorando a robustez adversária do modelo. De modo mais geral, qualquer sistema de IA usado para avaliar outro sistema de IA deve possuir robustez adversária. Isso deve incluir ferramentas de monitoramento, uma vez que elas também podem ser adulteradas para produzir uma recompensa maior.

### Monitoramento

O monitoramento se concentra em antecipar as falhas do sistema de IA para que elas possam ser evitadas ou gerenciadas. Os subproblemas do monitoramento incluem sinalizar quando os sistemas são incertos, detectar o uso mal-intencionado, compreender o funcionamento interno dos sistemas de inteligência artificial de caixa preta ("black-box") e identificar a funcionalidade oculta plantada por um agente mal-intencionado.

#### Estimativa de incerteza

É importante que os operadores humanos avaliem o quanto devem confiar em um sistema de IA, principalmente em cenários de alto risco, como o diagnóstico médico. Os modelos de machine learning (ML em inglês) geralmente expressam confiança por meio da emissão de probabilidades; no entanto, eles costumam apresentar excesso de confiança, principalmente em situações diferentes daquelas para as quais foram treinados. A pesquisa de calibração tem como objetivo fazer com que as probabilidades do modelo se aproximem o máximo possível da verdadeira proporção, na qual o modelo está correto.
Da mesma forma, a detecção de anomalias ou a detecção fora da distribuição (OOD em inglês) visa identificar quando um sistema de inteligência artificial está em uma situação incomum. Por exemplo, se um sensor em um veículo autônomo estiver com defeito ou se ele encontrar um terreno desafiador, ele deve alertar o motorista para que assuma o controle ou encoste. A detecção de anomalias foi implementada treinando um classificador para distinguir entradas anômalas e não anômalas, embora várias outras técnicas estejam em uso.

#### Detecção de uso malicioso

Estudiosos e agências governamentais expressam preocupações de que os sistemas de IA possam ser usados para ajudar agentes mal-intencionados a construir armas, manipular a opinião pública ou automatizar ataques cibernéticos. Essas preocupações são algo prático para empresas como a OpenAI, que hospedam poderosas ferramentas de inteligência artificial on-line. Para evitar o uso indevido, a OpenAI criou sistemas de detecção que sinalizam ou restringem os usuários com base em suas atividades.

#### Transparência

As redes neurais têm sido frequentemente descritas como caixas pretas, o que significa que é difícil entender por que elas tomam as decisões que tomam, como resultado do grande número de cálculos que realizam. Isso torna difícil prever falhas. Em 2018, um carro autônomo matou um pedestre depois de não conseguir identificá-lo. Devido à natureza de caixa preta do software de IA, o motivo da falha ainda não está claro.
Um dos benefícios da transparência é a explicabilidade. Por vezes é um requisito legal fornecer uma explicação sobre o motivo pelo qual uma decisão foi tomada para garantir a justiça, por exemplo, para filtrar automaticamente os pedidos de emprego ou a pontuação de crédito.
Outro benefício é revelar a causa das falhas. No início da pandemia de COVID-19 em 2020, os pesquisadores usaram ferramentas de transparência para mostrar que os classificadores de imagens médicas estavam "prestando atenção" a rótulos irrelevantes de hospitais.
As técnicas de transparência também podem ser usadas para corrigir erros. Por exemplo, no artigo Locating and Editing Factual Associations in GPT ("Localizando e Editando as Associações Factuais no GPT"), os autores conseguiram identificar os parâmetros do modelo que influenciavam a forma como ele respondia às perguntas sobre a localização da Torre Eiffel. Em seguida, eles conseguiram "editar" esse conhecimento para fazer com que o modelo respondesse às perguntas como se a torre estivesse em Roma e não em Paris. Embora nesse caso os autores tenham induzido um erro, esses métodos poderiam ser usados para corrigi-los com eficiência. Também existem técnicas de edição de modelos na visão computacional.
Por fim, alguns argumentam que a opacidade dos sistemas de IA é uma fonte significativa de risco e que uma melhor compreensão de como eles funcionam poderia evitar falhas de alta consequência no futuro. A pesquisa de interpretabilidade "interna" visa tornar os modelos de machine learning menos opacos. Um dos objetivos dessa pesquisa é identificar o que as ativações dos neurônios internos representam. Por exemplo, os pesquisadores identificaram um neurônio no CLIP que responde a imagens de pessoas em trajes do homem-aranha, esboços do homem-aranha e a palavra "aranha". Ele também envolve a explicação das conexões entre esses neurônios ou "circuitos". Os pesquisadores identificaram mecanismos de correspondência de padrões na atenção transformadora ("transformer attention mechanism") que podem desempenhar um papel na forma como os modelos de linguagem aprendem com seu contexto. A "interpretabilidade interna" foi comparada à neurociência. Em ambos os casos, o objetivo é entender o que está acontecendo em um sistema complexo, embora os pesquisadores de ML tenham a vantagem de poder fazer medições perfeitas e realizar ablações arbitrárias.

#### Detecção de cavalos de troia

Os modelos de machine learning podem conter "cavalos de troia" ou "backdoors": vulnerabilidades que os agentes mal-intencionados criam maliciosamente em um sistema de IA. Por exemplo, um sistema de reconhecimento facial com cavalo de troia poderia conceder acesso quando uma peça específica de joalheria estiver à vista; ou um veículo autônomo com o vírus pode funcionar normalmente até que um gatilho específico esteja visível. É importante ressaltar que um invasor deve ter acesso aos dados de treinamento do sistema para plantar um cavalo de troia. Isso pode não ser difícil de fazer com alguns modelos grandes, como o CLIP ou o GPT-3, pois eles são treinados com dados da internet disponíveis publicamente. Os pesquisadores conseguiram instalar um cavalo de troia em um classificador de imagens alterando apenas 3 de 3 milhões de imagens de treinamento. Além de representar um risco à segurança, os pesquisadores argumentam que esses vírus fornecem um cenário concreto para testar e desenvolver melhores ferramentas de monitoramento.

### Alinhamento

No campo da inteligência artificial, a pesquisa de alinhamento tem como objetivo direcionar os sistemas de IA para as metas, preferências ou princípios éticos pretendidos pelos seres humanos. Um sistema de inteligência artificial é considerado alinhado se ele alcança os objetivos pretendidos. Um sistema de IA desalinhado é competente em promover alguns objetivos, mas não os pretendidos.
Pode ser um desafio para os desenvolvedores de IA alinhar um sistema de inteligência artificial, porque pode ser difícil especificar toda a gama de comportamentos desejados e indesejados. Para evitar essa dificuldade, eles geralmente usam metas substitutas mais simples, como obter aprovação humana. No entanto, essa abordagem pode criar brechas, ignorar as restrições necessárias ou recompensar o sistema de IA por parecer alinhado.
Sistemas de IA desalinhados podem funcionar mal ou causar danos. Eles podem encontrar brechas que lhes permitam atingir suas metas de proxy de forma eficiente, mas de maneiras não intencionais e, às vezes, prejudiciais ("reward hacking"). Os sistemas de inteligência artificial também podem desenvolver estratégias instrumentais ("instrumental strategies") indesejadas, como a busca de poder ou sobrevivência, porque essas estratégias os ajudam a atingir seus objetivos explícitos. Além disso, eles podem desenvolver objetivos emergentes indesejáveis que podem ser difíceis de detectar antes de o sistema ser implementado, situação na qual este enfrenta novas situações e distribuições de dados ("domain adaptation").
Atualmente, esses problemas afetam os sistemas comerciais, como modelos de linguagem, robôs, veículos autônomos e mecanismos de recomendação de mídia social. Alguns pesquisadores de IA argumentam que os sistemas futuros mais capazes serão afetados de forma mais grave, pois esses problemas resultam parcialmente do fato de os sistemas serem altamente capazes.
Cientistas da computação relevantes, como Geoffrey Hinton e Stuart Russell, argumentam que a inteligência artificial está se aproximando de capacidades sobre-humanas e pode colocar em risco a civilização humana se estiver desalinhada.
A comunidade de pesquisa de inteligência artificial e as Nações Unidas pediram soluções de pesquisa técnica e políticas para garantir que os sistemas de IA estejam alinhados com os valores humanos.
O alinhamento da IA é, portanto, um subcampo da segurança da inteligência artificial. Outros subcampos da segurança da IA incluem robustez, monitoramento e controle de capacidade ("capability control"). Os desafios de pesquisa em alinhamento incluem incutir valores complexos na inteligência artificial, desenvolver IA honesta, supervisão escalável, auditoria e interpretação de modelos de IA e evitar comportamentos emergentes da inteligência artificial, como a busca de poder. A pesquisa de alinhamento possui conexões com a pesquisa de interpretabilidade, robustez (adversária), detecção de anomalias, incerteza calibrada ("uncertainty quantification"), verificação formal, aprendizagem de preferências ("preference learning"), engenharia de segurança crítica (SCS em inglês), teoria dos jogos, justiça algorítmica, ciências sociais, entre outros.

### Segurança sistêmica e fatores sociotécnicos

É comum que os riscos da inteligência artificial (e os riscos tecnológicos em geral) sejam categorizados como uso indevido ou acidentes. Alguns estudiosos sugerem que essa estrutura é insuficiente. Por exemplo, a Crise dos Mísseis de Cuba não foi um acidente ou um uso indevido de tecnologia. Os analistas de políticas Zwetsloot e Dafoe escreveram: "as perspectivas de uso indevido e acidente tendem a se concentrar apenas na última etapa de uma cadeia causal que leva a um dano: ou seja, a pessoa que usou indevidamente a tecnologia ou o sistema que se comportou de maneira não intencional... Muitas vezes, porém, a cadeia causal relevante é muito mais longa". Os riscos geralmente surgem de fatores "estruturais" ou "sistêmicos", como pressões competitivas, difusão de danos, desenvolvimento acelerado, altos níveis de incerteza e cultura de segurança inadequada. No contexto mais amplo da engenharia de segurança, fatores estruturais como "cultura de segurança organizacional" desempenham um papel central na popular estrutura de análise de risco STAMP (em inglês).
Inspirados pela perspectiva estrutural, alguns pesquisadores enfatizam a importância de usar o ML para melhorar os fatores de segurança sociotécnica, por exemplo, usar o machine learning para defesa cibernética, melhorando a tomada de decisões institucionais e facilitando a cooperação.

#### Defesa cibernética

Alguns estudiosos estão preocupados com o fato de a IA exacerbar o jogo já desequilibrado entre os atacantes e os defensores cibernéticos, o que incentivaria o "primeiro ataque" e poderia levar a ataques mais agressivos e desestabilizadores. Para mitigar esse risco, alguns defendem uma maior ênfase na defesa cibernética. Além disso, a segurança do software é essencial para evitar que modelos poderosos de inteligência artificial sejam roubados e usados indevidamente.

#### Melhorando a tomada de decisões institucionais

O avanço da IA nos domínios econômico e militar pode precipitar desafios políticos sem precedentes. Alguns estudiosos comparam a dinâmica da corrida da inteligência artificial à da Guerra Fria, na qual o julgamento cuidadoso de um pequeno número de tomadores de decisão muitas vezes fazia a diferença entre a estabilidade e a catástrofe. Os pesquisadores de inteligência artificial argumentam que essas tecnologias também poderiam ser usadas para auxiliar na tomada de decisões. Por exemplo, estão começando a ser desenvolvidos sistemas de previsão e de consultoria de inteligência artificial.

#### Facilitando a cooperação

Muitas das maiores ameaças globais (guerra nuclear, mudança climática, etc.) foram enquadradas como desafios de cooperação. Como no conhecido cenário do dilema do prisioneiro, algumas dinâmicas podem levar a resultados ruins para todos os participantes, mesmo quando eles estão agindo de forma ideal. Por exemplo, nenhum ator isolado tem fortes incentivos para lidar com as mudanças climáticas, embora as consequências possam ser significativas se ninguém intervir.
Um desafio importante da cooperação em IA é evitar uma "corrida para o fundo do poço" ("race to the bottom"). Nesse cenário, países ou empresas correm para construir sistemas de inteligência artificial mais capazes e negligenciam a segurança, levando a um acidente catastrófico que prejudica todos os envolvidos. As preocupações com cenários como esse inspiraram esforços políticos e técnicos para facilitar a cooperação entre humanos e, possivelmente, também entre sistemas de IA. A maioria das pesquisas sobre inteligência artificial concentra-se na criação de agentes individuais para atender a funções isoladas (geralmente em jogos para um jogador). Os especialistas sugerem que, à medida que os sistemas de IA se tornam mais autônomos, pode ser essencial estudar e moldar a maneira como eles interagem.

## Na governança

A governança da inteligência artificial lida com a criação de normas, padrões e regulamentações para orientar o uso e o desenvolvimento de sistemas de IA, o que envolve a formulação e a implementação de recomendações concretas, bem como a realização de pesquisas mais fundamentais para informar quais devem ser essas recomendações. Esta seção se concentra nos aspectos da governança da inteligência artificial que estão especificamente relacionados a garantir que os sistemas de inteligência artificial sejam seguros e benéficos.

### Pesquisa

A pesquisa de governança da segurança da inteligência artificial abrange desde investigações fundamentais sobre os possíveis impactos da IA até aplicações específicas. No aspecto fundamental, os pesquisadores argumentam que a IA poderia transformar muitos aspectos da sociedade devido à sua ampla aplicabilidade, comparando-a à eletricidade e o motor a vapor. Alguns trabalhos se concentraram em antecipar riscos específicos que podem surgir desses impactos - por exemplo, riscos de desemprego em massa, armamento, desinformação, vigilância e concentração de poder. Outros trabalhos exploram os fatores de risco subjacentes, como a dificuldade de monitorar o setor de inteligência artificial em rápida evolução, a disponibilidade de modelos de IA, e a dinâmica de "corrida para o fundo do poço". Allan Dafoe, chefe de governança e estratégia de longo prazo da DeepMind, enfatizou os perigos da corrida e a possível necessidade de cooperação: "pode ser quase uma condição necessária e suficiente para a segurança e o alinhamento da IA que haja um alto grau de cautela antes da implementação de sistemas avançados e poderosos; no entanto, se os atores estiverem competindo em um domínio com grandes retornos para os pioneiros ou vantagem relativa, eles serão pressionados a escolher um nível de cautela abaixo do ideal".

### Ação governamental

Alguns especialistas argumentam que é muito cedo para regulamentar a IA, expressando preocupações de que as regulamentações dificultem a inovação e que não faria sentido "apressar a regulamentação por ignorância". Outros, como o magnata dos negócios Elon Musk, pedem uma ação preventiva para mitigar riscos catastróficos. Até o momento, pouca regulamentação de segurança da inteligência artificial foi aprovada ao redor do mundo, embora muitos projetos de lei tenham sido apresentados. Um exemplo importante é a Lei de Inteligência Artificial da União Europeia ("AI Act"), que regulamenta determinados aplicativos de IA de "alto risco" e restringe usos potencialmente prejudiciais, como reconhecimento facial, manipulação subliminar e pontuação de crédito social.
Fora da legislação formal, agências governamentais de determinados países apresentaram recomendações éticas e de segurança. Em março de 2021, a Comissão de Segurança Nacional dos EUA sobre Inteligência Artificial ("US National Security Commission on Artificial Intelligence") relatou que os avanços na IA podem tornar cada vez mais importante "garantir que os sistemas estejam alinhados com metas e valores, incluindo segurança, robustez e confiabilidade". Posteriormente, o Instituto Nacional de Padrões e Tecnologia ("National Institute of Standards and Technology") elaborou uma estrutura para gerenciar o risco de IA, que aconselha que, quando "riscos catastróficos estiverem presentes, o desenvolvimento e a implantação devem ser interrompidos de maneira segura até que os riscos possam ser suficientemente gerenciados".
Em setembro de 2021, a República Popular da China publicou diretrizes éticas para o uso de IA no país, enfatizando que as decisões sobre inteligência artificial devem permanecer sob controle humano e exigindo mecanismos de responsabilidade. No mesmo mês, o Reino Unido publicou sua Estratégia Nacional de IA de 10 anos, que afirma que o governo britânico "leva a sério o risco de longo prazo da Inteligência Artificial Geral não alinhada e as mudanças imprevisíveis que isso significaria para o mundo." A estratégia descreve ações para avaliar os riscos de IA de longo prazo, incluindo riscos catastróficos.
As organizações governamentais, principalmente nos Estados Unidos, também incentivaram o desenvolvimento de pesquisas técnicas de segurança de inteligência artificial. A Atividade de Projetos de Pesquisa Avançada de Inteligência ("The Intelligence Advanced Research Projects Activity") iniciou o projeto TrojAI para identificar e proteger contra ataques de cavalos de troia em sistemas de IA. A Agência de Projetos de Pesquisa Avançada de Defesa ("Defense Advanced Research Projects Agency") está envolvida em pesquisas sobre inteligência artificial explicável e melhoria da robustez contra ataques adversários, e a Fundação Nacional de Ciências apoia o Centro para Machine Learning Confiável ("Center for Trustworthy Machine Learning") e está fornecendo milhões em financiamento para pesquisas empíricas de segurança de inteligência artificial.

### Autorregulamentação corporativa

Os laboratórios e as empresas de inteligência artificial geralmente seguem práticas e normas de segurança que não se enquadram na legislação formal. Um dos objetivos dos pesquisadores de governança é moldar essas normas. Exemplos de recomendações de segurança encontradas na literatura incluem a realização de auditorias por terceiros, a oferta de recompensas por falhas encontradas, o compartilhamento de incidentes de IA (um banco de dados de incidentes de IA sendo criado para esse fim), o cumprimento de diretrizes para determinar se a pesquisa ou os modelos devem ser publicados, e a melhoria das informações e da segurança cibernética nos laboratórios de inteligência artificial.
As empresas também assumem compromissos concretos. A Cohere, a OpenAI e a AI21 propuseram e concordaram com as "práticas recomendadas para a implementação de modelos de linguagem", com foco na redução do uso indevido. Para evitar contribuir com a dinâmica de corrida, a OpenAI também declarou em seu estatuto que "se um projeto alinhado a valores e consciente da segurança se aproximar da construção de inteligência artificial geral (AGI) antes de nós, nos comprometemos a parar de competir e começar a ajudar esse projeto." Além disso, líderes do setor, como o CEO da DeepMind Demis Hassabis e o diretor de IA do Facebook Yann LeCun, assinaram cartas abertas, como os Princípios de Asilomar e a Carta Aberta sobre Armas Autônomas.