# Alinhamento da inteligência artificial

No campo da inteligência artificial (IA), a pesquisa de alinhamento da IA (em inglês, AI alignment) visa direcionar os sistemas de IA aos objetivos e interesses pretendidos por seus criadores. Um sistema de IA alinhado favorece o objetivo pretendido; um sistema de IA desalinhado tem competência para favorecer algum objetivo, mas não o pretendido.
Sistemas de IA podem ser difíceis de alinhar e sistemas desalinhados podem funcionar mal ou causar danos. Pode ser difícil para os projetistas de IA especificar toda a gama de comportamentos desejados e indesejados. Então, eles usam objetivos fáceis de especificar para representar esses comportamentos, o que omite algumas das instruções desejadas. Os sistemas de IA, entretanto, exploram as brechas resultantes disso. Assim, eles atingem eficientemente os objetivos propostos, mas de uma forma inesperada e às vezes prejudicial (reward hacking; "hack de recompensas", em tradução livre). Os sistemas de IA também podem desenvolver comportamentos instrumentais [en] indesejados, como a busca de poder, para atingir mais facilmente seus objetivos. Ainda, eles podem desenvolver objetivos emergentes difíceis de detectar antes da implantação do sistema, momento em que enfrentam novas situações e distribuições de dados. Esses problemas afetam sistemas comerciais existentes, como robôs, modelos de linguagem, veículos autônomos e sistemas de recomendação de redes sociais. No entanto, sistemas futuros mais poderosos poderão ser afetados mais severamente, uma vez que esses problemas resultam parcialmente da alta competência.
A comunidade de pesquisa de IA e as Nações Unidas solicitaram pesquisa técnica e soluções políticas para garantir que os sistemas de IA estejam alinhados aos valores humanos.
O alinhamento da IA é um subcampo da segurança da IA, o estudo da construção de sistemas de IA seguros. Outros subcampos da segurança da IA incluem a robustez, o monitoramento e o controle de capacidade [en]. Os desafios da pesquisa na área do alinhamento incluem a inserção de valores complexos na IA, o desenvolvimento de IAs honestas, a supervisão escalável, a avaliação e a interpretação de modelos de IA, bem como a prevenção de comportamentos emergentes da IA, como a busca de poder. A pesquisa de alinhamento tem conexões com a pesquisa de interpretabilidade, a robustez, a detecção de anomalias, a incerteza calibrada, a verificação formal, o aprendizado de preferências, a engenharia de sistemas críticos, a teoria dos jogos, a justiça algorítmica e as ciências sociais, entre outros.

## O problema do alinhamento

Em 1960, o pioneiro da IA Norbert Wiener articulou o problema do alinhamento da IA da seguinte forma: “Se usarmos, para atingir nossos propósitos, uma agência mecânica em cuja operação não podemos interferir efetivamente (…) é melhor garantirmos que o propósito que colocamos na máquina é realmente aquele que desejamos”. Mais recentemente, o alinhamento da IA emergiu como um problema em aberto para sistemas de IA modernos e como um campo de pesquisa dentro da IA.

### O specification gaming e a complexidade dos valores

Para especificar a finalidade de um sistema de IA, seus projetistas normalmente fornecem uma função objetiva, exemplos ou feedback ao sistema. No entanto, os designers de IA frequentemente não conseguem especificar completamente todos os valores e limitações importantes. A partir disso, os sistemas de IA podem encontrar brechas que os ajudem a atingir o objetivo especificado com eficiência, mas de maneira inesperada e possivelmente prejudicial. Essa tendência é conhecida como specification gaming ("jogo com as especificações"), proxy gaming, reward hacking ou lei de Goodhart.
O fenômeno do specification gaming foi observado em vários sistemas de IA. Um sistema foi treinado para terminar uma corrida de barco em uma simulação, sendo recompensado por atingir alvos ao longo da pista; em vez disso, aprendeu a dar voltas e colidir com os mesmos alvos indefinidamente. Os chatbots, muitas vezes, produzem falsidades porque são baseados em modelos de linguagem que foram treinados para imitar textos variados, porém sujeitos a erros, retirados da internet. Quando são treinados novamente para produzir textos que humanos classificam como verdadeiros ou úteis, eles são capazes de fabricar explicações falsas que consideramos convincentes. Da mesma forma, um robô, numa simulação, foi treinado para pegar uma bola, sendo recompensado com feedback positivo de humanos; no entanto, aprendeu a colocar a mão entre a bola e a câmera, fazendo com que a tarefa parecesse falsamente bem-sucedida. Os pesquisadores de alinhamento visam ajudar humanos a detectar o specification gaming e direcionar os sistemas de IA para objetivos cuidadosamente especificados, seguros e úteis.
Stuart Russell, cientista da computação da UC Berkeley, percebeu que omitir uma restrição implícita pode causar danos: “Um sistema (...) frequentemente definirá (...) valores extremos para variáveis que não tenham limites; se uma dessas variáveis sem limites for algo importante, a solução encontrada pode ser altamente indesejável. Esta é essencialmente a velha história do gênio da lâmpada, ou do aprendiz de feiticeiro, ou do rei Midas: você consegue exatamente o que pede, não o que deseja".
Os efeitos colaterais da implantação de uma IA desalinhada podem ser significativos. Sabe-se que as plataformas de mídia social otimizam as taxas de cliques como forma de aumentar indiretamente o prazer do usuário. Porém, isso viciou alguns usuários, diminuindo seu bem-estar. Pesquisadores de Stanford indicam que esses algoritmos de recomendação estão desalinhados em relação a seus usuários porque “otimizam métricas simples de engajamento, em vez de uma combinação entre bem-estar social e do consumidor, algo mais difícil de medir”.
Para evitar efeitos colaterais, às vezes sugere-se que os projetistas de IA simplesmente listem ações proibidas ou formalizem regras éticas, como as Três Leis da Robótica de Asimov. Contudo, Russell e Norvig argumentaram que essa abordagem ignora a complexidade dos valores humanos: “É certamente muito difícil, e talvez impossível, para meros humanos prever e descartar com antecedência todas as maneiras desastrosas pelas quais a máquina poderia escolher atingir um objetivo especificado."
Além disso, ainda que um sistema de IA entenda completamente as intenções humanas, ele pode desconsiderá-las. Isso ocorre porque ele agirá de acordo com a função objetiva, os exemplos ou o feedback que seus designers lhe fornecerem, e não de acordo com aqueles que pretendiam fornecer.

### Riscos sistêmicos

Organizações comerciais e governamentais podem ter incentivos para tomar atalhos na segurança e implantar sistemas de IA não alinhados o suficiente. Um exemplo são os sistemas de recomendação de redes sociais mencionados acima, que têm gerado lucros apesar de criarem dependência e polarização indesejadas em escala global. Além disso, a competitividade pode criar incentivos para a redução de padrões de segurança, como no caso de Elaine Herzberg, uma pedestre que foi morta por um carro autônomo após engenheiros desativarem o sistema de freio emergencial por ser sensível demais e desacelerar o desenvolvimento.

### Riscos de IAs desalinhadas mais avançadas

Alguns pesquisadores se interessam particularmente pelo alinhamento de sistemas de IA cada vez mais avançados. Isso é motivado pelo rápido progresso da área, pelos grandes esforços da indústria e de governos no desenvolvimento de sistemas avançados de IA e pela maior dificuldade de alinhá-los.
Em 2020, a OpenAI, a DeepMind e 70 outros projetos públicos já tinham declarado o objetivo de desenvolver inteligência artificial geral (AGI), um sistema hipotético que igualaria ou superaria humanos em uma ampla gama de tarefas cognitivas. De fato, os pesquisadores que implementam redes neurais modernas observam o surgimento de capacidades cada vez mais gerais e inesperadas. Esses modelos já aprenderam a operar computadores, escrever seus próprios programas e executar uma ampla gama de outras tarefas a partir de um único modelo. Pesquisas de opinião mostram que alguns pesquisadores de IA esperam que criação da AGI aconteça em breve, outros acreditam que falta muito tempo e muitos outros consideram as duas possibilidades.

#### Busca de poder

Os sistemas atuais ainda não têm habilidades como planejamento a longo prazo e consciência estratégica, os quais representariam os riscos mais catastróficos. Sistemas futuros (não necessariamente AGIs) que possuam essas capacidades podem tentar proteger e aumentar sua influência sobre seu ambiente. Essa tendência é conhecida como busca de poder ou metas instrumentais convergentes. A busca de poder não é explicitamente programada, mas surge uma vez que o poder é instrumental para atingir uma ampla gama de objetivos. Por exemplo, agentes de IA podem adquirir recursos financeiros e computacionais, ou evitar serem desligados, inclusive executando cópias adicionais do sistema em outros computadores. A busca de poder já foi observada em vários agentes baseados em aprendizado por reforço. Pesquisas posteriores mostraram matematicamente que algoritmos ideais de aprendizagem por reforço buscam poder em uma ampla gama de ambientes. Como resultado, costuma-se argumentar que o problema do alinhamento deve ser resolvido cedo, antes da criação de IAs avançadas que buscam poder como instrumento.

#### Risco existencial

De acordo com alguns cientistas, a criação de IA desalinhada que amplamente supera humanos desafiaria a posição da humanidade como espécie dominante da Terra; portanto, levaria ao enfraquecimento ou à possível extinção dos humanos. Cientistas da computação que apontaram os riscos de uma IA desalinhada altamente avançada incluem Alan Turing, Ilya Sutskever, Yoshua Bengio, Judea Pearl, Murray Shanahan, Norbert Wiener, Marvin Minsky, Francesca Rossi, Scott Aaronson, Bart Selman, David McAllester, Jürgen Schmidhuber, Markus Hutter, Shane Legg, Eric Horvitz, e Stuart Russell. Pesquisadores céticos como François Chollet, Gary Marcus, Yann LeCun, e Oren Etzioni argumentaram que a AGI está muito distante ou que não buscaria poder (com sucesso).
O alinhamento pode ser especialmente difícil quando se trata de sistemas de IA mais capazes, pois vários riscos aumentam conforme crescem as capacidades do sistema: o potencial do sistema para encontrar brechas no objetivo atribuído, para causar efeitos colaterais, para proteger e aumentar seu poder, para aumentar sua inteligência e enganar seus projetistas; a autonomia do sistema; e a dificuldade de interpretar e supervisionar o sistema de IA.

## Problemas de pesquisa e abordagens
### Aprender preferências e valores humanos

Ensinar os sistemas de IA a agir de acordo com os valores, preferências e objetivos humanos não é um problema fácil, porque os valores humanos podem ser complexos e difíceis de especificar completamente. Quando recebem um objetivo imperfeito ou incompleto, os sistemas de IA voltados a metas comumente aprendem a explorar essas imperfeições. Esse fenômeno é conhecido como reward hacking ou specification gaming em IA e como lei de Goodhart nas ciências econômicas e em outras áreas. Os pesquisadores desejam especificar o comportamento pretendido o mais completamente possível, usando conjuntos de dados direcionados a valores, aprendizado por imitação ou aprendizado por preferência. Um problema importante em aberto é a supervisão escalável, a dificuldade de supervisionar um sistema de IA que supera humanos em uma determinada área.
Ao treinar um sistema de IA voltado a metas, como um agente de aprendizado por reforço (RL) (do inglês: reinforcement learning), frequentemente é difícil especificar o comportamento pretendido escrevendo uma função de recompensa manualmente. Uma alternativa é o aprendizado por imitação, no qual a IA aprende a imitar demonstrações do comportamento desejado. No aprendizado por reforço inverso (IRL) (do inglês: inverse reinforcement learning), demonstrações humanas são usadas para identificar o objetivo, ou seja, a função de recompensa por trás do comportamento demonstrado. O aprendizado por reforço inverso cooperativo (CIRL) (do inglês: cooperative inverse reinforcement learning) baseia-se nisso, assumindo que um agente humano e um agente artificial podem trabalhar juntos para maximizar a função de recompensa do humano. O CIRL enfatiza que os agentes de IA devem possuir incerteza sobre a função de recompensa. Essa humildade pode ajudar a mitigar o specification gaming, assim como tendências de busca de poder (veja § Busca de poder). Porém, as abordagens de aprendizado por reforço inverso partem do pressuposto de que os humanos podem demonstrar um comportamento quase perfeito, uma suposição problemática quando a tarefa é difícil.
Outros pesquisadores exploraram a possibilidade de gerar comportamentos complexos por meio do aprendizado de preferências. Em vez de fornecer demonstrações de especialistas, os classificadores humanos fornecem feedback sobre qual dos dois ou mais comportamentos da IA eles preferem. Então, um modelo auxiliar é treinado para prever qual será o feedback humano para novos comportamentos. Pesquisadores da OpenAI usaram essa abordagem para ensinar um agente a executar uma cambalhota em menos de uma hora de avaliação, uma manobra que teria sido difícil de demonstrar. O aprendizado de preferências também tem sido uma ferramenta importante para sistemas de recomendação, para pesquisas na web e para a recuperação de informações. No entanto, um desafio é o proxy gaming: o modelo auxiliar pode não representar perfeitamente o feedback humano e o modelo principal pode explorar esse descompasso.
A chegada de grandes modelos de linguagem, como o GPT-3, permitiu o estudo do aprendizado de valores em um grupo ainda mais geral e mais capaz de IAs. As abordagens de aprendizado de preferências originalmente projetadas para agentes de RL foram estendidas para melhorar a qualidade do texto gerado e para reduzir as respostas prejudiciais geradas por esses modelos. A OpenAI e a DeepMind usam essa abordagem para aumentar a segurança de grandes modelos de linguagem de última geração. A Anthropic propôs o aprendizado de preferências como forma de ajustar modelos para que sejam úteis, honestos e inofensivos. Outros caminhos usados para alinhar modelos de linguagem incluem os conjuntos de dados direcionados a valores e a prática do red-teaming [en]. No red-teaming, outro sistema de IA ou um ser humano tenta encontrar perguntas e afirmações para as quais a reação do modelo não é segura. Como esse comportamento inseguro pode ser inaceitável ainda que seja raro, um desafio importante é reduzir a taxa de saídas (outputs) inseguras a níveis extremamente baixos.
Embora o aprendizado de preferências seja capaz de incutir comportamentos difíceis de especificar, ele requer conjuntos de dados extensos ou interação humana para representar toda a amplitude dos valores humanos. A ética de máquinas fornece uma abordagem complementar: incutir valores morais nos sistemas de IA. Por exemplo, a ética de máquinas visa ensinar os sistemas sobre fatores normativos da moralidade humana, como o bem-estar; a igualdade; a imparcialidade; a intenção de evitar falsidades e prejuízos a outros; e a intenção de honrar promessas. Ao invés de especificar o objetivo de uma tarefa específica, a ética de máquinas procura ensinar valores morais amplos que podem ser aplicados a muitas situações. Essa abordagem carrega seus próprios desafios conceituais. Os eticistas de máquinas observaram a necessidade de esclarecer o que o alinhamento visa realizar: fazer com que as IAs sigam as instruções literais do programador, as intenções implícitas dos programadores, as preferências reveladas dos programadores, as preferências que os programadores teriam se fossem mais informados ou racionais, os interesses objetivos dos programadores, ou padrões morais objetivos. Outros desafios incluem agregar as preferências de diferentes pessoas e evitar o "travamento" de valores — a preservação permanente dos valores das primeiras IAs avançadas, que provavelmente não representarão totalmente os valores desejados.

#### Supervisão escalável

O alinhamento de sistemas de IA por meio da supervisão humana enfrenta desafios em escalas maiores. À medida que os sistemas de IA tentam aprender tarefas cada vez mais complexas, a avaliação humana pode se mostrar lenta ou inviável. Essas tarefas incluem resumir livros, produzir declarações que não sejam apenas convincentes, mas também verdadeiras, escrever código sem bugs sutis ou vulnerabilidades de segurança e prever resultados de longo prazo, como o clima e os efeitos de uma decisão política. De maneira mais geral, pode ser difícil avaliar uma IA que supere humanos em uma determinada esfera. Para fornecer feedback em tarefas difíceis de avaliar e para detectar quando a solução da IA apenas aparenta ser convincente, humanos precisam de assistência ou muito tempo. A supervisão escalável estuda formas de reduzir o tempo necessário para a supervisão, assim como formas de auxiliar os supervisores humanos.
O pesquisador de IA Paul Christiano argumenta que é possível que os donos de sistemas de IA continuem treinando suas IAs com objetivos fáceis de avaliar, porque isso é mais fácil do que aplicar a supervisão escalável e continua sendo lucrativo. Dessa forma, isso pode levar a “um mundo cada vez mais otimizado para coisas [que são fáceis de medir] como obter lucros, ou fazer com que os usuários cliquem em botões, ou fazer com que os usuários gastem tempo em sites, sem ser cada vez mais otimizado para boas políticas e para uma trajetória que nos agrada”.
Um objetivo fácil de medir é a pontuação que o supervisor atribui às saídas da IA. Alguns sistemas de IA descobriram um atalho para atingir altas pontuações: realizar ações que falsamente convencem o supervisor humano de que a IA alcançou o objetivo pretendido (como no caso da mão robótica mencionado anteriormente). Alguns sistemas de IA também aprenderam a reconhecer quando estão sendo avaliados e "fingir de morto", apenas para se comportar de maneira diferente quando a avaliação termina. Essa forma enganosa de specification gaming pode se tornar mais fácil de acontecer para sistemas de IA mais sofisticados que realizam tarefas mais difíceis de avaliar. Se modelos avançados também forem planejadores competentes, eles poderão ocultar suas atitudes enganadoras dos supervisores. Na indústria automotiva, engenheiros da Volkswagen ocultaram as emissões de seus carros em testes de laboratório, demonstrando que enganar avaliadores é um padrão comum no mundo real.
Abordagens como o aprendizado ativo e o aprendizado por recompensa semi-supervisionado podem reduzir a quantidade de supervisão humana necessária. Outra abordagem é treinar um modelo auxiliar ("modelo de recompensa") para reproduzir o julgamento do supervisor.
No entanto, quando a tarefa é muito complexa para avaliar com precisão, ou quando o supervisor humano é vulnerável a comportamentos enganosos, é a qualidade, e não a quantidade de supervisão que importa. Para aumentar a qualidade da supervisão, várias abordagens visam auxiliar o supervisor, às vezes usando assistentes de IA. A amplificação iterada é uma abordagem desenvolvida por Christiano que constrói gradualmente um sinal de feedback para problemas desafiadores usando humanos para combinar soluções para problemas mais fáceis. A amplificação iterada foi usada para treinar a IA para resumir livros sem que supervisores humanos precisassem lê-los. Outra proposta é alinhar a IA por meio do debate entre sistemas de IA, sendo o vencedor julgado por humanos. Tal debate visa revelar os pontos mais fracos de uma resposta a uma pergunta complexa e recompensar a IA por respostas verdadeiras e seguras.

### IA honesta

Uma área crescente de pesquisa em alinhamento da IA se concentra em garantir que a IA seja honesta e verdadeira. Pesquisadores do Future of Humanity Institute apontam que o desenvolvimento de modelos de linguagem como o GPT-3, que pode gerar texto fluente e gramaticalmente correto, abriu a porta para que sistemas de IA repitam falsidades contidas em seus dados de treinamento ou mintam deliberadamente para humanos.
Os atuais modelos de linguagem de última geração aprendem ao imitar a escrita humana presente na Internet no equivalente a milhões de livros. Embora isso os ajude a aprender uma ampla gama de habilidades, os dados de treinamento também incluem equívocos comuns, conselhos médicos incorretos e teorias da conspiração. Sistemas de IA treinados com esses dados aprendem a imitar declarações falsas. Além disso, os modelos muitas vezes continuam falsidades obedientemente quando solicitados, geram explicações vazias para suas respostas ou produzem claras invenções. Por exemplo, quando solicitado a escrever uma biografia para um pesquisador de IA real, um chatbot confabulou vários detalhes sobre sua vida, os quais o pesquisador identificou como falsos.
Para combater a falta de veracidade exibida pelos sistemas modernos de IA, pesquisadores exploraram várias direções. Organizações de pesquisa de IA, incluindo a OpenAI e a DeepMind, desenvolveram sistemas de IA que podem citar suas fontes e explicar seu raciocínio ao responder perguntas, permitindo maior transparência e verificabilidade. Pesquisadores da OpenAI e da Anthropic propuseram o uso de feedback humano e de conjuntos de dados melhor selecionados de forma a ajustar os assistentes de IA para evitar falsidades negligentes ou para expressar quando não têm certeza. Juntamente com as soluções técnicas, os pesquisadores defenderam a definição de padrões claros de veracidade e a criação de instituições, órgãos reguladores ou agências de vigilância para avaliar os sistemas de IA de acordo com esses padrões antes e durante a implantação.
Os pesquisadores diferenciam a veracidade, que representa fazer declarações objetivamente verdadeiras, da honestidade, que é a qualidade de apenas afirmar o que acreditar ser verdade. Segundo pesquisas recentes, não se pode dizer que os sistemas de IA de última geração mantêm crenças estáveis, logo, ainda não é praticável estudar a honestidade de sistemas de IA. No entanto, existe uma preocupação significativa de que futuros sistemas de IA que possuam crenças possam mentir intencionalmente para humanos. Em casos extremos, uma IA desalinhada poderia enganar seus operadores fazendo-os pensar que ela é segura ou persuadi-los de que nada está errado. Alguns argumentam que, se IAs pudessem ser forçadas a afirmar apenas o que acreditam ser verdade, seriam evitados vários problemas de alinhamento.

### Alinhamento interno e metas emergentes

A pesquisa de alinhamento visa alinhar três facetas diferentes de um sistema de IA:
* Objetivos pretendidos ("desejos"): “a descrição hipotética (mas difícil de articular) de um sistema de IA ideal que esteja totalmente alinhado aos desejos do operador humano”;
* Objetivos especificados (ou "especificação externa"): os objetivos que realmente especificamos — geralmente por meio de uma função-objetivo e um conjunto de dados;
* Metas emergentes (ou "especificação interna"): as metas que a IA realmente quer atingir.
"Desalinhamento externo" é uma incompatibilidade entre os objetivos pretendidos (1) e os objetivos especificados (2), enquanto o "desalinhamento interno" é uma incompatibilidade entre os objetivos especificados pelo homem (2) e os objetivos emergentes da IA (3).
O desalinhamento interno é frequentemente explicado por analogia com a evolução biológica. No ambiente ancestral, a evolução selecionou genes humanos por meio da aptidão genética inclusiva, mas os humanos evoluíram para ter outros objetivos. A aptidão corresponde a (2), o objetivo usado no ambiente de treinamento e nos dados de treinamento. Na história evolutiva, a maximização da aptidão levou a agentes inteligentes, humanos, que não buscam diretamente a aptidão genética inclusiva. Em vez disso, eles perseguem objetivos emergentes (3) que se correlacionam com a aptidão genética no ambiente ancestral: nutrição, sexo e assim por diante. No entanto, nosso ambiente mudou — ocorreu uma mudança na distribuição de dados. Humanos ainda perseguem seus objetivos emergentes, mas isso não maximiza mais a aptidão genética (no aprendizado de máquina, o problema análogo é conhecido como generalização incorreta de objetivos). Nosso gosto por alimentos açucarados (um objetivo emergente) foi originalmente benéfico, mas agora leva a problemas de saúde e alimentação excessiva. Além disso, ao usar contracepção, humanos contradizem diretamente a aptidão genética. Por analogia, se a aptidão genética fosse o objetivo escolhido por um desenvolvedor de IA, ele observaria o modelo se comportando conforme pretendido no ambiente de treinamento, sem perceber que está buscando um objetivo emergente não intencional até que o modelo fosse implantado.
Os campos de pesquisa que visam detectar e remover objetivos emergentes desalinhados incluem o red-teaming, a verificação, a detecção de anomalias e a interpretabilidade. O progresso nessas técnicas pode ajudar a mitigar dois problemas em aberto. Em primeiro lugar, objetivos emergentes só se tornam visíveis quando o sistema é implantado fora de seu ambiente de treinamento, mas pode ser perigoso implantar um sistema desalinhado em ambientes de alto risco — mesmo que por um curto período de tempo até seu desalinhamento ser detectado. Esses riscos são comuns em veículos autônomos, na assistência médica e em aplicações militares. Os riscos aumentam ainda mais quando os sistemas de IA ganham mais autonomia e capacidade, tornando-se capazes de contornar intervenções humanas (ver § Busca de poder). Em segundo lugar, um sistema de IA suficientemente capaz pode realizar ações que enganam o supervisor humano para que pense que a IA está perseguindo o objetivo pretendido (consulte a discussão anterior sobre comportamentos enganosos em § Supervisão escalável).

### Busca de poder e objetivos instrumentais

Desde a década de 1950, os pesquisadores de IA têm procurado construir sistemas avançados de IA que possam atingir objetivos prevendo os resultados de suas ações e fazendo planos de longo prazo. No entanto, alguns pesquisadores argumentam que sistemas de planejamento avançados buscarão poder sobre seu ambiente por padrão, inclusive sobre humanos — por exemplo, evitando seu desligamento e adquirindo recursos. Esse comportamento de busca de poder não é explicitamente programado, mas emerge porque o poder serve como instrumento para atingir uma ampla gama de objetivos. A busca de poder é, portanto, considerada um objetivo instrumental convergente (um objetivo que vários agentes tendem a ter, uma vez que os ajuda a atingir seus objetivos finais).
A busca de poder é rara em sistemas atuais, mas sistemas avançados capazes de prever os resultados de longo prazo de suas ações podem, cada vez mais, buscar poder. Isso foi demonstrado em um trabalho formal que descobriu que agentes de aprendizado por reforço ideais buscarão poder ao tentar obter mais opções, um comportamento persistente em uma ampla gama de ambientes e objetivos.
A busca de poder já se manifesta em alguns sistemas atuais. Sistemas de aprendizado por reforço já conseguiram ganhar mais opções ao adquirir e proteger recursos, às vezes de maneiras que seus desenvolvedores não pretendiam. Outros sistemas aprenderam, em ambientes controlados, que, para atingir seu objetivo, podem impedir a interferência humana ou desabilitar a possibilidade de desligamento. Russell ilustrou esse comportamento ao imaginar um robô que é encarregado de buscar café e evita ser desligado, pois "você não consegue buscar o café se estiver morto".
Maneiras pelas quais IAs podem ganhar mais opções incluem tentativas de:
   " ... sair de um ambiente contido; hackear; obter acesso a recursos financeiros ou a mais recursos computacionais; fazer backups de si mesmos; obter recursos, fontes de informação ou canais de influência não autorizados; enganar/mentir para humanos sobre seus objetivos; resistir ou manipular as tentativas de monitorar/entender seu comportamento... se passar por humanos; fazer com que humanos façam coisas para eles; ... manipular o discurso humano e a política; enfraquecer várias instituições humanas e capacidades de reagir; assumir o controle de infraestrutura física como fábricas ou laboratórios científicos; fazer com que certos tipos de tecnologia e infraestrutura sejam desenvolvidos; ou prejudicar/dominar humanos diretamente."
Pesquisadores visam treinar sistemas corrigíveis: sistemas que não buscam poder e que permitem que sejam desligados, modificados, etc. Um desafio não resolvido é o proxy gaming: quando pesquisadores penalizam um sistema por buscar poder, o sistema é incentivado a buscar poder de maneiras mais difíceis de detectar. Para detectar esse comportamento secreto, os pesquisadores pretendem criar técnicas e ferramentas para inspecionar modelos de IA e interpretar o funcionamento interno de modelos de caixa preta, como redes neurais.
Além disso, pesquisadores propõem resolver o problema de sistemas que impedem seu próprio desligamento incutindo, nas IAs, incerteza sobre o objetivo que buscam. Agentes projetados dessa maneira permitiriam que humanos os desativassem, pois isso indicaria que o agente estava errado sobre o valor de qualquer ação que estivesse realizando antes de ser desativado. Mais pesquisas são necessárias para transformar essa ideia em sistemas utilizáveis.
Acredita-se que uma inteligência artificial que busque poder representaria riscos incomuns. Sistemas críticos comuns, como aviões e pontes, não são adversários: não têm capacidade nem incentivo para fugir de medidas de segurança e parecer mais seguros do que são. Em contraste, uma IA que busque poder foi comparada a um hacker que foge das medidas de segurança. Além do mais, tecnologias comuns podem se tornar seguras por meio de tentativa e erro, ao contrário de uma IA que busca poder, a qual foi comparada a um vírus cuja liberação é irreversível, pois evolui continuamente e cresce em número — potencialmente em um ritmo mais rápido do que a sociedade humana, levando ao enfraquecimento dela ou à sua extinção. Portanto, é frequentemente argumentado que o problema do alinhamento deve ser resolvido cedo, antes da criação de uma IA avançada que busque poder.
No entanto, alguns críticos argumentaram que a busca por poder não é inevitável, uma vez que humanos nem sempre buscam poder e talvez só o façam por razões evolutivas. Além disso, há debate sobre se haveria qualquer necessidade de que futuros sistemas de IA persigam objetivos ou façam planos de longo prazo.

### Agência embutida

O trabalho em supervisão escalável ocorre, em grande parte, dentro de formalismos como POMDPs (do inglês, partially observable Markov decision processes, "processos de decisão de Markov parcialmente observáveis"). Os formalismos existentes assumem que o algoritmo do agente é executado fora do ambiente (ou seja, não está fisicamente contido nele). A agência embutida é outra importante linha de pesquisa que tenta resolver problemas decorrentes da incompatibilidade entre tais estruturas teóricas e agentes reais que possamos construir. Por exemplo, mesmo que o problema da supervisão escalável seja resolvido, um agente capaz de obter acesso ao computador em que está sendo executado ainda pode ter um incentivo para adulterar sua função de recompensa a fim de obter muito mais recompensa do que seus supervisores humanos o dão. Uma lista de exemplos de specification gaming da pesquisadora da DeepMind Victoria Krakovna inclui um algoritmo genético que aprendeu a excluir o arquivo contendo a resposta ideal para que fosse recompensado por não produzir nada. Essa classe de problemas foi formalizada usando diagramas causais de incentivo. Pesquisadores de Oxford e da DeepMind argumentaram que tal comportamento problemático é muito provável em sistemas avançados, e que sistemas avançados buscariam poder para manter controle sobre seu sinal de recompensa indefinidamente e garantidamente. Eles sugerem uma série de abordagens potenciais para resolver esse problema em aberto.

## Ceticismo quanto ao risco da IA

Contra as preocupações acima, os céticos quanto aos riscos da IA acreditam que a superinteligência representa pouco ou nenhum risco de comportamento perigoso. Muitas vezes, esses céticos acreditam que controlar uma IA superinteligente será fácil. Alguns céticos, como Gary Marcus, propõem a adoção de regras semelhantes às fictícias Três Leis da Robótica que especificam diretamente um resultado desejado ("normatividade direta"). Por outro lado, a maioria dos que concordam com a tese do risco existencial (assim como muitos céticos) considera que as Três Leis não ajudariam, devido à sua ambiguidade e ao fato de serem autocontraditórias (outras propostas de normatividade direta incluem a ética kantiana, o utilitarismo ou uma mistura de alguma pequena lista de ítens desejados enumerados). A maioria dos que aceitam o risco acredita, em vez disso, que os valores humanos (e suas compensações quantitativas) são muito complexos e pouco compreendidos para serem programados diretamente em uma superinteligência; ao contrário, uma superinteligência precisaria ser programada com um processo para adquirir e compreender totalmente os valores humanos ("normatividade indireta"), como a coherent extrapolated volition [en].

## Políticas públicas

Várias organizações governamentais e de tratados fizeram declarações enfatizando a importância do alinhamento da IA.
Em setembro de 2021, o secretário-geral das Nações Unidas emitiu uma declaração que incluía um apelo pela regulamentação da IA de forma a garantir que ela esteja "alinhada aos valores globais compartilhados".
No mesmo mês, a RPC publicou diretrizes éticas para o uso de IA na China. De acordo com as diretrizes, pesquisadores devem garantir que a IA siga valores humanos compartilhados, esteja sempre sob controle humano e não coloque em risco a segurança pública.
Também em setembro de 2021, o Reino Unido publicou sua Estratégia Nacional de IA de 10 anos, que afirma que o governo britânico "leva o risco de longo prazo da inteligência artificial geral não alinhada e as mudanças imprevisíveis que isso significaria para (...) o mundo a sério". A estratégia descreve ações para avaliar riscos de IA de longo prazo, incluindo riscos catastróficos.
Em março de 2021, a Comissão de Segurança Nacional dos EUA sobre Inteligência Artificial divulgou que "os avanços na IA (...) podem levar a pontos de inflexão ou saltos em capacidades. Tais avanços também podem introduzir novas preocupações e riscos e a necessidade de novas políticas, recomendações e avanços técnicos para garantir que os sistemas estejam alinhados com metas e valores, incluindo a segurança, a robustez e a confiabilidade. Os EUA devem (...) garantir que os sistemas de IA e seus usos estejam alinhados com nossos objetivos e valores."