# Armas Autônomas Letais

Segundo o Comitê Internacional da Cruz Vermelha armas autônomas letais (LAWs), sistemas de armas autônomas letais (LAWS), robôs autônomos letais (LAR), ou ainda, robôs assassinos, podem ser definidos como qualquer sistema de arma com autonomia em suas funções críticas. Isto é, um sistema de arma que pode selecionar (isto é, procurar ou detectar, identificar, rastrear, selecionar) e atacar (isto é, usar força bruta contra, causar dano ou destruir) alvos sem intervenção humana.
Ainda segundo o ICRC, há pelo menos três tipos de armas autônomas atualmente: as armas defensivas antimaterial, como as usadas para proteger veículos, instalações ou áreas de ataques provenientes de Mísseis, foguetes, morteiros e outros Projéteis; os sistemas de armas ofensivas, como alguns tipos de mísseis e torpedos que selecionam e atacam alvos após o lançamento; e as armas antipessoal, também chamadas de ‘sentinelas’, como aquelas utilizadas para defender instalações e fronteiras. Todos estes tipos de armas têm a característica em comum da dependência de intervenção humana para iniciar, ou ativar, o ataque.
As LAWS já são reguladas pelo Direito Humanitário Internacional existente (International Humanitarian Law, ou IHL). LAWS que não podem cumprir os princípios do IHL, como distinção e proporcionalidade, já são ilegais. LAWS são obrigadas a passar pela revisão do artigo 36 antes de serem colocadas em campo, assim como qualquer outra nova arma.
Avaliar se um sistema de armas autônomo pode ser usado em conformidade com o IHL pode depender de características técnicas específicas e do desempenho do sistema de armas e das circunstâncias pretendidas e esperadas de seu uso. Estas características referem-se: à tarefa que a arma carrega, ao tipo de alvo que ela ataca, ao ambiente em que a arma opera, a sua movimentação no espaço, ao período de tempo de operação do sistema, à habilidade de se adaptar às mudanças de ambiente, à confiabilidade do sistema em relação a falhas ou hackeamento e ao seu potencial de supervisão e intervenção humana.
A questão que tem sido debatida é, como sistemas de armas autônomas podem aplicar princípios de humanidade e consciência pública como determina a “Martens Clause” para casos onde não há um tratado especificado para proteger civis e combatentes? Preocupados com os possíveis impactos relacionados às armas autônomas, em dezembro de 2016, participantes da CCW (Convention on Certain Conventional Weapons) criaram o grupo GGE (Group of Governmental Experts) para tratar questões relacionadas a essa emergente tecnologia.
A primeira reunião do grupo, ocorrida entre 13 e 17 de novembro de 2017, teve o intuito de criar fundamentos jurídicos proibindo o desenvolvimento, produção e uso de sistemas de armas autônomas letais. Apesar da maioria dos países concordarem sobre a necessidade de um instrumento legal de proibição das LAWS alguns países como Estados Unidos e Rússia foram relutantes em começar negociações nesse campo. A primeira reunião terminou, então, sem nem mesmo uma definição válida para sistemas de armas autônomas letais.

## Definições de autonomia

Acordos que restringem o uso de alguns tipos de armas já existem, como é o caso para armas químicas e biológicas, e muitos tratados são hoje fortemente respeitados. Porém, no caso das LAWs tem sido mais complicado já que não existe um consenso sobre como definir autonomia e seus níveis. Essa falta de definição de um padrão é o principal empecilho para o fechamento de acordos restritivos.
Além disso, mesmo que se chegue a um consenso a fiscalização sobre esse tipo de produção é bastante difícil, pois esse tipo de sistema pode ser facilmente desenvolvido em pequenas oficinas sem deixar rastros. Portanto, os esforços de proibição possivelmente seriam voltados à produção em massa e a seu emprego deixando de lado questões sobre pesquisa, desenvolvimento e teste dessas máquinas. A proibição total ainda significaria o abandono de armas de menor nível de autonomia já produzidas em massa e distribuídas hoje.
Muitas são as definições atribuídas à palavra ‘autonomia’. Para alguns, ela está relacionada apenas à automatização de alto nível, como a usada em sistemas de piloto automático de aeronaves, como define a Defense Science Board. Já para outros, um sistema autônomo é capaz de reunir informações importantes e baseado em um conjunto de regras tomar uma decisão, como descreve o documento Unmanned Systems Integrated Roadmap FY2011-2036 (“Mapa Integrado dos Sistemas Não Tripulados: 2011-2036”).
Para o Comitê Internacional da Cruz Vermelha armas autônomas são capazes de escolher e atacar alvos independentemente. Já segundo um relatório da Human Rights Watch, existem pelo menos três níveis de autonomia:
* Nas armas human in the loop (humano dentro do ciclo) os robôs tomam decisões de acordo com regras programadas por humanos, o humano confirma a ação e só então o robô realiza a ordem. Como exemplos, pode-se citar o sistema de mísseis Patriot e o SGR-A1 da Samsung no modo “normal”.
* Nas armas human on the loop (humano acima do ciclo) o robô também toma decisões de acordo com regras programadas por humanos, o humano tem um tempo para abortar a ação e caso não seja abortada o robô realiza a ação. O Phalanx Close-in Weapon System e o SGR-A1 da Samsung no modo “invasão” são alguns dos exemplos.
* Nas armas human of the loop (humano fora do ciclo) o robô toma decisões de acordo com regras programadas por humanos e em seguida o robô realiza a ação mandando apenas um relatório para que seja lido por um humano depois. Qualquer LAW sem um sistema de comunicação operante agiria dessa forma, por exemplo.

## Argumentos Pró e Contra LAWs

Diante do avanço da IA e de seu possível emprego em armas para torná-las autônomas em diferentes níveis, diversas opiniões surgem dividindo toda a comunidade internacional sobre as consequências de seu uso. Desse modo, diferentes questões militares, morais e econômicas são levantadas em ambos os lados.
Entre os benefícios levantados destacam-se:
* Menor quantidade de combatentes humanos necessária podendo-se manter a mesma eficácia com o uso de menos armas autônomas, além de reduzir a quantidade de causalidades fatais e fadiga entre os combatentes humanos.
* O custo individual de um robô militar é menor do que o de um combatente humano. A quantidade necessária de robôs por ser menor também acaba por reduzir ainda mais o custo.
* Pilotos autônomos não sofrem de exaustão, tensão física e não necessitam de concentração. Além disso, um bom veículo aéreo é capaz de realizar ações imprevisíveis e aleatórias que podem levar à eliminação de frotas inteiras de aeronaves.
* Avanços nas áreas de percepção, planejamento, aprendizagem, interação robô-humano, entendimento de idiomas e coordenação entre agentes podem contribuir para o amadurecimento de sistemas autônomos.
* Robôs autônomos não temem pela própria vida, logo, decisões tomadas sob emoções de medo ou histeria não fariam parte do combate. Ao mesmo tempo, a percepção de informações sensoriais para tomada de decisões é mais eficaz e sem distorções. Sem falar que robôs são mais confiáveis reportando infrações já que não omitem informações.
Apesar dos benefícios apontados, muitos ainda vêem com desconfiança o uso de IA na construção de armas autônomas letais. Entre as principais preocupações estão:
* Uma possível corrida armamentista envolvendo IA poderia ofuscar os benefícios provenientes de seu uso causando uma reação pública negativa.
* A existência de armas letais em uma nação poderia levá-la a desferir ataques deliberados à outra, sabendo que esta não tem poderio autônomo letal para revidar.
* Não há certeza científica de que armas letais autônomas terão de fato a capacidade de identificar alvos, analisar situações ou usar força proporcional de forma precisa no futuro.
* A tomada de decisão por armas autônomas sobre a vida ou morte é preocupante já que até para humanos é difícil diferenciar um civil de um combatente. Ou seja, a escolha autônoma de alvos infringe o Princípio de Distinção e trás danos moralmente inaceitáveis.
* Segundo determina a IHL, alguém precisa ser responsabilizado pela morte de civis. No caso das LAWs, esta exigência não pode ser aplicada tornando inadequado o uso desse tipo de arma.

## Google e o Projeto Maven

Segundo o departamento de defesa dos Estados Unidos (DoD), em abril de 2017 foi lançado o Projeto Maven (Maven Project). Segundo o Pentágono, o projeto tem por objetivo desenvolver e integrar algoritmos de visão computacional para ajudar analistas militares e civis, sobrecarregados pelo volume de dados de vídeos coletados pelo DoD todos os dias, para apoio a operações de contrainsurgência e contraterrorismo.
A grande preocupação surgiu após a descoberta do envolvimento da Google no projeto já que esta é uma empresa global detentora de informações sobre a vida de bilhões de usuários. Mais de 3000 empregados da empresa assinaram uma carta pública que diz que a Google não deveria construir tecnologia de guerra. O apoio da empresa ao projeto Maven concede não só tecnologias de inteligência artificial (IA) mas também engenheiros e especialistas ao DoD. O Maven já está em uso no Oriente Médio e há planos de expansão com utilização em filmagens de vigilância que podem monitorar cidades inteiras.
Embora o Projeto Maven enfatize o envolvimento de analistas humanos, ainda há grande preocupação no uso dessas tecnologias para automatizar o processo de identificação de alvos que incluem pessoas e o direcionamento de armas a elas. Segundo o Defense One, o DoD já planeja usar tecnologias de análise de imagens em seus atuais drones armados. Isto aumenta a preocupação do seu uso em drones autônomos, sem supervisão ou controle humano para matar, e dificilmente viria a conhecimento já que a fiscalização das operações de drones dos EUA é ineficaz.
Um outro aspecto que vem sendo ponto de discussão é que matanças direcionadas quase sempre incluem ‘ataques por personalidade’, a partir de pessoas nomeadas em listas de morte, e ‘ataques por assinatura’ que fazem análise de padrões de vida que acabam por marcar pessoas baseadas apenas em sua aparência e comportamento nos sistemas de vigilância baseados em imagem.
Em junho de 2018, a Google anunciou que não irá renovar seu contrato com o Projeto Maven, cujo contrato está previsto para expirar em 2019. Além disso, a empresa anunciou um plano de novos princípios éticos sobre seu uso de IA. Segundo o CEO da Google, Sundar Pichai, as aplicações de IA da empresa tem por objetivo ser socialmente benéfico, sem a criação de preconceitos injustos, ser seguros e que sejam usados de modo que mantenham os princípios anteriores. Além disso, garantiu que a Google não desenvolverá aplicações, incluindo armas ou tecnologias, que causem danos gerais ou qualquer coisa que possa ser usada para vigilância que violem normas internacionalmente aceitas ou que entrem em conflito com princípios amplamente aceitos da IHL.
Ainda assim, o assunto ainda gera preocupação já que tais padrões e normas diferem amplamente em todo o mundo. Diante de tais diferenças, algumas questões que precisam ser esclarecidas em torno dos princípios éticos relacionados ao uso de IA, não só pela Google mas da indústria de tecnologia em geral, são:
* Um comprometimento em realizar revisões independentes e publicamente transparentes para que os princípios sejam sempre aplicados, e de forma correta, sem que seja necessário confiar nos processos secretos internos das empresas.
* É preciso que as empresas sigam não apenas “princípios amplamente aceitos” mas que assumam onde, como e porque seu trabalho é consistente com os princípios do direito internacional e direitos humanos já que não fica claro quantos princípios fundamentais devem ser impostos às várias tecnologias e aplicações de IA.
* Nos projetos de vigilância de IA existe o comprometimento em não violar normas internacionalmente aceitas mas não fica claro se isso inclui os ‘Princípios Necessários e Proporcionais’ (Necessary and Proportionate Principles). A prática de espionar os cidadãos de outros países é muito predominante.

## Conclusão

Embora as implicações de uma potencial proliferação das LAWS possa parecer distante e remota, limitada ao domínio da ficção científica e de filmes futurísticos, os avanços tecnológicos têm progredido rapidamente e podem representar ameaças concretas à paz e segurança internacional e aos presentes regimes legais e normas que regem a guerra e o uso de força.
A chave para uma campanha de prevenção eficaz é a conscientização sobre os riscos representados por essa tecnologia. Portanto, é importante levar em conta os conselhos dos principais especialistas na área, dentre eles, Elon Musk, Stephen Hawking e Bill Gates. Estes são a favor de uma proibição completa dos chamados “robôs assassinos” antes que se torne impossível limitá-los e controlá-los. Sendo assim, é de suma importância uma construção legal que seja capaz de reger o desenvolvimento e uso desses sistemas letais e deve ser tópico-chave nos debates internacionais sobre desarmamento.