# Ética de máquinas

A ética de máquinas (ou moralidade das máquinas, moral computacional ou ética computacional) é uma parte da ética na inteligência artificial preocupada em adicionar ou garantir comportamentos morais de máquinas feitas pelo homem que usam inteligência artificial, também conhecidas como agentes inteligentes artificiais. A ética de máquinas difere de outros campos éticos relacionados à engenharia e à tecnologia. A ética de máquinas não deve ser confundida com a ética de computadores, que se concentra no uso humano dos computadores. Também deve ser diferenciada da filosofia da tecnologia, que se preocupa com os efeitos sociais mais grandiosos da tecnologia.

## História

Antes do século XXI, a ética de máquinas tinha sido em sua maioria objeto da literatura de ficção científica, principalmente devido às limitações da computação e da inteligência artificial (IA). Embora a definição de "Ética de Máquina" tenha evoluído desde então, o termo foi cunhado por Mitchell Waldrop no artigo "A Question of Responsibility" da AI Magazine de 1987:
   "No entanto, uma coisa que fica aparente na discussão precedente é que as máquinas inteligentes incorporarão valores, suposições e propósitos, quer seus programadores tenham a intenção consciente ou não. Assim, conforme os computadores e robôs se tornam cada vez mais inteligentes, torna-se imperativo que pensemos cuidadosa e explicitamente sobre quais são esses valores embutidos. Talvez o que precisemos seja, de fato, uma teoria e prática da ética da máquina, no espírito das três leis da robótica de Asimov."
Em 2004, Towards Machine Ethics foi apresentado no AAAI Workshop on Agent Organizations: Theory and Practice no qual foram apresentados os fundamentos teóricos para a ética de máquinas.
Foi no AAAI Fall 2005 Symposium sobre ética de máquinas onde os pesquisadores se encontraram pela primeira vez para considerar a implementação de uma dimensão ética em sistemas autônomos. Uma variedade de perspectivas deste campo nascente pode ser encontrada na edição coletada "Machine Ethics" que se origina do AAAI Fall 2005 Symposium sobre ética de máquinas.
Em 2007, a AI Magazine apresentou o artigo Machine Ethics: Creating an Ethical Intelligent Agent, que discutiu a importância da ética das máquinas, a necessidade de máquinas que representem explicitamente os princípios éticos e os desafios enfrentados por aqueles que trabalham com a ética das máquinas. Ele também demonstrou que é possível para uma máquina, pelo menos em um domínio limitado, abstrair um princípio ético de exemplos de julgamentos éticos e usar esse princípio para guiar seu próprio comportamento.
Em 2009, a Oxford University Press publicou Moral Machines, Teaching Robots Right from Wrong e o divulgou como "o primeiro livro a examinar o desafio de construir agentes morais artificiais, investigando profundamente a natureza da ética e da tomada de decisões humanas". Ele citou cerca de 450 fontes, das quais cerca de 100 abordavam questões importantes de ética da máquina.
Em 2011, a Cambridge University Press publicou uma coleção de ensaios sobre a ética de máquinas editada por Michael e Susan Leigh Anderson, que também editou uma edição especial da IEEE Intelligent Systems sobre o assunto em 2006. A coleção consiste nos desafios de agregar princípios éticos às máquinas.
Em 2014, o Escritório de Pesquisa Naval dos Estados Unidos anunciou que iria distribuir US $ 7,5 milhões em bolsas durante cinco anos para pesquisadores universitários para estudarem questões de ética da máquina aplicadas a robôs autônomos, e o livro Superinteligência: caminhos, perigos, Estratégias, de Nick Bostrom que elevou a ética da máquinas como "a mais importante ... questão que a humanidade já enfrentou", alcançou o 17º lugar na lista dos livros de ciência mais vendidos do New York Times.
Em 2016, o Parlamento Europeu publicou um documento, (PDF de 22 páginas), para encorajar a Comissão a abordar a questão do estatuto jurídico dos robôs, conforme descrito de forma mais sucinta na imprensa. Este artigo incluía seções sobre as responsabilidades legais dos robôs, em que se argumentou que as responsabilidades são proporcionais ao nível de autonomia dos robôs. O artigo também questionou o número de empregos que poderiam ser substituídos por robôs de IA.

## Definições

James H. Moor, um dos teóricos pioneiros no campo da ética computacional, define quatro tipos de robôs éticos. Como um profundo pesquisador nos estudos de filosofia da inteligência artificial, filosofia da mente, filosofia da ciência e lógica, Moor define máquinas como agentes de impacto ético, agentes éticos implícitos, agentes éticos explícitos ou agentes éticos completos. Uma máquina pode ser mais de um tipo de agente.
* Agentes de impacto ético: são sistemas de máquinas que causam um impacto ético intencional ou não. Ao mesmo tempo, esses agentes têm potencial para agir de forma antiética. Moor dá um exemplo hipotético chamado 'agente Goodman', em homenagem ao filósofo Nelson Goodman. O agente Goodman compara datas, mas tem o bug do milênio. Esse bug era resultado de programadores que representavam datas apenas com os dois últimos dígitos do ano. Portanto, quaisquer datas posteriores a 2000 seriam erroneamente tratadas como anteriores às do final do século XX. Assim, o agente de Goodman era um agente de impacto ético antes de 2000 e, posteriormente, um agente de impacto antiético.
* Agentes éticos implícitos: para consideração da segurança humana, esses agentes são programados para ter uma proteção à prova de falhas ou uma virtude embutida. Eles não são inteiramente éticos por natureza, mas sim programados para evitar resultados antiéticos.
* Agentes éticos explícitos: são máquinas capazes de processar cenários e agir sobre decisões éticas. Máquinas que possuem algoritmos para agir com ética.
* Agentes éticos completos: essas máquinas são semelhantes aos agentes éticos explícitos no que diz respeito a poder tomar decisões éticas. No entanto, eles também contêm características metafísicas humanas. (ou seja, têm livre arbítrio, consciência e intencionalidade)
(Ver sistemas artificiais e responsabilidade moral.)

## Focos da ética de máquinas
### Problema de controle de IA

Alguns estudiosos, como o filósofo Nick Bostrom e o pesquisador de IA Stuart Russell, argumentam que se a IA ultrapassa a humanidade em inteligência geral e se torna "superinteligente", então esta nova superinteligência pode se tornar poderosa e difícil de controlar: assim como o destino do gorila da montanha depende da boa vontade humana, o destino da humanidade dependeria das ações de uma futura superinteligência da máquina. Em seus respectivos livros Superinteligência e Human Compatible, ambos os estudiosos afirmam que, embora haja muita incerteza quanto ao futuro da IA, o risco para a humanidade é grande o suficiente para merecer uma ação significativa no presente.
Isso apresenta o problema de controle de IA: como construir um agente inteligente que ajudará seus criadores, enquanto evita-se construir inadvertidamente uma superinteligência que irá prejudicar seus criadores. O perigo de não projetar o controle certo "da primeira vez" é que uma superinteligência pode ser capaz de assumir o poder sobre seu ambiente e impedir que humanos a desliguem. As estratégias de controle de IA potenciais incluem "controle de capacidade" (limitando a capacidade de uma IA de influenciar o mundo) e "controle motivacional" (uma maneira de construir uma IA cujos objetivos estão alinhados com os valores ou ideais humanos). Há várias organizações pesquisando o problema do controle de IA, incluindo o Future of Humanity Institute, o Machine Intelligence Research Institute, o Center for Human-Compatible Artificial Intelligence e o Future of Life Institute.

### Algoritmos e treinamento

Os paradigmas de IA têm sido debatidos, especialmente em relação à sua eficácia e viés. Nick Bostrom e Eliezer Yudkowsky defenderam árvores de decisão (como ID3) em vez de redes neurais e algoritmos genéticos, alegando que as árvores de decisão obedecem a normas sociais modernas de transparência e previsibilidade (por exemplo, stare decisis). Em contraste, Chris Santos-Lang argumentou a favor de redes neurais e algoritmos genéticos com base em que as normas de qualquer idade devem ser alteradas e que a falha natural em satisfazer totalmente essas normas específicas foi essencial para tornar os humanos menos vulneráveis do que as máquinas a "hackers" criminosos.
Em 2009, em um experimento no Laboratório de Sistemas Inteligentes da Escola Politénica Federal de Lausana, na Suíça, robôs de IA foram programados para cooperar entre si e encarregados de buscar um recurso benéfico, evitando um recurso venenoso. Durante o experimento, os robôs foram agrupados em clãs, e o código genético digital dos membros bem-sucedidos foi usado para a próxima geração, um tipo de algoritmo conhecido como algoritmo genético. Após 50 gerações sucessivas na IA, os membros de um clã descobriram como distinguir o recurso benéfico do venenoso. Os robôs então aprenderam a mentir uns para os outros na tentativa de acumular o recurso benéfico de outros robôs. No mesmo experimento, os mesmos robôs de IA também aprenderam a se comportar de forma altruísta e sinalizaram perigo para outros robôs, e também morreram para salvar outros robôs. As implicações desse experimento foram contestadas por especialistas em ética de máquinas. No experimento da Escola Politécnica Federal, os objetivos dos robôs foram programados para serem "terminais". Em contraste, as motivações humanas normalmente têm a qualidade de exigir um aprendizado sem fim.

### Sistemas de armas autônomas

Em 2009, acadêmicos e especialistas técnicos participaram de uma conferência para discutir o impacto potencial de robôs e computadores e o impacto da possibilidade hipotética de se tornarem autossuficientes e capazes de tomar suas próprias decisões. Eles discutiram a possibilidade e a extensão em que computadores e robôs poderiam adquirir qualquer nível de autonomia, e até que ponto eles poderiam usar tais habilidades para possivelmente representar qualquer ameaça ou perigo. Eles observaram que algumas máquinas adquiriram várias formas de semi-autonomia, incluindo a capacidade de encontrar fontes de energia por conta própria e de escolher independentemente alvos para atacar com armas. Eles também observaram que alguns vírus de computador podem evitar a eliminação e alcançaram "inteligência de barata". Eles observaram que a autoconsciência descrita na ficção científica é provavelmente improvável, mas que havia outros perigos e armadilhas potenciais.
Alguns especialistas e acadêmicos questionaram o uso de robôs para o combate militar, especialmente quando esses robôs recebem algum grau de funções autônomas. A marinha dos EUA financiou um relatório que indica que, à medida que os robôs militares se tornam mais complexos, deve haver maior atenção às implicações de sua capacidade de tomar decisões autônomas. O presidente da Associação para o Avanço da Inteligência Artificial encomendou um estudo para analisar esta questão. Eles apontam para programas como o Dispositivo de Aquisição de Linguagem, que pode emular a interação humana.

### Integração de Inteligências Artificiais Gerais com a sociedade

Trabalhos preliminares foram conduzidos sobre métodos de integração de inteligências artificiais gerais (agentes éticos completos, conforme definido acima) com as estruturas legais e sociais existentes. As abordagens se concentraram na consideração de seus direitos e posições legais.

### Viés em aprendizado de máquina

O big data e os algoritmos de aprendizado de máquina tornaram-se populares entre vários setores, incluindo publicidade on-line, classificações de crédito e sentenciamento criminal, com a promessa de fornecer resultados mais objetivos e orientados por dados, mas foram identificados como uma fonte potencial para perpetuar desigualdades sociais e discriminação. Um estudo de 2015 descobriu que as mulheres eram menos propensas a ver anúncios de emprego de alta renda pelo AdSense do Google. Outro estudo descobriu que o serviço de entrega no mesmo dia da Amazon foi tornado indisponível intencionalmente em bairros de negros. Tanto o Google quanto a Amazon não conseguiram isolar esses resultados em um único problema, mas explicaram que os resultados eram o resultado dos algoritmos de caixa preta que usaram.
O sistema judicial dos Estados Unidos começou a usar software de avaliação quantitativa de risco ao tomar decisões relacionadas à libertação de pessoas sob fiança e sentença em um esforço para ser mais justo e reduzir uma já alta taxa de prisão. Essas ferramentas analisam o histórico criminal de um réu, entre outros atributos. Em um estudo com 7.000 pessoas presas no condado de Broward, Flórida, apenas 20% dos indivíduos que cometeriam um crime de acordo com as previsões do sistema de pontuação de avaliação de risco do condado realmente cometeram um crime. Um relatório da ProPublica de 2016 analisou as pontuações de risco de reincidência calculadas por uma das ferramentas mais usadas, o sistema Northpointe COMPAS, e analisou os resultados ao longo de dois anos. O relatório descobriu que apenas 61% das pessoas consideradas de alto risco acabaram cometendo crimes adicionais durante aquele período. O relatório também sinalizou que os réus afro-americanos eram muito mais propensos a receber pontuações de alto risco em relação aos réus brancos.
Em 2016, o Grupo de Trabalho em Big Data do governo Obama – um supervisor de várias estruturas regulatórias de big data – divulgou relatórios argumentando sobre “o potencial de codificar a discriminação em decisões automatizadas” e pedindo “oportunidades iguais por projeto” para aplicações como pontuação de crédito. Os relatórios incentivam o diálogo entre formuladores de políticas, cidadãos e acadêmicos, mas reconhece que não há uma solução potencial para a codificação de preconceito e discriminação em sistemas algorítmicos.

## Frameworks e práticas éticas
### Práticas

Em março de 2018, em um esforço para abordar as crescentes preocupações sobre o impacto do aprendizado de máquina nos direitos humanos, o Fórum Econômico Mundial e o Conselho de Futuro Global de Direitos Humanos publicaram um white paper com recomendações detalhadas sobre a melhor forma de evitar resultados discriminatórios no aprendizado de máquina. O Fórum Econômico Mundial desenvolveu quatro recomendações com base nos Princípios Orientadores de Direitos Humanos da ONU para ajudar a abordar e prevenir resultados discriminatórios no aprendizado de máquina.
As recomendações do Fórum Econômico Mundial são as seguintes:
* Inclusão ativa: o desenvolvimento e o design de aplicações de aprendizado de máquina devem buscar ativamente uma diversidade de entradas, especialmente das normas e valores de populações específicas afetadas pela saída dos sistemas de IA
* Justiça: As pessoas envolvidas na conceituação, desenvolvimento e implementação de sistemas de aprendizado de máquina devem considerar qual definição de justiça melhor se aplica ao seu contexto e aplicação e priorizá-la na arquitetura do sistema de aprendizado de máquina e suas métricas de avaliação
* Direito ao Entendimento: O envolvimento de sistemas de aprendizado de máquina na tomada de decisões que afete os direitos individuais deve ser divulgado e os sistemas devem ser capazes de fornecer uma explicação de sua tomada de decisão que seja compreensível para os usuários finais e revisável por uma autoridade humana competente. Onde isso é impossível e os direitos estão em jogo, os líderes no design, implantação e regulamentação da tecnologia de aprendizado de máquina devem questionar se ela deve ou não ser usada
* Acesso à reparação: Líderes, designers e desenvolvedores de sistemas de aprendizado de máquina são responsáveis por identificar os possíveis impactos negativos de seus sistemas sobre os direitos humanos. Eles devem criar vias visíveis de reparação para aqueles afetados por impactos díspares e estabelecer processos para a reparação oportuna de quaisquer resultados discriminatórios.
Em janeiro de 2020, o Berkman Klein Center for Internet and Society da Universidade de Harvard publicou um meta-estudo de 36 conjuntos proeminentes de princípios para IA, identificando oito temas-chave: privacidade, responsabilidade, segurança e proteção, transparência e explicabilidade, justiça e não discriminação, controle humano da tecnologia, responsabilidade profissional e promoção dos valores humanos. Um meta-estudo semelhante foi realizado por pesquisadores do Instituto Federal Suíço de Tecnologia em Zurique em 2019.

### Abordagens

Várias tentativas foram feitas para tornar a ética computável, ou pelo menos formal. Enquanto as Três Leis da Robótica de Isaac Asimov geralmente não são consideradas adequadas para um agente moral artificial, tem sido estudado se o imperativo categórico de Kant pode ser usado. No entanto, tem sido apontado que o valor humano é, em alguns aspectos, muito complexo. Uma maneira de superar explicitamente essa dificuldade é receber valores humanos diretamente dos humanos por meio de algum mecanismo, por exemplo, aprendendo-os. Outra abordagem é basear as considerações éticas atuais em situações semelhantes anteriores. Isso se chama casuística e poderia ser implementado por meio de pesquisas na Internet. O consenso de um milhão de decisões anteriores levaria a uma nova decisão que dependeria da democracia. O professor Bruce M. McLaren construiu um modelo computacional de casuística no início (em meados da década de 1990), especificamente um programa chamado SIROCCO construído com IA e técnicas de raciocínio baseado em casos que recupera e analisa dilemas éticos. Essa abordagem pode, no entanto, levar a decisões que refletem preconceitos e comportamentos antiéticos exibidos na sociedade. Os efeitos negativos dessa abordagem podem ser vistos no Tay (bot) da Microsoft, onde o chatterbot aprendeu a repetir mensagens racistas e sexualmente carregadas enviadas por usuários do Twitter.
Um experimento mental se concentra em um Genie Golem com poderes ilimitados apresentando-se ao leitor. Este gênio declara que retornará em 50 anos e exige que lhe seja fornecido um conjunto definido de moral sobre o qual agirá imediatamente. O objetivo deste experimento é iniciar um discurso sobre a melhor forma de lidar com a definição de um conjunto completo de ética que os computadores possam entender.

## Na ficção

Na ficção científica, filmes e romances brincaram com a ideia de senciência em robôs e máquinas.
O filme Chappie (2015), de Neill Blomkamp, encenou um cenário em que é possível transferir a consciência de alguém para um computador. O filme Ex Machina (2014), de Alex Garland, seguiu um androide com inteligência artificial passando por uma variação do teste de Turing, um teste administrado a uma máquina para ver se seu comportamento pode ser distinguível do de um humano. Obras como Terminator (1984) e Matrix (1999) incorporam o conceito de máquinas que se voltam contra seus mestres humanos (ver inteligência artificial).
Isaac Asimov considerou a questão na década de 1950 em I, Robot. Por insistência de seu editor John W. Campbell Jr., ele propôs as Três Leis da Robótica para governar sistemas artificialmente inteligentes. Grande parte de seu trabalho foi então gasto testando os limites de suas três leis para ver onde elas falhariam ou onde criariam um comportamento paradoxal ou imprevisto. Seu trabalho sugere que nenhum conjunto de leis fixas pode antecipar suficientemente todas as circunstâncias possíveis. No romance de Philip K. Dick, Androides sonham com ovelhas elétricas? (1968), ele explora o que significa ser humano. Em seu cenário pós-apocalíptico, ele questionou se a empatia era uma característica inteiramente humana. Sua história é a base do filme de ficção científica Blade Runner (1982).

## Áreas relacionadas

* Computação afetiva
* Ética formal
* Bioética
* Teoria computacional da mente
* Ética informática
* Ética da inteligência artificial
* Psicologia moral
* Filosofia da inteligência artificial
* Filosofia da mente