# Inteligência artificial explicável

Uma inteligência artificial explicável (IAE, IA explicável, ou XAI) é uma inteligência artificial (IA) em que os resultados da solução podem ser compreendidos por humanos. Isso contrasta com o conceito de "caixa preta" no aprendizado de máquina, em que nem mesmo seus designers podem explicar por que uma IA chegou a uma decisão específica. A IAE pode ser uma implementação do direito à explicação social. A IAE é relevante mesmo se não houver nenhum direito legal ou requisito regulatório—por exemplo, a IAE pode melhorar a experiência do usuário de um produto ou serviço ajudando os usuários finais a confiar que a IA está tomando boas decisões. Assim, o objetivo da IAE é explicar o que foi feito, o que é feito agora, o que será feito a seguir e desvendar as informações nas quais as ações se baseiam. Essas características permitem (i) confirmar o conhecimento existente (ii) contestar o conhecimento existente e (iii) gerar novas suposições.
Os algoritmos usados em IA podem ser separados entre algoritmos de aprendizado de máquina (ML) de caixa branca e caixa preta. Os modelos de caixa branca são modelos de ML que fornecem resultados compreensíveis por especialistas no domínio. Os modelos de caixa preta, por outro lado, são extremamente difíceis de explicar e dificilmente podem ser entendidos mesmo por especialistas no domínio. Considera-se que os algoritmos de IAE seguem três princípios: transparência, interpretabilidade e explicabilidade. A transparência está presente “se os processos que extraem parâmetros de modelo de dados de treinamento e geram rótulos de dados de teste podem ser descritos e motivados pelo designer de abordagem”. A interpretabilidade descreve a possibilidade de compreender o modelo de ML e de apresentar a base subjacente para a tomada de decisão de uma forma que seja compreensível por humanos. A explicabilidade é um conceito reconhecido como importante, mas uma definição conjunta ainda não está disponível. Sugere-se que a explicabilidade em ML pode ser considerada como “a coleção de características do domínio interpretável, que contribuíram para que um dado exemplo produzisse uma decisão (por exemplo, classificação ou regressão)”. Se os algoritmos atendem a esses requisitos, eles fornecem uma base para justificar decisões, rastreá-las e, portanto, verificá-las, melhorar os algoritmos e explorar novos fatos.
Às vezes, também é possível obter um resultado com alta precisão com um algoritmo de ML de caixa branca que pode ser interpretado por si mesmo. Isso é especialmente importante em domínios como medicina, defesa, finanças e direito, onde é crucial entender as decisões e construir confiança nos algoritmos.
Os sistemas de IA otimizam o comportamento para satisfazer um sistema de objetivos especificado matematicamente, escolhido pelos projetistas do sistema, como o comando "maximizar a precisão da avaliação de quão positivas são as críticas de filmes no conjunto de dados de teste". A IA pode aprender regras gerais úteis do conjunto de testes, como "avaliações que contenham a palavra 'horrível' provavelmente serão negativas". No entanto, ela também pode aprender regras inadequadas, como "resenhas contendo 'Daniel Day-Lewis' geralmente são positivas"; tais regras podem ser indesejáveis se forem consideradas susceptíveis de falhar na generalização fora do conjunto de teste, ou se as pessoas considerarem que a regra "trapaceia" ou é "injusta". Um ser humano pode auditar regras em um XAI para ter uma ideia da probabilidade de o sistema generalizar para dados futuros do mundo real fora do conjunto de teste.

## Objetivos

A cooperação entre agentes, neste caso algoritmos e humanos, depende da confiança. Se os humanos devem aceitar prescrições algorítmicas, eles precisam confiar nelas. A incompletude na formalização de critérios de confiança é uma barreira para abordagens de otimização diretas. Por esse motivo, interpretabilidade e explicabilidade são postulados como objetivos intermediários para verificar outros critérios.
Os sistemas de IA às vezes aprendem truques indesejáveis que fazem um trabalho ótimo no que diz respeito a satisfazer objetivos pré-programados explícitos nos dados de treinamento, mas que não refletem os complicados desejos implícitos dos projetistas de sistemas humanos. Por exemplo, um sistema de 2017 com a tarefa de reconhecimento de imagem aprendeu a "trapacear" procurando uma marca de direitos autorais associada a imagens de cavalos, em vez de aprender como saber se um cavalo foi realmente fotografado. Em outro sistema de 2017, uma IA de aprendizagem supervisionada com a tarefa de agarrar itens em um mundo virtual aprendeu a trapacear colocando seu manipulador entre o objeto e o visualizador de uma forma que parecesse falsamente estar agarrando o objeto.
Um projeto de transparência, o programa DARPA XAI, visa produzir modelos de "caixa de vidro" que podem ser explicados por um "humano no circuito", sem sacrificar muito o desempenho da IA. Os usuários humanos devem ser capazes de entender a cognição da IA (tanto em tempo real quanto após o fato) e devem ser capazes de determinar quando confiar na IA e quando desconfiar dela. Outras aplicações de XAI são a extração de conhecimento de modelos de caixa preta e comparações de modelos. O termo “caixa de vidro” também tem sido utilizado para designar sistemas que monitoram as entradas e saídas de um sistema, com o objetivo de verificar a aderência do sistema a valores éticos e sócio-legais e, portanto, produzir explicações baseadas em valores. Além disso, o mesmo termo foi usado para nomear um assistente de voz que produz afirmações contrafactuais como explicações.

## História e métodos

No período dos anos 1970 a 1990, foram explorados sistemas de raciocínio simbólico, como MYCIN, GUIDON, SOPHIE, e PROTOS que poderiam representar, raciocinar e explicar seu raciocínio para o diagnóstico, para fins instrucionais ou para aprendizado de máquina (aprendizado baseado em explicação). O MYCIN, desenvolvido no início dos anos 1970 como um protótipo de pesquisa para diagnosticar infecções bacterêmicas da corrente sanguínea, poderia explicar quais de suas regras codificadas manualmente contribuíram para um diagnóstico em um caso específico. A pesquisa em sistemas de tutoria inteligentes desenvolveu sistemas como o SOPHIE que poderiam atuar como um 'especialista articulado', explicando a estratégia de resolução de problemas em um nível que estudantes pudessem entender, para que soubessem qual ação tomar a seguir. Por exemplo, a SOPHIE poderia explicar o raciocínio qualitativo por trás de sua solução de problemas eletrônicos, embora, em última análise, se utilizava do simulador de circuito SPICE. Da mesma forma, o GUIDON adicionou regras de tutorial para complementar as regras de nível de domínio do MYCIN para que pudesse explicar a estratégia de diagnóstico médico. Abordagens simbólicas para aprendizado de máquina, especialmente aquelas baseadas na aprendizagem baseada em explicações, como o PROTOS, explicitamente dependiam de representações de explicações, tanto para explicar suas ações quanto para adquirir novos conhecimentos.
Da década de 1980 até o início de 1990, foram desenvolvidos sistemas de manutenção de verdade (TMS) para estender as capacidades de sistemas de raciocínio causal, baseado em regras e baseados em lógica.$^{:360–362}$ Um TMS atua para rastrear explicitamente linhas alternativas de raciocínio, justificativas para conclusões e linhas de raciocínio que levam a contradições, permitindo que raciocínios futuros evitem esses becos sem saída. Para fornecer explicação, eles rastreiam o raciocínio de conclusões a suposições por meio de operações de regras ou inferências lógicas, permitindo que explicações sejam geradas a partir dos rastros de raciocínio. Por exemplo, considere um solucionador de problemas baseado em regras com apenas algumas regras sobre Sócrates que conclui que ele morreu por envenenamento:
Na década de 1990, os pesquisadores também começaram a estudar se é possível extrair de forma significativa as regras não codificadas manualmente geradas por redes neurais opacas treinadas. Pesquisadores em sistemas especialistas clínicos que criam suporte de decisão alimentado por rede neural para médicos têm procurado desenvolver explicações dinâmicas que permitam que essas tecnologias sejam mais confiáveis e confiáveis na prática. Na década de 2010, as preocupações do público sobre o preconceito racial e outros preconceitos no uso de IA para decisões de condenações criminais e conclusões de credibilidade podem ter levado a um aumento da demanda por inteligência artificial transparente. Como resultado, muitos acadêmicos e organizações estão desenvolvendo ferramentas para ajudar a detectar preconceitos em seus sistemas.
Marvin Minsky et al. levantaram a questão de que a IA pode funcionar como uma forma de vigilância, com os preconceitos inerentes à vigilância, sugerindo HI (inteligência humanística) como uma forma de criar uma IA com o envolvimento de um "humano no ciclo" (human-in-the-loop) mais justa e equilibrada.
As técnicas modernas de IA complexas, como aprendizagem profunda e algoritmos genéticos, são naturalmente opacas. Para resolver esse problema, muitos métodos novos foram desenvolvidos para tornar os novos modelos mais explicáveis e interpretáveis. Isso inclui muitos métodos, como propagação de relevância em camadas (LRP), uma técnica para determinar quais características em um vetor de entrada específico contribuem mais fortemente para a saída de uma rede neural. Outras técnicas foram desenvolvidas para explicar uma predição particular feita por um modelo de caixa preta (não linear), um objetivo conhecido como "interpretabilidade local". É importante notar que a mera transposição dos conceitos de interpretabilidade local para um contexto remoto (onde o modelo caixa-preta é executado em um terceiro) está atualmente sob escrutínio.
Adicionalmente, tem havido trabalho em árvores de decisão, conjuntos de árvores e redes Bayesianas, que são mais transparentes para a inspeção. Em 2018, houve uma conferência interdisciplinar chamada FAT* (Fairness, Accountability, and Transparency) para estudar transparência e explicabilidade no contexto de sistemas sociotécnicos, muitos dos quais incluem inteligência artificial.
Algumas técnicas permitem visualizações das entradas às quais os neurônios individuais respondem mais fortemente. Vários grupos descobriram que os neurônios podem ser agregados em circuitos que realizam funções compreensíveis por humanos, algumas das quais surgem de forma confiável em diferentes redes treinadas de forma independente.
Em um nível superior, existem várias técnicas para extrair representações compactadas das características de determinadas entradas, que podem então ser analisadas por técnicas de agrupamento padrão. Alternativamente, as redes podem ser treinadas para produzir explicações linguísticas de seu comportamento, que são então diretamente interpretáveis por humanos. O comportamento do modelo também pode ser explicado com referência aos dados de treinamento - por exemplo, avaliando quais entradas de treinamento influenciaram mais um determinado comportamento.

## Regulamentação

À medida que reguladores, órgãos oficiais e usuários em geral passam a depender de sistemas dinâmicos baseados em IA, uma responsabilidade mais clara será necessária para os processos de tomada de decisão para garantir a confiança e a transparência. A evidência desse requisito ganhando mais impulso pode ser vista com o lançamento da primeira conferência global exclusivamente dedicada a esta disciplina emergente, a International Joint Conference on Artificial Intelligence: Workshop on Explainable Artificial Intelligence (XAI).
A União Europeia introduziu um direito de explicação no Direito Geral de Proteção de Dados (GDPR) como uma tentativa de lidar com os problemas potenciais decorrentes da crescente importância dos algoritmos. A implementação da regulamentação teve início em 2018. No entanto, o direito de explicação no GDPR cobre apenas o aspecto local da interpretabilidade. Nos Estados Unidos, as seguradoras devem ser capazes de explicar suas decisões de taxas e cobertura.

## Setores

A IAE tem sido pesquisada em muitos setores, incluindo:
* Projeto de antena (antena evoluída)
* Negociação algorítmica (negociação de alta frequência)
* Diagnósticos médicos
* Veículos autônomos
* Análise de texto
* Justiça criminal