# Paradoxo de Simpson

O paradoxo de Simpson (ou reversão de Simpson, efeito Yule-Simpson, paradoxo de amalgamação ou paradoxo de reversão) é um fenômeno em probabilidade e estatística, em que uma tendência aparece em diversos grupos de dados, mas desaparece ou reverte quando esses grupos são combinados.
Este tipo de resultado é encontrado frequentemente em análises estatísticas de pesquisas tanto em ciências sociais quanto ciências médicas e é particularmente problemático quando dados de frequência são interpretados como causais. O paradoxo pode ser resolvido quando relações causais são abordadas apropriadamente na modelagem estatística. Ele é usado para tentar informar o público não especialista sobre os enganos causados por aplicação errônea da estatística. Martin Gardner escreveu um relato popular sobre o paradoxo de Simpson em sua coluna Mathematical Games março de 1976 na revista Scientific American.
Edward H. Simpson descreveu este fenômeno pela primeira vez em um artigo técnico em 1951, mas os estatísticos Karl Pearson et al., em 1899, e Udny Yule, em 1903, já haviam mencionado efeitos semelhantes anteriormente. O nome paradoxo de Simpson foi introduzido por Colin R. Blyth em 1972.

## Exemplos
### Viés de gênero da Universidade de Berkeley

Um dos exemplos mais conhecidos do paradoxo de Simpson é um estudo de preconceito de gênero entre admissões de pós-graduação na Universidade da Califórnia, em Berkeley. Os números de admissão para o outono de 1973 mostraram que os homens que se candidatavam eram mais propensos do que as mulheres a serem admitidos, e a diferença era tão grande que era improvável que fosse devido ao acaso.
| | Total | Total | Homens | Homens | Mulheres | Mulheres |
| | Candidatos | Admitido | Candidatos | Admitido | Candidatos | Admitido |
| Total | 12,763 | 41% | 8,442 | 44% | 4,321 | 35% |
Mas ao examinar os departamentos individualmente, seis dos 85 departamentos mostrou um viés estatisticamente contra a admissão de homens, enquanto apenas quatro tinham viés contra mulheres. De fato, os dados agrupados e corrigidos mostraram um “viés pequeno, mas estatisticamente significativo, em favor das mulheres”. Os dados dos seis maiores departamentos estão listados abaixo:
| Departamento | Total | Total | Homens | Homens | Mulheres | Mulheres |
| Departamento | Candidatos | Admitidos | Candidatos | Admitidos | Candidatos | Admitidos |
| A | 933 | 64% | 825 | 62% | 108 | 82% |
| B | 585 | 63% | 560 | 63% | 25 | 68% |
| C | 918 | 35% | 325 | 37% | 593 | 34% |
| D | 792 | 34% | 417 | 33% | 375 | 35% |
| E | 584 | 25% | 191 | 28% | 393 | 24% |
| F | 714 | 6% | 373 | 6% | 341 | 7% |
| Total | 4526 | 39% | 2691 | 45% | 1835 | 30% |
| Legenda:  A porcentagem de candidatos que admitidos é maior que o outro gênero  A quantidade de candidatos é maior que o outro gênero Negrito: Os dois departamentos com mais candidatos de cada gênero |||||||
O trabalho de pesquisa de Bickel et al. concluíram que as mulheres tenderam, nesse caso, a se inscrever em departamentos competitivos com baixas taxas de admissão mesmo entre candidatos qualificados (como no Departamento de Inglês), enquanto os homens tendem a se inscrever em departamentos menos competitivos com altas taxas de admissão entre os candidatos qualificados (como em engenharia e química).

### Tratamento de pedra nos rins

Este é um exemplo real de um estudo médico comparando as taxas de sucesso de dois tratamentos para cálculos renais.
A tabela abaixo mostra as taxas de sucesso e o número de tratamentos para cálculos renais pequenos e grandes, onde o Tratamento A inclui todos os procedimentos cirúrgicos abertos e o Tratamento B é a nefrolitotomia percutânea (que envolve apenas uma pequena punção). Os números entre parênteses indicam o número de casos de sucesso sobre o tamanho total do grupo.
| | Tratamento A | Tratamento B |
| Pequenas pedras | Grupo 1 93% (81/87) | Grupo 2 87% (234/270) |
| Pedras grandes | Grupo 3 73% (192/263) | Grupo 4 69% (55/80) |
| Ambos | 78% (273/350) | 83% (289/350) |
A conclusão paradoxal é que o tratamento A é mais eficaz quando usado em pedras pequenas, e também quando usado em pedras grandes, mas o tratamento B é mais eficaz ao considerar os dois tamanhos ao mesmo tempo. Neste exemplo, a variável “à espreita” (ou variável de confusão) é a gravidade do caso. Há uma tendência dos médicos de favorecer o tratamento B para casos menos graves, e a importância disso que não era previamente conhecida como importante até que seus efeitos fossem incluído.
Qual tratamento é considerado melhor é determinado por uma desigualdade entre duas razões (sucessos / total). A inversão da desigualdade entre as razões, que cria o paradoxo de Simpson, acontece porque dois efeitos ocorrem juntos:
* Os tamanhos dos grupos, que são combinados quando a variável oculta é ignorada, são muito diferentes. Os médicos tendem a dar aos casos graves (pedras grandes) o melhor tratamento (A), e os casos mais leves (pedras pequenas) ao tratamento inferior (B). Portanto, os totais são dominados pelos grupos 3 e 2, e não pelos dois grupos muito menores 1 e 4.
* A variável oculta tem um grande efeito nas proporções; ou seja, a taxa de sucesso é mais fortemente influenciada pela gravidade do caso do que pela escolha do tratamento. Portanto, o grupo de pacientes com cálculos grandes utilizando o tratamento A (grupo 3) teve pior prognóstico que o grupo com cálculos pequenos (grupos 1 e 2), mesmo quando estes utilizaram o tratamento inferior B (grupo 2).
O paradoxo surge da supressão do efeito causal da gravidade no sucesso do tratamento. O resultado paradoxal pode ser reformulado mais precisamente da seguinte forma: quando o tratamento menos eficaz (B) é aplicado com maior frequência a casos menos graves, pode parecer um tratamento mais eficaz.

### Médias de rebatidas

Um exemplo comum do paradoxo de Simpson envolve as médias de rebatidas dos jogadores no beisebol profissional. Um jogador pode ter uma média de rebatidas mais alta que outro a cada ano por vários anos, mas no fim, tenha uma média de rebatidas quando o todo é considerado. Esse fenômeno pode ocorrer quando há grandes diferenças no número de 'at bats' entre os anos. (A mesma situação se aplica ao cálculo das médias de rebatidas para a primeira metade da temporada de beisebol, e durante a segunda metade, e depois combinando todos os dados para a média de rebatidas da temporada.)
Um exemplo real é fornecido por Ken Ross e envolve a média de rebatidas de dois jogadores de beisebol, Derek Jeter e David Justice , durante os anos de 1995 e 1996:
Nos anos de 1995 e 1996, David Justice teve uma média de rebatidas mais alta (em negrito) do que a de Jeter. No entanto, quando as duas temporadas de beisebol são combinadas, Jeter mostra uma média de rebatidas maior do que a de Justice. Segundo Ross, esse fenômeno seria observado aproximadamente uma vez por ano entre possíveis comparações de jogadores de beisebol interessantes.
O paradoxo de Simpson também pode ser ilustrado usando o espaço vetorial bidimensional. Uma taxa de sucesso de ${\overrightarrow {A}}=(q,p)$, com uma inclinação de $\textstyle {\frac {p}{q}}$ . Um declive maior, significando uma direção vetorial mais acentuada, representa uma semana com um maior taxa de sucesso. Se duas taxas $\textstyle {\frac {p_{1}}{q_{1}}}$ e$\textstyle {\frac {p_{2}}{q_{2}}}$ são combinados, como acima, o resultado pode ser representado pela soma dos vetores$(q_{1},p_{1})$e $(q_{2},p_{2})$ , que conforme a regra do paralelogramo é o vetor $(q_{1}+q_{2},p_{1}+p_{2})$com declive $\textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}$ . O paradoxo de Simpson diz que mesmo se um vetor ${\overrightarrow {L_{1}}}$(em laranja na figura) tem uma inclinação menor do que outro vetor ${\overrightarrow {B_{1}}}$ (em azul) e ${\overrightarrow {L_{2}}}$ tem uma inclinação menor do que ${\overrightarrow {B_{2}}}$, a soma dos dois vetores ${\overrightarrow {L_{1}}}+{\overrightarrow {L_{2}}}$pode ainda ter uma inclinação maior do que a soma dos dois vetores ${\overrightarrow {B_{1}}}+{\overrightarrow {B_{2}}}$, como mostrado no exemplo.

## Correlação entre variáveis

O paradoxo de Simpson também pode surgir para correlações. Nesse caso, duas variáveis que aparentam ter (digamos) uma correlação positiva uma com a outra, na verdade têm uma correlação negativa devido a alguma variável de confusão “à espreita”. Berman et al. fornece um exemplo no contexto da economia, onde um conjunto de dados sugeriria que a demanda total estaria positivamente correlacionada com o preço (ou seja, preços mais altos levam a mais demanda), em contradição com a expectativa. Uma análise detalhada revela que o tempo é a variável de confusão: a plotagem de preço e demanda versus tempo revela a correlação negativa esperada em vários períodos. Se a influência do tempo for ignorada pela simples plotagem da demanda em relação ao preço, a correlação se inverte.

## Implicações para tomada de decisão

O significado prático do paradoxo de Simpson fica claro nas situações de tomada de decisão, onde ele apresenta o seguinte dilema: Quais dados devemos consultar ao escolher uma ação, o agregado ou o particionado? No exemplo médico acima, fica claro que se alguém for diagnosticado com “Pedras Pequenas” ou “Pedras Grandes”, os dados para a respectiva subpopulação devem ser consultados e o Tratamento A será preferido ao Tratamento B. Mas e se o tamanho da pedra não é conhecido? Seria apropriado consultar os dados agregados e administrar o Tratamento B? Isso seria contrário ao senso comum; um tratamento que é preferido tanto sob uma condição quanto sob sua negação também deve ser preferido quando a condição é desconhecida.
Por outro lado, se os dados particionados devem ser preferidos a priori, o que impede que alguém particione os dados em subcategorias arbitrárias (digamos, baseadas na cor dos olhos ou na dor pós-tratamento) artificialmente construídas para produzir escolhas erradas de tratamentos? Pearl mostra que, de fato, em muitos casos, são os dados agregados, não os particionados, que dão a escolha correta da ação. Pior ainda, dada a mesma tabela, às vezes deve-se seguir os dados particionados e, às vezes, agregados, dependendo da história por trás dos dados, com cada história ditando sua própria escolha. Pearl considera que este é o verdadeiro paradoxo por trás da reversão de Simpson.
Quanto ao porquê e como uma história, e não dados, deve ditar escolhas, a resposta é que é a história que codifica as relações causais entre as variáveis. Uma vez que explicamos essas relações e as representamos formalmente, podemos testar qual partição dá a preferência de tratamento correta. Por exemplo, se representarmos relacionamentos causais em um grafo chamado “diagrama causal” (ver redes bayesianas), podemos testar se os nós que representam a partição proposta interceptam caminhos espúrios no diagrama. Esse teste, chamado de “porta dos fundos” (“backdoor”), reduz o paradoxo de Simpson a um exercício de teoria dos grafos.

## Psicologia

O interesse psicológico no paradoxo de Simpson visa explicar por que as pessoas consideram a reversão de sinais como impossível no início, estranhando a ideia de que uma ação escolhida tanto em uma condição quanto em sua negação, deveria ser rejeitada quando a condição é desconhecida. A questão é de onde as pessoas obtêm essa forte intuição e como ela está codificada na mente.
O paradoxo de Simpson demonstra que essa intuição não pode ser derivada da lógica clássica ou do cálculo de probabilidade. Isso levou os filósofos a especular que ela seria apoiada por uma lógica causal inata que guia as pessoas no raciocínio sobre as ações e suas consequências. O princípio de certeza de Savage é um exemplo do que tal lógica pode implicar. Uma versão qualificada do princípio de certeza de Savage pode ser derivada do do-calculus de Pearl e diz: “Uma ação A que aumenta a probabilidade de um evento B em cada subpopulação C$_i$ de C também deve aumentar a probabilidade de B a população como um todo, desde que a ação não altere a distribuição das subpopulações.” Isto sugere que o conhecimento sobre ações e consequências é armazenado em uma forma semelhante à das Redes Bayesianas Causais.

## Probabilidade

Um artigo escrito por Pavlides e Perlman apresenta uma prova, que em uma tabela aleatória 2 × 2 × 2 com distribuição uniforme, o paradoxo de Simpson irá ocorrer com uma probabilidade de exatamente $^{1/60.}$ Um estudo de Kock sugere que a probabilidade de que o paradoxo de Simpson ocorra aleatoriamente em modelos de trajetória (ou seja, modelos gerados pela análise de trajetória) com dois preditores e uma variável de critério é de aproximadamente 12,8%; ligeiramente maior que 1 ocorrência por 8 modelos de caminho.