# Significância estatística

A análise da significância estatística é considerada um procedimento para verificar a discrepância de uma hipótese estatística em relação aos dados observados, utilizando uma medida de evidência (p-valor). Este procedimento foi definido por Ronald Fisher no início do século XX como teste de significância. Entretanto, cabe notar que o termo significância não implica importância e o termo significância estatística não quer dizer significância prática. Por exemplo, o termo significância clínica se refere à importância prática do efeito de um tratamento.
O nível de significância $\alpha$ é a probabilidade de rejeitar a hipótese nula quando ela é verdadeira (conhecido como erro do tipo I). Em testes de hipóteses estatísticas, diz-se que há significância estatística ou que o resultado é estatisticamente significante quando o p-valor observado é menor que o nível de significância $\alpha$ definido para o estudo. O nível de significância é geralmente determinado pelo pesquisador antes da coleta dos dados e é tradicionalmente fixado em 0,05 ou menos, dependendo da área de estudo. Em muitas áreas de estudo, resultados com nível de significância de 0,05 (probabilidade de erro de 5%) são considerados estatisticamente relevantes.
O p-valor (nível descritivo ou probabilidade de significância) é a probabilidade de se obter uma estatística de teste igual ou mais extrema que a estatística observada a partir de uma amostra aleatória de uma população quando a hipótese nula é verdadeira. Em outras palavras, o p-valor é o menor nível de significância para o qual se rejeita a hipótese nula. Por exemplo, a hipótese nula é rejeitada a 5% quando o p-valor é menor que 5%.
Quando se seleciona uma amostra de uma população em um experimento, sempre há possibilidade que um efeito observado ocorra devido a um erro amostral (diferença entre a estimativa da amostra e o parâmetro da população). No entanto, quando o p-valor do efeito for menor que o nível de significância, pode-se concluir que o efeito reflete as características de toda a população e, consequentemente, rejeitar a hipótese nula.

## História

Em 1710, John Arbuthnot (1667 — 1735) fez a primeira tentativa de análise de teste de hipóteses com cálculos probabilísticos. Em An Argument for Divine Providence, Taken From the Constant Regularity Observed in the Births of Both Sexes, Arbuthnot usou séries de dados temporais da proporção de nascimentos de homens e da proporção de nascimentos de mulheres em Londres entre 1629 e 1710 para realizar o primeiro teste de significância por meio da comparação de dados observados e da hipótese nula.
Em 1925, Ronald Fisher (1890 — 1962) avançou o conceito de teste de hipóteses. Em Statistical Methods for Research Workers, Fisher chamou os testes de hipóteses de testes de significância, sugeriu a probabilidade de 0,05 como o nível de corte para rejeitar a hipótese nula e aplicou essa probabilidade a uma distribuição normal com um teste bicaudal.
Em Statistical Methods for Research Workers, Fisher também introduziu o valor aproximado de 1,96 para o 97,5-percentil de uma distribuição normal usado em probabilidade e estatística e popularizou o conceito de p-valor. Apesar da indicação da probabilidade de 0,05, Fisher não pretendia que o nível de significância fosse fixo. O estatístico inglês sugeriu que os níveis de significância fossem estabelecidos de acordo com circunstâncias específicas.
Em 1933, Jerzy Neyman e Egon Pearson aprimoraram o teste de significância, denominaram o nível de corte de nível de significância $\alpha$ e recomendaram que esse valor fosse determinado antes da coleta dos dados.

## Conceitos relacionados
### Teste de hipóteses

O teste de hipóteses é um procedimento estatístico baseado na análise de uma amostra por meio da teoria das probabilidades, utilizado para avaliar determinados parâmetros desconhecidos em uma população. O teste de hipóteses propõe uma hipótese para a relação estatística entre os dois conjuntos de dados comparados. Esta comparação é considerada estatisticamente significante se a relação entre os conjuntos de dados rejeitar a hipótese nula.
Em um teste de hipóteses, a hipótese nula é a hipótese assumida como verdadeira para a construção do teste, a hipótese alternativa é a hipótese considerada quando a hipótese nula não tem evidência estatística, o erro do tipo I é a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira e o erro do tipo II é a probabilidade de não rejeitar a hipótese alternativa quando ela é falsa.

### Nível de significância

O nível de significância $\alpha$ é o limite para o p-valor, abaixo do qual assume-se que a hipótese nula é falsa. O p-valor é a probabilidade de se obter uma estatística de teste igual ou mais extrema que a estatística observada a partir de uma amostra de uma população quando ela é verdadeira. Isto significa que o nível de significância $\alpha$ é o limite superior para a probabilidade de se rejeitar incorretamente a hipótese nula quando ela é verdadeira. O nível de significância corresponde ao erro do tipo I, cujos valores mais comuns são 5% e 1%.

### Nível de confiança

O nível de confiança $\gamma =(1-\alpha )$ é a probabilidade de não rejeitar a hipótese nula quando ela é falsa. Em relação ao intervalo de confiança, o nível de confiança é a frequência com a qual o intervalo observado contém o valor correto para o parâmetro de interesse quando o experimento é repetido várias vezes. Por exemplo, o nível de confiança de 95% significa que 95% dos intervalos de confiança construídos a partir das amostras aleatórias contêm o valor verdadeiro do parâmetro. Em relação ao teste de hipóteses, o nível de confiança é o complemento do nível de significância. Isto é, um intervalo de confiança de 95% reflete um nível de significância de 5%.

## Método de Neyman-Pearson

Há alguns métodos para verificar a significância como o método de Fisher que reporta o p-valor e o método de Jeffreys que utiliza a probabilidade a posteriori $H_{0}$ com base na probabilidade a priori pela distribuição de Cauchy.
O método clássico e não unânime é o método de Neyman-Pearson, no qual em testes de hipóteses formula-se a hipótese nula $H_{0}$ a ser testada e realizam-se os testes para rejeitá-la ou não rejeitá-la. Neste sentido, há quatro situações possíveis:
| | Hipótese nula $H_{0}$ é verdadeira | Hipótese nula $H_{0}$ é falsa |
| Hipótese nula $H_{0}$ é rejeitada | Erro do tipo I | Não há erro |
| Hipótese nula $H_{0}$ não é rejeitada | Não há erro | Erro do tipo II |
Especificamente, o erro do tipo I (também chamado de falso positivo) ocorre quando chega-se a um resultado que aconteceu por acaso, apesar de ter significância estatística. Quando realizar o teste de hipótese, o pesquisador deve tentar maximizar o poder de uma dada significância. Entretanto, o pesquisador precisa reconhecer que o melhor resultado possível é um equilíbrio entre significância e poder (entre o erro do tipo I e o erro do tipo II). O lema de Neyman-Pearson consiste justamente em demonstrar as condições necessárias e suficientes para o teste de hipóteses mais poderoso.
Seja $X_{1},X_{2},\dots ,X_{n}$ uma amostra aleatória com função densidade ou distribuição de probabilidade $f_{X}(x,\theta )$, com $\theta \in \Theta$. Sejam as hipóteses ${\begin{cases}H_{0}:\theta =\theta _{0}\\H_{1}:\theta =\theta _{1}\\\end{cases}}$ e seja $c$ a constante para o nível de significância $\alpha$. Então, o teste $\phi (X)={\begin{cases}1{\text{ se }}f_{X}(x,\theta _{1})>cf_{X}(x,\theta _{0})\\0{\text{ se }}f_{X}(x,\theta _{1})\leq cf_{X}(x,\theta _{0})\\\end{cases}}$ é definido como o teste mais poderoso para o nível de significância $\alpha$ para testar a hipótese nula $H_{0}$ contra a hipótese alternativa $H_{1}$.

## Exemplos
### Fábrica de grãos

Seja uma fábrica qualquer que produz um tipo de grão e cujas máquinas podem encher pacotes para serem vendidos com uma distribuição normal de média $\mu$ e variância $\sigma ^{2}$ sempre igual a $400g^{2}$. As regulagens das máquinas estão programadas para encher os pacotes na fabricação com uma média $\mu =500g$. Para verificar se há falta de regulagem nas máquinas (isto é, se $\mu \neq 500$), periodicamente se obtém uma amostra de 16 pacotes. Se em uma dessas amostras for observada uma média ${\bar {X}}=490g$, será necessário regular as máquinas?
Considerando o peso $X$ de cada pacote, tem-se que $X\sim N(\mu ,400)$. Neste caso, as hipóteses são ${\begin{cases}H_{0}:\mu =500g\\H_{1}:\mu \neq 500g\end{cases}}$. Considerando a variância $\sigma ^{2}=400g^{2}$ para a média ${\bar {X}}$ de 16 pacotes, tem-se que ${\bar {X}}\thicksim N{\Big\mu ,{\frac {400}{16}}{\Big )}$ para todo $\mu$, em que o desvio padrão de ${\bar {X}}$ é $\sigma _{\bar {X}}=5$. Fixando-se o nível de significância $\alpha =1\%$, tem-se que $H_{0}$ deve ser rejeitada quando ${\bar {X}}$ for pequena ou grande demais.
A partir da curva normal padronizada, obtém-se os scores $z_{1}$ e $z_{2}$:
$z_{1}=-2,58={\frac {({\bar {X}}_{c1}-500)}{5}}\Rightarrow {\bar {X}}_{c_{1}}=487,1$
$z_{2}=+2,58={\frac {({\bar {X}}_{c2}-500)}{5}}\Rightarrow {\bar {X}}_{c_{2}}=512,9$
Portanto, a região crítica é definida como $RC=\{{\bar {X}}\in \mathbb {R} |{\bar {X}}\leq 487,1{\text{ ou }}{\bar {X}}\geq 512,9\}$. Neste problema, ${\bar {x}}_{obs}=490$. Portanto, como ${\bar {x}}_{obs}$ não pertence a região crítica, $H_{0}$ não deve ser rejeitada. Lembrando que a região de aceitação é o conjunto de valores do teste estatístico para o qual a hipótese nula não é rejeitada e a região de rejeição ou a região crítica é o conjunto de valores do teste estatístico para o qual a hipótese nula é rejeitada.

### Lançamento de moedas

Se uma moeda é honesta, qual a probabilidade de cair cara entre 40 e 60 vezes em 100 lançamentos?
Para a probabilidade de cair cara para os 100 lances, a média $\mu =100\cdot {\frac {1}{2}}=50$ e o desvio padrão $\sigma ={\sqrt {100\cdot {\frac {1}{2}}\cdot {\frac {1}{2}}}}=5$.
A partir dos scores de $z_{1}$ e $z_{2}$, obtém-se:
$z_{1}={\frac {39,\!5-50}{5}}=-2,\!1$
$z_{2}={\frac {60,\!5-50}{5}}=+2,\!1$.
Logo, a probabilidade desejada é igual a área sob a curva normal padronizada entre $z_{1}=-2,\!1$ e $z_{2}=+2,\!1$. Por meio da tabela padronizada normal, tem-se que a área entre $z_{1}=-2,\!1$ e $z_{2}=+2,\!1$ é igual a $0,\!9642$.
Portanto, sendo $\theta$ o número de caras esperado em 100 lançamentos e estabelecendo ${\begin{cases}H_{0}:40\leq \theta \leq 60\\H_{1}:40<\theta {\text{ ou }}\theta >60\end{cases}}$ como hipóteses, onde $H_{0}$ é a hipótese nula representando uma moeda honesta e $H_{1}$ a hipótese alternativa representando uma moeda desonesta, temos que a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira é a área total da curva normal $(100\%=1)$ menos a probabilidade do número de lançamentos estar entre 40 e 60. Isto é, $1-0,\!9642=0,\!0358$. Logo, a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira é $0,\!0358$. A partir da probabilidade de $0,\!0358$, define-se o nível de significância de $3,\!58\%$.

## Relação com nível de significância e intervalo de confiança

A significância estatística está relacionada ao nível de significância, que é a probabilidade de rejeitar a hipótese nula quando ela é verdadeira (erro do tipo I). Em um teste hipotético com nível de significância igual a 5%, em que fosse possível repetir um número muito grande de amostras para calcular a média, a hipótese nula seria rejeitada quando ela fosse verdadeira em aproximadamente 5% das amostras. Em um experimento real, em que é possível coletar somente uma amostra, espera-se que a amostra seja uma das 95% para as quais a hipótese nula é falsa.
É assim que tem-se a confiança do resultado. Quando se calcula um intervalo de confiança de 95% (equivalente a um erro do tipo I de 5%), tem-se a confiança de que o intervalo contém o parâmetro estimado. Entretanto, quando reporta-se um intervalo, o parâmetro populacional desconhecido está dentro ou fora deste intervalo. Não existe probabilidade deste intervalo conter o parâmetro populacional.
É possível escolher um nível de significância de 5% e calcular um valor crítico de um parâmetro (por exemplo, a média), de modo que a probabilidade do parâmetro exceda o valor crítico dada a hipótese nula verdadeira ao nível de 5%. Se o valor estatístico exceder o valor crítico, o resultado será significante ao nível de 5%. Se o nível de significância for menor, a probabilidade do valor estatístico ser mais extremo que o valor crítico também será menor. Então, um resultado significante ao nível de 1% é mais significante que um resultado significante ao nível de 5%. No entanto, um teste ao nível de significância de 1% é mais susceptível de ter o erro do tipo II que um teste ao nível de significância de 5%. Portanto, terá menos poder estatístico.

## Relação com teste de hipóteses

A significância estatística desempenha um papel fundamental em testes de hipóteses estatísticos, sendo usada para determinar se a hipótese nula deve ou não deve ser rejeitada. Lembrando que a hipótese nula é a suposição padrão de que nada aconteceu ou de que nada mudou. Para a hipótese nula ser rejeitada, um resultado observado precisa ser estatisticamente significante. Isto é, o p-valor precisa ser menor que o nível de significância pré-estabelecido.
Para determinar se o resultado é estatisticamente significante, o pesquisador calcula o p-valor, a probabilidade de observar um efeito dado que a hipótese nula é verdadeira. A hipótese nula é rejeitada se o p-valor for menor que um nível de significância pré-determinado $\alpha$. O nível de significância $\alpha$ é a probabilidade de rejeitar a hipótese nula quando que ela é verdadeira (erro do tipo I). Então, $\alpha$ é geralmente estabelecido em ou abaixo de 5%.
Por exemplo, quando $\alpha$ é estabelecido em 5% (probabilidade de erro do tipo I é 5%), um resultado estatisticamente significante é aquele em que o p-valor observado é menor que 5%. Quando são retirados dados de uma população, isto significa que a região de rejeição compreende 5% da distribuição amostral. Estes 5% podem ser alocados para um lado da distribuição como em um teste unicaudal ou repartidos para os dois lados da distribuição como em um teste bicaudal, com cada cauda (região de rejeição) contendo 2,5% da distribuição.
O uso de um teste unicaudal depende se a questão de pesquisa ou a hipótese alternativa especificam uma única direção. Por exemplo, perguntar se um grupo de objetos é mais pesado que outro ou se o desempenho de estudantes em uma tarefa é melhor que em outra. Nestes casos, um teste bicaudal também pode ser utilizado. Entretanto, o teste bicaudal será menos poderoso que o teste unicaudal porque a região de rejeição para o teste unicaudal é concentrada em uma extremidade da distribuição nula e tem o dobro do tamanho (5% versus 2,5%) de cada região de rejeição para o teste bicaudal. Consequentemente, a hipótese nula pode ser rejeitada com um resultado menos extremo se um teste unicaudal for utilizado. No entanto, o teste unicaudal é mais poderoso que o teste bicaudal apenas se a direção especificada ou a hipótese alternativa forem verdadeiras. Se a direção especificada ou a hipótese alternativa forem falsas, então o teste unicaudal não tem poder.
Os testes de hipóteses são constituídos a partir de alternativas que são testadas. Se uma amostra é selecionada de uma população, é possível tirar conclusões sobre esta amostra por meio da aplicação da teoria de probabilidades. Por exemplo, determinar sua veracidade em relação a composição da população, distinguir entre diferentes populações das quais a amostra pode ter sido retirada, auxiliar na comprovação de uma teoria ou no remodelamento dos métodos dos testes aplicados para sua comprovação, determinar limites estatísticos para uma população (doenças, intenções de voto, salário, entre outros), checar a confiabilidade de um estudo ou contribuir para qualquer tomada de decisão simples, em que seja necessário um rigor estatístico para a comprovação da escolha.
É importante ressaltar que os p-valores de Fisher são filosoficamente semelhantes aos erros do tipo I de Neyman-Pearson. A diferença entre eles não é trivial e reflete a diferença fundamental entre as ideias de Fisher sobre os testes de significância com inferência indutiva e o teste de hipóteses de Neyman-Pearson com procedimento indutivo. Entretanto, muitos livros sobre análise estatística em diferentes áreas de estudo, tanto na graduação quando na pós-graduação abordam o assunto como se fossem um método único de inferência estatística.
Hoje o método considerado clássico é o teste de hipótese de Neyman-Pearson, embora muitas vezes ele seja apresentado com os testes de significância de Fisher. Esta mistura com mais elementos de Fisher do que elementos de Neyman-Pearson e com interpretação bayseana de alguns resultados pode resultar na confusão entre medidas de erro procedimentais, probabilidades frequentistas e probabilidades a posteriori de a hipótese nula ser verdadeira e significância estatística e significância científica dos resultados da pesquisa.

### Limites de significância rigorosos em áreas específicas

Em áreas específicas como física de partículas ou indústria, a significância estatística geralmente é expressa em múltiplos dos desvios padrão ($\sigma$) de uma distribuição normal com limites de significância estabelecidos em um nível muito mais rigoroso (por exemplo, $5\sigma$). Por exemplo, a certeza da existência da partícula Bóson de Higgs foi baseada no critério $5\sigma$, que corresponde ao p-valor de cerca de 1 em 3,5 milhões. Em outras áreas de pesquisa científica como os estudos do genoma, níveis de significância tão baixos quanto $5\cdot 10^{-8}$ não são incomuns.
Especificamente na física de partículas, o padrão $5\sigma$ é usado para considerar o resultado significativo. O padrão $5\sigma$ traduz uma chance em 3,5 milhões de uma flutuação aleatória afetar o resultado, o que representa uma probabilidade de erro inferior a 0,00003% (nível de confiança superior a 99,99997%). Este nível de certeza foi requerido para declarar a primeira detecção de ondas gravitacionais e garantir a descoberta de uma partícula consistente com o bóson de Higgs em dois experimentos independentes na Organização Europeia para a Pesquisa Nuclear (CERN).

## Limitações

Pesquisadores focam exclusivamente se seus resultados são estatisticamente significantes e se eles podem reportar dados que não são substanciais e replicáveis. Há também uma diferença entre significância estatística e significância (ou importância) prática. Um estudo que se mostre estatisticamente significante não necessariamente é praticamente significante, isto é, a significância estatística não implica resultados práticos significantemente diferentes. Por exemplo, em um teste estatístico, um número grande de observações pode fazer com que um resultado minimamente destoante da hipótese nula seja estatisticamente significante, mas que na prática não implica uma diferença tão importante para que a hipótese nula seja rejeitada.

### Tamanho do efeito

Tamanho do efeito é uma medida da significância prática de um estudo. Um resultado estatisticamente significante pode ter um efeito fraco. Para avaliar a significância da pesquisa do seu resultado, pesquisadores são encorajados sempre a reportar o tamanho do efeito junto com os p-valores. Uma medida de tamanho do efeito quantifica o grau em que o efeito está presente na população em estudo. A distância entre duas médias em unidades de desvio padrão, a correlação entre duas variáveis ou seus quadrados são alguns exemplos de medidas do tamanho do efeito.

### Reprodutibilidade

Um resultado estatisticamente significante pode não ser fácil de ser reproduzido. Em particular, alguns resultados estatisticamente significantes serão de fato falsos positivos. Cada tentativa sem sucesso de reproduzir um resultado aumenta a crença que o resultado era um falso positivo.

### Controvérsia sobre uso excessivo

A partir dos anos 2010, algumas publicações começaram a questionar se o teste de significância e, particularmente, o limiar de $\alpha =5\%$ estava sendo muito usado como medida primária de validade de uma hipótese. Algumas revistas chegaram a encorajar os autores a fazer análises mais detalhadas não usando apenas o teste de significância estatística e em alguns casos, como o Journal of Basic and Applied Social Psychology, o uso do teste de significância foi banido dos trabalhos publicados, o que exigiu que os autores usassem outras medidas para avaliar hipótese e impacto.

## Utilizações
### Medicina

Na medicina, o uso do teste de significância pode ser relacionado a vários fatores como a aceitação de uma determinada substância para um tratamento de vírus ou de bactérias, ao risco de morte em uma cirurgia dadas as condições do paciente, se é possível imunizar uma população, entre outros. Isto pode ser analisado a partir da aceitação ou da rejeição de uma hipótese dentro dos parâmetros de significância. Por exemplo, é possível comparar uma população saudável com uma população doente a partir de amostras de sangue de cada população. A amostra da população considerada saudável terá um comportamento diferente da amostra da população considerada doente, de modo que ambas as amostras possuem características estatísticas como desvio padrão, media, mediana e moda. Desta forma, pode-se aproximar as amostras de uma distribuição normal. Comparando as duas amostras, pode-se verificar a sobreposição das curvas normais. Isto é, pode-se verificar o quanto da população saudável pode se tornar doente devido à área crítica.

### Indústria

Na indústria, existem várias preocupações quanto ao custo de produção, a durabilidade, a aceitação de um determinado item, entre outros. Por exemplo, seja uma empresa que deseja verificar a susceptibilidade de uma bateria a impactos termo-elétricos. Existe uma probabilidade $p$ que pode levar a falha da bateria. Desta forma, testa-se se um modelo matemático geométrico será adequado para determinar uma variável aleatória $X$ que indique a quantidade de impactos suportado pela bateria. Para o teste, providencia-se ao acaso uma amostra de $n$ baterias. Supondo uma amostra de $n=40$ baterias, desenvolve-se um teste impondo a cada bateria um impacto termo-elétrico e observa-se em qual bateria irá ocorrer a falha. Desta maneira, é possível construir uma tabela de frequência. A partir dos dados coletados, inicia-se a análise sobre aceitar ou rejeitar a hipótese do modelo matemático geométrico.

### Agronegócio

Na agricultura, examina-se alguns modelos para plantar uma determinada espécie de alimento. Por exemplo, em uma lavoura é comum a incidência de insetos e de outros tipos de pragas. O controle das pragas tende a ser realizado por meio de pesticidas, que matam os insetos e não comprometem a colheita. A verificação do nível de pragas em uma lavoura pode permitir que um agricultor troque o pesticida atual por um pesticida mais barato. Se um agricultor constatar que ao usar um pesticida mais caro até 10% da lavoura contém pragas, ele continua utilizando o mesmo produto para eliminar as pragas. Entretanto, se um agricultor constatar que ao usar um pesticida mais caro mais de 10% da lavoura contém pragas, ele pode passar a utilizar um produto para eliminar as pragas mais barato. Em termos matemáticos, obtém-se uma amostra $n$ da lavoura e calcula-se os parâmetros para o teste de hipótese como a média $\mu$. Então, o agricultor poderá economizar com pesticidas ao realizar um teste de hipóteses com um dado nível de significância para o qual a hipótese nula $H_{0}:\mu <10\%$ não seja rejeitada.