Significancia estatistica e o numero de analises realizadasDesnecessario dizer quanto mais analises sejam realizadas em um conjunto de dados, mais os resultados atingirao "por acaso" o nivel de significancia convencionado. Por exemplo, ao calcular correlacoes entre dez variaveis (45 diferentes coeficientes de correlacao), seria razoavel esperar encontrar por acaso que cerca de dois (um em cada 20) coeficientes de correlacao sao significantes ao nivel-p 0,05, mesmo que os valores das variaveis sejam totalmente aleatorios, e aquelas variaveis nao se correlacionem na populacao. Alguns metodos estatisticos que envolvem muitas comparacoes, e portanto uma boa chance para tais erros, incluem alguma "correcao" ou ajuste para o numero total de comparacoes. Entretanto, muitos metodos estatisticos (especialmente analises exploratorias simples de dados) nao oferecem nenhum remedio direto para este problema. Cabe entao ao pesquisador avaliar cuidadosamente a confiabilidade de descobertas nao esperadas. Forca X Confiabilidade de uma relacao entre variaveisFoi dito anteriormente que forca (magnitude) e confiabilidade sao dois aspectos diferentes dos relacionamentos entre variaveis. Contudo, eles nao sao totalmente independentes. Em geral, em uma amostra de um certo tamanho quanto maior a magnitude da relacao entre variaveis, mais confiavel a relacao.Assumindo que nao ha relacao entre as variaveis na populacao, o resultado mais provavel deveria ser tambem nao encontrar relacao entre as mesmas variaveis na amostra da pesquisa. Assim, quanto mais forte a relacao encontrada na amostra menos provavel e a nao existencia da relacao correspondente na populacao. Entao a magnitude e a significancia de uma relacao aparentam estar fortemente relacionadas, e seria possivel calcular a significancia a partir da magnitude e vice-versa. Entretanto, isso e valido apenas se o tamanho da amostra e mantido constante, porque uma relacao de certa forca poderia ser tanto altamente significante ou nao significante de todo dependendo do tamanho da amostra. Por que a significancia de uma relacao entre variaveis depende do tamanho da amostra?Se ha muito poucas observacoes entao ha tambem poucas possibilidades de combinacao dos valores das variaveis, e entao a probabilidade de obter por acaso uma combinacao desses valores que indique uma forte relacao e relativamente alta. Considere-se o seguinte exemplo:Ha interesse em duas variaveis (sexo: homem, mulher; WCC: alta, baixa) e ha apenas quatro sujeitos na amostra (2 homens e 2 mulheres). A probabilidade de se encontrar, puramente por acaso, uma relacao de 100% entre as duas variaveis pode ser tao alta quanto 1/8. Explicando, ha uma chance em oito de que os dois homens tenham alta WCC e que as duas mulheres tenham baixa WCC, ou vice-versa, mesmo que tal relacao nao exista na populacao. Agora considere-se a probabilidade de obter tal resultado por acaso se a amostra consistisse de 100 sujeitos: a probabilidade de obter aquele resultado por acaso seria praticamente zero.Observando um exemplo mais geral. Imagine-se uma populacao teorica em que a media de WCC em homens e mulheres e exatamente a mesma. Supondo um experimento em que se retiram pares de amostras (homens e mulheres) de um certo tamanho da populacao e calcula-se a diferenca entre a media de WCC em cada par de amostras (supor ainda que o experimento sera