Inferencia estatística

A inferencia estatística é o procedemento que emprega a análise de datos para inferir as propiedades unha distribución de probabilidade subxacente aos mesmos. Desta forma, infírense propiedades dunha poboación, por exemplo, probando hipóteses ou realizando estimacións. Normalmente, o conxunto de datos observado correspóndese cunha mostra dunha poboación máis grande.
A inferencia estatística contraponse coa estatística descritiva. A estatística descritiva céntrase unicamente nas propiedades dos datos observados e non se basean na suposición de que os datos proceden dunha poboación máis grande. En aprendizaxe automática, o termo inferencia ás veces úsase no sentido de "facer unha predición, avaliando un modelo xa adestrado"; neste contexto, a inferencia das propiedades do modelo denomínase adestramento ou aprendizaxe (en lugar de inferencia), e o uso dun modelo para a predición denomínase inferencia (en lugar de predición); véxase tamén inferencia preditiva. Introdución
A inferencia estatística fai proposicións sobre unha poboación, empregando datos extraídos da poboación con algunha forma de mostraxe. Dada unha hipótese sobre unha poboación, para a que desexamos extraer inferencias, a inferencia estatística consiste en (primeiro) seleccionar un modelo estatístico do proceso que xera os datos e (segundo) deducir proposicións a partir do modelo.
Konishi e Kitagawa afirman que "a maioría dos problemas na inferencia estatística pódense considerar problemas relacionados coa modelaxe estatística". De xeito similar, David Cox dixo: "A forma en que se realiza a tradución dun problema temático a un modelo estatístico adoita ser a parte máis crítica dunha análise".
A consecuencia dunha inferencia estatística é unha proposición estatística. Algunhas formas comúns de proposicións estatísticas son as seguintes: Unha estimación puntual, é dicir, un valor particular que é o que mellor se aproxima a algún parámetro de interese.
Unha estimación dada por un intervalo, por exemplo, un intervalo de confianza. Un intervalo de confianza é un intervalo construído empregando datos dunha mostra, de tal xeito que se o procedemento se repetise en moitas mostras independentes (matematicamente, tomando o límite), unha proporción fixa (por exemplo, o 95%) dos intervalos resultantes contería o valor real do parámetro, é dicir, o parámetro da poboación.
Un intervalo crible, é dicir, un conxunto de valores que conteñen, por exemplo, o 95% da crenza posterior.
Rexeitamento dunha hipótese.
Agrupación en clústeres ou clasificación dos datos en grupos. Modelos e suposicións
Calquera inferencia estatística require dalgunhas suposicións. Un modelo estatístico é un conxunto de suposicións relativas á xeración dos datos observados. As descricións dos modelos estatísticos adoitan centrarse no papel das características da poboación de interese, sobre as que desexamos extraer inferencias. As estatísticas descritivas úsanse normalmente como paso preliminar antes de extraer inferencias máis formais.
Modelos segundo as súas suposicións
Distínguense tres tipoloxías de modelos en función da natureza das súas hipóteses: Totalmente paramétrico. As distribucións de probabilidade que describen o proceso de xeración dos datos asúmense que están completamente descritas por unha familia de distribucións de probabilidade que implican só un número finito de parámetros descoñecidos. Por exemplo, pódese asumir que a distribución poboacional é normal, con media e varianza descoñecidas, e que os conxuntos de datos se xeran mediante mostraxe aleatoria simple. A familia dos modelos lineais xeneralizados é unha clase amplamente empregada e flexible de modelos paramétricos.
Non paramétricos. As suposicións feitas sobre o proceso de xeración dos datos son moito menores que nas estatísticas paramétricas, podendo chegar a ser mínimas. Por exemplo, cada distribución de probabilidade continua ten unha mediana, que se pode estimar empregando a mediana mostral ou o estimador de Hodges-Lehmann, que ten boas propiedades cando os datos proveñen dunha mostraxe aleatoria simple.
Semiparamétrico. Este termo normalmente implica suposicións 'intermedias' entre os enfoques totalmente paramétricos e os non paramétricos. Por exemplo, pódese asumir que unha distribución da poboación ten unha media finita. Ademais, pódese supor que o nivel medio de resposta na poboación depende dun xeito verdadeiramente lineal dalgunha covariable (unha suposición paramétrica) pero non facer ningunha suposición paramétrica que describa a varianza arredor desa media (é dicir, sobre a presenza ou posible forma de calquera heteroscedasticidade). De xeito máis xeral, os modelos semiparamétricos adoitan separarse en compoñentes "estruturais" e de "variación aleatoria". Un compoñente trátase parametricamente e o outro non parametricamente. O coñecido modelo de Cox é un conxunto de suposicións semiparamétricas. [Cómpre referencia]
Importancia da validación dos modelos
Sexa cal sexa o tipo de modelo que se considere, a inferencia calibrada correctamente, en xeral, require que as suposicións realizadas sexan correctas; é dicir, que os mecanismos de xeración de datos realmente se especificasen correctamente.
As suposicións incorrectas de mostraxe aleatoria simple poden invalidar os resultados da inferencia estatística. Así mesmo, suposicións semiparamétricas e totalmente paramétricas máis complexas tamén son motivo de preocupación. Por exemplo, supoñer incorrectamente o modelo de Cox pode, nalgúns casos, levar a conclusións erróneas. As suposicións incorrectas de normalidade na poboación tamén invalidan algunhas formas de inferencia baseada na regresión.
O uso de calquera modelo paramétrico é visto con escepticismo pola maioría dos expertos en mostraxe de poboacións humanas: "a maioría dos estatísticos de mostraxe, cando tratan con intervalos de confianza, limítanse a afirmacións sobre estimadores baseadas en mostras moi grandes, onde o teorema do central do límite garante que estes estimadores terán distribucións case normais". En particular, unha distribución normal "sería unha suposición totalmente irreal e catastroficamente imprudente se estivésemos a tratar con calquera tipo de poboación económica". Aquí, o teorema do límite central afirma que a distribución da media mostral "para moi mostras grandes" ten unha distribución aproximadamente normal, se a distribución non ten cola pesada.
Distribucións aproximadas
Dada a dificultade para especificar distribucións exactas das estatísticas mostrais, desenvolvéronse múltiples métodos para aproximalas.
Para mostras finitas, existe resultados da teoría da aproximación que miden o preto que se achega unha distribución límite á distribución mostral da estatística. Por exemplo, con 10. 000 mostras independentes, a distribución normal aproxima (con dous díxitos de precisión) a distribución da media mostral para moitas distribucións de poboación, mediante o teorema de Berry-Esseen. Con todo, para moitos fins prácticos, a aproximación por unha normal proporciona unha boa aproximación á distribución da media mostral cando hai 10 (ou máis) mostras independentes.
Seguindo o traballo de Kolmogorov na década de 1950, a estatística avanzada emprega a teoría da aproximación e a análise funcional para cuantificar o erro de aproximación. Nesta abordaxe, estúdase a xeometría métrica das distribucións de probabilidade; este enfoque cuantifica o erro de aproximación con, por exemplo, a diverxencia de Kullback-Leibler, a diverxencia de Bregman ou a distancia de Hellinger.
Con mostras indefinidamente grandes, os resultados límite como o teorema central do límite describen a distribución límite do estatístico mostral, se existe algunha. Os resultados límite non son afirmacións sobre mostras finitas e, de feito, son irrelevantes para as mesmas. Non obstante, a teoría asintótica das distribucións límite adoita empregarse para traballar con mostras finitas. Por exemplo, os resultados límite empréganse para xustificar o método xeneralizado dos momentos e o uso de ecuacións de estimación xeneralizadas, que son de uso habitual en econometría e bioestatística. A magnitude da diferenza entre a distribución límite e a distribución verdadeira (formalmente, o "erro" da aproximación) pódese avaliar mediante simulacións. Paradigmas da inferencia
Ao longo do tempo establecéronse diferentes escolas da inferencia estatística. Estas escolas (ou "paradigmas") non son mutuamente excluíntes e os métodos que funcionan ben baixo un paradigma adoitan ter interpretacións atractivas baixo outros paradigmas.
Bandyopadhyay e Forster describen catro paradigmas: o paradigma clásico (ou frecuentista), o paradigma bayesiano, o paradigma da verosimilitude e o paradigma baseado no criterio de información de Akaike.
Inferencia frecuentista
Este paradigma calibra a plausibilidade das proposicións considerando a mostraxe repetida dunha distribución da poboación para producir conxuntos de datos similares. Ao considerar as características do conxunto de datos baixo mostraxe repetida, pódense cuantificar as propiedades frecuentistas dunha proposición estatística, aínda que na práctica esta cuantificación pode ser complexa.
Exemplos de inferencia frecuentista
p-valor
Intervalo de confianza
Probas de significación da hipótese nula
Inferencia frecuentista, obxectividade e teoría da decisión
Unha interpretación da inferencia frecuentista (ou inferencia clásica) é que só é aplicable en termos da probabilidade frecuentista; é dicir, en termos da mostraxe repetida dunha poboación. Non obstante, o enfoque de Neyman desenvolve estes procedementos en termos de probabilidades previas ao experimento.
Pola contra, a inferencia bayesiana funciona en termos de probabilidades condicionais (é dicir, probabilidades condicionadas aos datos observados), en comparación coas probabilidades marxinais (pero condicionadas a parámetros descoñecidos) utilizadas na abordaxe frecuentista.
Aínda que os estatísticos que empregan a inferencia frecuentista deben escoller por si mesmos os parámetros de interese e os estimadores que se van a empregar, a ausencia de utilidades obviamente explícitas e distribucións previas axudou a que os procedementos frecuentistas sexan amplamente vistos como "obxectivos".
Inferencia bayesiana
O cálculo bayesiano describe os graos de crenza ou convicción empregando a "linguaxe" da probabilidade; as crenzas son positivas, integran un e obedecen aos axiomas da probabilidade. A inferencia bayesiana emprega as crenzas posteriores dispoñibles como base para formular proposicións estatísticas.
Exemplos de inferencia bayesiana
Intervalo crible para estimación do intervalo
Factor de Bayes para comparación de modelos
Inferencia bayesiana, subxectividade e teoría da decisión
Moitas inferencias bayesianas informais baséanse en resumos "intuitivamente razoables" da función posterior. Por exemplo, a media, a mediana e a moda posteriores, os intervalos de densidade posterior máis altos e os factores de Bayes poden motivarse deste xeito.
Formalmente, a inferencia bayesiana calíbrase con referencia a unha utilidade ou función de perda declarada explicitamente. A "regra de Bayes" é a que maximiza a utilidade esperada, promediada sobre a incerteza posterior. Polo tanto, a inferencia bayesiana formal proporciona automaticamente decisións óptimas nun sentido de teoría da decisión. Dados os supostos, os datos e a utilidade, a inferencia bayesiana pódese facer para esencialmente calquera problema, aínda que non todas as inferencias estatísticas teñen que ter unha interpretación bayesiana. As análises que non son formalmente bayesianas poden ser (loxicamente) incoherentes; unha característica dos procedementos bayesianos que usan distribucións a priori axeitadas (é dicir, aquelas que integran un) é que se garante que sexan coherentes. Algúns defensores da inferencia bayesiana afirman que a inferencia "debe" ter lugar neste marco da teoría da decisión, e que a inferencia bayesiana non debería concluír coa avaliación e o resumo das crenzas posteriores.
Inferencia baseada na verosimilitude
A inferencia baseada na verosimilitude é un paradigma empregado para estimar os parámetros dun modelo estatístico a partir de datos observados. O "verosimilitudismo" aborda a estatística mediante a función de verosimilitude, denotada como L ( x | θ ) {\displaystyle L(x|\theta )}, que cuantifica a probabilidade de observar os datos dados x {\displaystyle x}, asumindo un conxunto específico de valores dos parámetros θ {\displaystyle \theta }. Na inferencia baseada na verosimilitude, o obxectivo é atopar o conxunto de valores dos parámetros que maximiza a función de verosimilitude ou, equivalentemente, maximiza a probabilidade de observar os datos dados.
O proceso de inferencia baseada na verosimilitude adoita implicar os seguintes pasos: Formulación do modelo estatístico. Defínese un modelo estatístico baseado no problema en cuestión, especificando as suposicións distribucionais e a relación entre os datos observados e os parámetros descoñecidos. O modelo pode ser simple, como unha distribución normal con varianza coñecida, ou complexo, como un modelo xerárquico con múltiples niveis de efectos aleatorios.
Construción da función de verosimilitude. Dado o modelo estatístico, a función de verosimilitude constrúese avaliando a densidade de probabilidade conxunta ou a función de masa dos datos observados como función dos parámetros descoñecidos. Esta función representa a probabilidade de observar os datos para diferentes valores dos parámetros.
Maximización da función de verosimilitude. O seguinte paso é atopar o conxunto de valores de parámetros que maximiza a función de verosimilitude. Isto pódese conseguir mediante técnicas de optimización como os algoritmos de optimización numérica. Os valores estimados dos parámetros, a miúdo denotados como y ¯ {\displaystyle {\bar {y}}}, son as estimacións de máxima verosimilitude (MLE).
Avaliación da incerteza. Unha vez obtidas as MLE, é crucial cuantificar a incerteza asociada ás estimacións dos parámetros. Isto pódese facer calculando os erros estándar, os intervalos de confianza ou realizando os contrastes de hipóteses baseados na teoría asintótica ou en técnicas de simulación como o bootstrapping.
Comprobación do modelo. Despois de obter as estimacións dos parámetros e avaliar a súa incerteza, é importante avaliar a adecuación do modelo estatístico. Isto implica comprobar as suposicións feitas no modelo e avaliar o axuste do modelo aos datos mediante probas de bondade de axuste, análise residual ou diagnósticos gráficos.
Inferencia e interpretación. Finalmente, con base nos parámetros estimados e na avaliación do modelo, pódese realizar unha inferencia estatística. Isto implica sacar conclusións sobre os parámetros da poboación, facer predicións ou probar hipóteses baseadas no modelo estimado.
Inferencia baseada no AIC
O criterio de información de Akaike (AIC) é un estimador da calidade relativa dos modelos estatísticos para un conxunto de datos determinado. Dada unha colección de modelos para os datos, o AIC estima a calidade de cada modelo en relación con cada un dos outros modelos. Polo tanto, o AIC proporciona un medio para a selección de modelos.
O AIC baséase na teoría da información: ofrece unha estimación da información relativa que se perde cando se usa un modelo determinado para representar o proceso que xerou os datos. Ao facelo, trata o compromiso entre a calidade do axuste do modelo e a simplicidade do modelo.
Outros paradigmas da inferencia
Lonxitude mínima da descrición
O principio da lonxitude mínima da descrición (MDL) desenvolveuse a partir de ideas da teoría da información e da teoría da complexidade de Kolmogorov. O principio (MDL) selecciona modelos estatísticos que comprimen os datos ao máximo; a inferencia prodúcese sen asumir "mecanismos de xeración de datos" contrafactuais ou non falsificables ou modelos de probabilidade para os datos, como se podería facer nas abordaxes frecuentistas ou bayesianas.
Non obstante, se existe na realidade un "mecanismo de xeración de datos", entón, segundo o teorema da codificación fonte de Shannon, este proporciona a descrición MDL dos datos, en media e asintoticamente. Ao minimizar a lonxitude da descrición (ou a complexidade descritiva), a estimación MDL é similar á estimación de máxima verosimilitude e á estimación a posteriori máxima. Non obstante, a MDL evita asumir que o modelo de probabilidade subxacente é coñecido; o principio MDL tamén se pode aplicar sen supor que, por exemplo, os datos xurdiron dunha mostraxe independente.
O principio MDL aplicouse na comunicación: teoría da codificación en teoría da información, en regresión lineal, e en minería de datos.
A avaliación de procedementos inferenciais baseados en MDL adoita empregar técnicas ou criterios da teoría da complexidade computacional.
Inferencia fiducial
Inferencia fiducial foi unha aproximación á inferencia estatística baseada na probabilidade fiducial, tamén coñecida como "distribución fiducial". En traballos posteriores, esta abordaxe foi cualificada de mal definida, extremadamente limitada en aplicabilidade e mesmo falaz. Non obstante, este argumento é o mesmo que demostra que a chamada distribución de confianza non é unha distribución de probabilidade válida e, dado que isto non invalidou a aplicación dos intervalos de confianza, non invalida necesariamente as conclusións extraídas de argumentos fiduciais. Intentouse reinterpretar o traballo inicial de Fisher sobre a argumento fiducial como un caso especial dunha teoría da inferencia que usa probabilidades superiores e inferiores.
Inferencia estrutural
Xorde como un desenvolvemento de ideas de Fisher e de Pitman de 1938 a 1939, George A. Barnard desenvolveu a "inferencia estrutural" ou "inferencia pivotal", un enfoque que usa a probabilidades invariantes en familias de grupos. Barnard reformulou os argumentos que sustentan a inferencia fiducial nunha clase restrinxida de modelos nos que os procedementos "fiduciais" estarían ben definidos e serían útiles. Donald A. S. Fraser desenvolveu unha teoría xeral para a inferencia estrutural baseada na teoría de grupos e aplicouna a modelos lineais. A teoría formulada por Fraser ten estreitos vínculos coa teoría da decisión e a estatística bayesiana e pode proporcionar regras de decisión frecuentistas óptimas se existen. Temas da inferencia
Os temas seguintes adoitan incluírse na área de inferencia estatística: Suposicións estatísticas
Teoría estatística da decisión
Teoría da estimación
Probas de hipóteses estatísticas
Revisión de opinións en estatística
Deseño de experimentos, a análise da varianza e a regresión
Mostraxe por enquisas
Resumo de datos estatísticos Inferencia preditiva
A inferencia preditiva é unha abordaxe da inferencia estatística que enfatiza a predición de observacións futuras baseadas en observacións pasadas.
Inicialmente, a inferencia preditiva baseábase en parámetros "observables" e era o obxectivo principal do estudo da probabilidade, [Cómpre referencia] pero caeu en desuso no século XX debido a unha nova abordaxe paramétrica iniciada por Bruno de Finetti. A abordaxe modelaba os fenómenos como un sistema físico observado con erro (por exemplo, a mecánica celeste). A idea de De Finetti da intercambiabilidade —que as observacións futuras deberían comportarse como as observacións pasadas— chamou a atención do mundo anglófono coa tradución do francés en 1974 do seu artigo de 1937, e desde entón foi promulgada por estatísticos como Seymour Geisser.