# Regressão por stepwise

Na estatística, a regressão por stepwise é um técnica de ajuste de modelos de regressão em que a escolha das variáveis preditivas é realizada por um procedimento automático. Em cada etapa, uma variável é considerada para adição ou subtração do conjunto de variáveis explicativas com base em algum critério pré-especificado. Normalmente, se assume a forma de uma sequência de testes ou t, mas outras técnicas são possíveis, como R $^2$ ajustado, critério de informação de Akaike, critério de informação Bayesiano, Mallows, PRESS ou taxa de descoberta falsa.
Na prática frequente de ajuste do modelo final selecionado seguido de relatórios de estimativas e intervalos de confiança sem ajustá-los para levar em conta o processo de construção de modelo levou a pedidos para parar de usar a construção de modelo passo a passo ou pelo menos ter certeza de a incerteza do modelo é refletida corretamente.

## Principais abordagens

As principais abordagens são:
* Seleção direta, que envolve começar sem variáveis no modelo, testar a adição de cada variável usando um critério de ajuste do modelo escolhido, adicionar a variável (se houver) cuja inclusão dá a melhoria estatisticamente significativa do ajuste e repetir este processo até nenhum melhora o modelo de forma estatisticamente significativa.
* Eliminação reversa, que envolve começar com todas as variáveis candidatas, testar a exclusão de cada variável usando um critério de ajuste do modelo escolhido, excluir a variável (se houver) cuja perda dá a deterioração estatisticamente insignificante do ajuste do modelo e repetir este processo até não outras variáveis podem ser excluídas sem uma perda de ajuste estatisticamente insignificante.
* Eliminação bidirecional, uma combinação das opções acima, testando em cada etapa as variáveis a serem incluídas ou excluídas.

## Critério de seleção

Um algoritmo amplamente usado foi proposto pela inicialmente por Efroymson (1960). Este é um procedimento automático para seleção de modelo estatístico nos casos em que há um grande número de variáveis explicativas potenciais e nenhuma teoria subjacente na qual basear a seleção do modelo. O procedimento é usado principalmente na análise de regressão, embora a abordagem básica seja aplicável em muitas formas de seleção de modelo. Esta é uma variação da seleção direta. Em cada etapa do processo, após a adição de uma nova variável, é feito um teste para verificar se algumas variáveis podem ser excluídas sem aumentar sensivelmente a soma dos quadrados residuais (RSS). O procedimento termina quando a medida é (localmente) maximizada ou quando a melhoria disponível cai abaixo de algum valor crítico.
Um dos principais problemas com a regressão stepwise é que ela pesquisa um grande espaço de modelos possíveis. Portanto, é propenso a sobreajuste dos dados. Em outras palavras, a regressão stepwise muitas vezes se ajusta muito melhor na amostra do que em novos dados fora da amostra. Casos extremos foram observados em que os modelos alcançaram significância estatística trabalhando com números aleatórios. Esse problema pode ser mitigado se o critério para adicionar (ou excluir) uma variável for rígido o suficiente. A linha-chave na areia está no que pode ser considerado o ponto de Bonferroni : a saber, quão significativa a melhor variável espúria deve ser baseada apenas no acaso. Em uma escala estatística t, isso ocorre em cerca de ${\sqrt {2\log p}}$, onde p é o número de preditores. Infelizmente, isso significa que muitas variáveis que realmente transportam o sinal não serão incluídas. Esta cerca acabou sendo a compensação certa entre o excesso de ajuste e o sinal ausente. Se olharmos para o risco de diferentes pontos de corte, usar esse limite ficará dentro de um $2\log p$ fator do melhor risco possível. Qualquer outro corte acabará tendo uma inflação de risco maior.

## Precisão do modelo

Uma maneira de testar os erros em modelos criados por regressão passo a passo é não confiar na estatística F, significância ou R múltiplo do modelo, mas sim avaliar o modelo em relação a um conjunto de dados que não foi usado para criar o modelo . Isso geralmente é feito construindo um modelo baseado em uma amostra do conjunto de dados disponível (por exemplo, 70%) - o " conjunto de treinamento " - e usar o restante do conjunto de dados (por exemplo, 30%) como um conjunto de validação para avaliar a precisão do modelo. A precisão é então frequentemente medida como o erro padrão atual (SE), MAPE ( erro percentual médio absoluto ) ou erro médio entre o valor previsto e o valor real na amostra de validação. Este método é particularmente valioso quando os dados são coletados em ambientes diferentes (por exemplo, momentos diferentes, situações sociais versus situações solitárias) ou quando os modelos são considerados generalizáveis.

## Crítica

Os procedimentos de regressão stepwise são usados na mineração de dados, mas são controversos. Vários pontos de crítica foram feitos.
* Os próprios testes são tendenciosos, uma vez que se baseiam nos mesmos dados. Wilkinson e Dallal (1981) computaram pontos percentuais do coeficiente de correlação múltipla por simulação e mostraram que uma regressão final obtida por seleção direta, dita pelo procedimento F ser significativa a 0,1%, era de fato apenas significativa a 5 %
* Ao estimar os graus de liberdade, o número de variáveis independentes candidatas do melhor ajuste selecionado pode ser menor do que o número total de variáveis do modelo final, fazendo com que o ajuste pareça melhor do que quando ajusta o valor de r $^2$ para o número de graus de liberdade. É importante considerar quantos graus de liberdade foram usados em todo o modelo, não apenas contar o número de variáveis independentes no ajuste resultante.
* Os modelos criados podem ser simplificações excessivas dos modelos reais dos dados.
Essas críticas, baseadas nas limitações da relação entre um modelo e procedimento e o conjunto de dados usado para ajustá-lo, são geralmente tratadas por meio da verificação do modelo em um conjunto de dados independente, como no procedimento PRESS.
Os críticos consideram o procedimento um exemplo paradigmático de raspagem de dados, sendo a intensa computação frequentemente um substituto inadequado para o conhecimento da área de assunto. Além disso, os resultados da regressão por stepwise são frequentemente usados incorretamente, sem ajustá-los para a ocorrência de seleção de modelo. Especialmente na prática do ajuste do modelo final selecionado como se nenhuma seleção de modelo tivesse ocorrido e relatar estimativas e intervalos de confiança como se a teoria dos mínimos quadrados fosse válida para eles, foi descrita como um escândalo. O generalizado uso incorreto e a disponibilidade de alternativas, como aprendizagem em conjunto, deixando todas as variáveis no modelo ou usando a opinião de especialistas para identificar variáveis relevantes, levaram a pedidos para evitar totalmente a seleção de modelo por etapas.