Acompanhamento longitudinal de escores latentes em testes de progresso: o uso da modelagem de equações estruturais
Autor: Carlos Fernando Collares | Publicado: 2012-06-12T16:30:00-07:00



&nbsp; &nbsp; &nbsp;Um dos desafios para a avaliação quantitativa do desempenho discente ao longo do tempo, isto é, avaliações longitudinais, ocorre com os testes de progresso. Sempre me incomodou o uso de escores brutos emparelhados ao longo do tempo para mostrar o tal progresso na aprendizagem. Nunca me conformei com essa estratégia. Sempre achei que esses gráficos não mostram nada, a não ser um "borrão" do real crescimento na aprendizagem. Erros de mensuração e variações na dificuldade das provas não são considerados nesses gráficos de escores brutos ao longo de sucessivos testes de progresso. Por isso, vi com muita felicidade a utilização do método do desvio cumulativo e da análise de tendência para a melhoria do benchmarking interinstitucional e da mensuração do progresso em testes longitudinais (Muijtjens, Schuwirth, Cohen-Schotanus, Thoben &amp; van der Vleuten, 2008a; Muijtjens, Schuwirth, Cohen-Schotanus &amp; van der Vleuten, 2008b; Schauber &amp; Nouns, 2010). Porém, é necessário perceber que quando há diferenças individuais em curvas, há também mudanças nas variâncias e covariâncias ao longo do tempo. Isso significa que esses modelos podem ser analisados não apenas por análise de variância, mas também por modelos de regressão multinível aliados à teoria de resposta ao item, seguidos de análise por modelos de crescimento sob os pressupostos da modelagem de equações estruturais (Cohen, Cohen, West &amp; Aiken, 2003).

&nbsp; &nbsp; &nbsp;A representação do crescimento longitudinal por meio da modelagem de equações estruturais permite especificar de forma mais explícita as hipóteses a respeito de eventuais estruturas causais nos parâmetros de mudança e o potencial de predizer os escores "reais" da variável latente (theta). Pois é justamente a estimação das relações entre escores "livres de erro" propiciado a partir do uso de variáveis latentes a maior justificativa para o uso de modelagem de equações estruturais. No caso específico dos modelos de crescimento abordam tanto covariância quanto a mudança nas médias ao longo do tempo. Os vetores das médias e as matrizes de covariâncias são ambas utilizadas para fornecer informações &nbsp;que pode ser utilizada para gerar estimativas de funções de mudança em construtos "livres de erro" (variáveis latentes, como o "theta"). Quem aplica isso atualmente de forma bastante elegante é a autarquia holandesa de avaliação, a CITO (http://www.cito.nl). Para detalhes, veja Verhelst &amp; Verstralen (2002).

&nbsp; &nbsp; &nbsp;Na minha opinião, e na de Cohen et al. (2003), a variância comumente incluída como "erro", i.e., as fontes residuais de variância ao longo do tempo, não são necessariamente "erro". O ideal seria chamar esse "erro" de variância residual. Por mais benefícios que a teoria de resposta ao item tenha contribuído na estimação mais adequada dos reais níveis de habilidade, quando comparada com a teoria clássica dos testes, os cálculos de precisão local da teoria de resposta ao item nos permitem afirmar com segurança que não existe algo como "escore real" ou "escore livre de erro". O que pode existir são escores com erros de mensuração minimizados.

&nbsp; &nbsp; &nbsp;A equalização dos testes (test equating) é o ponto nevrálgico para o uso da teoria de resposta ao item (Schuwirth &amp; van der Vleuten, 2012). O uso híbrido da calibração concomitante (concurrent calibration) e da calibração consecutiva em tese permite a comparação direta entre provas de diferentes dificuldades. Todavia, a &nbsp;memorização de testes àncora usados na equalização pode interferir na mudança dos parâmetros (Langer &amp; Swanson, 2010).&nbsp;Evitar a sueperexposição dos testes âncora é uma estratégia necessária, mas com eficácia aparentemente limitada. Deve-se lembrar que raramente os diversos pressupostos para a realização adequada da equalização são obedecidos.

&nbsp; &nbsp; &nbsp;Em suma: a estratégia dos modelos de crescimento acoplados à teoria de resposta ao item (multinível ou não), não apenas minimizam os erros de medida, mas também melhoram sobremaneira o acompanhamento do desempenho do estudante. Todavia, não está isento de vieses. Como diz o ditado: não há mundo perfeito...


Referências:

Cohen, J., Cohen, P., West, S. G., &amp; Aiken, L. S. (2003). Longitudinal regression methods. In: Applied multiple regression / correlation analysis for the behavioral sciences. 3rd ed. Mahwah, New Jersey: Lawrence Erlbaum.

Langer, M. M., &amp; Swanson, D.B. (2010) Practical considerations in equating progress tests. Medical Teacher, 32 (6), 509-12.

Muijtjens, A. M., Schuwirth, L. W. T., Cohen-Schotanus, J., Thoben, A. J. N. M., &amp; van der Vleuten C. P. M. 2008a. Benchmarking by cross-institutional comparison of student achievement in a progress test. Med Educ 41(1):82-88.

Muijtjens A. M., Schuwirth, L. W.T., Cohen-Schotanus, J., &amp; van der Vleuten, C. P. M. 2008b. Differences in knowledge development exposed by multi-curricular progress test data. Adv Health Sci Educ 13:593-605.

Schauber S, &amp; Nouns Z. (2010). Using the cumulative deviation method for cross-institutional benchmarking in the Berlin progress test. Medical Teacher, 32, 471-5.

Schuwirth, L. W. T., &amp; van der Vleuten, C. P. M. (2012). The use of progress testing. Perspectives on Medical Education, 1, 24-30.

Verhelst, N. D., &amp; Verstralen, H. H. F. M. (2002). Structural analysis of a univariate latent variable (SAUL): Theory and a computer program. Arnhem: Cito.