Sete anos de teste de progresso no curso de Medicina de uma escola pública do DF : quais as lições aprendidas?

Abstract

Introdução: O Teste de progresso (TP) é um instrumento de avaliação do tipo melhor resposta escolhida construído com o objetivo de avaliar, de maneira ampla, os conhecimentos esperados ao final de um curso de uma maneira global e sistematizada. A Escola aplica o teste regularmente desde 2005 e a partir de 2013 passou a realiza-lo em conjunto com as escolas participantes do Consórcio do Centro Oeste para o Teste de Progresso. Objetivos: 1) Analisar as características psicométricas dos testes pela Teoria Clássica dos Testes. 2) Analisar a progressão do desempenho dos estudantes correlacionando-o com a série cursada, gênero, participação nos programas de iniciação científica, reprovações no curso e forma de acesso. 3) Analisar a possibilidade da utilização do teste de progresso para feedback individual do estudante. 4) Descrever os processos de produção, aplicação, análise e feedback dos testes de progresso realizados pelo consórcio. 5) Relacionar a qualidade dos testes produzidos pelo consórcio com seu processo de produção. Métodos: Foi realizada uma análise retrospectiva dos dados existentes sobre o teste de progresso, correlacionando-os com as variáveis gênero, tipo de admissão, reprovação no curso e participação nos programas de iniciação científica. A confiabilidade dos testes foi calculada pelo alfa de Cronbach e a análise psicométrica dos itens foi realizada utilizando a teoria clássica dos testes (TCT). Para verificar a confiabilidade das informações dos testes em nível individual, foi realizada a análise pelo índice de mudança confiável ou reliable change index (RCI). Para analisar a progressão de conhecimentos dos estudantes foi realizada uma regressão linear múltipla clássica e calculado o tamanho do efeito de cada série sobre a progressão de conhecimentos pelo d de Cohen. Os processos de produção do teste, aplicação, análise dos resultados e feedback para os envolvidos foi analisada tendo como referencial teórico a estrutura proposta pelo guideline da Association for Medical Education in Europe (AMEE). Resultados: O alfa de Cronbach foi em média 0,88, a análise psicométrica revelou uma dificuldade média de 0,51 e discriminação média dos itens de 0,24. A análise evidenciou um aumento de desempenho aproximadamente linear ao longo do curso, porém observou-se uma diminuição da taxa de crescimento no período correspondente ao estágio Curricular Obrigatório. Não foi observada correlação estatisticamente significante entre gênero e desempenho no TP, os estudantes que participaram do programa de iniciação científica obtiveram um desempenho superior no teste quando comparados aos não participantes, enquanto a reprovação no Curso correlacionou-se a um pior desempenho. Os estudantes admitidos pelo sistema de cotas obtiveram um desempenho significativamente inferior ao dos seus colegas admitidos pelo sistema universal. Todas as etapas necessárias para realização do teste foram feitas de acordo com referencial teórico. O cálculo do RCI mostrou que a progressão individual de conhecimentos pode ser evidenciada com confiabilidade em apenas 14,7% dos casos. Conclusões: O teste de progresso mostrou-se válido e confiável para aferir a progressão de conhecimentos dos estudantes fornecendo informações relevantes para a gestão do Curso, no entanto, os resultados do teste não podem ser utilizados para o feedback individual. O Consórcio do Centro Oeste para o Teste de Progresso cumpriu adequadamente todas as etapas preconizadas para realização do teste de progresso de acordo com o guideline utilizado como referencial. A participação da Escola junto a consórcio do Centro Oeste mostrou-se uma estratégia efetiva e eficiente para a realização do Teste de Progresso propiciando a obtenção de importantes informações para a gestão educacional.