Skip navigation
Use este identificador para citar ou linkar para este item: http://repositorio.unb.br/handle/10482/44793
Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
2022_PauloRobertoSilva.pdf1,24 MBAdobe PDFVisualizar/Abrir
Título: Sete anos de teste de progresso no curso de Medicina de uma escola pública do DF : quais as lições aprendidas?
Outros títulos: Seven years of progress testing in a public medical school in Federal District : what lessons learned?
Autor(es): Silva, Paulo Roberto
E-mail do autor: paulosilva052@gmail.com
Orientador(es): Melo, Nilce Santos de
Assunto: Educação médica
Medicina - pesquisa
Avaliação educacional - ensino superior
Ações afirmativas
Educação superior - avaliação
Data de publicação: 13-Set-2022
Referência: SILVA, Paulo Roberto. Sete anos de teste de progresso no curso de Medicina de uma escola pública do DF: quais as lições aprendidas? 2022. 70 f., il. Tese (Doutorado em Ciências da Saúde) — Universidade de Brasília, Brasília, 2022.
Resumo: Introdução: O Teste de progresso (TP) é um instrumento de avaliação do tipo melhor resposta escolhida construído com o objetivo de avaliar, de maneira ampla, os conhecimentos esperados ao final de um curso de uma maneira global e sistematizada. A Escola aplica o teste regularmente desde 2005 e a partir de 2013 passou a realiza-lo em conjunto com as escolas participantes do Consórcio do Centro Oeste para o Teste de Progresso. Objetivos: 1) Analisar as características psicométricas dos testes pela Teoria Clássica dos Testes. 2) Analisar a progressão do desempenho dos estudantes correlacionando-o com a série cursada, gênero, participação nos programas de iniciação científica, reprovações no curso e forma de acesso. 3) Analisar a possibilidade da utilização do teste de progresso para feedback individual do estudante. 4) Descrever os processos de produção, aplicação, análise e feedback dos testes de progresso realizados pelo consórcio. 5) Relacionar a qualidade dos testes produzidos pelo consórcio com seu processo de produção. Métodos: Foi realizada uma análise retrospectiva dos dados existentes sobre o teste de progresso, correlacionando-os com as variáveis gênero, tipo de admissão, reprovação no curso e participação nos programas de iniciação científica. A confiabilidade dos testes foi calculada pelo alfa de Cronbach e a análise psicométrica dos itens foi realizada utilizando a teoria clássica dos testes (TCT). Para verificar a confiabilidade das informações dos testes em nível individual, foi realizada a análise pelo índice de mudança confiável ou reliable change index (RCI). Para analisar a progressão de conhecimentos dos estudantes foi realizada uma regressão linear múltipla clássica e calculado o tamanho do efeito de cada série sobre a progressão de conhecimentos pelo d de Cohen. Os processos de produção do teste, aplicação, análise dos resultados e feedback para os envolvidos foi analisada tendo como referencial teórico a estrutura proposta pelo guideline da Association for Medical Education in Europe (AMEE). Resultados: O alfa de Cronbach foi em média 0,88, a análise psicométrica revelou uma dificuldade média de 0,51 e discriminação média dos itens de 0,24. A análise evidenciou um aumento de desempenho aproximadamente linear ao longo do curso, porém observou-se uma diminuição da taxa de crescimento no período correspondente ao estágio Curricular Obrigatório. Não foi observada correlação estatisticamente significante entre gênero e desempenho no TP, os estudantes que participaram do programa de iniciação científica obtiveram um desempenho superior no teste quando comparados aos não participantes, enquanto a reprovação no Curso correlacionou-se a um pior desempenho. Os estudantes admitidos pelo sistema de cotas obtiveram um desempenho significativamente inferior ao dos seus colegas admitidos pelo sistema universal. Todas as etapas necessárias para realização do teste foram feitas de acordo com referencial teórico. O cálculo do RCI mostrou que a progressão individual de conhecimentos pode ser evidenciada com confiabilidade em apenas 14,7% dos casos. Conclusões: O teste de progresso mostrou-se válido e confiável para aferir a progressão de conhecimentos dos estudantes fornecendo informações relevantes para a gestão do Curso, no entanto, os resultados do teste não podem ser utilizados para o feedback individual. O Consórcio do Centro Oeste para o Teste de Progresso cumpriu adequadamente todas as etapas preconizadas para realização do teste de progresso de acordo com o guideline utilizado como referencial. A participação da Escola junto a consórcio do Centro Oeste mostrou-se uma estratégia efetiva e eficiente para a realização do Teste de Progresso propiciando a obtenção de importantes informações para a gestão educacional.
Abstract: Introduction: The Progress Test (PT) is an assessment tool of best single answer type constructed with the aim of broadly assess the knowledge expected at the end of the Course in a global and systematic way. The School has applied the test regularly since 2005 and from 2013 it began to carry it out in conjunction with the participating schools of the Midwest Consortium for the Progress Test. Objectives: 1) To analyze the psychometric characteristics of the tests using the Classical Test Theory. 2) Analyze the progression of students' performance correlating it with the grade taken, gender, participation in scientific initiation programs, failures in the course and type of access. 3) Analyze the possibility of using the progress test to provide individual student feedback. 4) Describe the production, application, analysis and feedback processes of the progress tests carried out by the consortium. 5) Relate the quality of tests produced by the consortium to its production process. Methods: A retrospective analysis of the existing data on the progress test was performed, correlating them with the variables gender, type of admission, failure in course and participation in scientific initiation programs. The reliability of the tests was calculated using Cronbach's alpha and the psychometric analysis of the items was performed using the classical test theory (TCT). In order to verify the reliability of the tests at an individual level, the analysis was performed using the reliable change index or reliable change index (RCI). To analyze the progression of students' knowledge, a classical multiple linear regression was performed and the size of the effect of each grade on the progression of knowledge was calculated using Cohen's d. The processes of production of the tests, application, analysis of results and feedback to stakeholders were analyzed using the guideline of the Association for Medical Education in Europe (AMEE) as a theoretical framework. Results: Cronbach's alpha averaged 0.88, psychometric analysis revealed an average difficulty of 0.51 and average item discrimination of 0.24. The analysis showed an approximately linear increase in performance throughout the course, but a decrease in the growth rate was observed in the period corresponding to the internship. There was no statistically significant correlation between gender and performance in the TP, students who participated in the scientific initiation program performed better on the test when compared to non-participants, while failure in the Course was correlated with a worse performance. Students admitted through the affirmative action system performed significantly below than their peers admitted through the universal system. All the steps used to perform the test were carried out in accordance with the theoretical framework. The ICR calculation showed that individual progression of knowledge can be reliably evidenced in only 14.7% of cases. Conclusions: The progress test proved to be valid and reliable to measure the progression of students' knowledge, providing information relevant to the course management, however, the test results cannot be used for individual feedback. The Midwest Consortium for the Progress Test adequately complied with all the recommended steps to carry out the progress test according to the guideline used as a reference. The School's participation in the Midwest consortium proved to be an effective and efficient strategy for carrying out the Progress Test, providing important information for educational management.
Unidade Acadêmica: Faculdade de Ciências da Saúde (FS)
Informações adicionais: Tese (Doutorado) — Universidade de Brasília, Faculdade de Ciências da Saúde, Programa de Pós-Graduação em Ciências Da Saúde, 2022.
Programa de pós-graduação: Programa de Pós-Graduação em Ciências da Saúde
Licença: A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.
Aparece nas coleções:Teses, dissertações e produtos pós-doutorado

Mostrar registro completo do item Visualizar estatísticas



Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.