Um novo método para avaliação da coerência de respostas individuais em provas de múltipla escolha

Abstract

O trabalho propõe o uso das estatísticas de ajuste individual como diretriz para validação das pontuações em testes educacionais. Por isso, neste estudo, serão utilizadas 10 estatísticas não paramétricas de ajuste individual ajustadas com base na Teoria de Resposta ao Item para mod elos ML1P, ML2P e ML3P e, uma nova estatística baseada na regressão isotônica, denotada por Rn, será proposta e comparada com as 10 estatísticas mencionadas. Foram gerados 60 con juntos de dados a partir da simulação de dados de 3 (três) tipos de teste (17, 33 e 65 itens), 4 (quatro) porcentagens de respondentes aberrantes (5%, 10%, 25% e 50%) e 5 (cinco) tipos de respondentes (fraudadores, descuidados, criativos, adivinhos e aleatórios). O desempenho da estatística de ajuste individual será baseado nas áreas sob a curva ROC e as vantagens e desvan tagens serão discutidas. Os resultados mostram que a sensibilidade das estatísticas de ajuste individual depende da quantidade de itens do teste, da porcentagem de respondentes aberrantes e do tipo de respondente. Além disso, a estatística Rn apresentará maior eficácia para respon dentes fraudadores e criativos. Por fim, há uma aplicação em dados reais com a finalidade de confirmar o desempenho das estatísticas na identificação de indivíduos aberrantes em testes ed ucacionais do SARESP (Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo). Através de um teste de hipótese cuja a hipótese nula H0 diz que as respostas dos examinados não são aberrantes, confirma-se o desempenho das estatísticas na identificação de indivíduos aberrantes nos testes educacionais. A decisão do teste de hipótese foi por meio da comparação do p-valor com um nível descritivo especificado.