Avaliação de treinamentos a distância em uma organização pública

Abstract

Esta pesquisa teve como objetivos avaliar um programa de educação a distância numa instituição pública federal e revalidar estatisticamente as escalas de avaliação. Esta pesquisa descreve as estratégias de aprendizagem utilizadas pelos participantes e suas reações a cinco cursos oferecidos via Internet. A revisão da literatura nacional e estrangeira tem indicado a necessidade de avaliação de ações de ensino-aprendizagem em Educação a Distância (EaD), assim como em contextos de Educação Corporativa. Nos últimos anos pesquisadores têm recomendado a investigação de reações (satisfação dos participantes com os cursos), estratégias de aprendizagem e perfil dos estudantes de cursos a distância. Para cumprir esses objetivos foram avaliados cinco cursos oferecidos pela instituição no período de agosto de 2004 a dezembro de 2006. Para coleta de dados com os alunos foram utilizados questionários de avaliação da Reação à Interface Gráfica, ao Desempenho do Tutor, aos Procedimentos Instrucionais, aos Resultados do curso, bem como de Estratégias de Aprendizagem. Esses instrumentos foram desenvolvidos e validados por Carvalho (2003) e Zerbini (2003) e aprimorados por Borges-Ferreira (2005). A aplicação ocorreu via Internet. Os resultados indicaram que, na amostra de alunos (N=216), havia um equilíbrio entre alunos do sexo masculino (56,4%) e feminino (47,6%), com média de idade de 38 anos (dp=8,42), tempo médio de serviço de 7,6 anos (dp=5,81), sendo que 62,6% possuíam nível superior completo, 69,1% ocupavam alguma função gerencial e a grande maioria 60,4% ocupava o cargo de Técnico (nível médio), sendo que apenas 22,1% deles ocupava o cargo de Analista (nível superior). As respostas válidas dos pesquisados aos questionários foram submetidas a análises estatísticas exploratórias, análises dos componentes principais e fatoriais com tratamento pairwise para os casos omissos, além de análises de confiabilidade (Alpha de Cronbach). As cinco escalas de avaliação mostraram-se psicometricamente confiáveis e válidas. As reações dos alunos aos Procedimentos Instrucionais e à Interface Gráfica foram razoavelmente favoráveis, porém discordantes, com desvios padrões relativamente altos. As médias fatoriais foram 6,52 e 7,28, e os desvios padrões de 1,99, 2,29, respectivamente. As Reações dos alunos ao desempenho da tutoria apresentaram média relativamente baixa de 5,87 com desvio padrão 3,05. Na análise dos resultados, as Estratégias de Aprendizagem: Busca de Ajuda Interpessoal e Repetição e Organização e Ajuda do Material, tiveram médias de 3,72 e 4,85 respectivamente com desvios padrões de 2,89 e 3,06, indicando que os alunos utilizaram muito pouco essas estratégias durante os cursos. As melhores médias foram relacionadas a estratégia de Elaboração e Aplicação Prática que registrou média de 7,76 com desvio padrão de 2,89. Concluiu-se que os alunos tiveram melhor Reação à Interface Gráfica e aos Procedimentos Instrucionais e Resultados, embora as médias não tenham sido excelentes. Percebeu-se que os alunos utilizaram com mais freqüência as Estratégias de Aprendizagem de Elaboração e Aplicação Prática, e que o material didático precisa ser adequado com melhor planejamento Instrucional dos cursos, assim como melhorar as estratégias de interação da tutoria com os alunos. __________________________________________________________________________________________ ABSTRACT

This research had of its objectives evaluate a distance education program on a federal public institution and revalidate statistically the evaluation of the scales. It describes the learning strategies used by participants and their reactions in five courses offered by Internet. A review or the national and foreign literature has indicated the need to evaluate actions of teachinglearning in Distance Education (EaD), as well in contexts of Corporative Education. In the last few years researchers had recommended to investigate the reactions (participants satisfaction with the courses), learning strategies and students outline in distance courses. To reach these objectives five courses offered by institution were valued in the period from august/2004 to December/2006. The questionnaires “Graphic Interface Reaction”, “Tutor Performance”, “Instrucional Procedure”, “Course Results” and “Learning Strategies” were utilized to collect students datas. These instruments were developed and validated by Carvalho (2003) and Zerbini (2003) and improved by Borges-Ferreira (2005). The answering of the questionnaires occurred via Internet. The results indicated that in the students sample (N=216), exist a balance between males (56,4%) and females (47,6%), with age average of 38 years (sd=8,42), period of service of 7,6 years (sd=5,81), on average, where 62,6% had complete universitary level, 69,1% hold some manager function and the majority (60,4%) hold the technical post (high school), and only 22,1% of them hold the analyst post (universitary level). The valid answers to the questionnaires were subjected to statistic exploratory analysis, analysis of its principals and factorials components with pairwise treatment for the omission cases, over there the reliability analysis (Alpha de Conbrach). Five evaluate scales seemed psycomethrically valid and reliable. The students reactions to Instrucional Procedures and Graphic Interface were reasonably favorable, however with disagreement standards deviations relatively higher. The factorials averages were 6,52 and 7,28, and the standards deviations 1,99 and 2,29 respectively. The students Reactions to Tutorial Performance presented a relatively low average of 5,87 with standard deviation of 3,05. On the results analysis of Learning Strategies, the Interpersonal Help-seeking and Rehearsal and organization and help-seeking from material had averages of 3,72 and 4,85 respectively, with standards deviations of 2,89 and 3,06, indicating that the students had used too little these strategies during the courses. The best averages were related to Elaboration and practical application factor that registrated an average of 7,76 with standard deviation of 2,89. It was concluded that the students had better reactions to Graphic Interface, Instrucional Procedure and Results,however the averages hadn’t being excelents. It points out that the standards deviations of the factors that had low grades presented high values too, indicating a poor distribution on its normal curve. It was realized that the students utilized with more frequency the Learning Strategie related to Elaboration and practical application factor, and that the didactical material needs to be adequated with better Instrucional planning courses, as well improve the tutorial integration strategies with students.