Análise da associação entre os indicadores de gestão das Universidades Federais e o desempenho discente no ENADE

Abstract

A presente dissertação tem o objetivo de verificar, no contexto das Universidades Federais, se há associação entre os indicadores que avaliam os discentes e os que avaliam a gestão. Para tal, o estudo utilizou como proxy do resultado dos discentes os resultados médios observados por instituição no Exame Nacional de Desempenho dos Estudantes – ENADE (por intermédio dos conceito ENADE e IDD – Indicador de Diferença entre os Desempenhos Observado e Esperado) e dentre as características que impactam o desempenho dos estudantes, optou-se pelas institucionais representadas pelos indicadores de gestão propostos pelo Tribunal de Contas da União (Decisão nº. 408/2002 – TCU – Plenário). O estudo abrange 50 Instituições Federais de Ensino Superior, sendo analisados os anos de 2004 a 2009, espaço temporal em que o INEP divulgou os resultados do ENADE. Com o intuito de verificar a importância atribuída aos indicadores de gestão, foi encaminhado aos dirigentes dessas instituições um questionário, em que se constatou a importância desses no gerenciamento da universidade. Para se testar a associação entre os indicadores de gestão e o desempenho dos discentes, foram estimados modelos econométricos com dados em painel e efeitos fixos, com o método SUR. Os resultados apontaram que o conceito ENADE é impactado por um maior custo corrente por aluno equivalente e por uma maior taxa de sucesso na graduação (conclusão no tempo previsto), no entanto, apesar de significantes, os indicadores aluno tempo integral por funcionário equivalente e índice de qualificação do corpo docente, apresentaram relações distintas das esperadas teoricamente. No que tange ao conceito IDD, a avaliação da pósgraduação stricto sensu feita pela CAPES foi significativa, porém com uma relação inversa, divergindo do que era esperado. As disfunções encontradas podem ser justificadas, no caso dos funcionários, pela presença de terceirizados em áreas estratégicas e, no caso da qualificação dos docentes e da avaliação da pós-graduação, pode estar havendo uma supervalorização da pesquisa em detrimento do ensino de graduação. Ademais, sob a luz da teoria institucional constatou-se a presença de situações isomórficas nas três variações: coercitiva, mimética e normativa. Por fim, os achados da pesquisa, além de indicar a presença de disfunções no ensino superior das universidades federais, também ressaltam a importância da accountability, na forma de indicadores de desempenho, tanto para o acompanhamento da gestão de uma universidade quanto para rendimento acadêmico de seus estudantes, uma vez que esta pesquisa demonstrou que, em certos casos, há associação entre esses dois grupos. ____________________________________________________________________________________________________ ABSTRACT

This dissertation aims at verifying, on the context of federal universities, if there is any connection between the indicators used to evaluate students and those that evaluate management. To do so, this study used as the students results proxy the average results observed by each institution on the National Performance Examination of Students – ENADE (through ENADE and IDD indicators) and among the characteristics that effect the students’ performance, we chose the institutions that are represented by the indicators proposed by the Brazilian Court of Audit (Decision No. 408/2002 – TCU - Plenary). The study covers 50 Federal Institutions of Higher Education from 2004 to 2009, which is the timeline in which INEP disclosed the ENADE results. With the purpose of verifying the importance attributed to the management indicators, a questionnaire was sent to these institutions’ principals, by means of which it was found their importance on the university management. To test the association between the management indicators and the students’ performance, econometric models with panel data and fixed effects were estimated with the Seemingly Unrelated regressions method (SUR). The results indicated that the ENADE indicator is impacted by a greater current cost by equivalent student and by a greater success rate in college (graduation within the expected time). Nevertheless, although significant, the indicators “full-time student by equivalent employee” and “quality of faculty index” presented different relationships from the theoretically expected. In regard to the IDD indicator the evaluation of stricto sensu postgraduate programs held by CAPES was significant, but with inverse relationship, diverging from what was expected. The dysfunctions found might be justified in the employees’ case by the presence of out-sourced employees on strategic areas and in the case of the docents’ qualification and post-graduation evaluation, there might be occurring an overestimation of research to detriment of teaching. Moreover, under the light of the institutional theory it was observed the presence of isomorphic situations in three variations: coercive, mimetic and normative. In conclusion, the findings of the present research, in addition to indicate the presence of dysfunctions on higher education of the Federal Universities also highlight the importance of accountability, in the form of performance indicators, both to the monitoring of a university management and to the academic performance of its students, once this research demonstrated that in certain cases there is association between those two groups.