Para que avaliar? : identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil

Abstract

Esta pesquisa trata do estudo da avaliação de programas governamentais sob a perspectiva da utilização dos seus resultados. A utilização tem sido um campo muito explorado internacionalmente, cujas pesquisas iniciaram no final dos anos 70, quando os avaliadores passaram a questionar a efetiva utilidade das avaliações para influenciar decisões e contribuir para o aperfeiçoamento de programas e políticas. No Brasil, os estudos ainda são incipientes. Com vistas a oferecer uma contribuição para a compreensão deste tema, principalmente quanto aos seus aspectos conceituais e práticos, este trabalho apresenta uma análise empírica dessas pesquisas aplicadas ao caso brasileiro, além de uma consolidação da literatura relativa às pesquisas realizadas, com destaque para aquelas que fundamentam a trajetória evolutiva do conhecimento atual sobre a utilização da avaliação. Os principais trabalhos destacados na literatura se propuseram a analisar os fatores que influenciam a utilização dos resultados gerados pela avaliação. Para examinar a observância desses fatores, foram aplicados os padrões de avaliação de programas definidos pelo Joint Committee on Standards for Educational Evaluation a um conjunto de avaliações relativas aos programas do PPA 2004-2007, bem como a avaliações realizadas pelo TCU por meio das auditorias operacionais, com vistas a analisar em que medida as sistemáticas e abordagens metodológicas aplicadas favorecem a utilização dos resultados por elas produzidos. As avaliações de programas foram selecionadas a partir do estudo da institucionalização da função avaliativa no Brasil, por meio do qual foram identificados os tipos, os objetivos, as sistemáticas de implementação e estratégias metodológicas empregadas nas avaliações realizadas pelos órgãos governamentais em nível federal. Esta pesquisa não teve a pretensão de generalizar os achados observados por meio de inferências estatísticas. Trata-se de um estudo baseado na pesquisa bibliográfica e no estudo de casos múltiplos, cuja coleta de dados foi realizada por intermédio do levantamento documental, entrevistas e aplicação de questionário, sendo que as respostas ao questionário foram apresentadas segundo uma escala de notas, cujas médias foram consideradas para evidenciar a observância dos padrões de avaliação definidos pelo Joint Committee. Os resultados demonstraram que as avaliações de programas, no âmbito da administração pública federal, foram instituídas, principalmente, com vistas a subsidiar tanto o processo orçamentário e a melhoria da gestão, quanto o controle dos resultados das ações governamentais, atendendo, em ambos os casos pesquisados, ao propósito da accountability. A sistemática aplicada às avaliações de programas do PPA 2004-2007 pode ser tipificada como monitoramento. No que diz respeito às avaliações realizadas pelo TCU, caracterizam-se como auditorias operacionais. Com relação à abordagem metodológica, pode-se evidenciar que as avaliações dos programas do PPA 2004-2007 não foram concebidas e implementadas de forma a favorecer a utilização dos seus resultados pelos diversos atores interessados para atender a todos os objetivos propostos. Quanto às avaliações do TCU, por outro lado, a abordagem metodológica mostrou-se aderente aos padrões de avaliação, o que favorece a sua utilização. ______________________________________________________________________________________ ABSTRACT

This research is a study on evaluation of government programs under the perspective of the utilization of its outcomes. Evaluation use is a field that has been extensively explored internationally, whose researches began by the end of the 70s, when evaluators started to question the effective utilization of evaluations to influence decisions and contribute for the improvement of programs and policies. In Brazil, the studies are still incipient. Because of this the objective of this study is to contribute to the comprehension on this issue, especially with regards to its conceptual and practical aspects. This work presents more than a consolidation of research literature in relation to the researches conducted, highlighting those that outline the evolution of modern knowledge about the utilization of evaluation, using empirical analysis of these researches applied to the Brazilian case. The main researches highlighted in the research literature proposed to analyze the factors that influenced the utilization of the results generated by the evaluation. To examine the observance of these factors, standards of program evaluation defined by the Joint Committee on Standards for Educational Evaluation were applied to a group of Multiannual Plan programs evaluations (PPA) and another group of evaluations conducted by the Brazilian Court of Audit (TCU) through performance auditing, to analyze to what level the systematics and methodological approaches favor the utilization of the results generated by them. The evaluations of programs were selected from the study of institutionalization of the evaluative function in Brazil, through which were identified the types, objectives, systematics of implementation and methodological strategies used in evaluations conducted by federal offices of government. This research did not have the intention of generalizing the results observed through statistical inferences. This is a study based on the literature research and the study of multiple cases, of which the collection of data was performed by documental research, interviews and the use of questionnaires, being that the responses to the questionnaires were presented by a grade-scale, where the average grades were considered to make evident the observance of evaluation standards defined by the Joint Committee. The results demonstrated that the evaluation of governmental programs, in the area of federal public administration, were instituted mainly to subsidize both the budgetary process and the betterment of administration, as well as to the control of the results of governmental actions, concerning both cases researched, with the purpose of accountability. The systematic applied to the evaluations of programs of the Brazilian Federal Multiannual Plan – PPA 2004-2007 - can be typified as monitoring. In what is said with respect to the evaluations performed by TCU, they are characterized as performance auditing. With regards to the methodological approach, it can be shown that evaluations from the Multiannual Plan 2004-2007 programs were not thought-out and implemented in ways to ease the use of their results by all stakeholders interested to address all the proposed objectives. The TCU evaluations, on the other hand, adhered its methodological approach to the standards of evaluation, which aids in its utilization.