Avaliação de políticas públicas, indicadores de efetividade de programas sociais e impacto de projetos de desenvolvimento local
Creators: name: DOTTA, Alexandre Godoy
Publisher: name: Zenodo
Year: 2022

description: Projeto, programa e plano Segundo Cohen e Franco (1993: 85-6), os termos projeto, programa e plano designam modalidades de intervenção social que diferem em escopo e duração. O projeto é a unidade mínima de destinação de recursos, que, por meio de um conjunto integrado de atividades,1 pretende transformar uma parcela da realidade, suprindo uma carência ou alterando uma situação-problema.2 O conjunto de projetos que visam aos mesmos objetivos é denominado programa, que “estabelece as prioridades da intervenção, identifica e ordena os projetos, define o âmbito institucional e aloca os recursos a serem utilizados”. O plano, finalmente, agrega programas afins, estabelecendo um quadro de referências mais amplo para a intervenção: “Um plano é a soma dos programas que procuram objetivos comuns, ordena os objetivos gerais e os desagrega em objetivos específicos, que constituirão por sua vez os objetivos gerais dos programas. Ele determina o modelo de alocação de recursos resultante da decisão política e dispõe as ações programáticas em uma seqüência temporal de acordo com a racionalidade técnica das mesmas e as prioridades de atendimento (...). O plano inclui a estratégia, isto é, os meios estruturais e administrativos, assim como as formas de negociação, coordenação e direção”. (COHEN e FRANCO, 1993: 86) Grosso modo, pode-se dizer que o plano contém o programa, que, por sua vez, contém o projeto. Isto significa que estes níveis de agregação devem ser levados em conta quando uma intervenção é analisada. Por exemplo, não se pode avaliar adequadamente um programa sem atentar para os projetos que o constituem, nem tampouco avaliar um projeto desconsiderando sua articulação com uma iniciativa mais abrangente. É possível, no entanto, mensurar o alcance dos objetivos gerais de um programa sem indagar sobre os objetivos específicos de cada projeto. Feitas estas ressalvas, nada impede que se discuta as metodologias de avaliação num nível mais alto de generalização, sem a pretensão de esgotar as especificidades da avaliação de projetos, programas e planos. De maneira geral, porém, a análise se refere às duas modalidades mais desagregadas de intervenção, a saber, projetos e programas. Os principais conceitos pertinentes à área de avaliação serão introduzidos ao longo do texto (objetivos, metas, população-alvo, efeitos, impacto, processos, resultados, eficácia, eficiência e efetividade). Porém, cabe adiantar que as intervenções são classificadas segundo seus objetivos e sua abrangência (POSAVAC e CAREY, 1992). Há programas e projetos que visam suprir necessidades agudas e temporárias, outros que pretendem enfrentar problemas duradouros, e outros que almejam prevenir problemas futuros e/ou desenvolver o potencial humano. As intervenções podem ser ainda nacionais, regionais ou locais (focalizadas). É evidente que as especificidades de cada intervenção influenciam a escolha da metodologia de avaliação mais adequada. A definição de avaliação A principal característica da avaliação de programas é, certamente, seu caráter aplicado. Aliás, é este o norte que os avaliadores não podem perder de vista, sob pena de produzir trabalhos desprovidos de utilidade prática. Como salientam Posavac e Carey (1992), esta modalidade de pesquisa visa atender às demandas informacionais dos administradores de dado programa ou projeto: “Basic research concerns questions of theoretical interest, without regard to the immediate needs of people or organizations. In contrast, program evaluations include information to help people improve their effectiveness, assist administrators make program-level decisions, and make it possible for programs to be accountable to the public. If evaluators do not provide information that is relevant to decisions, they are not fulfilling their major purpose”. (POSAVAC and CAREY, 1992: 7) De maneira consistente com este pressuposto, os autores definem a avaliação de programas, especificando os tipos de informação que ela deve fornecer: “Program evalutation is a collection of methods, skills, and sensitivities necessary to determine whether a human service is needed and likely to be used, whether it is sufficiently intense to meet the unmet need identified, whether the service is offered as planned; and whether the human service actually does help people in need at a reasonable cost without undesirable side effects”. (POSAVAC e CAREY, 1992: 1) Note-se que a definição compreende aspectos que se referem à concepção do programa (compatibilidade entre os objetivos da intervenção e as necessidades da clientela e quantum de serviços oferecidos), à sua estratégia de implementação e a seus resultados e impacto. Os autores mencionam também os custos e os efeitos secundários do programa. As definições encontradas na literatura abrangem basicamente as mesmas dimensões, à exceção da primeira (custos), que alguns especialistas consideram inadequada à análise de programas sociais: “...A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar, de maneira válida e confiável, dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos. Visam comprovar a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões racionais e inteligentes entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados...” (AGUILAR e ANDER-EGG, 1994: 31-2 ). Pode-se inferir, com base nesta definição, que a avaliação pode e deve ser feita concomitantemente às outras fases do ciclo das políticas públicas, a saber, construção da agenda, formulação e implementação, dado que em todas elas há decisões importantes a serem tomadas. Assim, dependendo do momento em que é realizada e das necessidades de quem a encomenda, a pesquisa avaliativa serve a múltiplos propósitos, como, por exemplo, orientar ajustes em programas em andamento, determinar até que ponto foram alcançados os objetivos3 previamente estabelecidos, apontar as razões dos êxitos e fracassos de um programa e investigar os efeitos imprevistos (positivos ou negativos) da intervenção. No entanto, nem sempre é possível levar adiante o processo avaliativo. O primeiro passo para analisar as condições de “avaliabilidade” de um programa ou projeto é identificar os principais atores envolvidos, seus interesses e cursos potenciais de ação: “Stakeholders are those who are personally involved in the program, who derive some or all their income from the program, whose future status or career might be affected by the quality of the program, or who are the clients or potencial recipients of the program services”. (POSAVAC e CAREY, 1992: 28) Posavac e Carey falam em três tipos de atores: os program sponsors, que correspondem a agências de fomento, órgãos governamentais ou a cúpula da instituição responsável pelo programa, a equipe propriamente dita, formada pelos gestores e pelo pessoal técnico e administrativo, e os clientes ou beneficiários, indivíduos ou grupos que podem ou não ser chamados a participar das decisões pertinentes à intervenção. O comportamento destes atores é informado por racionalidades que, muitas vezes, entram em choque. Os program sponsors, não raro, utilizam critérios políticos para tomar decisões e fixar os grandes objetivos dos programas; os burocratas, em princípio, orientam-se pelas normas e procedimentos pré-estabelecidos, e o corpo técnico, também em tese, recorre à expertise para avalizar suas opiniões e atitudes. Isso sem falar nos recursos de poder controlados pelos destinatários dos programas, que podem pressionar direta ou indiretamente o governo para fazer valer seus interesses. De modo geral, as metodologias tradicionais de avaliação subestimam o impacto que esta intricada rede de interesses pode ter na execução dos programas e projetos.4 No que diz respeito à pesquisa avaliativa, porém, é necessário que haja acordo pelo menos quanto a dois pontos fundamentais: a relevância da avaliação (COHEN e FRANCO, 1993) e os critérios que definem o sucesso da intervenção (POSAVAC e CAREY, 1992: 32). A existência deste mínimo de consenso entre os atores é condição <em>sine qua non</em> para que os resultados da avaliação gerem reflexões proveitosas sobre as iniciativas governamentais na área social. A “avaliabilidade” das intervenções também depende de certos atributos do programa ou projeto. Objetivos definidos de maneira vaga e imprecisa podem diminuir o nível de conflito entre os atores relevantes,5 mas certamente dificultam (e, no limite, inviabilizam) a realização das pesquisas avaliativas. Portanto, para serem passíveis de avaliação, os programas e projetos devem conter objetivos facilmente identificáveis, além de especificar a clientela visada e o grau de cobertura estabelecido como meta.6 Outra questão importante é a disponibilidade e a confiabilidade das informações relevantes. Em suma, a avaliação desempenha um papel central no esforço de racionalização dos programas e projetos sociais.7 A ausência de controles e de metodologias de avaliação geralmente leva a um gasto social ineficiente e, conseqüentemente, ao desperdício dos recursos disponíveis. A tendência à expansão dos gastos públicos, especialmente na área social, associada à escassez crônica de recursos fiscais, obriga ao aumento da eficiência8 na utilização dos recursos disponíveis e da eficácia9na consecução dos objetivos pretendidos. E são precisamente estes dois vetores — eficiência e eficácia — que orientam a realização das avaliações. A elaboração do projeto de avaliação A avaliação propriamente dita é precedida por uma série de tarefas preliminares. A primeira delas é traçar um perfil completo da intervenção, examinando seus objetivos, coletando informações sobre seu mecanismo de implementação, conhecendo a equipe responsável e indagando sobre os grupos e indivíduos cujos interesses são afetados pelo seu conteúdo. A segunda tarefa é identificar o cliente e a finalidade da avaliação. É fundamental que se saiba quem demanda informações e para que elas servirão. Porém, autores como Sulbrandt (1993) acreditam que todos os agentes sociais envolvidos na intervenção devem ser vistos como destinatários da pesquisa avaliativa, e não apenas os indivíduos ou instituições que a contrataram.10 Nesta fase inicial, procura-se delimitar o objeto de investigação, elegendo os aspectos do programa ou projeto que serão avaliados. Estes, por sua vez, condicionam a escolha do modelo de avaliação. Posavac e Carey (1992) apresentam um panorama das abordagens disponíveis na literatura, que, na prática, podem ser utilizadas conjuntamente. Dentre elas, destacam-se: a) o modelo de pesquisa em ciência social (social science research model); b) a avaliação baseada em objetivos (goal-based evaluation); c) a avaliação de “caixa preta” (black box evaluation), e d) o modelo naturalista ou qualitativo de avaliação (naturalistic or qualitative evaluation). A adoção do social research model propicia avaliações mais rigorosas e menos tendenciosas do que o habitual, em virtude do recurso a abordagens experimentais de investigação. É o único modelo que realmente permite que se atribua à intervenção o mérito pelas mudanças observadas na situação-problema. Não obstante, as conclusões extraídas por seu intermédio devem ser analisadas criticamente, e não tomadas como juízos definitivos sobre o sucesso da intervenção. A avaliação baseada em objetivos, segundo os autores, é mais sensível às especificidades dos projetos e programas, dado que a equipe responsável participa ativamente da definição das questões de avaliação. Este modelo, porém, tem o inconveniente de direcionar excessivamente a pesquisa para objetivos pré-estabelecidos, encobrindo aspectos que podem ser tão ou mais importantes para o processo avaliativo. A avaliação de “caixa preta”, ao contrário, restringe-se ao exame dos resultados, sem nada indagar sobre os objetivos ou o funcionamento do projeto ou programa. Esta abordagem não se presta à melhoria das intervenções, uma vez que desconsidera a explicação que está por trás dos resultados aferidos. Por fim, o modelo naturalista ou qualitativo prioriza a compreensão do significado da intervenção em detrimento da mensuração de seus resultados. O próprio avaliador realiza a investigação, travando contato direto com as instituições e atores relevantes. Porém, esta abordagem imprime à avaliação um caráter mais descritivo do que explicativo. Posavac e Carey recomendam a utilização de modelos ecléticos, visando ultrapassar as dificuldades acima mencionadas e suprir as necessidades informacionais de cada pesquisa. O próximo passo é a definição da estratégia metodológica, que abrange as seguintes dimensões: o desenho da pesquisa, os critérios de avaliação, os procedimentos de amostragem, a coleta de dados, a seleção das técnicas estatísticas e a apresentação dos resultados. Destaca-se a importância da seleção de critérios adequados de avaliação, os quais devem: a) refletir os objetivos da intervenção; b) ser mensuráveis; e c) incorporar a visão dos atores sociais relevantes, principalmente os beneficiários do programa ou projeto. Estes critérios variam de acordo com o tipo de intervenção e a fase do processo avaliativo em foco, mas há certas perguntas fundamentais que orientam sua elaboração: o programa ou projeto é compatível com os valores dos interessados? Ele atende às necessidades dos clientes/usuários? Ele está sendo implementado como planejado? Seus resultados correspondem aos objetivos visados?12 Os pressupostos que informaram a elaboração da intervenção estão explicitados e encontram apoio empírico? Os recursos alocados estão sendo gastos apropriadamente (targetting) e os resultados justificam o gasto realizado? Há critérios sensíveis a efeitos secundários indesejáveis? Foge aos objetivos deste trabalho aprofundar a discussão sobre as difíceis decisões metodológicas pertinentes à pesquisa avaliativa. Não obstante, na seção sobre avaliação de resultados e de impacto serão feitos alguns comentários neste sentido, particularmente no tocante aos desenhos de investigação (experimentais, quase-experimentais e nãoexperimentais). Tipos de avaliação As avaliações podem ser classificadas segundo diferentes critérios, tais como o momento em que se avalia a procedência dos avaliadores, os aspectos da intervenção priorizados e a natureza da questão a ser respondida (COHEN e FRANCO, 1993; AGUILAR e ANDER-EGG, 1994; POSAVAC e CAREY, 1992). No primeiro caso, distinguem-se as avaliações ex-ante, realizadas antes que se inicie o programa ou projeto, das avaliações ex-post, realizadas ao longo da fase de execução ou após a conclusão do mesmo. A avaliação ex-ante visa subsidiar o processo decisório, apontando a conveniência ou não de se realizar o projeto. A avaliação ex-post auxilia os policy sponsors a decidirem pela manutenção e/ou a reformulação do seu desenho original. Segundo a procedência dos executores, as avaliações classificam-se em externas, internas, mistas e participativas. A opção por cada alternativa envolve inescapavelmente ganhos e benefícios. Quando a própria unidade gestora realiza a investigação, minimiza-se o nível de conflito e aumenta-se a quantidade de informação relevante disponível. Em contrapartida, pode-se perder muito em termos de objetividade. Por outro lado, quando se recorre a profissionais não vinculados à instituição executora há um ganho em termos de isenção, mas o acesso aos dados necessários à pesquisa se torna mais difícil. Uma das classificações mais úteis é a que se baseia nos aspectos do program