L'ÉVALUATION: CONCEPTS ET MÉTHODES.
Brousselle A, Champagne F, Contandriopoulos A-P, Hartz ZMA. Montréal: Les Presses de l'Université de Montreal; 2009. 300 pp.

ISBN: 978-27-60621-21-3

O livro foi organizado a quatro mãos e escrito por diferentes membros do Grupo de Pesquisa Interdisciplinar em Saúde (GRIS), que é constituído por pesquisadores especializados em avaliação da Universidade de Montreal no Canadá e tem um compromisso com a democracia e a produção coletiva do conhecimento. Tal esforço teve seu reconhecimento com o prêmio 2009 de melhor livro didático concedido pela reitoria da Universidade de Montreal. Seu conteúdo apresenta o percurso histórico do campo, a delimitação de conceitos fundamentais em avaliação e alguns direcionamentos éticos e políticos. Apesar de o livro trazer exemplos mais propriamente da saúde pública, os autores apresentam que ele pode servir de base para a avaliação de diversos setores, como da educação, da administração ou das ciências políticas.

Dividido em três grandes partes, totalizando 12 capítulos, o livro começa apresentando os fundamentos da avaliação, seu histórico, concepção no domínio da saúde pública, e a construção do modelo das intervenções a serem avaliadas.

A última parte do livro, intitulada *Maximizar o Impacto*, apresenta dois capítulos: *Como Utilizar a Avaliação e Avaliar a Avaliação*. Os programas ou serviços a serem avaliados são considerados intervenções, assim como a própria avaliação e, sendo assim, esta pode e deve também ser avaliada. Pela leitura, pode-se conceber intervenção como um sistema organizado de ação, situado em um tempo e lugar precisos, com o intuito de modificar o curso previsível de um fenômeno para corrigir uma situação problemática. Entre as principais características das intervenções complexas, foram descritas no livro aquelas que têm uma multiplicidade de finalidades, muitas vezes contraditórias e difíceis de serem identificadas, com um número grande de atividades que mobilizam atores interdependentes e que se organizam em lógicas diferentes, uma enorme relação com o contexto, múltiplas relações causais e uma dinâmica de auto-reorganização. É sugerida a construção dos modelos das intervenções a serem avaliadas, justamente para conceber o conjunto de hipóteses necessárias sobre elas para que a intervenção não seja como uma "caixa preta" da qual não se conhece o funcionamento, mas se espera dizer seus efeitos e melhorar sua situação problemática.

Os autores afirmam a necessidade de um estudo aprofundado sobre a intervenção que se pretende avaliar, inclusive para incluir outras dimensões que não somente aquelas estatísticas ou mensuráveis. Especialmente porque os autores historicizam o campo e ressaltam que a avaliação em saúde é o resultado das tradições econômicas, epidemiológicas e da prática clínica. No entanto, o grupo do GRIS aponta para o percurso que a avaliação vem fazendo desde o surgimento da quarta geração, em que se inicia um momento chamado de negociação, quando as ciências humanas começaram a contribuir na concepção e no modo de se avaliar.

A respeito do conceito de avaliação, apresent-se no livro a noção de diversos autores do campo e a definição mais consensual possível, considerou-se como: um julgamento de valor com a função de criar um dispositivo capaz de fornecer informações científicas válidas e socialmente legítimas sobre a intervenção ou sobre qualquer componente dela. Objetiva-se fazer que os diferentes atores envolvidos, cujos campos são por vezes diferentes, façam parte da tomada de posição sobre a intervenção a fim de que eles possam construir, individual ou coletivamente, um julgamento suscetível de se traduzir em ações.

No primeiro capítulo do livro é apresentado um histórico da avaliação, que conta suas quatro gerações, a partir de um primeiro momento nomeado de mensuração, em que a avaliação se aliava à luz da estatística e epidemiologia e estava circunscrita em testes e instrumentos com o intuito de classificar indivíduos e grupos ao medir suas atribuições frente às normas estabelecidas. A segunda geração caracterizava-se pela função de descrição, a terceira pela função de julgamento do avaliador, que deslancha para a discussão da chamada quarta geração que propõe a função de negociação. Historicamente, lembram os autores, a avaliação tinha somente a função de medir, controlar, gerir, escolher os diferentes programas e classificar indivíduos e grupos. A quarta geração, cujo nome é dado pelos autores Guba e Lincoln, e que é uma discussão da qual o livro faz parte, a avaliação é instrumento de negociação e de poder. Durante toda a leitura do livro estão em pauta os métodos de avaliação participativos propostos tanto pelos positivistas quanto pelos construtivistas. Na quarta geração, a avaliação deixa de ser um domínio dos especialistas e o avaliador deixa de ser um juiz, tornando-se um moderador. Os desafios desta geração são discutidos no livro, embora talvez precisemos fazer uma discussão sobre o que nos dificulta tanto realizar avaliações com participações em diferentes etapas e não somente uma pequena discussão coletiva que não
inclui a participação nem da formulação nem das con-
clusões das pesquisas. A proposta da quarta geração
é uma realização coletiva, com o intuito de ser mais
do que uma atividade técnica, mas sim uma prática
de construção de emancipação daqueles que a cons-
troem. É no capítulo 11, sobre a discussão de utilizar
à avaliação, que se resalta a justificativa da avaliação
participativa mediante os seguintes planos: o político
por ser uma redistribuição do poder; o epistemológico
por trazer a compreensão do contexto; e o prático pela
produção de um conhecimento utilizável.

Os tipos de avaliação são organizados no livro co-
mo um mapeamento do campo, apresentando e dis-
cutindo os objetivos e funcionamento dos processos
avaliativos, distinguidos por duas vertentes: a avalia-
ção normativa, que visa apreciar os componentes de
uma intervenção em função dos critérios e normas
estabelecidos para verificar as conformidades destes
componentes; e a pesquisa avaliativa, que é uma meto-
dologia científica que permite analisar e compreender
as relações de causalidade entre os diferentes compo-
nentes da intervenção, com o intuito de compreender
o como e o porquê dos resultados. A segunda parte do
livro divide-se em sete capítulos sobre a especificação
dos tipos de avaliação: a apreciação normativa, a aná-
lise estratégica, a análise lógica, a análise de produção,
a análise dos efeitos, a avaliação econômica e a análise
de implantação.

No capítulo nove, que abre a discussão da avaliação
econômica, os autores apresentam uma questão im-
portante, pois nos países desenvolvidos, os sistemas de
saúde constituem um dos setores-chave da economia
e por isso são fortemente regulados e regulamentados
pelos poderes públicos. É uma questão ética impor-
tante fazer metavaliações das avaliações econômicas
que têm o objetivo de relacionar os custos e benefícios
das práticas de saúde e definir onde serão alocados os
recursos financeiros no campo da saúde pública.

Contudo, na última parte do livro, os autores tra-
zem uma discussão que enfatiza a explicitação dos pa-
radigmas envolvidos na construção do modelo de ava-
liação, isto é, torna-se fundamental apresentar junto à
proposta avaliativa, a reflexão sobre sua natureza: su-
as bases epistemológicas, ontológicas, metodológicas
e teleológicas. Os autores apontam para o desafio de
desenvolver a cultura democrática em avaliação, que
busca guiar racionalmente as escolhas dos gestores.
Consideram que uma das funções mais importantes da
avaliação é a de favorecer os processos de aprendiza-
gem individuais e coletivos, o que significa para eles a
aposta em promover um efeito de inovação no qual a
avaliação é instrumento de mudança. Para os autores,
então, a avaliação deve constituir-se como uma apren-
dizagem e ser diversificada, participativa, não hierár-
quica, contendo direcionamentos interdisciplinares,
válidos, prospectivos e democráticos.

Paula Saules Ignácio
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswal-
do Cruz, Rio de Janeiro, Brasil.
paulasaules@hotmail.com