COMPARTILHANDO REFLEXÕES SOBRE AVALIAÇÃO DE PROJETOS SOCIAIS
Autor: Criando | Publicado: 2012-07-05T18:32:00-07:00





Este texto é uma reflexão de dois
artigos da revista exame e do encontro: a relevância da avaliação para o Investimento Social Privado no centro britânico em 04/07/12.







Este encontro patrocinado por Itaú
Social e Fundação Roberto Marinho, com apoio técnico da Move avaliação e
estratégia em desenvolvimento social, inicia com a palestra muito esclarecedora
de Jane Davidson mostrando as diferenças entre indicadores quantitativos e
qualitativos também chamados por ela de critérios e rubricas, mostrando a
importância dos últimos em detrimento dos quanti e que, o importante é saber o
que queremos e não começar a mensurar só por que é mais fácil.



Entender que os resultados de uma
avaliação têm que responder as perguntas: e daí? E agora? &nbsp;(so what; now what), ou seja, não serve e não
é suficiente dizer que atendemos x mil crianças ou servimos x milhões de
refeições ( a la Criança Esperança).
É necessário mostrar que vidas foram mudadas e ou salvas. Também não é
necessária uma grande quantidade de indicadores se conseguimos respostas às
nossas perguntas apenas com alguns.



A chave é ter uma proposta clara,
envolvimento correto de todos as partes envolvidas (stakeholders), fazer as perguntas
importantes e conhecer a grande figura (big picture), ter respostas claras&nbsp; baseadas em evidência e não em achismos e
intuições, conforme reportagem da revista exame com o prêmio Nobel Daniel&nbsp; Kahneman, http://exame.abril.com.br/revista-exame/edicoes/1018/noticias/nao-dependa-da-intuicao-para-tomar-decisoes
, que demonstra que as respostas dadas por uma parte do cérebro que responde
rápido e com intuição, normalmente nos dá respostas erradas. Davidson ainda
propõe ter um relatório sucinto sem muitos detalhes e com idéias que levarão a
ação. Parece simples, mas não é. O que precisamos medir contra o que é preciso
saber. Saber quantas pessoas vieram a um evento é importante, mas queremos
saber se foram suficientes, quem faltou e porque.



As melhores perguntas a serem
respondidas são:

<!--[if !supportLists]-->·&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->O programa era (e continua sendo) necessário? 

<!--[if !supportLists]-->·&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Quão bem o programa foi desenhado e implementado?

<!--[if !supportLists]-->·&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->O programa / projeto valeu a pena pelos recursos
aportados? 

<!--[if !supportLists]-->·&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Teve impacto positivo na vida das pessoas?

<!--[if !supportLists]-->·&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->É sustentável financeiramente?



Não queremos só indicadores, mas
ferramentas que respondam as nossas boas perguntas.&nbsp; Focar no que queremos saber e menos no que é
fácil medir mesmo que não sejamos tão precisos. Segundo John Tukey, estatístico
americano do início do século passado, “muito melhor ter uma resposta
aproximada para a pergunta certa, que
muitas vezes é vaga, do que uma resposta exata
para a pergunta errada, que pode sempre ser feita de maneira precisa”. 

As organizações devem investir na
avaliação para poder crescer e replicar os bons modelos.



O estudo de casos sempre é importante
neste tipo de encontro. Foram 4 salas com os seguintes casos:

<!--[if !supportLists]-->-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Programa água eclima da WWF Brasil

<!--[if !supportLists]-->-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Avaliação do programa primeiríssima infância –
Fundação Maria Cecília Souto Vidigal

<!--[if !supportLists]-->-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Construção de cultura de avaliação – Instituto Sou
da Paz

<!--[if !supportLists]-->-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<!--[endif]-->Programa Execelência em gestão Educacional –
Fundação Itaú Social

Assisti ao último que foi
apresentado por Carolina e Cláudia. O projeto tem parceria com o Instituto
Fernand Braudel com o objetivo de realizar um projeto piloto em 10 escolas municipais
da cidade de São Paulo entre as mais vulneráveis, &nbsp;que foram escolhidas pelo critério de desempenho
IDESP 2007. 



A estratégia escolhida foi baseadas
na cidade de Nova York onde o professor, o coordenador de pais e o coordenador
pedagógico recebem uma tutoria no cotidiano da escola e a partir da observação deste
tutor (que já foi professor da rede pública) faz recomendações. 

Tem o objetivo de trazer a
família para dentro da escola e as perguntas avaliativas foram:

Em que medida o programa
contribui para formação do aluno, relação com a família, gestão pedagógica e
desempenho do professor. O projeto terminou no fim do ano passado e agora estão
compilando os dados finais. Por meio dos dados preliminares se pode concluir
que vale a pena replicar o projeto para outras escolas.



Aproveito para inserir um caso
que saiu na última exame (Ed. 1019) que demonstra como a francesa Ester Duflo
se tornou uma das mais requisitadas pesquisadoras especialista no combate a
miséria. O pragmatismo de Duflo atrai empresários em busca de avaliar o alcance
de seus investimentos em programas sociais, segundo a revista.

A “Filantropia de Resultado” tem
um método de 5 etapas inspirado na medicina:

1 – O Problema – Pesquisadores determinam
o objetivo a ser atingido, como a redução do absenteísmo de professores em
determinada região

2 – A Amostra – Duas amostras da
população são separadas aleatoriamente. Uma delas será submetida à solução
aplicada – a outra não

3 – A Análise – Numa avaliação
que pode durar até cinco anos, pesquisadores verificam o que deu certo e por
quê

4 – A Comparação – Pesquisadores comparam
o custo-benefício da solução atual e outras saídas sob a mesma métrica

5 – A Multiplicação – O que deu
certo pode ser reproduzido em larga escala em comunidades com características
semelhantes.



A similaridade com o projeto do
Itaú Social não deve ser mera coincidência. Vejam a matéria toda em: http://exame.abril.com.br/revista-exame/edicoes/1019/noticias/a-guru-de-bill-gates

Fiona Cram na palestra:
Avaliação, relevância e força dinâmica, trouxe a experiência da Kauapapa Maori
Evaluation da Nova Zelândia e o modelo desenhando o caminho de Ross Conner onde
os participantes seguram a caneta e falam enquanto desenham e constroem juntos a
capacidade de avaliar

Segundo Martina Rillo Otero do
Instituto Fonte que fechou o evento de um dia, a avaliação serve para dentro e
para fora – para dentro como parte do planejamento estratégico, para revisar os
métodos e objetivos e para fora para atrair e manter investidores, promover os
projetos. Focar um só dos lados (fora ou dentro) é desperdiçar energias.



Visitem os sites Itaú social e
Instituto fonte para maiores detalhes do encontro e ver os outros casos:

WWW.fonte.org.br ; http://www.fundacaoitausocial.org.br/
; &nbsp;WWW.innonet.org
; http://realevaluation.com/

http://movesocial.com.br/