A pergunta que fazemos hoje não é se nosso governo é muito grande ou muito pequeno, mas se ele funciona – se ajuda as famílias a conseguir empregos com salários decentes, com cuidados que possam pagar, com uma aposentadoria digna. Onde a resposta for sim, pretendemos seguir em frente. Onde a resposta for não, os programas terminarão.”
O parágrafo acima, trecho de um discurso de Barack Obama, feito na Casa Branca em 2009 quando ele era o presidente dos Estados Unidos, mostra a importância de medir os resultados das iniciativas sociais – sejam elas públicas, privadas ou realizadas em um modelo de cooperação. Isso permite saber não apenas se a proposta de uma determinada intervenção foi alcançada, mas também prestar contas à sociedade e aos envolvidos sobre os impactos daquelas ações e, caso necessário, propor melhorias ao projeto ou programa.
Sem avaliação, não temos clareza sobre os benefícios de qualquer iniciativa. Sem avaliação, não conseguimos analisar a relação custo-benefício de cada esforço, o que é fundamental quando recursos disponíveis são inferiores ao desejado, como costuma acontecer. Sem avaliação, não aprendemos o suficiente sobre a intervenção, a ponto de conseguir propor aperfeiçoamentos e aprimorar metodologias. Sem avaliação, diminuem – ou desaparecem – as oportunidades de maximizar o impacto das ações para resolver problemas complexos na sociedade.
O que vale para ações governamentais aplica-se também a projetos desenvolvidos de forma colaborativa entre governo, terceiro setor e setor privado. Conforme ressaltam Sergio G. Lazzarini e Aldo Musacchio no artigo “O uso do aparato estatal em crises: oportunidades e cuidados”, os benefícios da parceria entre esses três atores são muitos: investimento acelerado em infraestrutura estratégica, capacidade de produção, recursos de execução de programas de ação coletiva em massa, novas capacidades tecnológicas, entre outros.
Muitas vezes, o setor privado ou o terceiro setor detém tecnologia de ponta, maior capacidade de formação dos profissionais para que uma solução se torne factível e maior agilidade para chegar aos mais vulneráveis, por exemplo, do que o governo. No entanto, o benefício – o pretendido e o efetivamente gerado – deve ficar claro e transparente para o cidadão, bem como a lógica de governança desses arranjos. É onde entram as métricas de desempenho de projetos sociais e outros cuidados necessários a esses arranjos.
Mas como fazer isso – especialmente em nosso País? O Brasil tem feito vários avanços na busca por disseminar conhecimento sobre o tema. Entre os muitos já realizados, vale destacar dois guias práticos de avaliação publicados pela Casal Civil. Esses documentos clarificam passos essenciais para a avaliação do desempenho de qualquer política pública.
## Ponto de partida: modelo lógico
O primeiro passo, crucial para qualquer análise que será feita do projeto, é ter domínio sobre o desenho da parceria e de sua teoria de mudança, conhecida como modelo lógico. Conforme ressalta o guia, o modelo lógico é “um passo a passo estruturado justamente de forma a demonstrar como recursos e atividades geram produtos, resultados e seus respectivos impactos”. É preciso explicitar e exibir a racionalidade de conexão entre seus componentes, nesta ordem: insumos, atividades, produtos, resultados e impactos.
Detalhando, os insumos de uma política são os recursos necessários para a sua execução, sejam eles financeiros, físicos, humanos ou outros. As atividades são os serviços e os processos realizados com os insumos para que se transformem em uma ação. Os produtos são os resultados diretos da ação ou atividade realizada, e os resultados são as mudanças de curto prazo observadas. Por fim, os impactos são as mudanças de mais longo prazo.
Vejamos um exemplo simplificado de arranjo intersetorial, relativo a um projeto educacional. Uma empresa privada fornece recursos para que um agente do terceiro setor viabilize formadores (insumos) que realizarão uma atividade formativa (atividade), que tem como objetivo capacitar professores para alfabetizar alunos de forma mais eficiente (produto), o que viabiliza uma menor taxa de analfabetismo no município (resultado) e, portanto, uma cidade que possa ler com mais frequência e ter acesso a uma série de outros direitos sociais que dependem da leitura (impactos).
Uma avaliação do impacto das parcerias intersetoriais, assim como acontece com a avaliação de políticas públicas como um todo, depende de um modelo lógico claro e bem desenhado. É a partir dele que podemos contratar e viabilizar um desenho de avaliação – que, idealmente, deve ter pesquisadores independentes de forma a garantir que essa avaliação seja externa e isenta.
## Desenho da avaliação
O desenho da avaliação é criado a partir de uma negociação entre contratante e pesquisador, pois depende da análise cuidadosa dos dados disponíveis, do controle do processo de seleção dos beneficiários, dos instrumentos a que se tem acesso e dos resultados esperados da intervenção, entre outras coisas.
Os guias da Casa Civil detalham esses passos, mas eles só podem ser definidos e negociados uma vez que o gestor da intervenção tenha o modelo de mudança desenhado. Não existe uma fórmula única, a avaliação depende do desenho da parceria e dos objetivos a serem alcançados.
Porém, apesar de não existir uma fórmula única, a ciência já dispõe de um grau amplo de metodologias avaliativas suficientes para avaliar e monitorar a grande maioria dos arranjos de política pública. Além dos diversos exemplos internacionais, o Brasil já tem muitas experiências próprias de avaliação de políticas sociais dos mais diversos arranjos.
## Exemplos práticos
Um exemplo, dentre muitos, é a avaliação de impacto da parceria do Instituto Ayrton Senna com a Secretaria de Estado da Educação de Santa Catarina para a implantação da proposta de educação integral para o Ensino Médio. A parceria conta, ainda, com muitos outros atores, entre universidades, terceiro setor e empresas privadas. Nesse modelo, o Instituto detém a tecnologia das escolas de tempo integral, empresas privadas e outros atores do terceiro setor viabilizam o arranjo e monitoram os resultados e o estado faz a implementação, adaptando a tecnologia à realidade local.
Não apenas preocupados com a garantia dos direitos de aprendizagem dos alunos mas também com a relação custo-benefício do arranjo, essa intervenção já nasceu com um desenho de avaliação de impacto experimental, que permite aferir e mensurar os resultados dos três anos de projeto, avaliando o real impacto em aprendizagem e outras competências dos alunos de ensino médio.
Outro exemplo importante é a criação do programa Criança Feliz, do governo federal, o qual integra ações nas áreas da saúde, assistência social, educação, justiça e cultura e que nasceu com uma avaliação experimental, realizada em parceria com a Universidade Federal de Pelotas e muitas outras universidades e atores envolvidos.
AVALIAR AS POLÍTICAS SOCIAIS de qualquer parceria é mais factível do que se pensa, apesar da complexidade inerente. E é extremamente importante para que possamos analisar o custo-benefício da intervenção, prestar contas à sociedade e gerar oportunidades de discutir e aprender com a experiência, de forma a avançar um degrau a mais na garantia da maximização dos direitos sociais aos cidadãos.
