Norma nº 188/2020

Aprova o Referencial de Controle de Políticas Públicas (RC-PP).

 O PRESIDENTE DO TRIBUNAL DE CONTAS DA UNIÃO, no uso de suas atribuições legais e regimentais,considerando que a Lei de Diretrizes Orçamentárias (LDO) tem previsto anualmente que o Tribunal de Contas da União envie à Comissão Mista a que se refere o § 1º do art. 166 da Constituição Federal, no prazo de até trinta dias após o encaminhamento do Projeto de Lei Orçamentária, quadroresumo relativo à qualidade da implementação e ao alcance de metas e dos objetivos dos programas e das ações governamentais objeto de auditorias operacionais realizadas para subsidiar a discussão de Projeto de Lei Orçamentária;considerando que o Acórdão nº 2.608/2018-TCU-Plenário recomendou à Secretaria-Geral de Controle Externo que verificasse, com o apoio da Coordenação-Geral de Controle Externo de Resultados de Políticas e Programas Públicos e da Secretaria de Métodos e Suporte ao Controle Externo, a possibilidade de estabelecer parâmetros objetivos para classificar os achados de auditoria nos processos de fiscalização de políticas públicas e programas de governo, bem assim de estabelecer um núcleo comum de quesitos a serem examinados nessa modalidade de fiscalização, de modo a possibilitar a correta consolidação dos resultados e a elaboração do quadro-resumo a que se referem as últimas leis de diretrizes orçamentárias, a exemplo da Lei nº 13.707, de 14 de agosto de 2018; econsiderando as informações constantes do documento eletrônico nº 66.395.8670, resolve:Art. 1º Fica aprovado, na forma do Anexo Único desta Portaria, o Referencial de Controle de Políticas Públicas (RC-PP), com o objetivo de estabelecer:I - parâmetros objetivos para planejar ações de controle e classificar os achados de auditoria nos processos de fiscalização de políticas públicas e programas de governo; eII - um núcleo comum de quesitos a serem examinados nas fiscalizações de políticas públicas e programas de governo, de modo a possibilitar a correta consolidação dos resultados e a elaboração do quadro-resumo relativo à qualidade da implementação e ao alcance de metas e dos objetivos dos programas e das ações governamentais objeto de auditorias operacionais realizadas para subsidiar a discussão de Projeto de Lei Orçamentária.Parágrafo único. Os apêndices do RC-PP estão disponíveis no Portal do TCU, no seguinte endereço eletrônico: https://portal.tcu.gov.br/biblioteca-digital/referencial-de-controle-de-politicas-publicas.htm.Art. 2º Cabe à Secretaria-Geral de Controle Externo (Segecex), com relação ao Referencial de que trata esta Portaria:I - analisar e tratar sugestões para o aperfeiçoamento do RC-PP; eII - manter o RC-PP e seus apêndices atualizados.Art. 3º Fica a Segecex autorizada a promover a atualização:I - do RC-PP, por meio de portaria própria, sempre que necessário; eII - dos apêndices do RC-PP diretamente no Portal do TCU, em formato digital.Art. 4º Esta Portaria entra em vigor na data de sua publicação.JOSÉ MUCIO MONTEIROANEXO ÚNICO DA PORTARIA-TCU Nº 188, DE 30 DE NOVEMBRO DE 2020.FICHA CATALOGRÁFICAL131a BRASIL. Tribunal de Contas da UniãoReferencial de controle de políticas públicas / Brasília: TCU, 2020. 179 fl (Publicação Institucional) 1. Políticas Públicas. 2. Controle 3. Avaliação 4. Análise 5. Referencial.CDU 02CDD 020 CréditosSecretário-Geral de Controle ExternoPaulo Roberto Wiechers MartinsCoordenador-Geral de Controle Externo de Políticas PúblicasJunnius Marques ArifaSecretaria de Controle Externo do Desenvolvimento EconômicoAndreia Rocha Bello de OliveiraSecretaria de Métodos e Suporte ao Controle ExternoCarlos Roberto CaixetaSecretaria de Macroavaliação GovernamentalLeonardo Rodrigues Albernaz Equipe técnica responsável:Renata Miranda Passos CamargoMariana Priscila Maculan SodreRevisão Interna:Antônio França Da CostaCarlos Augusto de Melo FerrazDagomar Henriques LimaFábio Moreno de Andrade AlmeidaMarcos Araujo Mortoni SilvaPatrícia Coimbra Souza MeloPaulo Henrique OliveiraRafael EncinasRodrigo Araujo VieiraTiago Modesto Carneiro CostaVirginia de Angelis Oliveira de PaulaRevisão Externa:Dra. Alketa PeciDra. Gabriela Spanghero LottaDr. Fernando de Barros FilgueirasDr. Francisco GaetaniDr. Paulo Carlos Du Pin CalmonDr. Rafael Silveira e SilvaSumário 1	Contextualização	171.1	Conceito de políticas públicas	191.2	Origem e desenvolvimento do pensamento sobre políticas públicas	201.3	Análise, avaliação e controle de políticas públicas	221.4	Objetivo do referencial	241.5	Relação com o GUID 9020 da Intosai	251.6	Relação com outros documentos	271.7	Metodologia adotada para elaboração do referencial	291.8	Forma de utilização do referencial	292	Referencial de controle de políticas públicas	322.1	Ciclo de políticas públicas	332.2	Blocos de controle	372.3	Aplicação do referencial	392.4	Diagnóstico do problema e formação da agenda	41Boas práticas	42Critérios gerais de auditoria	43Controle aplicado ao diagnóstico do problema e à formação da agenda	45Questões de auditoria	46Itens de verificação	47Papéis de trabalho	482.5	Análise de alternativas e tomada de decisão	49Boas práticas	51Critérios gerais de auditoria	53Controle aplicado à análise de alternativas e à tomada de decisão	57Questões de auditoria	58Itens de verificação	59Papéis de trabalho	612.6	Desenho e institucionalização da política pública	63Boas práticas	64Critérios gerais de auditoria	64Controle aplicado ao desenho e à institucionalização da política	67Questões de auditoria	70Itens de verificação	71Papéis de trabalho	732.7	Estruturação da governança e gestão	75Boas práticas	76Critérios gerais de auditoria	76Controle aplicado à estruturação da governança e gestão	81Questões de auditoria	85Itens de verificação	86Papéis de trabalho	892.8	Alocação e gestão de recursos orçamentários e financeiros	90Boas práticas	93Critérios gerais de auditoria	95Controle aplicado à análise da gestão de recursos orçamentários e financeiros	98Questões de auditoria	100Itens de verificação	101Papéis de trabalho	1042.9	Operação e monitoramento da política pública	105Boas práticas	109Critérios gerais de auditoria	110Controle aplicado à operação e monitoramento da política	114Questões de auditoria	120Itens de verificação	120Papéis de trabalho	1222.10	Avaliação da política pública	123Boas práticas	127Critérios gerais de auditoria	127Controle aplicado à avaliação de políticas públicas	132Questões de auditoria	133Itens de verificação	134Papéis de trabalho	1353	Políticas intersetoriais e intergovernamentais	1373.1	Formas de integração em políticas públicas	1383.2	Controle de políticas públicas intergovernamentais e intersetoriais	1414	Considerações finais	146Referências	149Apêndices - Papéis de Trabalho	167Anexo I - Glossário de políticas públicas	168Anexo II - Principais fontes utilizadas	182Anexo III - Ficha-síntese	186Lista de figuras Lista de quadrosQuadro 1: Itens de verificação: diagnóstico do problema e formação da agenda	47Quadro 2: Modelo de tomada de decisão	50Quadro 3: Itens de verificação: análise de alternativas e tomada de decisão	59Quadro 4: Itens de verificação: desenho e institucionalização da política pública	71Quadro 5: Itens de verificação: estruturação da governança e gestão	86Quadro 6: Itens de verificação: alocação e gestão de recursos	101Quadro 7: Itens de verificação: operação e monitoramento da política pública	120Quadro 8: Itens de verificação: operação e monitoramento da política pública	134Quadro 9: Fatores que influenciam a integração	141Quadro 10: Lista de apêndices	167Lista de abreviaturas e siglas AIR		Análise de Impacto RegulatórioCecap		Centro de Altos Estudos em Controle e Administração PúblicaCogep		Coordenação-Geral de Controle Externo de Políticas PúblicasGAO		U.S. Government Accountability OfficeIntosai		The International Organization of Supreme Audit InstitutionsIPEA		Instituto de Pesquisa Econômica Aplicada ISC		Instituto Serzedello CorreaNAO		U.K National Audit OfficeRAG-PP	Referencial de Avaliação de Governança de Políticas PúblicasRePP		Relatório de Fiscalização de Políticas e Programas de GovernoRC-PP	Referencial de Controle de Políticas PúblicasSec-MS	Secretaria do TCU no Estado do Mato Grosso do SulSecexDesenvolvimento	Secretaria de Controle Externo de Desenvolvimento                                           EconômicoSecexSaude	Secretaria de Controle Externo de SaúdeSegexec 	Secretaria-Geral de Controle ExternoSemag	Secretaria de Macroavaliação GovernamentalSemec	Secretaria de Métodos e Suporte ao Controle ExternoONU 		Organização das Nações Unidas OCDE		Organização para a Cooperação e o Desenvolvimento EconômicoTCU		Tribunal de Contas da UniãoApresentaçãoO Estado Brasileiro retira parcela considerável da renda da sociedade para financiar políticas públicas em áreas como saúde, educação, segurança, infraestrutura e ciência e tecnologia, no intuito de promover a qualidade de vida da população. No entanto, há uma percepção comum de que as entregas relacionadas a tais políticas públicas não são proporcionais, em termos de qualidade, ao volume de recursos compulsoriamente extraídos por meio de tributos. Por isso, a importância de se analisar e avaliar as políticas públicas, em todas as suas etapas, seja pela própria Administração Pública ou por meio de parcerias com o setor privado e a academia, de modo a oferecer subsídios tempestivos para a sua melhoria, bem como para fornecer respostas à sociedade acerca dos resultados decorrentes do seu investimento nas atividades estatais.Considerando o papel atribuído pela Constituição Federal ao controle externo para fiscalizar a Administração Pública, e a necessidade de aprimorar a atuação do Tribunal de Contas da União, elaborou-se este documento para orientar e sistematizar a avaliação das políticas públicasCabe mencionar que o presente Referencial de Controle de Políticas Públicas atende a diretriz estipulada no item 9.5 do Acórdão 2.608/2018-TCU-Plenário, que recomendou a definição de parâmetros objetivos para classificar os achados de auditoria nos processos de fiscalização de políticas públicas, bem como o estabelecimento de um núcleo comum de quesitos a serem examinados nessas fiscalizações, de modo a possibilitar a correta consolidação dos resultados e a elaboração do quadro-resumo a que se referem as últimas leis de diretrizes orçamentárias[footnoteRef:2].  [2:  Teor do dispositivo constante da LDO 2020: "Art. 124. O Tribunal de Contas da União enviará à Comissão Mista a que se refere o § 1º do art. 166 da Constituição, no prazo de até trinta dias após o encaminhamento do Projeto de Lei Orçamentária de 2020, quadro-resumo relativo à qualidade da implementação e ao alcance de metas e dos objetivos dos programas e das ações governamentais objeto de auditorias operacionais realizadas para subsidiar a discussão do Projeto de Lei Orçamentária de 2020."] Nesta versão do Referencial de Controle de Políticas Públicas, destacam-se os aspectos condicionantes para o bom desempenho das intervenções públicas, quais sejam: um adequado diagnóstico do problema; um processo transparente de formação de agenda; um adequado desenho da política, baseado em evidências e precedido de análise de alternativas; um processo decisório aberto (transparente, participativo e accountable), de alocação dos recursos públicos; uma estruturação adequada dos processos de governança e gestão; uma implementação eficiente, eficaz, efetiva, econômica e conforme aos preceitos legais; e uma avaliação contínua do desempenho, dos resultados e dos impactos das políticas públicas.Para chegar a este conjunto de aspectos foram examinadas múltiplas fontes de informação, entre atos normativos, documentos técnicos, artigos e publicações nacionais e internacionais, com destaque para guias de referência produzidos pela  International Organization of Supreme Audit Institutions (Intosai), Organização das Nações Unidas (ONU), Banco Mundial, Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), Instituto de Pesquisa Econômica Aplicada (IPEA), U.S. Government Accountability Office (GAO) e o U.K National Audit Office (NAO). Esse esforço resultou na seleção de boas práticas, critérios de auditoria, itens de verificação e matrizes de planejamento padronizadas, para apoiar as equipes de fiscalização designadas para esses tipos de trabalho, bem como para contribuir para o aperfeiçoamento dos processos de formulação, implementação e avaliação das intervenções estatais, visando a efetiva entrega de resultados à sociedade.Tenho a convicção de que a aplicação deste Referencial tornará mais eficiente o planejamento das ações de controle, cujo objeto sejam políticas públicas; facilitará o processo de coleta de dados; melhorará a qualidade de análises acerca da maturidade de políticas públicas; bem como contribuirá para a melhoria dos resultados da ação governamental em benefício de toda a sociedade brasileira.Ministro José Múcio MonteiroPresidente do Tribunal de Contas da União (Neste capítulo apresentam-se os conceitos básicos necessários à compreensão das políticas públicas, uma breve perspectiva histórica do desenvolvimento das ciências políticas e do conjunto de conhecimentos sobre políticas públicas. Em seguida, contextualiza-se o tema sob o ponto de vista dos órgãos de controle, apresentam-se os objetivos deste referencial, suas possíveis formas de aplicação, bem como a metodologia utilizada para seu desenvolvimento.  ) (Capítulo 1Contextualização)1 ContextualizaçãoComo seres sociais, vivemos em comunidades interdependentes e que passam por situações que para serem solucionadas requerem ação coletiva e a atuação coordenada de múltiplos atores.Um problema coletivo pode se tornar público quando existe uma situação considerada inadequada, frente a outra ideal, que se mostra relevante para a coletividade[footnoteRef:3] e é reconhecida como tal por atores políticos/governamentais. [3:  Problemas coletivos existem independentemente da existência dos governos, bastando que este problema esteja afetando uma coletividade de qualquer natureza. Já problemas públicos se caracterizam essencialmente por serem problemas que os governos tomaram para si o seu tratamento (seja na forma de ação ou de deliberada não-ação).] Ao conjunto de diretrizes e intervenções[footnoteRef:4] do estado, feitas por pessoas físicas e jurídicas, públicas e/ou privadas[footnoteRef:5], com vistas a tratar o problema público, dá-se o nome de políticas públicas[footnoteRef:6]. [4:  Intervenções são cursos de ação empregadas pelos implementadores de políticas para mudar situações e comportamentos do público-alvo. ]  [5:  De acordo com a abordagem policêntrica, ou multicêntrica, organizações privadas, organizações não governamentais, organismos multilaterais, redes de políticas públicas (policy networks), juntamente com atores estatais, protagonistas no estabelecimento de políticas públicas também podem formular, implementar e avaliar políticas (DROR, 1971; KOOIMAN, 1993; RHODES, 1997; REGONINI, 2001; HAJER, 2003; SECCHI, 2017). Conforme a abordagem estatista ou estadocêntrica, são consideradas políticas públicas apenas aquelas emanadas de atores estatais (HECLO, 1972; DYE, 1972; MENY; THOENIG, 1991; BUCCI, 2002; HOWLETT; RAMESH; PEARL, 2013; SECCHI, 2017).]  [6:  Aquelas políticas que são elaboradas, estabelecidas e coordenadas por atores governamentais, no âmbito de suas competências legislativas, executivas e judiciárias, também são conhecidas como políticas governamentais (SECCHI, 2017).] Fonte: Elaboração própria.Em nível federal, os órgãos centrais e os ministérios são os principais responsáveis pela formulação de políticas públicas. Contudo, eles não são os únicos a desempenhar esse papel. Agências reguladoras, órgãos e entidades executivas, legislativo e outros atores, também colaboram na formulação, implementação e avaliação de políticas públicas.Dada a complexidade do tema e conjunto amplo de recursos públicos envolvidos, torna-se premente o controle da atuação desses atores, o monitoramento e a avaliação contínua do desempenho dessas intervenções com vistas a garantir sua coerência, eficiência, eficácia, efetividade, economicidade e sustentabilidade.O presente referencial é uma ferramenta de controle de políticas públicas que provê instrumentos objetivos para análise sistemática de aspectos relativos à formulação, implementação, avaliação de políticas públicas, com vistas a fornecer informações úteis para o processo de tomada de decisão acerca de sua continuidade, aprimoramento ou extinção.Trata-se de um instrumento de apoio para o controle, interno e externo, de políticas públicas, que além de padronizar e integrar conceitos e métodos de fiscalização, também poderá ser utilizado pelo gestor como guia para aprimoramento de seus processos de trabalho.Nesta primeira edição do referencial, serão abordados, prioritariamente, aspectos condicionantes das políticas públicas, isto é, aspectos de formulação e implementação que, se não forem bem endereçados, podem afetar de modo significativo o desempenho da política e comprometer seus resultados.Espera-se, como resultado deste trabalho, que auditores e gestores, sejam capazes de conhecer e aplicar boas práticas de desenho e controle da formulação de políticas públicas e com isso, no futuro, otimizar o resultado das intervenções públicas, em benefício da sociedade.1.1 Conceito de políticas públicasDe acordo com Clarke, Cochran et al (2010), política pública se refere a uma ação governamental e às intenções que a determinaram. Segundo Guy Peters (2010), política pública é a soma das ações governamentais, praticadas de forma direta ou por meio de agentes, que influenciam a vida dos cidadãos. Para Thomas Dye (1972), políticas públicas são "tudo aquilo que os governos escolhem fazer ou deixar de fazer". Heidemann (2009), assim como Dye, defende que a omissão deliberada do poder público também deve ser vista como política pública. Considerando o mandato e as competências dos órgãos de controle externo no Brasil, para fins do presente Referencial de Controle de Políticas Públicas, são consideradas políticas públicas o conjunto de intervenções e diretrizes emanadas de atores governamentais[footnoteRef:7], que visam tratar, ou não[footnoteRef:8], problemas públicos e que requerem, utilizam ou afetam recursos públicos[footnoteRef:9]. [7: Considerando o mandato e as competências dos órgãos de controle externo no Brasil, para fins deste referencial, adotou-se a abordagem estatista ou estadocêntrica.]  [8: Uma questão polêmica em torno do conceito de política pública consiste na inclusão da "omissão governamental" na definição. Neste referencial, entende-se que é relevante destacar que o controle da política pelo TCU, em regra, não atinge políticas públicas de não ação. Com exceção dos casos onde os órgãos de controle têm obrigação de fiscalizar e em que tenha havido decisão, de atores governamentais responsáveis pelo tratamento do problema público pautado na agenda política, divergente do preconizado em ato governamental (não cumprimento de obrigação, dever de agir).]  [9:  Dinheiros, bens, valores, pessoas etc.] Dentro desse contexto são consideradas políticas públicas[footnoteRef:10] não apenas aquelas explícitas em atos normativos, como por exemplo as constantes dos  programas e planos governamentais (plurianuais[footnoteRef:11], nacionais, setoriais, regionais, organizacionais), mas, também, outras ações concretas e diretrizes, emanadas de atores políticos/governamentais, mesmo que não regulamentadas em ato normativo, que orientam a ação, ou inação, estatal e da sociedade quanto ao tratamento de problemas públicos. [10:  No âmbito deste referencial não se faz distinção entre os termos políticas públicas e programas de governo. Tal escolha se justifica ante à abrangência da atuação do controle externo, ao propósito deste referencial e ao fato de os métodos e os ritos de controle aqui preconizado serem aplicáveis a ambos os objetos de controle.]  [11:  "Leis de iniciativa do Poder Executivo estabelecerão: I - o plano plurianual; II - as diretrizes orçamentárias; e III - os orçamentos anuais." art. 165, da Constituição Federal de 1988.] Alguns exemplos de intervenções[footnoteRef:12] públicas no Brasil são: o Plano Nacional de Educação (PNE); a Política Nacional de Desenvolvimento Urbano (PNDR); as políticas para convivência com o semiárido; as políticas federais de fomento à inovação; as políticas federais para a faixa de fronteira; o Programa Minha Casa Minha Vida (PMCMV); o Programa 5011 - Educação Básica de Qualidade; o Programa Nacional de Alimentação Escolar (PNAE); a Lei de Informática (Lei 8.248/1991); o Programa de Apoio ao Desenvolvimento Tecnológico da Indústria de Semicondutores (Padis); o Plano Nacional de Enfrentamento à Covid-19; o marco legal de saneamento básico; e a política de seguridade social. [12:  Intervenções públicas são ações governamentais voltadas ao tratamento de questões específicas de interesse público, as quais se manifestam por meio de instrumentos como estratégias, políticas nacionais, planos, programas, projetos, processos, ações, regulamentações e outros. Uma política pública, em geral, é implementada por meio de um conjunto coordenado e coerente de intervenções que, juntas, buscam alterar uma realidade. Aqui cabe ressaltar que as intervenções podem ser feitas tanto com o uso de recursos orçamentários quanto mediante incentivos outros, como no caso dos gastos tributários. Na administração pública federal brasileira coexistem, instrumentos tradicionais - como implementação por gestão direta e por uso de incentivos econômicos, e iniciativas para implementar políticas por gestão indireta, mediante convênios, contratos e concessões de uso (COSTIN; 2005, SOUZA; 2001, TORRES; 2007) - e instrumentos mais recentes - como transferências fundo a fundo (OLLAIK; MEDEIROS, 2011).] 1.2 Origem e desenvolvimento do pensamento sobre políticas públicas Falar de políticas públicas é condensar em único arcabouço um conjunto de pensamentos e práticas sociais e econômicas. Sua origem, como prática social, retoma à antiguidade quando surgiram as primeiras lideranças políticas, que estabeleciam diretrizes para tratar problemas coletivos que impactavam os grupos sociais. Sua vertente econômica, por sua vez, se vincula à ideia de escassez dos recursos frente à crescente demanda por soluções para problemas públicos. Em termos históricos, o estudo sistemático das políticas públicas desenvolve-se no período pós-guerra, com os precursores das teorias comportamentais, momento no qual a preocupação voltou-se para o estudo dos processos decisórios que orientavam a ação governamental (LASSWELL, 1951).Os críticos dessa visão, como Simon (1955), indagaram acerca da limitada capacidade de os decisores fazerem escolhas completamente embasadas e isentas. Esse olhar levou estudiosos, como Lindblom, a desenvolver, ao longo dos anos 60, o que ficou conhecido como incrementalismo, segundo o qual as escolhas públicas se dão em pequenos ciclos decisórios, ajustados continuamente, em um ambiente dinâmico e pluralista. Anos depois, Cohen, March e Olsen (1972) publicaram artigo intitulado A Garbage Can Model of Organizational Choice, que destaca que três fatores precisam estar em harmonia para orientar determinadas ações: a visão do problema, a estratégia de ação e as condições políticas.Em ciências sociais, em que pese a constante busca pela racionalidade no processo decisório, se reconhece que não há solução única para um problema, outrossim, há soluções possíveis, que se mostram adequadas em determinado contexto econômico, social, ambiental e político. Nesse ínterim, Pressman e Wildavsky (1973) lembram que o próprio processo de implementação, complexo e eivado de limitações de recursos e informações, transforma as políticas públicas. Sobre isso, Lipsky (1980) nos lembra que a tomada de decisões não se restringe à etapa de formulação da política pública, como entendia a visão tradicional denominada de "top-down". Para o autor, aqueles que implementam as políticas, no que ele denominou de "burocratas de nível de rua", não raramente adaptam-nas de forma discricionária para suprir lacunas ou viabilizar sua aplicação em situações concretas, em geral, imprevisíveis.Neste ponto, cabe destacar que as decisões políticas não são isentas de pressões e interesses. O que diferencia então uma decisão legítima de uma pouco republicana é o seu grau de conformidade com os critérios sociais, legais e morais de uma sociedade democrática. Há, portanto, que se avaliar se os impactados pela política, tanto aqueles que receberão o bônus, quanto o ônus, em sua maioria, percebem o problema e concordam com as soluções postas. Em seguida, há que se garantir a conformidade com os marcos do Estado de Direito. Por fim, há que se avaliar a moralidade dos atos praticados, frente aos valores democráticos e garantir a sua impessoalidade, publicidade e eficiência (CF 88, Art. 37).Aqui cabe ressaltar que, em políticas públicas, nem sempre existe consenso. No mundo da ciência política, admite-se que há visões conflitantes, por vezes antagônicas, e outras complementares, que disputam por recursos públicos e pela atenção dos tomadores de decisão. Não por acaso, ocorrem fragmentações, duplicidades, sobreposições e lacunas nos planejamentos governamentais. Como então mitigar o risco de ineficácia dos resultados e ineficiência no uso dos recursos públicos? É neste locus que despontam métodos e técnicas de análise, avaliação e controle de políticas públicas.1.3 Análise, avaliação e controle de políticas públicasA análise de políticas públicas corresponde ao "exame da engenharia institucional e dos traços constitutivos dos programas" (ARRETCHE, 1998), podendo ter caráter descritivo, com o objetivo de desenvolver conhecimentos sobre o processo de elaboração das políticas (formulação, implementação e avaliação) em si mesmo, ou prescritivo, voltada a apoiar os formuladores de políticas agregando conhecimento ao processo de elaboração. A avaliação de políticas, a despeito da existência de múltiplas correntes de pensamento, em sua visão majoritária, associa-se à ideia de acompanhamento de desempenho, mensuração de resultados e aferição de impactos. O controle, por sua vez, pode ser compreendido sob quatro perspectivas: o controle gerencial, o controle interno, o controle externo e o controle social. a) O controle gerencial, de responsabilidade da gestão operacional, busca assegurar o alcance dos objetivos e o melhor uso dos recursos (ferramentas, pessoas, processos, dinheiros, etc). Como primeira e segunda linha de defesa, compete a ele o monitoramento do desempenho das intervenções (IIA, 2019), a gestão de seus riscos e controles internos (IIA, 2013; IIA, 2019), bem como o controle administrativo[footnoteRef:13], que compreende o plano de organização e todos os métodos e procedimentos que dizem respeito à eficiência operacional e à decisão política traçada pela administração. [13:  Controle administrativo normalmente se relacionam de forma indireta aos registros financeiros e abrangem análises estatísticas, estudos de tempo e movimento, relatórios de desempenho, programas de treinamento e controle de qualidade (ATTIE, 2011).] b) O controle interno[footnoteRef:14], terceira linha de defesa, é responsável pela auditoria interna e condução de avaliações objetivas e independentes sobre a adequação e a eficácia de controles internos, processos e estruturas criados para apoiar a boa governança pública (IIA, 2019). [14:  Controle interno é um processo conduzido pela estrutura de governança, administração e outros profissionais da entidade, e desenvolvido para proporcionar segurança razoável com respeito à realização dos objetivos relacionados a operações, divulgação e conformidade (COSO 2013-sumário executivo). Controle interno é um processo integrado e dinâmico efetuado pela direção e pelo corpo de colaboradores, estruturado para enfrentar riscos e fornecer razoável segurança de que, na consecução da missão da entidade, os seguintes objetivos gerais serão alcançados: (1) execução ordenada, ética, econômica, eficiente e eficaz das operações; (2) cumprimento das obrigações de accoun¬tability; (3) cumprimento das leis e dos regulamentos aplicáveis; (4) salva¬guarda dos recursos, para evitar perdas, mau uso e dano (INTOSAI GOV 9100: Guidelines for internal control standards for the public sector, 2004). Citado no referencial de governança de organizações do TCU.] c) O controle externo[footnoteRef:15], em que pese a possibilidade de colaboração com todos os tipos de controle, realiza auditorias externas e meta-avaliações; analisa a qualidade, a completude, a tempestividade e a confiabilidade de informações prestadas; analisa o desempenho do portfólio de políticas; bem como verifica aspectos qualitativos como a relevância, a utilidade e a coerência das intervenções para o tratamento dos problemas públicos. Busca, portanto, oferecer segurança para as partes interessadas sobre as informações prestadas pela gestão, de forma independente desta. [15:  Conforme dispõe o art. 70 da CF/88, "a fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União e das entidades da administração direta e indireta, quanto à legalidade, legitimidade, economicidade, aplicação das subvenções e renúncia de receitas, será exercida pelo Congresso Nacional, mediante controle externo, e pelo sistema de controle interno de cada Poder". De acordo com o art. 71 da CF/88, "o controle externo, a cargo do Congresso Nacional, será exercido com o auxílio do Tribunal de Contas da União". As competências constitucionais e privativas do TCU estão estabelecidas nos artigos 33, §2º, 70, 71, 72, §1º, 74, §2º e 161, parágrafo único, da Constituição Federal de 1988, bem como na Lei 8.443/1992 (Lei Orgânica do TCU) e em outras leis específicas que trazem em seu texto atribuições conferidas ao Tribunal. Entre essas estão a Lei de Responsabilidade Fiscal (LC 101/2001), a Lei de Licitações e Contratos (8666/93) e, anualmente, a Lei de Diretrizes Orçamentárias.] d) O controle social, por sua vez, refere-se ao controle da Administração Pública realizado pela sociedade civil, seja mediante instâncias institucionalizadas, como os conselhos gestores de políticas públicas, seja mediante instituições independentes, como observatórios ou a ação da mídia.Fonte: Elaboração própria.1.4 Objetivo do referencialO objetivo específico deste Referencial de Controle de Políticas Públicas é estabelecer uma estrutura de critérios comuns que possam compor um modelo para avaliar o nível de maturidade de políticas públicas, orientando e sistematizando ações de controle, de modo a contribuir para a melhoria do desempenho e dos resultados das políticas públicas, por meio do aprimoramento de seu processo de formulação, implementação e avaliação.Box 1: Maturidade de políticas públicas Um modelo de maturidade explicita o quanto um processo é capaz de promover o alcance de seus objetivos e a melhoria contínua do seu desempenho. No contexto deste documento, maturidade é determinada pelas capacidades existentes em termos de liderança, estratégia e controle[15], e de preparo das estruturas para gestão; pelo emprego dessas capacidades aos processos e parcerias; bem como pelos resultados obtidos na melhoria do desempenho de políticas públicas no cumprimento de sua finalidade de gerar valor para a sociedade com eficiência e eficácia, transparência e accountability, e em conformidade com leis e regulamentos.Avaliação do nível de maturidade de políticas públicas, no âmbito deste referencial, engloba, a verificação da qualidade do processo de formulação, implementação e avaliação de políticas públicas frente a um conjunto de boas práticas que, reconhecidamente, contribuem para a melhoria de seu desempenho e resultados.Para além de auxiliar a realização de diagnóstico das políticas públicas no Brasil, desde sua formulação até sua avaliação, vislumbra-se a adoção dos requisitos do referencial como um instrumento de aprimoramento das políticas públicas, por meio da indução da adoção de boas práticas consagradas na legislação, na literatura especializada e em outros referenciais nacionais e internacionais para análise, avaliação e controle de políticas públicas.     Aqui cabe ressaltar que este instrumento não tem a pretensão de ser um novo método para avaliar políticas públicas e nem para realizar auditoria operacional, porque já há muitos métodos disponibilizados para ambas, não só pelo TCU, mas por outros organismos nacionais e internacionais como a Intosai, a OCDE, o Banco Mundial, o Ipea, a ONU, o Tribunal de Contas Europeu, o GAO e outros. Em vez disso, as orientações contidas aqui devem ser utilizadas como apoio aos auditores para realização de diagnósticos amplos de um conjunto de políticas públicas, por meio dos questionários disponibilizados e para a realização de auditorias em políticas públicas específicas, com a utilização de matrizes de planejamento padronizadas, que contêm um núcleo comum de questões.    1.5 Relação com o GUID 9020 da IntosaiO Guia de Avaliação de Políticas Públicas (GUID 9020)[footnoteRef:17] da International Organization of Supreme Audit Institutions (Intosai), contém orientações para auxiliar as Entidades Fiscalizadoras Superiores (EFS) a analisar, avaliar e controlar, de maneira independente, os diversos critérios que permitem emitir opiniões sobre políticas públicas. [17:  Em 2016, a Intosai aprovou o INTOSAI GOV 9400 - Diretrizes sobre a avaliação Políticas Públicas que em 2019 foi redenominada GUID 9020 - Avaliação de Políticas Públicas para se adequar à nova estrutura de pronunciamentos profissionais da Intosai.] De acordo com o GUID 9020, enquanto o centro da auditoria operacional[footnoteRef:18] é a avaliação da economicidade, da eficiência ou da efetividade, o centro da avaliação de políticas públicas é a avaliação do impacto global de uma política, de curto e longo prazo (o qual geralmente requer considerar outras políticas que têm efeito no mesmo campo), e a avaliação da sua utilidade. Ou seja, a avaliação seria uma atividade ampla que abarcaria a auditoria operacional.  [18:  A ISSAI 300 - Princípios de Auditoria Operacional estabelece que: "a auditoria operacional é o exame independente, objetivo e confiável que analisa se empreendimentos, sistemas, operações, programas, atividades ou organizações do governo estão funcionando de acordo com os princípios de economicidade, eficiência e efetividade e se há espaço para aperfeiçoamento" (INTOSAI, 2013).] Fonte: GUID 9020 (INTOSAI, 2019)Para o GUID 9020, a avaliação pode utilizar ferramentas, métodos ou resultados da auditoria operacional, mas com o objetivo de avaliar a relevância e a utilidade da política pública. A relevância é definida como a adequação dos objetivos da política em relação às necessidades sociais, econômicas ou ambientais que ela propôs enfrentar. Já a utilidade questiona se a política produziu resultados e impactos agregados para a sociedade, considerando todos os seus efeitos diretos (resultados) e indiretos (impactos), mesmo não previstos e esperados, de um lado, e as necessidades que a política propôs enfrentar de outro.As avaliações analisam objetivos, processos de implementação de ações, produtos, resultados e impactos da política, o mais sistematicamente possível, e medem seu desempenho de modo a avaliar sua utilidade. Segundo o GUID 9020, os objetivos da avaliação mais comumente reconhecidos são: a) planejamento/eficiência - garantir que haja justificativa para uma política pública e que os recursos sejam empregados de modo eficiente; b) accountability - demonstrar em que medida uma política alcançou seus objetivos, quão bem seus recursos foram utilizados e quais foram os seus impactos; c) implementação - melhorar o desempenho de uma política e sua efetividade de execução e gerenciamento; d) produção de conhecimento - entender o que funciona (para quem) e o porquê (e em quais contextos); e e) fortalecimento institucional - melhorar e desenvolver capacidades entre os participantes da política pública e suas redes e instituições (Intosai, 2019).O presente Referencial de Controle de Políticas Públicas está alinhado com o GUID 9020, instrumentalizando-o mediante a explicitação de um conjunto de critérios, questões, matrizes de planejamento e instrumentos de coleta de dados que possibilitarão não apenas a aferição do nível de maturidade das políticas públicas, mas, também a coleta estruturada de evidências para subsidiar auditorias operacionais, análise e avaliações complementares em políticas públicas.1.6 Relação com outros documentosA elaboração deste Referencial de Controle de Política Públicas foi precedida de ampla revisão de literatura e análise de conteúdo que englobou mais de setenta fontes de informação, cujas principais estão destacadas no anexo II. A seleção destes documentos levou em consideração a sua relevância para o controle externo de políticas públicas, o seu potencial de aplicação no contexto brasileiro, bem como sua abrangência.O guia prático de análise ex ante, publicado pela Casa Civil e Instituto de Pesquisa Econômica Aplicada (IPEA), o Green Book, do HM Treasury do governo britânico, e o Government Efficiency and Effectiveness: Oportunities to reduce fragmentation, overlap and duplication trough enhanced performance management and oversight, do GAO, forneceram insumos relevantes para a concepção do modelo de controle da formulação de políticas públicas.No que concerne à etapa de implementação, as Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI) da INTOSAI, o Framework to review programmes do National Audit Office (NAO) e o Assessing program resource utilization when evaluating federal programs do Centre of Excellence for Evaluation Expenditure Management Sector Treasury Board of Canada Secretariat foram importantes fontes de Informação. Nacionalmente, os referenciais de governança e gestão e o manual de auditoria operacional publicados pelo TCU também foram utilizados de forma significativa. O Referencial para Avaliação da Governança em Centro de Governo, publicado pelo TCU em 2016, foi utilizado como fonte de critérios, uma vez que identifica e consolida boas práticas nacionais e internacionais. O presente referencial incorporou algumas práticas preconizadas por aquele instrumento, mas não se limita a elas.De modo semelhante, o Referencial de Avaliação de Governança em Políticas Públicas, publicado em 2014 pelo TCU, foi amplamente utilizado como base para elaboração de questões e itens de verificação associados às fases de "desenho e institucionalização de políticas" e de "estruturação da governança e gestão".  O Referencial Básico de Gestão de Riscos e o Roteiro de Avaliação da Maturidade de Gestão de Riscos, também foram utilizados como base para elaboração de itens de verificação sem, contudo, adentrar no tema com o mesmo grau de profundidade daqueles instrumentos.No que concerne a auditoria operacional e avaliação de políticas públicas, o Manual de auditoria operacional do TCU e o guia de análise ex post, do IPEA, foram fontes importantes de insumos para concepção dos blocos de controle sobre "operação e monitoramento" e "avaliação de políticas públicas". Internacionalmente, o Evaluation of Public Policies (GUID 9020), as ISSAI (300, 3000, 3100 e 3200), o Performance measurement good practice criteria and maturity model do NAO, o Program Assessment Rating Tool (PART), o guia do Banco Mundial para avaliação de impacto e o Better criteria for better evaluation revised evaluation criteria definitions and principles for use, da OCDE, também foram analisados.Os modelos internacionais de formulação, implementação, avaliação e controle de políticas públicas que mais influenciaram o presente referencial foram o britânico, o americano e o canadense. Tal situação se justifica pelo grau de desenvolvimento dessa área de conhecimento nesses países, alguns dos quais foram precursores e fomentadores das práticas avaliativas. Figura 4 - Principais influênciasFonte: elaboração própria1.7 Metodologia adotada para elaboração do referencialOs mais de setenta documentos selecionados foram revisados e estudados à luz de métodos qualitativos de análise de conteúdo preconizados por Bardin (2011), com o apoio de ferramenta digital - NVIVO, culminando com a codificação de aproximadamente dois mil trechos, os quais foram refinados e agrupados em "nós" e posteriormente traduzidos em um conjunto de boas práticas e critérios de auditoria.Finalizada a seleção de fontes, a revisão de literatura e a análise de conteúdo, deu-se início à fase de planejamento de ações de controle que envolveu a elaboração de papéis de trabalho contendo matrizes de planejamento e itens de verificação para cada um dos sete blocos de controle definidos.O resultado deste trabalho foi levado ao conhecimento e à revisão de doze especialistas internos e seis externos ao TCU e, após ajuste, foi disponibilizado para equipes de auditoria, em ações de controle piloto.1.8 Forma de utilização do referencialO presente referencial deve ser visto pelas equipes de auditoria como um instrumento de apoio às ações de controle que envolvem políticas públicas, na medida em que consolida um conjunto de conhecimentos, boas práticas, critérios de auditoria, questões e itens de verificação que podem ser utilizados em situações concretas.Embora não substitua os demais documentos técnicos existentes, este referencial se coaduna com eles, alinhando visões e explicitando possíveis formas de aplicação daqueles conhecimentos de modo padronizado e, potencialmente, com ganho de produtividade.Tal utilização não exime as equipes de aplicarem boas práticas de auditoria baseada em risco para selecionarem objetos de controle; delimitarem o escopo dos trabalhos; e priorizarem itens de maior materialidade, relevância e risco.Para que isso seja feito adequadamente, recomenda-se que antes de utilizar este instrumento seja identificado o estágio de desenvolvimento da política pública a ser avaliada e que, diante deste conhecimento, se analise a probabilidade e o impacto de ocorrência de riscos e problemas cujas causas possam ter relação com os itens de verificação listados no âmbito deste referencial. (Neste capítulo apresenta-se uma visão geral do processo de formulação, implementação e avaliação de políticas públicas, também conhecido como ciclo de políticas públicas. Ao longo do texto, tal processo é agrupado em blocos de controle que, conforme método proposto, orientarão a atuação de auditores no que concerne à fiscalização de políticas públicas.) (Capítulo 2Referencial de Controle)2 Referencial de controle de políticas públicasConsiderando o mandato e as competências dos órgãos de controle externo no Brasil, para fins do presente Referencial de Controle de Políticas Públicas, são consideradas políticas públicas o conjunto de intervenções e diretrizes emanadas de atores governamentais, que visam tratar, ou não, problemas públicos e que requerem, utilizam ou afetam recursos públicos.O objetivo específico deste instrumento é estabelecer uma estrutura de critérios comuns que possam compor um modelo para avaliar o nível de maturidade de políticas públicas, orientando e sistematizando ações de controle, de modo a contribuir para a melhoria do desempenho e dos resultados das políticas públicas, por meio do aprimoramento de seu processo de formulação, implementação e avaliação.O presente documento está alinhado com o GUID 9020 da Intosai, instrumentalizando aquele mediante a explicitação de um conjunto de critérios, questões, matrizes de planejamento e instrumentos de coleta de dados que possibilitarão não apenas a aferição do nível de maturidade das políticas públicas, mas, também a coleta estruturada de evidências para subsidiar auditorias operacionais, análise e avaliações complementares em políticas públicas.A elaboração desta ferramenta foi precedida de ampla revisão de literatura e análise de conteúdo que englobou mais de setenta fontes, entre os quais estão atos normativos e documentos de referência produzidos pela The International Organization of Supreme Audit Institutions (Intosai), Tribunal de Contas da União (TCU), U.S. Government Accountability Office (GAO), U.K National Audit Office (NAO), Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), Banco Mundial, Organização das Nações Unidas (ONU), Instituto de Pesquisa Econômica Aplicada (IPEA), Casa Civil, Ministério da Economia entre outros. Para estruturação deste Referencial de Controle de políticas públicas adotou-se uma adaptação do modelo de processo, conhecida como ciclo de políticas públicas[footnoteRef:19], segundo o qual as políticas podem ser formuladas, implementadas e avaliadas por meio de uma sequência de etapas e fases.  [19:  Destaca-se que o ciclo de políticas públicas aqui representado foi adaptado para as necessidades próprias de fiscalização de competência dos órgãos de controle.] A cada uma das fases do ciclo foi associado um bloco de controle contendo informações essenciais para o planejamento e execução de ações de controle envolvendo políticas públicas. Ao longo das próximas seções serão apresentados e detalhados cada um dos elementos que compõem esses blocos. 2.1 Ciclo de políticas públicasO ciclo de políticas públicas é um modelo[footnoteRef:20], uma simplificação de realidade complexa, composto por vários estágios e fases, não necessariamente sequenciais, que orientam a formulação, a implementação e a avaliação de políticas públicas.  [20:  Os modelos processuais partem do pressuposto de que não é possível se estudar a "substância" de uma política pública, sendo necessário parti-la em seus processos constituintes. Esses processos podem ser agregados em fases, tais como a de planejamento, implementação e avaliação. Desse modo, os defensores desse modelo consideram que a forma como uma política pública é formulada ou implementada pode ser diferente da concepção original da política, determinando seu sucesso ou fracasso. É interessante ressaltar que o modelo mais em voga prevê fases como: a) identificação de problemas, em que as demandas para o Estado são manifestas; b) a constituição de uma agenda; c) a formulação de propostas; d) a legitimação, que muitas vezes se relaciona com a transformação de uma proposta em lei; e) a implementação de políticas; f) a avaliação de políticas. (BAPTISTA, 2012)] O ciclo de políticas públicas, adotado neste referencial, consiste basicamente em três estágios (formulação, implementação e avaliação) e de nove fases: diagnóstico do problema, formação da agenda, análise de alternativas, tomada de decisão, desenho e institucionalização da política, estruturação da governança e gestão, alocação e gestão de recursos orçamentários e financeiros, operação e monitoramento, avaliação e extinção.O estágio de formulação, momento no qual problemas e intervenções públicos são analisados e selecionados para compor a agenda pública e o portfólio de ações governamentais, engloba as fases de:a) diagnóstico do problema, que diz respeito à identificação do problema, sua delimitação e caracterização, identificação de público alvo e de possíveis causas, efeitos e formas de tratamento;b) formação da agenda pública, isto é, a escolha do conjunto de problemas ou temas considerados merecedores de intervenção pública;c) desenho da política pública, que contempla a caracterização da política com base em modelo lógico que explicita, entre outras coisas, seus objetivos, produtos, atividades, resultados e impactos;d) análise de alternativas, que se desenvolve por meio de escrutínios formais ou informais das consequências do problema e confronta aspectos como custos-benefícios e custo-efetividade de cada alternativa disponível para apoiar o processo de tomada de decisão; ee) tomada de decisão, que representa o momento em que os interesses dos atores são equacionados e as intenções (objetivos e métodos) de enfrentamento de um problema são explicitadas.O estágio de implementação, quando um conjunto de ações são postas em prática para viabilizar o alcance dos resultados almejados, engloba a:a) estruturação da governança e gestão, que envolve a definição das estruturas de governança, de gestão de riscos e controles internos, de monitoramento e de avaliação da política pública, bem como do plano de implementação da política (business case), dos processos e operações necessários ao seu funcionamento; b) alocação e gestão de recursos orçamentários e financeiros, que envolve, entre outras coisas, a identificação das fontes de financiamento e a disponibilização tempestiva de créditos orçamentários e recursos financeiros necessários à implementação da política pública; ec) operação e monitoramento, que é o momento em que regras, rotinas e processos são convertidos de intenções em ações e no qual se produzem os resultados concretos da política pública. O estágio de avaliação, que pode anteceder, correr em paralelo ou após os demais, envolve a:a) avaliação[footnoteRef:21] que dizem respeito ao processo de julgamento deliberado sobre a validade de propostas para a ação pública ou inação, bem como sobre o sucesso ou falha de intervenções executadas, podendo resultar em continuidade do curso de ação, em revisão da concepção, mudanças no curso de implementação ou, até mesmo, indicação de necessidade de extinção da política pública; e [21:  A avaliação pode ocorrer durante a fase de concepção (avaliação ex ante), durante a implementação da política (avaliação in itinere), ou após a sua conclusão (avaliação ex post).] b) extinção, que ocorre quando o problema que originou a política é percebido como resolvido; os programas, as leis ou as ações que ativavam a política pública são percebidos como ineficazes; ou o problema, embora não resolvido, perdeu progressivamente importância e saiu das agendas políticas e formais.Fonte: Elaboração própriaNote que, a utilização da abordagem clássica do trato das políticas públicas, com base em estágios e fases, é um recurso analítico que contribui para a delimitação do escopo das ações de controle. Por meio dela é possível, por exemplo, identificar qual conjunto de critérios, questões e itens de verificação melhor se adequam ao controle de um objeto específico. Por exemplo, uma política que esteja em estágio inicial de desenvolvimento, pode se beneficiar de uma ação de controle focada em sua formulação e, com isso, evitar problemas nos estágios posteriores, onde o volume de recursos dispendidos costuma ser maior.2.2 Blocos de controleComo forma de auxiliar as equipes de auditoria na definição do escopo de ações de controle, o presente referencial foi estruturado em 7 blocos de controle que se vinculam a uma ou mais fases do ciclo de políticas públicas.Fonte: Elaboração própria, com base no ciclo de políticas públicasCada bloco de controle contém um conjunto de boas práticas, questões e subquestões de auditoria, uma matriz de planejamento[footnoteRef:22], uma lista sugerida de itens de verificação; uma proposta de quadro-resumo; e uma lista de potenciais critérios de auditoria. [22:  Matriz de planejamento é papel de trabalho que organiza e sistematiza o planejamento do trabalho de auditoria e documenta o programa de auditoria, discriminando o objetivo de auditoria e as questões de auditoria formuladas para alcançar tal objetivo; as informações requeridas, as fontes de informações e os procedimentos de auditoria para responder às questões (NAT, 94, 96-97).] As boas práticas foram identificadas a partir de ampla revisão de literatura e análise de conteúdo de atos normativos, guias, manuais e documentos de referência nacionais e internacionais. Essas práticas orientaram a elaboração de questões e subquestões de auditoria, e os fundamentos que as embasaram foram considerados potenciais critérios.Para apoiar as atividades de auditoria, para cada um dos blocos de controle foi elaborado um apêndice. Para cada uma das questões foi desenvolvida uma matriz de planejamento e para cada uma das subquestões foi apresentada uma lista de informações requeridas, possíveis fontes de informação, potenciais critérios de auditoria, possíveis procedimentos de coleta de dados e potenciais conclusões das análises.Fonte: Elaboração própriaA despeito do grau de detalhamento, as informações contidas na matriz não são exaustivas e nem capazes de contemplar todas as nuances e aspectos de políticas públicas específicas. Por esse motivo, recomenda-se que as equipes de auditoria, durante a fase de planejamento de ações de controle, revisem e complementem este instrumento de modo a torná-lo o mais aderente possível ao momento e contexto do trabalho e do objeto de controle.2.3 Aplicação do referencialEste referencial pode ser aplicado de forma holística, contemplando todos os blocos de controle em uma única ação de controle; ou de forma pontuada, mediante a aplicação em um conjunto variável de blocos de controle ou itens de verificação, selecionados com base em critérios de riscos.Aqui cabe ressaltar que a decisão acerca de qual bloco de controle, questões e itens de verificação utilizar deve ser precedida de identificação do estágio de desenvolvimento da política, conforme indicado a seguir:a) para políticas públicas que se encontram no estágio de formulação recomenda-se utilizar os blocos de controle que tratam de aspectos como diagnóstico do problema, formação da agenda, análise de alternativas, tomada de decisão, desenho e institucionalização da política pública;b) para aquelas políticas que estejam começando o estágio de implementação, sugere-se utilizar o bloco de controle que trata de aspectos relacionados à estruturação da governança e gestão, alocação e gestão de recursos orçamentários e financeiros;c) para as políticas que já se encontrem em implementação há algum tempo, propõe-se a utilização dos blocos de controle relativos à operação, monitoramento e avaliação e/ou extinção da política pública. Note que, quanto mais precoce for a atuação do controle, no sentido de orientar a correção de eventuais falhas ainda nos estágios iniciais do desenvolvimento da política (formulação e início da implementação), menor será o risco de desperdício de recursos públicos. Outrossim, quanto melhor for a qualidade da formulação e das estruturas implantadas, maiores são as chances de a política produzir os resultados almejados. Ao longo das próximas seções, cada um dos seguintes blocos[22]  de controle será apresentado e detalhado:1)    diagnóstico do problema e formação da agenda pública;2)    análise de alternativas e tomada de decisão;3)    desenho e institucionalização da política pública;4)    estruturação da governança e gestão;5)    alocação e gestão de recursos orçamentários e financeiros;6)    operação e monitoramento;7)    avaliação.Photo credit: VisualHunt.com 2.4 Diagnóstico do problema e formação da agendaO problema público pode ser definido como a diferença entre a situação existente (realidade) e a situação desejada. Para ser considerado um problema público é necessário que ele esteja identificado e delimitado, que a sociedade o reconheça como tal e que seja possível tratá-lo.Fonte: Elaboração própriaSob a perspectiva do formulador de políticas públicas, o diagnóstico do problema é o primeiro passo a ser dado no ciclo de políticas públicas. Tal atividade envolve, não apenas a identificação do problema público, mas, também, a sua caracterização a partir de elementos como suas causas, efeitos e evidências.Fonte: Elaboração própriaApós avaliação preliminar (ex ante), o conjunto de problemas públicos reconhecidos como prioritários e de maior relevância pela sociedade e pelo governo, e que deverão ser solucionados com maior urgência, são priorizados e passam a constituir a agenda governamental.Conforme destaca Jannuzzi (2011), a formação da agenda corresponde aos "múltiplos caminhos e processos que culminam com o reconhecimento de uma questão social como problema público e da necessidade da ação governamental para sua solução; isto é, a legitimação desta questão na pauta pública ou na agenda das políticas públicas do país, em determinado momento". Fonte: Elaboração própriaA agenda pode ser reconhecida nas campanhas ou nos programas eleitorais de um candidato nas eleições, nos planos de metas de governos, no processo de elaboração e discussão da proposta orçamentária, nas decisões orçamentárias, no conjunto de leis que estão na pauta do congresso e nos discursos de candidatos eleitos. Boas práticasSão boas práticas de diagnóstico do problema:a) identificar o problema público;b) identificar possíveis causas e efeitos do problema público;c) identificar a população que possivelmente está envolvida ou é afetada pelo problema público; ed) apresentar evidências do problema público e de suas causas e efeitos.São boas práticas de formação da agenda:a) identificar os principais agentes públicos e partes interessadas envolvidos e afetados pela inclusão do problema na agenda pública;b) explicitar possíveis conflitos de interesse dos participantes do processo de inclusão do problema na agenda pública; ec) assegurar a transparência do processo de inclusão de problemas públicos na agenda oficial do governo.Critérios gerais de auditoria"Um passo importante para a proposição de uma nova política ou para a reformulação ou o aperfeiçoamento de política já existente é o diagnóstico do problema que se pretende combater" (BRASIL, 2018a).Como forma de orientar órgãos e entidades da administração pública acerca deste processo, o governo federal publicou entre os anos de 2017 e 2018, dois guias de avaliação de políticas públicas (ex ante e ex post), documentos que destacam a importância do adequado diagnóstico do problema público e ressaltam a necessidade de se identificar claramente o problema que enseja a proposta, associado a uma população ou a um grupo em particular; de se identificar potenciais causas e efeitos do problema público; bem como de utilizar evidências que permitam fundamentar a tomada de decisão, e potencializar os resultados do processo de formulação das políticas públicas. Acerca deste tema, o inciso I do art. 27 do Decreto 9.191/2017, que define as normas e as diretrizes para elaboração, redação, alteração, consolidação e encaminhamento de propostas de atos normativos ao Presidente da República pelos Ministros de Estado, estabelece que "a exposição de motivos deverá justificar e fundamentar, de forma clara e objetiva a edição do ato normativo, com: a) a síntese do problema cuja proposição do ato normativo visa a solucionar; b) a justificativa para a edição do ato normativo na forma proposta; e c) a identificação dos atingidos pela norma". Segundo o inciso I do art. 32, o parecer de mérito deve conter a análise do problema que o ato normativo visa solucionar. Conforme anexo do referido decreto, as seguintes questões devem ser analisadas quando da elaboração de atos normativos:1.	Alguma providência deve ser tomada?1.1.	Qual é o objetivo pretendido?1.2.	Quais foram as razões que determinaram a iniciativa?1.3.	Neste momento, como se apresenta a situação no plano fático e no plano jurídico?1.4.	Que falhas ou distorções foram identificadas?1.5.	Que repercussões tem o problema que se apresenta no âmbito da economia, da ciência, da técnica e da jurisprudência?1.6.	Qual é o conjunto de destinatários alcançados pelo problema e qual é o número de casos a resolver?1.7.	O que poderá acontecer se nada for feito? (Exemplo: o problema se agravará? Permanecerá estável? Poderá ser superado pela própria dinâmica social, sem a intervenção do Estado? Com que consequências?)De modo complementar, conforme estabelecido no inciso II, do art.  6º, do Decreto 10.411/2020, a análise de impacto regulatório será concluída por meio de relatório de AIR[footnoteRef:24] que contenha a identificação do problema regulatório que se pretende solucionar, com a apresentação de suas causas e sua extensão.  [24:  Relatório de AIR - ato de encerramento da AIR, que conterá os elementos que subsidiaram a escolha da alternativa mais adequada ao enfrentamento do problema regulatório identificado e, se for o caso, a minuta do ato normativo a ser editado (inciso V, do Art. 2º do Decreto 10.411/2020)] Como sugerido PLS 488/2017, que trata do encaminhamento de proposições legislativas que instituem políticas públicas, a avaliação prévia do impacto legislativo deve conter síntese qualitativa e quantitativa do problema ou da situação que reclama providências.Conforme inciso VIII do art. 4º do Decreto 9.203/2017, manter processo decisório orientado pelas evidências é uma das diretrizes de governança que deve ser observada pela administração pública federal.Segundo Lopes (2015), "em sua típica função executiva a Administração Pública materializa sua vontade por meio dos atos administrativos. Estes atos possuem os mesmos elementos estruturais que o ato jurídico diferenciando-se quanto à finalidade pública, que deverá estar sempre presente nas ações administrativas". Assim, "um problema social passa a fazer parte da agenda quando os gestores públicos decidem fazer algo para resolvê-lo" (MDS, 2016).Acerca de potenciais conflitos de interesse que possam existir por parte de agentes públicos ou atores privados, do art. 3º da Lei 12.813/2013 assim preconiza:considera-se: I - conflito de interesses: a situação gerada pelo confronto entre interesses públicos e privados, que possa comprometer o interesse coletivo ou influenciar, de maneira imprópria, o desempenho da função pública; e II - informação privilegiada: a que diz respeito a assuntos sigilosos ou aquela relevante ao processo de decisão no âmbito do Poder Executivo federal que tenha repercussão econômica ou financeira e que não seja de amplo conhecimento público. Conforme art. 4º da referida lei, "ocupante de cargo ou emprego no Poder Executivo federal deve agir de modo a prevenir ou a impedir possível conflito de interesses e a resguardar informação privilegiada".Controle aplicado ao diagnóstico do problema e à formação da agendaA análise do diagnóstico do problema e da formação da agenda, sob a perspectiva do controle de política pública, consiste em verificar: se os problemas públicos tratados pela política estão identificados e caracterizados de forma clara e objetiva; e se o processo de inclusão dos problemas na agenda oficial do governo foi transparente.Essa análise envolve a verificação da existência de um enunciado contendo a definição clara do problema. Além disso, é necessário verificar se as possíveis causas e consequências para a ocorrência do problema foram levantadas, no momento de sua identificação e se existe consistência lógica e coerência entre o problema, as causas e os efeitos apresentados. Pode-se, ainda, verificar se foi utilizado, pelos gestores, algum método específico para identificação das causas e efeitos, relacionados ao problema, como por exemplo, a árvore de problema (BRASIL, 2013).  A população afetada pelo problema também deve ser identificada. Trata-se da população mais vulnerável ao problema público. Conforme preconizado na publicação Avaliação de Políticas Públicas: Guia prático de análise ex ante:A caracterização de um problema pressupõe que seja explicitado qual grupo ou segmento da população é mais afetado, bem como sua distribuição nas áreas geográficas do país, sendo que essa maior compreensão pode ser desenvolvida a partir do tópico de dados quantitativos acerca do problema, de maneira a proporcionar à equipe técnica e aos gestores um aprofundamento da questão, como será visto adiante (BRASIL, 2018). É importante ainda analisar as evidências para a existência do problema. Essas evidências podem ser verificadas por meio de indicadores, estudos e dados quantitativos. Deve haver uma preocupação não apenas com a existência de dados e indicadores que evidenciem o problema, mas também com a qualidade da fonte dos dados utilizada. Outro aspecto destacado no Guia prático de análise ex ante, refere-se à análise crítica desses dados, para que de fato possam evidenciar o problema atacado pela política pública.Cabe ressaltar que os dados em si não evidenciam automaticamente o problema em análise. O que o evidencia é a sua associação, por exemplo, com um desajuste, comparativamente à trajetória do problema, ou, o que é mais fundamental, o descumprimento de um preceito constitucional ou de uma meta pactuada em normas legais (BRASIL, 2018).Para verificar se o processo de inclusão de um problema na agenda foi transparente, cabe averiguar se os motivos que determinaram a decisão de inclusão do problema na agenda formal estão objetivamente explicitados, independentemente do instrumento legal ou infralegal utilizado para institucionalizar a política pública. Essas informações/justificativas para inclusão de um problema na agenda podem estar contidas na exposição de motivos do projeto de lei de criação da política, em algum estudo elaborado pelo executivo etc. Cabe ainda constatar se os agentes públicos e privados que incluíram o problema na agenda pública estão claramente identificados nesse processo e se os conflitos de interesse existentes entre participantes do processo de inclusão do problema na agenda pública foram explicitados.Questões de auditoriaPara avaliar a maturidade da política pública no que concerne ao diagnóstico do problema e à formação da agenda, o auditor deve responder às seguintes questões: Os problemas públicos tratados pela política estão adequadamente caracterizados?                 Os problemas públicos tratados pela política estão identificados e evidenciados[24]?                  As prováveis causas e consequências dos problemas públicos estão identificadas e foram levantadas com base em evidências?                  A população que possivelmente está envolvida ou é afetada pelos problemas públicos está identificada? A inclusão dos problemas na agenda pública foi conduzida de forma transparente?                 Os agentes responsáveis pela inclusão do problema na agenda pública estão claramente identificados?                 Possíveis conflitos de interesse dos participantes do processo de inclusão do problema na agenda pública são gerenciados?Itens de verificaçãoNo que concerne ao diagnóstico do problema e à formação da agenda, para responder às questões de auditoria, deve-se verificar os seguintes itens. Quadro 1: Itens de verificação: diagnóstico do problema e formação da agendaQuestãoSubquestões de auditoria e itens de verificação1. Os problemas públicos tratados pela política estão adequadamente caracterizados?1.1. Os problemas públicos tratados pela política pública estão identificados e evidenciados?1.1.1. Há clareza acerca de quais problemas a política pública visa tratar?1.1.2. A exposição de motivos justifica e fundamenta, de forma clara e objetiva, a edição do ato normativo com a síntese do problema cuja proposição do ato normativo visa a solucionar?1.1.3. O parecer de mérito contém a análise do problema que o ato normativo visa a solucionar?1.1.4. O relatório de AIR contém a identificação do problema regulatório que se pretende solucionar?1.1.5. Há evidências (ex. dados ou estudos quantitativos/ qualitativos) dos problemas públicos tratados pela política pública?1.1.6. Foram observadas as variações regionais quanto à ocorrência do problema, de modo a subsidiar o estabelecimento de objetivos, indicadores e metas regionalizados? 1.2. As prováveis causas e consequências dos problemas públicos estão identificadas e foram levantadas com base em evidências?1.2.1. As possíveis causas dos problemas públicos estão identificadas?1.2.2. As possíveis consequências dos problemas públicos estão identificadas?1.2.3. O relatório de AIR que contém a identificação do problema regulatório que se pretende solucionar, com a apresentação de suas causas e sua extensão?1.2.4. Há evidências (ex. dados e estudos quantitativos/ qualitativos) das prováveis causas do problema público?1.2.5. Há evidências (ex. dados e estudos quantitativos/ qualitativos) de potenciais consequências do problema público?1.2.6. Há coerência e consistência lógica entre o problema público, as causas e as consequências identificadas? 1.3. A população que possivelmente está envolvida ou é afetada pelos problemas públicos está identificada?1.3.1 A população que possivelmente está envolvida ou é afetada pelos problemas públicos está claramente identificada?1.3.2. A exposição de motivos justifica e fundamenta, de forma clara e objetiva, a edição do ato normativo, com a identificação dos atingidos pela norma?1.3.3. O parecer de mérito contém a identificação dos atingidos pelo ato normativo?1.3.4. O relatório de AIR contém a identificação dos agentes econômicos, dos usuários dos serviços prestados e dos demais afetados pelo problema regulatório identificado? 2. A inclusão dos problemas na agenda pública foi conduzida de forma transparente?2.1. Os agentes responsáveis pela inclusão do problema na agenda pública estão claramente identificados?2.1.1. Há clareza e transparência quanto a quem são os agentes que tomaram a decisão de incluir o problema na agenda formal de governo?2.1.2. Há clareza acerca dos papéis e responsabilidades dos envolvidos na decisão de inclusão do problema na agenda formal de governo?2.1.3. Foi adotado, pelas organizações públicas e pelos indivíduos que as integram, um conjunto de procedimentos capaz de evidenciar a responsabilidade por decisões tomadas e ações implementadas? 2.2. Possíveis conflitos de interesse dos participantes do processo de inclusão do problema na agenda pública são gerenciados?2.2.1. Os possíveis conflitos de interesse dos participantes do processo de inclusão do problema na agenda pública foram explicitados?2.2.2. Há mecanismos de controle estabelecidos com o objetivo de evitar que pessoas envolvidas em possíveis conflitos de interesse participassem do processo de inclusão do problema na agenda?  Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange ao diagnóstico do problema e 	à formação da agenda, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice I.1; · a consulta à proposta de quadro-resumo, constante do Apêndice I.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice I.3.2.5 Análise de alternativas e tomada de decisãoUma vez que o problema tenha entrado na agenda governamental, o próximo passo consiste na formulação, ou identificação, de possíveis alternativas de tratamento[footnoteRef:26]. O principal objetivo desta fase é o de avaliar custos, benefícios e riscos de formas alternativas de tratamento do problema público, de modo a explicitar potenciais efeitos, compensações e impacto da escolha, fornecendo uma base objetiva de evidências para os tomadores de decisão (UK, 2018). [26:  As alternativas para enfrentar o problema devem ser avaliadas a partir de diversos aspectos como custo, benefício, riscos e resultados e devem ser comparadas entre si. É importante que haja estudos, assim como evidências e análises estruturadas para que as alternativas possam ser julgadas de maneira objetiva.] Fonte: Elaboração própriaDe acordo com o modelo britânico (UK, 2018), esta fase do ciclo de políticas públicas engloba: (a) o desenho da lógica de intervenção; (b) a identificação de possíveis alternativas[footnoteRef:27] de tratamento do problema público (lista longa); (c) a seleção e análise de um subconjunto de alternativas consideradas viáveis (lista curta); e (d) a seleção de alternativa de tratamento do problema público, com base em critérios ponderados como, por exemplo, custo-benefício e custo-efetividade.  [27:  Concomitantemente à análise do problema, as partes interessadas podem realizar um processo de formulação de soluções com o intuito de visualizar alternativas que mitiguem o problema em foco. Isso pode contribuir para que essa análise não seja fechada em soluções preconcebidas. Além disso, esse exercício auxilia na identificação de políticas alternativas que não teriam surgido se o processo estivesse limitado a analisar a política em avaliação como a única solução para o problema que se quer atacar (BRASIL, 2018b).] A lógica por trás deste processo é a de que, antes de envidar esforços na implementação de uma nova política pública, é importante identificar, analisar e comparar alternativas (existentes ou potenciais) de tratamento do problema, incluindo a opção de não intervenção (contrafactual).Trata-se, portanto, de um conjunto de práticas que contribuem não apenas para a racionalização do processo decisório, mas, também, para a otimização do uso dos recursos públicos, evitando gastos desnecessários e prevenindo risco de fragmentação, duplicidade e sobreposição de iniciativas. O processo de tomada de decisão ocorre, portanto, quando, após a avaliação das alternativas, há a escolha pela adoção de uma política pública. Esse processo é caracterizado pela presença de grupos de pressão em uma espécie de arena decisória. Aqui cabe ressaltar que, no âmbito das políticas públicas, a racionalidade do processo decisório, por vezes, é limitada. E que, não raramente, na prática, se observa a ocorrência de processos difusos de ajustes sucessivos em políticas existentes (incrementais) e de restrições impostas pelo contexto político, social, econômico e ambiental (fluxos múltiplos). Quadro 2: Modelo de tomada de decisãoModelosCondições CognitivasAnálise das AlternativasModalidade de EscolhaCritério de DecisãoRacionalidade AbsolutaCertezaAnálise completa e cálculo de consequências CálculoOtimizaçãoRacionalidade LimitadaIncertezaPesquisa sequencialComparação das alternativas com as expectativas SatisfaçãoModelo IncrementalParcialidade (interesses)Comparações sucessivas limitadas Ajuste mútuo de interessesAcordoModelo dos Fluxos MúltiplosAmbiguidadeNenhumaEncontro de soluções com problemas CasualFonte: (BOBBIO, 2005 apud SECCHI, 2010)A tomada de decisão resulta, portanto, da negociação entre diversos atores dentro de um subsistema de políticas, em que o resultado é determinado pela constelação de poder, pelos recursos de grupos de interesse (substancial e institucional) dos atores envolvidos e pelos processos de ajuste mútuo entre os partidos políticos. O incrementalismo, portanto, forma o estilo típico (LINDBLOM, 1959; 1979) de formação de política, especialmente na alocação de orçamentos (WILDAVSKY, 1964; 1988) (JANN; WEGRICH, 2017, tradução nossa).Tendo em vista que a decisão final é crucial para que uma política pública seja adotada, mas é tomada por meio de um processo que segue, muitas vezes, o modelo incremental, é preciso que esse processo seja, ao menos, aberto[footnoteRef:28], isto é, motivado, transparente, participativo e accountable.   [28:  Segundo Bellix, Guimarães e Machado (2017), a ideia de governo aberto "está associado a temas como acesso à informação, participação cidadã, transparência, prestação de contas (accountability), abertura de dados, colaboração e cocriação entre governo e sociedade civil, abarcando ainda inovações na gestão de políticas públicas".] Boas práticasSão boas práticas de análise de alternativas:a) desenhar a lógica de intervenção da política pública com base em evidências, o que inclui, entre outras coisas:· identificar porque a intervenção pública é necessária, quais os resultados pretendidos, qual a situação atual (status quo) e o contrafactual (business as usual); e· levantar dados, estudos (quantitativos e/ou qualitativos) e experiências (nacionais ou internacionais) envolvendo contextos e problemas públicos semelhantes.b) identificar qual política pública é a alternativa mais vantajosa para tratar o problema, frente a opções viáveis de intervenção, o que inclui:· identificar de possíveis alternativas de tratamento do problema público (lista longa);· selecionar um subconjunto de alternativas consideradas viáveis (lista curta), considerando aspectos estratégicos, econômicos, comerciais, financeiros e de gerenciamento;· confrontar as alternativas selecionadas com a alternativa de não intervir no problema (contrafactual); · selecionar a alternativa mais vantajosa de tratamento do problema público, com base em critérios ponderados como, por exemplo, resultados e riscos potenciais, custo-benefício e custo-efetividade;c) avaliar se a política pública selecionada contribui, de fato, para tratar o problema, o que pode ser feito por meio de simulações, testes e estudos qualitativos e quantitativos;d) identificar e evitar fragmentações, duplicidades, sobreposições e lacunas em e entre políticas públicas, o que envolve, entre outras coisas, verificar se, no contexto corrente, a política é necessária e adequada, frente a outras intervenções públicas existentes.São boas práticas de tomada de decisão:a) explicitar objetivamente os motivos que determinaram a decisão quanto à escolha da política pública;b) realizar e manter registro de análises, pareceres e deliberações de instâncias e autoridades competentes no processo decisório para escolha da política pública;c) identificar claramente os agentes responsáveis pela escolha da política pública;d) garantir a participação de representantes de todos os poderes, as esferas de governo e os setores afetados pela política no processo decisório para escolha da política pública;e) estimular a participação social no processo decisório para escolha da política (ex. consulta pública);f) explicitar possíveis conflitos de interesse dos participantes do processo decisório para escolha da política pública; enfim,g) garantir que o processo de tomada de decisão quanto à escolha da política seja aberto (motivado, transparente, participativo e accountable).Critérios gerais de auditoria 	"A avaliação está se tornando cada vez mais importante para o debate público na medida em que os líderes políticos precisam tomar decisões com base em evidências." (INTOSAI, 2019)De acordo com o inciso VII e VIII do art. 4º, do Decreto 9.203/2017, são diretrizes da governança pública: "avaliar as propostas de criação, expansão ou aperfeiçoamento de políticas públicas e de concessão de incentivos fiscais e aferir, sempre que possível, seus custos e benefícios"; e "manter processo decisório orientado pelas evidências, pela conformidade legal, pela qualidade regulatória, pela desburocratização e pelo apoio à participação da sociedade".A busca por maior racionalidade no subsídio à tomada de decisão, com base em evidências, em políticas públicas é extremamente necessária ao avanço de uma agenda coordenada e padronizada da avaliação da qualidade do gasto público (BRASIL, 2018b).Segundo o acórdão 2.359/2018-TCU-Plenário:Não tendo sido realizado um diagnóstico apropriado, é necessário fazê-lo e, se for o caso, revisar a política. Nesse sentido, o TCU (2016: 50) entende como boa prática a "avaliação da própria ação política do Estado, com a revisão das evidências que fundamentaram a tomada de determinado rumo estatal, se a política pública eleita para combater determinado problema social é, de fato, a mais adequada, e que alternativas podem ser consideradas".Não por acaso, em muitos países têm sido estimulado o uso de evidências, a realização de testes e a constituição de grupo contrafactual[footnoteRef:29] para estimar e avaliar a efetividade e a eficiência das alternativas de tratamento de problemas públicos (BRASIL, 2018a; BRASIL, 2018b; UK, 2015; NAO, 2019; BANCO MUNDIAL, 2015). [29:  "É preciso realizar procedimentos para construir um grupo contrafactual que permita a inferência causal do efeito de determinada política. [...] estabelecer causalidade entre a política e os indicadores associados é um trabalho complexo, que demanda a comparação do grupo afetado pela política com um grupo contrafactual, que não acessou a política. [...] A noção de contrafactual é fundamental para se compreender a avaliação de impacto. Para se calcular o impacto de uma política sobre um beneficiário, é preciso observar, ao mesmo tempo, o que aconteceu com ele ao ser atendido pela política e o que teria acontecido se não tivesse participado. A diferença entre o que ocorreu nessas duas situações é o que pode ser considerado como o efeito causado pela política, isto é, o seu impacto." (BRASIL, 2018b)] Conforme estabelecido nos incisos VI e VII, do art.  6º, do Decreto 10.411/2020, a análise de impacto regulatório (AIR) será concluída por meio de relatório que contenha a descrição das alternativas possíveis ao enfrentamento do problema identificado, consideradas as opções de não ação (contrafactual) e a exposição dos possíveis impactos das alternativas identificadas, inclusive quanto aos seus custos regulatórios. O Decreto 10.411/2020 estabelece ainda, no inciso IX, do art.  6º, que deve haver também o mapeamento da experiência internacional quanto às medidas adotadas para a resolução do problema regulatório identificado. Acerca deste ponto o GUID 9020 ressalta que as entidades responsáveis por avaliar políticas públicas devem fornecer estudo independente, neutro e baseado em evidências, sobre os objetivos e os impactos das políticas, de modo a subsidiar os formuladores de políticas públicas com informações confiáveis (com base em evidências), acerca de possíveis alternativas de tratamento do problema público (INTOSAI, 2019).Outro aspecto importante é a realização de comparações entre as alternativas de política pública e outras intervenções públicas semelhantes para reduzir ou evitar a ocorrência de sobreposições, duplicidades, fragmentações ou lacunas entre a política pública a ser adotada e outras intervenções semelhantes. O GAO (2015) recomenda a análise prévia do portfólio de políticas públicas existentes de modo a identificar possíveis fragmentações, duplicidades, sobreposições ou lacunas que possam comprometer o alcance dos resultados pretendidos das intervenções.No que concerne à abertura e transparência do processo de tomada de decisão, o inciso XXXIII do art. 5º da Constituição Federal de 1988 preconiza que "todos têm direito a receber dos órgãos públicos informações de seu interesse particular, ou de interesse coletivo ou geral, que serão prestadas no prazo da lei, sob pena de responsabilidade, ressalvadas aquelas cujo sigilo seja imprescindível à segurança da sociedade e do Estado".De acordo com o art. 2º da Lei 9.784/1999, que regula o processo administrativo no âmbito da Administração Pública Federal, "a Administração Pública obedecerá, dentre outros, aos princípios da legalidade, finalidade, motivação, razoabilidade, proporcionalidade, moralidade, ampla defesa, contraditório, segurança jurídica, interesse público e eficiência". Tal artigo destaca ainda, em seu parágrafo único, que nos processos administrativos serão observados, entre outros, os critérios de divulgação oficial dos atos administrativos, ressalvadas as hipóteses de sigilo previstas na Constituição; e indicação dos pressupostos de fato e de direito que determinarem a decisão.No que concerne à motivação dos atos, o PLS 488/2017 sugere que, na concepção das políticas públicas, de forma a incrementar a capacidade de governança e gestão da Administração Pública, devem ser definidos a formalização dos processos decisórios correlatos, incluindo o registro da motivação e do conjunto de evidências que embasam a escolha política.Conforme consta do parágrafo único do art. 20 do Decreto-lei 4.657/1942 (LINDB): "a motivação demonstrará a necessidade e a adequação da medida imposta ou da invalidação de ato, contrato, ajuste, processo ou norma administrativa, inclusive em face das possíveis alternativas". Acerca deste tema, o Decreto 9.191/2017, que estabelece as normas e as diretrizes para elaboração, redação, alteração, consolidação e encaminhamento de propostas de atos normativos ao Presidente da República pelos Ministros de Estado, assim orienta:Art. 27 A exposição de motivos deverá: I - justificar e fundamentar, de forma clara e objetiva a edição do ato normativo, com: a) a síntese do problema cuja proposição do ato normativo visa a solucionar; b) a justificativa para a edição do ato normativo na forma proposta; e c) a identificação dos atingidos pela norma; II - na hipótese de a proposta de ato normativo gerar despesas, diretas ou indiretas, ou gerar diminuição de receita para o ente público, demonstrar o atendimento ao disposto nos art. 14, art. 16 e art. 17 da Lei Complementar nº 101, de 4 de maio de 2000, e no art. 107 do Ato das Disposições Constitucionais Transitórias; III - no caso de proposta de medida provisória, demonstrar, objetivamente, a relevância e a urgência; e IV - ser assinada pelo Ministro de Estado proponente.Segundo o art. 30 do Decreto 9.191/2017, juntamente com a exposição de motivos deve-se enviar: a proposta do ato normativo; o parecer jurídico; o parecer de mérito; e os pareceres e as manifestações para os quais os documentos dos incisos II e III façam remissão. Em complemento, o art. 32 orienta que o parecer de mérito deve conter:I - a análise do problema que o ato normativo visa a solucionar; II - os objetivos que se pretende alcançar; III - a identificação dos atingidos pelo ato normativo; IV - quando couber, a estratégia e o prazo para implementação; V - na hipótese de a proposta implicar renúncia de receita, criação, aperfeiçoamento ou expansão da ação governamental, ou aumento de despesas: a) a estimativa do impacto orçamentário-financeiro no exercício em que entrar em vigor e nos dois subsequentes, da qual deverá constar, de forma clara e detalhada, as premissas e as metodologias de cálculo utilizadas, e indicará: 1. se a medida proposta foi considerada nas metas de resultados fiscais previstas na Lei de diretrizes orçamentárias; e 2. a simulação que demonstre o impacto da despesa com a medida proposta; e a declaração de que a medida apresenta: b) 1. adequação orçamentária e financeira com a Lei orçamentária anual; e 2. compatibilidade com o plano plurianual, com a Lei de diretrizes orçamentárias e com o art. 107 do Ato das Disposições Constitucionais Transitórias; VI - quando couber, a análise do impacto da medida: a) sobre o meio ambiente; e b) sobre outras políticas públicas, inclusive quanto à interação ou à sobreposição; e VII - no caso de medida provisória ou de projeto de Lei em regime de urgência, a análise das consequências do uso do processo legislativo regular. Segundo art. 6º da Lei 12.527/2011, cabe aos órgãos e entidades do poder público, observadas as normas e procedimentos específicos aplicáveis, assegurar a gestão transparente da informação, propiciando amplo acesso a ela e sua divulgação.Conforme inciso V do art. 7º da Lei 12.527/2011, o acesso à informação de que trata a Lei de Acesso à Informação (LAI) compreende, entre outros, os direitos de obter informação sobre atividades exercidas pelos órgãos e entidades, inclusive as relativas à sua política, organização e serviços.No que se refere à participação de atores interessados no tema tratado pela política pública, o Decreto 10.411/2020, que regulamenta a análise de impacto regulatório, estabelece no inciso VIII, do art.  6º, que a análise de impacto regulatório será concluída por meio de relatório que contenha considerações referentes às informações e às manifestações recebidas para a AIR em eventuais processos de participação social ou de outros processos de recebimento de subsídios de interessados na matéria em análise.No que tange a participação de atores governamentais no processo de concepção de políticas públicas, o art. 29 do Decreto 9.191/2017 orienta que propostas de ato normativo que tratar de matéria relacionada a dois ou mais órgãos deverão ser elaboradas conjuntamente e que, os ministros de Estado titulares dos órgãos envolvidos assinarão conjuntamente a exposição de motivos, à qual serão anexados os pareceres de mérito e jurídicos do ministério autor e dos ministérios coautores.Acerca de potenciais conflitos que possam existir por parte de agentes envolvidos na formulação ou implementação de políticas públicas, o art. 3º da Lei 12.813/2013 esclarece que, se considera conflito de interesse: "a situação gerada pelo confronto entre interesses públicos e privados, que possa comprometer o interesse coletivo ou influenciar, de maneira imprópria, o desempenho da função pública".Controle aplicado à análise de alternativas e à tomada de decisãoA verificação da análise de alternativas, sob a perspectiva do controle de política pública, consiste em checar se houve um processo consistente em que foi avaliado se a alternativa escolhida é capaz de solucionar o problema ao menor custo possível, ou seja, se há evidências de que a ação planejada tem a capacidade de gerar os impactos necessários e se é a que possui a melhor relação custo-benefício e custo-efetividade. As alternativas para enfrentar o problema devem ser avaliadas a partir de diversos aspectos como custo, benefício, riscos e resultados e devem ser comparadas entre si. É importante que haja estudos, assim como evidências e análises estruturadas para que as alternativas possam ser julgadas de maneira objetiva. Assim é possível verificar se a política adotada representou a alternativa mais vantajosa para tratar o problema, frente a outras alternativas.Vale ainda verificar se a política foi confrontada com a alternativa de não intervir no problema (contrafactual). Ou seja, se ficou evidenciado que a política adotada foi solução mais eficiente para resolver o problema do que a alternativa de simplesmente não fazer nada. Assim como verificar se houve um processo consistente em que foi avaliado se a alternativa escolhida é capaz de solucionar o problema com a melhor relação custo-efetividade.Importante averiguar, também, se houve uma revisão crítica de experiências anteriores e a identificação de boas práticas. Ou seja, ao se elaborar as alternativas foi verificada a existência de outras políticas públicas passadas ou presentes, executadas em qualquer nível governamental, para enfrentar o mesmo problema que a proposta de política se propõe a mitigar. Para tanto, deve-se verificar se há "estudos e avaliações sobre as experiências de políticas públicas em execução e aquelas descontinuadas destinadas a combater o mesmo problema da política em proposição" (BRASIL, 2018). Outrossim, deve-se verificar se há fragmentação, duplicidade, sobreposição ou lacunas na política ou frente a outras intervenções públicas existentes, bem como se a política foi devidamente testada antes de entrar em operação e se, de fato, contribui para a resolução do problema público. Por fim, deve-se verificar se houve alguma avaliação quanto à necessidade da política, frente ao cenário atual e frente a outras intervenções públicas sobre o problema. Por exemplo, vale averiguar se o problema já foi solucionado, ou mesmo, se foram implementadas outras políticas mais eficientes, em qualquer nível governamental.Já a análise do processo de tomada de decisão, sob a perspectiva do controle de política públicas, consiste em verificar se o processo de tomada de decisão quanto a adoção da política no portfólio foi aberto, isto é, se foi motivado, transparente, participativo e accountable.Para isso, é necessário verificar se os motivos que sustentaram a decisão de adotar determinada política pública estão objetivamente explicitados, bem como aferir se os atores responsáveis pela inclusão da política na pauta de discussões estão claramente identificados e se houve a explicitação de possíveis conflitos de interesse dos participantes do processo de tomada de decisão.Por fim, vale verificar se há registro de análises, pareceres e deliberações de instâncias e autoridades competentes acerca da política pública, bem como averiguar se houve a participação social e de representantes de todos os poderes, esferas de governo e setores afetados pela política no processo de tomada de decisão. Questões de auditoriaPara avaliar a maturidade da política pública no que concerne à análise de alternativas e à tomada de decisão, o auditor deve responder às seguintes questões: A política pública foi formulada com base em evidências que demonstram sua capacidade de solucionar os problemas públicos e gerar valor ao menor custo possível?                  A lógica de intervenção da política pública foi desenhada com base em evidências[29]?                 A política pública selecionada era a alternativa mais vantajosa para tratar o problema, frente a opções viáveis de intervenção?                 A política contribui para a resolução do problema público?                 A política foi confrontada com outras intervenções planejadas ou em execução para evitar fragmentações, duplicidades, sobreposições e lacunas? O processo de tomada de decisão quanto à escolha da política foi aberto (motivado, transparente e participativo)?                 Os motivos que determinaram a decisão quanto à escolha da política estão objetivamente explicitados?                 O processo de formulação e escolha da política foi participativo?                 Os agentes responsáveis pela formulação e tomada de decisão quanto à escolha da política estão claramente identificados?                 Possíveis conflitos de interesse dos participantes da formulação e do processo decisório para escolha da política pública foram gerenciados? Itens de verificaçãoNo que concerne à análise de alternativas e à tomada de decisão, para responder às questões de auditoria, deve-se verificar os seguintes itens. Quadro 3: Itens de verificação: análise de alternativas e tomada de decisãoQuestãoSubquestões de auditoria e itens de verificação3. A política pública foi formulada com base em evidências que demonstram sua capacidade de solucionar os problemas públicos e gerar valor ao menor custo possível?3.1. A lógica de intervenção da política pública foi desenhada e explicitada com base em evidências?3.1.1. A lógica de intervenção da política pública foi desenhada e explicitada?3.1.2. A lógica de intervenção foi desenhada com base em evidências? 3.2. A política pública selecionada era a alternativa mais vantajosa para tratar o problema, frente a opções viáveis de intervenção?3.2.1. As possíveis alternativas de tratamento do problema público (lista longa) foram identificadas?3.2.2. Um subconjunto de alternativas consideradas viáveis (lista curta) foi selecionado, a partir da análise de aspectos estratégicos, econômicos, comerciais, financeiros e de gerenciamento?3.2.3. As alternativas selecionadas forma confrontadas com a alternativa de não intervir no problema (contrafactual) ?3.2.4. A alternativa selecionada era a mais vantajosa para o tratamento do problema público?3.2.5. A seleção da alternativa mais vantajosa foi feita com base em critérios ponderados como, por exemplo, resultados e riscos potenciais, custo-benefício e custo-efetividade? 3.3. A política contribui para a resolução do problema público?3.3.1. Há evidências de que a política contribui para a resolução do problema público?3.3.2. Foram realizados simulações, testes e/ou estudos qualitativos e quantitativos para aferir a potencial contribuição da política para resolução do problema público? 3.4. A política foi confrontada com outras intervenções planejadas ou em execução para evitar fragmentações, duplicidades, sobreposições e lacunas?3.4.1. Foram identificadas e analisadas potenciais fragmentações, duplicidades, sobreposições e lacunas em e entre políticas públicas?3.4.2. Foram tomadas medidas para evitar a ocorrência ou mitigar o impacto de fragmentações, duplicidades, sobreposições e lacunas em e entre políticas públicas?3.4.3. Foi verificado se, no contexto corrente, a política ainda é necessária e adequada, frente a outras intervenções públicas existentes? 4. O processo de tomada de decisão quanto à escolha da política foi aberto (motivado, transparente e participativo)?4.1. Os motivos que determinaram a decisão quanto à escolha da política estão objetivamente explicitados?4.1.1. Os motivos que determinaram a decisão quanto à escolha da política estão explícitos?4.1.2. Os motivos que determinaram a decisão quanto à escolha da política são claros e congruentes?4.1.3. Há registro dos pressupostos de fato e de direito que determinarem a decisão quanto à escolha da política?4.1.4. A motivação das decisões de órgãos colegiados e comissões ou de decisões orais consta da respectiva ata ou de termo escrito?4.1.5. A exposição de motivos contém a justificativa para a edição do ato normativo na forma proposta?4.1.6. Os princípios da motivação, finalidade e interesse público foram observados quando da decisão quanto à escolha da política?4.1.7. A motivação demonstra a necessidade da intervenção governamental no problema público? 4.2. O processo de formulação e escolha da política foi participativo?4.2.1. Houve participação e engajamento de representantes de outros setores afetados pela política em seu processo de formulação e escolha?4.2.2. Houve participação de representantes de outros poderes no processo de formulação e escolha da política?4.2.3. Houve participação e engajamento de representantes de outras esferas de governo afetados pela política em seu processo de formulação e escolha?4.2.4. Houve participação social dos afetados pela política em seu processo de formulação e escolha? 4.3. Os agentes responsáveis pela formulação e tomada de decisão quanto à escolha da política estão claramente identificados?4.3.1.  Há clareza e transparência quanto a quem são os agentes que formularam e tomaram decisão quanto à escolha da política?4.3.2. Há clareza acerca dos papéis e responsabilidades dos envolvidos na formulação e tomada de decisão quanto à escolha da política?4.3.3. Foi adotado, pelas organizações públicas e pelos indivíduos que as integram, um conjunto de procedimentos capaz de evidenciar a responsabilidade por decisões tomadas e ações implementadas? 4.4. Possíveis conflitos de interesse dos participantes da formulação e do processo decisório para escolha da política pública foram gerenciados?4.4.1. Os possíveis conflitos de interesse dos participantes na formulação e no processo decisório para escolha da política foram explicitados?4.4.2. Há mecanismos de controle estabelecidos com o objetivo de evitar que pessoas envolvidas em possíveis conflitos de interesse participem do processo de tomada de decisão para escolha da política?   Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange à análise de alternativas e à tomada de decisão, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice II.1; · a consulta à proposta de quadro-resumo, constante do Apêndice II.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice II.3.Photo credit: Visualhunt.com 2.6 Desenho e institucionalização da política públicaEssa fase refere-se ao desenho e formalização da política e dos elementos que a caracterizam. Corresponde ao planejamento da política antes de ser colocada em prática. O Guia de Avaliação de Políticas Públicas do Poder Executivo sugere que para formular políticas os agentes devem utilizar o modelo lógico[footnoteRef:31], o qual nada mais é do que uma estrutura racional que demonstra como recursos e ações mudam comportamentos, geram produtos e produzem resultados e impactos. Trata-se, portanto, de um fluxo que estabelece conexão entre os resultados pretendidos e os recursos e ações necessários ao alcance daqueles. [31:  "Há, comumente, muita confusão entre modelo lógico e marco lógico. A matriz lógica do marco lógico é comum ao planejamento de projetos, sendo orientada por objetivos e suas metas, enquanto o modelo lógico dá grande ênfase à explicitação da chamada teoria do programa, sendo orientada a estruturar a visão dos insumos e respectivos processos necessários à efetivação de produtos e resultados e ao alcance de resultados finais" (Cassiolato e Gueresi, 2015). "Os pressupostos sobre recursos e ações e como esses levam aos resultados esperados são frequentemente referidos como a teoria do programa. As hipóteses são de que os recursos adequados serão transformados em ações necessárias para os beneficiários selecionados, e isso, em um determinado contexto, irá levar aos resultados que o programa pretende alcançar. Tornar explícitas as hipóteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referência principal em que se baseia a gestão e o seu instrumento imprescindível, a avaliação (CASSIOLATO; GUERESI, 2010)] O modelo lógico é um instrumento de planejamento que deve estar contemplado em várias fases do ciclo da política pública, especialmente nas fases iniciais. É através dele que se faz a modelagem das intervenções públicas por meio das quais se dará a implementação da política; que se definem as relações de causa e efeito esperadas destas; e que se estabelecem os fundamentos para o monitoramento e avaliação da política pública.Fonte: adaptado de Cassiolato e Gueresi (2010).Importante ressaltar que a elaboração do modelo lógico dá-se, normalmente,  em paralelo com as quatro fases iniciais do ciclo de políticas públicas (diagnóstico do problema, formação da agenda, análise de alternativas e tomada de decisão), e que culmina em um desenho detalhado da política pública, o qual, conforme boas práticas, deve ser institucionalizado em instrumento público oficial (plano, programa, projeto, ato normativo, etc), de sorte a garantir sua transparência e viabilizar seu acompanhamento e avaliação pela sociedade que o financia ou é por ele afetada.   Boas práticasSão boas práticas de desenho e institucionalização de políticas públicas:a) oficializar e regulamentar a política pública por meio de ato normativo apropriado e com a devida observância do princípio da administração pública;b) apresentar de forma clara e objetiva a teoria que sustenta a política, explicitando a forma como a política incide sobre as causas e os efeitos do problema;c) explicitar de forma clara os objetivos da política pública;d) elaborar modelo lógico que detalha entradas, atividades, produtos, impactos e resultados;e) definir indicadores de efetividade, de eficácia e de eficiência da política pública;f) explicitar a linha de base dos indicadores;g) projetar os resultados e os impactos de curto, médio e longo prazo da política pública;h) definir metas objetivas de entrega de produtos, de desempenho e de alcance de resultado;i) estabelecer frequência de verificação do desempenho da política;j) delimitar e caracterizar o público-alvo da política;k) definir critérios para priorização de beneficiários;l) incluir a política em portfólio oficial de políticas governamentais ativas.Critérios gerais de auditoriaBrasil (2014a), Calmon (2013) e Freitas (2005) concordam que a institucionalização formal da política pública, por meio de norma legal (lei, decreto, resolução etc) apropriada, emitida por órgão dotado de legitimidade e competência para fazê-lo, é uma boa prática de governança de políticas públicas. Os dois primeiros ressaltam, porém, que tal ato não deve prejudicar o desempenho da política pública pelo excesso de formalismo e de detalhamento.Conforme § 1º do inciso XI do art. 167 da Constituição Federal: "nenhum investimento cuja execução ultrapasse um exercício financeiro poderá ser iniciado sem prévia inclusão no plano plurianual, ou sem lei que autorize a inclusão, sob pena de crime de responsabilidade".De acordo com o inciso V, do art. 6º do Decreto 10.411/2020, no Relatório de Análise de Impacto Regulatório, deverá haver a definição dos objetivos a serem alcançados por meio da norma que institucionaliza a política pública a ser implementada. Segundo do Manual Técnico de Planejamento Plurianual do Governo Federal (2020-2023), a literatura sobre planejamento no setor público costuma realçar a importância de esclarecer os objetivos e apontar os resultados a serem alcançados; estabelecer indicadores de desempenho que viabilizem as tarefas de monitoramento e avaliação; e quantificar os custos requeridos para o financiamento dos programas de governo.Ainda segundo aquele manual, o exercício de planejamento pode ser facilitado mediante a adoção de modelo lógico que revele as relações causais entre vários elementos, de sorte a construir e organizar a ação governamental de forma que os recursos a serem alocados (e os esforços institucionais empreendidos) possam contribuir para atingir efeitos positivos esperados na sociedade.Assim é desejável que o desenho de programas do PPA seja orientado pelo modelo lógico. Nesse sentido, torna-se necessária a especificação clara e precisa de alguns elementos constitutivos dos programas: a) do problema a ser enfrentado (ou mitigado); b) das alternativas existentes para combater o problema (e indicação de seus respectivos custos); c) dos resultados pretendidos pela intervenção, ou seja, dos benefícios a serem auferidos pelo público-alvo; e d) do volume de recursos financeiros requeridos para a intervenção pública. Esse conjunto de informações permite demonstrar como se pretende converter recursos (ou insumos) em resultados positivos para a sociedade. Recomenda-se a utilização dessa técnica (modelo lógico) não apenas porque ela é largamente difundida, mas também porque sua clareza e racionalidade tornam mais fácil a comunicação com a sociedade.Conforme inciso II do art. 3º da Lei 13.971/2019, são diretrizes do PPA 2020-2023: "a busca contínua pelo aprimoramento da qualidade do gasto público, por meio da adoção de indicadores e metas que possibilitem a mensuração da eficácia das políticas públicas". No Brasil, os art. 165 e 166 da Constituição Federal de 1988 definem o modelo orçamentário brasileiro e estabelecem três instrumentos principais de planejamento:  o Plano Plurianual (PPA), que tem como função estabelecer as diretrizes, objetivos e metas de médio prazo da administração pública; a Lei de Diretrizes Orçamentárias (LDO), que enuncia as metas e prioridades da administração pública para o exercício seguinte e orienta a elaboração da lei orçamentária anual; e a Lei Orçamentária Anual (LOA), que estima a receita e fixa a programação das despesas para o exercício financeiro. Segundo o Guia Técnico de Gestão Estratégica do Ministério da Economia, "a gestão estratégica é um tema prioritário para o governo brasileiro. Essencial à governança pública, é um processo contínuo de tomada de decisão, que envolve a definição dos objetivos e dos meios para alcançá-los, influenciando diretamente o resultado de políticas, programas e organizações públicas" (ME, 2019).A despeito da importância dada ao "planejamento governamental" pelos constituintes e burocratas, o que se tem observado ao longo dos últimos são problemas recorrentes no desenho e institucionalização de políticas públicas:No RePP 2018 (Acórdão 2.608/2018-TCU-Plenário), o TCU apontou que 31% das políticas públicas avaliadas naquela ocasião, encontravam-se em nível inicial de maturidade de "planejamento" e, mais severamente, 50% delas estavam em nível inicial de capacidade na dimensão "objetivos". Entre os problemas identificados estavam: fata de identificação e definição de resultados esperados da política; definição imprecisa de objetivos, que não são suficientes para orientar a execução de ações; metas não exequíveis no horizonte temporal proposto ou incoerente com os objetivos e visão estratégica; falta de clareza acerca dos produtos e efeitos esperados da política; não realização de testes antes da efetiva implantação da política; falta de clareza acerca de quem são os responsáveis pelos objetivos das políticas; falta de cronograma atualizado com marcos e prazos para realização da política; falta de previsão, já na fase de planejamento, de meios de controle, com monitoramento e avaliação de resultados da política.Em 2019, por meio de análise consolidada empreendida no conjunto de políticas que compõem o RePP desse ano, foi possível identificar a ocorrência de falhas no planejamento de 53% (9 de 17) das políticas públicas analisadas. Falhas essas que vão desde a falta de visão de longo prazo e de diretrizes, até fragilidades na lógica de intervenção e execução da política sem amparo em planos que definam precisamente os objetivos, as metas e os resultados esperados.  (Relatório do acórdão 2.513/2019-TCU-Plenário).Não por acaso, no Acórdão 2.513/2019-TCU-Plenário, os ministros do Tribunal de Contas da União acordaram, ante as razões expostas pelo relator, em: 9.5. dar ciência à Casa Civil da Presidência da República e ao Ministério da Economia sobre: 9.5.1. a obrigatoriedade de divulgação, em formato adequado, de dados necessários ao acompanhamento de políticas e programas governamentais, em formato eletrônico, aberto e acessível por sistemas externos, consoante o disposto no inciso I do art. 6º, inciso VII do art. 7º e inciso V do art. 8º da Lei 12.527/2011; 9.5.2. a ausência de um sistema de indicadores-chaves nacional contraria dispositivos constitucionais e legais e deve estar refletido nas diretrizes estratégicas do PPA com a finalidade de informar periodicamente a posição e a evolução do nível do desenvolvimento nacional;Aqui cabe ressaltar que, de acordo com o art. 174 da Constituição Federal, o exercício da função do planejamento é um dever do Estado, tendo caráter determinante para o setor público e indicativo para o setor privado.	Destaca-se, ainda, que de acordo com o Modelo do TCU para Avaliação da Governança em Políticas Públicas: As políticas públicas devem possuir coesão interna. Assim, os objetivos e as metas definidos devem se relacionar com as intervenções escolhidas. Nesse contexto, a política pública orienta-se por uma formulação geral que defina sua lógica de intervenção e por planos que permitam operacionalizar as ações necessárias, delineados em função das diretrizes, objetivos e metas propostas (BRASIL, 2014a).   Controle aplicado ao desenho e à institucionalização da políticaA análise do desenho da política, sob a perspectiva do controle de políticas públicas, consiste em verificar se a política pública está definida e institucionalizada.Assim, deve ser verificado se a política pública está institucionalizada em ato normativo e se esse ato normativo é apropriado à matéria que visa disciplinar. Cabe ainda verificar se a política tem uma teoria clara que expressa, de forma objetiva, como ela incide sobre as causas do problema, projetando seus resultados e impactos de longo prazo. Os pressupostos sobre recursos e ações e como eles levam aos resultados esperados são frequentemente referidos como a teoria do programa (CASSIOLATO, MARTHA; GUERESI, SIMONE, 2010). De acordo como o guia de Avaliação de Políticas Públicas do governo federal, é necessário que fique claro em que medida os recursos e os processos a serem despendidos e realizados podem ser tomados como diretamente responsáveis por produzir o que se vislumbra como resultado e como impacto:Uma teoria clara é aquela que consegue ser expressa, de forma objetiva, em resumo narrativo (uma frase ou um parágrafo) que expresse como o programa incide sobre as causas do problema, projetando seus resultados e impactos de longo prazo. Sugere-se que a teoria seja descrita informando: se (descreva o desenho do programa), então (descreva os resultados), o que então levará a (descreva os impactos) (BRASIL, 2018).Neste ponto cabe verificar se a política tem um modelo lógico que detalha entradas, atividades, produtos, impactos e resultados. Importante verificar ainda se a política apresenta objetivos claros. Ou seja, a política pública deve indicar de maneira clara os objetivos a serem cumpridos. Segundo o guia de análise ex ante publicado pelo Tesouro Britânico, o Green Book, para que o objetivo seja considerado claro ele deve ser "SMART"[footnoteRef:32], ou seja deve possuir as seguintes características, ser: específico (expressar claramente o que deve ser alcançado, sem ambiguidades), mensurável (expressar em que medida o objetivo deve ser alcançado em certo intervalo de tempo, permitindo avaliação e feedback), apropriado (estar alinhado com os objetivos gerais ou estratégicos, contribuindo para alcançá-los, isto é, ser relevante para medir os objetivos), realista (poder ser alcançado no período previsto a custo razoável e considerando as restrições existentes. Levar em conta os objetivos da instituição, o contexto econômico em que está inserido, as limitações orçamentárias, o desempenho anterior. Se os objetivos não forem realistas, eles serão vistos como meros ideais e não terão influência prática no comportamento do pessoal) e possuir prazo determinado (expressar o período esperado para seu alcance). [32:  PORTARIA-SEGECEX 33, DE 23 DE DEZEMBRO DE 2010.] Idealmente, o objetivo deverá indicar os resultados que fundamentam a política pública e, em alguns casos, até mesmo os resultados intermediários necessários para entregá-los. Caso contrário, não será possível verificar se a política alcançou o que era pretendido. Assim, a política poderá ser acompanhada e avaliada posteriormente (UK, 2018, tradução nossa). Entretanto, conforme destacado no guia de avaliação do governo federal, nem sempre os objetivos estão claros, ou muitas vezes, há uma confusão entre objetivos e implementação dos instrumentos da política.Infelizmente, ainda é comum não se ter clareza e transparência sobre o objetivo de uma política pública. Muitas vezes, o ato normativo de instituição de uma política pública define (ou confunde) o objetivo da política como sendo a implementação de seus instrumentos. Isso acaba gerando uma distorção no próprio desenho da política, em que o objetivo da ação pública é a sua mera execução ou um meio de implementação e não o seu resultado esperado (BRASIL, 2018).Destaca-se que o desenho da política pública deve ser orientado para avaliação. Ou seja, já no próprio desenho deve haver a previsão de elementos para que a política seja futuramente passível de avaliação. Assim, deve ser verificado se há indicadores objetivos para avaliar as dimensões de eficácia, eficiência e efetividade. "É importante que sejam estabelecidos indicadores suficientes para a verificação do alcance dos objetivos, quanto a todas as três dimensões avaliativas" (BRASIL, 2018).Os indicadores de eficiência dizem em que medida os recursos utilizados para gerar um produto estão sendo otimizados ou desperdiçados, seja por falha nos insumos seja nos processos. Os indicadores de eficácia demonstram se os produtos foram entregues no prazo fixado. Os de efetividade, por sua vez, são os que dizem se os resultados mais importantes da política estão acontecendo, e em que prazo (BRASIL, 2018).Os indicadores devem possuir metas objetivas de entrega de produtos e de alcance de resultado. Além disso, deve haver uma linha de base (marco zero) estabelecida acerca da realidade à qual a política pública visa promover mudanças, para que futuramente possa ser realizada a avaliação quanto ao alcance de resultados dessa política. Assim, após a estruturação da política, esses parâmetros iniciais podem ser comparados com os resultados efetivos e as metas alcançadas, no âmbito de avaliações realizadas. É útil ainda que seja estabelecida certa frequência, ou marcos temporais de verificação do desempenho da política, por meio de metas parciais, que auxiliem o acompanhamento durante o avanço da política. Corresponderia à verificação do alcance de um resultado especificado e temporalmente demarcado.Portanto, é fundamental verificar se a política pública foi bem desenhada para atingir objetivos claros, mensuráveis por meio de indicadores objetivos associados a suas respectivas metas de entrega de produtos e de alcance de resultado. Por fim, vale verificar se o público-alvo da política está bem delimitado e caracterizado. O público-alvo é formado pelo grupo de pessoas diretamente atingidas pelo problema, que a política pública visa solucionar. Seria a população elegível à política pública. Assim, deve ser informado tanto o critério que delimita esse público alvo, quanto sua amplitude e forma como está distribuído pelo território nacional. Essas informações devem estar embasadas em estudos e estimativas que permitam sua delimitação e mensuração (BRASIL, 2018). Também é importante verificar se foram estabelecidos critérios objetivos para a priorização dos beneficiários, caracterizados pela parcela do público-alvo que é alcançada pela política pública, quando os recursos disponíveis não forem suficientes. O estabelecimento de condicionalidades ou critérios de elegibilidade objetivos é fundamental para avaliação da eficácia da política pública, conforme destacado por pesquisadoras do Ipea:  A explicitação dos critérios de priorização dos beneficiários é essencial para orientar as ações do programa nos casos já assinalados de insuficiência de recursos para atender todo o público-alvo. Revela, também, os compromissos, ou as opções políticas, assumidos na execução do programa e facilita o monitoramento e a aferição de sua eficácia (CASSIOLATO, MARTHA; GUERESI, SIMONE, 2010)Questões de auditoriaPara avaliar a maturidade da política pública no que concerne ao desenho e à institucionalização da política pública, o auditor deve responder às seguintes questões: A política pública está bem desenhada e foi institucionalizada?A política pública está oficializada em ato normativo?A política pública foi institucionalizada por meio de ato normativo apropriado e com a devida observância dos princípios da administração pública?A política tem uma teoria clara que expressa, de forma objetiva, como esta incide sobre as causas do problema, projetando seus resultados e impactos de longo prazo?A política tem um modelo lógico que detalha insumos, intervenções (p. ex. programas e ações), produtos, resultados e impactos?A política tem objetivos claros, logicamente coerentes, específicos, mensuráveis, apropriados (relevantes), realistas (alcançáveis) e delimitados em um recorte temporal?A política tem indicadores de efetividade, eficácia e eficiência definidos?A política tem uma linha de base estabelecida?A política tem metas objetivas de entrega de produtos e de alcance de resultado?O público-alvo que será alcançado pela política pública está bem delimitado e caracterizado?Itens de verificaçãoNo que concerne ao desenho e à institucionalização da política pública, para responder às questões de auditoria, deve-se verificar os seguintes itens.Quadro 4: Itens de verificação: desenho e institucionalização da política públicaQuestãoSubquestões de auditoria e itens de verificação5. A política pública está bem desenhada e foi institucionalizada? 5.1. A política pública está oficializada em ato normativo?5.1.1. A política pública está institucionalizada em ato normativo (ex. lei, decreto)?5.1.2. O relatório de AIR contém a identificação da fundamentação legal que ampara a ação do órgão ou da entidade quanto ao problema regulatório identificado? 5.2. A política pública foi institucionalizada por meio de ato normativo apropriado e com a devida observância dos princípios da administração pública?              5.2.1. O marco regulatório que institucionalizou a política não prejudica seu desempenho pelo excesso de formalismo e de detalhamento?5.2.2. O ato que instituiu a política foi emitido por órgão dotado de legitimidade e competência para fazê-lo?5.2.3. O ato que instituiu a política normatiza a atuação dos diversos órgãos, instituições e esferas de governo envolvidos em sua consecução?5.2.4. A política pública foi institucionalizada com observância ao princípio da legalidade?5.2.5. A política pública foi institucionalizada com observância ao princípio da finalidade?5.2.6. A política pública foi institucionalizada com observância ao princípio da motivação?5.2.7. A política pública foi institucionalizada com observância ao princípio do interesse público?5.2.8. A política pública foi institucionalizada com observância ao princípio da eficiência?5.2.9. A institucionalização da política observou o princípio da reserva legal? 5.3. A política tem uma teoria clara que expressa, de forma objetiva, como esta incide sobre as causas do problema, projetando seus resultados e impactos de longo prazo?5.3.1. A política tem uma teoria clara que expressa, de forma objetiva, como esta incide sobre as causas do problema?5.3.2. O relatório de AIR contém identificação do problema regulatório que se pretende solucionar, com a apresentação de suas causas e sua extensão?5.3.3. A política tem uma teoria que projeta de forma clara resultados e impactos de longo prazo esperados, incluindo os relacionados a mudança de comportamento?5.3.4. O relatório de AIR contém a exposição dos possíveis impactos das alternativas identificadas, inclusive quanto aos seus custos regulatórios? 5.4. A política tem um modelo lógico que detalha insumos, intervenções (p. ex. programas e ações), produtos, resultados e impactos?5.4.1. A política tem um modelo lógico explícito?5.4.2. Os objetivos, insumos e recursos necessários implementação da política foram explicitados de forma clara e objetiva?5.4.3. As intervenções (p. ex. programas e ações) necessárias à implementação da política foram explicitadas de forma clara e objetiva?5.4.4. Os produtos, resultados e impactos esperados das intervenções e da política como um todo foram explicitados de forma clara e objetiva? 5.5. A política tem objetivos claros, logicamente coerentes, específicos, mensuráveis, apropriados (relevantes), realistas (alcançáveis) e delimitados em um recorte temporal?5.5.1. Os objetivos da política pública estão explicitados no ato normativo que a institucionalizou?5.5.2. O parecer de mérito contém os objetivos que se pretende alcançar com a política pública?5.5.3. O relatório de AIR contém a definição dos objetivos a serem alcançados?5.5.4. Os objetivos são específicos, mensuráveis, apropriados, realistas e possuem estimativa de tempo de implantação e de produção de seus efeitos?5.5.5. Há coerência lógica entre o problema público, os objetivos da política, e os resultados e impactos esperados? 5.6. A política tem indicadores de efetividade, eficácia e eficiência definidos?5.6.1. Foram definidos, e explicitados no ato que institucionalizou a política pública, indicadores que permitem aferir a eficiência dos processos de trabalho por meio dos quais dá-se a operacionalização da política pública?5.6.2. Foram definidos, e explicitados no ato que institucionalizou a política pública, indicadores que permitem monitorar o desempenho da política em termos de alcance de objetivos e produção de resultados de curto e médio prazo?5.6.3. Foram definidos, e explicitados no ato que institucionalizou a política pública, indicadores que permitem aferir seus resultados de longo prazo potenciais impactos?5.6.4. Os indicadores da política pública são específicos, mensuráveis, apropriados, realistas e possuem estimativa de tempo de implantação e de produção de seus efeitos?5.6.5. O conjunto de indicadores definidos é logicamente consistente com o objetivo da política?5.6.6. O conjunto de indicadores definidos é suficiente para permitir o bom monitoramento do desempenho e a aferição dos resultados e impactos das intervenções governamentais? 5.7. A política tem uma linha de base estabelecida?5.7.1. Houve a explicitação do estágio de referência inicial (¿marco zero¿, ¿situação inicial¿) para subsidiar a avaliação do desempenho e resultado da pública?5.7.2. Há um valor de linha de base para cada um dos indicadores (quando pertinente)?5.7.3. O ano de referência da linha de base coincide com o ano de início da implementação da política?5.7.4. Há registro histórico do desempenho dos indicadores antes do início da implementação da política pública? 5.8. A política tem metas objetivas de entrega de produtos e de alcance de resultado?5.8.1. Foram estabelecidas metas objetivas para cada indicador?5.8.2. As metas estão explicitadas em ato normativo, documento público, plano ou sistema governamental?5.8.3. Há metas anuais de desempenho para cada um dos indicadores?5.8.4. Há metas regionalizadas de desempenho para cada um dos indicadores? 5.9. O público-alvo que será alcançado pela política pública está bem delimitado e caracterizado?5.9.1. O relatório de AIR contém a identificação dos agentes econômicos, dos usuários dos serviços prestados e dos demais afetados pelo problema regulatório identificado?5.9.2. O público-alvo da política pública está bem delimitada, incluindo diferentes níveis de delimitação como: a) população potencialmente atingida pelo problema; b) população elegível à política; c) população priorizada para atendimento?5.9.3. Os critérios de seleção e priorização de beneficiários estão explicitados em ato normativo, documento público, plano ou sistema governamental?5.9.4. Há ampla divulgação e a população potencial tem acesso a informações acerca dos critérios de elegibilidade e priorização no acesso à política pública?5.9.5. Há metas de alcance e indicadores de cobertura da política pública (% dos elegíveis beneficiários da política pública)?   Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange ao desenho e à institucionalização da política pública, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice III.1; · a consulta à proposta de quadro-resumo, constante do Apêndice III.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice III.3.2.7 Estruturação da governança e gestãoEssa etapa refere-se à definição dos arranjos institucionais e à elaboração da estratégia de implementação da política pública. Envolve a definição dos sistemas de governança, de monitoramento e avaliação e dos processos e operações necessários ao funcionamento da política pública. Envolve ainda a elaboração de plano de implementação da política, que contempla a definição dos meios necessários para efetivação das ações propostas com vistas ao atingimento das metas e alcance dos objetivos da política pública. Em políticas públicas, um sistema de governança requer a definição objetiva, em documento público, de papéis e responsabilidades, bem como de estruturas decisórias e consultivas e seus processos de trabalho. "Isso deve incluir um processo, acordado com o executivo, para responsabilizá-lo pelo alcance de objetivos e metas acordados, bem como pela implementação da estratégia" (CIPFA, 2004).De acordo com o Referencial para Avaliação de Governança em Políticas Públicas do TCU, governança em políticas públicas se refere aos arranjos institucionais que condicionam a forma pela qual as políticas são formuladas, implementadas e avaliadas. Ou seja, os arranjos institucionais envolvem as estruturas, os processos, os mecanismos, os princípios, as regras e as normas que influenciam a governança de uma política pública (BRASIL, 2014a).O sistema de monitoramento e avaliação, por sua vez, consiste no conjunto de estruturas, processos, tecnologias e recursos desenhados e operacionalizados por atores públicos e/ou privados os quais são responsáveis por apresentar evidências quantificáveis do problema; de sua evolução, frente às intervenções; e de seus resultados e impactos ao longo do tempo.Os processos e operações dizem respeito ao conjunto de atividades transitórias ou permanentes, desempenhadas por atores públicos e privados as quais contribuem de forma direta e indireta para o tratamento do problema público.O plano de implementação (business case) sintetiza a estratégia governamental para tratamento do problema público, detalhando objetivos, indicadores, metas, custos, recursos e outros elementos necessários ao bom planejamento e controle da ação governamental em benefício da sociedade.Boas práticasSão boas práticas de estruturação da governança e gestão de políticas públicas: a) a institucionalização de estruturas de coordenação e coerência, gestão operacional, gestão de risco e controle interno, monitoramento e avaliação, accountability, incluindo, para cada uma delas, a definição de: processos de trabalho; arranjos institucionais, papéis e responsabilidades; bem como de instrumentos de apoio como planos, documentos e soluções tecnológicas;b) a elaboração de plano de implementação da política, contemplando aspectos como gestão de escopo, dados, tempo, recursos, contratações, custos, qualidade, riscos, controles internos, partes interessadas, comunicação e integração.Critérios gerais de auditoriaConforme o CIPFA (2004), uma das diretrizes para se ter uma boa governança é a definição clara das funções das organizações e das responsabilidades dos envolvidos. Acerca deste tema, o PLS 488/2017, sugere que, na concepção das políticas públicas, de forma a incrementar a capacidade de governança e gestão da Administração Pública, devem ser definidos:I - os responsáveis pela coordenação e articulação das ações concernentes à política;II - a atuação dos diversos órgãos, instituições e esferas de governo envolvidos, garantindo a coerência e a sinergia da ação estatal nas dimensões econômica, social e ambiental e incentivando a participação social no processo decisório das políticas públicas;III - as competências das principais partes envolvidas na política pública, incluindo os respectivos objetivos, papéis, responsabilidades, recursos e obrigações;IV - o grau de focalização ou universalização da política pública, considerando as necessidades do público-alvo, bem como os recursos disponíveis;V - a abordagem para tratar a solução de conflitos, bem como estabelecer formas de revisão, fixando a periodicidade da avaliação de desempenho da política com o intuito de se promover ajustes que se façam necessários;VI - plano de gestão de riscos com a identificação dos principais problemas que podem surgir juntamente com as respectivas medidas mitigadoras para tratar esses riscos;VII - os marcos de verificação, indicadores-chave e metas para os principais objetivos que permitam a medição do progresso e facilitem a identificação de interdependências eobstáculos;VIII - a formalização dos processos decisórios correlatos, incluindo o registro da motivação e do conjunto de evidências que embasam a escolha política;IX - mecanismos e procedimentos internos de integridade eauditoria na aplicação efetiva de códigos de ética e de conduta, bem como de formalização de instrumentos detransparência; e6 X - plano de gestão documental, com o intuito de preservar a memória unificada de todas as fases da política pública desde a sua concepção.Parágrafo único. O órgão responsável pela condução da política deverá publicar, para conhecimento de todas as partes interessadas, a estrutura de governança vigente na política pública"De acordo com o Brasil (2014a), um modelo de avaliação da governança em políticas públicas deve orientar acerca: da institucionalização políticas públicas; da elaboração de planos e objetivos; da participação; da garantia de capacidade organizacional e recursos; da coordenação e coerência das ações; do monitoramento e avaliação; da gestão de riscos e controle interno; e da accountability.Conforme o Guia Técnico de Gestão Estratégica do governo federal (ME, 2019), a consolidação da governança pública fortalece os sistemas de gestão estratégica, de gestão de riscos, de monitoramento e de avaliação de programas e políticas públicas. As atividades de gestão estratégica compreendem, além do planejamento estratégico, a implementação, monitoramento e avaliação da estratégia para aprimorar o alcance da missão, o cumprimento dos mandatos e a aprendizagem organizacional. Ponto de intersecção de diversas funções, a gestão estratégica usa os resultados das atividades de planejamento e orçamento como insumos para definir os produtos e serviços, melhorar os processos internos, aperfeiçoar as estruturas, desenvolver as competências e alocar os recursos necessários para alcançar os objetivos estratégicos da organização. Como função da governança, a gestão estratégica incorpora a gestão de riscos para identificar, avaliar e gerenciar os eventos que possam afetar os resultados da organização8,20. Também considera seus produtos (informações sobre os resultados institucionais) que são a base para a gestão de desempenho, contratualização de resultados e prestação de contas das ações do governo para a sociedade (ME, 2019, p.19)Segundo esse guia, são diretrizes para gestão estratégica: o alinhamento estratégico; a gestão integrada da cadeia de valor; a otimização de estruturas e fortalecimentos das unidades de gestão estratégica; a orientação para resultados com ênfase na entrega; o fortalecimento da governança; a accountability e a transparência.De acordo com a Instrução Normativa 24/2020, da Secretaria de Gestão, da Secretaria Especial de Desburocratização, Gestão e Governo Digital, do Ministério da Economia: Art. 3º O plano estratégico institucional dos órgãos e das entidades da administração pública federal direta, autárquica e fundacional deverá conter, no mínimo, os seguintes elementos: I - cadeia de valor da instituição;II - identidade estratégica da instituição (missão, visão de futuro, valores e mapa estratégico);III - objetivos estratégicos e respectivas metas;IV - indicadores, com seus atributos: fórmula de cálculo, periodicidade de medição, linha de base e metas; eV - projetos estratégicos a serem desenvolvidos, com seus atributos: principais entregas, com prazos e unidade responsável.Parágrafo único. Os elementos descritos no caput poderão constar do próprio plano estratégico institucional ou de outro plano que o desdobre, como o plano de gestão anual, previsto no art. 18 da Lei nº 13.848, de 25 de junho de 2019.Art. 4º Os órgãos e as entidades da administração pública federal direta, autárquica e fundacional elaborarão ou atualizarão seus planos estratégicos institucionais de forma alinhada ao Plano Plurianual da União para o período de 2020 a 2023 - PPA 2020-2023, instituído pela Lei nº 13.971, de 27 de dezembro de 2019, e aos demais instrumentos de planejamento governamental.Parágrafo único. Durante o processo de elaboração e atualização do plano estratégico, os órgãos e as entidades de que trata o caput promoverão o alinhamento contínuo entre os instrumentos de planejamento sob sua responsabilidade, com vistas ao fortalecimento da governança pública.Segundo Guia Técnico de Gestão Estratégica do Governo Federal:os planejamentos estratégicos organizacionais deverão ser elaborados em consonância com os direcionadores estratégicos expressos na Estratégia Nacional de Desenvolvimento Econômico e Social (ENDES), nos planos setoriais e, principalmente, no Plano Plurianual (PPA). Esses planos e estratégias, que alcançam a transversalidade e a multissetorialidade das políticas públicas, antecedem e são insumos do planejamento estratégico institucional. O alinhamento e a coordenação entre esses planos diminuem a assimetria de informações e reduzem os custos de agência, aumentando a eficiência e a eficácia da ação governamental. (ME, 2019) Fonte: ME (2019, p.19)Conforme inciso I do art. 3º da Lei 13.971/2019, são diretrizes do PPA: "o aprimoramento da governança, da modernização do Estado e da gestão pública federal, com eficiência administrativa, transparência da ação estatal, digitalização de serviços governamentais e promoção da produtividade da estrutura administrativa do Estado".Além desses, existem diversos normativos que fornecem diretrizes e apresentam orientações quanto ao planejamento de políticas públicas no âmbito da Administração Pública Federal, entre os quais se destacam:a) O Decreto-lei 200/1967, que dispõe sobre a organização da Administração Federal, estabelece diretrizes para a Reforma Administrativa e em seu art. 7º preconiza que a ação governamental deve obedecer a planejamento que vise a promover o desenvolvimento econômico-social do país e a segurança nacional, norteando-se segundo planos e programas que compreendam a elaboração e atualização de instrumentos básicos como: (a) plano geral de governo; (b) programas gerais, setoriais e regionais, de duração plurianual; (c) orçamento-programa anual; e (d) programação financeira de desembolso.b) A Constituição Federal de 1988 institui o planejamento como instrumento que orienta a função programática do Estado brasileiro e, em seu art. 165, determina que: a lei que instituir o PPA estabelecerá as diretrizes, objetivos e metas, de forma regionalizada, para as despesas de capital e os programas de duração continuada; os planos e programas nacionais nela previstos devem ser elaborados em consonância com o PPA; e lei superveniente deverá estabelecer diretrizes e bases do planejamento do desenvolvimento nacional equilibrado para incorporar e compatibilizar os planos nacionais e regionais de desenvolvimento.c) A Lei 10.180/2017, que organiza e disciplina os Sistemas de Planejamento e de Orçamento Federal, de Administração Financeira Federal, de Contabilidade Federal e de Controle Interno do Poder Executivo Federal, segundo a qual a elaboração do PPA precede o planejamento estratégico institucional que, por sua vez, determina a alocação de recursos entre os projetos e atividades da organização, por meio das ações orçamentárias.d) O Decreto 9.203/2017, que dispõe sobre a política de governança da administração pública federal direta, autárquica e fundacional, e em seu art. 4º estabelece como diretrizes da governança pública:I - direcionar ações para a busca de resultados para a sociedade, encontrando soluções tempestivas e inovadoras para lidar com a limitação de recursos e com as mudanças de prioridades;II - promover a simplificação administrativa, a modernização da gestão pública e a integração dos serviços públicos, especialmente aqueles prestados por meio eletrônico;III - monitorar o desempenho e avaliar a concepção, a implementação e os resultados das políticas e das ações prioritárias para assegurar que as diretrizes estratégicas sejam observadas;IV - articular instituições e coordenar processos para melhorar a integração entre os diferentes níveis e esferas do setor público, com vistas a gerar, preservar e entregar valor público;V - fazer incorporar padrões elevados de conduta pela alta administração para orientar o comportamento dos agentes públicos, em consonância com as funções e as atribuições de seus órgãos e de suas entidades;VI - implementar controles internos fundamentados na gestão de risco, que privilegiará ações estratégicas de prevenção antes de processos sancionadores;VII - avaliar as propostas de criação, expansão ou aperfeiçoamento de políticas públicas e de concessão de incentivos fiscais e aferir, sempre que possível, seus custos e benefícios;VIII - manter processo decisório orientado pelas evidências, pela conformidade legal, pela qualidade regulatória, pela desburocratização e pelo apoio à participação da sociedade;IX - editar e revisar atos normativos, pautando-se pelas boas práticas regulatórias e pela legitimidade, estabilidade e coerência do ordenamento jurídico e realizando consultas públicas sempre que conveniente;X - definir formalmente as funções, as competências e as responsabilidades das estruturas e dos arranjos institucionais; eXI - promover a comunicação aberta, voluntária e transparente das atividades e dos resultados da organização, de maneira a fortalecer o acesso público à informação.e) A Lei 13.844/2019, que estabelece a organização básica dos órgãos da Presidência da República e dos Ministérios, e, nos inciso XII, XIII e XVII do art. 31 atribui ao Ministério da Economia as competências de:  formular o planejamento estratégico nacional; elaborar subsídios para formulação de políticas públicas de longo prazo destinadas ao desenvolvimento nacional; avaliar os impactos socioeconômicos das políticas e dos programas do governo federal; elaborar estudos especiais para a reformulação de políticas; bem como coordenar e gerir os sistemas de planejamento e orçamento federal.f) A Lei 13.971/2019, que determina que os órgãos e as entidades da Administração Pública Federal direta, autárquica e fundacional elaborem ou atualizem seus planos estratégicos institucionais, de forma alinhada não somente ao PPA 2020-2023, como também aos demais instrumentos de planejamento governamental.  g) Por fim, vale destacar que o Decreto 10.411/20, que regulamenta a análise de impacto regulatório, estabelece no art. 6º, Inciso XII, que o Relatório de Análise de Impacto Regulatório deverá conter descrição da estratégia para implementação da alternativa de política pública sugerida, acompanhada das formas de monitoramento e de avaliação a serem adotadas para acompanhar o desempenho dessa política.  Controle aplicado à estruturação da governança e gestãoA análise da estratégia de implementação da política, sob a perspectiva do controle de política pública, consiste em verificar se as estruturas de governança e gestão e os planos necessários à implementação da política pública estão definidos e adequadamente institucionalizados.Portanto, é necessário verificar inicialmente se o sistema de governança da política pública está bem estruturado. Assim, deve-se analisar, no ato normativo que institucionalizou a política, se os papéis, competências e responsabilidades das partes envolvidas na política pública estão claramente definidos. Para isso, pode-se também verificar se há, eventualmente, uma matriz de responsabilidades ou matriz RECI, em que tenham sido mapeados e definidos os papéis de quem detém a responsabilidade final, quem executa as atividades de implementação, quem é consultado antes que as decisões ou ações sejam implementadas e quem é informado depois que a decisão ou ação for implementada no âmbito da política pública. Além disso, cabe verificar se a atuação definida para os diversos órgãos, instituições e esferas de governo envolvidos na política, viabiliza a coerência, a integração e a sinergia das ações, por meio de mecanismos de articulação, comunicação e colaboração, estabelecidos para alinhar estratégias e operações dessas organizações. Outrossim, vale averiguar se foram publicadas, de maneira aberta e acessível ao público, atas de reuniões ou outros documentos, que evidenciem o funcionamento do sistema de governança da política pública. Deve haver ainda prestação de contas periódica e formal sobre as operações e resultados alcançados pela política pública. Além disso, os objetivos, ações e atividades da política devem estar alinhados e devem se reforçar mutuamente, por meio de um plano de implementação da política. Deve-se observar também se foram definidos, no plano de implementação da política, os recursos (financeiros, humanos e materiais) necessários ao funcionamento da política. Outro aspecto relevante para o controle da política é averiguar se o sistema de monitoramento e avaliação da política está definido. Assim, deve-se verificar se foi formalizado e implementado um plano de monitoramento e avaliação para acompanhar a implementação e o progresso da política, em que tenham sido estabelecidos mecanismos de monitoramento baseados em indicadores, para acompanhar o alcance dos objetivos. No plano de monitoramento devem estar definidas quais as informações necessárias para medir o progresso e o desempenho da política. Além disso, vale averiguar se no plano de monitoramento foram definidos indicadores-chave de progresso para os principais objetivos da política, que devem ser baseados em dados confiáveis. Deve-se atentar ainda para que cada indicador apresente descrição, fonte de dados, frequência da coleta, órgão responsável pela coleta, valor de linha de base (sempre que pertinente), meta para o período e o valor realizado no período. Também é necessário verificar se no plano de monitoramento e avaliação foram definidos os agentes responsáveis pela realização de procedimentos e rotinas de monitoramento e avaliação, pela coleta e análise dos dados e pela elaboração de relatórios de monitoramento e avaliação da política pública. Por fim, vale verificar se foi fixada periodicidade para a realização de monitoramento e avaliação da política, por meio de um cronograma de atividades de monitoramento e avaliação. Para o funcionamento adequado da política, cabe também verificar se seus processos e operações estão definidos. Ou seja, deve-se averiguar se os processos de trabalho para execução da política foram modelados e documentados por meio de um mapa de processos ou fluxograma descritivo. Além disso, é importante que tenha sido definido e implementado um plano de gerenciamento desses processos de trabalho. Outro elemento que contribui para o funcionamento da política pública é a publicação de seu plano de implementação. Entretanto, nem sempre há um plano estruturado contendo os elementos necessários ao bom funcionamento da política pública. Muitas vezes, esses requisitos estarão contidos em outros documentos como por exemplo, no ato normativo que institucionalizou a política pública ou em manuais e diretrizes para implementação da política. Nestes documentos ou no plano de implementação deve haver uma descrição detalhada e documentada do escopo da política pública. Além disso, devem ser definidos os recursos, requisitos, ações e entregas necessárias para alcance dos objetivos da política pública. Portanto, deve-se analisar em que medida a política dispõe dos recursos necessários para sua implementação. Ou seja, verificar se os recursos humanos, financeiros, materiais e informacionais disponíveis para implementar a política pública são suficientes para alcançar as metas e os objetivos propostos. Para tanto, vale averiguar se houve uma previsão inicial quanto à real possibilidade de garantir os recursos necessários para a implementação da política (Reino Unido, 2018).  Também deve-se verificar se foram identificados e documentados os papéis, responsabilidades e competências dos recursos humanos necessários para implementação da política. Estes papéis e responsabilidades podem estar contidos em uma matriz de responsabilidades (gráfico RECI) ou em planos de gerenciamento de recursos humanos ou ainda no plano de implementação e gerenciamento da política pública. Outrossim, deve-se avaliar em que medida há um controle de qualidade das entregas da política pública. O controle de qualidade pode ter sido estabelecido e implementado por meio de um plano de gerenciamento da qualidade da política pública e de suas entregas ou outro documento como o próprio plano de implementação e gerenciamento da política pública. É importante ainda que tenha havido a definição e documentação de atividades e prazos necessários para implementação da política pública, bem como o gerenciamento do cronograma dessas atividades e prazos.Também é fundamental que tenham sido estimados os custos e despesas diretos e indiretos necessários para implementar as atividades da política pública. Deve-se verificar também se houve previsão e disponibilidade de dados e informações para viabilizar a participação social e de todos as partes interessadas nos processos decisórios da política. Vale verificar também se há evidências de que os riscos da política vêm sendo gerenciados. Ou seja, deve-se averiguar se foi explicitado como seria estruturado o processo de gestão de riscos para o alcance dos objetivos da política. Assim, vale verificar se os principais riscos à consecução da política pública foram identificados e avaliados e se foram definidas respostas a esses riscos. Detalhes como a descrição dos processos de gerenciamento de riscos, como os riscos serão identificados e avaliados, quais as respostas planejadas para cada risco e qual a descrição de como os riscos serão monitorados devem estar documentadas em um plano de gerenciamento de riscos, com a designação dos respectivos responsáveis, conforme quadro abaixo.Box 2: Plano de gerenciamento de Riscos (BRASIL, 2018) Objetivo do Plano de Gerenciamento de Riscos Gerenciamento dos riscos 2.1. Descrição dos processos de gerenciamento de riscos: Descrever a metodologia a ser adotada para o gerenciamento dos riscos da política pública. Neste campo deverão ser informadas as abordagens, as ferramentas e as fontes de dados que podem ser utilizadas para o gerenciamento de riscos da política pública.2.1.1. Identificação dos riscos2.1.1.1. Ferramentas utilizadas para identificação dos riscos: Descrever as ferramentas que serão utilizadas na etapa de identificação de riscos.2.1.1.2. Categoria de riscos: Descrever as categorias e subcategorias de riscos e a melhor forma de agrupá-las de modo a facilitar seu gerenciamento.2.1.2. Análise e avaliação dos riscos: Descrever como será feita esta análise.2.1.2.1. Definições de probabilidade e impacto dos riscos: Definir como será realizada a avaliação de probabilidade e impacto.2.1.2.2. Avaliação dos riscos2.1.3. Respostas aos riscos: Descrever como os riscos serão tratados e como serão determinadas as respostas a eles.2.1.4. Monitoramento: Descrever como os riscos serão monitorados e controlados. 2.2. Atores e Responsabilidades: Descrever as responsabilidades referentes aos processos dos riscos.  Por fim, pode-se verificar se foi estabelecido um sistema de gestão documental para a política pública, que contenha a definição de procedimentos para coletar, indexar, arquivar, catalogar e registrar documentos e informações relacionadas à política pública. Também pode-se verificar se foi definido um sistema de gestão e controle de mudanças do escopo da política pública, que contenha a definição de procedimentos, estrutura e estratégias para gerenciar e controlar as mudanças. Questões de auditoriaPara avaliar a maturidade da política pública no que concerne à estruturação da governança e gestão, o auditor deve responder às seguintes questões: As estruturas[32] de governança e gestão, necessárias à implementação da política pública, estão institucionalizadas?                 As estruturas de coordenação estão institucionalizadas?                 Os atores governamentais envolvidos com a política pública atuam de maneira coerente e coordenada entre si?                 As estruturas de gestão de riscos e controles internos estão institucionalizadas?                 As estruturas de monitoramento e avaliação estão institucionalizadas?                 As estruturas de accountability estão institucionalizadas? O plano de implementação da política pública está institucionalizado?                 O escopo da política é gerenciado[33]?                 Os recursos (financeiros, físicos, tecnológicos e humanos), necessários à implementação da política, são gerenciados?                 Os custos da política são gerenciados?                 Os prazos de implementação da política são gerenciados?                 Os riscos e controles internos da política são gerenciados?                 A qualidade da implementação da política é gerenciada?                 O desempenho da política é acompanhado?Itens de verificaçãoNo que concerne à estruturação da governança e gestão, para responder às questões de auditoria, deve-se verificar os seguintes itens.Quadro 5: Itens de verificação: estruturação da governança e gestãoQuestãoSubquestões de auditoria e itens de verificação6. As estruturas de governança e gestão, necessárias à implementação da política pública, estão institucionalizadas?6.1. As estruturas de coordenação estão institucionalizadas?6.1.1. A atuação governamental conjunta é formalmente definida em norma?6.1.2. Os papéis e responsabilidades das partes interessadas estão claramente definidos?6.1.3. Os processos decisórios da atuação conjunta estão definidos?6.1.4. As diretrizes e os objetivos políticos da atuação governamental estão definidos?6.1.5. Há previsão de formas de monitoramento da atuação conjunta?6.1.6. Os instrumentos que orientam a coordenação da atuação conjunta (como acordos, convênios, contratos e parcerias) estão formal e adequadamente institucionalizados? 6.2. Os atores governamentais envolvidos com a política pública atuam de maneira coerente e coordenada entre si?6.2.1. Há uma lista de partes interessadas que devem atuar conjuntamente implementação da política pública?6.2.2. Há instâncias de articulação para alinhamento das ações dos atores envolvidos?6.2.3. Há modelo de atuação conjunta?6.2.4. Há designação do líder que deve coordenar o esforço colaborativo?6.2.5. Há compartilhamento de recursos (financeiros, humanos, material, sistemas, infraestrutura etc.) entre os atores envolvidos?6.2.6. Há canais de comunicação voltados para a atuação conjunta?6.2.7. Há incentivos a interações coordenadas entre as partes interessadas e ao intercâmbio de informações?6.3. As estruturas de gestão de riscos e controles internos estão institucionalizadas?6.3.1. Há política de gestão de riscos e controles internos aprovada pelas instâncias responsáveis pela coordenação da política pública?6.3.2. Foram definidas as instâncias responsáveis pela gestão de riscos e controles internos e respectivas competências (p. ex. gestores operacionais, gestores de riscos, supervisores, assessores, controle interno entre outros)?6.3.3. Foram definidas as diretrizes da integração do processo de gestão de riscos e controles internos aos processos de trabalho de implementação da política pública?6.3.4. Foram definidos os critérios de análise e avaliação de riscos (orientações para determinação de níveis de risco, classificação e priorização dos riscos, e ainda para seleção das medidas de tratamento)?6.3.5. Foram definidos os fluxos de comunicação para compartilhar informações e decisões acerca de gestão de riscos e controles internos?6.3.6. O processo de gestão de riscos e controles internos está formalizado?6.3.7. O limite para exposição a riscos está definido? 6.4. As estruturas de monitoramento e avaliação estão institucionalizadas?6.4.1. A estrutura de monitoramento e avaliação da política está formalmente definida em norma?6.4.2. Os papéis e responsabilidades dos responsáveis pelo monitoramento e avaliação estão claramente definidos?6.4.3. Há procedimento institucional estabelecido para monitorar, avaliar o desempenho da política pública?6.4.4. Há diretrizes de monitoramento e avaliação da atuação conjunta?6.4.5. Os instrumentos de monitoramento e avaliação da atuação conjunta foram definidos?6.4.6. Incentivos (p.ex. condicionantes, benefícios, sanções) associados ao desempenho dos envolvidos na implementação da política foram definidos? 6.5. As estruturas de accountability estão institucionalizadas?6.5.1. O processo decisório estabelecido explicita, claramente, as responsabilidades de autoridades e instâncias deliberativas?6.5.2. Há clareza acerca de quem são os responsáveis por decisões tomadas no âmbito da política pública?6.5.3. Instrumentos de accountability da política pública foram implementados com vistas a garantir a transparência de decisões e ações, tomadas no âmbito da política, bem como de seus efeitos?6.5.3.1. As decisões tomadas e os dados (p.ex. indicadores, contexto, cenários) que as subsidiaram são registrados e tornados públicos?6.5.3.2. Foram estabelecidos mecanismos de comunicação aberta, voluntária e transparente das atividades e dos resultados da política pública de maneira a fortalecer o acesso público à informação?6.5.4. Foram estabelecidos mecanismos de supervisão e controle (p.ex ouvidoria, denúncia, representação)?6.5.5. Há capacidade de imposição da adoção de medidas corretivas e sanções em casos de impropriedades?6.5.6. Há prestação de contas periódica do desempenho da política? 7. O plano de implementação da política pública está institucionalizado?7.1. O escopo da política é gerenciado? 7.1.1. O escopo da política é claro e contém a descrição do problema público a ser tratado; diretrizes, objetivos, indicadores e metas da política; premissas e restrições; entregas (produtos, serviços e resultados) e critérios de aceitação?7.1.2. Os objetivos da política são inequívocos (mensuráveis e passíveis de testes), investigáveis, completos, consistentes e aceitáveis para as principais partes interessadas?7.1.3. A política considera as diferenças regionais e estabelece metas específicas para cada localidade?7.1.4. A relação da política com outras intervenções governamentais (previstas ou em execução) estão explicitadas?7.1.5. A política está alinhada com as prioridades governamentais?7.1.6. Mudanças no escopo da política são explicitadas e justificadas. (ex. mudanças em objetivos, indicadores e metas)?7.1.7. Mudanças no escopo da política são aprovados por instâncias competentes?7.1.8. Há um plano de gerenciamento de escopo da política?7.1.9. A política consta do catálogo oficial de políticas públicas do governo?7.1.10. A política tem uma página oficial com todas as informações relevantes para sua implementação, monitoramento e avaliação? 7.2. Os recursos (financeiros, físicos, tecnológicos e humanos), necessários à implementação da política, são gerenciados?7.2.1. Há atos normativos publicados que definem os papéis e as responsabilidades dos conselhos, da alta administração, da gestão operacional, dos governos locais, dos entes não governamentais e das unidades técnicas e administrativas?7.2.2. Há recursos financeiros, físicos e tecnológicos disponíveis para o início e o desenvolvimento da política pública?7.2.3. Há estrutura de pessoal qualificado e em quantidade suficiente para que todas as etapas da política pública possam ser adequadamente desenvolvidas?7.2.4. Há um plano de desenvolvimento de capacidades dos recursos humanos envolvidos na implementação da política? 7.3. Os custos da política são gerenciados?7.3.1. Há estimativa do custo inicial de implantação da política (custo de mobilização)?7.3.2. Há estimativa dos custos diretos e indiretos envolvidos na implementação da política?7.3.3. Os custos da política são monitorados e controlados?7.3.4. Há clareza e transparência acerca dos itens orçamentários (ex. programas, ações, planos orçamentários) em que se darão o gasto público relacionados à política?7.3.5. A razoabilidade dos impactos orçamentários, financeiros e econômico da política foi aferida? 7.4. Os prazos de implementação da política são gerenciados?7.4.1. Há um cronograma estabelecido de entregas e atividades relacionadas à implementação da política?7.4.2. Há níveis de serviço estabelecidos para controlar os prazos envolvidos em atividades críticas necessárias à implementação da política?7.4.3. A política tem uma data clara de início e término de vigência ou, na falta deste, de revisão periódica pelas instâncias decisórias competentes? 7.5. Os riscos e controles internos da política são gerenciados?7.5.1. Os riscos significativos da política foram identificados, analisados, avaliados?7.5.2. Os riscos e controles internos da política são continuamente monitorados e analisados?7.5.3. Controles internos foram implementados para tratar os riscos mais significativos (com maior impacto e probabilidade) contemplando riscos: (a) operacionais; (b) relacionados à disponibilidade de recursos e capacidade dos agentes; (c) de fraude e corrução; (d) ineficiência dos processos de trabalho; (e) não alcance de objetivos (ineficácia); e (f) não produção dos resultados e efeitos esperados (inefetividade)?7.5.4. Possíveis lacunas, sobreposições, excessos e ineficácia de controles internos foram identificados e tratados?7.5.5. Há relatórios gerenciais ou soluções tecnológicas em operação que auxiliam a identi¿cação, o monitoramento e a mitigação dos riscos? 7.6. A qualidade da implementação da política é gerenciada?7.6.1. Foi estabelecido e implementado um plano de gerenciamento da qualidade da política pública e de suas entregas?7.6.2. Foram estabelecidos parâmetros de qualidade para produtos e serviços ofertados por meio da política?7.6.3. Há um controle de qualidade das entregas (produtos e serviços) da política pública? 7.7. O desempenho da política é acompanhado?7.7.1. Há um plano de monitoramento e avaliação sistêmica da política pública?7.7.2. Na elaboração do plano de monitoramento e avaliação, para cada indicador, foi especificado: i) a descrição do indicador; ii) o método de cálculo; iii) a fonte de dados; iv) a frequência da coleta; v) o órgão responsável pela coleta; vi) o valor de linha de base, sempre que pertinente; vii) a meta para o período em questão; e viii) o valor realizado para o período?7.7.3. No plano de monitoramento e avaliação foram definidos os agentes responsáveis pela realização de procedimentos e rotinas de monitoramento e avaliação, pela coleta e análise dos dados e pela elaboração de relatórios de monitoramento e avaliação da política pública?7.7.4. Há um cronograma estabelecido de medição de indicadores, monitoramento e avaliação da política?7.7.5. Foi estimado o custo das atividades de monitoramento e avaliação da política?7.7.6. Há avaliação periódica dos processos e monitoramento contínuo do desempenho da política pública.?   Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange à estruturação da governança e gestão, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice IV.1; · a consulta à proposta de quadro-resumo, constante do Apêndice IV.2; e · a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice IV.3.2.8 Alocação e gestão de recursos orçamentários e financeirosUm dos aspectos fundamentais para o êxito de uma política pública é a adequada alocação de recursos para seu financiamento, o que normalmente se refere à programação de créditos orçamentários e às condições para execução das despesas correspondentes, mas pode incluir também outras formas, como a concessão de gastos tributários e mecanismos de financiamento providos por instituições financeiras estatais.De acordo com o ordenamento de regência das finanças públicas federais, a realização de despesas públicas somente pode ser realizada pela via orçamentária, atendendo aos princípios orçamentários constitucionais da universalidade e do orçamento bruto, entre outros. Uma vez inserida na Lei Orçamentária Anual (LOA), a execução da despesa se dá de acordo com regras ficais, que podem afetar a disponibilidade de recursos ao longo do exercício - um exemplo de restrição que deve ser considerada é a limitação de empenho e movimentação financeira, prevista na Lei de Responsabilidade Fiscal (LRF), conhecida como "contingenciamento". As limitações à execução orçamentária ao longo do exercício podem afetar a previsibilidade e a tempestividade da disponibilidade de recursos, o que deve ser considerado na gestão de políticas públicas financiadas pelo orçamento.Na publicação Avaliação de Políticas Públicas: Guia Prático de Análise Ex Ante, são exploradas as referidas conexões entre as políticas públicas, as regras fiscais e a gestão das finanças. Especificamente quanto aos aspectos orçamentários, o guia destaca:Em relação ao aspecto programático, é oportuno esclarecer que é por meio da LOA que são fixadas as despesas orçamentárias. Por meio das autorizações de despesas contidas na LOA, os órgãos setoriais podem implementar as políticas públicas sob sua responsabilidade, podendo, por exemplo, realizar licitação para contratação do bem ou serviço e assinar respectivo contrato. Ou seja, para que uma despesa seja realizada, ela tem de estar prevista em alguma ação orçamentária e adequada a essa. Quando a execução da despesa é descentralizada, a autorização orçamentária possibilita constituição de convênio ou instrumentos congêneres e o repasse dos recursos para o ente ou órgão que efetivamente implementará a política.Cabe destacar que a LOA exerce importante papel em relação à transparência da informação. É que a lei orçamentária prevê que o gasto seja detalhado em diversas categorias - funcionais, institucionais, econômicas - que permitem aferir, por exemplo, se o gasto público é do tipo corrente ou investimento, bem como se ele será realizado de forma centralizada ou mediante descentralização de recursos para outros entes da Federação, ou ainda se os recursos envolvidos possuem caráter primário ou financeiro. Essas informações fornecem uma "radiografia" da natureza do gasto que está sendo realizado, possibilitando identificar os principais atributos orçamentários e financeiros das políticas públicas. Elas são úteis também na produção de estatísticas de finanças públicas, que permitem aferir como tem evoluído o comportamento das contas governamentais.A existência de um amplo conjunto de normas que regem a programação e a execução das receitas e despesas públicas - regras que nascem na Constituição, passam por leis complementares como a LRF e a Lei 4.320/1964, chegam às próprias leis orçamentárias e finalmente a dispositivos regulamentares - evidencia que a análise dos aspectos orçamentários e financeiros de toda política pública envolve questões de conformidade. Contudo, são necessários cuidados especiais ao analisá-los, pois é crucial assegurar que haja consistência na atuação do Tribunal ao analisar as políticas setoriais nas diversas funções de governo e a própria política fiscal. Essa consistência requer uma visão sistêmica sobre a gestão das finanças públicas, pois medidas que podem fazer sentido em uma área específica podem gerar precedentes ou desequilíbrios que levem a graves problemas na gestão orçamentária e fiscal. Ainda em relação às exigências legais para o financiamento de políticas públicas, o referido Guia Prático de Análise Ex Ante relaciona uma série de elementos que devem ser considerados quando da proposta de criação, expansão e aperfeiçoamento da ação governamental que gere aumento de despesas ou renúncia de receitas e de benefícios de natureza financeira e creditícia. Essas propostas devem ser acompanhadas dos seguintes itens: 1) Indicação do programa (temático ou de gestão) do PPA ao qual a despesa proposta está associada, bem como breve explicação de como ela contribuirá para o atingimento de seus objetivos e metas. 2) Indicação do caráter obrigatório ou discricionário da despesa:a)      em se tratando de despesa de caráter obrigatório, informar a legislação que a respalda, bem como os critérios, os parâmetros e a metodologia utilizados para o cálculo do valor da despesa; eb)     em se tratando de despesa discricionária, explicar o motivo pelo qual o gasto pretendido se justifica, bem como esclarecer se não haveria formas alternativas de resolver o problema com menor custo para o erário. 3) Indicação das fontes de financiamento da despesa, destacando principalmente se há previsão de utilização de:a)      recursos do Tesouro Nacional;b)     receita própria;c)      recursos provenientes de operações de crédito; ed)     recursos oriundos de outras fontes. 5) Apresentar estimativa do impacto orçamentário-financeiro no exercício em que deva entrar em vigor e nos dois subsequentes, informando, de forma clara e detalhada, as premissas e as metodologias de cálculo utilizadas, inclusive:a)      se as medidas foram consideradas nas metas de resultados fiscais previstas na LDO;b)     simulação que demonstre o impacto da despesa com a medida proposta, detalhada, no mínimo, por elemento de despesa e, no caso de despesa com pessoal, destacando ativos e inativos;c)      se, além da despesa finalística da política pública, existe previsão de aumento de despesas administrativas, de pessoal etc., necessárias para a sua implementação;d)     se as medidas de compensação foram consideradas na proposta que implique renúncia de receitas ou benefícios de natureza financeira e creditícia; ee)      demonstração da origem dos recursos para seu custeio, quando se tratar de despesa obrigatória de caráter continuado. 6) Apresentar declaração de que a medida tem adequação orçamentária e financeira com a LOA e compatibilidade com o PPA e com a LDO. 7) Efetuar análise de potenciais riscos fiscais da proposta ¿ como a geração de passivos contingentes, crescimento da população beneficiária do programa além do previsto, cláusulas de reajuste dos benefícios acima da inflação, riscos de judicialização etc. ¿ que possam suscitar futuros aportes não previstos de recursos orçamentários. 8) Informar se a política pode gerar impactos cruzados em outras rubricas orçamentárias, tais como aumento ou redução de outra despesa, ou elevação da arrecadação.Além da previsão legal, os itens mencionados acima são essenciais sob a ótica do bom desempenho governamental, uma vez que se relacionam a questões como planejamento, financiamento e sustentabilidade dos programas e políticas, assim como se relacionam ao equilíbrio intertemporal das finanças públicas.Nesse mesmo sentido, há diversos outros aspectos sobre a gestão dos recursos orçamentários e financeiros que dizem respeito à qualidade do planejamento e da execução das políticas públicas, que requerem o domínio temático das áreas de atuação governamental. Dessa forma, os processos de alocação e gestão dos recursos orçamentários e financeiros ocorrem ao longo de todo o ciclo de vida da política pública, iniciando desde as análises de viabilidade conduzidas ex ante até a avaliação da eficiência da intervenção governamental, perpassando os processos de planejamento, implementação e monitoramento. Do bom planejamento e da adequada gestão dos recursos depende o êxito de toda política pública.Boas práticasSão boas práticas na gestão de recursos orçamentários e financeiros que financiam as políticas públicas:a) elaborar o planejamento plurianual de financiamento da política pública, contemplando os recursos orçamentários, as renúncias tributárias e os subsídios financeiros e creditícios;b) analisar qual o mecanismo mais adequado para financiamento da política pública, considerando as eficiências alocativa e operacional, inclusive ao decidir entre a realização de gastos diretos ou subsídios;c) assegurar que haja direcionamento adequado dos recursos em função dos diversos objetivos da política pública e conforme sua ordem de prioridade, permitindo a realização das ações que a integram na sequência e na intensidade necessárias;d) buscar anualmente disponibilidades de dotação orçamentária suficientes para cobrir todas as despesas durante o exercício;e) buscar previsibilidade e disponibilidade tempestiva de recursos orçamentários e financeiros adequados à execução das ações programadas;f) assegurar que as propostas de criação, expansão e aperfeiçoamento da ação governamental que impliquem aumento de despesas ou renúncia de receitas e de benefícios de natureza financeira e creditícia sejam acompanhadas dos requisitos legais.Critérios gerais de auditoriaParte significativa dos princípios aplicáveis à alocação e gestão de recursos orçamentários e financeiros possui matriz constitucional, que estabelece o papel das leis orçamentárias e sua devida conexão, no capítulo sobre as finanças públicas:Art. 165. Leis de iniciativa do Poder Executivo estabelecerão:I - o plano plurianual;II - as diretrizes orçamentárias;III - os orçamentos anuais.§ 1º A lei que instituir o plano plurianual estabelecerá, de forma regionalizada, as diretrizes, objetivos e metas da administração pública federal para as despesas de capital e outras delas decorrentes e para as relativas aos programas de duração continuada.§ 2º A lei de diretrizes orçamentárias compreenderá as metas e prioridades da administração pública federal, incluindo as despesas de capital para o exercício financeiro subsequente, orientará a elaboração da lei orçamentária anual, disporá sobre as alterações na legislação tributária e estabelecerá a política de aplicação das agências financeiras oficiais de fomento.Nesse mesmo dispositivo, a questão das desigualdades regionais é abordada no contexto de concessão de subsídios e dos próprios objetivos do orçamento:§ 6º O projeto de lei orçamentária será acompanhado de demonstrativo regionalizado do efeito, sobre as receitas e despesas, decorrente de isenções, anistias, remissões, subsídios e benefícios de natureza financeira, tributária e creditícia.§ 7º Os orçamentos previstos no § 5º, I e II, deste artigo, compatibilizados com o plano plurianual, terão entre suas funções a de reduzir desigualdades inter-regionais, segundo critério populacional.Também no art. 165, a Constituição estipula o princípio da exclusividade, elencando as únicas exceções que serão permitidas no texto da LOA:§ 8º A lei orçamentária anual não conterá dispositivo estranho à previsão da receita e à fixação da despesa, não se incluindo na proibição a autorização para abertura de créditos suplementares e contratação de operações de crédito, ainda que por antecipação de receita, nos termos da lei.Na mesma linha, o art. 167, ao relacionar um conjunto de vedações à gestão orçamentária, dá relevo ao princípio da universalidade e demonstra a importância de que planejamento e orçamento sejam integrados, além de reforçar o papel do Poder Legislativo no controle do orçamento e delimitar o emprego de créditos extraordinários, que podem ser abertos, na União, por medida provisória:Art. 167. São vedados:I - o início de programas ou projetos não incluídos na lei orçamentária anual;II - a realização de despesas ou a assunção de obrigações diretas que excedam os créditos orçamentários ou adicionais;(...)§ 1º Nenhum investimento cuja execução ultrapasse um exercício financeiro poderá ser iniciado sem prévia inclusão no plano plurianual, ou sem lei que autorize a inclusão, sob pena de crime de responsabilidade.§ 2º Os créditos especiais e extraordinários terão vigência no exercício financeiro em que forem autorizados, salvo se o ato de autorização for promulgado nos últimos quatro meses daquele exercício, caso em que, reabertos nos limites de seus saldos, serão incorporados ao orçamento do exercício financeiro subsequente.§ 3º A abertura de crédito extraordinário somente será admitida para atender a despesas imprevisíveis e urgentes, como as decorrentes de guerra, comoção interna ou calamidade pública, observado o disposto no art. 62.Como a Constituição estabelece que lei complementar disporá sobre finanças públicas, no ano 2000 foi editada a Lei Complementar 101, conhecida como Lei de Responsabilidade Fiscal (LRF). Logo em seu primeiro artigo, a LRF define as ideias centrais que norteiam o conceito de responsabilidade fiscal na gestão dos recursos públicos:Art. 1º Esta Lei Complementar estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal, com amparo no Capítulo II do Título VI da Constituição.§ 1º A responsabilidade na gestão fiscal pressupõe a ação planejada e transparente, em que se previnem riscos e corrigem desvios capazes de afetar o equilíbrio das contas públicas, mediante o cumprimento de metas de resultados entre receitas e despesas e a obediência a limites e condições no que tange a renúncia de receita, geração de despesas com pessoal, da seguridade social e outras, dívidas consolidada e mobiliária, operações de crédito, inclusive por antecipação de receita, concessão de garantia e inscrição em Restos a Pagar.Na sequência, a LRF estabelece os requisitos para a geração de despesas públicas, sendo especialmente rigorosa no caso das chamadas "despesas obrigatórias de caráter continuado" - nesse último caso, o legislador complementar deixa patente a preocupação com o equilíbrio intertemporal das finanças públicas, requerendo medidas de compensação com a expansão permanente da receita ou a redução permanente da despesa:Art. 16. A criação, expansão ou aperfeiçoamento de ação governamental que acarrete aumento da despesa será acompanhado de: (Vide ADI 6357)I - estimativa do impacto orçamentário-financeiro no exercício em que deva entrar em vigor e nos dois subsequentes;II - declaração do ordenador da despesa de que o aumento tem adequação orçamentária e financeira com a lei orçamentária anual e compatibilidade com o plano plurianual e com a lei de diretrizes orçamentárias.§ 1º Para os fins desta Lei Complementar, considera-se:I - adequada com a lei orçamentária anual, a despesa objeto de dotação específica e suficiente, ou que esteja abrangida por crédito genérico, de forma que somadas todas as despesas da mesma espécie, realizadas e a realizar, previstas no programa de trabalho, não sejam ultrapassados os limites estabelecidos para o exercício;II - compatível com o plano plurianual e a lei de diretrizes orçamentárias, a despesa que se conforme com as diretrizes, objetivos, prioridades e metas previstos nesses instrumentos e não infrinja qualquer de suas disposições.§ 2º A estimativa de que trata o inciso I do caput será acompanhada das premissas e metodologia de cálculo utilizadas.§ 3º Ressalva-se do disposto neste artigo a despesa considerada irrelevante, nos termos em que dispuser a lei de diretrizes orçamentárias.§ 4º As normas do caput constituem condição prévia para:I - empenho e licitação de serviços, fornecimento de bens ou execução de obras;II - desapropriação de imóveis urbanos a que se refere o § 3o do art. 182 da Constituição.Art. 17. Considera-se obrigatória de caráter continuado a despesa corrente derivada de lei, medida provisória ou ato administrativo normativo que fixem para o ente a obrigação legal de sua execução por um período superior a dois exercícios. (Vide ADI 6357)§ 1º Os atos que criarem ou aumentarem despesa de que trata o caput deverão ser instruídos com a estimativa prevista no inciso I do art. 16 e demonstrar a origem dos recursos para seu custeio.§ 2º Para efeito do atendimento do § 1º, o ato será acompanhado de comprovação de que a despesa criada ou aumentada não afetará as metas de resultados fiscais previstas no anexo referido no § 1º do art. 4º, devendo seus efeitos financeiros, nos períodos seguintes, ser compensados pelo aumento permanente de receita ou pela redução permanente de despesa.§ 3º Para efeito do § 2º, considera-se aumento permanente de receita o proveniente da elevação de alíquotas, ampliação da base de cálculo, majoração ou criação de tributo ou contribuição.§ 4º A comprovação referida no § 2º, apresentada pelo proponente, conterá as premissas e metodologia de cálculo utilizadas, sem prejuízo do exame de compatibilidade da despesa com as demais normas do plano plurianual e da lei de diretrizes orçamentárias.§ 5º A despesa de que trata este artigo não será executada antes da implementação das medidas referidas no § 2º, as quais integrarão o instrumento que a criar ou aumentar.§ 6º O disposto no § 1º não se aplica às despesas destinadas ao serviço da dívida nem ao reajustamento de remuneração de pessoal de que trata o inciso X do art. 37 da Constituição.§ 7º Considera-se aumento de despesa a prorrogação daquela criada por prazo determinado.Mais adiante, em seu art. 37, a LRF demonstra atenção especial ao colacionar fatos que devem ser considerados, para efeito da lei, como similares a operações de crédito, descrevendo um rol de vedações que procuram limitar o endividamento público e reforçar a importância do planejamento e do controle orçamentário:Art. 37. Equiparam-se a operações de crédito e estão vedados:I - captação de recursos a título de antecipação de receita de tributo ou contribuição cujo fato gerador ainda não tenha ocorrido, sem prejuízo do disposto no § 7º do art. 150 da Constituição;II - recebimento antecipado de valores de empresa em que o Poder Público detenha, direta ou indiretamente, a maioria do capital social com direito a voto, salvo lucros e dividendos, na forma da legislação;III - assunção direta de compromisso, confissão de dívida ou operação assemelhada, com fornecedor de bens, mercadorias ou serviços, mediante emissão, aceite ou aval de título de crédito, não se aplicando esta vedação a empresas estatais dependentes;IV - assunção de obrigação, sem autorização orçamentária, com fornecedores para pagamento a posteriori de bens e serviços.Além das normas que compõem o próprio ordenamento das finanças públicas, o Decreto 9.203/2017, que se propõe a qualificar a governança pública no governo federal, como requisito de fortalecimento institucional para que a gestão governamental possa gerar melhores resultados, destaca a necessidade de atenção ao planejamento no financiamento das políticas públicas:Art. 4º São diretrizes da governança pública:(...)VII - avaliar as propostas de criação, expansão ou aperfeiçoamento de políticas públicas e de concessão de incentivos fiscais e aferir, sempre que possível, seus custos e benefícios;Controle aplicado à análise da gestão de recursos orçamentários e financeirosA análise da alocação e da gestão dos recursos financeiros, sob a perspectiva do controle de política pública, consiste em verificar se a intervenção governamental recebe e gerencia seu financiamento de forma apropriada, tornando viável sua implementação ao longo de todo seu ciclo de vida.Essa verificação deve considerar a fase em que se encontra a política pública e os principais processos de trabalho envolvidos em cada momento. Assim, no momento de discussão da agenda e sobretudo nas etapas ligadas à formulação e ao planejamento das ações, é preciso verificar se há previsões fundamentadas sobre a necessidade plurianual de recursos e estudos que demonstrem a viabilidade desse financiamento, considerando limites orçamentários e diretrizes mais amplas da política fiscal. É importante analisar de que forma essa previsão é espelhada no plano plurianual (PPA) e se a ação governamental recebe tratamento especial na lei de diretrizes orçamentárias (LDO).Adicionalmente, durante o desenho das políticas públicas, é crucial que se realizem análises comparativas sobre os diferentes mecanismos de financiamento das ações. A forma típica envolve a previsão de despesas no orçamento público, que traz uma série de vantagens em termos de transparência e accountability. Contudo, há circunstâncias em que alternativas, como a concessão de benefícios tributários, podem se mostrar mais eficientes para os objetivos da política, o que requer análises de custo-efetividade que justifiquem a escolha.Durante a fase da implementação, especialmente dada a natureza anual do orçamento público no Brasil, é preciso verificar se os recursos estão sendo disponibilizados à política pública na forma planejada, considerando quantidade, tempestividade e previsibilidade. Ainda, pensando na sustentabilidade da política, continua sendo necessário verificar se a previsão da disponibilidade de recursos segue uma base deslizante, de forma a manter um horizonte plurianual que subsidie o bom planejamento da própria intervenção governamental e da política fiscal mais ampla.É preciso também verificar a capacidade de adaptação da política pública à realidade fiscal, ou seja, a preparação para fornecer respostas a eventuais restrições orçamentárias ao longo do ciclo anual de execução. Isso envolve a definição clara de prioridades de objetivos e de ações, conforme os propósitos planejados; o estabelecimento de planos de contingência; e a flexibilidade operacional para que a política possa perdurar enquanto entrega os melhores resultados possíveis diante das limitações.Além das abordagens sobre o planejamento e a disponibilidade geral de recursos, é importante verificar se os instrumentos de financiamento são projetados de forma a permitir o direcionamento de recursos públicos efetivamente em função dos objetivos da política pública, em consonância com as prioridades da intervenção governamental e com eventuais necessidades de considerar a precedência das ações programadas. Ou seja, a quantidade e a tempestividade dos recursos importam, mas não somente em uma perspectiva global: é preciso assegurar o concatenamento da disponibilidade orçamentária e financeira aos processos em curso, respeitando a precedência lógica de determinadas ações previstas no desenho da política e a hierarquização entre objetivos e metas planejados.No mesmo sentido, especialmente nos casos em que a política pública envolve mais de um ente federativo, ou mesmo distintos órgãos da mesma esfera governamental, é crucial que se considere a necessidade de alinhamento das disponibilidades de recursos de cada partícipe da política a seus correspondentes cronogramas de desembolso.Em outro campo de fiscalização, é necessário verificar se as formas de alocação de recursos estão em conformidade com o ordenamento de regência das finanças públicas, pois são comuns situações em que a política pública pode vir a ser interrompida por violar regras orçamentárias e fiscais, com prejuízos para a própria execução das ações e a entrega de bens e serviços públicos.Finalmente, é preciso verificar se é realizada a precisa aferição de custos e o devido registro contábil da execução e das operações relacionadas à política pública, requisitos essenciais para avaliações e para realimentar o processo decisório, com reflexos sobre a continuidade e o aprimoramento da intervenção governamental e a análise de outras formas de atuação estatal.Questões de auditoriaPara avaliar a maturidade da política pública no que concerne à alocação e gestão de recursos orçamentários e financeiros, o auditor deve responder às seguintes questões: As fontes de financiamento da política pública são aderentes às normas e boas práticas que regem as finanças públicas?                 As fontes de financiamento da política pública estão adequadamente identificadas?                 As fontes de financiamento do tipo ¿gasto direto¿ atendem às normas para criação de despesa, notadamente os arts. 16 e 17 da LRF?                 As fontes de financiamento do tipo ¿gasto indireto¿ atendem às normas vigentes, notadamente o art. 14 da LRF e os dispositivos da LDO que estabelecem condições para medidas que gerem renúncias de receitas?                 O impacto orçamentário, financeiro e fiscal da política pública é acompanhado e avaliado de forma sistemática?                 As informações de desempenho definidas para a política pública são compatíveis com as informações de desempenho do PPA, com a Estratégia Federal de Desenvolvimento (EFD) e demais instrumentos de planejamento correlacionados?                 Os riscos de implementação da política pública decorrentes de limitações fiscais e orçamentárias (a exemplo de teto de gastos e contingenciamento) são gerenciados?                 A sustentabilidade fiscal da política pública está demonstrada com base em projeções de médio prazo?                 A dimensão interfederativa de financiamento da política pública está contemplada na política pública?                 A seleção dos instrumentos de financiamento da política pública está pautada em critérios de eficiência?Itens de verificaçãoQuanto à alocação e gestão de recursos orçamentários e financeiros, para responder às questões de auditoria, deve-se verificar os seguintes itens. Quadro 6: Itens de verificação: alocação e gestão de recursosQuestãoSubquestões de auditoria e itens de verificação8. As fontes de financiamento da política pública são aderentes às normas e boas práticas que regem as finanças públicas?8.1. As fontes de financiamento da política pública estão adequadamente identificadas?8.1.1. As fontes de financiamento da política pública estão explicitadas em ato ou documento oficial?8.1.2. Os investimentos que ultrapassam um exercício financeiro foram autorizados em lei e constam do PPA?8.1.3. As fontes de financiamento da política pública estão explicitadas na LOA?8.1.4. As fontes de financiamento da política pública estão explicitadas no PPA?8.1.5. As fontes de financiamento da política pública decorrentes de benefícios de natureza tributária, financeira ou creditícia constam do demonstrativo previsto no § 6º do art. 165 da Constituição Federal?8.1.6. As fontes de financiamento da política pública foram explicitadas de forma regionalizada?8.1.7. A lei que instituiu o plano plurianual estabeleceu, de forma regionalizada, diretrizes, objetivos e metas da administração pública federal para as despesas relativas à política pública? 8.2. As fontes de financiamento do tipo ¿gasto direto¿ atendem às normas para criação de despesa, notadamente os arts. 16 e 17 da LRF?8.2.1. Há estimativa do impacto orçamentário-financeiro no exercício em que a política pública entrará em vigor e nos dois subsequentes?8.2.2. A estimativa do impacto orçamentário-financeiro está acompanhada das premissas e metodologia de cálculo utilizadas?8.2.3. Há declaração do ordenador da despesa de que o aumento desta tem adequação orçamentária e financeira com a lei orçamentária anual?8.2.4. Há declaração do ordenador da despesa de que o aumento desta tem compatibilidade  com o plano plurianual e com a lei de diretrizes orçamentárias?8.2.5. Em se tratando de política que fixe para o ente a obrigação legal de sua execução por um período superior a dois exercícios, a despesa corrente deriva de lei, medida provisória ou ato administrativo normativo?8.2.6. A origem dos recursos para custeio da política pública foi demonstrada?8.2.7. O ato que instituiu a política está acompanhado de comprovação de que a despesa criada ou aumentada não afeta as metas de resultados fiscais previstas na LRF e se coaduna com os pressupostos da gestão fiscal responsável insculpidos no art. 1º da LRF?8.2.8. A comprovação referida no item 8.2.7, contém as premissas e metodologia  de cálculo utilizadas?8.2.9. Os efeitos financeiros da política, nos períodos seguintes, serão compensados pelo aumento permanente de receita ou pela redução permanente de despesa?8.2.10. O PLOA e a LOA discriminam, em categorias de programação específicas, as dotações destinadas à concessão de subvenções econômicas, identificando a legislação que autorizou o benefício? 8.3. As fontes de financiamento do tipo ¿gasto indireto¿ atendem às normas vigentes, notadamente o art. 14 da LRF e os dispositivos da LDO que estabelecem condições para medidas que gerem renúncias de receitas?8.3.1. A concessão ou ampliação de incentivo ou benefício de natureza tributária da qual decorra renúncia de receita está acompanhada de estimativa do impacto orçamentário-financeiro no exercício em que deva iniciar sua vigência e nos dois seguintes?8.3.2. A concessão ou ampliação de incentivo ou benefício de natureza tributária da qual decorra renúncia  de receita atende ao disposto na lei de diretrizes orçamentárias?8.3.3. Foi demonstrado pelo proponente que a renúncia foi considerada na estimativa de receita da lei orçamentária, na forma do art. 12 da LRF?8.3.4. Foi demonstrado pelo proponente que a renúncia não afetará as metas de resultados fiscais previstas no anexo próprio da lei de diretrizes orçamentárias?8.3.5. Foram apresentadas medidas de compensação, no período mencionado no caput do art. 14, por meio do aumento de receita, proveniente da elevação de alíquotas, ampliação da base de cálculo, majoração ou criação de tributo ou contribuição?8.3.6. O benefício tributário foi concedido por meio do instrumento legal adequado, em linha com o disposto na Constituição e no Código Tributário Nacional?8.3.7. Os registros contábeis relativos ao benefício tributário são efetuados conforme exigido pelas normas e regulamentos aplicáveis? 8.4. O impacto orçamentário, financeiro e fiscal da política pública é acompanhado e avaliado de forma sistemática?8.4.1. Foram realizadas avaliações sobre a eficiência dos instrumentos de financiamento da política pública (gastos diretos ou gastos indiretos), contemplando a análise custo x benefício da escolha por um ou outro instrumento?8.4.2. No que concerne à política pública, é feito o acompanhamento e avaliação da execução das despesas públicas e de suas fontes de financiamento?8.4.3. Foram realizados acompanhamentos e avaliações quanto ao efetivo impacto orçamentário e financeiro dos gastos indiretos em comparação com as estimativas em sua instituição? 8.5. As informações de desempenho definidas para a política pública são compatíveis com as informações de desempenho do PPA, com a Estratégia Federal de Desenvolvimento (EFD) e demais instrumentos de planejamento correlacionados?8.5.1. As informações de desempenho definidas anualmente para a política são compatíveis com as informações de desempenho (objetivos, metas e indicadores) do(s) programa(s) finalístico(s) correlacionado(s) à política no PPA e com a EFD?8.5.2. Há informações sobre a execução física e financeira das ações orçamentárias da política pública?8.5.3. Os resultados de avaliações e monitoramento da execução física e financeira da política pública foram publicados de forma clara e objetiva?8.5.4. As informações sobre o desempenho físico e financeiro da política estão publicadas nos sítios oficiais dos órgãos gestores, inclusive em formato aberto?8.5.5. As informações publicadas sobre o desempenho físico e financeiro da política estão atualizadas?8.5.6. As informações sobre o desempenho da política subsidiam a elaboração da proposta orçamentária no órgão?8.5.7. As informações constantes das avaliações sobre o desempenho da política são coerentes com as metas e indicadores adotados nos programas regionais e setoriais relacionados com a política?8.5.8. Existe definição clara de competências sobre os responsáveis pela produção e monitoramento das informações de desempenho da política no órgão gestor? 8.6. Os riscos de implementação da política pública decorrentes de limitações fiscais e orçamentárias (a exemplo de teto de gastos e contingenciamento) são gerenciados?8.6.1. No âmbito da política, foram avaliados riscos e desvios que podem afetar o equilíbrio das contas públicas?8.6.2. No âmbito da política, foram informadas as providências a serem tomadas, caso se concretizem riscos capazes de afetar as contas públicas?8.6.3. Foram estabelecidos a programação financeira e o cronograma de execução mensal de desembolso da política?8.6.4. Riscos de eventuais insuficiências de recursos que possam afetar o desempenho da política foram identificados e gerenciados?8.6.5. Os recursos legalmente vinculados à política são utilizados exclusivamente para atender ao objeto de sua vinculação?8.6.6. Em caso de limitação de empenho e movimentação financeira (art. 9 º da Lei de Responsabilidade Fiscal), a redistribuição de limites pelo órgão orçamentário responsável pela execução das dotações vinculadas à política obedece a uma priorização previamente estabelecida, que considere as especificidades da política em relação às demais políticas sob responsabilidade do órgão/entidade? 8.7. A sustentabilidade fiscal da política pública está demonstrada com base em projeções de médio prazo?8.7.1. O órgão possui estimativas para as obrigações relacionadas à política que ultrapassem três exercícios financeiros?8.7.2. As projeções são de conhecimento das instâncias decisórias e os seus resultados são levados em consideração no momento de decidir sobre a criação ou sobre a continuidade da política?8.7.3. As projeções são elaboradas com base em parâmetros claros e formalmente definidos? 8.8. A dimensão interfederativa de financiamento da política pública está contemplada na política pública?8.8.1. As responsabilidades de cada ente quanto ao financiamento da política estão definidas?8.8.2. É possível identificar a execução dos recursos aplicados por cada ente?8.8.3. Existe uma distribuição da competência decisória entre os entes compatível com a participação de cada um no financiamento da política?8.8.4. Existe um risco moral que propicie o descumprimento das obrigações de financiamento por algum dos entes envolvidos no financiamento da política? 8.9. A seleção dos instrumentos de financiamento da política pública está pautada em critérios de eficiência?8.9.1. Há estudos do custo x benefício dos instrumentos de financiamento da política pública?8.9.2. Instrumentos de financiamento são coerentes com os objetivos da política pública?8.9.3. Os instrumentos de financiamento são avaliados quanto à equidade?8.9.4. Os instrumentos de financiamento são escolhidos de modo a minimizar a interferência não intencional nos incentivos de mercado e a má alocação de recursos na economia?   Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange à alocação e gestão de recursos orçamentários e financeiros da política pública, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice V.1; · a consulta à proposta de quadro-resumo, constante do Apêndice V.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice V.3.2.9 Operação e monitoramento da política públicaOperação diz respeito ao lapso temporal no qual um conjunto de intervenções são postos em prática com vistas ao tratamento de problemas públicos. É nessa fase em que as estruturas (p. ex. processos, pessoas, sistemas) entram em funcionamento e produzem resultados.É neste momento que funções administrativas, como liderança e coordenação, são postas a prova e a administração pública se reveste de sua função precípua de executar políticas públicas (SECCHI, 2017).Entre os instrumentos que podem ser utilizados pelos formuladores de políticas públicas para implementar políticas encontram-se: a regulamentação e a desregulamentação;  a aplicação da lei; a criação, alteração ou extinção de impostos, taxas, subsídios e incentivos fiscais; a prestação (direta e indireta) de serviços; a realização de campanhas, concursos e premiações; a transferência de renda; entre outros (SECCHI, 2017).De acordo com Sabatier (1986), a implementação pode ocorrer tanto de forma top-down, a partir de decisões e planos instituídos por instâncias superiores de governança pública; quanto de forma bottom-up, a partir da atuação discricionária de burocratas e redes de atores. No contexto real, ambos estes modelos coexistem simultaneamente, alterando de forma dinâmica a forma como a política é implementada e produz resultados.Uma vez em operação, as políticas públicas precisam ser continuamente avaliadas (avaliação in itinere). É durante este período que se busca garantir (i) que as intervenções operem, de fato, conforme o planejado; (ii) que o desempenho destas seja eficiente e adequado - que entregue produtos e serviços de qualidade ao menor custo possível -; e (iii) que os objetivos das intervenções públicas sejam alcançados (eficácia).A eficácia é definida como o grau de alcance das metas programadas (bens e serviços) em um determinado período de tempo, independentemente dos custos implicados (COHEN; FRANCO, 1993; BRASIL, 2020). Segundo o Manual de Auditoria Operacional do TCU:O conceito de eficácia diz respeito à capacidade da gestão de cumprir objetivos imediatos, traduzidos em metas de produção ou de atendimento, ou seja, a capacidade de prover bens ou serviços de acordo com o estabelecido no planejamento das ações.É importante observar que a análise de eficácia deve considerar os critérios adotados para fixação da meta a ser alcançada. Uma meta subestimada pode levar a conclusões equivocadas a respeito da eficácia do programa ou da atividade sob exame. Além disso, fatores externos como restrições orçamentárias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a análise da eficácia.A eficiência, por sua vez, é definida como a relação entre os produtos (bens e serviços) gerados por uma atividade e os custos dos insumos empregados para produzi-los, em um determinado período, mantidos os padrões de qualidade (ISSAI 3100/39, 2016). Segundo o Manual de Auditoria Operacional do TCU:Essa dimensão refere-se ao esforço do processo de transformação de insumos em produtos. Pode ser examinada sob duas perspectivas: minimização do custo total ou dos meios necessários para obter a mesma quantidade e qualidade de produto; ou otimização da combinação de insumos para maximizar o produto quando o gasto total está previamente fixado (COHEN; FRANCO, 1993).A eficiência é um conceito relativo. Isso significa que em uma auditoria sobre eficiência, é preciso algum tipo de comparação. Auditorias orientadas para eficiência podem também examinar os processos, desde os insumos até o produto, para expor as deficiências nesses processos ou na sua implementação (ISSAI 3100/41, 2016).É durante a etapa de implementação que se deve monitorar o desempenho operacional da política e identificar, de forma objetiva e sistemática, os gargalos de implementação, os problemas de gestão e os riscos de maior probabilidade e impacto, os quais precisam de atenção diferenciada por parte das instâncias superiores de governança.Segundo Ramos e Schabbach (2012): Monitoramento é uma atividade gerencial interna, realizada sistematicamente durante o período de execução e operação, para se saber como uma intervenção evolui ao longo do tempo, através de dados da gerência do projeto sobre metas iniciais, indicadores e resultados associados aos programas. Ela é necessária para se dimensionarem as metas de um projeto, os caminhos que uma intervenção percorre e as métricas potenciais para medir os efeitos na população-objetivo.Para além de avaliações diagnósticas de problemas de implementação, avaliações de natureza conformativa, de verificação da adequação entre o previamente planejado e o realmente executado, também se revelam como atividades essenciais na gestão de políticas e programas. A gestão de programas não pode prescindir de rotinas sistemáticas e mais padronizadas de análise das atividades e produtos-chave.  Tal como para a formulação e a avaliação de políticas e programas, a implementação requer abordagens metodológicas mais estruturadas para análise dos seus processos, de modo a constatar as falhas de desenho da intervenção, a não antecipação da complexidade operacional na mitigação dos problemas, a sensibilidade de atividades e agentes frente a fatores contextuais. É necessário avaliar a implementação para dispor de informação relevante e tempestiva para orientar o redesenho da intervenção e colocá-la na direção desejada ou naquela possível frente às circunstâncias enfrentadas.(adaptado de JANNUZZI, 2020)Aqui cabe ressaltar que para que os problemas públicos sejam de fato resolvidos não basta executar os planos e alcanças os objetivos, é essencial estar atendo aos impactos, à economicidade e à sustentabilidade das ações governamentais.Economicidade diz respeito à minimização dos custos dos recursos utilizados na consecução de uma atividade, sem comprometimento dos padrões de qualidade (GUID 3910/38, 2019; BRASIL, 2020). De acordo com o Manual de Auditoria Operacional do TCU:Os recursos usados devem estar disponíveis tempestivamente, em quantidade suficiente, na qualidade apropriada e com o melhor preço (ISSAI 300/11, 2013). Refere-se à capacidade de uma instituição gerir adequadamente os recursos financeiros colocados à sua disposição.O exame da economicidade poderá abranger a verificação de práticas gerenciais, sistemas de gerenciamento, benchmarking de processos de compra e outros procedimentos afetos à auditoria operacional, enquanto o exame estrito da legalidade de procedimentos de licitação, fidedignidade de documentos, eficiência dos controles internos e outros deverão ser objeto de auditoria de conformidade. Na prática, poderá haver alguma superposição entre auditoria de conformidade e auditoria operacional. Nesses casos, a classificação de uma auditoria específica dependerá do objetivo primordial da auditoria.Nesse contexto cabe ressaltar que não é suficiente monitorar indicadores de dispêndio orçamentário e de produtos/serviços entregues nos programas. Para que seja possível acompanhar o desempenho da política é preciso dispor de uma cadeia de indicadores de: insumos/recursos, processos, produtos, resultados e impactos.Fonte: nossa autoria, baseado em Brasil (2020).Conforme o Manual de Indicadores do PPA (BRASIL, 2020), em visão adaptada:¿ Insumo (antes): são indicadores que têm relação direta com os recursos a serem alocados, ou seja, com a disponibilidade de pessoal, recursos materiais, financeiros e outros a serem utilizados pelas ações de governo. São exemplos médicos/mil habitantes e gasto per capita com educação;¿ Processo (durante): medem o desempenho das atividades vinculadas com a execução ou forma em que o trabalho é realizado para produzir os bens e serviços, tais como dias de demora de um processo de compra, percentual de atendimento de um público-alvo e percentual de liberação dos recursos financeiros;¿ Produto (depois): são medidas que expressam as entregas de bens ou serviços ao público-alvo. São exemplos os quilômetros de estrada entregues, de armazéns construídos e de crianças vacinadas, em relação às metas estabelecidas; quantidade de vagas criadas na universidade em relação àsexistentes; quantidade de leitos criados nos hospitais para unidades de terapia intensiva; etc.¿ Resultado (depois): essas medidas expressam o fim último da intervenção pública frente ao público-alvo, ou seja, o resultado final que se queria alcançar. Têm particular importância no contexto de gestão pública orientada a resultados, pois é o que se percebe como sucesso ou fracasso da políticapública. São exemplos as taxas de morbidade (doenças), a taxa de reprovação escolar, índice de alfabetização, taxa de homicídios, índice de desemprego, produção agrícola etc.¿ Impacto (depois): medem os efeitos relacionados a partir dos resultados pretendidos pelas políticas e programas públicos. Um impacto pode ser tanto um efeito intencional ou uma consequência natural da entrega dos bens e serviços, possuindo natureza abrangente e muitas vezes multidimensional. Por exemplo, a construção de uma escola pode ser um fator unificador de uma comunidade. A inclusão produtiva aumenta com a redução do analfabetismo. Portanto, são efeitos que têm relação com a transformação da realidade, geralmente, nos médio e longo prazos. São exemplos de indicadores, o Índice de Gini (desigualdade) e o PIB per capita (crescimentoeconômico).No contexto da operação e monitoramento de políticas públicas, deve-se, portanto, atentar para o desempenho de insumos, processos e produtos, sem, contudo, perder de vista os resultados (intermediários e finais) e os impactos da intervenção pública. Avaliações de implementação são relevantes para identificação de problemas críticos de ações inexoravelmente complexas pelo porte, objetivos e contexto de operação de políticas e programas no país. Favorecem, assim, em muitas situações, o aprimoramento e inovação de programas públicos nas entregas de serviços e produtos de melhor qualidade, com cobertura mais ampla de seus públicos-alvo. (adaptado de JANNUZZI, 2020)Boas práticasSão boas práticas de operação e monitoramento de políticas públicas:a) operar regularmente as estruturas de governança e gestão, o que envolve, por exemplo: (i) desempenhar as atividades de governança e gestão em conformidade com o preconizado; (ii) coordenar o esforço colaborativo (iii) monitorar a atuação conjunta; (iv) avaliar a efetividade dos instrumentos que orientam a atuação conjunta; (v) comunicar tempestivamente as partes interessadas acerca de riscos e problemas identificados; (vi) tomar as medidas necessárias ao tratamento desses riscos e problemas; (vii) monitorar e avaliar continuamente o desempenho da política pública, tomando as medidas necessárias em caso de desempenho insatisfatório; (viii) garantir a transparência do processo decisório, a motivação das decisões tomadas e a abertura dos dados (p.ex. indicadores, contexto, cenários); (ix) utilizar mecanismos de comunicação aberta, voluntária e transparente das atividades e dos resultados da política pública de maneira a fortalecer o acesso público à informação; (xi) prestar contas, periodicamente, do desempenho da política; e (x) garantir a efetividade dos mecanismos de supervisão e controle; b) executar o plano de implementação e monitorar continuamente o desempenho da política, o que inclui, por exemplo: (i) avaliar periodicamente a adequação dos insumos e recursos necessários à sua implementação, (ii) monitorar continuamente seu desempenho físico e financeiro; (iii) avaliar continuamente a qualidade dos produtos e serviços; (iv) avaliar periodicamente o desempenho dos processos e ações (projetos, atividades e operações) por meio dos quais a política é implementada, (v) avaliar sistematicamente riscos e controles internos; e (vii) avaliar continuamente a eficiência e a eficácia da política.Critérios gerais de auditoriaConforme art. 6º do Decreto-lei 200/1967, cinco princípios devem ser observados pela Administração Federal: planejamento, coordenação, descentralização, delegação de competência e controle.No que concerne ao planejamento, o art. 7º orienta que a ação governamental deve nortear-se segundo planos e programas elaborados incluindo: plano geral de governo; programas gerais, setoriais e regionais, de duração plurianual; orçamento-programa anual; e programação financeira de desembolso.No que tange à coordenação o Decreto-lei 200/1967 assim orienta:Art . 8º As atividades da Administração Federal e, especialmente, a execução dos planos e programas de governo, serão objeto de permanente coordenação.§ 1º A coordenação será exercida em todos os níveis da administração, mediante a atuação das chefias individuais, a realização sistemática de reuniões com a participação das chefias subordinadas e a instituição e funcionamento de comissões de coordenação em cada nível administrativo.§ 2º No nível superior da Administração Federal, a coordenação será assegurada através de reuniões do Ministério, reuniões de Ministros de Estado responsáveis por áreas afins, atribuição de incumbência coordenadora a um dos Ministros de Estado (art. 36), funcionamento das Secretarias Gerais (art. 23, § 1º) e coordenação central dos sistemas de atividades auxiliares (art. 31).§ 3º Quando submetidos ao Presidente da República, os assuntos deverão ter sido previamente coordenados com todos os setores neles interessados, inclusive no que respeita aos aspectos administrativos pertinentes, através de consultas e entendimentos, de modo a sempre compreenderem soluções integradas e que se harmonizem com a política geral e setorial do Governo. Idêntico procedimento será adotado nos demais níveis da Administração Federal, antes da submissão dos assuntos à decisão da autoridade competente.Art. 9º Os órgãos que operam na mesma área geográfica serão submetidos à coordenação com o objetivo de assegurar a programação e execução integrada dos serviços federais.Parágrafo único. Quando ficar demonstrada a inviabilidade de celebração de convênio (alínea b do § 1º do art. 10) com os órgãos estaduais e municipais que exerçam atividades idênticas, os órgãos federais buscarão com eles coordenar-se, para evitar dispersão de esforços e de investimentos na mesma área geográfica.Quanto à execução de atividades pela Administração Federal, o art. 10 do Decreto-lei 200/1967, assim determina:Art. 10. A execução das atividades da Administração Federal deverá ser amplamente descentralizada.§ 1º A descentralização será posta em prática em três planos principais:a) dentro dos quadros da Administração Federal, distinguindo-se claramente o nível de direção do de execução;b) da Administração Federal para a das unidades federadas, quando estejam devidamente aparelhadas e mediante convênio;c) da Administração Federal para a órbita privada, mediante contratos ou concessões.§ 2° Em cada órgão da Administração Federal, os serviços que compõem a estrutura central de direção devem permanecer liberados das rotinas de execução e das tarefas de mera formalização de atos administrativos, para que possam concentrar-se nas atividades de planejamento, supervisão, coordenação e controle.§ 3º A Administração casuística, assim entendida a decisão de casos individuais, compete, em princípio, ao nível de execução, especialmente aos serviços de natureza local, que estão em contato com os fatos e com o público.§ 4º Compete à estrutura central de direção o estabelecimento das normas, critérios, programas e princípios, que os serviços responsáveis pela execução são obrigados a respeitar na solução dos casos individuais e no desempenho de suas atribuições.§ 5º Ressalvados os casos de manifesta impraticabilidade ou inconveniência, a execução de programas federais de caráter nitidamente local deverá ser delegada, no todo ou em parte, mediante convênio, aos órgãos estaduais ou municipais incumbidos de serviços correspondentes.§ 6º Os órgãos federais responsáveis pelos programas conservarão a autoridade normativa e exercerão controle e fiscalização indispensáveis sobre a execução local, condicionando-se a liberação dos recursos ao fiel cumprimento dos programas e convênios.§ 7º Para melhor desincumbir-se das tarefas de planejamento, coordenação, supervisão e controle e com o objetivo de impedir o crescimento desmesurado da máquina administrativa, a Administração procurará desobrigar-se da realização material de tarefas executivas, recorrendo, sempre que possível, à execução indireta, mediante contrato, desde que exista, na área, iniciativa privada suficientemente desenvolvida e capacitada a desempenhar os encargos de execução.§ 8º A aplicação desse critério está condicionada, em qualquer caso, aos ditames do interesse público e às conveniências da segurança nacional. Art. 11. A delegação de competência será utilizada como instrumento de descentralização administrativa, com o objetivo de assegurar maior rapidez e objetividade às decisões, situando-as na proximidade dos fatos, pessoas ou problemas a atender.No que diz respeito ao controle o Decreto-lei 200/1967 assim preconiza:Art. 13 O controle das atividades da Administração Federal deverá exercer-se em todos os níveis e em todos os órgãos, compreendendo, particularmente:a) o controle, pela chefia competente, da execução dos programas e da observância das normas que governam a atividade específica do órgão controlado;b) o controle, pelos órgãos próprios de cada sistema, da observância das normas gerais que regulam o exercício das atividades auxiliares;c) o controle da aplicação dos dinheiros públicos e da guarda dos bens da União pelos órgãos próprios do sistema de contabilidade e auditoria. Art. 14. O trabalho administrativo será racionalizado mediante simplificação de processos e supressão de controles que se evidenciarem como puramente formais ou cujo custo seja evidentemente superior ao risco.Nota-se que o legislador, já naquela época, ressaltava a importância da adoção de boas práticas de governança e gestão pela administração pública. Práticas essas que, anos depois, foram complementadas pelo decreto 9.203/2017 que assim definiu:Art. 4º São diretrizes da governança pública:I - direcionar ações para a busca de resultados para a sociedade, encontrando soluções tempestivas e inovadoras para lidar com a limitação de recursos e com as mudanças de prioridades;II - promover a simplificação administrativa, a modernização da gestão pública e a integração dos serviços públicos, especialmente aqueles prestados por meio eletrônico;III - monitorar o desempenho e avaliar a concepção, a implementação e os resultados das políticas e das ações prioritárias para assegurar que as diretrizes estratégicas sejam observadas;IV - articular instituições e coordenar processos para melhorar a integração entre os diferentes níveis e esferas do setor público, com vistas a gerar, preservar e entregar valor público;V - fazer incorporar padrões elevados de conduta pela alta administração para orientar o comportamento dos agentes públicos, em consonância com as funções e as atribuições de seus órgãos e de suas entidades;VI - implementar controles internos fundamentados na gestão de risco, que privilegiará ações estratégicas de prevenção antes de processos sancionadores;VII - avaliar as propostas de criação, expansão ou aperfeiçoamento de políticas públicas e de concessão de incentivos fiscais e aferir, sempre que possível, seus custos e benefícios;VIII - manter processo decisório orientado pelas evidências, pela conformidade legal, pela qualidade regulatória, pela desburocratização e pelo apoio à participação da sociedade;IX - editar e revisar atos normativos, pautando-se pelas boas práticas regulatórias e pela legitimidade, estabilidade e coerência do ordenamento jurídico e realizando consultas públicas sempre que conveniente;X - definir formalmente as funções, as competências e as responsabilidades das estruturas e dos arranjos institucionais; eXI - promover a comunicação aberta, voluntária e transparente das atividades e dos resultados da organização, de maneira a fortalecer o acesso público à informação.De acordo com o art. 37 da Constituição Federal de 1988, "a administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência". Conforme artigos 70 e 71 da Constituição Federal de 1988:Art. 70. A fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União e das entidades da administração direta e indireta, quanto à legalidade, legitimidade, economicidade, aplicação das subvenções e renúncia de receitas, será exercida pelo Congresso Nacional, mediante controle externo, e pelo sistema de controle interno de cada Poder.Parágrafo único. Prestará contas qualquer pessoa física ou jurídica, pública ou privada, que utilize, arrecade, guarde, gerencie ou administre dinheiros, bens e valores públicos ou pelos quais a União responda, ou que, em nome desta, assuma obrigações de natureza pecuniária. (Redação dada pela Emenda Constitucional nº 19, de 1998)Segundo os artigos 11 da Lei 13.971/2019, "a governança do PPA 2020-2023 visa a alcançar os objetivos e as metas estabelecidos, sobretudo para a garantia de acesso às políticas públicas e de sua fruição pela sociedade e busca o aperfeiçoamento dos: (i) mecanismos de implementação e integração de políticas públicas; (ii) critérios de regionalização de políticas públicas; e (iii) mecanismos de monitoramento, avaliação e revisão do PPA 2020-2023". Conforme artigos 14 e 15 da referida lei:Art. 14.  A avaliação do PPA 2020-2023 consiste em processo sistemático, integrado e institucionalizado de análise das políticas públicas, com objetivo de aprimorar os programas e a qualidade do gasto público. Art. 15.  O Poder Executivo encaminhará anualmente ao Congresso Nacional Relatório Anual de Monitoramento do PPA 2020-2023 com o resultado do processo de monitoramento, que conterá: I - o comportamento das variáveis macroeconômicas que embasaram a elaboração do Plano Plurianual, explicitando as eventuais discrepâncias verificadas entre os valores previstos e os realizados; II - a situação, por programa finalístico, dos objetivos, das metas e dos indicadores; e III - demonstrativo da execução orçamentária e financeira dos investimentos plurianuais. Art. 16.  A Avaliação prevista no art. 14 desta Lei será realizada no âmbito do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP)[footnoteRef:35] e contemplará avaliações de políticas públicas financiadas por gastos diretos e subsídios da União, selecionadas anualmente a partir dos programas dispostos no Anexo I desta Lei. § 1º A escolha das políticas que constarão da lista anual de avaliações ocorrerá segundo critérios de materialidade, criticidade e relevância. § 2º O Poder Executivo dará publicidade, por meio de sítio eletrônico, sobre os montantes de recursos dos programas classificados em gasto direto ou em subsídio. § 3º O Poder Executivo encaminhará anualmente ao Congresso Nacional relatório contendo os resultados e as recomendações das avaliações. [35:  Segundo o Ministério da Economia: "A finalidade do CMAP é avaliar políticas públicas, através dos seus comitês: CMAS (políticas de subsídios) e CMAG (gastos diretos). Composto pelos Secretários-Executivos do Ministério da Economia, Casa Civil e CGU, o Conselho também monitora a implementação das alterações em políticas públicas que recomendar. Ao avaliar as políticas selecionadas anualmente, por critérios previamente determinados, a partir de Programas Finalísticos do Plano Plurianual Anual, representa a integração do ciclo orçamentário por meio da conexão entre a avaliação e o planejamento. Ademais, os resultados das avaliações e de suas recomendações darão informações e suporte ao restante do ciclo orçamentário, ou seja, ao controle e à execução financeira e orçamentária. Conheça mais sobre o Conselho, Comitês e atores do CMAP" (ME, 2019)] De acordo com o Referencial para Avaliação de Governança em Políticas Pública do TCU, o monitoramento e a avaliação das políticas públicas devem assegurar aprendizado e aperfeiçoamento contínuos, e, também, criar condições para que haja accountability, envolvendo as dimensões de transparência da ação pública e responsabilização perante a sociedade (BRASIL, 2014a).Controle aplicado à operação e monitoramento da políticaMonitoramento "é um processo contínuo, que acompanha o que está acontecendo com um determinado programa e usa os dados coletados para informar sobre sua implementação e fornecer subsídios para a gestão e tomada de decisões no dia a dia" (BANCO MUNDIAL, 2015, p.8).A análise operacional da política pública, sob a perspectiva do fiscalizador, consiste em verificar se a política pública opera de forma consistente, em conformidade com o que foi definido durante sua estruturação; se seu desempenho é satisfatório, em termos de eficiência e alcance de objetivos de curto prazo; bem como se há problemas de formulação e/ou implementação que precisam ser tempestivamente tratados.Assim, é necessário verificar inicialmente se o sistema de governança da política pública opera regularmente. Para tanto, deve-se analisar, se as partes envolvidas na política estão atuando conforme os papéis, competências e responsabilidades estabelecidos na estrutura, no sistema de governança e no ato normativo que institucionalizou a política.Além disso, é importante verificar se há efetiva coordenação e articulação das ações no âmbito da política pública, conforme estabelecido nos arranjos institucionais de integração e coordenação horizontal e vertical e no sistema de governança da política pública.  Cabe assim, analisar se os diversos órgãos, instituições e esferas de governo envolvidos na política, têm atuado de maneira coerente, integrada para promover a sinergia das ações, por meio de mecanismos de articulação, comunicação e colaboração, estabelecidos para alinhar estratégias e operações dessas organizações. Deve-se, portanto, buscar evidências de que os sistemas de governança vêm operando conforme estabelecido na concepção da política pública (BRASIL, 2014a; BRASIL, 2018a; Decreto 9203/2017).Outrossim, deve-se averiguar se há uma comunicação aberta, voluntária e transparente das atividades e dos resultados da política pública, com acesso público à informação, por meio de uma prestação de contas clara, periódica e formal sobre as operações e resultados alcançados pela política pública. Para isso, vale averiguar se foram publicadas, de maneira aberta e acessível ao público, prestação de contas periódica e formal sobre as operações e resultados alcançados pela política pública, atas de reuniões ou outros documentos, que evidenciem o funcionamento do sistema de governança da política pública (BRASIL, 2018a; VEDUNG, 2011).Outro procedimento de relevância é a busca por evidências de que o sistema de monitoramento e avaliação da política pública se encontra em plena operação. Para isso, é necessário verificar se há relatórios de monitoramento, acompanhamento de implementação e progresso, a fim de constatar se foi efetivamente implementado um plano de monitoramento e avaliação para acompanhar o progresso e o alcance das metas e objetivos estabelecidos para a política pública.Vale verificar também se o sistema de monitoramento implantado produz informações para subsidiar a tomada de decisão e disponibiliza dados abertos e confiáveis para viabilizar a participação social e das partes interessadas. Ou seja, deve haver uma comunicação regular, às principais partes interessadas e à sociedade, sobre o progresso e andamento das operações da política, mediante relatórios de acompanhamento de sua implementação.Outro ponto de verificação se refere à implementação e utilização de canais para recebimento de críticas e de denúncias das irregularidades encontradas pelos cidadãos.Além disso, é importante verificar se há um exame contínuo e programado para acompanhar os processos, produtos, resultados e impactos das ações realizadas, de modo a promover a retroalimentação e aperfeiçoamento da política pública, conforme estabelecido no cronograma de atividades de monitoramento e avaliação (BRASIL, 2018; Acórdão 2.359/2018-TCU-Plenário).Vale averiguar também se foi implementado um sistema de monitoramento com a integração de dados em uma mesma plataforma de atividades (articuladas, sistemáticas e formalizadas) para produção, registro, acompanhamento e análise crítica de informações geradas na gestão da política pública e de seus produtos e serviços. Além disso, deve ser observado se o mecanismo de monitoramento que foi implementado, utiliza efetivamente indicadores para acompanhar a evolução e o cumprimento das metas, mensurar os resultados periódicos e o alcance dos objetivos estabelecidos para a política pública (BRASIL, 2016; MADEIRA et al, 2013).Outra verificação que deve ser realizada é se os processos de trabalho e serviços necessários à execução da política pública foram implementados e estão operando conforme definidos, modelados e documentados nos normativos, manuais de implementação, mapa de processos e planos operacionais estabelecidos para a política pública. Assim, deve-se observar se foi implementado um conjunto estruturado de atividades sequenciais relacionadas aos processos de trabalho que corroboram para a execução da política. Além disso, cabe averiguar se os produtos e serviços definidos para cada processo estão sendo gerados, de maneira a viabilizar os resultados projetados. Também vale verificar se os cronogramas que detalham os marcos e prazos previstos para a execução dos processos de trabalho estão sendo atendidos. Ou seja, segundo o Acórdão 2.359/2018-TCU-Plenário, é importante que exista e tenha sido implementado um plano de gerenciamento de processos de trabalho para apoiar execução da política pública.Cabe ainda verificar se a execução do plano de implementação da política é controlada e gerenciada. Para tanto, deve-se verificar se os objetivos, os indicadores e as metas da política são gerenciados. Vale também analisar se foram implementados mecanismos de acompanhamento para verificar se as ações implementadas estão em linha com os objetivos e as regras estabelecidas para a política pública, conforme estabelecido nos normativos, diretrizes para implementação e plano de gerenciamento da política pública. Além disso, é fundamental que sejam elaborados e haja divulgação de relatórios de progresso e resultados de medições de desempenho da política pública (PMI, 2013).Pode também ser verificado se foi realizada uma análise de variação relativa aos objetivos e metas estabelecidos para a política e se há a implementação de ações corretivas para tratar os problemas identificados. Ou seja, se há um acompanhamento efetivo da política pública, que forneça meios para se reconhecer a variação ou desvio em relação ao que foi planejado, a fim de tomar medidas corretivas e preventivas, minimizando assim o risco (PMI, 2013).Outro aspecto que deve ser analisado é se os recursos alocados à política são gerenciados e se os custos da política também são efetivamente gerenciados, por meio do controle dos custos dos recursos necessários para completar as atividades necessárias à execução da política. Ou seja, é importante verificar se está havendo um controle para que os custos relativos aos desembolsos não excedam os recursos financeiros autorizados, no período, dentro do orçamento destinado à execução da política pública e se os excessos de custos não previstos estão sendo levados para dentro dos limites aceitáveis. Isso significa que deve haver efetivo gerenciamento dos custos da política pública por meio de planejamento, estimativas, orçamentos, financiamentos, gestão e controle dos custos; de modo que a política possa ser executada dentro do orçamento aprovado. Outro procedimento que pode ser realizado é a verificação quanto à existência de controle dos custos por meio do monitoramento do andamento da política para atualização no seu orçamento e gerenciamento das mudanças feitas na linha de base dos custos estimados (PMI, 2013).Em relação ao gerenciamento dos riscos, deve-se verificar se os riscos chaves da política foram identificados, avaliados e documentados na fase de formulação e operacionalização da política pública, a partir da existência de documentos, como por exemplo, matriz SWOT, diagrama de verificação de riscos e matriz de avaliação de riscos. Ou seja, deve ser verificado se foi avaliada a probabilidade e a estimativa do impacto dos riscos nos resultados da política pública. Além disso, é importante verificar se foram implementados mecanismos de controle para mitigar os riscos identificados. Também vale averiguar se esses controles internos são gerenciados, por meio da identificação de deficiências e realização dos devidos ajustes, quando da ausência de algum controle necessário, da deficiência no projeto ou implementação do controle ou quando do controle executado por pessoa sem competência ou autoridade necessária. Em suma, é necessário verificar se os controles definidos foram devidamente aplicados, quando necessário, durante a operacionalização da política pública (BRASIL, 2014a; NAO, 2018; NAO, 2019).Por fim, para verificar se o processo de avaliação está sendo executado e contempla os elementos mínimos necessários, o auditor deve buscar evidências de que a política pública é avaliada periodicamente.Assim, deve ser verificado se há relatórios de avaliação da política pública, que contenham análises quanto à eficiência dos processos, com objetivo de verificar em que medida a política pública está sendo implementada como previsto, está alcançando o público para o qual foi concebida e está distribuindo os benefícios previstos. Faz-se necessário ainda averiguar se a avaliação da eficiência operacional e alocativa é realizada periodicamente, para verificar em que medida a quantidade de insumos, recursos e atividades utilizados para implementação da política pública está sendo otimizada na sua transformação em produtos e resultados. Por fim, vale constatar também se a avaliação da eficiência do uso racional de recursos é realizada periodicamente, para verificar em que medida houve uma utilização razoável dos insumos, recursos e atividades necessários para implementação da política pública em relação ao nível de produtos e resultados obtidos.Outro aspecto a ser averiguado é se a eficácia da política é avaliada sistematicamente. Assim, deve-se buscar, nos relatórios de avaliação da política pública existentes, análises realizadas quanto ao alcance de metas de produtos (bens e serviços), para verificar em que medida a política pública apresentou resultados imediatos que atingiram ou superaram as metas estabelecidas. Ou seja, deve-se buscar evidências de que são realizadas sistematicamente avaliações quanto às entregas previstas, com o objetivo de verificar se as metas de entrega de produtos estabelecidas pela política pública estão sendo alcançadas. Também é importante levantar informações acerca de avaliações realizadas, que tenham verificado em que medida a política é executada conforme o seu desenho. Ou ainda se há avaliações que tenham verificado se os elos entre os insumos, os processos e os produtos estão condizentes com o esperado, ou se podem ser aprimorados.Questões de auditoriaPara avaliar a maturidade da política pública no que concerne à operação e ao monitoramento, o auditor deve responder às seguintes questões:  O desempenho operacional da política pública é satisfatório?      Os recursos (p. ex. humanos, materiais, orçamentários, financeiros) necessários para a implementação da política têm sido disponibilizados e utilizados de forma satisfatória?      A eficiência (alocativa, operacional e econômica) da política pública apresenta desempenho satisfatório?       Os produtos e serviços oferecidos por meio da política pública, atendem aos critérios de qualidade estabelecidos?      Os objetivos e resultados de curto prazo da política pública estão sendo alcançados?      Os resultados das avaliações de desempenho são reportados e utilizados?Itens de verificaçãoNo que concerne à operação e ao monitoramento da política pública, para responder às questões de auditoria, deve-se verificar os seguintes itens. Quadro 7: Itens de verificação: operação e monitoramento da política públicaQuestãoSubquestões de auditoria e itens de verificação9. O desempenho operacional da política pública é satisfatório?9.1. Os recursos (p. ex. humanos, materiais, orçamentários, financeiros) necessários para a implementação da política têm sido disponibilizados e utilizados de forma satisfatória?              9.1.1. Os recursos necessários à implementação da política foram disponibilizados em quantidade suficiente, frente aos parâmetros estabelecidos?9.1.2. Os recursos necessários à implementação da política foram disponibilizados com qualidade adequada, frente aos parâmetros estabelecidos?9.1.3. Houve integração ou compartilhamento de estruturas, processos, sistemas, dados e recursos estatais? (eficiência de escala)9.1.4. Os processos e serviços, por meio dos quais a política é implementada, foram otimizados (simplificados e digitalizados) de modo melhorar seu desempenho e evitar a ocorrência de fraudes e disfunções burocráticas?(eficiência técnica)9.1.5. Está se obtendo o máximo de resultado dos recursos alocados ¿ em termos quantitativos e qualitativos? (produtividade) 9.2. A eficiência (alocativa, operacional e econômica) da política pública apresenta desempenho satisfatório?9.2.1. Quando comparada a alternativas de tratamento do problema público, a política apresenta boa relação custo-efetividade?9.2.2. Os custos de operação da política são razoáveis frente aos seus benefícios potenciais? (custo-benefício)9.2.3. Os gastos com a política se justificam frente ao seu valor público? (custo-utilidade)9.2.4. A política possui nível satisfatório de eficiência operacional?9.2.5. O custo dos recursos utilizados se aproxima do montante mínimo necessário para atingir os resultados esperados? (economicidade) 9.3. Os produtos e serviços oferecidos por meio da política pública, atendem aos critérios de qualidade estabelecidos?9.3.1. A Carta de Serviços ao Usuário traz informações claras e precisas em relação a cada um dos serviços ofertados por meio da política pública, apresentando, no mínimo, informações relacionadas a: (i) serviços oferecidos; (ii) compromissos e padrões de qualidade; (iii) requisitos, documentos, formas e informações necessárias para acessar o serviço; (iv) principais etapas para processamento do serviço; (v) previsão do prazo máximo para a prestação do serviço; (vi) forma de prestação do serviço; e (vii) locais e formas para o usuário apresentar eventual manifestação sobre a prestação do serviço?9.3.2. Foram reduzidas, ao mínimo necessário, as formalidades e exigências na prestação de serviços relacionados à política pública?9.3.3. As bases de dados consideradas essenciais, para prestação segura e eficiente dos serviços relacionados à política pública, foram integradas?9.3.4. Os produtos e serviços ofertados por meio da política atendem aos níveis de serviço estabelecidos e aos padrões de qualidade aplicáveis?9.3.5. Os beneficiários dos produtos e usuários dos serviços prestados por meio da política pública estão satisfeitos com a sua qualidade? 9.4. Os objetivos e resultados de curto prazo da política pública estão sendo alcançados?9.4.1. São realizadas avaliações periódicas do alcance de objetivos e resultados de curto prazo?9.4.2. A prestação de contas contém dados acerca do desempenho dos objetivos, indicadores e metas de curto prazo? (prestação de contas)9.4.3. Objetivos e metas anuais de desempenho foram alcançados? (eficácia)9.4.4. Em havendo divergência entre o valor previsto e realizado, foram apresentados os motivos que levaram a essa distorção e explicitadas as ações mitigadoras tomadas e/ou necessárias? (motivação e transparência)9.4.5. Informações sobre o desempenho de indicadores e alcance de metas e objetivos de curto prazo foram publicadas em padrão aberto? (transparência) 9.5. Os resultados das avaliações de desempenho são reportados e utilizados?9.5.1. Informações sobre o desempenho da política são publicados na prestação de contas e/ou em relatórios gerenciais?9.5.2. Há uma página na internet e/ou um painel de informações por meio do qual seja possível monitorar o desempenho da política?9.5.3. Os resultados das avaliações orientam o processo decisório?9.5.4. Os resultados das avaliações são publicados em formato acessível ao cidadão e, também, em padrão aberto?  Aqui cabe ressaltar que, conforme ISSAI 3100, uma auditoria operacional comumente contempla apenas um dos aspectos de desempenho, uma vez que tais avaliações podem ser demoradas e exigir conhecimento e métodos especializados, como por exemplo: análise envoltória de dados e avaliações de custo-benefício, custo-efetividade e custo-utilidade. No entanto, conforme a ISSAI, não é recomendável examinar aspectos de economicidade, eficiência ou efetividade de atividades em total isolamento. Por esse motivo, recomenda-se que as equipes de auditoria utilizem análises baseadas em risco para delimitar o escopo das auditorias operacionais, bem como que adaptem e complementem os itens de verificação à luz das características do objeto de controle.Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange à operação e ao monitoramento da política pública, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice VI.1;· a consulta à proposta de quadro-resumo, constante do Apêndice VI.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice VI.3Photo credit: Visual Hunt2.10 Avaliação da política públicaAs avaliações são análises periódicas e objetivas acerca da concepção, da implementação ou resultado de políticas públicas, projetos ou programas planejados, em andamento ou concluídos (BANCO MUNDIAL, 2015).As avaliações ex ante, ou diagnósticas, contribuem para o dimensionamento de demandas públicas; identificação de problemas sociais e públicos potenciais; bem como para legitimação da entrada de novos temas na agenda governamental e subsídio ao desenho de intervenções públicas. No âmbito deste referencial essas avaliações foram tratadas nos blocos de controle da etapa de formulação de políticas.As avaliações in itinire, ou de implementação, contribuem para a gestão problemas e riscos críticos, a otimização de operações e de custos associados, o aumento da qualidade de serviços e produtos ofertados, bem como para o aprimoramento da política pública. No contexto deste referencial essas avaliações foram tratadas nos blocos de controle associados à etapa de implementação.As avaliações ex post, por sua vez, são instrumentos importantes para medição dos efeitos concretos das políticas públicas, permitindo avaliar seu mérito no que tange à sua relevância, utilidade, resultados, impactos e sustentabilidade e, com isto, trazer transparência quanto à qualidade e ao valor público do gasto, bem como orientar decisões acerca da viabilidade e necessidade de se continuar, otimizar ou extinguir a política pública. No contexto deste referencial as avaliações ex post são o foco deste bloco de controle.Avaliação, em conceito clássico, é entendida como um processo ou etapa final por que passa ou deve passar uma política pública, de modo a prover a necessária transparência da ação pública (HOWLETT et al, 2013), também é vista como um "conjunto de procedimentos para julgamento do mérito de um programa, a partir de evidências da contribuição marginal atribuível na mitigação de problemáticas que motivaram sua formulação, para fins de decisão orçamentária de continuidade, expansão ou término do mesmo" (GERTLER et al, 2015).O monitoramento e a avaliação estão no cerne da formulação de políticas baseadas em evidências. Eles fornecem um núcleo básico de ferramentas que as partes interessadas podem usar para verificar e melhorar a qualidade, eficácia e efetividade das políticas e dos programas nas várias etapas da implementação - ou, em outras palavras, para focar em resultados. No nível da gestão do programa, é necessário compreender quais as opções de desenho de programas que são mais custo-efetivos ou demonstrar, junto aos tomadores de decisões, que os programas estão atingindo os resultados pretendidos de forma a obter alocações orçamentárias para mantê-los ou expandi-los. No nível nacional, os ministérios competem por recursos orçamentários. Ao fim e ao cabo, os governos são responsáveis por prestar contas a seus cidadãos sobre o desempenho dos programas públicos. As evidências podem constituir uma base sólida para a promoção da transparência e da prestação de contas (BANCO MUNDIAL, 2018)Conforme preconizado na legislação brasileira e em boas práticas nacionais e internacionais, há sete tipos comuns de avaliação de políticas públicas: avaliação de eficiência, avaliação de eficácia, avaliação de efetividade, avaliação de economicidade, avaliação de impacto, avaliação de sustentabilidade[footnoteRef:36] e meta-avaliação. O GUID 9020, da Intosai, complementa essa lista com dois tipos adicionais: a avaliação de relevância e avaliação de utilidade.  [36:  Tendo como referência princípios e valores públicos lastreados na experiência europeia de constituição de Sistemas de Políticas Públicas universais e inclusivos, essa proposta foi formulada por um comitê de especialistas em 1991, reunidos sob os auspícios da OCDE. Esse comitê propôs um marco referencial conciso, universal e adaptável nos estudos avaliativos então em forte ascensão pelo mundo. Segundo a proposta, a avaliação de projetos sociais, programas e políticas públicas deveria considerar pelo menos cinco dimensões analíticas ou valorativas: Eficácia, Efetividade, Eficiência, Relevância e Sustentabilidade (OCDE, 1991; PNUD, 2009)] Fonte: Adaptado do Manual de Auditoria de Resultados do Tribunal de Contas EuropeuEnquanto a avaliação de relevância verifica a adequação dos objetivos da política em relação às necessidades sociais, econômicas ou ambientais que ela propôs enfrentar (INTOSAI, 2019), A avaliação de utilidade, busca saber se a política valeu a pena, considerando todos os seus efeitos diretos (resultados) e indiretos (impactos), mesmo não previstos e esperados, de um lado, e as necessidades que a política propôs enfrentar de outro (INTOSAI, 2019).A utilidade está, portanto, ligada ao conceito de valor público, isto é, ao conjunto de produtos e resultados gerados, preservados ou entregues pelas atividades de uma organização pública, que representem respostas efetivas e úteis às necessidades ou demandas de interesse público e que modifiquem certos aspectos do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos (SERRA, 2008; TCU, 2017).Note que existe uma forte relação entre a avaliação de utilidade e as avaliações de efetividade e impacto. A diferença básica entre elas consiste no fato de que, enquanto as avaliações de efetividade e impacto miram, respectivamente, na aferição dos resultados das intervenções públicas e avaliação dos efeitos (esperados ou não) da ação governamental, a avaliação de utilidade se preocupa com o valor público da política no que concerne ao efetivo atendimento de necessidade e  demandas sociais.A efetividade se refere, portanto, à relação entre os resultados, direta ou indiretamente atribuíveis a uma intervenção pública, em termos de efeitos de médio e longo prazo sobre a população-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalísticos da intervenção (BRASIL, 2020). Ou seja, a efetividade corresponderia à alteração da realidade anterior à implementação da política pública que pode ser observada. Seria a alteração dos problemas tratados pela política pública.Trata-se de verificar a ocorrência de mudanças na população-alvo que se poderia razoavelmente atribuir às ações do programa avaliado (COHEN; FRANCO, 1993; BRASIL, 2020 apud TCU, 2020)Ao examinar a efetividade de uma intervenção governamental, pretende-se ir além do cumprimento de objetivos imediatos ou específicos, em geral consubstanciados em metas de produção ou de atendimento (exame da eficácia da gestão). Trata-se de verificar se os resultados observados foram realmente causados pelas ações desenvolvidas e não por outros fatores (GUID 3910/42, 2019). A avaliação da efetividade pressupõe que bens e/ou serviços foram ofertados de acordo com o previsto. O exame da efetividade ou avaliação de impacto requer tratamento metodológico específico que busca estabelecer a relação de causalidade entre as variáveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa não existisse. (TCU, 2020)O enfoque na atribuição do resultado é o selo distintivo das avaliações de impacto, cujo desafio central consiste em identificar a relação causal entre a política ou programa e os resultados de interesse. De acordo com o Banco Mundial (2018), avaliações de impacto são um tipo particular de avaliação que procura responder a uma pergunta específica de causa e efeito: qual é o impacto (ou efeito causal) de um programa sobre um resultado de interesse? Trata-se, portanto, de uma avaliação que busca estimar mudanças no bem-estar dos indivíduos que podem ser diretamente atribuídas a uma política pública ou programa específico.O foco na causalidade e na atribuição é a marca das avaliações de impacto. Todos os métodos de avaliação de impacto tratam de alguma forma de questão de causa e efeito. A abordagem da questão da causalidade determina as metodologias que podem ser usadas. Para poder estimar o efeito causal ou o impacto de um programa nos resultados, qualquer método de avaliação de impacto escolhido deve estimar o chamado contrafactual, ou seja, qual teria sido o resultado para os participantes do programa se eles não tivessem participado no programa. Na prática, a avaliação de impacto exige que a equipe de avaliação encontre um grupo de comparação para estimar o que teria acontecido aos participantes do programa sem o programa e, em seguida, faça comparações com o grupo de tratamento que recebeu o programa (BANCO MUNDIAL, 2018, p.9)Em um contexto no qual os formuladores de políticas e a sociedade civil exigem resultados e cobram prestação de contas dos programas públicos, a avaliação de impacto pode oferecer evidências críveis e robustas quanto ao desempenho e, fundamentalmente, quanto a saber se um programa específico atingiu ou está atingindo os resultados desejados. As avaliações de impacto também estão progressivamente sendo usadas para testar inovações na concepção de programas ou na prestação de serviços. Em nível global, as avaliações de impacto são fundamentais para a construção de conhecimento sobre a efetividade dos programas, pois esclarecem o que funciona e o que não funciona na redução da pobreza e na promoção do bem-estar (BANCO MUNDIAL, 2018, p.4)A Sustentabilidade, por sua vez, está associada à ideia de continuidade, isto é, à capacidade de execução e produção de efeitos por longo período. Segundo a Organização das Nações Unidas (ONU), desenvolvimento sustentável é definido como "aquele que satisfaz as necessidades presentes, sem comprometer a capacidade das gerações futuras de suprir suas próprias necessidades".Boas práticasSão boas práticas de avaliação de políticas públicas:a) avaliar a relevância e a utilidade da política pública, ou seja, verificar se os objetivos e as ações governamentais respondem às necessidades dos beneficiários (diretos e indiretos); ao contexto político, econômico, social e ambiental nacional e internacional; bem como se essa resposta continuará a ocorrer se as circunstâncias mudarem;b) avaliar a coerência da ação governamental, isto é, identificar possíveis fragmentações, duplicidades, sobreposições e lacunas no conjunto de ações governamentais e avaliar a compatibilidade da política com outras intervenções em curso;c)  avaliar a eficácia e efetividade da política, ou seja, aferir se os objetivos de médio e longo prazo da intervenção foram alcançados e se os resultados esperados da ação governamental foram produzidos;d) avaliar os impactos da política, isto é, verificar se as intervenções públicas produziram efeitos (positivos ou negativos) significativos, intencionais ou não;e) avaliar a sustentabilidade da política, ou seja, estimar em que medida os benefícios da política continuarão a existir.Critérios gerais de auditoriaSegundo inciso II do art. 2º do Decreto 9.203/2017 considera-se valor público o conjunto dos "produtos e resultados gerados, preservados ou entregues elas atividades de uma organização que representem respostas efetivas e úteis às necessidades ou às demandas de interesse público e modifiquem aspectos do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos". Segundo inciso I do 4º do mesmo instrumento, são diretrizes da governança pública direcionar ações para a busca de resultados para a sociedade, encontrando soluções tempestivas e inovadoras para lidar com a limitação de recursos e com as mudanças de prioridades.De acordo com os artigos 74 e 75 da Constituição Federal de 1988:Art. 74. Os Poderes Legislativo, Executivo e Judiciário manterão, de forma integrada, sistema de controle interno com a finalidade de:I - avaliar o cumprimento das metas previstas no plano plurianual, a execução dos programas de governo e dos orçamentos da União;II - comprovar a legalidade e avaliar os resultados, quanto à eficácia e eficiência, da gestão orçamentária, financeira e patrimonial nos órgãos e entidades da administração federal, bem como da aplicação de recursos públicos por entidades de direito privado;III - exercer o controle das operações de crédito, avais e garantias, bem como dos direitos e haveres da União;IV - apoiar o controle externo no exercício de sua missão institucional.§ 1º  Os responsáveis pelo controle interno, ao tomarem conhecimento de qualquer irregularidade ou ilegalidade, dela darão ciência ao Tribunal de Contas da União, sob pena de responsabilidade solidária.§ 2º  Qualquer cidadão, partido político, associação ou sindicato é parte legítima para, na forma da lei, denunciar irregularidades ou ilegalidades perante o Tribunal de Contas da União.Conforme preconizado no art. 21 da Lei 10.180/2001, o sistema de controle interno, composto pela Secretaria Federal de Controle Interno (como órgão central) e pelos órgãos setoriais, é responsável pelas atividades de avaliação do cumprimento das metas previstas no plano plurianual, da execução dos programas de governo e dos orçamentos da União e de avaliação da gestão dos administradores públicos federais, utilizando como instrumentos a auditoria e a fiscalização.Art. 24. Compete aos órgãos e às unidades do Sistema de Controle Interno do Poder Executivo Federal:I - avaliar o cumprimento das metas estabelecidas no plano plurianual;II - fiscalizar e avaliar a execução dos programas de governo, inclusive ações descentralizadas realizadas à conta de recursos oriundos dos Orçamentos da União, quanto ao nível de execução das metas e objetivos estabelecidos e à qualidade do gerenciamento;III - avaliar a execução dos orçamentos da União;IV - exercer o controle das operações de crédito, avais, garantias, direitos e haveres da União;V - fornecer informações sobre a situação físico-financeira dos projetos e das atividades constantes dos orçamentos da União;VI - realizar auditoria sobre a gestão dos recursos públicos federais sob a responsabilidade de órgãos e entidades públicos e privados;VII - apurar os atos ou fatos inquinados de ilegais ou irregulares, praticados por agentes públicos ou privados, na utilização de recursos públicos federais e, quando for o caso, comunicar à unidade responsável pela contabilidade para as providências cabíveis;VIII - realizar auditorias nos sistemas contábil, financeiro, orçamentário, de pessoal e demais sistemas administrativos e operacionais;IX - avaliar o desempenho da auditoria interna das entidades da administração indireta federal;X - elaborar a Prestação de Contas Anual do Presidente da República a ser encaminhada ao Congresso Nacional, nos termos do art. 84, inciso XXIV, da Constituição Federal;XI - criar condições para o exercício do controle social sobre os programas contemplados com recursos oriundos dos orçamentos da União.Conforme art. 8º da Instrução normativa TCU 84/2020, de 22/4/2020, integram a prestação de contas das Unidades Prestadoras de Contas (UPC):I - informações sobre:a) os objetivos, as metas, os indicadores de desempenho definidos para o exercício e os resultados por eles alcançados, sua vinculação aos objetivos estratégicos e à missão da UPC, e, se for o caso, ao Plano Plurianual, aos planos nacionais e setoriais do governo e dos órgãos de governança superior;b) o valor público em termos de produtos e resultados gerados, preservados ou entregues no exercício, e a capacidade de continuidade em exercícios futuros;c) as principais ações de supervisão, controle e de correição adotadas pela UPC para a garantia da legalidade, legitimidade, economicidade e transparência na aplicação dos recursos públicos;d) a estrutura organizacional, competências, legislação aplicável, principais cargos e seus ocupantes, endereço e telefones das unidades, horários de atendimento ao público;e) os programas, projetos, ações, obras e atividades, com indicação da unidade responsável, principais metas e resultados e, quando existentes, indicadores de resultado e impacto, com indicação dos valores alcançados no período e acumulado no exercício;f) os repasses ou as transferências de recursos financeiros;g) a execução orçamentária e financeira detalhada;h) as licitações realizadas e em andamento, por modalidade, com editais, anexos e resultados, além dos contratos firmados e notas de empenho emitidas;i) a remuneração e o subsídio recebidos por ocupante de cargo, posto, graduação, função e emprego público, incluídos os auxílios, as ajudas de custo, os jetons e outras vantagens pecuniárias, além dos proventos de aposentadoria e das pensões daqueles servidores e empregados públicos ativos, inativos e pensionistas, de maneira individualizada; ej) o contato da autoridade de monitoramento, designada nos termos do art. 40 da Lei 12.527, de 2011, e telefone e correio eletrônico do Serviço de Informações ao Cidadão (SIC);Conforme seção II do capítulo IV da Lei 13.971/2019, que institui o Plano Plurianual da União para o período de 2020 a 2023:Art. 13.  O monitoramento do PPA 2020-2023 abrangerá seus programas e as ações orçamentárias e não orçamentárias a eles vinculadas, conforme regulamento.Parágrafo único. Sem prejuízo do disposto no caput¸ o Poder Executivo publicará em portal eletrônico dados estruturados e informações sobre a implementação e o acompanhamento do PPA 2020-2023Art. 14.  A avaliação do PPA 2020-2023 consiste em processo sistemático, integrado e institucionalizado de análise das políticas públicas, com objetivo de aprimorar os programas e a qualidade do gasto público.Art. 15.  O Poder Executivo encaminhará anualmente ao Congresso Nacional Relatório Anual de Monitoramento do PPA 2020-2023 com o resultado do processo de monitoramento, que conterá:I - o comportamento das variáveis macroeconômicas que embasaram a elaboração do Plano Plurianual, explicitando as eventuais discrepâncias verificadas entre os valores previstos e os realizados;II - a situação, por programa finalístico, dos objetivos, das metas e dos indicadores; eIII - demonstrativo da execução orçamentária e financeira dos investimentos plurianuais.Art. 16.  A Avaliação prevista no art. 14 desta Lei será realizada no âmbito do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) e contemplará avaliações de políticas públicas financiadas por gastos diretos e subsídios da União, selecionadas anualmente a partir dos programas dispostos no Anexo I desta Lei.§ 1º  A escolha das políticas que constarão da lista anual de avaliações  ocorrerá segundo critérios de materialidade, criticidade e relevância.§ 2º  O Poder Executivo dará publicidade, por meio de sítio eletrônico, sobre os montantes de recursos dos programas classificados em gasto direto ou em subsídio.§ 3º  O Poder Executivo encaminhará anualmente ao Congresso Nacional relatório contendo os resultados e as recomendações das avaliações.Conforme arts. 1º e 2º do Decreto 9.834/2019, que instituiu o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) com a finalidade de "avaliar as políticas públicas selecionadas, que são financiadas por gastos diretos ou subsídios da União; e monitorar a implementação das propostas de alteração das políticas públicas resultantes da avaliação, em consonância com as boas práticas de governança" compete a ele:I - aprovar critérios para a seleção de políticas públicas financiadas pela União a serem avaliadas, observados os aspectos de materialidade, criticidade e relevância, dentre outros;II - aprovar: a) a lista anual de políticas públicas a serem avaliadas e suas alterações, que será elaborada segundo os critérios de que trata o inciso I do caput; e b) o cronograma de avaliação;III - comunicar aos Ministros de Estado dos órgãos de que trata o art. 3º e ao Comitê Interministerial de Governança, instituído pelo Decreto nº 9.203, de 22 de novembro de 2017, a relação de políticas públicas financiadas pela União que serão objeto de avaliação e o resultado das avaliações e das recomendações;IV - encaminhar aos Ministros de Estado dos órgãos que integram o Conselho de Monitoramento e Avaliação de Políticas Públicas, quando couber, propostas de alteração das políticas públicas avaliadas;V - instituir mecanismos de transparência que permitam a disseminação das atividades e dos processos do Conselho, com ampla divulgação das avaliações e das recomendações, inclusive em sítios eletrônicos; eVI - editar os atos necessários ao exercício de suas competências.Conforme art. 5º do Decreto 9.834/2019, caberá aos Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas:I - elaborar e submeter à aprovação do Conselho de Monitoramento e Avaliação de Políticas Públicas:a) os critérios para a seleção de políticas públicas a serem avaliadas;b) a lista anual de políticas públicas a serem avaliadas, segundo os critérios estabelecidos, e o cronograma de avaliação;c) os referenciais de metodologias de avaliação das políticas públicas;d) as recomendações de critérios técnicos para a elaboração de estudos de viabilidade de propostas de políticas públicas aos órgãos gestores; ee) as propostas de alteração das políticas públicas avaliadas;II - avaliar as políticas públicas selecionadas e monitorar a implementação das propostas resultantes da avaliação, com a colaboração dos órgãos gestores dessas políticas ou em parceria com as entidades públicas ou privadas;III - solicitar aos órgãos gestores as informações sobre políticas públicas, em especial, aquelas necessárias à avaliação e ao monitoramento;IV - consolidar as informações de que trata o inciso III do caput;V - assegurar a transparência ativa de seus atos;VI - divulgar aos órgãos gestores os referenciais de metodologias e os critérios aprovados pelo Conselho de Monitoramento e Avaliação de Políticas Públicas; eVII - editar os atos necessários ao exercício de suas competências.§ 1º  Os Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas poderão convidar, sempre que necessário ao exercício de suas competências, representantes dos órgãos gestores de políticas públicas, de entidades representativas de segmentos de atividade e de especialistas com notório saber.§ 2º  Os estudos e as avaliações poderão ser realizados por pesquisadores e representantes de outros órgãos e entidades, públicas ou privadas, com notório saber, nos termos estabelecidos pelos Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas, desde que sem ônus para a União.§ 3º  A Fundação Escola Nacional de Administração Pública - Enap, o Instituto de Pesquisa Econômica Aplicada - Ipea e a Fundação Instituto Brasileiro de Geografia e Estatística - IBGE apoiarão, no âmbito de suas competências, o desenvolvimento das atividades de avaliação e de pesquisa dos Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas.§ 4º  Os órgãos e as entidades da administração pública federal responsáveis pela gestão de políticas públicas disponibilizarão aos Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas, sempre que solicitadas, as informações necessárias para o exercício de suas competências.§ 5º  Os Comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas poderão instituir grupos técnicos temporários com a finalidade de auxiliar no exercício das competências previstas neste Decreto.§ 6º  As informações produzidas e as proposições elaboradas no âmbito dos Comitês serão encaminhadas ao Conselho de Monitoramento e Avaliação de Políticas Públicas e, sempre que possível, serão integradas ao ciclo de gestão de finanças públicas, em particular, aos processos de planejamento e orçamento do Governo federal.Controle aplicado à avaliação de políticas públicasA avaliação de resultados e impactos da política pública, sob a perspectiva do fiscalizador, consiste em verificar se foram realizadas avaliações e se os resultados destas demonstram o valor público da política e orientam os decisores acerca da necessidade se sua continuidade, otimização ou extinção.Para isso convém verificar se a política está alinhada com as demandas da população afetada pelas intervenções e com as prioridades governamentais, isto é, se os objetivos e metas da política continuam válidos e se os benefícios, produtos e serviços ofertados são coerentes com os objetivos e metas estabelecidos e com os impactos e efeitos esperados.Também é importante verificar se a política é coerente com outras intervenções públicas em curso, ou seja, se ela afeta ou é afetada por outras intervenções e se elas cooperam positivamente para o atendimento das demandas e prioridades da população afetada.No que tange aos resultados da ação governamental, há que se avaliar se os objetivos e metas da política foram alcançados e se eventuais divergências nos resultados foram explicitadas e tratadas.No que concerne aos impactos das intervenções públicas, é importante identificar quais foram seus efeitos (positivos e negativos, esperados e não esperados) sobre os beneficiários da política, bem como verificar se esses efeitos coadunam com os objetivos e resultados esperados da ação governamental. Aqui cabe ressaltar a importância de a avaliação estar alinhada com as hipóteses/causalidades desenhadas na etapa de formulação.Também é fundamental checar se os resultados e efeitos produzidos são sustentáveis, isto é, se os benefícios produzidos continuarão a existir se a política for continuada ou interrompida.Por fim, considerando que essas avaliações podem conter distorções, sejam nas premissas, processos ou dados utilizados. é importante realizar, periodicamente, meta-avaliações[footnoteRef:37], que nada mais são do que "avaliações de avaliações", as quais, segundo Scriven (2018), podem ser realizadas por meio da aplicação listas de verificação específica acerca de aspectos como: [37:  A meta-avaliação pode e deve ser feita primeiramente por um avaliador acerca de seu próprio trabalho; embora a credibilidade desta seja pequena, os resultados constituem ganhos consideráveis em termos de validade (SCRIVEN, 2018)] a) descrição (equipe, cronograma, fontes de dados);b) antecedentes (solicitante, opositores, avaliações anteriores);c) consumidor (público alvo da avaliação);d) recursos (recursos para avaliação, restrições);e) valores (critérios de mérito, relevância, custo-eficácia, validade);f) processos (forma de execução, confidencialidade, credibilidade);g) resultados (relatórios, efeitos positivos e negativos);h) custos (custo da avaliação e potencial custo da não realização);i) comparações (com alternativas de avaliação e com seu contrafactual);j) generabilidade (possibilidade de uso em situações futuras, em outros programas ou localidades);k) significância (leitura do valor e mérito da avaliação);l) recomendações (podem ou não resultar da avaliação orientações quanto a sua rejeição, aceitação, repetição ou implementação); em) relatório (produzido pelo meta-avaliador).Questões de auditoriaPara avaliar a maturidade da política pública no que concerne à avaliação, o auditor deve responder às seguintes questões:        Os resultados e impactos da política pública são satisfatórios? A política está alinhada com as demandas da população afetada pelas intervenções e com as prioridades governamentais? A política é coerente internamente e com outras intervenções públicas em curso? Objetivos e metas da ação governamental foram alcançados? A política produziu os resultados esperados? Os efeitos da ação governamental são sustentáveis?Itens de verificaçãoNo que concerne à avaliação, para responder às questões de auditoria, deve-se verificar os seguintes itens.Quadro 8: Itens de verificação: operação e monitoramento da política públicaQuestãoSubquestões de auditoria e itens de verificação10. Os resultados e impactos da política pública são satisfatórios?10.1. A política está alinhada com as demandas da população afetada pelas intervenções e com as prioridades governamentais? (relevância e utilidade)10.1.1. Os objetivos e metas da política continuam válidos?10.1.2. Os produtos, serviços e resultados gerados, preservados ou entregues pela política são coerentes com os objetivos e metas estabelecidos?10.1.3. Os produtos, serviços e resultados gerados, preservados ou entregues pela política são coerentes com os impactos e efeitos esperados?10.1.4. Os critérios de elegibilidade e priorização dos beneficiários foram observados e são coerentes com impactos e efeitos esperados da política?10.1.5. Os produtos, serviços e resultados foram efetivamente entregues ao público-alvo da política?10.1.6. Os produtos, serviços e resultados gerados, preservados ou entregues pela política atendem às necessidades e demandas de seu público-alvo? 10.2. A política é coerente internamente e com outras intervenções públicas em curso? (coerência)10.2.1. A política afeta ou é afetada por outras interversões?10.2.2. As intervenções concorrentes cooperam, mútua e positivamente, para o atendimento das demandas e prioridades da população afetada?10.2.3. As intervenções concorrentes são coordenadas e coerentes entre si, conduzindo aos resultados almejados sem fragmentação, duplicidade ou sobreposição? 10.3. Objetivos e metas da ação governamental foram alcançados? (eficácia)10.3.1. A prestação de contas contém dados acerca do alcance de objetivos e metas da política pública?10.3.2. Objetivos e metas da política foram alcançados?10.3.3. Em havendo divergência entre o valor previsto e realizado, foram apresentados os motivos (fatores) que levaram a essa distorção e explicitadas as ações mitigadoras tomadas e/ou necessárias? 10.4. A política produziu os resultados esperados? (efetividade/impacto)10.4.1. Possíveis resultados e efeitos da política foram identificados?10.4.2. Foram identificadas as razões pelas quais ocorreram os resultados e efeitos? (causas)10.4.3. É possível atribuir à política os resultados e efeitos identificados? (nexo-causal)10.4.4. A política produziu efeito positivos, previstos ou não previstos, significativos sobre seus beneficiários?10.4.5. Os efeitos (positivos ou negativos, previstos ou não previstos) produzidos pela política estão alinhados com os resultados esperados das intervenções públicas? 10.5. Os efeitos da ação governamental são sustentáveis? (sustentabilidade)10.5.1. Os benefícios produzidos pela política continuarão a existir em exercícios futuros?10.5.2. Os fatores que mais contribuem para sustentabilidade, ou não, da política foram identificados e tratados?  Papéis de trabalhoPara auxiliar os auditores na tarefa de verificar a maturidade da política pública, no que tange à avaliação, e viabilizar a realização de estudos coordenados, recomenda-se:· a adoção da matriz de planejamento, constante do Apêndice VII.1; · a consulta à proposta de quadro-resumo, constante do Apêndice VII.2; e· a consulta à lista de potenciais critérios de auditoria, constantes da seção critérios gerais e do Apêndice VII.3. (Capítulo 3Políticas intersetoriais e intergovernamentais) (Neste capítulo apresentam-se conceitos gerais de políticas intersetoriais e intergovernamentais, sugestões de formas de integração de políticas públicas, bem como um conjunto de boas práticas e possíveis aspectos a serem analisados em políticas complexas que envolvem mais de um setor e/ou ente federativo.)3 Políticas intersetoriais e intergovernamentais São consideradas setoriais as políticas voltadas a temas específicos, como educação, saúde, agricultura; que são formuladas no âmbito de instituições governamentais cujos objetivos e ações convergem para produção de resultados nessa temática. A intersetorialidade, segundo Junqueira (2000), é a articulação entre sujeitos de setores diversos com diferentes saberes e poderes com vistas a enfrentar problemas complexos (ex. fome, pobreza, competitividade). Envolve, portanto, a gestão integrada e a articulação entre as políticas setoriais, podendo ser entendida como uma articulação de saberes e experiências no planejamento, realização e avaliação de políticas, programas e projetos dirigidos a comunidades e a grupos populacionais específicos, num dado espaço geográfico, com o objetivo de atender as suas necessidades e expectativas de forma sinérgica e integral. Podemos considerar a intersetorialidade como um modelo de gestão de políticas públicas que se baseia basicamente na contratualização de relações entre diferentes setores, onde responsabilidades, metas e recursos são compartilhados, compatibilizando uma relação de respeito à autonomia de cada setor, mas também de interdependência (SANTOS, 2011)As políticas públicas, sejam elas setoriais ou intersetoriais, podem envolver apenas um, ou múltiplos entes federativos. São consideradas políticas intergovernamentais ou multinível aquelas que envolvem ou requerem articulação e coordenação de múltiplos entes federativos, seja para fins de formulação ou implementação (estruturação, operacionalização ou financiamento da política pública). A intergovernabilidade envolve, portanto, desde políticas elencadas nas competências constitucionais comuns e concorrentes da União, estados e municípios; como também as transferências financeiras condicionadas, que buscam a adesão aos programas federais e, ainda as iniciativas próprias dos governos subnacionais, como os consórcios públicos.Governança multinível implica gerenciar a dependência mútua entre os níveis de governo e uma série de lacunas ou falhas de coordenação que podem ocorrer entre eles (OECD, 2014, tradução nossa).De acordo com o Referencial para Avaliação de Governança em Políticas Públicas (BRASIL, 2014a), a obtenção de resultados nas políticas públicas exige, cada vez mais, que as organizações públicas trabalhem em conjunto, de forma articulada, coordenada e coerente. 3.1 Formas de integração em políticas públicasPara fazer funcionar a governança em vários níveis, uma densa rede de interações políticas e burocráticas nacionais/ regionais/locais, especialmente para regras compartilhadas, torna-se uma necessidade. Isso requer o desenvolvimento de mecanismos e processos formais e informais, verticais e horizontais de consulta intergovernamental, coordenação, cooperação e tomada de decisão conjunta (OCDE, 2019, tradução nossa). De acordo com a UN (2018), a integração em políticas públicas diz respeito à gestão de questões transversais, que transcendem os limites de uma política ou organização específica. Há uma variedade de conceitos relacionados, frequentemente utilizados na literatura, que abordam questões afetas à integração de políticas. Estes incluem termos como coerência política, coordenação e políticas conjuntas. Stead e Meijers (2009 apud UN, 2018) propuseram que os vários conceitos podem ser caracterizados como refletindo diferentes graus de integração e podem ser agrupados em três categorias de integração: a) formulação integrada de políticas, referindo-se a respostas coordenadas de uma variedade de organizações que elaboram em conjunto políticas públicas que vão além de suas fronteiras;b) coordenação (ou governo unido), referindo-se aos esforços feitos para assegurar que políticas e programas, vindos de diferentes partes do governo, sejam coerentes e não se contradigam (public coherence); e c) colaboração (ou cooperação), referindo-se à existência de relações entre organizações autônomas que cooperam para a realização de metas individuais. Fonte: Stead e Meijers (2009 apud UN 2018).Ao se analisar os esforços de integração a partir da perspectiva institucional, é padrão na literatura distinguir três dimensões: a) integração horizontal, isto é, integração entre setores ou instituições; b) integração vertical, alinhamento entre ações de níveis nacionais e subnacionais, com vistas à produção de resultados coerentes; e c) participação e engajamento de outras partes interessadas na realização de objetivos compartilhados.Segundo a UN (2018), em conjunto, estas três dimensões da integração abrangem as principais categorias apresentadas pela literatura (ex.: participação, parcerias, coerência), bem como as noções de whole-of-government approach e de whole-of-society approach. a) Whole-of-government approach diz respeito a atividades realizadas conjunta e coordenadamente por múltiplos órgãos e entidades da administração pública, em diferentes níveis, com vistas a solucionar problemas públicos; eb) Whole-of-society approach refere-se a atividades realizadas conjuntamente por atores não estatais e estatais, geralmente, coordenadas por estes últimos.Fonte: Adaptado de UN (2018).Entre os fatores, identificados pela UN (2018), que influenciam a integração de políticas públicas estão os descritos no quadro abaixo: Quadro 9: Fatores que influenciam a integração Integração horizontalIntegração verticalParticipação e engajamento ¿ Estratégia abrangente de alto nível, ¿guarda-chuva¿ (por exemplo, estratégia nacional de desenvolvimento sustentável).¿ Estruturas e mecanismos de coordenação intersetorial.¿ Processos orçamentários.¿ Existência de ferramentas de planejamento integradas.¿ Incentivos para instituições e pessoal nessas instituições trabalharem de forma intersetorial (mandatos, cartas, regras, regulamentos, contabilidade interna, etc)..¿ Regras de contratação pública.¿ Sensibilização, desenvolvimento de capacidades em instituições governamentais, incluindo capacidade de pensamento sistêmico e de planejamento.Interface robusta de política científica, incluindo modelagem e dados.¿ Processos para ¿localizar¿ os objetivos transversais.¿ Modelo legal e regulatório para a descentralização e colocação em prática de acordos firmados.¿ Contexto político nos níveis nacional e local, accountability dos governos locais versus governo nacional¿ Processos e recursos orçamentários disponíveis para governos locais.¿ Incentivos para instituições e pessoal nessas instituições para trabalhar em todos os níveis de governo.¿ Capacidade do governo local e nacional.¿ Existência de ferramentas de planejamento integradas.¿ Engajamento de partes interessadas no desenho de estratégias nacionais de desenvolvimento sustentável.¿ Apetite pelo engajamento de atores não estatais em um país, de forma geral, e em setores específicos.¿ Nível de institucionalização de mecanismos de engajamento para formulação de políticas e implementação.¿ Uso estratégico de mecanismos de engajamento como ferramentas políticas pelos governos.¿ Grau de organização da sociedade civil.¿ Influência do setor privado (em toda a sociedade e em setores individuais).¿ Capacidade política na sociedade civil.¿ Habilidades e recursos para engajamento no serviço público.Fonte: Adaptado de UN (2018).3.2 Controle de políticas públicas intergovernamentais e intersetoriaisEntre os aspectos mais importantes a serem verificados em políticas intersetoriais e intergovernamentais estão os relacionados às estruturas de coordenação e coerência.Os frutos de uma política pública, qualquer que seja a posição que esta ocupe no espectro que vai de máxima setorização à máxima transversalidade, são sempre o vetor resultante das ações e das decisões de múltiplos atores envolvidos na situação problemática. Tais ações e decisões não são, necessariamente, sinérgicas ou alinhadas de pronto com os objetivos do centro de governo, fazendo-se necessário não apenas o desenho de incentivos que mitiguem conflitos potenciais previsíveis, como também a criação de instâncias claras e empoderadas de coordenação da ação coletiva dentro do escopo de atuação da política. Essas instâncias de coordenação devem, ademais, desenvolver análise sistêmica de modo a identificar eventuais contradições e inconsistências entre políticas diversas e, nesses casos, dispor de canais de comunicação com nível de gestão superior aos problemas que possam ser reportados e tratados (BRASIL, 2015c)De acordo com o Referencial para Avaliação de Políticas Públicas do TCU (BRASIL, 2014a, p. 58-59), são boas práticas de governança pública:a) a coerência entre as políticas públicas, de forma que as ações e os objetivos específicos das intervenções empreendidas pelas diversas entidades sejam alinhados, os resultados esperados possam ser alcançados e reforcem-se mutualmente, ampliando o impacto ao cidadão (PETERS, 2012; MARINI & MARTINS, 2006; BRASIL, 2013);b) a existência de coordenação e relacionamento horizontal entre atores públicos e privados, atuando de forma articulada para a formulação e a gestão de políticas públicas (SECCHI, 2009; PETERS, 2012);c) o estabelecimento de mecanismos de articulação, comunicação e colaboração que permitam alinhar estratégias e operações das organizações envolvidas em políticas transversais e descentralizadas, para alcançar o resultado comum (BRASIL, 2013; GAO, 2005);d) a identificação dos recursos humanos, de tecnologia da informação, físicos e financeiros necessários para iniciar e manter o esforço cooperativo, na medida em que as organizações possuem diferentes níveis de recursos e capacidades (GAO, 2005); e) a adoção de estratégia de comunicação coordenada e abrangente para que todas as partes possam colaborar umas com as outras efetivamente, e na qual preveja-se o estabelecimento e divulgação de canais efetivos de comunicação e consulta com as diferentes partes interessadas, consideradas as características e possibilidades de acesso de cada público-alvo (ANAO, 2006, BRASIL, 2013);f) a publicação, para conhecimento de todas as partes interessadas, da estrutura de governança vigente na política pública, assim como dos papéis e das responsabilidades definidos, incluindo se como o esforço cooperativo será liderado (BRASIL, 2013; GAO, 2005 e GAO, 2013).Para aferir se as políticas públicas intersetoriais e/ou intergovernamentais estão sendo adequadamente coordenadas deve-se verificar:Se existe instância de coordenação para alinhar as ações dos diversos atores das políticas públicas;Se existe normativo que instituiu e dá legitimidade a essa instância de coordenação;Se a instância de coordenação contribui para o alinhamento das políticas públicas;Como se dá a articulação entre os diversos atores da política pública e em que fases da política pública isso ocorre;Quais são os canais de comunicação e consulta existentes para atender às necessidades dos diferentes interessados na política pública;Se a estrutura de governança vigente na política pública é amplamente divulgada. (BRASIL, 2014a, p.87)De modo semelhante, de acordo com o Referencial para Avaliação de Políticas Públicas no Senado Federal, é importante verificar:Se a política incorpora estrutura de incentivos e outros conteúdos voltados aoalinhamento de agendas entre os atores;Se existem instâncias formais de coordenação da ação dos diversos atores na estrutura de gestão da política;Se às instâncias de coordenação são atribuídas prerrogativas sobre os atores públicos envolvidos, com capacidade de criar soluções localizadas para alinhamento de ações;Se, em relação aos atores privados e aos atores governamentais de distintasesferas de governo ou de poder, a política contém mecanismos de verificação a priori de eventuais hiatos entre os requisitos da política e as condições objetivas de operação desses atores;Se existem eventuais contradições e inconsistências com políticas diversas, das quais resulte o enfraquecimento da ação de governo, e se há instância de coordenação superior à qual tais inconsistências possam ser reportadas.(BRASIL, 2015c).  Em complemento, o GAO, em seu modelo de avaliação de portfólio de políticas públicas, ressalta a importância de se verificar potenciais fragmentações, sobreposições e duplicidade entre políticas públicas as quais possam acarretar em desperdício de recursos ou afetar positiva ou negativamente o alcance de seus resultados, bem como se identificar possíveis opções de otimização da eficiência e efetividade destas políticas. (Capítulo 4Considerações finais e fichas-síntese)4 Considerações finaisA aplicação deste Referencial de Controle de Políticas Públicas pode se dar em qualquer momento do ciclo de vida da política pública: (a) ex ante, enquanto a política ainda está sendo formulada; (b) in itineri, paralelamente à sua implementação; e (c) ex post, mediante avaliação retrospectiva dos resultados e efeitos da intervenção governamental.Para que cada uma dessas etapas possa ser fiscalizada de forma sistematizada, o presente referencial foi estruturado em blocos de controle que se vinculam às etapas e fases do ciclo de políticas públicas. Cada um dos sete blocos definidos contém um conjunto de boas práticas, questões, subquestões, itens de verificação, critérios de auditorias e uma matriz de planejamento, disponibilizada em documento complementar e acessível digitalmente.No primeiro bloco de controle, "diagnóstico do problema e formação da agenda" recomenda-se verificar se os problemas públicos tratados pela política estão adequadamente caracterizados e se a inclusão dos problemas na agenda pública foi conduzida de forma transparente.No segundo bloco, "análise de alternativas e tomada de decisão", sugere-se verificar se a política pública foi formulada com base em evidências que demonstram sua capacidade de solucionar os problemas públicos e gerar valor ao menor custo possível; bem como se o processo de tomada de decisão quanto à escolha da política foi aberto (motivado, transparente e participativo).No terceiro bloco, busca-se saber se a política pública está bem desenhada e se foi institucionalizada. No quarto, se as estruturas de governança e gestão, necessárias à implementação da política pública, estão institucionalizadas. No quinto bloco, é feita a avaliação das fontes de financiamento da política pública no que concerne à aderência destas às normas e boas práticas que regem as finanças públicas. Por fim, nos últimos dois blocos de controle, busca-se avaliar se o desempenho operacional e os resultados da ação governamental foram satisfatórios.Ao realizar fiscalizações em políticas públicas específicas, deve-se atentar para o fato de que as matrizes de planejamento padronizadas já delimitam parte do escopo das ações de controle e que as questões contidas nas matrizes de planejamento disponibilizadas já refletem fatores de riscos que podem atingir a maioria das políticas públicas. Não obstante, em fiscalizações de políticas específicas, recomenda-se que as equipes de auditoria adaptem e complementem esse material mediante a realização de avaliações de riscos ou análise de problema, conforme estabelecido nas ISSAIs e em outros documentos técnicos adotados pelo TCU. Por fim, é importante frisar que, em políticas públicas, dada a abrangência e complexidade do tema, nem todos os blocos de controle devem ser aplicados ao mesmo tempo. Deve haver um juízo prévio acerca da oportunidade e conveniência de aplicação de cada matriz e questão de auditoria, bem como quanto aos resultados esperados e ao custo-benefício da fiscalização. ( Referências)ReferênciasASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR ISO 31.000 - Gestão de riscos - Princípios e diretrizes. 2009. Disponível em: www.abnt.org.br. Acesso em: 10 nov. 2020.AMERICAN EVALUATION ASSOCIATION (AEA). The program assessment rating tool (Part). NY, 2006. Disponível em: https://www.eval.org/p/cm/ld/fid=144 . Acesso em: 10 nov. 2020. ARRETCHE, Marta. Dossiê agenda de pesquisa em políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 7-9, fev. 2003.ARRETCHE, Marta. Tendências no estudo sobre avaliação. In: RICO, Elizabeth Melo (Org).. Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 29-39.ATTIE, W. Auditoria: conceitos e aplicações. São Paulo: Atlas, 2011.A.U.; GOVERNMENT OF WESTERN AUSTRALIA. WA Government Evaluation Guide. A.U., 2015. Disponível em: http://www.programevaluation.wa.gov.au/Evaluation-Guide . Acesso em: 9 nov. 2020.BARDACH, E. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. New York, N.Y.: Chatham House Publishers, Seven Bridges Press, 2000.  BAPTISTA, G.C. Análise de políticas públicas, subjetividade e poder: matrizes e intersecções teóricas. Psicologia USP, São Paulo, 2012, 23(1), p.45-67. Disponível em: https://www.scielo.br/pdf/pusp/v23n1/v23n1a03.pdf . Acesso em 14 jul 2020.BELLIX, Laila; GUIMARÃES, Caroline Burle S.; MACHADO, Jorge. Qual Conceito de Governo Aberto? Uma Aproximação aos seus Princípios. GIGAPP Estudios Working Papers, v. 4, n. 55-59, p. 78-91, 2017. Disponível em: https://ceweb.br/media/docs/publicacoes/19/Qual%20conceito%20de%20Governo%20Aberto-atualizado_03-out2016.pdf. Acesso em 10 jul. 2020.   BELLIX, L.; GUIMARÃES, C. B. S.; MACHADO, J. ¿ Qué concepto de Gobierno Abierto? Una aproximación a sus principios. GIGAPP Estudios Working Papers, 2017, 4.55-59: 78-91.BRASIL. Acórdão 2.359/2018-TCU-Plenário. Auditoria realizada, no âmbito da FOC Transferências Voluntárias 2017 - Apoio à Política Nacional de Desenvolvimento Urbano, em contratos de repasse destinados a obras de pavimentação urbana. Brasília: Tribunal de Contas da União (TCU), 2018. Disponível em: https://pesquisa.apps.tcu.gov.br/#/redireciona/acordao-completo/%22ACORDAO-COMPLETO-2314623%22 . Acesso em: 9 nov. 2020.BRASIL. Acórdão 2.513/2019-TCU-Plenário. Acompanhamento realizado com o objetivo de elaborar o Relatório de Fiscalizações em Políticas e Programas de Governo 2019 (RePP 2019). Brasília: Tribunal de Contas da União (TCU), 2019. Disponível em: https://pesquisa.apps.tcu.gov.br/#/redireciona/acordao-completo/%22ACORDAO-COMPLETO-2377277%22 . Acesso em: 9 nov. 2020.BRASIL. Acórdão 2.608/2018-TCU-Plenário. Acompanhamento com objetivo de elaborar Relatório de Políticas e Programas de Governo (RePP) para subsidiar a discussão do Projeto de Lei Orçamentária Anual para o exercício de 2019. Brasília: TCU, 2018. Disponível em: https://pesquisa.apps.tcu.gov.br/#/redireciona/acordao-completo/%22ACORDAO-COMPLETO-2337030%22 . Acesso em: 9 nov. 2020.BRASIL. Constituição da República Federativa do Brasil. Brasília: 1988. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm . Acesso em: 9 nov. 2020.BRASIL. Decisão normativa - TCU 187, de 09 de setembro de 2020. Brasília: Tribunal de Contas da União (TCU), 2020. Disponível em: https://pesquisa.apps.tcu.gov.br/#/redireciona/btcu/%22BTCU-61997%22 . Acesso em: 9 nov. 2020.BRASIL. Decreto 10.332, de 28 de abril de 2020. Institui a Estratégia de Governo Digital para o período de 2020 a 2022, no âmbito dos órgãos e das entidades da administração pública federal direta, autárquica e fundacional e dá outras providências. Brasília: 2020. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2020/Decreto/D10332.htm#art14 . Acesso em: 9 nov. 2020.BRASIL. Decreto 10.411, de 30 de junho de 2020. Regulamenta a análise de impacto regulatório, de que tratam o art. 5o da Lei no 13.874, de 20 de setembro de 2019, e o art. 6o da Lei no 13.848, de 25 de junho de 2019. Brasília: 2020. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/Decreto/D10411.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 10.531, de 26 de outubro de 2020. Institui a Estratégia Federal de Desenvolvimento para o Brasil no período de 2020 a 2031. Brasília: 2020. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/D10531.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 10.531, de 26 de outubro de 2020. Institui a Estratégia Federal de Desenvolvimento para o Brasil no período de 2020 a 2031. Brasília: 2020. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10531.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 8.243, de 29 de maio de 2014 (revogado). Institui a Política Nacional de Participação Social - PNPS e o Sistema Nacional de Participação Social - SNPS, e dá outras providências. Brasília: 2014. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2011-2014/2014/Decreto/D8243.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 8.414, de 26 de fevereiro de 2015. Institui o Programa Bem Mais Simples Brasil e cria o Conselho Deliberativo e o Comitê Gestor do Programa. Brasília: 2015. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/decreto/d8414.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 8.777, de 11 de maio de 2016. Institui a Política de Dados Abertos do Poder Executivo federal. Brasília: 2016. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8777.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 9.094, de 17 de julho de 2017. Regulamenta dispositivos da Lei no 13.460, de 26 de junho de 2017 , dispõe sobre a simplificação do atendimento prestado aos usuários dos serviços públicos, institui o Cadastro de Pessoas Físicas - CPF como instrumento suficiente e substitutivo para a apresentação de dados do cidadão no exercício de obrigações e direitos e na obtenção de benefícios, ratifica a dispensa do reconhecimento de firma e da autenticação em documentos produzidos no País e institui a Carta de Serviços ao Usuário. (Redação dada pelo Decreto no 9.723, de 2019). Brasília: 2017. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2017/decreto/d9094.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 9.191, de 1 de novembro de 2017. Estabelece as normas e as diretrizes para elaboração, redação, alteração, consolidação e encaminhamento de propostas de atos normativos ao Presidente da República pelos Ministros de Estado. Brasília: 2017. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2017/decreto/D9191.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 9.203, de 22 de novembro de 2017. Dispõe sobre a política de governança da administração pública federal direta, autárquica e fundacional. Brasília: 2017. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2017/Decreto/D9203.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 9.759, de 11 de abril de 2019. Extingue e estabelece diretrizes, regras e limitações para colegiados da administração pública federal. Brasília: 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2019/Decreto/D9759.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto 9.834, de 12 de junho de 2019. Institui o Conselho de Monitoramento e Avaliação de Políticas Públicas. Brasília: 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2019/Decreto/D9834.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto-lei 200, de 25 de fevereiro de 1967. Dispõe sobre a organização da Administração Federal, estabelece diretrizes para a Reforma Administrativa e dá outras providências. Brasília: 1967. Disponível em: http://www.planalto.gov.br/ccivil_03/Decreto-Lei/Del0200.htm . Acesso em: 9 nov. 2020.BRASIL. Decreto-lei 4.657, de 4 de setembro de 1942. Lei de Introdução às normas do Direito Brasileiro. Brasília: 1942. Disponível em: http://www.planalto.gov.br/ccivil_03/decreto-lei/del4657compilado.htm . Acesso em: 9 nov. 2020.BRASIL. Emenda Constitucional 95, de 15 de dezembro de 2016. Altera o Ato das Disposições Constitucionais Transitórias, para instituir o Novo Regime Fiscal, e dá outras providências. Brasília: 2016. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc95.htm . Acesso em: 9 nov. 2020.BRASIL. Instrução Normativa - TCU 84, de 22 de abril de 2020. Estabelece normas para a tomada e prestação de contas dos administradores e responsáveis da administração pública federal, para fins de julgamento pelo Tribunal de Contas da União, nos termos do art. 7o da Lei 8.443, de 1992, e revoga as Instruções Normativas TCU 63 e 72, de 1o de setembro de 2010 e de 15 de maio de 2013, respectivamente. Brasília: Tribunal de Contas da União (TCU), 2020. Disponível em: https://www.in.gov.br/en/web/dou/-/instrucao-normativa-n-84-de-22-de-abril-de-2020-254756795 . Acesso em: 9 nov. 2020.BRASIL. Instrução Normativa Conjunta - PR/CGU 1, de 10 maio de 2016. Dispõe sobre controles internos, gestão de riscos e governança no âmbito do Poder Executivo federal. Brasília: Presidência da República, Controladoria-Geral da União, 2016. Disponível em: https://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/21519355/do1-2016-05-11-instrucao-normativa-conjunta-n-1-de-10-de-maio-de-2016-21519197 . Acesso em: 9 nov. 2020.BRASIL. Lei 10.180, de 6 de fevereiro de 2001. Organiza e disciplina os Sistemas de Planejamento e de Orçamento Federal, de Administração Financeira Federal, de Contabilidade Federal e de Controle Interno do Poder Executivo Federal, e dá outras providências. Brasília: 2001. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/leis_2001/l10180.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 12.527, de 18 de novembro de 2011. Regula o acesso a informações previsto no inciso XXXIII do art. 5o , no inciso II do § 3o do art. 37 e no § 2o do art. 216 da Constituição Federal; altera a Lei no 8.112, de 11 de dezembro de 1990; revoga a Lei no 11.111, de 5 de maio de 2005, e dispositivos da Lei no 8.159, de 8 de janeiro de 1991; e dá outras providências. Brasília: 2011. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 12.813, de 16 de maio de 2013. Dispõe sobre o conflito de interesses no exercício de cargo ou emprego do Poder Executivo federal e impedimentos posteriores ao exercício do cargo ou emprego; e revoga dispositivos da Lei no 9.986, de 18 de julho de 2000, e das Medidas Provisórias nos 2.216-37, de 31 de agosto de 2001, e 2.225-45, de 4 de setembro de 2001. Brasília: 2013. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2011-2014/2013/Lei/L12813.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília: 2018. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2018/Lei/L13709.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 13.848, de 25 de junho de 2019. Dispõe sobre a gestão, a organização, o processo decisório e o controle social das agências reguladoras, altera a Lei no 9.427, de 26 de dezembro de 1996, a Lei no 9.472, de 16 de julho de 1997, a Lei no 9.478, de 6 de agosto de 1997, a Lei no 9.782, de 26 de janeiro de 1999, a Lei no 9.961, de 28 de janeiro de 2000, a Lei no 9.984, de 17 de julho de 2000, a Lei no 9.986, de 18 de julho de 2000, a Lei no 10.233, de 5 de junho de 2001, a Medida Provisória no 2.228-1, de 6 de setembro de 2001, a Lei no 11.182, de 27 de setembro de 2005, e a Lei no 10.180, de 6 de fevereiro de 2001. Brasília: 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/L13848.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 13.898, de 11 de novembro de 2019. Dispõe sobre as diretrizes para a elaboração e a execução da Lei Orçamentária de 2020 e dá outras providências. (LDO). Brasília: 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/L13898.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 13.971, de 27 de dezembro de 2019. Institui o Plano Plurianual da União para o período de 2020 a 2023. Brasília: 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/L13971.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 13.978, de 17 de janeiro de 2020. Estima a receita e fixa a despesa da União para o exercício financeiro de 2020. (LOA). Brasília: 2020. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/lei/l13978.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 4.320, de 17 de março de 1964. Estatui Normas Gerais de Direito Financeiro para elaboração e controle dos orçamentos e balanços da União, dos Estados, dos Municípios e do Distrito Federal. Brasília: 1964. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l4320.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 8.248, de 23 de outubro de 1991. Dispõe sobre a capacitação e competitividade do setor de informática e automação, e dá outras providências. Brasília: 1991. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8248.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 8.443, de 16 de julho de 1992. Dispõe sobre a Lei Orgânica do Tribunal de Contas da União e dá outras providências. Brasília: 1992. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8443.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 8.666, de 21 de junho de 1993. Regulamenta o art. 37, inciso XXI, da Constituição Federal, institui normas para licitações e contratos da Administração Pública e dá outras providências. Brasília: 1993. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8666cons.htm . Acesso em: 9 nov. 2020.BRASIL. Lei 9.784, de 29 de janeiro de 1999. Regula o processo administrativo no âmbito da Administração Pública Federal. Brasília: 1999. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l9784.htm . Acesso em: 9 nov. 2020.BRASIL. Lei complementar 101, de 4 de maio de 2000. Estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. (LRF). Brasília: 2000. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm . Acesso em: 9 nov. 2020.BRASIL. Lei complementar 95, de 26 de fevereiro de 1998. Dispõe sobre a elaboração, a redação, a alteração e a consolidação das leis, conforme determina o parágrafo único do art. 59 da Constituição Federal, e estabelece normas para a consolidação dos atos normativos que menciona. Brasília: 1998. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp95.htm . Acesso em: 9 nov. 2020.BRASIL. Projeto de Lei do Senado 488, de 2017. Acrescenta dispositivos à Lei Complementar no 95, de 26 de fevereiro de 1998, com o intuito de estabelecer normas e diretrizes para encaminhamento de proposições legislativas que instituam políticas públicas, propiciando melhor responsabilidade gerencial na Administração Pública. Brasília: Senado Federal, 2017. Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/131852 . Acesso em: 9 nov. 2020.BRASIL. Proposta de Emenda Constitucional nº 26, de 2017. Acrescenta o art. 75-A à Constituição Federal, para dispor sobre a criação de um sistema de avaliação de políticas públicas. Disponível em: https://legis.senado.leg.br/sdleggetter/documentodm=5377314&ts=1594037744312&disposition=inline. Acesso em 17 jul. 2020.BRASIL. Diretrizes para Avaliação de Impacto Legislativo na Câmara dos Deputados. Brasília: Câmara dos Deputados, 2014c. Disponível em: https://www2.camara.leg.br/a-camara/estruturaadm/gestao-na-camara-dos-deputados/gestao-estrategica-na-camara-dos-deputados/arquivos-de-projetos-corporativos/ail/diretrizes-para-avaliacao-do-impacto-legislativo-das-leis . Acesso em 19 jul. 2020.   BRASIL. Referencial para Avaliação de Políticas Públicas no Senado Federal. Brasília: Senado Federal, 2015. Disponível em <https://www12.senado.leg.br/publicacoes/estudos-legislativos/tipos-de-estudos/outras-publicacoes/referencial-para-avaliacao-de-politicas-publicas-no-senado-federal-2015/RefPPub-2015>. Acesso em 19 set. 2020.BRASIL; INSTITUTO DE PESQUISA ECONÔMICA APLICADA (IPEA); CASA CIVIL DA PRESIDÊNCIA DA REPÚBLICA. Avaliação de políticas públicas: guia prático de análise ex ante, volume 1. Brasília: IPEA, 2018. Disponível em:http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=32688&Itemid=433. Acesso em 9 nov. 2018.BRASIL; INSTITUTO DE PESQUISA ECONÔMICA APLICADA (IPEA); CASA CIVIL DA PRESIDÊNCIA DA REPÚBLICA. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: IPEA, 2018. Disponível em: https://ipea.gov.br/portal/images/stories/PDFs/livros/livros/181218_avaliacao_de_politicas_publicas_vol2_guia_expost.pdf. Acesso em 18 fev. 2020.BRASIL; INSTITUTO DE PESQUISA ECONÔMICA APLICADA (IPEA). Avanços e desafios da transversalidade nas políticas públicas federais voltadas para minorias. In: Brasil em Desenvolvimento: Estado, planejamento e políticas públicas, v.3. Brasília: Ipea, 2009BRASIL. CASA CIVIL DA PRESIDÊNCIA DA REPÚBLICA.  Diretrizes gerais e guia orientativo para elaboração de análise de impacto regulatório - AIR.  Presidência da República. Brasília:2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo-air_15-10-2018_epubfinal.epub/view. Acesso em 18 fev. 2020.BRASIL. MINISTÉRIO DA ECONOMIA. Gasto tributário:  conceito e critérios de classificação.  Brasília: ME, 2019. Disponível em https://receita.economia.gov.br/dados/receitadata/renuncia-fiscal/demonstrativos-dos-gastos-tributarios/arquivos-e-imagens/sistema-tributario-de-referencia-str-v1-01.pdf . Acesso em 14 jul 2020.BRASIL; MINISTÉRIO DA TRANSPARÊNCIA E CONTROLADORIA-GERAL DA UNIÃO (CGU); SECRETARIA FEDERAL DE CONTROLE INTERNO (SFC). Manual da metodologia para avaliação da execução de programas de governo. Brasília: CGU, 2015. Disponível em: https://www.gov.br/cgu/pt-br/centrais-de-conteudo/publicacoes/auditoria-e-fiscalizacao/imagens/manualaepg.png/view . Acesso em: 9 nov. 2020.BRASIL. MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME (MDS). Curso em Conceitos e instrumentos para monitoramento de programas (CAPACITAMDS - CEGOV). Brasília: MDS, 2016. Disponível em: https://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/CEGOV%20-%202015%20%20MDS%20Monitoramento%20Caderno%20de%20Estudos.pdf. Acesso em 19 jul. 2020.   BRASIL. MINISTÉRIO DO PLANEJAMENTO. Guia referencial para medição de desempenho e manual para construção de indicadores. Brasília: MP, 2009. Disponível em: http://gespublica.gov.br/sites/default/files/documentos/guia_indicadores_jun2010.pdf. Acesso em 19 jul. 2020.   BRASIL. MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Indicadores de programas: guia metodológico. Brasília: MP, 2010. Disponível em: http://www.brasil2100.com.br/files/2114/4907/1665/Indicadores_programas-guia_metodologico.pdf. Acesso em 19 jul. 2020.   BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Relatório de gestão: guia para elaboração do relatório integrado. Brasília: Tribunal de Contas da União (TCU), 2019.  Disponível em: https://portal.tcu.gov.br/biblioteca-digital/relatorio-de-gestao-guia-para-elaboracao-na-forma-de-relatorio-integrado-segunda-edicao.htm . Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Relatório de fiscalizações em políticas e programas de governo. Brasília: Tribunal de Contas da União (TCU), 2020.  Disponível em: https://portal.tcu.gov.br/relatorio-de-politicas/ . Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Referencial Básico de Governança Aplicável a Órgãos e Entidades. Brasília: TCU, 2014b. Disponível em: https://portal.tcu.gov.br/governanca/entendendo-a-governanca/referencial-de-governanca/. Acesso em 18 jul 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Referencial para avaliação de governança de políticas públicas. Brasília: TCU, 2014a.  Disponível em: https://portal.tcu.gov.br/data/files/61/86/7D/09/8CA1F6107AD96FE6F18818A8/Referencial_avaliacao_governanca_politicas_publicas.PDF. Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Glossário de Termos do Controle Externo. Brasília: TCU, 2014d. Disponível em https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A25EC59C0F015F58F31F6504A6 . Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Manual de Auditoria Operacional. Brasília, 2010. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881F6B4849B5016B7A41035069A3 . Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Manual de Auditoria Operacional (draft). Brasília, 2018. Disponível em: https://portal.tcu.gov.br/data/files/11/95/47/41/BFB6B6105B9484B6F18818A8/041218_Manual_AO%20_1_.pdf. Acesso em 18 jul 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Roteiro de Avaliação de Maturidade da Gestão de Riscos. Brasília: TCU, 2018.  Disponível em: https://portal.tcu.gov.br/biblioteca-digital/gestao-de-riscos-avaliacao-da-maturidade.htm . Acesso em: 9 nov. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Técnica de Análise de Problemas para Auditorias. Brasília, 2013b. Disponível em:  https://portal.tcu.gov.br/controle-externo/normas-e-orientacoes/tecnicas-estudos-e-ferramentas-de-apoio/. Acesso em: 18 jul. 2020.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Técnica de Análise Envoltória de Dados em Auditorias. Brasília: Tribunal de Contas da União (TCU), 2018. E-book.BRASIL; TRIBUNAL DE CONTAS DA UNIÃO (TCU). Técnica de Indicadores de Desempenho e Mapa de Produtos. Brasília, 2011. Disponível em: https://portal.tcu.gov.br/controle-externo/normas-e-orientacoes/tecnicas-estudos-e-ferramentas-de-apoio/. Acesso em 18 jul 2020.BRASIL et al. Guia técnico de gestão estratégica. [S. l.], 2020. Disponível em: https://www.gov.br/economia/pt-br/centrais-de-conteudo/publicacoes/guias-e-manuais/guia_gestao_estrategica_v1-0.pdf/view . Acesso em: 9 nov. 2020.BRASIL, Felipe Gonçalves; CAPELLA, Ana Cláudia Niedhardt. Os estudos das políticas públicas no Brasil: passado, presente e caminhos futuros da pesquisa sobre análise de políticas. Revista Política Hoje, v. 25, n. 1, p. 71-90, 2016.BUCCI, M.P.D. O conceito de política pública em direitor. In BUCCI, M.P.D. Direito administrativo e políticas públicas. São Paulo: Editora Saraiva, 2002.CALMON, Paulo Carlos Du Pin; COSTA, Arthur Trindade Maranhão da. Texto para discussão: redes e governança das políticas públicas. Centro de Estudos Avançados de Governo e de Administração Pública (CEAG/UnB), 2013.CALMON, Paulo Carlos Du Pin. Disciplina: D 4.1 - Introdução às Políticas Públicas. Brasília, 2012. Disponível em: https://repositorio.enap.gov.br/bitstream/1/1063/2/Aulas %281%29 - Paulo Carlos Du Pin Calmon %28D 4.1 - Introdução às Políticas Públicas%29.pdf . Acesso em: 9 nov. 2020.CANADA. TREASURY BOARD. Assessing program resource utilization when evaluating federal programs. Ottawa: Treasury Board, 2013. Disponível em: https://www.canada.ca/en/treasury-board-secretariat/services/audit-evaluation/centre-excellence-evaluation/assessing-program-resource-utilization-evaluating-federal-programs.html . Acesso em: 18 jul. 2020.CASSIOLATO, M.; GUERESI, S.. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. IPEA, Nota Técnica nº 6, 2010.CARDOSO JR., José Celso Pereira. Texto para discussão (TD) 2040: monitoramento estratégico de políticas públicas: requisitos tecnopolíticos, proposta metodológica e implicações práticas para a alta administração pública brasileira. Rio de Janeiro: IPEA, 2015. Disponível em: https://doi.org/10.4322/rbma201407002 . Acesso em: 9 nov. 2020.CLARKE, E. COCHRAN et al. American public policy: an introduction. 10. ed. Boston, MA: Cengage Wadsworth, 2010.COHEN, M.; MARCH, J.; OLSEN, J. A Garbage Can Model of Organizational Choice, Administrative Science Quarterley v.17, n. 1, p.1-25. 1972.COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, v. 37, n. 5, p. 969-992, 2003.COMMITTEE OF SPONSORING ORGANIZATIONS OF THE TREADWAY COMMISSION (COSO). Gerenciamento de riscos corporativos: estrutura integrada, 2007. Disponível em: https://www.coso.org/Documents/COSO-ERM-Executive-Summary-Portuguese.pdf . Acesso em: 10 nov. 2020.COMMITTEE OF SPONSORING ORGANIZATIONS OF THE TREADWAY COMMISSION (COSO). Internal control: integrated framework (2013). Disponível em: https://www.coso.org/Pages/default.aspx . Acesso em: 10 nov. 2020.COMMITTEE OF SPONSORING ORGANIZATIONS OF THE TREADWAY COMMISSION (COSO). Enterprise risk management - integrated framework (2017). Disponível em: https://www.coso.org/Pages/default.aspx . Acesso em: 10 nov. 2020.DROR, Y. Design for policy sciences. New York: American Elsevier Pub. Co., 1971.DYE, T. R. Understanding Public Policy. Englewood Cliffs, N.J.: Prentice-Hall. 1972.EASTONE, D. A framework for political analysis. Englewood Cliffs: Prentice-Hall.1965.ECK, Claudelle Von; NEL, Charles. Reporte integrado: a ponta do iceberg. South africa: the institute of internal auditors (IIA), 2015.  Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881F69B062FC016A59D1D72515F5&inline=1 . Acesso em: 9 nov. 2020.EMPRESA DE PLANEJAMENTO E LOGÍSTICA S.A. Produto 2 - relatório de business case para a realidade brasileira. 2019. In: Apoio na definição da metodologia para desenvolvimento de business case. Disponível em: file:///C:/Users/Pichau/Downloads/metodologia-de-estruturacao-de-projetos-de-infraestrutura-mepi.pdf. Acesso em 18 jul 2020.EMPRESA DE PLANEJAMENTO E LOGÍSTICA S.A. Produto 3 - Instrumentos Técnicos para o Desenvolvimento da Metodologia de Estruturação de Projetos de Insfraestrutura. In: apoio na definição da metodologia para desenvolvimento de business case. 2019. Disponível em: file:///C:/Users/Pichau/Downloads/instrumentos-tecnicos-para-desenvolvimento-da-mepi.pdf.  Acesso em 18 jul 2020.EUROPEAN COMMISSION. ICT Impact assessment guidelines. 2009. Disponível em: https://ec.europa.eu/isa2/publications/ict-impact-assessment-guidelines-leaflet_en. Acesso em 18 jul 2020.FRANK, Fischer; MILLER, Gerald; SIDNEY, Mara. Handbook of public policy analysis: theory, politics, and methods. NY: CRC Press, Taylor & Francis Group, p. 63-78, 2007.GERTLER, Paul J. et al. Avaliação de Impacto na Prática, Segunda edição. 2. ed. Washington D.C: Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial, 2018. E-book.GUY PETERS, B. American public policy: promise and performance. 8. ed. Washington, DC: CQ Press, 2010.HAJER, M. Policy without polity? Policy analysis and the institutional void. Policy Sciences, n.36, 2003, pp. 175-195.HECLO, P. Policy analysis. British Journal of Political Science, v.2, n. 1, p. 83-108, 1972.HERINGER, Flávio Roberto de Almeida. Quantas políticas públicas há no brasil? O problema da imprecisão conceitual para a avaliação de políticas públicas. Brasília: [s. n.], 2018. Disponível em: https://www2.senado.leg.br/bdsf/item/id/555174. Acesso em: 9 nov. 2020.HOLANDA. MINISTRY OF FOREIGN AFFAIRS. Evaluation policy and guidelines for evaluations. 2009. Disponível em: https://www.oecd.org/dac/evaluation/iob-evaluation-policy-and-guidelines-for-evaluations.pdf. Acesso em 18 jul 2020.HORTA, Danyele Sesconetto Borges. Estudo comparado de critérios de fiscalização de políticas públicas adotados por entidades de fiscalização do Brasil, dos Estados Unidos e do Reino Unido. Brasília: Escola Superior do Tribunal de Contas da União, Instituto Serzedello Corrêa, 2020.HOWLETT, M.; RAMESH, M. PEARL, A. Política Pública: seus ciclos e subsistemas, uma abordagem integral. Rio de Janeiro, Elsevier, 2013.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). GUID 9020: evaluation of public policies, 2016. Disponível em: https://www.issai.org/pronouncements/guid-9020-evaluation-of-public-policies/ . Acesso em 18 jul 2020.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). Princípios fundamentais de auditoria do setor público (ISSAI 100). Tradução: TCU. Viena, 2013. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A15D3169CE015D56CBA59F12A3 . Acesso em: 9 jul. 2020.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). Princípios fundamentais de auditoria operacional (ISSAI 300). Tradução: TCU. Viena, 2013. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A25D576099015D57A520E424FD. Acesso em: 9 nov. 2020.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). Princípios Fundamentais de Auditoria Operacional (ISSAI 300). Tradução: TCU. Viena, 2013. Disponível em: https://portal.tcu.gov.br/fiscalizacao-e-controle/auditoria/normas-internacionais-das-entidades-fiscalizadores-superiores-issai/. Acesso em 18 jul 2020.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). Normas para auditoria operacional (ISSAI 3000). Tradução: TCU. Viena, 2016. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A25D576099015D57A520E424FD . Acesso em: 9 nov. 2020.INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (INTOSAI). Orientações sobre Conceitos Centrais para Auditoria Operacional (ISSAI 3100). Tradução: TCU. Viena, 2016. Disponível em: https://portal.tcu.gov.br/fiscalizacao-e-controle/auditoria/normas-internacionais-das-entidades-fiscalizadores-superiores-issai/. Acesso em 18 jul 2020.INTERNATIONAL INTEGRATED REPORTING COUNCIL (IIRC). A estrutura internacional para o relato integrado (traduzido). Brasil: International Integrated Reporting Council (IIRC), 2013.  Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881F65AAE415016611F667447416 . Acesso em: 9 nov. 2020.THE INSTITUTE OF INTERNAL AUDITORS - IIA (2013). The three lines of defense in effective risk management and control. Disponível em https://na.theiia.org/standards-guidance/Public%20Documents/PP%20The%20Three%20Lines%20of%20Defense%20in%20Effective%20Risk%20Management%20and%20Control.pdf . Acesso em 14 jul 2020.THE INSTITUTE OF INTERNAL AUDITORS - IIA (2019). Três linhas de defesa. Disponível em https://global.theiia.org/translations/PublicDocuments/3LOD-IIA-Exposure-Document-Portuguese.pdf . Acesso em 14 jul 2020.JANN, W., WEGRICH, K (2017). Theories of the policy cycle. In Handbook of public policy analysis. Routledge.JANUZZI, Paulo de Martino. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Brasil: IPEA, 2011.  Disponível em: https://www.ipea.gov.br/ppp/index.php/PPP/article/view/228 . Acesso em: 9 nov. 2020.JANNUZZI, P.M. Avaliação de Políticas Públicas In. Especialização em controle de políticas públicas. Brasília: Instituto Serzerdello Corrêa, 2020. Disponível em: https://isc.tcu.gov.br/ead/course/view.php?id=54. Acesso em 27 nov 2020.JUNQUEIRA, Rodrigo Gravina Prates. Agendas sociais: desafio da intersetorialidade na construção do desenvolvimento local sustentável. Revista de Administração Pública, 2000, 34.6: 117-130.KNAAP, Peter Van Der. Performance management and policy evaluation in the Netherlands: towards an integrated approach. Sage jornals, London, v. 6, n. 3, p. 335-350, 2000. Disponível em: https://doi.org/10.1177/13563890022209325KOOIMAN, J. Modern governance: new government-society interactions. Califórnia: Newbury Sage, 1993.LACERDA, G.B. Augusto Comte e o "positivismo" redescobertos. Revista Sociologia Política, Curitiba, v. 17, n. 34, p. 319-343, out. 2009. Disponível em http://www.educadores.diaadia.pr.gov.br/arquivos/File/2010/artigos_teses/2011/sociologia/artigos/positivismo_comte.pdf. Acesso em 14 jul 2020.LASSWELL, H. D. The policy orientation. In: LERNER, D.; LASSWELL, H. D. The policy sciences; recent developments in scope and method. Stanford, California: Stanford University Press. 1951.LINDBLOM, Charles E. The Science of Muddling Through. In: Public Administration Review. v. 19, n. 2, pp. 78-88, 1959.LINDBLOM, Charles E. Still Muddling, Not Yet Through. In: Public Administration Review. 39: 517-526. 1979.LOPES, Camila Guimarães. Obrigatoriedade da motivação dos atos administrativos. 2015.LOWI, Theodore. American business, public policy, case studies and political theory. In: World Politics, 16: 677-715. 1964.LOWI, Theodore. Four Systems of Policy, Politics, and Choice. In: Public Administration Review, 32: 298-310. 1972.LIPSKY, Michael. Street-level bureaucracy. New York: Russell Sage Foundation, 1980.MACHADO, José Angelo; PALOTTI, Pedro Lucas de Moura. Entre cooperação e centralização: federalismo e políticas sociais no Brasil pós-1988. Revista Brasileira de Ciências Sociais, 2015, 30.88: 61-82.NASCIMENTO, Sueli do. Reflexões sobre a intersetorialidade entre as políticas públicas. Serviço social & sociedade, 2010, 101: 95-120.OLIVEIRA, Andreia Rocha Bello. Controle externo sobre renúncias de receitas: uma análise das abordagens do U.S. Government Accountability Office para avaliação de gastos tributários. Brasília: Escola Superior do Tribunal de Contas da União, Instituto Serzedello Corrêa, 2020.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Evaluating Development Cooperation: Summary of key norms and standards. 2. ed. OCDE, 2010. Disponível em http://www.oecd.org/dac/evaluation/summaryofkeynormsandstandards.htm . Acesso em 02 nov 2020.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Better criteria for better evaluation revised evaluation criteria definitions and principles for use OECD/DAC network on development evaluation. 2020. Disponível em <https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm>. Acesso em 02 nov 2020.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). DAC Principles for Evaluation of Development Assistance. Paris: 1991. E-book.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Glossário da Avaliação e da Gestão Centrada nos Resultados. 2004. Disponível em: http://www.oecd.org/development/evaluation/glossariodaavaliaaoedagestaocentradanosresultados.htm . Acesso em: 9 nov. 2020.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Investing together: working effectively across levels of government. OECD Multi-level Governance Studies, OECD Publishing, Paris: 2013. Disponivel em: https://doi.org/10.1787/9789264197022-en  . Acesso em 02 nov 2020ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Normas de Qualidade para a Avaliação do Desenvolvimento. 2010. E-book.ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO (OCDE). Making decentralisation work: a handbook for policy-makers. OECD Multi-level Governance Studies, OECD Publishing, Paris: 2019. Disponível em: https://doi.org/10.1787/g2g9faa7-en . Acesso em 29 jan. 2020.PECI, Alketa. Avaliação do impacto regulatório e sua difusão no contexto brasileiro. Revista de Administração de Empresas, v. 51, n. 4, p. 336-348, 2011. Disponível em: https://doi.org/10.1590/s0034-75902011000400003. Acesso em: 9 nov. 2020.PINHEIRO, Maurício Mota Saboya. Texto para Discussão (TD) 2554: Políticas públicas baseadas em evidências (PPBEs): delimitando o problema conceitual. Rio de Janeiro: Ipea, 2020. ISSN 1415-4765.E-book.PRESSMAN, Jeffrey L.; WILDAVSKY, Aaron. Implementation. Berkeley: University of California Press, 1973.PRISCO, Thiago. Assistência social: A política pública (inter) setorial. Revista Gestão & Políticas Públicas, 2012, 2.1.PROCOPIUCK, Mario. Políticas públicas e fundamentos da administração pública: análise e avaliação, governança e redes de políticas, administração judiciária. São Paulo: Atlas, 2013.  PROJEJECT MANAGEMENT INSTITUTE (2013). Um guia do conhecimento em gerenciamento de projetos (PMBOK). 5 ed. Newtown Square, PA, USA: Project Management Institute.RAMOS, M.P. SCHABBACH, L.M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista Administração Pública, Rio de Janeiro 46(5):1271-294, set./out. 2012. Disponível em < https://www.scielo.br/pdf/rap/v46n5/a05v46n5.pdf>. Acesso em 10 de setembro de 2020.REINACH, Sofia. Gestão transversal das políticas públicas no âmbito federal brasileiro: uma leitura inicial. FGV. Dissertação, 2013.SABATIER, Paul A. Fostering the development of policy theory. Theories of the policy process, v. 2, p. 321-336, 2007.SANTOS, Natalia Navarro dos. A intersetorialidade como modelo de gestão das políticas de combate à pobreza no Brasil: o caso do Programa Bolsa Família no município de Guarulhos. 2011. PhD Thesis.SANTOS, Rita de Cassia Leal Fonseca dos et al. Referencial para avaliação de políticas públicas no Senado Federal. Brasília: Senado Federal, 2015.  Disponível em: https://www12.senado.leg.br/publicacoes/estudos-legislativos/tipos-de-estudos/outras-publicacoes/referencial-para-avaliacao-de-politicas-publicas-no-senado-federal-2015/RefPPub-2015. Acesso em: 9 nov. 2020.SANTOS, Guilherme Kraus dos; RAUPP, Fabiano Maury. Monitoramento e avaliação de resultados dos programas governamentais delineados no PPA. Revista de Administracao Publica, v. 49, n. 6, p. 1429-1451, 2015. Disponível em: https://doi.org/10.1590/0034-7612140673 . Acesso em: 9 nov. 2020.SECCHI, Leonardo. Análise de políticas públicas: diagnóstico de problemas, recomendação de soluções. São Paulo: Cengage Learning, 2019. SECCHI, Leonardo. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2ed. São Paulo: Cengage Learning, 2013. SILVA, Mauro Corrêa. Critérios de avaliação de políticas públicas e de desempenho: aspectos conceituais e empíricos. Boletim do orçamento e finanças, v. 167, n. março, p. 227-238, 2019. Disponível em: https://www.researchgate.net/publication/331906891_Criterios_de_avaliacao_de_politicas_publicas_e_de_desempenho_aspectos_conceituais_e_empiricos_Criteria_of_evaluation_of_public_policies_and_of_performance_conceptual_and_empirical_aspects . Acesso em: 9 nov. 2020.SILVA, Adilson Aderito; FERREIRA, Fernando Coelho Martins. Uncertainty, Flexibility and Operational Performance of Companies: Modelling From the Perspective of Managers. RAM. Revista de Administração Mackenzie, v. 18, n. 4, p. 11-38, 2017. Disponível em: https://doi.org/10.1590/1678-69712017/administracao.v18n4p11-38. Acesso em: 9 nov. 2020.SIMON, H. A. A behavioral model of rational choice. Quartely Journal of Economics, v. 69, n. 1, p. 99-118, 1955. Disponível em: http://www.jstor.org/stable/1884852?origin=JSTOR-pdf . Acesso em: 9 nov. 2020.SIMON, H.A. Comportamento Administrativo. Rio de Janeiro: USAID, 1957.SIMON, H.A. Reason in human affairs. Stanford: Stanford University Press, 1983. SIMON, H.A. Rationality in psychology and economics. Journal of Business, vol. 59, no. 4, parte 2, outubro, 1986,  pp. S209-S224.SOUZA, Celina. Políticas públicas: uma revisão da literatura. Sociologias, , v. 8, n. 16, p. 20-45, 2006. Disponível em: https://doi.org/10.1590/s1517-45222006000200003 . Acesso em: 9 nov. 2020.TEIXEIRA, Elenaldo Celso. O papel das políticas públicas no desenvolvimento local e na transformação da realidade. Salvador: AATR, 2002, 200. Disponível em http://www.dhnet.org.br/dados/cursos/aatr2/a_pdf/03_aatr_pp_papel.pdf . Acesso em 29 jan. 2020.THEODOULOU, Stella Z.; CAHN, Matthew Alan (Ed). Public policy: the essential readings. Pearson College Division, 1995.TREVISAN, Andrei Pittol; VAN BELLEN, Hans Michael. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, v. 42, n. 3, p. 529-550, 2008.TRIBUNAL DE CONTAS EUROPEU (TCE). Avaliação de risco em auditorias operacionais. Tradução: TCU. Luxemburgo, 2013. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881E69B06514016A4C683262120A . Acesso em: 13 jun 2020.TUDE, João Martins. Conceitos gerais de políticas públicas. Políticas públicas. Curitiba: IESDE Brasil SA, 2010, 11-34. Disponível em http://www2.videolivraria.com.br/pdfs/24132.pdf . Acesso em 28 jan. 2020.U.K.; NATIONAL AUDIT OFFICE (NAO). Framework to review models. London: NAO, 2016a. Disponível em: https://www.nao.org.uk/wp-content/uploads/2016/03/11018-002-Framework-to-review-models_External_4DP.pdf. Acesso em: 17 jul. 2020.U.K.; NATIONAL AUDIT OFFICE (NAO). Framework to Review Programmes. London: NAO, 2019. Disponível em: https://www.nao.org.uk/wp-content/uploads/2017/09/Framework-to-review-programmes-2019-update.pdf. Acesso em: 18 jul. 2020.U.K.; NATIONAL AUDIT OFFICE (NAO). Guide Initiating Successful Projects. London: NAO, 2011. Disponível em:  https://www.nao.org.uk/wp-content/uploads/2011/12/NAO_Guide_Initiating_successful_projects.pdf . Acesso em: 18 jul. 2020.U.K.; NATIONAL AUDIT OFFICE (NAO). Payment by results analytical framework for decision makers. London: NAO, 2015. Disponível em: https://www.nao.org.uk/wp-content/uploads/2015/06/Payment-by-results-analytical-framework-for-decision-makers.pdf . Acesso em: 18 jul. 2020.U.K.; NATIONAL AUDIT OFFICE (NAO). Performance measurement: good practice criteria and maturity model. London: NAO, 2016. Disponível em: https://www.nao.org.uk/report/performance-measurement-by-regulators/attachment/performance-measurement-good-practice-criteria-and-maturity-model/ . Acesso em: 9 nov. 2020.U.K.; HM TREASURY Assessing Business Cases 'A Short Plain English Guide'. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/190609/Green_Book_guidance_short_plain_English_guide_to_assessing_business_cases.pdf. Acesso em: 19 jul. 2020.U.K.; HM TREASURY Checklist for Assessing Business Cases. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/190603/Green_Book_guidance_checklist_for_assessing_business_cases.pdf. Acesso em: 19 jul. 2020.U.K.; HM TREASURY International Guide to Developing the Programme Business Case. 2018. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/749087/Programme_Business_Case_2018__International___002_.pdf. Acesso em: 18 jul. 2020.U.K.; HM TREASURY International Guide to Developing the Project Business Case. 2018. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/749088/Project_Business_Case_2018__International_.pdf. Acesso em: 18 jul. 2020.U.K.; HM TREASURY. The Green Book. Central Government Guidance on Appraisal and Evaluation. 2018. Disponível em:    https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/685903/The_Green_Book.pdf . Acesso em 12 fev. 2020.U.K.; HM TREASURY. The Magenta Book. Central Government Guidance on Evaluation. 2020. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf  . Acesso em 18 jul. 2020.UNITED NATIONS et al. Working Together: integration, institutions and the sustainable development goals, World Public Sector Report 2018. New York, 2018. Disponível em: https://www.sdg16hub.org/system/files/2018-07/UN%2C%20DESA%2C%20Working%20Together.pdf .  Acesso em 19 jul. 2019. U.S.; COUNCIL OF ECONOMIC ADVISERS (CEA). Evaluation as a tool for improving federal programs. In: Economic Report Of The President, Together With The Annual Report Of The Council Of Economic Advisors. U.S.: Government Printing Office, 2014. p. 269-298. E-book.U.S.; HOUSE, Oversight and Government Reform; SENATE, Homeland Security and Governmental. Public Law 111-352-jan. 4, 2011. GPRA Modernization Act of 2010. U.S.: 2011. Disponível em: https://www.congress.gov/bill/111th-congress/house-bill/2142. Acesso em: 9 nov. 2020.U.S.; GOVERNMENT ACCOUNTABILITY OFFICE ASSESSMENT (GAO). GAO-12-208G: Designing evaluations - 2012 Revision. United States, 2012. Disponível em: https://www.gao.gov/products/GAO-12-208G. Acesso em: 9 nov. 2020.U.S.; GOVERNMENT ACCOUNTABILITY OFFICE ASSESSMENT (GAO). GAO-13-590: Government Efficiency and Effectiveness: Opportunities to Reduce Fragmentation, Overlap, and Duplication through Enhanced Performance Management and Oversight. U.S., 2013. Disponível em: https://www.gao.gov/products/GAO-19-536T. Acesso em: 9 nov. 2020.U.S.; GOVERNMENT ACCOUNTABILITY OFFICE ASSESSMENT (GAO). GAO-15-49SP: Fragmentation, Overlap, and Duplication: An Evaluation and Management Guide Evaluating and Managing Fragmentation, Overlap, and Duplication. U.S., 2015. Disponível em: https://www.gao.gov/assets/670/669612.pdf. Acesso em: 9 nov. 2020.U.S.; GOVERNMENT ACCOUNTABILITY OFFICE ASSESSMENT (GAO). GAO-18-151SP: Assessment methodology for economic analysis. U.S., 2018. Disponível em: https://doi.org/10.4324/9781315269863-20. Acesso em: 9 nov. 2020.VEDUNG, Evert. Public policy and program evaluation. Routledge, 2017.   (Apêndices e Anexos)Apêndices - Papéis de TrabalhoPara cada um dos blocos de controle abaixo indicados foi elaborado um apêndice, disponível em formato digital na página do TCU, com sugestões de conteúdo para os seguintes papéis de trabalho: matriz de planejamento, quadro-resumo e critérios de auditoria. Quadro 10: Lista de apêndicesBloco de controleApêndiceDiagnóstico do problema e formação da agenda Apêndice IAnálise de alternativas e tomada de decisãoApêndice IIDesenho e institucionalização da política públicaApêndice IIIEstruturação da governança e gestãoApêndice IVAlocação e gestão de recursos orçamentários e financeirosApêndice VOperação e monitoramentoApêndice VIAvaliaçãoApêndice VIIAnexo I - Glossário de políticas públicasA presente seção apresenta um apanhado de terminologias de controle externo e de políticas públicas que podem ser úteis para compreensão deste referencial. A maior parte desses conceitos foi extraída de documentos oficiais como a Portaria-Segecex 27 de 24 de outubro de 2017 e a Lei 13.971/2019, que institui o Plano Plurianual da União para o período de 2020 a 2023.Acompanhamento - instrumento de fiscalização utilizado pelo TCU para examinar, ao longo de um período predeterminado, a legalidade e a legitimidade dos atos de gestão dos responsáveis sujeitos a sua jurisdição, quanto aos aspectos contábil, financeiro, orçamentário e patrimonial; o desempenho de órgãos e entidades jurisdicionadas, assim como dos sistemas, programas, projetos e atividades governamentais, quanto aos aspectos de economicidade, eficiência e eficácia dos atos praticados (RITCU, Art. 241).Análise de problema - aplicação de técnicas e/ou ferramentas que auxiliam o estudo de problemas em profundidade e de forma estruturada, fornecendo subsídios para a identificação de suas causas, suas consequências, suas inter-relações, assim como possíveis soluções (TCU, 2013).Atividades de controle - ações estabelecidas por meio de políticas e procedimentos que ajudam a garantir o cumprimento das diretrizes determinadas pela administração para mitigar os riscos à realização dos objetivos (COSO, 2013).Auditoria - processo sistemático de obtenção e avaliação objetiva de evidência de auditoria para determinar se as informações ou as condições reais de um objeto estão de acordo com os critérios aplicáveis (ISSAI 100); processo sistemático, documentado e independente de se avaliar objetivamente uma situação (ou condição) para determinar a extensão na qual os critérios aplicáveis são atendidos, obter evidências quanto ao atendimento e relatar os resultados da avaliação a destinatários predeterminados (NAT). - instrumento de fiscalização utilizado pelo TCU para examinar a legalidade e a legitimidade dos atos de gestão dos responsáveis sujeitos a sua jurisdição, quanto ao aspecto contábil, financeiro, orçamentário e patrimonial; avaliar o desempenho dos órgãos e entidades jurisdicionados, assim como dos sistemas, programas, projetos e atividades governamentais, quanto aos aspectos de economicidade, eficiência e eficácia dos atos praticados; subsidiar a apreciação dos atos sujeitos a registro (RITCU, Art. 239, I a III).Auditoria operacional - avaliação independente, objetiva e confiável que analisa se empreendimentos, sistemas, operações, programas, atividades ou organizações do governo estão funcionando de acordo com os princípios da economicidade, eficiência e efetividade e se há espaço para aperfeiçoamento (ISSAI 300). Exame independente e objetivo da economicidade, eficiência, eficácia e efetividade de organizações, programas e atividades governamentais, com a finalidade de promover o aperfeiçoamento da gestão pública (TCU, 2010). O mesmo que Auditoria de desempenho.Avaliação de controles internos - processo mediante o qual se procura conhecer e avaliar a eficácia do(s) controle(s) interno(s) de uma entidade quanto à sua capacidade para evitar ou reduzir o impacto ou a probabilidade de eventos negativos (riscos) ou aumentar a probabilidade ou o impacto de eventos positivos (oportunidades), na busca de objetivos estabelecidos (TCU, 2009c). Avaliação de controles internos em nível de atividades - avaliação de controles de riscos no nível específico de transações ou atividades dos processos organizacionais (TCU, 2012b). Avaliação de controles internos em nível de entidade - avaliação que tem como escopo o sistema de controle interno global de uma organização ou parte dela (TCU, 2012b). Avaliação de políticas públicas - avaliação que visa determinar a pertinência e o alcance dos objetivos, a eficiência, a efetividade, o impacto e a sustentabilidade do desenvolvimento (OCDE), proporcionando informação que permita a incorporação da experiência adquirida ao processo de tomada de decisão. Pode ser encarada como um mecanismo de melhoria no processo de tomada de decisão, a fim de garantir informações de qualidade, sobre as quais se fundamentam as deliberações e a prestação de contas sobre as políticas públicas (CHIARI, 2012).Avaliação de riscos - processo de comparar os resultados da análise de riscos com os critérios de risco da organização, para determinar se um risco e/ou sua magnitude é aceitável ou tolerável (ABNT, 2009). Processo desenvolvido e implementado com a finalidade de identificar e avaliar os riscos que uma entidade enfrenta na busca de seus objetivos, estimar o impacto e a probabilidade de ocorrência dos eventos, como base para decidir e desenvolver ações em resposta aos riscos (COSO, 2013).Controle interno - processo conduzido pela estrutura de governança, administração e por outros profissionais da entidade, desenvolvido para proporcionar segurança razoável quanto à realização dos objetivos relacionados a operações, divulgação e conformidade (COSO, 2013).Critérios de auditoria - referências usadas para mensurar ou avaliar o objeto de auditoria (ISSAI 100; IFAC/NBCTA Estrutura Conceitual para trabalhos de asseguração). O referencial que indica o estado requerido ou desejado ou a expectativa em relação ao objeto de auditoria. Reflete como deveria ser a gestão, provendo o contexto para compreensão dos achados de auditoria e para a avaliação das evidências de auditoria (NAT).Diretriz - declaração ou conjunto de declarações que orientam os programas abrangidos no PPA 2020-2023, com fundamento nas demandas da população (inciso XI do art. 2¿ da Lei 13.971/2019)Evidência analítica - evidência de auditoria obtida por meio de procedimentos analíticos (ISSAI 1500 e 1502; ISA/NBCTA 500 e 502). Decorre, por exemplo, da conferência de cálculos, comparações, correlações e análises feitas pelo auditor (TCU, 2011).Evidência de auditoria - informações utilizadas pelo auditor para chegar às conclusões em que se fundamentam a sua opinião. Informação obtida durante o trabalho de auditoria ou de outra ação de controle, que documenta o achado de auditoria ou a constatação e respalda o exame técnico e a conclusão de relatório de auditoria ou a instrução de processo de controle externo (NAT).Economicidade - minimização dos custos dos recursos utilizados na consecução de uma atividade, sem comprometimento dos padrões de qualidade. Refere-se à capacidade de uma instituição gerir adequadamente os recursos colocados à sua disposição (TCU, 2010; ISSAI 300). Efetividade - relação entre os resultados de uma intervenção ou programa de governo, em termos de efeitos sobre a população-alvo (impactos observados), e os objetivos pretendidos (impactos esperados). Trata-se de verificar a ocorrência de mudanças na população-alvo que poderiam ser razoavelmente atribuídas às ações do objeto de auditoria avaliado. Diz respeito ao alcance dos resultados pretendidos a médio e longo prazo (TCU, 2010). Eficácia - grau de alcance de metas programadas em termos de produtos (bens ou serviços) em um determinado período de tempo, independentemente dos custos implicados. O conceito de eficácia diz respeito à capacidade da gestão de cumprir objetivos imediatos, traduzidos em metas de produção ou de atendimento, ou seja, a capacidade de prover bens ou serviços de acordo com o que foi planejado (TCU, 2010; ISSAI 300). Eficiência - relação entre os produtos (bens ou serviços) gerados por uma atividade e os custos dos insumos empregados para produzi-los, em um determinado período de tempo, mantidos os padrões de qualidade. Refere-se ao esforço do processo de transformação de insumos em produtos. Pode ser examinada sob duas perspectivas: minimização do custo total ou dos meios necessários para obter a mesma quantidade e qualidade de produto; ou otimização da combinação de insumos para maximizar o produto quando o gasto total está previamente fixado (ISSAI 300; TCU, 2010).Estrutura de controle interno - desenho adotado por um órgão/entidade para estruturar o sistema de controle interno, refletindo a forma como se organiza para enfrentar os riscos do negócio e fornecer segurança razoável do alcance dos seus objetivos (INTOSAI, 2004). Estrutura de gestão de riscos - conjunto de componentes que fornecem os fundamentos e os arranjos organizacionais para a concepção, implementação, monitoramento, análise crítica e melhoria contínua da gestão de riscos através de toda a organização (ABNT, 2009).Fiscalização - poder-dever de vigilância, exame ou verificação atribuído por Lei a órgão, entidade ou agente público. A fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União é exercida pelo Congresso Nacional, mediante controle externo, com o auxílio do Tribunal de Contas da União, que utiliza os instrumentos de fiscalização previstos no seu Regimento Interno para dar cumprimento a essa atribuição (CF/88, Art. 70 e 71; RITCU, Cap. III).Formulação de políticas públicas - estágio em que governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações, que produzirão resultados ou mudanças no mundo real (SOUZA)Gastos diretos - recursos utilizados na consecução de políticas públicas, executadas de forma direta ou descentralizada, que não se caracterizam como subsídios, nos termos do disposto no inciso XVI (inciso XVII do art. 2¿ da Lei 13.971/2019)Gasto orçamentário - são gastos diretos do governo, que se utilizam de recursos provenientes de arrecadação (tributação), e cujo dispêndio dá-se por meio de orçamentos aprovados por representantes da população.Gasto tributário - "são gastos indiretos do governo realizados por intermédio do sistema tributário, visando a atender objetivos econômicos e sociais e constituem-se em uma exceção ao sistema tributário de referência, reduzindo a arrecadação potencial e, consequentemente, aumentando a disponibilidade econômica do contribuinte" (BRASIL, 2019, p.7).Gerenciamento de riscos - aplicação de uma arquitetura (princípios, estrutura e processo) para identificar riscos, analisar e avaliar se devem ser modificados por algum tratamento a fim de atender critérios de risco. Ao longo desse processo, comunica-se e consulta-se as partes interessadas, monitora-se e analisa-se criticamente os riscos e os controles que os modificam, a fim de assegurar que nenhum tratamento de risco adicional é requerido (ABNT, 2009).Gestão - estruturas responsáveis pelo planejamento, execução, controle, ação, enfim, pelo manejo de recursos e poderes colocados à disposição de órgãos e entidades para a consecução de objetivos de interesse público, visando o atendimento das necessidades e expectativas legitimas dos cidadãos e demais partes interessadas (BRASIL, 2014b).Governança - conjunto de mecanismos de liderança, estratégia e controle utilizados para avaliar, direcionar e monitorar a gestão pública, com vistas à consecução de políticas públicas e à prestação de serviços de interesse da sociedade (inciso XVIII do art. 2¿ da Lei 13.971/2019). Conjunto de políticas e processos que moldam a maneira como uma organização é dirigida, administrada, controlada e presta contas do cumprimento das suas obrigações de accountability. No setor público, a governança compreende essencialmente os mecanismos de liderança, estratégia e controle postos em prática para avaliar, direcionar e monitorar a atuação da gestão, com vistas à condução de políticas públicas e à prestação de serviços de interesse da sociedade (BRASIL, 2014b).Indicador - instrumento gerencial que permite a mensuração de desempenho de programa em relação à meta declarada (inciso III do art. 2¿ da Lei 13.971/2019)Indicador de desempenho - número, percentagem ou razão que mede um aspecto do desempenho, com o objetivo de comparar esta medida com metas preestabelecidas (TCU, 2010g). Indicador-chave de desempenho - número, percentagem ou razão que mede um aspecto do desempenho na realização de objetivos estratégicos e operacionais relevantes para o negócio, relacionados aos objetivos-chaves da organização, com o objetivo de comparar esta medida com metas preestabelecidas (TCU, 2017). Investimento plurianual prioritário - investimento selecionado que impacta programa finalístico em mais de um exercício financeiro (inciso XIX do art. 2¿ da Lei 13.971/2019)Inspeção - técnica ou procedimento de obtenção de evidência de auditoria que envolve o exame de registros ou documentos, internos ou externos, em forma de papel, em forma eletrônica ou em outras mídias, ou o exame físico de um ativo (ISSAI 1500; ISA/NBCTA 500). O termo também designa o instrumento de fiscalização utilizado pelo TCU para suprir omissões e lacunas de informações, esclarecer dúvidas ou apurar denúncias ou representações quanto à legalidade, à legitimidade e à economicidade de fatos da administração e de atos administrativos praticados por qualquer responsável sujeito à sua jurisdição (RITCU, Art. 240).Instrumentos de fiscalização - instrumentos previstos no Regimento Interno do TCU para exercer a fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União estabelecida na Constituição Federal e na LOTCU: Acompanhamento; Auditoria; Inspeção; Levantamento e Monitoramento (RITCU, Art. 238-243).Intervenções públicas - são ações governamentais voltadas ao tratamento de questões específicas de interesse público, as quais se manifestam por meio de instrumentos como estratégias, políticas nacionais, planos, programas, projetos, processos, ações, regulamentações e outros. Uma política pública, em geral, é implementada por meio de um conjunto coordenado e coerente de intervenções que, juntas, buscam alterar uma realidade. Aqui cabe ressaltar que as intervenções podem ser feitas tanto com o uso de recursos orçamentários quanto mediante incentivos outros, como no caso dos gastos tributários. Na administração pública federal brasileira coexistem, instrumentos tradicionais - como implementação por gestão direta e por uso de incentivos econômicos; e iniciativas para implementar políticas por gestão indireta, mediante convênios, contratos e concessões de uso (COSTIN; 2005, SOUZA; 2001, TORRES; 2007) - e instrumentos mais recentes - como transferências fundo a fundo (OLLAIK; MEDEIROS, 2011).Legalidade - princípio jurídico fundamental do Estado Democrático de Direito e critério informativo do controle externo da administração pública. Nesse sentido, o termo legalidade é interpretado de forma mais extensiva do que apenas o confronto direto com disposições de leis. Disposições infralegais, como regulamentos e demais atos normativos, por serem instrumentos ordenadores da gestão pública, também são critérios para avaliação da legalidade dos atos de gestão (MEIRELLES, 2003).Legitimidade - princípio jurídico fundamental do Estado Democrático de Direito e critério informativo do controle externo da administração pública que amplia a incidência do controle para além da aplicação isolada do critério de legalidade. Não basta verificar se a Lei foi cumprida, mas se o interesse público, o bem comum, foi alcançado. Admite o ceticismo profissional de que nem sempre o que é legal é legítimo.Macroprocessos - processos mais abrangentes da organização. Representam conjuntos de atividades agregadas em nível de abstração amplo, que formam a cadeia de valor de uma organização, explicitando como ela opera para cumprir sua missão e atender as necessidades de suas partes interessadas (TCU, 2011a). Ver também Processo. Mandato - responsabilidades, prerrogativas e deveres conferidos a uma Entidade de Fiscalização Superior nos termos da Constituição ou de outras normas legais de um Estado, como a autoridade de auditoria e de realização de outros tipos de trabalhos sobre qualquer assunto de relevância para as responsabilidades da administração, dos responsáveis pela governança e do uso apropriado de recursos e bens públicos (ISSAI 100 e 1003). Mapa de processo - representação gráfica da sequência de atividades que compõem um processo, fornecendo uma visão dos fluxos operacionais do trabalho, incluindo, a depender do nível de análise que se deseja realizar, a evidenciação dos agentes envolvidos, os prazos, o fluxo de documentos, o processo decisório (TCU, 2003). Mapa de produtos - um diagrama, como um fluxograma, que representa uma linha de produção ou de montagem, onde o importante é o produto gerado em cada fase, em vez do processo (ou atividade) que o gerou. Mapeamento de produtos é uma técnica utilizada para a obtenção de indicadores de desempenho (TCU, 2010g).Matriz de planejamento - papel de trabalho que organiza e sistematiza o planejamento do trabalho de auditoria e documenta o programa de auditoria, discriminando o objetivo de auditoria e as questões de auditoria formuladas para alcançar tal objetivo; as informações requeridas, as fontes de informações e os procedimentos de auditoria para responder às questões (NAT, 94, 96-97).Meta - declaração de resultado a ser alcançado, de natureza quantitativa ou qualitativa, que contribui para o alcance do objetivo (inciso II do art. 2¿ da Lei 13.971/2019Monitoramento - instrumento de fiscalização ou ação de controle do TCU para verificar o cumprimento de suas deliberações (determinações e recomendações) e os resultados delas advindos (RITCU, Art. 243). Em termos gerais, monitoramento consiste em ações de verificação, supervisão, observação crítica ou identificação da situação, executadas de forma contínua, a fim de identificar mudanças no nível de desempenho requerido ou esperado. Monitoramento também pode ser aplicado a riscos, a controles, à estrutura de gestão de riscos e ao processo de gestão de riscos (TCU, 2017).Objetivo - "declaração de resultado a ser alcançado que expressa, em seu conteúdo, o que deve ser feito para a transformação de determinada realidade" (inciso I do art. 2¿ da Lei 13.971/2019)Objetivos-chaves - os resultados finalísticos pretendidos de uma organização, que se traduzem na geração, preservação e entrega de valor público em benefício do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos (TCU, 2017; SERRA, 2008).Pesquisa - estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo sobre um objeto de auditoria, relacionadas, entre outros, a aspectos operacionais e gerenciais. Com frequência, é utilizada em conjunto com estudos de caso como suporte a análises qualitativas, típicas dessa última estratégia. Como método estruturado de coleta de dados, quando realizada na forma de pesquisa amostral, visa generalizar para toda a população informações obtidas a partir de uma amostra, se realizada de forma não amostral, não é possível generalizar, mas a evidência obtida de grande número de pesquisados é importante e pode ser fortalecida por meio de informações de outra natureza e de dedução lógica (TCU, 2010h).Planejamento governamental - sistemática de orientação de escolha de políticas públicas e de definição de prioridades, a partir de estudos prospectivos e diagnósticos, com o propósito de diminuir as desigualdades, melhorar a alocação de recursos e aprimorar o ambiente econômico e social (inciso VII do art. 2¿ da Lei 13.971/2019)Plano Plurianual da União (PPA) - instrumento de planejamento governamental de médio prazo, que define diretrizes, objetivos e metas, com propósito de viabilizar a implementação dos programas (inciso VIII do art. 2¿ da Lei 13.971/2019)Planos nacionais, setoriais e regionais - instrumentos de comunicação à sociedade das ações governamentais, observados a estratégia nacional de desenvolvimento econômico e social, o PPA 2020-2023 e as diretrizes das políticas nacionais (inciso IX do art. 2¿ da Lei 13.971/2019)Políticas públicas - conjunto de iniciativas governamentais organizadas em função de necessidades socioeconômicas, que contém instrumentos, finalidades e fontes de financiamento (inciso V do art. 2¿ da Lei 13.971/2019). soma das atividades dos governos, que agem diretamente ou por delegação, e que influenciam a vida dos cidadãos (Peters, 1986); "o que o governo escolhe fazer ou não fazer" (Dye, 1984); "uma regra formulada por alguma autoridade governamental que expressa uma intenção de influenciar, alterar, regular, o comportamento individual ou coletivo através do uso de sanções positivas ou negativas" (Lowi apud Rezende, 2004:13).Política nacional - conjunto de diretrizes, princípios e instrumentos destinados a orientar a atuação de agentes públicos no atendimento às demandas da sociedade, cuja operacionalização será detalhada em planos nacionais, setoriais e regionais, com escopo e prazo definidos (inciso X do art. 2¿ da Lei 13.971/2019) Políticas constitutivas - São as políticas que definem competências, jurisdições, regras de disputa política e orientações para elaboração de políticas públicas (meta-policies) (LOWI, 1964).Políticas regulatórias - São as políticas que estabelecem regras e procedimentos que regulam comportamento, produtos e serviços de atores públicos e privados, para atender interesses gerais da sociedade (LOWI, 1964). Exemplos: códigos de trânsito, regras para segurança alimentar, regras para publicidade de produtos.Políticas distributivas - São as políticas que geram benefícios concentrados para grupos específicos de atores, mas são custeadas de forma difusa pelos contribuintes (LOWI, 1964). Exemplos: Incentivos e renúncias fiscais, subsídios e políticas de desenvolvimento regional custeados com recursos da União.Políticas redistributivas - São as políticas que geram benefícios para grupos sociais específicos e são custeadas por uma determinada categoria de contribuintes (LOWI, 1964). Em geral, buscam promover equidade, retirando recursos de um grupo para beneficiar outros, o que pode provocar conflitos. Exemplos: reforma agrária e políticas de cotas, em ambos os exemplos se afeta o status quo de um grupo para atender às demandas de outro.Políticas empreendedoras - São políticas que geram benefício difuso, mas são custeadas por grupos específicos de atores (WILSON, 1983). Exemplo: reforma política.Políticas majoritárias - São políticas que geram benefícios difusos e são custeadas por atores também difusos (WILSON, 1983). Exemplos: serviço público de saúde, educação básica, segurança pública.Políticas de execução direta - políticas onde a prestação de serviço é levada a efeito pela própria administração, mediante a atuação de seus órgãos.Políticas de execução indireta - políticas quando há a transferência da responsabilidade pela execução para terceiro, que pode ser entidade vinculada à estrutura da administração pública ou de instituições privadas.Processo de contas - processo de controle externo destinado a avaliar e julgar o desempenho e a conformidade da gestão das pessoas abrangidas pelos incisos I, III, IV, V e VI do Art. 5º da Lei 8.443/92, isto é, qualquer pessoa, órgão ou entidade que utilize, arrecade, guarde, gerencie ou administre dinheiros, bens ou valores públicos, com base em documentos, informações e demonstrativos de natureza contábil, financeira, orçamentária, operacional ou patrimonial, obtidos direta ou indiretamente (IN-TCU 63/2010, Art. 1º, I).Processo de gestão de riscos - aplicação sistemática de políticas, procedimentos e práticas de gestão para as atividades de comunicação, consulta, estabelecimento do contexto, e na identificação, análise, avaliação, tratamento, monitoramento e análise crítica de riscos (ABNT, 2009). Sinônimo de gerenciamento de riscos. Processos de governança - os processos que apoiam os mecanismos de liderança, estratégia e controle das organizações e que permitem aos responsáveis pela governança avaliar, direcionar e monitorar a atuação da sua gestão (BRASIL, 2014b).Programa de gestão - conjunto de ações orçamentárias e não orçamentárias, que não são passíveis de associação aos programas finalísticos, relacionadas à gestão da atuação governamental ou à manutenção da capacidade produtiva das empresas estatais (inciso XV do art. 2¿ da Lei 13.971/2019)Programa - conjunto de intervenções públicas financiadas por ações orçamentárias e não orçamentárias (inciso VI do art. 2¿ da Lei 13.971/2019)Programa finalístico - conjunto de ações orçamentárias e não orçamentárias, suficientes para enfrentar problema da sociedade, conforme objetivo e meta (inciso XII do art. 2¿ da Lei 13.971/2019) Projeto - esforço temporário planejado e empreendido para criar um produto, serviço ou resultado exclusivo, mediante a realização de um conjunto de atividades inter-relacionadas ou interativas, com início e término bem definidos (PMI, 2013).Questão de auditoria - pergunta é formulada na Matriz de Planejamento a ser respondida para esclarecer um objetivo de auditoria específico. É o elemento central na determinação do direcionamento dos trabalhos de auditoria, das metodologias e técnicas a adotar e dos resultados que se pretende atingir (TCU, 2009 e 2010). Ver também Objetivos de auditoria específicos.Regionalização - conjunto de informações [...] com vistas a compatibilizar os recursos públicos disponíveis com o atendimento de necessidades da sociedade no território nacional e a possibilitar a avaliação regional da execução do gasto público (inciso IV do art. 2¿ da Lei 13.971/2019)Relatório de gestão - documento contendo informações e demonstrativos de natureza contábil, financeira, orçamentária, operacional ou patrimonial, organizado para permitir a visão sistêmica do desempenho e da conformidade da gestão dos responsáveis por uma ou mais unidades jurisdicionadas durante um exercício financeiro (IN-TCU 63/2010, Art. 1º, II).Responsabilização (accountability) - responsabilidade de uma organização ou indivíduo perante suas decisões e atividades e prestação de contas a seus órgãos de governança, autoridades legais e, de modo mais amplo, as suas outras partes interessadas no que se refere a essas decisões e atividades (ABNT, 2010). Ver também Accountability pública.Risco - possibilidade de um evento ocorrer e afetar adversamente a realização de objetivos (COSO, 2004); possibilidade de algo acontecer e ter impacto nos objetivos, sendo medido em termos de consequências e probabilidades (TCU, 2010f); a expressão "eventos potenciais" é muitas vezes utilizada para caracterizar riscos (ABNT, 2009).Riscos-chaves - riscos estratégicos e riscos operacionais relevantes para o negócio, relacionados aos objetivos-chaves de uma organização (TCU, 2017).Subquestão de auditoria - desdobramento de uma questão de auditoria, quando necessário, em função da grande abrangência do tema tratado na questão (TCU, 2010).Subsídios -benefícios de natureza financeira, tributária e creditícia de que trata o § 6º do art. 165 da Constituição (inciso XVI do art. 2º da Lei 13.971/2019)Unidade responsável - órgão ou entidade da administração pública federal direta ou indireta, responsável pela gestão de programa finalístico (inciso XIII do art. 2º da Lei 13.971/2019)Valor global do programa - estimativa dos recursos orçamentários e não orçamentários, segregados nas esferas fiscal, da seguridade social e de investimento das empresas estatais, com as respectivas categorias econômicas e indicação das fontes de financiamento (inciso XIV do art. 2º da Lei 13.971/2019)Valor público - produtos e resultados gerados, preservados ou entregues pelas atividades de uma organização pública, que representem respostas efetivas e úteis às necessidades ou demandas de interesse público e que modifiquem certos aspectos do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos (SERRA, 2008; TCU, 2017).Anexo II - Principais fontes utilizadasA elaboração deste Referencial de Controle de Política Públicas foi precedida de ampla revisão de literatura e análise de conteúdo que englobou mais de setenta fontes, entre as quais se destacam:a) Atos normativos como:· Constituição Federal de 1988;· Emenda Constitucional 95/2016, que dispõe sobre o novo regime fiscal;· Lei complementar 101/2000, que dispõe sobre a responsabilidade fiscal;· Lei 4.320/1964, que estabelece normas gerais de direito financeiro;· Lei 9.784/1999, que regula o processo administrativo no âmbito da Administração Pública Federal;· Lei 12.527/2011, que regula o acesso a informações;· Lei 12.813/2013, que dispõe sobre o conflito de interesses no exercício de cargo ou emprego do Poder Executivo federal e impedimentos posteriores ao exercício do cargo ou emprego;· Lei 13.971/2019, que instituiu o Plano Plurianual da União para o período de 2020 a 2023;· Decreto-lei 4.657/1942, de introdução às normas do direito brasileiro;· Decreto-lei 200/1967, que orienta a organização da administração federal;· Decreto 9.191/2017, que estabelece as normas e as diretrizes para elaboração, redação, alteração, consolidação e encaminhamento de propostas de atos normativos;· Decreto 9.203/2017, que dispõe sobre a política de governança da administração pública federal direta, autárquica e fundacional;· Decreto 9.759/2019, que estabelece diretrizes, regras e limitações para colegiados da administração pública federal;· Decreto 9.834/2019, que institui o Conselho de Monitoramento e Avaliação de Políticas Públicas;· Decreto 10.411/2020, que regulamenta a análise de impacto regulatório;· Instrução normativa conjunta MP/CGU nº 01 de 2016, que dispõe sobre controles internos, gestão de riscos e governança no âmbito do Poder Executivo federal (BRASIL, 2016);· Instrução normativa TCU 84/2020, que estabelece normas para tomada e prestação de contas dos administradores e responsáveis da administração pública federal;· PEC 26/2017, Proposta de Emenda à Constituição que dispõe sobre a criação de sistemas de avaliação de políticas públicas; e· PLS 488/2017, Projeto de Lei do Senado Federal que dispõe sobre encaminhamento de proposições legislativas que instituem políticas públicas.b) Guias, manuais e documentos de referência nacionais, como:· Referencial básico de governança aplicável a órgãos e entidades (BRASIL, 2014b);· Referencial para avaliação de governança em políticas públicas (BRASIL, 2014a);· Referencial para avaliação de governança do centro de governo (BRASIL, 2016);· Referencial básico de gestão de riscos (BRASIL, 2018d);· Referencial de combate à fraude e corrupção (BRASIL, 2018e);· Guia prático de auditoria coordenada da governança das políticas nacionais de fronteira (BRASIL, 2018f);· Técnica de indicadores de desempenho para auditorias (BRASIL, 2011); e· Manual de auditoria operacional do TCU.c) Outros guias, manuais e documentos de referência nacionais, como:· Avaliação de políticas públicas: guia prático de análise ex ante (BRASIL, 2018a);· Avaliação de políticas públicas: guia prático de análise ex post (BRASIL, 2018b);· Diretrizes gerais e guia orientativo para elaboração de análise de impacto regulatório - AIR (BRASIL, 2018c);· Indicadores de programas - guia metodológico (BRASIL, 2010);· Manual da metodologia para avaliação da execução de programas de governo (BRASIL, 2015b);· Referencial para avaliação de políticas públicas no Senado Federal (BRASIL, 2015c);· Conceitos e instrumentos para monitoramento de programas (BRASIL, 2016);· Guia técnico de gestão estratégica (BRASIL, 2020a);· Manual técnico do Plano Plurianual 2020-2023 (BRASIL, 2020b); e· Manual de indicadores do Plano Plurianual 2020-2023 (BRASIL, 2020c).d) Guias, manuais e documentos de referência internacionais, como: · ISSAI 300 - princípios fundamentais de auditoria operacional (traduzido) (INTOSAI, 2013);· GUID 9020 evaluation of public policies (INTOSAI, 2019);· Better criteria for better evaluation revised evaluation criteria definitions and principles for use (OECD, 2019b);· Evaluating Development Cooperation: Summary of key norms and standards (OECD, 2010);· Avaliação de impacto na prática (BANCO MUNDIAL, 2015);· Program assessment rating tool - PART (AEA, 2006);· Framework to review programmes (NAO, 2019);· Project business case - International (NAO, 2018);· Payment by results analytical framework for decision makers (NAO, 2015);· Performance measurement good practice criteria and maturity model (NAO, 2011);· The Magenta Book (UK, 2011);· The Green Book - guidance public sector business cases (UK, 2015);· The Green Book - central government guidance on appraisal and evaluation (UK, 2018);· The Green Book - a short "plain english" guide to assessing business cases (UK, 2018b);· Assessing program resource utilization when evaluating federal programs (CANADÁ, 2013);· Working together: integration, instruction and sustainable development goals (United Nations, 2018);· Project management body of knowledge - PMBOK 5 ed. (PMI, 2013); e· Public policy and program evaluation (VEDUNG, 2011).Anexo III - Ficha-sínteseO Tribunal de Contas da União é o órgão de controle externo do governo federal e auxilia o Congresso Nacional na atribuição constitucional[footnoteRef:38] de fiscalização contábil, financeira, orçamentária, operacional e patrimonial dos órgãos e entidades públicas do país quanto à legalidade, legitimidade e economicidade. Para isso, tem como meta ser referência na promoção de uma Administração Pública efetiva, ética, ágil e responsável. [38:  Além das competências constitucionais e privativas do TCU que estão estabelecidas nos artigos 33, §2º, 70, 71, 72, §1º, 74, §2º e 161, parágrafo único, da Constituição Federal de 1988, outras leis específicas trazem em seu texto atribuições conferidas ao Tribunal. Entre essas estão a Lei orgânica do TCU (Lei 8.443/1992), a Lei de Responsabilidade Fiscal (LC 101/2001), a Lei de Licitações e Contratos (8666/93) e, anualmente, a Lei de Diretrizes Orçamentárias.] Como forma de subsidiar a discussão do Projeto de Lei Orçamentária no Congresso Nacional o Tribunal de Contas da União deve disponibilizar informações sobre ações de controle realizadas e enviar periodicamente à Comissão Mista a que se refere o § 1º do art. 166 da Constituição, quadro-resumo relativo à qualidade da implementação e ao alcance de metas e dos objetivos dos programas e das ações governamentais objeto de auditorias operacionais realizadas.Como forma de aprimorar esse processo sugere-se que, ao final de cada ação de controle que envolva políticas públicas, seja elaborada ficha-síntese contendo, minimamente, os seguintes dados: a)                o título da política pública objeto da ação de controle;b)                a identificação dos responsáveis (órgãos/entidades) pela política pública;c)                 a identificação dos principais atos normativos e documentos que a qualificam e institucionalizam; d)                evidências do problema público que motivaram a intervenção governamental, juntamente com suas possíveis causas e efeitos; e)                a caracterização da política pública em termos de objetivos, indicadores e metas, bem como seu desempenho físico (se for possível aferir);f)                  o critério utilizado para identificar a política pública no orçamento (se houver gasto orçamentário), juntamente com informações sobre seu desempenho orçamentário e financeiro (valores autorizados, empenhados, liquidados e pagos);g)                os riscos identificados na política pública que motivaram a realização da ação de controle, juntamente com o número do processo autuado;h)                o quadro-resumo da fiscalização conforme sugerido nos apêndices deste referencial (se aplicável);i)                   os principais achados da ação de controle; ej) as deliberações do TCU acerca dessas questões, juntamente com o número do acórdão e o nome do ministro relator.