Norma nº 18/2020

Aprova a revisão do Manual de Auditoria Operacional.

 Portaria-Segecex nº 18, de 12 novembro de 2020Aprova a revisão do Manual de Auditoria Operacional.          O SECRETÁRIO-GERAL DE CONTROLE EXTERNO, no uso das atribuições conferidas pelo inciso III do art. 31 e pelo inciso X do art. 91 da Resolução-TCU nº 305, de 28 de dezembro de 2018,          considerando o objetivo estratégico temático de modernizar os métodos e processos de controle de modo a garantir seletividade, tempestividade e qualidade e o indicador de aderência às Normas Internacionais das Entidades Fiscalizadoras Superiores, constantes do Plano Estratégico do TCU 2019-2025;          considerando a necessidade de atualização do Manual de Auditoria Operacional à evolução dos métodos e técnicas empregados pelo TCU na realização dessas auditorias;          considerando a revisão das Normas de Auditoria do Tribunal de Contas da União realizada pela Portaria-TCU nº 168, de 30 de junho de 2011;          considerando a aprovação da Norma para Auditoria Operacional (ISSAI 3000) no Congresso da Organização das Entidades Fiscalizadoras Superiores (Intosai) em 2016 e a nova estrutura de pronunciamentos profissionais aprovada no Congresso da Intosai em 2019; e          considerando os estudos e as conclusões constantes do processo TC 021.076/2020-0, resolve:          Art. 1º Fica aprovada a revisão do Manual de Auditoria Operacional, nos termos do Anexo Único a esta portaria, contendo os requisitos e orientações que deverão ser aplicados à realização, ao controle e à asseguração de qualidade das auditoras operacionais a cargo das unidades técnicas do Tribunal de Contas da União.          Art. 2º Compete à unidade de métodos da Secretaria-Geral de Controle Externo realizar estudos e propor eventuais ajustes para o aperfeiçoamento do manual de que trata esta portaria, bem como esclarecer dúvidas e receber sugestões acerca do documento.          Art. 3º Ficam revogadas a Portaria-Segecex nº 4, de 26 de fevereiro de 2010, e a Portaria Segecex nº 12, de 15 de março de 2002.          Art. 4º Esta portaria entra em vigor na data de sua publicação.PAULO ROBERTO WIECHERS MARTINS ANEXO DA PORTARIA-SEGECEX Nº 18, DE 12 DE NOVEMBRO DE 2020. TRIBUNAL DE CONTAS DA UNIÃO SECRETARIA-GERAL DE CONTROLE EXTERNO SECRETARIA DE MÉTODOS E SUPORTE AO CONTROLE EXTERNO(Acesse o texto completo da Portaria, clicando no ícone "Fazer download do documento" ou  "Acessar no BTCU") 

[    ﻿             PORTARIA-SEGECEX Nº 18, DE 12 DE NOVEMBRO DE 2020   Aprova a revisão do Manual de Auditoria Operacional.   O SECRETÁRIO-GERAL DE CONTROLE EXTERNO, no uso das atribuições conferidas pelo inciso III do art. 31 e pelo inciso X do art. 91 da Resolução-TCU nº 305, de 28 de dezembro de 2018,   considerando o objetivo estratégico temático de modernizar os métodos e processos de controle de modo a garantir seletividade, tempestividade e qualidade e o indicador de aderência às Normas Internacionais das Entidades Fiscalizadoras Superiores, constantes do Plano Estratégico do TCU 2019-2025;   considerando a necessidade de atualização do Manual de Auditoria Operacional à evolução dos métodos e técnicas empregados pelo TCU na realização dessas auditorias;   considerando a revisão das Normas de Auditoria do Tribunal de Contas da União realizada pela Portaria-TCU nº 168, de 30 de junho de 2011;   considerando a aprovação da Norma para Auditoria Operacional (ISSAI 3000) no Congresso da Organização das Entidades Fiscalizadoras Superiores (Intosai) em 2016 e a nova estrutura de pronunciamentos profissionais aprovada no Congresso da Intosai em 2019; e   considerando os estudos e as conclusões constantes do processo TC 021.076/2020-0, resolve:   Art. 1º  Fica aprovada a revisão do Manual de Auditoria Operacional, nos termos do Anexo Único a esta portaria, contendo os requisitos e orientações que deverão ser aplicados à realização, ao controle e à asseguração de qualidade das auditoras operacionais a cargo das unidades técnicas do Tribunal de Contas da União.   Art. 2º Compete à unidade de métodos da Secretaria-Geral de Controle Externo realizar estudos e propor eventuais ajustes para o aperfeiçoamento do manual de que trata esta portaria, bem como esclarecer dúvidas e receber sugestões acerca do documento.   Art. 3º Ficam revogadas a Portaria-Segecex nº 4, de 26 de fevereiro de 2010, e a Portaria-Segecex nº 12, de 15 de março de 2002.   Art. 4º Esta portaria entra em vigor na data de sua publicação.            PAULO ROBERTO WIECHERS MARTINS           ANEXO DA PORTARIA-SEGECEX Nº 18, DE 12 DE NOVEMBRO DE 2020.              Tribunal de Contas da União   Secretaria-geral de Controle Externo   Secretaria de Métodos e suporte ao controle externo                       MANUAL DE   AUDITORIA OPERACIONAL       Edição de 2020                           Segecex / Semec   NOVEMBRO/2020       Tribunal de Contas da União       Internet: http://www.tcu.gov.br   SAFS, Quadra 4, Lote 01, Asa Sul   CEP: 70042-900 - Brasília-DF               Secretário-Geral de Controle Externo   Paulo Roberto Wiechers Martins       Secretário de Métodos e Suporte ao Controle Externo   Carlos Roberto Caixeta       Elaboração   Maria Lúcia de Oliveira Feliciano de Lima       Supervisão   Antonio Alves de Carvalho Neto       Revisores   Bruno de Souza Machado   Carla Ribeiro da Mota    Dagomar Henriques Lima   Eduardo Favero    Evandro Carvalho de Bulcão Vianna    Fábio Mafra   Luiz Geraldo Santos Wolmer    Marcelo Cardoso Soares    Renato Kanemoto   Salvatore Palumbo                          APRESENTAÇÃO         O objetivo deste Manual de Auditoria Operacional (MAO)  é definir requisitos e oferecer orientações para a realização desse tipo de auditoria e do seu controle de qualidade pelas unidades técnicas do Tribunal de Contas da União (TCU) . Destina-se a todos os auditores do TCU que realizem auditorias operacionais. Também pode ser usado por auditores de outras entidades ou unidades de auditoria e fiscalização que queiram aplicar em seus trabalhos práticas embasadas nas normas internacionais de auditoria da Intosai.     Esta é a quarta edição do manual, publicado inicialmente em 1998, revisado em 2000 e 2010. Diferencia-se das anteriores, pois está alinhado às Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI, na sigla em inglês) da International Organization of Supreme Audit Institutions - Intosai, aprovadas em 2016 e renumeradas para a nova estrutura de normas da Intosai em 2019. A ISSAI 3000 é o primeiro conjunto de normas internacionais de auditoria operacional, cuja elaboração foi realizada sob coordenação do TCU, quando na presidência do Subcomitê de Auditoria Operacional daquela entidade.    O MAO faz a ligação entre as Normas de Auditoria do Tribunal de Contas de União (NAT) , que são normas gerais para auditoria governamental, e as normas e orientações internacionais  (ISSAI)  aplicáveis à auditoria operacional, no contexto das práticas processuais e de auditoria em uso no TCU. Lembramos que as Normas Brasileiras de Auditoria do Setor Público (NBASP)  para auditoria operacional, publicada pelo Instituto Rui Barbosa (IRB), é a tradução da ISSAI 3000.     O documento reflete a evolução dos métodos e técnicas empregados pelo TCU e outras Entidades Fiscalizadoras Superiores (EFS) , por meio da acumulação de experiência na execução de auditorias operacionais. Na elaboração deste manual foram consideradas as melhores experiências internacionais sobre o tema, contribuições de profissionais desta Corte e as sugestões apresentadas por ocasião da consulta pública a qual foi submetida a versão inicial do documento em 2019.    Esperamos que o MAO contribua para sustentar a qualidade da auditoria operacional no TCU e seja a base segura para desenvolvimentos e inovações nas suas práticas de auditoria.           PAULO ROBERTO WIECHERS MARTINS   Secretário-Geral de Controle Externo              Sumário    1. INTRODUÇÃO    1.1 Estrutura de normas da Intosai    1.2 Definição de auditoria operacional    1.3 Principais conceitos em auditoria operacional    1.3.1 Economicidade    1.3.2 Eficiência    1.3.3 Eficácia    1.3.4 Efetividade    1.3.5 Equidade    1.3.6 Exemplo de aplicação    1.3.7 Outras dimensões de desempenho    1.4 Características da auditoria operacional    1.5 Ciclo de auditoria operacional    1.6 Elementos de auditoria operacional    2. REQUISITOS GERAIS    2.1. Independência e ética    2.2. Confiança e asseguração    2.3. Risco de auditoria    2.3.1 Conclusões incorretas ou incompletas    2.3.2 Relatório desequilibrado    2.3.3 Não agregação de valor    2.3.4 Dificuldade de acesso à informação ou informação de baixa qualidade    2.3.5 Omissões ou informações enganosas devido a erro de interpretação ou fraude    2.3.6 Dificuldade de análise dos dados    2.3.7 Dificuldade de lidar com temas complexos ou politicamente sensíveis    2.4. Comunicação    2.5. Habilidades    2.6. Supervisão    2.7. Julgamento e ceticismo profissionais    2.7.1 Risco de fraude    2.8. Controle e asseguração de qualidade    2.9. Materialidade    2.10.................................................................................................................................Documentação    3. SELEÇÃO DE TEMAS    3.1. Processo de seleção    3.2. Integração com o planejamento estratégico    3.3. Critérios de seleção    3.4. Levantamento    3.4.1 Levantamento de escopo amplo    3.4.2 Levantamento de escopo restrito    3.5. Formulação da proposta de auditoria    4. PLANEJAMENTO    4.1. Atividades do planejamento    4.2 Análise preliminar do objeto de auditoria    4.3. Estratégia global de auditoria    4.4. Definição da abordagem de auditoria    4.4.1 Enfoque integrado de governo    4.5. Definição do escopo da auditoria    4.6. Definição do objetivo e das questões de auditoria    4.6.1 Tipos de questão de auditoria    4.7 Definição dos critérios de auditoria    4.8 Matriz de planejamento    4.8.1 Validação da matriz de planejamento    4.9. Elaboração de instrumentos de coleta de dados e teste-piloto    4.10............................................................................................................................Plano de auditoria    5. EXECUÇÃO    5.1. Desenvolvimento dos trabalhos de campo    5.2. Achado de auditoria    5.3. Evidências    5.4. Técnicas de coleta de dados    5.4.1 Revisão documental    5.4.2 Entrevista    5.4.3 Aplicação de questionários    5.4.4 Observação direta    5.4.5 Grupo focal    5.5. Técnicas de análise de dados    5.5.1 Estatística descritiva    5.5.2 Regressão    5.5.3 Análise de conteúdo    5.5.4 Triangulação    5.5.5 Cruzamento eletrônico de dados    5.6. Matriz de achados    5.6.1 Validação da matriz de achados    6. RELATÓRIO E DIVULGAÇÃO    6.1. Orientações gerais para elaboração do relatório    6.2. Requisitos do relatório    6.3. Estilo de redação    6.4. Componentes do relatório    6.4.1 Elementos pré-textuais    6.4.2 Introdução    6.4.3 Visão geral    6.4.4 Capítulos principais    6.4.6 Conclusão    6.4.7 Proposta de encaminhamento    6.4.8 Elementos pós-textuais    6.5. Comentários dos gestores e análise da equipe    6.6 Divulgação    7. MONITORAMENTO    7.1 Formas de monitoramento    7.2 Sistemática de monitoramento    Referências    Apêndice A - Principais estratégias metodológicas utilizadas em auditoria operacional    Lista de ilustrações    Lista de siglas             1.    INTRODUÇÃO                                        No XX Congresso Internacional de Entidades Fiscalizadoras Superiores (Incosai, na sigla em inglês), em 2010, foram aprovadas as Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI, na sigla em inglês) para os três tipos de auditoria do setor público (operacional[1], financeira e de conformidade).                                 É importante que o Tribunal de Contas da União (TCU) disponha de um manual alinhado às ISSAI e que, ao mesmo tempo, possa interpretá-las no contexto das normas internas, incluindo as Normas de Auditoria do TCU (NAT) , e fornecer orientações adicionais que possibilitem aos auditores alinhar suas práticas de auditoria às normas profissionais internacionalmente aceitas.                                  Cabe esclarecer que o Instituto Rui Barbosa[2] (IRB), do qual o TCU faz parte, vem internalizando as ISSAI por intermédio da publicação das Normas Brasileiras de Auditoria do Setor Público (NBASP)  desde 2015. As NBASP realizam a convergência das ISSAI ao contexto dos tribunais de contas brasileiros ou são tradução direta dessas normas. Como a norma profissional para auditoria operacional, NBASP 3000, é tradução da ISSAI 3000, mantendo os números de parágrafos, o manual não faz referência às duas simultaneamente, adotando a ISSAI 3000 como fonte principal.                                  Ao longo do manual, são especificadas as condutas e práticas que devem ser adotadas pelo auditor, no exercício de suas atividades, e que se compatibilizam com o seu papel, o qual deve ser visto de forma abrangente, abarcando desde as atribuições dos dirigentes da Entidade Fiscalizadora Superior (EFS) , dos encarregados de supervisionar os trabalhos, até as dos membros das equipes de auditoria.                                  O manual também contribui para a realização de auditorias que integram a estratégia de avaliação de resultados de políticas e programas públicos, cujo produto é o relatório anual que deve ser enviado ao Congresso Nacional sobre a qualidade da implementação e o alcance de metas e objetivos dos programas e ações governamentais. Esse relatório visa subsidiar a discussão da lei orçamentária pela Comissão Mista de Planos, Orçamentos Públicos e Fiscalização  (CMO) .                                 Este manual é composto por 7 capítulos. Esta introdução resume a estrutura de normas da Organização das Entidades Fiscalizadoras Superiores (Intosai, na sigla em inglês), a definição de auditoria operacional e seus principais conceitos, uma breve descrição do ciclo de auditoria operacional e de seus elementos. O capítulo 2 apresenta os requisitos gerais para auditoria operacional estabelecidos nas ISSAI, que devem ser observados ao longo de todo seu processo. O capítulo 3 trata do processo de seleção de temas de auditoria. O capítulo 4 contém os conceitos e atividades referentes ao planejamento de uma auditoria operacional. O capítulo 5 trata da fase de execução da auditoria. O capítulo 6 contém orientações gerais, atributos e componentes do relatório de auditoria, estabelece requisitos para sua divulgação e explica a relevância dessa fase para a efetividade do controle. Finalmente, o capítulo 7 trata do monitoramento.                                  Os requisitos profissionais constantes na ISSAI 3000 estão destacados em caixas de texto no manual e guiam o desenvolvimento do conteúdo. As NAT e demais regulamentos internos encontram-se referenciados ao longo do texto.          1.1    Estrutura de normas da Intosai                                    A Estrutura de Pronunciamentos Profissionais da Intosai (IFPP, na sigla em inglês) sobre auditoria foi aprovada em setembro de 2019. A IFPP é formada por três categorias de pronunciamentos profissionais, organizados e numerados segundo seu propósito e status na estrutura, conforme apresentado na figura 1. Os pronunciamentos estão disponíveis em www.issai.org, com link para o Portal do TCU, onde parte deles estão traduzidos para o português.       Figura 1 - Estrutura de pronunciamentos profissionais da Intosai                                                                                                   Fonte: Traduzido de https://www.issai.org/professional-pronouncements/.                                        A primeira categoria abrange os princípios fundadores e os basilares da Intosai, chamados INTOSAI-P. Os princípios fundadores têm importância histórica, por constituírem o documento de fundação da Intosai. São princípios informativos para governos e parlamentos, assim como para as Entidades Fiscalizadoras Superiores (EFS) e para o público em geral, e podem ser usados como referência no estabelecimento de mandatos nacionais para as EFS. Os princípios basilares apoiam os princípios fundadores, esclarecendo o papel das EFS na sociedade, bem como os pré-requisitos de alto nível para o seu bom funcionamento e para a conduta profissional.                             A segunda categoria corresponde às ISSAI, que têm por objetivo:       a)    garantir a qualidade das auditorias realizadas;   b)    fortalecer a credibilidade dos relatórios de auditoria para os usuários;   c)    aumentar a transparência do processo de auditoria;   d)    especificar a responsabilidade do auditor em relação às outras partes envolvidas;   e)    definir os diferentes tipos de auditoria e o conjunto de conceitos relacionados que proporciona uma linguagem comum para a auditoria do setor público.                                As ISSAI são baseadas em um conjunto de princípios e conceitos que definem a auditoria do setor público e os diferentes tipos de trabalhos apoiados pelas ISSAI.                              As orientações da Intosai (GUID) são desenvolvidas para apoiar as EFS e os auditores a aplicar as ISSAI na prática ao realizarem auditorias financeiras, operacionais ou de conformidade e ao auditarem objetos de auditoria específicos.          1.2    Definição de auditoria operacional                                A auditoria operacional é o exame independente, objetivo e confiável que analisa se empreendimentos, sistemas, operações, programas, atividades ou organizações do governo estão funcionando de acordo com os princípios de economicidade, eficiência, eficácia e efetividade[3] e se há espaço para aperfeiçoamento (ISSAI 3000/17) .           1.3    Principais conceitos em auditoria operacional                                As auditorias operacionais podem examinar, em um mesmo trabalho, uma ou mais das principais dimensões de desempenho (economicidade, eficiência, eficácia e efetividade - os quatro Es) . O diagrama a seguir ilustra essas dimensões e suas inter-relações:             Figura 2 - Diagrama das principais dimensões de desempenho em auditoria operacional      Fonte: Adaptado do Manual de Auditoria de Resultados do Tribunal de Contas Europeu (TCE, 2017, p.18) .                                Para um melhor entendimento das principais dimensões de desempenho avaliadas em uma auditoria operacional, é necessário que alguns termos mencionados na Figura 2 sejam conceituados (TCE, 2017, p.18) :      a)    Necessidades são os problemas, as dificuldades ou as demandas do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos, que a intervenção pública procura resolver ou superar.   b)    Objetivos são as enunciações iniciais dos efeitos que se pretendem obter com a intervenção.    c)    Insumos são os bens e serviços empregados na produção de outros bens e serviços que serão entregues a outras organizações ou diretamente ao público alvo de uma intervenção.   d)    Atividades são procedimentos utilizados para converter recursos em produtos. O conceito abrange igualmente a comunicação de informações de gestão e a respectiva utilização pelos gestores.   e)    Produtos são bens ou serviços obtidos por meio da conversão de insumos e que serão entregues como realização da intervenção pública.   f)     Resultados são alterações ou efeitos imediatos experimentados pelos destinatários diretos da intervenção pública.    g)    Impactos são consequências socioeconómicas de longo prazo que podem ser observadas após um determinado período posterior à participação na intervenção e que podem afetar os destinatários diretos da intervenção ou os destinatários indiretos não inseridos na intervenção, que tenham sido por ela beneficiados ou prejudicados.   h)    Efeito é a alteração que resulta da execução da intervenção e que está normalmente relacionada com os seus objetivos. Os efeitos incluem os resultados e os impactos. Podem ser esperados ou não, positivos ou negativos (por exemplo, uma nova estrada que atrai investidores para uma região, mas que causa níveis de poluição inaceitáveis nas zonas que atravessa) .                                 Em administração pública, valor público são os produtos e resultados gerados, preservados ou entregues pelas atividades de uma organização que representem respostas efetivas e úteis às necessidades ou às demandas de interesse público e modifiquem aspectos do conjunto da sociedade ou de alguns grupos específicos reconhecidos como destinatários legítimos de bens e serviços públicos (BRASIL, 2017e) . Comparando essa definição com a Figura 2, observa-se que valor público abrange produtos, resultados e impactos socioeconômicos, isto é, o que é entregue pela intervenção pública e seus efeitos.           1.3.1 Economicidade                                A economicidade é a minimização dos custos dos recursos utilizados na consecução de uma atividade, sem comprometimento dos padrões de qualidade (GUID 3910/38). Os recursos usados devem estar disponíveis tempestivamente, em quantidade suficiente, na qualidade apropriada e com o melhor preço (ISSAI 300/11). Refere-se à capacidade de uma organização gerir adequadamente os recursos financeiros colocados à sua disposição.                             O exame da economicidade poderá abranger a verificação de práticas gerenciais, sistemas de gerenciamento, benchmarking de processos de compra e outros procedimentos afetos à auditoria operacional, enquanto o exame estrito da legalidade de procedimentos de licitação e da fidedignidade de documentos deverão ser objeto de auditoria de conformidade. Na prática, poderá haver alguma superposição entre auditoria de conformidade e auditoria operacional. Nesses casos, a classificação do tipo de uma auditoria específica dependerá de seu objetivo primordial.          1.3.2 Eficiência                                A eficiência é definida como a relação entre os produtos (bens e serviços) gerados por uma atividade e os custos dos insumos empregados para produzi-los, em um determinado período, mantidos os padrões de qualidade (GUID 3910/39). Essa dimensão refere-se ao esforço do processo de transformação de insumos em produtos. Pode ser examinada sob duas perspectivas: minimização do custo total ou dos meios necessários para obter a mesma quantidade e qualidade de produto; ou otimização da combinação de insumos para maximizar o produto quando o gasto total está previamente fixado (COHEN; FRANCO, 1993).                              A eficiência é um conceito relativo. Isso significa que em uma auditoria sobre eficiência é preciso algum tipo de comparação. Auditorias orientadas para eficiência podem também examinar os processos, desde os insumos até o produto, para expor as deficiências nesses processos ou na sua implementação (GUID 3910/41).          1.3.3 Eficácia                                A eficácia é definida como o grau de alcance das metas programadas (bens e serviços) em um determinado período, independentemente dos custos implicados (COHEN; FRANCO, 1993). O conceito de eficácia diz respeito à capacidade da gestão de cumprir objetivos imediatos, traduzidos em metas de produção ou de atendimento, ou seja, a capacidade de prover bens ou serviços de acordo com o estabelecido no planejamento das ações.                             É importante observar que a análise de eficácia deve considerar os critérios adotados para fixação da meta a ser alcançada. Uma meta subestimada pode levar a conclusões equivocadas a respeito da eficácia do programa ou da atividade sob exame. Além disso, fatores externos como restrições orçamentárias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a análise da eficácia.          1.3.4 Efetividade                                A efetividade diz respeito ao alcance dos resultados pretendidos, a médio e longo prazo. Refere-se à relação entre os resultados de uma intervenção ou programa, em termos de efeitos sobre a população-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalísticos da intervenção. Trata-se de verificar a ocorrência de mudanças na população-alvo que se poderia razoavelmente atribuir às ações do programa avaliado (COHEN; FRANCO, 1993).                             Portanto, examinar a efetividade de uma intervenção governamental significa ir além do cumprimento de objetivos imediatos ou específicos, em geral consubstanciados em metas de produção ou de atendimento (exame da eficácia da gestão). Trata-se de verificar se os resultados observados foram realmente causados pelas ações desenvolvidas e não por outros fatores (GUID 3910/42). A avaliação da efetividade pressupõe que bens e/ou serviços foram ofertados de acordo com o previsto. O exame da efetividade ou avaliação de impacto requer tratamento metodológico específico que busca estabelecer a relação de causalidade entre as variáveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa não existisse.                             É possível, em uma auditoria operacional, priorizar apenas um dos quatro Es. Porém, não é recomendável examinar aspectos de economicidade, eficiência, eficácia ou efetividade de atividades em total isolamento. Por exemplo, olhar para a economicidade sem considerar também, pelo menos sucintamente, o resultado de uma política pode levar a intervenções baratas, porém não efetivas. Inversamente, em uma auditoria de efetividade, o auditor pode também querer considerar aspectos de economicidade, eficiência e eficácia (GUID 3910/47).          1.3.5 Equidade                                O exame da equidade, que pode ser derivado da dimensão de efetividade da política pública, baseia-se no princípio que reconhece a diferença entre os indivíduos e a necessidade de tratamento diferenciado. Segundo Rawls (1995 apud COHEN; FRANCO, 1993, p. 25), "para proporcionar uma autêntica igualdade de oportunidades a sociedade deve atender mais aos nascidos com menos dotes e aos nascidos em setores socialmente menos favorecidos". O tratamento desigual é justo quando é benéfico ao indivíduo mais carente - desigualdade justa (RAWLS, 1995 apud MEDEIROS, 1999). Promover a equidade é garantir as condições para que todos tenham acesso ao exercício de seus direitos civis (liberdade de expressão, de acesso à informação, de associação, de voto, igualdade entre gêneros), políticos e sociais (saúde, educação, moradia, segurança). Portanto, as políticas públicas de proteção e de desenvolvimento social têm papel fundamental na construção da equidade.                             O exame da equidade poderá envolver, por exemplo, a investigação dos critérios de alocação de recursos vis-à-vis a distribuição espacial, o perfil socioeconômico ou de gênero da população-alvo; as estratégias adotadas pelo gestor público para adequar a oferta de serviços ou benefícios às diferentes necessidades do público-alvo.          1.3.6 Exemplo de aplicação                                 A aplicação dos conceitos de economia, eficiência, eficácia, efetividade e equidade pode ser entendida, de maneira simplificada, por meio do exemplo de um programa de vacinação contra sarampo. Se o gerente do programa adquiriu as vacinas mais baratas (mantendo os padrões de qualidade, o prazo de entrega e os outros requisitos estabelecidos), pode-se dizer que ele agiu de forma econômica.                              Suponha que os principais custos da vacinação sejam o pagamento dos enfermeiros vacinadores e as vacinas. Suponha também que os custos unitários desses insumos sejam os mesmos em diferentes municípios. O município A, com dez enfermeiros, vacinou cem crianças em uma semana e o município B (com condições similares ao município A), também com dez enfermeiros, vacinou 120 crianças em uma semana. Pode-se dizer que o programa de vacinação do município B foi mais eficiente, porque seu custo de vacinação por criança foi menor, considerando que todos trabalharam com a mesma qualidade.                             Se o município A tinha a meta de vacinar duzentas crianças em um mês e a meta foi alcançada, isso significa que o município foi eficaz. Se, nos próximos anos, diminuiu a incidência de sarampo entre as crianças do município A, o programa foi efetivo. Se o programa incluiu ação para alcançar crianças que habitam em áreas onde o acesso ao serviço de vacinação é difícil, pode-se dizer que o gestor do programa buscou agir de acordo com o conceito de equidade.                         1.3.7 Outras dimensões de desempenho                                Além das quatro dimensões de desempenho examinadas, outras, a elas relacionadas, poderão ser explicitadas em razão de sua relevância para a delimitação do escopo das auditorias operacionais. Aspectos como qualidade dos serviços, grau de adequação dos resultados dos programas às necessidades do público-alvo (geração de valor público), equidade na distribuição de bens e serviços, podem ser tratados em auditorias operacionais com o objetivo de subsidiar a accountability de desempenho da ação governamental.          1.4    Características da auditoria operacional                                As auditorias operacionais possuem características próprias que as distinguem dos outros tipos de auditoria. Ao contrário das auditorias de conformidade e financeiras, que adotam padrões relativamente fixos, as auditorias operacionais, devido à variedade e complexidade das questões tratadas, possuem maior flexibilidade na escolha de temas, objetos de auditoria, métodos de trabalho e forma de comunicar as conclusões de auditoria. Empregam ampla seleção de métodos de avaliação e investigação de diferentes áreas do conhecimento, em especial das ciências sociais. Além disso, esse tipo de auditoria requer do auditor flexibilidade, imaginação e capacidade analítica.                             Nas auditorias financeiras e de conformidade, quando são trabalhos de certificação, as conclusões assumem a forma de opinião concisa e de formato padronizado sobre demonstrativos financeiros e sobre a conformidade das transações com leis e regulamentos, ou sobre temas como controles internos, entre outros. Entretanto, normalmente não se espera que auditores operacionais apresentem uma opinião geral, comparável à opinião padronizada dos trabalhos de certificação, sobre se a organização ou programa auditado alcançou economicidade, eficácia, eficiência e efetividade (ISSAI 300/21).                              Os relatórios de auditoria operacional podem variar consideravelmente em escopo e natureza, informando, por exemplo, sobre a adequada aplicação dos recursos, sobre o impacto de políticas e programas e propondo mudanças destinadas a aperfeiçoar a gestão. Pela sua natureza, as auditorias operacionais são mais abertas a julgamentos e interpretações e seus relatórios, consequentemente, são mais analíticos e argumentativos.                              Devido aos diferentes objetivos dos três tipos de auditoria, são necessárias diferentes abordagens para realizá-las. O Quadro 1 enfatiza aspectos distintivos de cada tipo de auditoria, de forma a possibilitar uma melhor compreensão de suas peculiaridades.          Quadro 1 - Características das auditorias de conformidade, operacional e financeira                                  Característica               Auditoria operacional               Auditoria de conformidade               Auditoria financeira                           Conceitos-chave               Economia, eficiência, eficácia, efetividade               Conformidade com leis e regulamentos               Materialidade, demonstrações financeiras livres de erros materiais                           Objetivo               Contribuir para a melhoria da gestão pública               Verificar se o gestor atuou de acordo com normas aplicáveis               Aumentar o grau de confiança nas demonstrações por parte dos usuários previstos                           Papel do auditor               Avaliar o desempenho               Verificar se há discrepância entre a situação encontrada e a lei ou norma               Expressar opinião quanto a estarem as informações financeiras livres de distorções relevantes devido a fraude ou erro                           Principais áreas de conhecimento do auditor               Ciências sociais, análise de políticas               Direito               Contabilidade                             Critérios               Normas legais, boas práticas, valores profissionais, modelos, experiências               Normas, que incluem leis e regulamentos, resoluções, políticas, códigos, termos acordados ou princípios gerais                Estrutura de relatório financeiro aplicável (normas contábeis) e marco regulatório aplicável                           Funcionamento esperado do objeto auditado               Atividades executadas da melhor maneira possível               Atividades, transações, informações aderentes às normas aplicáveis               Demonstrações financeiras de acordo com a estrutura de relatório financeiro aplicável                            Perfil do gestor               Flexível, empreendedor               Conformidade com procedimentos                Conformidade com procedimentos                     Fonte: elaboração própria com base em Barzelay (1997) , IDI (2016, p. 36) , ISSAI 200 e 400.                                     Também é possível conduzir auditorias combinando, em um mesmo trabalho, aspectos operacionais, financeiros e de conformidade (ISSAI 100/23). No TCU essas auditorias são denominadas auditorias integradas. Nesses trabalhos, o objetivo primário da auditoria deverá orientar quais normas serão aplicadas (ISSAI 3000/16).          1.5    Ciclo de auditoria operacional                                De forma ampla, a auditoria do setor público pode ser entendida como um processo sobre o qual atuam diversos fatores, conforme ilustrado na Figura 3.                              Os insumos do processo de auditoria, isto é, suas entradas, ou aquilo que será utilizado para produzir os resultados, são essencialmente informações. Na figura 3, o objeto da auditoria é apresentado como um elemento pré-definido, como ocorre normalmente no processo de trabalho do TCU. Em auditoria operacional, frequentemente o tema da auditoria é pré-definido, mas é necessário delimitar melhor o objeto na fase de planejamento.                             Os requisitos são as disposições normativas em geral quanto à auditoria, tais como as normas de auditoria dos órgãos regulamentadores, leis e normas que regulam o funcionamento das organizações envolvidas e do objeto de auditoria, padrões de trabalho estabelecidos pela entidade de auditoria e controle, bem como o objetivo e escopo de cada trabalho de auditoria em particular, quando são pré-definidos.                              Os recursos necessários para a auditoria são os recursos materiais, tecnológicos e humanos para realizar o trabalho, incluindo as competências técnicas em termos de conhecimento, habilidades e atitudes dos auditores e demais profissionais que concorrem para a produção do resultado da auditoria.                              Os produtos da auditoria são documentados no relatório da auditoria. São os achados, as avaliações, as opiniões e conclusões e as recomendações e determinações propostas.                              Os usuários da auditoria do setor público abrangem os relatores e colegiados dos tribunais de contas, quem solicitou a auditoria, podendo ser o Legislativo ou o próprio auditado, os órgãos ou as pessoas que compõem a gestão superior do auditado, os dirigentes de órgãos supervisores e, em última instância, a sociedade.      Figura 3 - Diagrama conceitual da auditoria do setor público      Fonte: Adaptado de  (BRASIL, 2011a) .                                 Alterando o nível de análise, é possível examinar em mais detalhe o ciclo da auditoria, em particular o ciclo da auditoria operacional, como visto na Figura 4.      Figura 4 - Ciclo de auditoria operacional      Fonte: Adaptado de NAO (1997) . Imagens Freepik                                Sinteticamente, o ciclo de auditoria operacional se inicia com a seleção dos temas. Após a definição de um tema específico, deve-se proceder ao planejamento para definição de uma estratégia global e elaboração do plano de auditoria[4], que tem por finalidade detalhar os objetivos do trabalho, as questões a serem investigadas, os procedimentos a serem desenvolvidos e os resultados esperados com a realização da auditoria. Na fase de execução, realiza-se a coleta dos dados e informações e sua análise. A seguir, desenvolve-se o relatório preliminar, que é enviado ao gestor para comentários. Após a análise dos comentários do gestor pela equipe de auditoria, efetuam-se as alterações necessárias (se for o caso), obtendo-se o relatório final, que é submetido à apreciação do ministro-relator e do plenário.                              Depois de apreciado, o relatório de auditoria é divulgado amplamente, para chegar às mais diversas partes interessadas e aumentar a chance de implementação das deliberações do TCU, na forma de recomendações e determinações. A etapa de monitoramento destina-se a acompanhar as providências adotadas pelo auditado em resposta às deliberações proferidas, de modo que os efeitos pretendidos possam ser alcançados, assim como a aferir os benefícios decorrentes de sua implementação.                             É importante mencionar que as etapas são apresentadas no ciclo de forma subsequente para facilitar a visualização. Na prática, pode haver superposições. Por exemplo, o relatório de auditoria pode (e deve) começar a ser estruturado no início do planejamento, mediante um esboço baseado na hierarquia dos objetivos de auditoria formulados  (questão fundamental, questões, subquestões e hipóteses de auditoria. Ver item 4.6), obtendo-se, assim, uma noção clara da direção do trabalho, projetando-se as conclusões possíveis a que se pode chegar com a sua realização.          1.6    Elementos de auditoria operacional                              Requisitos               O auditor deve identificar explicitamente os usuários previstos e as partes responsáveis da auditoria e, ao longo dela, considerar a implicação dos papéis dessas partes, a fim de conduzir a auditoria de maneira apropriada (ISSAI 3000/25).                O auditor deve identificar o objeto da auditoria operacional (ISSAI 3000/29).                                                         São elementos da auditoria operacional o auditor, a parte responsável, os usuários previstos, os critérios para avaliar o objeto de auditoria e a informação resultante da avaliação do objeto (ISSAI 100/24). Esses elementos apresentam aspectos peculiares nos diferentes tipos de auditoria.                             Para as ISSAI, o auditor é o titular da EFS e as pessoas a quem é delegada a tarefa de conduzir auditorias (ISSAI 100/25). Essa definição decorre dos diferentes modelos institucionais das EFS no mundo. No modelo de controladoria geral, os relatórios são assinados apenas pelo controlador geral, que assume toda a responsabilidade pelo trabalho. Nos tribunais de contas, os auditores são aqueles que conduzem as auditorias, com responsabilidades de supervisão atribuídas aos níveis gerenciais. Dessa forma, as normas devem ser interpretadas de acordo com esses desenhos institucionais, os agentes envolvidos e as suas competências.                              Usuários previstos são as pessoas ou organizações para quem o auditor elabora o relatório de auditoria. Os poderes executivo e legislativo, as entidades governamentais, pessoas ou entidades interessadas no relatório e o público em geral são exemplos de usuários previstos (ISSAI 100/25, ISSAI 3000/26).                             Em auditoria operacional, o papel de uma parte responsável pode ser compartilhado por uma variedade de indivíduos ou entidades, cada uma com certas responsabilidades por um aspecto diferente do objeto. A parte responsável pode incluir responsáveis pelo objeto auditado, mas pode também referir-se às pessoas responsáveis por implementar as deliberações proferidas pelo Tribunal e efetuar as mudanças requeridas. O auditado também pode ser um usuário previsto, mas normalmente não será o único (ISSAI 3000/27).                             O objeto de auditoria refere-se à questão "o que é auditado" e a sua delimitação chama-se escopo. Os objetos de auditoria operacional podem ser programas específicos, empreendimentos, sistemas, entidades ou fundos e podem incluir atividades ou situações existentes, incluindo causas e efeitos (ISSAI 3000/30). O objeto da auditoria operacional é determinado pelo objetivo e especificado nas questões de auditoria (ISSAI 300/19). O objeto de auditoria deve ser identificável e passível de avaliação consistente baseada em critérios, bem como permitir a obtenção de evidências suficientes e apropriadas para fundamentar as conclusões de auditoria (ISSAI 100/26).                             Critérios de auditoria são as referências usadas para avaliar o objeto (ISSAI 100/27) . A seção 4.7 deste manual tem mais informações sobre o tema.                             A informação do objeto refere-se ao resultado da avaliação ou mensuração do objeto de acordo com os critérios (ISSAI 100/28). Em auditoria operacional, é o auditor quem mensura ou avalia o objeto de acordo com os critérios e produz a informação do objeto. Em auditoria financeira, por exemplo, a parte responsável apresenta a informação do objeto (as demonstrações financeiras) , sobre a qual o auditor então obtém evidência de auditoria suficiente e apropriada para proporcionar uma base razoável para expressar uma conclusão.             2.    REQUISITOS GERAIS                                    As normas internacionais de auditoria da Intosai incluem uma série de requisitos necessários para a condução de auditorias efetivas e com alta qualidade. Em auditorias operacionais, esses requisitos são apresentados na ISSAI 3000 (Norma para auditoria operacional) e detalhados na GUID 3910 (Orientações sobre conceitos centrais para auditoria operacional).                              O objetivo deste capítulo é apresentar, de forma resumida, os requisitos gerais para auditoria operacional estabelecidos nas mencionadas ISSAI, no contexto do Tribunal. Alguns requisitos já foram apresentados no capítulo 1 deste manual (usuários previstos, partes responsáveis, objeto), outros serão abordados no capítulo 4  (objetivo, abordagem e critérios de auditoria).           2.1.            Independência e ética                             Requisitos               O auditor deve cumprir os procedimentos para independência e ética da EFS, os quais, por sua vez, devem cumprir as ISSAI sobre independência e ética (ISSAI 3000/21) .               O auditor deve ter o cuidado de manter-se independente, de modo que os resultados e as conclusões da auditoria sejam imparciais e assim sejam vistos pelos usuários previstos (ISSAI 3000/23) .                                                        Independência e ética são conceitos-chave para os auditores e para as EFS. Independência significa não estar sob domínio ou influência indevida. Ética é um conjunto de princípios de conduta que norteiam um indivíduo ou um grupo de indivíduos. Refere-se àquilo que pertence ao bom costume. Ambos podem ser examinados no nível institucional (EFS) e no nível pessoal (auditor).                             A INTOSAI-P 1 (Declaração de Lima) destaca a independência, dividindo-a em três aspectos com relação às EFS: independência, independência financeira e independência dos membros e servidores. Estabelece que a EFS deve ser independente da unidade auditada e protegida de influências externas. Sua independência deve estar registrada na Constituição e ela deve ter os meios financeiros para realizar suas atribuições.                             A ISSAI 10 (Declaração do México) trata especificamente de independência e estabelece oito princípios como requisitos essenciais para que a auditoria do setor público seja exercida de forma apropriada:          A existência de um marco constitucional/legal adequado e efetivo e que seja aplicado na prática.    Independência dos dirigentes da EFS, incluindo segurança do mandato e imunidade legal para exercer suas atribuições.    Um mandato suficientemente amplo e discricionariedade para exercer suas funções.    Acesso irrestrito à informação.    Direito e obrigação de relatar os resultados do seu trabalho.    Liberdade para decidir o conteúdo e o calendário dos relatórios de auditoria, e de publicá-los e disseminá-los.    Existência de mecanismos efetivos de monitoramento das recomendações.    Autonomia financeira, gerencial e administrativa e disponibilidade de recursos humanos, materiais e financeiros adequados.                                   A Declaração de Lima ressalta que a independência da EFS é inseparável da independência de seus membros, que são os responsáveis por tomar decisões na instituição. Sobre os servidores, é dito que eles não devem ser influenciados pelas entidades auditadas e ser dependentes delas. Para ser independente e ser visto como tal, o auditor deve estar livre de situações que possam prejudicar sua objetividade, o que é reforçado pelas NAT (42-44, 56-58) . Segundo a ISSAI 130/9 (Código de Ética da Intosai), independência e objetividade são valores fundamentais e significam estar livre de circunstâncias ou influências que comprometam, ou possam ser vistas como comprometedoras do julgamento profissional, e agir de maneira imparcial e não enviesada.                             A independência abrange dois aspectos: independência de fato e independência na aparência (ISSAI 130/36) . A independência de fato é uma situação em que os indivíduos são capazes de realizar atividades sem serem afetados por relacionamentos que podem influenciar e comprometer o julgamento profissional, permitindo que eles ajam com integridade e exerçam objetividade e ceticismo profissional.                             Independência na aparência é a ausência de circunstâncias que levariam um terceiro sensato e informado, com conhecimento de informações relevantes, a duvidar da integridade, objetividade ou ceticismo profissional do auditor ou concluir que eles foram comprometidos.                             O auditor necessita exercer sua independência durante todo o processo da auditoria operacional para tomar decisões-chave em diversos momentos, tais como (NAT, 48.1; GUID 3910/11):      a)    escolha do tema e dos objetivos da auditoria;   b)    identificação de critérios;   c)    definição da abordagem metodológica;   d)    obtenção e avaliação das evidências;   e)    discussão dos critérios e achados com a entidade auditada;   f)     elaboração das conclusões da auditoria;   g)    avaliação de opiniões, dados e informações obtidos das várias partes interessadas;   h)    elaboração de relatório justo, objetivo e equilibrado.                                 As ameaças à independência e os mecanismos de controle existentes devem ser considerados antes e durante a auditoria.                             A EFS é responsável por estabelecer mecanismos de gestão de ética que crie um ambiente que favoreça o comportamento ético (ISSAI 130/4). Entre os principais requisitos para os Tribunais, destacam-se a responsabilidade de promover a cultura da ética, implementar um sistema de controle que identifique e análise riscos éticos para mitigá-los e para tratar violações aos valores éticos, incluindo a proteção àqueles que comunicarem comportamentos suspeitos (ISSAI 130/12).                              O Código de Ética dos Servidores do TCU (BRASIL, 2009)  estabelece os princípios e normas de conduta ética aplicáveis e dispõe sobre os direitos, deveres, vedações, relações com o fiscalizado e situações de impedimento ou suspeição. Também dispõe sobre a gestão de ética no TCU.                               De acordo com a GUID 3910/10, ética significa os princípios morais de um indivíduo, que incluem independência, integridade, objetividade, competência profissional e devido zelo, confidencialidade e comportamento profissional.           2.2.            Confiança e asseguração                              Requisito               O auditor deve comunicar de forma transparente o nível de asseguração dos resultados da auditoria do objeto em relação aos critérios (ISSAI 3000/32) .                                                         Todo trabalho de auditoria é um tipo de serviço de asseguração, o que significa que o auditor fornece informações confiáveis e válidas a um usuário previsto sobre as atividades de uma parte responsável. A função de auditoria pública pode ser interpretada, no nível macro, como um serviço prestado pelos Tribunais (auditor) que fornece ao Poder Legislativo e à sociedade (usuários previstos) asseguração sobre as informações financeiras e a situação de desempenho e de conformidade do Poder Executivo e demais gestores (parte responsável). Como a função legislativa consome muito do tempo do Poder Legislativo e este não tem competência técnica para ele mesmo realizar a auditoria, institui o Tribunal de Contas, como órgão especializado, que audita a Administração Pública Federal e, particularmente com relação à auditoria operacional, contribui para reduzir a assimetria de informação entre os Poderes Legislativo e Executivo sobre a execução das políticas públicas.                             Então, os relatórios de auditoria destinam-se a dar confiança aos usuários previstos de que as conclusões de auditoria são confiáveis e válidas (GUID 3910/27-28). Para que isso ocorra, é necessário que as conclusões sejam logicamente ligadas aos objetivos e critérios de auditoria e sejam sustentadas por evidência suficiente e apropriada.                             O conceito de asseguração é inseparável do conceito de risco de auditoria. Risco de auditoria, conforme apresentado na seção 2.3 deste manual, é o risco de que o relatório de auditoria possa ser inadequado, apresentar conclusões incorretas ou incompletas, fornecer informações desequilibradas ou deixar de agregar valor para os usuários (ISSAI 100/40; ISSAI 300/28). As auditorias devem gerar informações baseadas em evidência suficiente e apropriada, e os auditores devem executar procedimentos para reduzir o risco de auditoria (ISSAI 100/31).                             A norma de auditoria operacional estabelece que o auditor deve comunicar de forma transparente o nível de asseguração dos resultados da auditoria do objeto em relação aos critérios. No entanto, em auditoria operacional, não se espera que essa comunicação seja apresentada por meio de uma opinião geral e padronizada sobre se a entidade auditada alcançou economicidade, eficiência, eficácia e efetividade, como ocorre nas auditorias financeiras sobre a fidedignidade das demonstrações contábeis (ISSAI 300/21). Também não se dá uma declaração padronizada sobre o nível asseguração. Algumas EFS consideram o nível de asseguração em auditoria operacional como um continuum, porque quanto mais abrangentes forem os procedimentos de auditoria e mais robustas forem as evidências, maior será o grau de asseguração.                             A maneira de fornecer asseguração em auditoria operacional é a estabelecida na ISSAI 100/32, sob o item "De outras formas". O auditor fornece aos usuários o grau de confiança necessário descrevendo explicitamente, de uma maneira equilibrada e fundamentada, como os achados, os critérios e as conclusões foram desenvolvidos e por que as combinações de achados e critérios resultaram em uma determinada conclusão geral ou recomendação. Sendo assim, é fundamental que o relatório de auditoria explique o método e os procedimentos adotados para desenvolver o trabalho e chegar às conclusões. O relatório de auditoria tem um papel importante na comunicação da asseguração, porque ele contém todos os elementos da auditoria, a descrição do método, as evidências, as limitações, os achados e as conclusões. O auditor deve garantir que o relatório de auditoria não levará o usuário a concluir erroneamente com relação ao nível de asseguração apresentado.          2.3.            Risco de auditoria                              Requisito               O auditor deve gerenciar ativamente o risco de auditoria para evitar o desenvolvimento de achados, conclusões e recomendações incorretos ou incompletos, fornecendo informações desequilibradas ou que não agregam valor (ISSAI 3000/52).                                                         Risco de auditoria é o risco de obter conclusões incorretas ou incompletas, fornecendo informações desequilibradas ou deixando de agregar valor para os usuários. Os auditores devem gerenciar ativamente esses riscos. Os documentos de planejamento da auditoria devem indicar os possíveis riscos da auditoria em curso e mostrar como esses riscos serão tratados (ISSAI 300/28). Para gerenciar o risco de auditoria, o auditor precisa identificar e avaliar os riscos; desenvolver e implementar estratégias para prevenir e mitigar esses riscos; monitorar o risco de auditoria e as estratégias de mitigação durante toda a auditoria, aplicando uma abordagem de gerenciamento do risco (GUID 3910/62).                             A seguir, serão apresentados alguns riscos de auditoria e medidas para tratá-los. Estes itens foram adaptados do Manual de Auditoria de Desempenho da Iniciativa de Desenvolvimento da Intosai (IDI, 2016).          2.3.1        Conclusões incorretas ou incompletas                                É possível mitigar esse risco se:      a)    os auditores tiverem as competências necessárias para realizar a auditoria;   b)    a equipe de auditoria, coletivamente, tiver conhecimento adequado do objeto e das técnicas de auditoria;   c)    os critérios de auditoria forem cuidadosamente escolhidos e discutidos com o auditado;   d)    as evidências forem suficientes e apropriadas;   e)    a matriz de achados for validada por painel de referência;   f)     o relatório preliminar for enviado ao gestor para comentários;   g)    o controle de qualidade for exercido;   h)    os recursos alocados para a auditoria (quantidade de auditores, prazo etc.) forem compatíveis com o objetivo e escopo da fiscalização.        2.3.2        Relatório desequilibrado                                Essa situação pode ocorrer quando o relatório não registra boas práticas e esforços desenvolvidos pelos auditados e foca somente nas deficiências e falhas. É possível mitigar o risco de ter um relatório desequilibrado se a equipe de auditoria:      a)    buscar informações de diferentes fontes;   b)    mantiver um fluxo de comunicação constante e amigável com o auditado desde o planejamento da auditoria;   c)    der ao auditado a oportunidade de comentar o relatório preliminar.       2.3.3        Não agregação de valor                                Agregar valor em auditoria significa apresentar novos conhecimentos e perspectivas, tornar a informação acessível a vários stakeholders, propor recomendações construtivas e úteis. É possível mitigar o risco de o relatório de auditoria não agregar valor se:      a)    o tema auditado for selecionado de acordo com os critérios de significância e auditabilidade, previstos nas normas internacionais. A seção 3.3.3 deste manual aborda critérios de seleção de temas de auditoria;   b)    houver supervisão adequada;   c)    os objetivos da auditoria forem definidos, considerando o impacto que a auditoria poderá gerar;   d)    a equipe de auditoria, durante a fase de planejamento do trabalho, aprofundar os conhecimentos sobre o objeto auditado, por meio de avaliação de riscos ou análise de problema;   e)    a equipe de auditoria validar a matriz de planejamento em painel de referência e discuti-la com os auditados;   f)     as deliberações propostas forem lógicas, práticas, baseadas nos achados e principalmente voltadas a resolver as causas das deficiências de desempenho identificadas ou, se não for possível identificá-las, mitigar seus efeitos;   g)    o relatório de auditoria for amplamente divulgado.       2.3.4        Dificuldade de acesso à informação ou informação de baixa qualidade                                Para mitigar esse risco, algumas medidas a adotar poderiam ser:      a)    documentar, durante o planejamento, as possíveis fontes de evidência e as técnicas de coleta de dados a usar para obter as evidências;   b)    avaliar a possibilidade e a viabilidade de obtenção de informações e a qualidade dessas informações durante a definição do escopo da auditoria;   c)    avaliar a qualidade dos controles internos aplicados ao objeto auditado;   d)    obter evidências de distintas fontes;   e)    registrar no relatório de auditoria possíveis limitações referentes à obtenção e à qualidade dos dados obtidos. Essa situação pode, eventualmente, ser caracterizada como um achado de auditoria.       2.3.5        Omissões ou informações enganosas devido a erro de interpretação ou fraude                                É possível mitigar esse risco se:      a)    a equipe de auditoria, coletivamente, tiver os conhecimentos necessários para identificar lacunas e inconsistências, bem como para avaliar a plausibilidade das explicações fornecidas;   b)    as informações forem confirmadas ou refutadas com fontes distintas;   c)    as informações prestadas forem passíveis de verificação por meio de consultas e cruzamentos de bases de dados.       2.3.6        Dificuldade de análise dos dados                                É possível mitigar esse risco se:      a)    o objeto de auditoria selecionado for auditável;   b)    a proposta de auditoria contiver informações sobre as competências necessárias para a realização da auditoria;   c)    a equipe de auditoria, coletivamente, tiver os conhecimentos necessários para realizar a auditoria;   d)    os critérios forem bem selecionados ou bem elaborados;   e)    for prevista a participação de especialista   f)     os procedimentos de análise de dados presentes na matriz de planejamento forem bem detalhados.       2.3.7        Dificuldade de lidar com temas complexos ou politicamente sensíveis                                É possível mitigar esse risco se:      a)    a EFS se mantiver neutra politicamente e for percebida dessa maneira;   b)    o auditor mantiver sua independência durante todo o trabalho;   c)    a equipe de auditoria não questionar as intenções e decisões da política;   d)    houver ampla consulta a diversos stakeholders durante a auditoria, incluindo especialistas e entidade auditada.       2.4.            Comunicação                              Requisitos               O auditor deve planejar e manter uma comunicação eficaz e adequada dos aspectos-chave da auditoria com a entidade auditada e as partes interessadas relevantes durante todo o processo de auditoria (ISSAI 3000/55).                O auditor deve ter o cuidado de garantir que a comunicação com as partes interessadas não comprometa a independência e a imparcialidade da EFS (ISSAI 3000/59).                A EFS deve comunicar claramente as normas que foram seguidas na realização da auditoria operacional (ISSAI 3000/61).                                                         Espera-se que as auditorias operacionais contribuam para a melhoria das atividades e serviços sob análise. Isso ocorre, geralmente, por meio da implementação das recomendações e determinações propostas no relatório. Para que aumentem as chances de implementação, é importante que o auditado esteja convencido de que elas são relevantes e agregarão valor. Esse convencimento torna-se mais fácil quando há um diálogo eficaz entre auditor e auditado desde o início da auditoria. A interação construtiva com a entidade auditada e o apoio dos auditados contribuirão bastante para que a auditoria seja efetiva e tenha impacto.                                       O estabelecimento de uma boa comunicação de mão dupla com a entidade auditada e com as partes interessadas é importante desde o início do planejamento da auditoria porque pode ajudar no acesso a dados e informações e na obtenção de melhor visão das perspectivas das diversas partes interessadas. Por isso, o auditor deve comunicar ao auditado todos os aspectos-chave da auditoria em curso (NAT, 82) . Esses aspectos incluem: objeto, objetivo, questões e critérios de auditoria, e período a ser auditado (ISSAI 3000/57).                             Como as auditorias operacionais não são realizadas regularmente sobre as mesmas entidades e há mudança periódica na administração, pode ser que ainda não existam canais de comunicação estabelecidos ou boa compreensão sobre a natureza desse tipo de auditoria entre os auditados  (ISSAI 300/29). Em todo caso, a equipe de auditoria, junto com o supervisor, deve realizar reunião com os auditados no início dos trabalhos, para apresentar as principais características da auditoria operacional e os principais aspectos  (objeto, objetivo, escopo) da auditoria que será realizada.  Também é importante manter a comunicação durante todo o trabalho e realizar reuniões em momentos-chave, por exemplo: aplicação de técnicas de diagnóstico, discussão dos critérios, apresentação das matrizes de planejamento e de achados. Além disso, deve-se informar ao auditado que o relatório preliminar será enviado para comentários, conforme mencionado no capítulo 6 deste manual.                             Os auditores devem manter boas relações profissionais com todas as partes interessadas relevantes (entidade auditada, Congresso Nacional, mídia, academia, cidadãos) e promover um fluxo de informações respeitoso, franco e livre (se os requisitos de confidencialidade permitirem). Deve-se tomar cuidado para garantir que essa comunicação com as partes interessadas não comprometa nem a independência nem a imparcialidade da equipe de auditoria (ISSAI 300/29).                             É importante que a EFS desenvolva uma estratégia de comunicação que considere as principais partes interessadas. Além da entidade auditada, outra parte interessada importante é o Congresso Nacional, que pode usar os relatórios da EFS para melhorar a accountability e a gestão governamental. Se os relatórios forem ignorados ou mal-entendidos, isso levará a um desperdício de recursos e até mesmo ao questionamento da credibilidade da EFS. Deve ficar claro para todos que auditorias de desempenho têm por objetivo avaliar economicidade, eficiência, eficácia e efetividade e não identificar fraudes ou punir indivíduos (IDI, 2016).                             A mídia exerce papel importante na divulgação das auditorias operacionais e no impacto causado por elas. Aumenta a probabilidade de a mídia contribuir para a efetividade se a EFS estabelecer estratégicas de comunicação específicas e de relacionamento e trabalhar os meios de comunicação para garantir que as informações publicadas sejam corretas e precisas.               2.5.            Habilidades                             Requisito               A EFS deve garantir que a equipe de auditoria possua, coletivamente, a competência profissional necessária para realizar a auditoria (ISSAI 3000/63).                                                         A norma de auditoria estabelece que a competência profissional é um atributo coletivo (NAT, 48.2, 52) . Isso significa que auditoria é um trabalho de equipe, não sendo recomendável sua realização por um único auditor.                              Competência é um valor ético fundamental que abrange requisitos que devem ser cumpridos pelo Tribunal e pelos auditores (ISSAI 130/50). O Tribunal deve designar equipes que coletivamente possuam as competências necessárias para a auditoria, deve oferecer oportunidades de treinamento, suporte técnico e supervisão, bem como oferecer ferramentas de capacitação e compartilhamento de informações. Por sua vez, os auditores, além de cumprirem as normas profissionais aplicáveis, devem manter e desenvolver seus conhecimentos e habilidades para acompanhar os desenvolvimentos em seu ambiente profissional, a fim de desempenhar seu trabalho da melhor maneira possível (ISSAI 130/51).                             A competência profissional em auditoria operacional inclui conhecimento em uma série de temas, como: projetos e metodologia de pesquisa, ciências sociais, políticas públicas, administração pública, técnicas de investigação e avaliação quantitativa e qualitativa, técnicas de coleta e análise de dados (ISSAI 300/30) .                             Também é fundamental que os integrantes da equipe tenham habilidades pessoais, tais como: capacidade de trabalhar em equipe, capacidade analítica, capacidade de escrita e de comunicação, criatividade e receptividade em relação a distintos argumentos, capacidade de negociação (ISSAI 300/30) .                             Para uma auditoria específica, a equipe necessita de bom entendimento das organizações, dos programas e das funções governamentais relacionados ao objeto da auditoria. Dependendo do tema, pode ser necessário conhecimento mais especializado, como, por exemplo, estatística ou tecnologia da informação.                             Como o espectro de temas para a auditoria operacional é muito amplo, é recomendável, e quase sempre necessário, que a equipe de auditoria procure especialistas para obter informações específicas e em profundidade sobre o tema da auditoria. Se for firmada alguma parceria ou contratado algum especialista para complementar o conhecimento da equipe de auditoria, essa pessoa deverá cumprir os critérios de ética, independência e confidencialidade a que a equipe está sujeita. Ressalte-se que a responsabilidade final pelo relatório de auditoria e suas conclusões são da equipe (NAT, 120-122) .          2.6.            Supervisão                             Requisito               A EFS deve garantir que o trabalho dos auditores de todos os níveis e em todas as fases da auditoria seja adequadamente supervisionado durante o processo de auditoria (ISSAI 3000/66).                                                         A EFS deve garantir que o trabalho dos auditores seja supervisionado em todas as fases da auditoria (NAT, 73) . Supervisionar significa fornecer orientação e direção à equipe de auditoria. O supervisor deve ter competência e conhecimentos em metodologia de auditoria, planejamento e monitoramento dos trabalhos, gestão de projetos, pensamento estratégico, visão prospectiva e resolução de problemas. O nível de supervisão do trabalho pode variar de acordo com a experiência da equipe e a complexidade do objeto auditado (ISSAI 3000/66-67).                              A supervisão é essencial para garantir o alcance dos objetivos da auditoria com qualidade. É um dos elementos do controle de qualidade (seção 2.8) . A supervisão dos trabalhos deve procurar assegurar que  (NAT, 74-75) :      a)    os objetivos da auditoria sejam alcançados;   b)    a auditoria seja executada de acordo com as normas internacionais de auditoria da Intosai e os padrões e normas técnicas adotados pelo TCU;   c)    o plano de auditoria seja cumprido;   d)    as competências necessárias para a execução da auditoria sejam de domínio da equipe, possam ser desenvolvidas ou incorporadas mediante requisição ou contratação de serviços;   e)    os membros da equipe tenham compreensão clara e consistente do plano de auditoria;   f)     os achados e as conclusões da auditoria estejam baseados em informações confiáveis e em evidências válidas, confiáveis, relevantes e suficientes;   g)    a auditoria seja documentada de maneira suficientemente completa e detalhada;   h)    as conclusões respondam aos objetivos da auditoria;    i)      os recursos necessários à execução da auditoria estejam disponíveis, como serviços técnicos, equipamento e meios de deslocamento.       2.7.            Julgamento e ceticismo profissionais                             Requisitos               O auditor deve exercer julgamento e ceticismo profissionais e analisar as questões a partir de diferentes perspectivas, mantendo uma atitude aberta e objetiva em relação aos vários pontos de vista e argumentos (ISSAI 3000/68).                O auditor deve avaliar o risco de fraude ao planejar a auditoria e manter-se alerta à possibilidade de fraude durante todo o processo de auditoria (ISSAI 3000/73).                O auditor deve manter um alto padrão de comportamento profissional (ISSAI 3000/75).               O auditor deve estar disposto a inovar durante todo o processo de auditoria (ISSAI 3000/77).                                                        Considerando que as evidências em auditoria são de natureza mais persuasiva que conclusiva, é necessário um significativo grau de julgamento e interpretação durante os trabalhos (NAT, 48.3) . Os auditores precisam ser criativos, reflexivos, flexíveis, engenhosos e práticos na coleta, interpretação e análise dos dados. Além disso, devem manter alto padrão de comportamento profissional durante toda a auditoria, e trabalhar com devido zelo[5] e objetividade (ISSAI 300/31).                              Julgamento profissional refere-se à aplicação de conhecimento coletivo, habilidades e experiência ao processo de auditoria. Envolve conduzir a auditoria com cuidado e aplicar de forma diligente as normas profissionais e os princípios éticos relevantes (ISSAI 3000/70). Julgamento profissional não significa expressar opinião sem fundamento ou chegar a conclusões sem base ou justificativa.                              Ceticismo profissional significa que o auditor deve manter distanciamento profissional da entidade auditada e atitude alerta e questionadora na avaliação das evidências obtidas (ISSAI 3000/71). Deve também fazer avaliações racionais e desconsiderar preferências pessoais (ISSAI 300/31). Ceticismo profissional não autoriza o auditor tratar o auditado com desconfiança, desrespeito ou indelicadeza, ou presumir que ele é desonesto ou tem algo a esconder.                             Os conceitos de julgamento e ceticismo profissional se complementam e seu exercício permite que o auditor seja receptivo a diferentes visões e argumentos e capaz de avaliar diferentes perspectivas, sem perder a objetividade (ISSAI 3000/72).          2.7.1        Risco de fraude                                 A fraude é definida como um ato intencional de um ou mais indivíduos dentre funcionários, administradores, responsáveis pela governança ou terceiros, envolvendo o uso de falsidade para obter vantagem injusta ou ilegal como  (GUID 3910/91) :      a)    conluio para concessão de vantagens e contribuições indevidas;   b)    conluio em licitações ou concessões de contratos;   c)    falsificação;   d)    atos desonestos;   e)    falsa representação;   f)     ocultação fraudulenta;   g)    atos ilegais;   h)    distorções intencionais;   i)      irregularidades;   j)      pagamento ou recebimento de propinas;   k)    aceitação de comissões indevidas;    l)      furto.                                Diferentemente do erro, a fraude é intencional e muitas vezes envolve a dissimulação deliberada dos fatos, podendo envolver um ou mais membros da entidade auditada ou terceiros. A responsabilidade primária pela prevenção e detecção de fraude é tanto dos responsáveis pela governança da entidade auditada como da sua administração. A responsabilidade do auditor é identificar e avaliar o risco de fraude onde esse risco for significativo. O auditor também precisa determinar os procedimentos de auditoria em resposta a esses riscos (GUID 3910/92).                         O auditor deve manter o ceticismo profissional durante a fase de planejamento e durante toda a auditoria. Na condução de auditorias, o auditor precisa manter-se consciente da possibilidade de fraude relacionada ao objeto e, se for necessário, realizar procedimentos para identificar seus indícios. Para isso, a equipe poderá utilizar os procedimentos de apoio à avaliação de risco de fraude e corrupção disponibilizados pela unidade técnica especializada no Tribunal. Se o auditor suspeitar de, ou encontrar fraude, deverá levar a questão ao conhecimento do supervisor e das autoridades competentes para adoção das medidas adicionais cabíveis (GUID 3910/93). Note-se, portanto, que não faz parte do escopo da auditoria operacional auditar fraudes, mas considerar seu impacto na auditoria que está sendo realizada.                         O TCU dispõe dos documentos Referencial de combate à fraude e corrupção (BRASIL, 2017c)  e do Roteiro de Ações para o Combate a Fraude e Corrupção (BRASIL, 2018a) . O propósito do Referencial é compilar o conhecimento prático que vem sendo aplicado por organizações públicas e privadas, dentro e fora do Brasil, no combate a fraude e corrupção.                         O Roteiro tem por objetivo orientar os auditores sobre como lidar com casos suspeitos de fraude e corrupção descobertos no decorrer dos trabalhos de controle externo sob a jurisdição do TCU. O foco do roteiro é dar orientações sobre procedimentos a adotar em casos de identificação de fraude e corrupção.                          Assim, o auditor deve identificar e avaliar os riscos de fraude relevantes para os objetivos da auditoria e manter-se alerta à sua possibilidade durante todo o processo de auditoria. Se o risco for significativo, é importante obter um bom entendimento dos sistemas de controle interno e verificar se há indícios de irregularidades que possam prejudicar o desempenho do objeto auditado (ISSAI 3000/73-74) .          2.8.            Controle e asseguração de qualidade                             Requisito               A EFS deve estabelecer e manter um sistema para salvaguardar a qualidade, que deve ser observado pelo auditor, a fim de garantir que todos os requisitos sejam atendidos, dando ênfase a relatórios apropriados, equilibrados e imparciais, que agreguem valor e respondam às questões de auditoria (ISSAI 3000/79).                                                     A maneira como as auditorias operacionais são desenvolvidas e o grau de excelência dos relatórios produzidos podem afetar a imagem do Tribunal. Por essa razão, é importante assegurar que todas as atividades sejam desenvolvidas com padrões elevados de qualidade (NAT, 48.4; NAO, 2006). O controle e a asseguração[6] de qualidade são importantes, ainda, porque possibilitam o contínuo aperfeiçoamento dos trabalhos desenvolvidos, a partir da incorporação de lições aprendidas. Inicialmente, é importante definir e diferenciar esses dois conceitos.                         Controle de qualidade em auditoria é o conjunto de procedimentos executados ao longo do trabalho como parte integrante do processo de auditoria para garantir que os relatórios de auditoria tenham alta qualidade e satisfaçam as normas e padrões profissionais estabelecidos (BRASIL, 2017b).                          É um processo contínuo que abrange as atividades de supervisão e orientação da equipe pelo supervisor em todas as fases do ciclo das auditorias operacionais. Envolve a orientação sobre a concepção da auditoria, o método de trabalho e a análise de evidências, bem como atividades compartilhadas pelo supervisor e a equipe, como o acompanhamento do cronograma, revisões periódicas dos papéis de trabalho, preenchimento de checklists de supervisão, consultas à opinião de especialistas e realização de painéis de referência.                          Asseguração de qualidade, por sua vez, é o processo de monitoramento estabelecido pela EFS para garantir que as políticas e procedimentos relativos ao sistema de controle de qualidade são relevantes, adequados e funcionam efetivamente na prática (ISSAI 140/6). Pode ser exercida por meio de revisões internas ou externas dos papéis de trabalho e dos relatórios produzidos, após a conclusão da auditoria.                          A asseguração de qualidade em auditoria é exercida com os seguintes objetivos:      a)    aperfeiçoar a qualidade dos relatórios com base nas lições aprendidas;   b)    identificar oportunidades de melhoria na condução de trabalhos futuros e evitar a repetição de deficiências;   c)    evidenciar boas práticas na execução dos trabalhos que possam ser disseminadas;   d)    contribuir para o desenvolvimento de competências por meio da identificação de necessidades de treinamento;   e)    identificar a necessidade de revisão ou de elaboração de documentos técnicos que contenham orientações para a execução das atividades;   f)     suprir a administração com informações sistemáticas e confiáveis sobre a qualidade dos trabalhos.                            O Quadro 2 apresenta algumas diferenças entre controle de qualidade e asseguração de qualidade.          Quadro 2 - Controle de qualidade e asseguração de qualidade em auditoria                                       Controle de qualidade             Asseguração de qualidade                               O que é?                    Envolve as políticas e procedimentos estabelecidos pela EFS para garantir que todas as fases da auditoria são conduzidas de acordo com as ISSAI.             Processo pelo qual a EFS verifica e monitora o sistema de controle de qualidade, incluindo inspeções periódicas nas auditorias realizadas. Essa verificação é feita para garantir que o sistema de controle de qualidade da EFS está funcionando de forma correta e que as auditorias estão sendo conduzidas de acordo com as ISSAI.                               Quem faz?                    O supervisor da auditoria, o coordenador e os membros da equipe.              Pessoa ou equipe não envolvida na auditoria.                               Quem é responsável?                    Garantir a qualidade das auditorias é responsabilidade de todos os funcionários da EFS e de cada integrante da equipe de auditoria.              A pessoa ou equipe designada para a revisão.                               Quando é feito?                    Durante a auditoria.              Após terminado o relatório e encerrada a auditoria.                               Qual é a conclusão?                    Não há conclusão, há um acompanhamento do trabalho da equipe de auditoria para garantir a qualidade da auditoria e a aderência às ISSAI.             O (A) revisor (a) independente conclui em que medida a auditoria foi realizada de acordo com as ISSAI.                Fonte: adaptado de AFROSAI-E (2015).                                Além da adoção dos procedimentos de controle, a promoção da qualidade também pode ser realizada por meio de iniciativas anteriores às fiscalizações, como o fornecimento de orientações sobre a condução dos trabalhos mediante disponibilização de manuais, modelos e exemplos e a capacitação das equipes de auditoria por meio de seminários e treinamentos.                         Outra forma efetiva de promover a qualidade das auditorias consiste em criar condições de trabalho que promovam o diálogo, a delegação e a confiança mútua dentro da organização, bem como estimulem o senso de responsabilidade dos auditores.                          A ISSAI 140 visa auxiliar as EFS a estabelecer e manter um sistema de controle de qualidade que abranja todos os trabalhos da entidade. Para tanto, estabelece princípios chave de um sistema de controle de qualidade, que se desdobram nos seis elementos apresentados a seguir:      a)    Responsabilidades da direção pela qualidade na instituição - A EFS deve estabelecer políticas e procedimentos para promover uma cultura interna que reconheça a qualidade como essencial na condução de todos os trabalhos. Essas políticas e procedimentos devem ser estabelecidas pelo dirigente máximo da EFS, que detém a responsabilidade final pelo sistema de controle de qualidade.   b)    Requisitos éticos relevantes - A EFS deve estabelecer políticas e procedimentos para garantir que seus servidores e as pessoas contratadas para conduzir trabalhos para a EFS cumpram com os requisitos éticos relevantes.    c)    Aceitação e continuidade - A EFS deve estabelecer políticas e procedimentos para garantir que auditorias e outros trabalhos sejam conduzidos quando a EFS: tenha competência para realizar os trabalhos; cumpra com os requisitos éticos relevantes; considere a integridade da entidade auditada e como tratar os eventuais riscos à qualidade.   d)    Recursos humanos - A EFS deve estabelecer políticas e procedimentos para dispor de pessoal suficiente com competência, capacidade e compromisso com os princípios éticos para conduzir os trabalhos de acordo com as normas relevantes e aplicáveis e publicar relatórios apropriados às circunstâncias.   e)    Desempenho das auditorias e outros trabalhos - As políticas e procedimentos estabelecidos para assegurar que as auditorias e outros trabalhos sejam conduzidos de acordo com as normas profissionais, os requisitos legais e regulatórios, e que os relatórios sejam apropriados às circunstâncias devem incluir: temas relevantes para promover a consistência na qualidade do trabalho desenvolvido e responsabilidades de supervisão e revisão.   f)     Monitoramento - A EFS deve estabelecer um processo de monitoramento para garantir que as políticas e procedimentos relativos ao sistema de controle de qualidade sejam relevantes, adequados e efetivos. Esse processo deve:   f1)  avaliar o sistema de controle de qualidade, incluindo revisão de uma amostra de trabalhos concluídos realizados pela EFS;   f2) atribuir a responsabilidade do processo de monitoramento a uma pessoa ou a um grupo de pessoas com experiência e autoridade para assumir tal atribuição;   f3) requerer que os revisores sejam independentes (ou seja, não tenham participado dos trabalhos avaliados ou do seu controle de qualidade).                            O monitoramento constitui-se no próprio processo de asseguração de qualidade. Deve abranger todos os seis elementos descritos na ISSAI 140, incluindo o próprio monitoramento (IDI, 2018).                         Entre os principais atores envolvidos no controle de qualidade, cabe destacar o supervisor e o coordenador da auditoria.                         Como já mencionado na seção 2.6, a supervisão é essencial para assegurar o alcance dos objetivos e a qualidade da auditoria, assim como o desenvolvimento das equipes. O nível de supervisão pode variar dependendo da proficiência e experiência da equipe e da complexidade do objeto da auditoria (ISSAI 3000/67).                         Compete ao supervisor orientar e revisar tecnicamente a auditoria. A orientação é atividade proativa e abrange discutir com a equipe o mérito da concepção do trabalho, do plano de auditoria, das conclusões, das propostas de encaminhamento, bem como encaminhar a viabilização dos recursos necessários à execução da auditoria. O supervisor deve revisar as matrizes de planejamento e de achados, o plano de auditoria, demais papéis de trabalho e o relatório, considerando a complexidade da auditoria.                         Cabe ao coordenador discutir com os demais integrantes da equipe de auditoria a definição do escopo do trabalho, da estratégia metodológica e dos procedimentos e técnicas a usar (NAT, 76-77) .                         Compete ao coordenador da auditoria, ainda, realizar reuniões periódicas com a equipe para a discussão de problemas surgidos durante o desenvolvimento das atividades e de adaptações necessárias nos papéis de trabalho produzidos; reportar ao supervisor o andamento dos trabalhos e com ele discutir o tratamento a ser dado a eventuais problemas e dificuldades; revisar toda a documentação obtida durante a fiscalização, inclusive as contribuições dos demais integrantes da equipe ao relatório de auditoria; e preparar a versão final do relatório. Além disso, o coordenador deve zelar para que:      a)    os objetivos da auditoria sejam definidos considerando as informações disponíveis sobre o desempenho do objeto auditado;   b)    critérios de auditoria apropriados sejam definidos;   c)    os membros da equipe tenham investigado, documentado e compreendido os aspectos centrais do objeto de auditoria;   d)    os objetivos da auditoria estejam claros para os membros da equipe e para os auditados;   e)    o plano de auditoria contenha todas as informações necessárias para a avaliação do trabalho planejado;   f)      bom ambiente de trabalho seja mantido entre os integrantes da equipe de auditoria e entre a equipe e os auditados;   g)    o uso das diversas técnicas de auditoria siga as prescrições contidas nos documentos técnicos correspondentes;   h)    os prazos estimados sejam cumpridos, devendo propor ao supervisor a alteração do cronograma em caso de necessidade;   i)      os membros da equipe responsabilizem-se pela execução de tarefas condizentes com seus conhecimentos e habilidades;   j)      os achados e conclusões sejam sustentados por evidências suficientes e apropriadas.                            O controle de qualidade nas auditorias operacionais é realizado com o auxílio de determinadas técnicas e procedimentos rotineiros que facilitam a sua aplicação.                          Entretanto, é importante ressaltar que nenhum procedimento de controle de qualidade no nível da auditoria individual pode garantir um relatório de alta qualidade. É igualmente importante que os auditores sejam competentes e estejam motivados. Por isso, mecanismos de controle devem ser complementados por outros tipos de apoio, como treinamento em serviço e orientação para a equipe de auditoria (GUID 3910/32).                          As principais ferramentas de controle de qualidade são:      a)    checklists de qualidade;   b)    cronograma;   c)    matriz de planejamento;   d)    matriz de achados;   e)    painéis de referência;   f)     comentários dos gestores.                                O checklist é uma lista de verificação da realização de atividades e do cumprimento de padrões de qualidade aplicáveis a atividades, papéis de trabalho e produtos da auditoria. No TCU, são usados checklists tanto no controle quanto na asseguração de qualidade. Para apoio aos supervisores e coordenadores de auditoria, foi desenvolvido aplicativo que permite o preenchimento eletrônico dos checklists utilizados no controle de qualidade das auditorias.                         O denominado checklist de auditoria presta-se a apoiar o supervisor no controle dos aspectos fundamentais da qualidade do trabalho, conforme previsto nas normas profissionais de auditoria. O checklist de supervisão de auditoria visa apoiar o supervisor na realização de atividades essenciais esperadas de sua atuação em qualquer tipo de auditoria. O checklist deve ser aplicado concomitantemente à auditoria, para facilitar o trabalho da supervisão, na medida em que permite a verificação do cumprimento, pela equipe de auditoria, de atividades-chave nas diversas etapas da auditoria.                          O cronograma permite que a equipe planeje e organize suas atividades e facilita a alocação de seus membros de acordo com os procedimentos previstos e com o tempo disponível. Deve conter a relação das tarefas a serem executadas, os respectivos responsáveis e os prazos para a sua execução.  Após ser acordado entre os membros da equipe, o cronograma deve ser submetido ao supervisor, que deverá utilizá-lo para acompanhar o desenvolvimento dos trabalhos.                          A matriz de planejamento (seção 4.8) , a matriz de achados (seção 5.6) , os painéis de referência (seções 4.8.1 e 5.6.1)  e os comentários dos gestores (seção 6.5) são instrumentos de controle de qualidade que são tratados com mais detalhes em seções específicas deste manual.            2.9.            Materialidade                              Requisito               O auditor deve considerar a materialidade em todas as fases do processo de auditoria, incluindo os aspectos financeiros, sociais e políticos do objeto, com o objetivo de agregar tanto valor quanto seja possível (ISSAI 3000/83).                                                     Materialidade pode ser definida como a importância relativa (ou significância) de um assunto dentro do contexto na qual é considerada. Além do valor monetário, a materialidade inclui questões de importância social e política, conformidade, transparência, governança e accountability. A materialidade pode variar ao longo do tempo e pode depender da perspectiva dos usuários previstos e das partes responsáveis (ISSAI 300/33, 2013; ISSAI 3000/84).                          Os fatores qualitativos da materialidade podem incluir aspectos como: se o achado é resultado de fraude; se um aspecto específico do objeto auditado é significativo no que se refere à natureza, visibilidade e sensibilidade; se a saúde ou segurança dos cidadãos é afetada; se o achado se relaciona à transparência ou à accountability (GUID 3910/110).                         Os fatores quantitativos relacionam-se à magnitude dos achados que são expressos numericamente. É preciso considerar o efeito agregado dos achados que individualmente sejam não significantes (GUID 3910/113).                         A ISSAI 100/41 considera três aspectos da materialidade (valor, natureza e contexto), que devem ser considerados na auditoria. Valor refere-se à perspectiva econômica, à melhor forma de usar os recursos públicos. Natureza está relacionada ao mandato constitucional da auditoria, que permite reduzir a assimetria de informações entre o legislativo e o executivo. Contexto refere-se a outros aspectos relacionados ao ambiente em que cada EFS opera, voltados à aprendizagem e ao desenvolvimento da administração pública (HEMSEN KILVIK; PAULSRUD, 2018).                         Exemplo de materialidade, considerando o valor, poderia ser a escolha de um tópico de auditoria baseado em gastos orçamentários. Um exemplo do aspecto de natureza da materialidade poderia ser a realização de auditoria nas medidas implementadas pelo Ministério da Justiça para melhorar a segurança pública e prevenir ataques terroristas. Uma das razões mais comuns para realizar auditorias é contribuir para o aperfeiçoamento do setor público. Esse tipo de materialidade enquadra-se no aspecto de contexto (HEMSEN KILVIK; PAULSRUD, 2018).                           O auditor deve considerar a materialidade ao longo de todo o processo de auditoria, tais como: a seleção de temas, a definição de critérios, a avaliação de evidências, a documentação e o gerenciamento dos riscos de produzir achados ou relatórios inadequados ou de baixo impacto (ISSAI 300/33; ISSAI 3000/83).                         A materialidade é um dos requisitos a considerar na seleção de temas de auditoria, como será visto no capítulo 3 deste manual.          2.10.        Documentação                             Requisito               O auditor deve documentar a auditoria de maneira suficientemente completa e detalhada (ISSAI 3000/86).                                                     A documentação deve permitir que um auditor experiente, sem nenhum contato prévio com a auditoria, possa posteriormente entender a natureza, o escopo e os resultados do trabalho, e chegar às mesmas conclusões e recomendações, além de entender o raciocínio por trás das questões relevantes que exigiram o exercício de julgamento profissional (ISSAI 100/42; ISSAI 300/34; ISSAI 3000/87; NAT, 115) .                         A documentação não deve apenas confirmar a exatidão dos fatos, mas também garantir que o relatório seja equilibrado. Para tanto, pode ser necessário, por exemplo, que a documentação inclua referência a argumentos não aceitos no relatório ou com diferentes pontos de vista (ISSAI 300/34).                         A quantidade, tipo e conteúdo da documentação (papéis de trabalho) serão definidos pela equipe de auditoria. Entretanto, é necessário documentar no mínimo:      a)    objetivo e escopo da auditoria;   b)    cronograma de trabalho;   c)    estratégia de auditoria;   d)    avaliação do risco de auditoria;   e)    plano de auditoria;   f)     razões para alterações significativas no planejamento da auditoria após essa fase;   g)    metodologia;   h)    limitações à condução da auditoria;   i)      instrumentos de coleta de dados;   j)      procedimentos executados;   k)    evidências obtidas;   l)      comunicações com as entidades auditadas;   m)  atas de reuniões;   n)    revisões de supervisores;   o)    resultados das técnicas de diagnóstico aplicadas (por exemplo, análise SWOT, Diagrama de Verificação de Risco (DVR) , análise stakeholder, mapa de processos etc.);   p)    registros de questionários, entrevistas e grupos focais realizados;   q)    resultados de análises estatísticas e de banco de dados;   r)     registro das análises de conteúdo;   s)     sugestões obtidas nos painéis de referência;   t)      comentários do gestor e sua análise;   u)    matrizes de planejamento e achados;   v)    versões preliminares e final do relatório.                            Manter os papéis de trabalho organizados e documentados é importante porque:      a)    auxilia no planejamento, execução e supervisão da auditoria;   b)    subsidia a elaboração do relatório e a resposta a questionamentos do auditado ou de outros stakeholders;   c)    aumenta a eficiência da auditoria;   d)    auxilia na revisão da qualidade da auditoria;   e)    contribui para o desenvolvimento profissional do auditor;   f)     subsidia a realização de monitoramentos e de novos trabalhos.                            São considerados papéis de trabalho documentos preparados pelo auditor, pelo auditado ou por terceiros, como: planilhas, formulários, questionários respondidos, fotografias, arquivos de dados, de vídeo ou de áudio, ofícios, memorandos, portarias, contratos, termos de convênios, confirmações externas, planos de auditoria e registros de sua execução, como matrizes de planejamento e de achados  (NAT, 112) . O Quadro 3 apresenta algumas características de bons papéis de trabalho. A supervisão e a asseguração da qualidade da auditoria serão facilitadas se os papéis de trabalho apresentarem as características descritas na tabela.          Quadro 3 - Características de bons papéis de trabalho                         Completude e precisão             Devem dar suporte aos achados, conclusões e recomendações.                       Clareza e concisão             Qualquer pessoa que os consulte deve ser capaz de entender o objetivo, a natureza, o escopo e as conclusões da auditoria realizada, sem necessidade de explicações adicionais.                        Facilidade de elaboração             Sua elaboração não deve depender de procedimentos excessivamente custosos e de difícil execução. Isso pode ser conseguido usando-se, por exemplo, formulários padronizados e tabelas automatizadas.                        Legibilidade              Devem ser fáceis de entender e interpretar. Essas características são necessárias para a elaboração do relatório e para que os papéis de trabalho possam ser usados como evidências.                        Relevância             Suas informações devem restringir-se a temas que sejam materialmente importantes, pertinentes e úteis para a auditoria.                       Organização             Devem ser organizados segundo uma estrutura lógica, facilitando a recuperação da informação.                        Facilidade de revisão             Devem favorecer a revisão da qualidade da auditoria ser elaborados considerando as necessidades de seus usuários.                Fonte: Adaptado de PASAI Performance Audit Manual (PASAI, 2011) .                                É recomendável que a documentação inclua um sistema de indexação e de referências cruzadas[7] entre o relatório de auditoria e os papéis de trabalho (GUID 3910/117). Esse sistema deve existir tanto para documentos em papel como para arquivos eletrônicos.                         A documentação de auditoria deve ser armazenada durante o tempo necessário para satisfazer as exigências legais e administrativas. Deve-se garantir a segurança, integridade, acessibilidade e possibilidade de recuperação das informações, seja em papel, meio eletrônico ou outras mídias. No TCU, a equipe deverá consultar a Tabela de Temporalidade de Documentos de Controle Externo, que estabelece o período de guarda da documentação.         3.    SELEÇÃO DE TEMAS                              Requisitos               O auditor deve selecionar temas de auditoria com base no processo de planejamento estratégico da EFS, analisando temas em potencial e realizando pesquisa para identificar riscos e problemas de auditoria (ISSAI 3000/89).                O auditor deve selecionar temas de auditoria que sejam significativos e auditáveis, e consistentes com o mandato da EFS (ISSAI 3000/90).                O auditor deve conduzir o processo de seleção de temas de auditoria com o objetivo de maximizar o impacto esperado da auditoria, tendo devidamente em conta as capacidades de auditoria (ISSAI 3000/91).                                                     A seleção do tema da auditoria é o primeiro estágio do ciclo de auditoria. De acordo com as ISSAI, faz parte do planejamento. A ISSAI 3000 prevê duas atividades no planejamento de auditoria: seleção de temas e desenho da auditoria. É importante selecionar um tema que possibilite a realização de uma auditoria que contribua para o aperfeiçoamento da administração pública. Selecionar bem significa escolher os temas que podem oferecer maior benefício à coletividade, considerando as alternativas (BRASIL, 2016a).                         No TCU, a seleção do tema ou do objeto de auditoria é realizado antes do início do trabalho. Nessa fase, nos casos em que já existe conhecimento acumulado sobre o tema, é possível detalhar melhor a seleção e chegar à definição do objeto da auditoria. Essa situação é frequente quando já foram realizadas auditorias anteriores no tema ou em objeto similar ou quando preliminarmente foi realizado um levantamento.           3.1.                           Processo de seleção                            O processo de seleção é necessário porque o campo de atuação do controle externo é muito amplo, se comparado aos seus recursos limitados. Para decidir o que auditar, é necessário estabelecer critérios, visando orientar a aplicação de recursos e aumentar a probabilidade de selecionar objetos de auditoria que tragam oportunidade de realizar trabalhos que agreguem valor. Este capítulo trata desses critérios e de instrumentos que podem apoiar o processo de seleção.                         No TCU, a sistemática de seleção vigente está definida no documento técnico Orientações para Seleção de Objetos e Ações de Controle (BRASIL, 2016a). O método de seleção empregado desenvolve-se nas seguintes quatro etapas: conhecimento do universo de controle; seleção de situações-problema; seleção de objetos de controle; e seleção de linhas de ação e de ações de controle.  Situação-problema é definida como um conjunto de condições ou circunstâncias que produzem ou podem vir a produzir consequências de natureza econômica, social e ambiental que afetam a sociedade e que se encontra no âmbito da atuação governamental.                         Ao determinar a alocação de seus recursos, o Tribunal priorizará atividades que precisam, por lei, ser completadas em certo prazo, a exemplo do relatório e pareceres prévios sobre as contas do Governo. Este capítulo não trata desses casos, mas dos cuidados que devem ser adotados para priorizar as auditorias de iniciativa própria.          3.2.                           Integração com o planejamento estratégico                            O processo de seleção deve estar integrado simultaneamente ao planejamento estratégico e ao sistema de planejamento anual da EFS (ISSAI 3000/89).                         As escolhas estratégicas do TCU abrangem diferentes perspectivas, desde decisões sobre a alocação de recursos para cumprir suas obrigações legais até decisões sobre áreas de governo que devem ser examinadas prioritariamente. Assim, essas escolhas afetam a alocação de recursos em geral, tais como a natureza do investimento em capacitação, os tipos de ferramentas de trabalho que devem ser desenvolvidas, o quantitativo de pessoal alocado por linha de atuação. Além disso, a seleção de objetos específicos deve partir de perspectiva geral do Tribunal sobre temas prioritários de auditoria.                         Uma vez definidas as grandes áreas de atuação, levando em consideração os objetivos do TCU, o processo de seleção de objetos de auditoria pode ser mais focado, passando-se ao exame das informações setoriais das ações de governo em confronto com critérios de seleção. Essa segunda etapa permitirá passar do planejamento estratégico para a formulação de plano operacional.          3.3.                           Critérios de seleção                            Realizadas as escolhas estratégicas, o próximo passo do processo de seleção de objetos de auditoria é definir os critérios que serão usados para selecionar objetos específicos de auditoria.                                   Os temas de auditoria a serem selecionados devem ser relevantes, auditáveis, consistentes com o mandato da EFS (ISSAI 3000/90). No caso do TCU, as competências e o mandato estão estabelecidos no artigo 71 da Constituição Federal de 1988.                         O objeto de auditoria precisa refletir a materialidade e o risco na área de auditoria. Isso é importante para agregar valor e garantir que a auditoria seja relevante (GUID 3910/26) .                          A materialidade indica que o processo de seleção deve levar em consideração os valores envolvidos no objeto de auditoria, assim como a sua natureza e o seu contexto. Nem sempre os benefícios das auditorias operacionais são financeiramente quantificáveis, mas o aperfeiçoamento de processos em objetos de auditoria com alta relevância financeira tem grande possibilidade de gerar economia ou eliminar desperdícios.                         O volume de recursos disponíveis no orçamento é indicador de materialidade, no aspecto quantitativo. No entanto, em ambientes orçamentários nos quais existe grande diferença entre o orçado, o contratado e o pago, o exame dos valores envolvidos em cada uma dessas fases da despesa pode ser necessário. Além disso, na fiscalização da área de regulação, por exemplo, a dimensão econômica do setor no qual se insere o objeto de auditoria, um aspecto do contexto, deve ser levada em consideração.                         Em auditoria, os conceitos de materialidade e relevância estão intrinsicamente relacionados. Considerar a materialidade implica direcionar a seleção para temas relevantes, isto é, atuais, de grande valor e importância nacional e de interesse da sociedade. Alguns meios que podem ser usados para identificar a relevância do possível objeto de auditoria são:       a)    opinião de parlamentares, técnicos de institutos de pesquisa ou das casas legislativas, figuras proeminentes na sociedade;   b)    opinião de representantes da sociedade civil organizada;   c)    declarações de prioridades nos planos e orçamentos públicos como o Plano Plurianual, a Lei de Diretrizes Orçamentárias, os planos setoriais;   d)    relatos reiterados de desperdícios, erros ou desobediência a procedimentos;   e)    presença do tema na mídia.                             Um critério que também merece destaque no processo de seleção é o risco, entendido como evento que afete adversamente a realização dos objetivos. Objetos expostos a riscos elevados implicam maior possibilidade de que o alcance dos objetivos seja prejudicado, podendo influenciar negativamente o desempenho do objeto (BRASIL, 2016a).                         Alguns exemplos de situações que podem estar associadas à ocorrência de eventos adversos são:      a)    estruturas gerenciais complexas que envolvem diferentes organizações governamentais, de uma mesma esfera ou de esferas de governo diferentes, e organizações não-governamentais[8];   b)    problemas de estrutura, planejamento, controle;   c)    falta de informações confiáveis ou atualizadas sobre o desempenho do objeto de auditoria, como alcance de metas, custos dos produtos, público atendido;   d)    falta de clareza sobre objetivos, metas, responsabilidades, processos de tomada de decisão;   e)    problemas operacionais com sistemas informatizados.                            Agregar valor refere-se a produzir novos conhecimentos e perspectivas sobre o objeto de auditoria, bem como contribuir para a melhoria do desempenho. As seguintes situações podem indicar a possibilidade de a auditoria agregar valor significativo:      a)    discussão sobre nova política pública ou mudança significativa na implementação de programa ou organização de ente governamental;   b)    identificação de lacunas, incoerências, intersecções, fragmentação, sobreposição ou duplicação de ações e/ou competências dos atores envolvidos, por meio de visão do governo como um todo sobre o objeto de auditoria;   c)    surgimento de novas ou urgentes atividades ou mudanças de situação;   d)    escassez de auditorias anteriores ou trabalhos de outros órgãos de pesquisa ou de controle sobre o objeto de auditoria;    e)    pouco conhecimento sobre a relação de causa e efeito entre a ação de governo e a solução de problemas.                            A auditabilidade refere-se à viabilidade de o auditor conseguir concluir em relação aos objetivos da auditoria que se vai realizar. No caso da auditoria operacional, concluir sobre a economicidade, eficácia, eficiência ou efetividade do objeto auditado. Por exemplo, se existem abordagens, metodologias e critérios de auditoria disponíveis, se as informações requeridas estarão disponíveis e poderão ser obtidas de forma eficiente, se a equipe de auditoria tem disponibilidade e as competências requeridas para realizar o trabalho (ISSAI 3000/94).                          Os critérios de seleção podem ter maior ou menor peso no processo de escolha, conforme a conjuntura. As características do possível objeto de auditoria devem ser examinadas em relação a cada um desses critérios para, em conjunto, permitir a elaboração de escala de prioridades.                          Detalhes sobre os procedimentos de seleção podem ser encontradas no documento técnico do TCU Orientações para seleção de objetos e ações de controle (TCU, 2016a).          3.4.                           Levantamento                            Para passar do planejamento estratégico para o plano operacional, são necessárias informações atualizadas sobre estrutura, funções e operações dos possíveis objetos de auditoria, que permitam a identificação de áreas com alta materialidade, que apresentem vulnerabilidades e que tenham potencial para que a auditoria contribua para gerar melhorias na administração. A coleta dessas informações pode ser realizada por procedimentos internos de iniciativa da própria unidade técnica, como a produção de conhecimento, e por meio de levantamento, que é um tipo de instrumento de fiscalização (BRASIL, 2015, art. 238; NAT, 71).                         O planejamento estratégico, ao qual se vincula o processo de seleção de temas de auditoria, pode ser baseado em identificação e análise de riscos, ou, de outra forma, análise de indicadores de problemas existentes ou potenciais. Sendo assim, a identificação e avaliação de riscos tem papel importante na definição do escopo do levantamento e na obtenção de informações que realimentarão o planejamento estratégico do TCU.                         O levantamento pode servir tanto como instrumento para selecionar futuros temas para auditorias quanto para decidir se é viável realizar auditorias específicas. Dependendo do objetivo e do conhecimento acumulado sobre a área em exame, o levantamento poderá ter escopo amplo ou restrito.          3.4.1        Levantamento de escopo amplo                            O levantamento de escopo amplo tem por objetivo conhecer a organização e o funcionamento das áreas que poderão ser fiscalizadas, bem como identificar objetos e instrumentos de fiscalização (BRASIL, 2015, art. 238, incisos I e II).                         O levantamento de escopo amplo explora as possibilidades de fiscalizações mediante análise do geral para o particular e em perspectiva plurianual. Tendo em vista sua amplitude, ele pode identificar oportunidades de realizar tanto auditorias operacionais quanto de conformidade.                         Em geral, são colhidas informações sobre os planos setoriais, base legal dos programas e organizações, previsão orçamentária e execução financeira, sistemas de informação, estruturas de monitoramento e avaliação, metas, planos de programas e de organizações. Além disso, são analisados trabalhos de órgãos de pesquisa e de controle sobre os possíveis objetos de auditoria.                         O levantamento é oportunidade para se adquirir conhecimento sistêmico sobre setores de atividade governamental. Procura-se entender a articulação entre programas de governo para alcançar os objetivos de determinada política pública, o papel das organizações públicas e privadas envolvidas, os principais desafios e dificuldades existentes.                         Além disso, o levantamento permite atualizar informações sobre áreas de governo, identificar novos desenvolvimentos e tendências nas políticas públicas, mudanças de prioridades, necessidade de uso de novas abordagens e técnicas nas auditorias.                         Por meio do levantamento, o Tribunal adquire condições de focar melhor sua ação de fiscalização e pode criar estratégia de atuação com perspectiva plurianual, que aborde de forma consistente os principais problemas identificados. O levantamento de escopo amplo, por sua natureza, tem custo maior do que o de escopo restrito, mas não precisa ser realizado com frequência, porque parte das informações são estáveis e parte pode ser atualizada mediante consulta em bases de dados ou por meio de outros métodos disponíveis.          3.4.2        Levantamento de escopo restrito                            Em alguns casos, pode ser necessário aprofundar o levantamento para estudar a viabilidade de realização da fiscalização, isto é, examinar se o objeto de auditoria indicado é auditável, o que corresponde a um dos possíveis objetivos do levantamento (BRASIL, 2015, art. 238, inciso III).                         Um dos motivos que pode exigir a realização do estudo de viabilidade é a questão da oportunidade. Como o levantamento de escopo amplo visa identificar objetos de auditoria no curto, médio e longo prazos, mudanças de situação podem exigir a atualização de informações e a reavaliação dos critérios de seleção. Outro motivo é que as informações levantadas, em abordagem sistêmica, podem não ser suficientes para decidir sobre a realização de fiscalização específica, para a qual seriam necessárias informações mais detalhadas.                         Em geral, o estudo de viabilidade traz informações sobre os principais processos operacionais e produtos, de forma a esclarecer a forma de execução das atividades ou ações. Além disso, examina-se:      a)    a qualidade dos indicadores de desempenho já identificados, destacando oportunidades de melhoria;   b)    a disponibilidade de dados e sistemas de informações, abordando sua confiabilidade e abrangência;   c)    os relatórios gerenciais existentes e as avaliações anteriormente efetuadas;   d)    as limitações à execução da auditoria,   e)    a receptividade do gestor em participar da fiscalização;   f)     a necessidade de empregar habilidades especializadas na auditoria;   g)    os possíveis prejuízos aos objetivos do controle externo, caso a fiscalização não seja realizada.                            A conclusão do estudo de viabilidade deve conter manifestação valorativa, substantiva e convincente sobre a conveniência e a oportunidade de se realizar a fiscalização. Deve abranger razões que recomendam a seleção do objeto de auditoria, como o potencial de a auditoria no tema contribuir para gerar benefícios para a sociedade e para chamar a atenção da mídia, da sociedade civil organizada e do Legislativo.                         Orientações mais detalhadas sobre Levantamento podem ser encontradas no Roteiro de Levantamento (BRASIL, 2018b)                          É importante destacar que levantamento não é auditoria. Não cabe, portanto, planejar o levantamento, seja de escopo amplo ou de escopo restrito, para a obtenção de evidências para sustentar achados de auditoria. As deliberações proferidas em processos de levantamento não conterão determinações, salvo nos casos em que forem detectadas irregularidades graves e urgentes que ensejem a expedição de determinações corretivas imediatas (BRASIL, 2020a). Se durante a realização do levantamento forem identificadas impropriedades ou irregularidades, o fato deve ser comunicado ao supervisor do trabalho para que, em conjunto com o titular da unidade técnica, avalie a conveniência e a oportunidade de aprofundar os exames mediante representação ou inclusão da questão no escopo de outra ação de controle.           3.5.                           Formulação da proposta de auditoria                            Concluída a seleção dos temas que serão objeto de auditoria, cabe à unidade técnica do Tribunal formular a proposta de fiscalização correspondente, que deverá integrar o Plano de Controle Externo. Nesse processo, a unidade técnica deverá indicar claramente o objeto de controle a ser auditado e o objetivo do trabalho (NAT, 68) .                          O objeto de auditoria deve ser passível de identificação e de avaliação baseada em critérios consistentes (ISSAI  100/26; GUID 3920/20) . Além disso, deverá possibilitar a coleta de evidências capazes de sustentar os achados e as conclusões de auditoria.                          O objetivo constante da proposta deverá ser claramente definido e, por se tratar de proposta de auditoria operacional, deverá estar relacionado às dimensões de desempenho economicidade, eficiência, eficácia ou efetividade (ISSAI 300/25).                         A unidade técnica também deverá informar na proposta de fiscalização os recursos necessários que serão alocados para que os objetivos da auditoria possam ser alcançados nos prazos definidos, considerando os conhecimentos, as habilidades e as competências necessários e a natureza e a complexidade de cada trabalho (NAT, 70). Somente devem ser propostos trabalhos para os quais a unidade técnica considere que existam competências, habilidades, tempo e recursos necessários para a sua adequada execução e que esses recursos sejam capazes de dar o devido tratamento aos riscos à qualidade que possam surgir (ISSAI 100/39 e ISSAI 140/Elemento 3).             4.    PLANEJAMENTO                              Requisitos               O auditor deve planejar a auditoria de forma a contribuir para uma auditoria de alta qualidade, que será realizada de maneira econômica, eficiente, eficaz e oportuna e de acordo com os princípios da boa gestão de projetos (ISSAI 3000/96).                Durante o planejamento, o auditor deve desenvolver os procedimentos a serem usados para coletar evidências de auditoria suficientes e apropriadas, que respondam ao (s) objetivos (s) e questões de auditoria (ISSAI 3000/101) .                                                    Para realizar uma auditoria de alta qualidade dentro do prazo definido, o auditor deve considerar a auditoria operacional como um projeto, que requer (entre outras características) planejamento, organização, gerenciamento, método e estratégias de gestão de projetos (ISSAI 3000/97) . Por constituir-se fase fundamental para o sucesso da auditoria, é imprescindível que se disponibilize o tempo necessário ao planejamento e que este atenda aos requisitos de qualidade (NAT, 95).          4.1.                           Atividades do planejamento                            A primeira atividade da auditoria deve ser a de refletir sobre o propósito de se realizar aquele determinado trabalho, o porquê de aquela ação ser importante para o país e para a organização auditada. A partir disso, cabe definir os princípios norteadores do trabalho e os produtos esperados ao final da auditoria. Tais alinhamentos, envolvendo tanto a equipe de auditoria quanto representantes do grupo estratégico da organização e demandantes do trabalho, são necessários para que a auditoria permaneça no foco delineado e produza os resultados almejados.                         Considerando que as auditorias operacionais devem ser gerenciadas como projetos, na fase inicial do desenho da auditoria, a equipe deve elaborar cronograma contendo as tarefas a executar, os responsáveis e o prazo final para execução das atividades de planejamento. Esse instrumento permite que a equipe organize suas atividades, facilitando a alocação de seus membros de acordo com as tarefas necessárias e o tempo disponível.                          Concluído o desenho da auditoria, elabora-se o cronograma contendo as tarefas e procedimentos a executar na fase de execução. Os cronogramas devem ser acordados entre os membros da equipe e submetidos ao supervisor, que os usará no acompanhamento dos trabalhos. Para facilitar essa tarefa, também podem ser usados softwares específicos de acompanhamento de projetos.                         Compete ao coordenador da equipe assegurar que o trabalho seja planejado corretamente e que os demais membros e os gestores do objeto da auditoria estejam suficientemente informados acerca do propósito do planejamento. É importante que o coordenador reavalie os prazos estimados inicialmente. Se houver necessidade de readequação, o coordenador deve submeter o novo cronograma de atividades ao supervisor. Essa proposta deve ser feita logo que a necessidade for identificada, para que providências sejam adotadas em tempo hábil.                          Para que a equipe forme entendimento comum sobre o trabalho, é importante que todos os membros acompanhem o seu desenvolvimento e compartilhem as informações levantadas. Para isso, recomenda-se a realização de reuniões periódicas, que mantenham todos informados sobre o andamento dos trabalhos e busquem solucionar impasses ou conflitos, quando necessário. Outra boa prática é manter o registro visual das informações obtidas ou produzidas durante todo o trabalho com acesso imediato para a equipe, utilizando, assim, o princípio do pensamento visual. Utilizar o pensamento visual significa tirar proveito da capacidade inata que as pessoas têm de ver tanto com os olhos quanto com a mente, de forma a revelar ideias que, de outra forma, seriam imperceptíveis, desenvolvê-las de maneira rápida e intuitiva e depois compartilhá-las com outras pessoas de uma maneira que elas a absorvam de maneira simples (ROAM, 2010).                          A sala da equipe ou o ambiente de trabalho virtual passa a funcionar, então, como o cérebro da equipe, propiciando a organização e a sistematização das informações, o estabelecimento de inter-relacionamentos ("sinapses") entre elas, a identificação de padrões e os insights da equipe. Essa prática facilita a gestão de conhecimento entre os membros da equipe, por meio do compartilhamento e do consumo dos dados e seu referenciamento, permitindo, assim, que todos tenham o mesmo nível de compreensão a respeito do objeto tratado pela auditoria. A visibilidade simultânea do material permite-nos identificar padrões e faz com que a síntese criativa ocorra muito mais rápido do que quando os recursos estão escondidos em pastas, arquivos, cadernos ou apresentações (BROWN, 2009). Esses resultados podem ser obtidos por meio do emprego de softwares específicos que utilizam um sistema de quadro virtual para gerenciamento de tarefas, úteis para equipes que trabalham remotamente e que se comunicam por meio da Internet.                         A equipe deve repassar ao supervisor, nos prazos acordados, informações a respeito das atividades concluídas e do seu impacto sobre os rumos da auditoria, tendo em vista os dados obtidos até aquele ponto do planejamento. As limitações ou entraves ao cumprimento dos prazos e tarefas acordados inicialmente também devem ser informados ao supervisor dos trabalhos.                          O estabelecimento de boas relações com os gestores, desde o início do trabalho, é de suma importância para o sucesso da auditoria. Especial atenção deve ser dada à cuidadosa organização dos contatos com os gestores, desde a fase de planejamento. No início dessa etapa, é importante uma reunião de abertura em que a equipe de auditoria, acompanhada do supervisor, apresente os objetivos do trabalho para o gestor e sua equipe (NAT, 85) . Se algum convidado dessa reunião não puder comparecer, sua participação poderá ser virtual.                         O objetivo desta reunião inicial, além da apresentação da equipe de auditoria, é esclarecer sobre o tipo de auditoria que será realizado e sua finalidade, as principais dimensões de análise (economicidade, eficiência, eficácia e/ou efetividade), as etapas e os prazos previstos para a realização do trabalho. É fundamental destacar a importância da colaboração do gestor e a garantia de sua participação em todas as fases do trabalho, assegurando-se o envio do relatório preliminar para sua análise e comentários.                          A atitude da equipe de auditoria deve favorecer a confiança mútua e a interação produtiva ao longo de todo o trabalho, sem, entretanto, descuidar da observância de limites necessários à salvaguarda de sua independência na condução da auditoria (NAT, 54-55) .                          As principais atividades realizadas durante o planejamento da auditoria operacional, apresentadas na Figura 5, serão tratadas nas seções seguintes.           Figura 5 - Atividades de planejamento de auditoria operacional       Fonte: Adaptado de IDI Performance Audit Handbook  (IDI, 2017).       4.2              Análise preliminar do objeto de auditoria                             Requisito               O auditor deve adquirir conhecimento substantivo e metodológico durante a fase de planejamento (ISSAI 3000/98).                                                     A análise preliminar objetiva a aquisição de conhecimento substantivo sobre o objeto auditado. Consiste no levantamento de informações relevantes sobre o objeto e permite analisar diferentes desenhos de auditoria e verificar se há critérios e dados necessários disponíveis. Também deve-se verificar se as informações ou evidências requeridas poderão ser obtidas de forma eficiente. Vale ressaltar que a falta de dados e informações pode ser um achado significativo e não deve necessariamente impedir o auditor de continuar o trabalho.                          A compreensão do objeto da auditoria permite identificar riscos e pontos críticos existentes e é indispensável à definição do objetivo, do escopo e da abordagem da auditoria. É importante assegurar que os aspectos centrais do objeto auditado tenham sido investigados, documentados e compreendidos. A extensão e o nível de detalhamento dos dados que serão coletados devem levar em consideração a natureza do objeto investigado, o tempo e os recursos disponíveis para a auditoria.                          De início, cuidadosa revisão dos documentos relacionados ao objeto auditado deve ser realizada pela equipe de auditoria. Essa revisão pode ser estruturada em uma parte sobre o objeto e seu contexto e em outra sobre o funcionamento do objeto.                         Sobre o objeto e seu contexto:      a)    objetivos (gerais ou parciais, dependendo da extensão do trabalho);   b)    política e legislação pertinentes;   c)    estratégia de atuação (ações desenvolvidas, metas fixadas, clientes atendidos, procedimentos e recursos empregados, bens e serviços ofertados e benefícios proporcionados);    d)    estrutura organizacional (linhas de subordinação e de assessoramento e relação com as atividades desenvolvidas);   e)    fontes de financiamento e principais itens de custo e despesa (histórico da execução orçamentária);    f)     situação no contexto das prioridades governamentais;    g)    histórico (a partir da data de criação, as denominações anteriores do objeto e mudanças na sua concepção lógica em relação a objetivos, público-alvo e formas de implementação);   h)    grupos de interesse e características do ambiente externo e interno;   i)      natureza da atuação de outros órgãos ou programas governamentais que atuam na mesma área (linhas de coordenação).                            Sobre o funcionamento do objeto auditado:      a)    processos gerenciais;   b)    sistemas de informação e bases de dados existentes;   c)    ambiente de controle;    d)    restrições enfrentadas (imposições legais e limitações impostas pela concorrência, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades).                            A equipe deve realizar investigação preliminar dos sistemas de informação e dos controles internos e, assim como dos aspectos legais considerados significativos no contexto da auditoria. Nas auditorias operacionais, o exame da confiabilidade da base informativa e dos controles internos deve enfatizar os aspectos que possam comprometer a medição do desempenho do objeto de auditoria. Testes com indicadores quantitativos (construídos pela equipe ou pré-existentes) podem ser realizados com essa finalidade já nesse momento.                          A avaliação dos controles internos deve ser considerada no processo de avaliação de riscos (NAT, 72) . O resultado dessa avaliação deve ser registrado no plano de auditoria.                          A equipe deverá realizar também levantamento de trabalhos relevantes sobre o objeto de auditoria, identificando aspectos avaliados e principais conclusões de relatórios de auditoria do TCU e da auditoria interna, além de estudos e pesquisas de iniciativa do auditado ou de instituição acadêmica conceituada, de institutos de pesquisa ou de consultorias especializadas e devidamente reconhecidas como de excelência.                         Entrevistas com gestores e técnicos do objeto auditado ajudam a clarear muitas das informações obtidas com a revisão documental. A consulta a especialistas é altamente recomendável nesta fase da auditoria. Geralmente, esse contato possibilita a obtenção de informações relevantes, auxiliando a equipe a entender o objeto da auditoria.                          Ainda na análise preliminar, é importante aplicar técnicas com a finalidade de traçar diagnóstico a partir da interpretação sistemática das informações coletadas e da identificação dos principais problemas relativos ao desempenho do objeto selecionado. Uma das principais técnicas de diagnóstico aplicadas em auditoria operacional é a análise stakeholder  (BRASIL, 2002b) . O Quadro 4 lista essa e outras técnicas mais usadas e os objetivos a que se propõem. O TCU disponibiliza em seu Portal documentos técnicos e vídeos sobre as principais ferramentas de diagnóstico e análise de problemas usadas em auditoria operacional.       Quadro 4 - Técnicas mais usadas na etapa de planejamento                         Técnica de diagnóstico             Objetivo                       SWOT e Diagrama de Verificação de Risco (DVR)                     Identificar as forças e fraquezas do ambiente interno do objeto da auditoria e as oportunidades e ameaças do ambiente externo.               Identificar possíveis áreas a investigar.              Identificar fatores de risco e conhecer a capacidade organizacional  (controles) para o seu gerenciamento.                       Análise stakeholder                    Identificar principais grupos de interesse (atores interessados).              Identificar opiniões e interesses conflitantes.                       Mapa de produtos                     Conhecer os principais objetivos de uma entidade ou programa.              Representar as relações de dependência entre os produtos.              Identificar os responsáveis pelos produtos críticos.              Desenvolver indicadores de desempenho.                       Mapeamento de processos                    Conhecer o funcionamento de processos de trabalho.              Identificar boas práticas.              Identificar oportunidades para racionalização e aperfeiçoamento de processos de trabalho.              Contribuir para a identificação de eventos de risco e atividades de controle.                       Diagrama de Ishikawa (Diagrama de Causa-Efeito ou Diagrama Espinha de Peixe)                     Identificar as possíveis causas que levam a um determinado problema.                       Árvore de problemas                    Compreender os fatores que dificultam o alcance dos objetivos de políticas, programas ou órgãos públicos.                Identificar causas e consequências de um problema central.                       Análise RECI                    Identificar quem é responsável pelas atividades desenvolvidas, quem as executa, quem é consultado e quem é informado, seja no âmbito limitado de uma equipe de trabalho, seja em relação a um órgão, entidade ou programa.                       Marco lógico                    Orientar a formulação, a execução, o acompanhamento e a avaliação de programas ou de projetos governamentais.                       Análise envoltória de dados (Data Envelopment Analysis - DEA)                     Avaliar a eficiência relativa de um conjunto de unidades, como organizações e programas (constrói uma fronteira de eficiência, identificando as unidades mais eficientes na transformação de determinados insumos em certos produtos)               Identificar boas práticas, normalmente associadas às unidades mais eficientes, que podem ser usadas como benchmark para a melhoria do desempenho das demais.                       Matriz de análise de risco                    Identificar e ponderar os riscos inerentes às atividades auditadas.               Identificar e ponderar os riscos de controle incidentes sobre a atividade.               Identificar os riscos residuais mais críticos e merecedores da atenção da auditoria.               Fonte: Elaboração própria, com base nos documentos técnicos do TCU.                                Após a realização das atividades anteriores, um ponto importante da fase de planejamento é a decisão entre realizar uma avaliação de risco ou uma análise de problema, conforme estabelecido pela ISSAI 100/46.                         No caso da avaliação de risco, as equipes de auditoria operacional devem seguir as orientações do documento técnico pertinente, disponível na biblioteca digital, que também inclui modelos de papeis de trabalho a serem elaborados (TCE, 2013c) . Em linhas gerais, o modelo considera que, ao planejar uma auditoria, a equipe deve analisar a importância relativa dos riscos, indicando as probabilidades de ocorrência e o possível impacto tanto quantitativo como qualitativo. O modelo está dividido em 4 etapas:      Etapa 1: Entendimento preliminar do objeto auditado;   Etapa 2: Identificação dos riscos;   Etapa 3: Análise dos riscos;   Etapa 4: Definição do escopo e das questões de auditoria.                            A equipe de auditoria deve considerar e avaliar o risco de diferentes tipos de deficiências, desvios ou distorções que possam ocorrer em relação ao objeto da auditoria. Isso é feito por meio da realização de procedimentos que servem para entender o objeto e seu ambiente, o que inclui os controles internos relevantes. Deve ainda avaliar as respostas adotadas para os riscos identificados, o que inclui avaliar o desenho e a implementação desses controles internos.                         O objetivo principal desse modelo de avaliação de risco em auditoria operacional é auxiliar na definição do escopo e das questões de auditoria, enquanto na auditoria financeira faz-se a vinculação entre essa avaliação de risco e os procedimentos adicionais de auditoria, isto é, a definição da natureza e da extensão dos exames. Para realização da avaliação de risco, o modelo preconiza que algumas técnicas sejam empregadas, como modelo lógico, mapeamento de processos e matriz de análise de risco.                         Caso a equipe decida realizar análise de problema, deve considerar as indicações existentes de problemas ou desvios em relação àquilo que deveria ser. Esse processo envolve examinar vários indicadores de problemas a fim de definir os objetivos da auditoria.                          Técnicas de análise de problemas são ferramentas que auxiliam o estudo em profundidade e de forma estruturada de problemas, fornecendo subsídios para a identificação de suas causas, suas consequências, suas inter-relações, assim como possíveis soluções. No TCU, as duas principais técnicas que estão utilizadas são o Diagrama de Ishikawa e a Árvore de Problemas. Além dessas, podem ser usados o brainstorming, a Matriz GUT (gravidade, urgência e tendência) e os Cinco Porquês. Orientações para aplicação dessas técnicas estão disponíveis no documento Técnicas de análise de problemas para auditorias (BRASIL, 2013b) .                         O principal requisito para a aplicação das técnicas de análise de problema é a realização de uma consistente análise preliminar do objeto de auditoria, para só em seguida definir exatamente o problema. Assim, não é possível iniciar a fase de planejamento pela aplicação da técnica de análise de problema, exceção feita para aquelas precedidas de um levantamento suficientemente detalhado de modo a problematizar o objeto de auditoria.                         A análise de problema deve ser complementada por uma análise que permita à equipe priorizar aqueles que podem impactar negativamente o desempenho do objeto e o alcance de seus objetivos. No TCU, usam-se a análise SWOT e o diagrama de verificação de riscos para identificar as áreas de investigação na auditoria  (BRASIL, 2010f).                         Além das técnicas acima apontadas, é possível usar outras ferramentas (algumas do Design thinking) que também auxiliam a conhecer o objeto auditado e a definir o problema e as questões de auditoria. As fases do Design Thinking e suas ferramentas estão disponíveis no Design Thinking Toolkit para Governo (BRASIL, 201?) .                         Sempre que houver necessidade de ampliar o conhecimento sobre os aspectos operacionais do objeto de auditoria, recomenda-se a realização de visitas exploratórias, isto é, o deslocamento da equipe de auditoria para o local (ou locais) onde as atividades se desenvolvem, com o objetivo de colher informações preliminares. A ausência de um claro arcabouço legal, a insuficiência de informações, o desconhecimento sobre como se presta o serviço ou, ainda, a diversidade na forma de implementação das ações são exemplos de razões que justificam a visita exploratória na fase de planejamento.                           Essas visitas são essenciais para o entendimento da situação social objeto da intervenção e sobre como a ação governamental que será auditada trata as necessidades que tem por objetivo atender. Somente conhecendo o contexto do problema é possível captar suas causas e inteirar-se sobre variáveis que podem impactar no sucesso ou insucesso da ação governamental examinada.                         A visita exploratória também é útil para prevenir problemas no decorrer da execução da auditoria, reduzir incertezas, auxiliar na definição dos critérios de auditoria, bem como permitir a obtenção de informações que subsidiarão a elaboração dos instrumentos de coleta de dados.                          Os custos da visita exploratória devem ser considerados no custo estimado da auditoria.          4.3.                           Estratégia global de auditoria                             O planejamento de uma auditoria específica envolve aspectos estratégicos e operacionais (ISSAI 100/48), sendo os primeiros documentados em uma estratégia de auditoria e os últimos em um plano de auditoria (ISSAI 100/42; NAT, 94). A documentação da estratégia de auditoria é uma boa prática já consolidada em auditoria financeira (ISSAI 2300), mas ainda em desenvolvimento em auditoria operacional. Exemplo de aplicação de prática semelhante é o Plano Global de Auditoria do Tribunal de Contas Europeu (TCE, 2017, 3.3)                          A estratégia global de auditoria (EGA)  é o compromisso da unidade técnica, da supervisão e da equipe com a execução da auditoria, seguindo o plano geral nela especificado.   A EGA define o escopo, a época e a direção da auditoria a fim de guiar os esforços da equipe no desenvolvimento do plano de auditoria (ISSAI 2300/7). Para tanto, a estratégia global de auditoria deve conter, no mínimo:       a)    objetivos, escopo e abordagem de auditoria (ISSAI 100/48; NAT, 68);    b)    período de abrangência e período de realização da auditoria (ISSAI 100/48; ISSAI 2300/8);   c)    usuários previstos e partes responsáveis, seus interesses e necessidades (ISSAI 3000/25);    d)    critérios (TCE, 2017);   e)    metodologia (GUID 3920/50) ;   f)     recursos necessários (ISSAI 2300; TCE, 2017; NAT, 70);   g)    riscos significativos e medidas para mitigá-los (GUID 3920/62; NAT, 71);   h)     os benefícios esperados da auditoria (TCE, 2017);   i)      a determinação da materialidade (ISSAI 3000/83).                            Ao elaborar a estratégia global de auditoria, o auditor deve verificar os objetivos de comunicação de resultados da auditoria para definir os prazos da auditoria e a natureza das comunicações requeridas; considerar fatores que sejam significativos para direcionar os esforços da equipe na auditoria; considerar resultados de atividades preliminares para obter conhecimento sobre o objeto; e estimar os recursos necessários para realizar a auditoria, tais como os membros da equipe, competências requeridas e a necessidade da participação de especialistas (ISSAI 2300/8).                         É importante que a estratégia estabelecida para a auditoria combine estratégia metodológica, métodos e técnicas de auditoria que se adequem ao contexto, ao (s) objetivos (s), às questões, aos critérios, às habilidades e aos recursos da equipe de auditoria, bem como à disponibilidade de dados (GUID 3920/50).                          Quando houver riscos significativos que afetem a auditoria, a estratégia estabelecida deve ser capaz de mitigá-los. Para responder adequadamente a esses riscos, o auditor pode considerar, por exemplo, incluir membros mais experientes na equipe; usar especialistas adicionais internos e externos; ajustar a estratégia e os métodos de coleta e análise de dados; estabelecer acordos de comunicação específicos com a entidade auditada; estabelecer medidas específicas de controle de qualidade (GUID 3920/62).                         A estratégia global e o plano de auditoria são estreitamente relacionados. Uma diferença entre esses dois documentos é o grau de detalhamento. A EGA pode sofrer alterações ao longo do planejamento, principalmente em razão da realização dos procedimentos de avaliação de riscos ou de análise de problema, de imprevistos, de mudanças nas condições, ou da obtenção de informação que difere significativamente da informação disponível quando a estratégia global foi definida inicialmente (ISSAI 2300/A15).                          Em auditoria operacional, os critérios e objetivos passam por processo de desenvolvimento ao longo do planejamento, em fase posterior à definição da EGA. Dessa forma, para incentivar a eficiência do planejamento, bem como a criatividade e a flexibilidade na realização da auditoria operacional, a equipe de auditoria deve, regra geral, evitar elaborar a EGA excessivamente pormenorizada ou sofisticada (TCE, 2017).                          Para saber mais sobre a aplicação da estratégia global de auditoria, consulte o documento técnico Orientações para a definição da estratégia global de auditoria (BRASIL, 2020b).          4.4.                           Definição da abordagem de auditoria                             Requisito               O auditor deve escolher uma abordagem de auditoria orientada a resultado, problema ou sistema, ou uma combinação destas (ISSAI 3000/40).                                                     A abordagem de auditoria determina a natureza do exame a ser realizado e é uma conexão importante entre os objetivos e as questões de auditoria, os critérios e os procedimentos desenvolvidos para a coleta de evidências (ISSAI 3000/41).                         A abordagem orientada a resultado avalia se os objetivos do tema auditado, em termos de produtos ou impacto, foram atingidos como planejado ou se os programas e serviços estão funcionando como esperado. Este tipo de abordagem envolve questões como: Qual é o desempenho do objeto auditado? Que resultados foram atingidos? Que requisitos foram cumpridos? Na abordagem orientada a resultados, o auditor verifica o desempenho real, os resultados e impactos obtidos e os relaciona aos critérios. Os achados, muitas vezes, assumem a forma de desvio dos critérios e a perspectiva é, basicamente, normativa (GUID 3910/50-51).                         A abordagem orientada a problema examina, verifica e analisa as causas de problemas específicos ou de desvios dos critérios de auditoria. Tem como ponto de partida um problema ou desvio já conhecido. Neste tipo de abordagem, os critérios de auditoria têm papel menos significativo. A tarefa principal da auditoria, neste caso, é analisar as causas dos problemas existentes a partir de diferentes perspectivas. A abordagem orientada a problema trata de questões como: Qual é o problema? Quais são suas causas? Em que medida o governo pode resolver o problema identificado? A perspectiva é analítica e instrumental e o objetivo é fornecer informações atualizadas sobre os problemas identificados e como lidar com eles (GUID 3910/50, 52-53).                         A abordagem orientada a sistema examina o funcionamento dos sistemas de gestão, como os de gestão financeira, de avaliação, de controle ou de TI. Não foca diretamente na política ou nas metas, mas no funcionamento dos sistemas como condição para o alcance da eficiência e efetividade das políticas. Essa abordagem pode responder a questões como: Qual é o objetivo do sistema? Quem são os atores responsáveis e quais as responsabilidades de cada um? Em que medida existe um plano consistente? Os processos são avaliados periodicamente de forma apropriada? (GUID 3910/50, 54).                         É importante acrescentar que as auditorias operacionais também podem ser direcionadas para o exame de atividades conduzidas de forma coordenada por um grupo de órgãos e entidades governamentais ou por um conjunto de programas que se interligam formando uma determinada política pública, extrapolando as barreiras funcionais de uma única organização. O Referencial para Avaliação de Governança em Políticas Públicas (TCU, 2014a)  fornece subsídios para a realização de avaliações de políticas públicas implementadas com essas características.                          Além disso, nesses casos, pode ser necessária a aplicação de técnicas específicas, como o enfoque integrado de governo, que procura lidar com a crescente fragmentação dos serviços públicos, conforme apresentado a seguir.           4.4.1        Enfoque integrado de governo                            O enfoque integrado de governo (whole of government approach - WoG, na sigla em inglês) é um termo usado para designar uma forma de responder ao problema da crescente fragmentação no setor público e nos serviços públicos e um reconhecimento de que é necessário aumentar a integração, a coordenação e a coerência das políticas públicas para obter maiores benefícios para a sociedade. O enfoque integrado de governo pode ser usado em problemas complexos ou persistentes (como pobreza, saúde deficiente, população desabrigada); em crises e desafios estratégicos (como mudanças climáticas, terrorismo e epidemias); em prestação de serviços integrados a toda a população ou a um grupo específico, como idosos, jovens (COLGAN; KENNEDY; DOHERTY, 2014).                         O uso do enfoque integrado de governo para analisar temas ligados a políticas públicas tem sido associado a diversos benefícios, tais como (COLGAN; KENNEDY; DOHERTY, 2014):      a)    foco no resultado: busca permitir que departamentos e agências governamentais alcancem resultados que não seriam possíveis trabalhando de forma isolada;   b)    expansão de limites: a implementação de políticas públicas geralmente vai além de um único ministério, departamento ou agência;   c)    catalisador: o enfoque integrado de governo é visto como um facilitador para que o governo lide com desafios complexos, use conhecimento e expertise - de dentro e de fora do governo - de forma mais efetiva e integre níveis de governo para apoiar a prestação de serviços de forma mais eficiente e efetiva;   d)    fortalecimento da prevenção: esse enfoque pode fortalecer uma visão preventiva, fazendo com que os problemas sejam enfrentados de maneira sistêmica, logo que aparecem, antes que se incorporem à política pública.                            Nas auditorias operacionais, o enfoque integrado de governo ajuda a entender melhor as complexidades do objeto auditado e a definir os objetivos da auditoria, especialmente nas auditorias em políticas multisetoriais ou nas descentralizadas em diferentes níveis de governo.                         Para a adoção do WoG, a equipe de auditoria deve se apropriar do conceito de centro de governo (CG) , que é uma instituição ou grupo de instituições que presta apoio ao chefe do Poder Executivo, examinando a totalidade da ação governamental com o objetivo de assegurar coerência e coesão às diversas iniciativas governamentais (BRASIL, 2016b) .                          No atual desenho institucional do governo brasileiro, o centro de governo não é composto por uma única estrutura, mas um conjunto de organizações da Presidência da República, do Ministério da Economia e o Conselho de Desenvolvimento Econômico e Social. A multiplicidade de atores cria a necessidade de haver coordenação não só do CG para os demais ministérios, mas entre seus componentes.                          Sendo assim, propostas de deliberações para o CG devem ser discutidas entre a unidade técnica detentora da clientela e a proponente, para avaliação da oportunidade e conveniência de tratá-las no processo de auditoria em discussão ou em outro processo da responsabilidade daquela unidade  (BRASIL, 2020c) .                         O Referencial do TCU para Avaliação da Governança do Centro de Governo (BRASIL, 2016b) é importante subsídio para auditorias que usem o enfoque integrado de governo.                         Outra ferramenta útil para apoiar equipes de auditoria que examinam temas amplos onde se considera o enfoque integrado de governo é a análise de fragmentações, sobreposições e duplicidades nas ações de governo  (GAO, 2015) .                         Fragmentação ocorre quando mais de uma entidade governamental (ou mais de uma unidade dentro da entidade) está envolvida na mesma área e há oportunidade de melhoria na prestação de serviços. Sobreposição ocorre quando várias entidades governamentais ou programas têm objetivos semelhantes, desenvolvem atividades ou estratégias similares para alcançar esses objetivos ou têm o mesmo público-alvo. Duplicação acontece quando duas ou mais entidades ou programas de governo realizam as mesmas atividades ou prestam os mesmos serviços para os mesmos beneficiários (GAO, 2015).                          Os principais passos para ajudar auditores e criadores de políticas a identificar e avaliar instâncias de fragmentação, sobreposição e duplicação nas políticas são os seguintes  (GAO, 2015):      a)    identificar fragmentação, sobreposição ou duplicidade;   b)    identificar os efeitos potenciais da fragmentação, sobreposição e duplicidade;   c)    validar os efeitos, avaliar e comparar os programas;   d)    identificar opções para aumentar a eficiência e reduzir (ou gerenciar melhor) a fragmentação, sobreposição e duplicidade.                             Auditores do TCU que já aplicaram essa ferramenta identificaram outro tipo de situação, além das três descritas. Seria a lacuna, que se caracteriza pela ausência de uma parte importante em um processo, que pode ser a ausência de políticas, programas, atuação de atores, mecanismos institucionais, atividades, benefícios, cobertura de beneficiários  (TCU, 2017a).      4.5.                           Definição do escopo da auditoria                            Escopo é a delimitação estabelecida para o trabalho e é expresso pelo objetivo, pelas questões e pelos procedimentos de auditoria, no seu conjunto (NAT, 92). O objetivo, as questões e os procedimentos estão inter-relacionados e devem ser considerados de forma conjunta. O escopo define os limites da auditoria. Para definir o escopo, a equipe precisa identificar quais entidades ou qual programa em particular ou aspecto de um programa serão incluídos na auditoria. A equipe também deve identificar o período a ser coberto pela auditoria e, se pertinente, os locais a serem incluídos  (GUID 3920/35; 36). O escopo deve explicitar a amplitude e a profundidade do trabalho para alcançar o objetivo da auditoria (NAT, 133). Assim, para definir o escopo de auditoria, a equipe deve responder às quatro perguntas da Figura 6  (IDI, 2016) .       Figura 6 - Perguntas que ajudam a definir o escopo da auditoria      Fonte: IDI, 2016.                                 De acordo com a GUID 3920/37, é boa prática discutir o escopo da auditoria com o auditado o mais cedo possível. Em alguns casos, também é importante explicitar o não-escopo do trabalho. Isso pode ajudar a reduzir mal-entendidos e falsas expectativas, não só por parte da entidade auditada, mas também de outros stakeholders, internos e externos ao TCU.          4.6.                           Definição do objetivo e das questões de auditoria                             Requisitos               O auditor deve estabelecer uma definição clara do (s) objetivo (s), que se relacione com os princípios da economicidade, eficiência e/ou efetividade (ISSAI 3000/35).                O auditor deve definir o (s) objetivo (s) de auditoria de maneira suficientemente detalhada para não deixar dúvidas sobre as questões que deverão ser respondidas e para permitir o desenvolvimento lógico do desenho de auditoria (ISSAI 3000/36).                Caso o (s) objetivo (s) de auditoria seja (m) formulado (s) como questões de auditoria divididas em subquestões, o auditor deve garantir que estas sejam tematicamente relacionadas, complementares, não sobrepostas e coletivamente exaustivas no tratamento da questão geral de auditoria (ISSAI 3000/37).                                                     A portaria de fiscalização define o objetivo da auditoria, a equipe responsável pelo trabalho e o período de sua realização. A partir do objetivo inicialmente definido, e do conhecimento construído durante a análise preliminar do objeto de auditoria, a equipe deverá refinar o objetivo (ou objetivos) da auditoria, que se relacione com os princípios de economicidade, eficiência, eficácia e efetividade (ISSAI 3000/35). O objetivo deve ser acompanhado de breve contextualização do tema, esclarecimento sobre a situação-problema[9] identificada e as razões que levaram a equipe a sugerir um determinado tema e enfoque, caso estes não tenham sido previamente definidos na deliberação que determinou a realização da auditoria  (BRASIL, 2016a) .                          O objetivo da auditoria (ou objetivos) deve ser definido de maneira suficientemente detalhada para não deixar dúvidas sobre as questões que deverão ser respondidas (ISSAI 3000/36). O objetivo do trabalho deve dar informação suficiente sobre o foco da auditoria, ser elaborado de forma a maximizar os benefícios e impactos da fiscalização e conter termos claros e simples. A conclusão do relatório deve ser direta e explicitamente relacionada ao objetivo de auditoria (IDI, 2016).                         Na elaboração do objetivo, a equipe deve levar em conta o mandato do TCU, tendo cuidado de não o exceder, e considerar as razões de realização da auditoria, estabelecidas no planejamento estratégico (PASAI, 2011, 3.15).                         O Quadro 5 mostra alguns exemplos de objetivos de auditoria operacional, adaptados de auditorias realizadas pelo TCU.      Quadro 5 - Exemplos de objetivos de auditoria                         Exemplo 1       Avaliar se está havendo pleno uso dos espaços nas unidades do Programa Proinfância, com ênfase na análise da adequação do projeto padrão às diversidades regionais e no nível de utilização das salas de leitura e dos laboratórios de informática. Adicionalmente, avaliar a assistência técnica e o apoio prestados pela Secretaria de Educação Básica do MEC aos municípios participantes.       Exemplo 2       Avaliar as atividades de preparação para a implementação da Agenda 2030[10], desenvolvidas pelo Centro de Governo, entre setembro de 2015 e março de 2018.       Exemplo 3       Avaliar a qualidade das construções e a infraestrutura no entorno dos empreendimentos financiados pelo Programa Minha Casa Minha Vida, a eficácia no alcance das metas do programa e o desenvolvimento do trabalho técnico social junto aos beneficiários, abrangendo as atividades realizadas em 2016 e 2017, nos níveis federal, estadual e municipal.               Observação: o objetivo de auditoria também pode ser formulado em forma de pergunta. A questão fundamental da auditoria (NAT, 133 e 156).                       Fonte: Elaboração própria a partir de auditorias do TCU.                                O objetivo de auditoria deve ser desdobrado em questões, que podem ser divididas em subquestões.                          A questão de auditoria é o elemento central na determinação do direcionamento dos trabalhos de auditoria, das metodologias e técnicas a adotar e dos resultados que se pretende alcançar. O auditor deve garantir que as questões e as subquestões sejam tematicamente relacionadas, complementares, não sobrepostas e coletivamente exaustivas, de forma que esse conjunto responda ao objetivo geral da auditoria (ISSAI 3000/37).                          É comum que a equipe de auditoria e/ou as partes interessadas na auditoria proponham, durante a fase de planejamento, um escopo muito extenso que dê origem a muitas questões de auditoria. Isso pode comprometer ou até mesmo inviabilizar o trabalho. Não há uma quantidade pré-definida de questões, depende de cada auditoria, mas é preciso ser realista para que o trabalho seja exequível e, ao mesmo tempo, útil para os usuários previstos.                          Ao formular as questões e, quando necessário, as subquestões de auditoria, a equipe está, ao mesmo tempo, estabelecendo com clareza o foco de sua investigação, as dimensões de análise, o alcance e os limites que deverão ser observados durante a execução dos trabalhos. As questões de auditoria devem ser escritas usando linguagem imparcial, mesmo que já sejam esperados problemas relacionados ao que se vai investigar.                         Nesse sentido, a adequada formulação das questões é fundamental para o sucesso da auditoria, uma vez que terá implicações nas decisões sobre os tipos de dados que serão coletados, a forma de coleta que será empregada, as análises que serão efetuadas e as conclusões que serão obtidas.                         Na elaboração das questões de auditoria, devem-se levar em conta os seguintes aspectos:      a)    clareza e especificidade;   b)    uso de termos que possam ser definidos e mensurados;   c)    viabilidade investigativa (possibilidade de ser respondida);   d)    articulação e coerência (o conjunto das questões elaboradas deve ser capaz de satisfazer o objetivo de auditoria previamente definido, isto é, de responder à questão fundamental de auditoria).       4.6.1        Tipos de questão de auditoria                            O tipo de questão formulada terá uma relação direta com a natureza da resposta e a metodologia a adotar.                         Questões normativas: são aquelas que tratam de comparações entre a situação existente e aquela estabelecida em norma, padrão ou meta, tanto de caráter qualitativo quanto quantitativo. A abordagem metodológica empregada nesses casos é a comparação com critérios previamente identificados e o desempenho observado. Aborda-se o que deveria ser e, usualmente, são questões do tipo: O programa tem alcançado as metas previstas? Os sistemas instalados atendem às especificações do programa?                         Questões descritivas: são formuladas de maneira a fornecer informações detalhadas sobre, por exemplo, condições de implementação ou de operação de determinado programa ou atividade, mudanças ocorridas, problemas e áreas com potencial de aperfeiçoamento. São questões que buscam aprofundar aspectos tratados de forma preliminar durante a etapa de planejamento. Exemplo de questão descritiva: Como os executores locais estão operacionalizando os requisitos de acesso estabelecidos pelo programa Minha Casa Minha Vida?                         Questões avaliativas: buscam avaliar a efetividade do objeto de auditoria e vão além das questões descritivas e normativas para enfocar o que teria ocorrido caso o programa ou a atividade não tivesse sido executada. Em outras palavras, uma questão avaliativa quer saber que diferença fez a intervenção governamental para a solução do problema identificado. O escopo da questão abrange também os efeitos não esperados, positivos ou negativos, provocados pelo programa. Exemplo de questão avaliativa: Em que medida os efeitos observados podem ser atribuídos ao programa? As questões avaliativas quase sempre requerem estratégias metodológicas complexas para sua investigação, envolvendo modelos experimentais com grupos de controle, análises estatísticas e modelagem. Esse tipo de trabalho pode trazer resultados reveladores, mas, em função da complexidade envolvida, exige conhecimento especializado, pode ser caro e de execução demorada.                         Questões exploratórias: destinadas a explicar eventos, esclarecer os desvios em relação ao desempenho padrão ou as razões de ocorrência de um determinado resultado. São questões do tipo: Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefícios de auxílio-doença ao longo da última década? Nesse tipo de questão, nem sempre são definidos critérios[11] a priori, pois o objetivo pode ser a investigação de causas e não de desvios do critério. Embora não esteja prevista nas ISSAI, esse tipo de questão é usado em auditorias operacionais realizadas pelo TCU e por outras EFS.                           Mesmo que seja aconselhável em uma auditoria operacional formular, preferencialmente, questões normativas ou avaliativas, incluir questões descritivas pode ser útil, especialmente quando se está planejando a auditoria em áreas em que falta informação sobre economicidade, eficiência, eficácia ou efetividade (GUID 3920/33).                         A formulação da questão de auditoria é um processo interativo, o qual depende, fundamentalmente, das informações obtidas na fase de planejamento e daquilo que se quer investigar. Existem diversas técnicas que podem ser utilizadas para a definição das questões de auditoria, como as técnicas de análise de risco, diagrama de verificação de risco e inventário de riscos; e as técnicas de análise de problemas, como a árvore de problemas e o diagrama de Ishikawa (Quadro 4).                         Tendo em vista o caráter interativo do processo de formulação das questões de auditoria, é recomendável que se empregue técnicas e procedimentos que permitam o registro e a análise das informações de forma visual, de modo a permitir o envolvimento de toda a equipe na atividade, a produção de insights e a desejável construção colaborativa das questões de auditoria.                          À medida que a equipe de auditoria adquire mais conhecimento sobre o objeto auditado, pode ser necessário ajustar as questões, sempre documentando as modificações. Porém, isso não deve ser feito com frequência, até porque é recomendável que as questões sejam comunicadas à entidade auditada e mudar as questões durante a fase de execução da auditoria pode gerar dúvidas sobre o profissionalismo e a objetividade da equipe (GUID 3920/34).                         Embora não exista um método único para se chegar às questões de auditoria, pode-se utilizar, ainda uma abordagem estruturada para sua formulação, inspirada no método cartesiano de solução de problemas, como descrito a seguir:                                1º passo - Descreva o objetivo da auditoria.                                            Com base no entendimento do objeto, propiciado pela análise preliminar do objeto de auditoria, expresse, de forma clara e objetiva, aquilo que a auditoria se propõe a realizar, a questão fundamental de auditoria a ser esclarecida (NAT, 133) . A descrição do objetivo deve ser suficiente para nortear a concepção da auditoria.  O essencial é que o tópico mais importante seja buscado, com base na avaliação prévia dos riscos mais significativos.                                2º passo - Desdobre o objetivo em questões.                                            A equipe deve estar segura de que será possível chegar a conclusões que respondam à questão fundamental da auditoria, constante do enunciado do seu objetivo  (NAT, 156)  e que o tópico escolhido é relevante e oportuno. Também é relevante considerar se a auditoria está focada em economicidade, eficiência ou eficácia. Em muitos casos, o foco da auditoria pode ser um ou uma combinação de quaisquer desses dois princípios, mas é improvável que inclua todos os três (TCE, 2017).                          O objetivo deve ser desdobrado em questões que sejam mutuamente exclusivas e coletivamente exaustivas. Por meio de brainstorming identifique possíveis questões que, uma vez respondidas e consideradas no conjunto, permitam alcançar o objetivo formulado. A seguir, estabeleça uma hierarquia de questões, como na Figura 7. Identifique o tipo de questão formulada, pois a natureza da questão terá relação direta com a natureza da resposta e a metodologia a adotar.          Figura 7 - Hierarquia de questões e subquestões      Fonte: Tribunal de Contas Europeu (2013a, 2017).                                Na Figura 8, o nível 1 refere-se à questão fundamental de auditoria; o seu objetivo. A equipe precisa identificar quais são os aspectos relevantes (materialidade) a serem investigados para responder essa questão fundamental com segurança razoável. O nível 2 corresponde a esses aspectos relevantes, identificados por meio de avaliação de risco ou análise de problema. Formam o escopo da auditoria.                          O nível 3, por sua vez, trata das hipóteses de auditoria, que precisam ser aceitas ou rejeitadas mediante procedimentos de auditoria que levarão aos achados da auditoria. São os objetivos dos procedimentos de auditoria que, uma vez desenvolvidos e executados  (nível 4)  permitirão a obtenção de evidências apropriadas e suficientes para fundamentar as conclusões da auditoria, ou seja, as respostas às questões de auditoria dos níveis hierárquicos acima.                         Não há regras rígidas sobre a conveniência de formular subquestões de auditoria e sobre a quantidade de seus níveis. Contudo, as questões devem ser focadas, específicas e tratar de apenas um tema. Se for necessário, subquestões devem ser formuladas para que cada uma delas seja o mais simples possível e, no conjunto, abranjam o que se deseja investigar por meio da questão de auditoria. É necessário considerar que o excesso de subquestões pode tornar a matriz extensa, repetitiva e confusa. Sendo assim, deve ser adotada a solução mais adequada a cada auditoria. Também é importante ressaltar que nem todas as questões são desdobradas com o mesmo número de níveis. Várias situações são possíveis. Por exemplo, se a auditoria tiver 4 questões, a questão 1 poderia ser subdividida até o nível 3, a questão 2 até o nível 2, a questão 3 até o nível 4 e a questão 4 não ter subquestões.                         As subquestões facilitam a organização das informações do plano de auditoria por linha da matriz de planejamento, permitindo ao leitor acompanhar a lógica do desenho da auditoria. No nível mais baixo, as questões devem ser específicas, de forma que seja possível estabelecer procedimentos de auditoria. Esse propósito também pode ser alcançado por meio da última coluna da matriz de planejamento (o que a análise vai permitir dizer).                         Para assegurar que as subquestões sejam mutuamente exclusivas e coletivamente exaustivas, é preciso seguir uma estrutura lógica que pode ser, por exemplo, decompor a questão de acordo com um dos três princípios: por ordem, estrutura ou classe (TCE, 2013a, 2017). O Quadro 6 apresenta os princípios que podem ser considerados na divisão das questões.          Quadro 6 - Princípios para decompor a questão de auditoria                            Por ordem                       Cronológica                      Ordem do tempo: primeiro a ocorrer, segundo a ocorrer etc. desempenho por diferentes anos, ou sequencial (um evento tem que vir antes do outro) .                       Entradas, processos, saídas             Ordenação considerando causa e efeito, com entradas, processos e saídas.                       Pela estrutura                       Nível Organizacional ou função             Por divisão, unidade, níveis, instituições, serviços.                       Geográfica             Ordenação por localização, como países, regiões.                       Demográfica             Divisão da população em subconjuntos, como idade gênero, tipos de empregados, nível de escolaridade.                       Estrutura financeira             Por componentes de estrutura financeira.                       Pela classe                       Indicadores de desempenho              Os indicadores de desempenho relevantes, como custos, calendário, desempenho técnico.                       Fatores de sucesso              Os fatores de sucesso relevantes para o programa.                       Prioridades             As principais prioridades da política pública ou programa, como objetivo primário da política, objetivo secundário da política, objetivo terciário da política.               Fonte: Tribunal de Contas Europeu (2013a) .                             3º passo - Teste as questões.                                            Revise as questões e verifique se elas são mutuamente exclusivas e coletivamente exaustivas. Identifique as questões de difícil resposta e considere como as dificuldades podem ser contornadas. Confronte as questões com os recursos disponíveis para a realização da auditoria, definidos em termos de custo, prazos de execução e de pessoal. Avalie ainda as competências da equipe, vis-à-vis às necessárias para execução da auditoria.                                     4º passo - Elimine as questões não essenciais.                                            Descarte questões desprovidas de potencial para melhorar o desempenho ou que não tenham solução viável. Os critérios para a escolha de determinada questão são a relevância das conclusões que poderão ser alcançadas e a viabilidade da estratégia metodológica requerida para respondê-la de forma satisfatória. Priorize as questões e decida quais devem ser estudadas. Lembre-se de que as questões devem ser sucintas e sem ambiguidades.                                5º passo - Elabore a matriz de planejamento.                                        Quando a equipe de auditoria chega a um conjunto de questões e subquestões totalmente desenvolvido, o próximo passo é pensar nos elementos seguintes do plano da auditoria, que levarão à elaboração da matriz de planejamento:      a)    Que critérios são aplicáveis?   b)    Que evidências devem ser coletadas? Como serão coletadas?   c)    Quais são boas fontes de evidência?   d)    Como essas evidências serão analisadas?   e)    Quais as possíveis conclusões da análise das evidências obtidas?                            Após essas considerações, ainda pode ser necessário descartar questões ou subquestões que foram consideradas essenciais. Isso pode ocorrer, por exemplo, se a equipe concluir que a obtenção de evidências é inviável com o prazo e os recursos disponíveis. Nesse caso, descarta-se a questão (ou subquestão), ou muda-se o prazo e os recursos para adequar ao escopo da auditoria.           4.7                             Definição dos critérios de auditoria                             Requisitos               O auditor deve estabelecer critérios apropriados, que correspondam ao (s) objetivo (s) e questões de auditoria e sejam relacionados com os princípios de economicidade, eficiência e/ou efetividade (ISSAI 3000/45).                O auditor deve, como parte do planejamento e/ou da condução da auditoria, discutir os critérios de auditoria com a entidade auditada (ISSAI 3000/49).                                                     Após definir o objetivo e as questões de auditoria, a equipe deverá especificar os critérios de auditoria e elaborar a matriz de planejamento.                         Ainda na fase de planejamento, a equipe deve definir os critérios de auditoria, que são as referências usadas para avaliar o objeto de auditoria (ISSAI 3000/46), de acordo com os princípios de economicidade, eficiência, eficácia e efetividade. Representam o estado ideal ou desejável daquilo que se examina e oferecem o contexto para avaliar as evidências e compreender os achados. Da comparação entre o critério e a situação encontrada (condição) são derivados os achados de auditoria. Portanto, o critério representa a expectativa razoável e fundamentada do que "deveria ser", as melhores práticas e benchmarks com os quais o desempenho pode ser comparado.                          Os critérios de auditoria precisam fornecer uma base apropriada e razoável para a avaliação dos objetivos da auditoria e devem ser relevantes, compreensíveis, completos, confiáveis e objetivos no contexto do objeto, do (s) objetivo (s) e/ou das questões de auditoria (GUID 3910/56).                         Os critérios de auditoria podem ser qualitativos ou quantitativos, gerais ou específicos, focando naquilo que é esperado ou naquilo que poderia ser (dadas melhores condições) ou que deveria ser em conformidade com leis, regulamentos ou objetivos (GUID 3910/57).                          Em algumas auditorias, nem sempre é possível definir e explicitar os critérios a priori. A escolha do critério é mais flexível e frequentemente contém elementos de julgamento profissional. Diversas fontes, além da legislação, podem ser usadas para identificar critérios de auditoria, incluindo regulamentações, normas, princípios e melhores práticas, referenciais de mensuração de desempenho e políticas e procedimentos organizacionais (GUID 3910/57). Algumas possíveis fontes de critérios de auditoria são:       a)    leis e regulamentos que regem o funcionamento do objeto auditado;   b)    decisões tomadas pelo Poder Legislativo ou Executivo;   c)    referências a comparações históricas e comparações com a melhor prática;   d)    normas e valores profissionais;   e)    indicadores-chave de desempenho estabelecidos pela entidade auditada ou pela Administração;   f)     opinião predominante entre especialistas independentes;   g)    critérios usados em auditorias similares ou por outras EFS;   h)    organizações que realizem atividades semelhantes ou tenham programas similares;   i)      bibliografia especializada.                            Critérios podem ser mais facilmente definidos sempre que os objetivos estabelecidos pelo legislador ou pelo Poder Executivo sejam claros, precisos e relevantes. Quando estes forem vagos ou conflitantes, a equipe de auditoria deve interpretá-los ou reelaborá-los, tornando-os mais operacionais e mensuráveis.                          Os critérios de auditoria são estabelecidos pela equipe de auditoria. Porém, eles devem ser discutidos com a entidade auditada (e possivelmente com outras partes interessadas), durante a fase de planejamento da auditoria. Discutir os critérios de auditoria com a entidade auditada serve para garantir que haja uma compreensão comum e compartilhada de quais critérios serão usados como referências na avaliação da entidade auditada. A aceitação dos critérios por parte da entidade auditada facilitará a implementação das recomendações propostas no relatório de auditoria. Por isso, é importante definir claramente os critérios em relação aos quais a entidade será avaliada (GUID 3910/60).           4.8                             Matriz de planejamento                            Uma vez definidos o objetivo e as questões de auditoria, a equipe deverá elaborar a matriz de planejamento  (NAT, 94) . Trata-se de quadro-resumo das informações relevantes do planejamento de uma auditoria. O propósito da matriz de planejamento é auxiliar a elaboração conceitual do trabalho e orientar a equipe na fase de execução. É uma ferramenta de auditoria que torna o planejamento mais sistemático e dirigido, facilitando a comunicação de decisões sobre metodologia e auxiliando a condução dos trabalhos de campo. A matriz de planejamento é um instrumento flexível e seu conteúdo pode ser atualizado ou modificado pela equipe à medida que o trabalho de auditoria progride.                          A matriz é também o principal instrumento de apoio à elaboração do plano de auditoria, pois contém as informações essenciais que o definem. Daí a importância da discussão amadurecida da matriz antes de elaborar o plano de auditoria.                          O Quadro 7 apresenta o modelo de matriz de planejamento para auditorias operacionais adotado pelo TCU.           Quadro 7 - Modelo de matriz de planejamento   Fonte: adaptado de GAO  (2012).                                Embora os elementos da matriz de planejamento sejam apresentados sequencialmente, a definição das questões de auditoria, a escolha das estratégias metodológicas apropriadas, assim como os resultados a que se quer chegar com a análise proposta (o que a análise vai permitir dizer) não precisa, necessariamente, seguir uma ordem pré-definida e pode acontecer simultaneamente, confrontando-se essas informações de maneira a assegurar a consistência lógica do planejamento da auditoria.                          As estratégias metodológicas escolhidas definem a forma geral do desenho investigativo a ser empregado na auditoria. Essas estratégias não são necessariamente identificadas explicitamente na matriz de planejamento, mas se revelam a partir do preenchimento das diversas colunas da matriz. Entre as estratégias metodológicas mais empregadas em auditoria operacional estão a pesquisa documental, o estudo de caso e a pesquisa (survey). O Apêndice A apresenta uma descrição resumida de estratégias metodológicas que podem ser adotadas.                          Uma boa prática que pode ser utilizada é elaborar a matriz de planejamento em duas etapas: na primeira, deve-se definir tão somente as questões e subquestões de auditoria e preencher a coluna "o que a análise vai permitir dizer", de modo a dar suporte à discussão com o supervisor quanto à suficiência do escopo. Na segunda etapa, a partir dos resultados das discussões e das orientações do supervisor, deve-se complementar a matriz, definindo as demais colunas. É importante considerar que são as hipóteses inseridas na coluna "o que a análise vai permitir dizer" que determinam as informações requeridas, as fontes de informação e assim sucessivamente  (BRASIL, 2019a) .                          Outra boa prática no preenchimento da matriz de planejamento é relacionar as diversas colunas entre si, por meio da utilização de códigos, que podem ser letras ou números. Por exemplo, atribui-se um código a cada informação na coluna "Informações requeridas", que será repetido na coluna seguinte no item correspondente à fonte daquela informação, no procedimento de coleta da informação requerida e assim sucessivamente até a coluna "O que a análise vai permitir dizer". A relação entre os itens da matriz por meio de código deve ser realizada para facilitar sua leitura e permitir que se trace o caminho desde a informação a ser coletada até a conclusão que essa informação respaldará.                         A matriz de planejamento sistematiza e detalha os procedimentos previstos para a execução do trabalho, portanto, auxilia na identificação de falhas e lapsos no planejamento das atividades. Na medida em que organiza os elementos da metodologia em colunas específicas, evidencia se as informações requeridas são suficientes para responder à questão proposta. Permite verificar, ainda, se essas informações podem ser supridas pelas fontes de informação listadas e se estão coerentes com a estratégia metodológica e com os métodos de coleta e de análise de dados definidos. A matriz de planejamento deve ser revisada nos seguintes pontos:      a)    O objetivo da auditoria foi devidamente explicitado?   b)    As questões de auditoria estão claramente formuladas?   c)    Existe uma relação clara e satisfatória entre as questões de auditoria e o problema a ser investigado?   d)    A estratégia metodológica, os métodos de coleta e análise de dados são adequados para responder às questões formuladas?   e)    As limitações foram identificadas?   f)     As conclusões esperadas do trabalho de auditoria ("o que a análise vai permitir dizer") são consistentes com a metodologia proposta e respondem à questão de auditoria?                            As seções seguintes discorrem sobre as colunas da matriz de planejamento as quais ainda não foram tratadas anteriormente.           Informações Requeridas                            Essa coluna da matriz de planejamento deverá conter as informações necessárias para responder à questão de auditoria. Informação requerida e fonte de informação são dois elementos distintos. Por exemplo, se a equipe de auditoria quer saber a frequência de reuniões de um determinado conselho, as fontes de informações poderão ser as atas de reuniões. As informações requeridas poderão ser as datas em que as reuniões ocorreram.                          Em alguns casos, pode ser necessário, para determinar a informação necessária, definir os termos-chave usados na questão.  Por exemplo, ao formular uma questão envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nível de ensino, deve-se definir o que se entende por "melhoria do nível de ensino". Traduzir conceitos abstratos em variáveis mensuráveis é importante para que se possa especificar com clareza o tipo de informação a ser coletada.                         É importante considerar que as informações requeridas coletadas ou o resultado de sua análise irão se constituir nas evidências que deverão sustentar os achados de auditoria. Por isso, ao definir as informações requeridas e planejar os procedimentos de análise, o auditor deverá ter em mente os requisitos que as evidências precisam satisfazer para cumprir bem esse papel, conforme indicado na seção 5.3. Nesse processo, com o propósito de construir achados robustos e argumentações convincentes, é importante que o auditor preveja a coleta de informações que possam evidenciar não somente a situação encontrada, mas também suas causas e efeitos. A equipe deve planejar a obtenção de evidências de diferentes tipos de forma a fortalecer as conclusões da auditoria.           Fontes de Informação                            Deve-se identificar a fonte específica para cada tipo de informação. Exemplos de fontes de informação:      a)    documentação legal e institucional que dá suporte ao objeto de auditoria;   b)    legislação orçamentária (PPA, LDO e LOA);    c)    missão declarada, planos estratégicos e relatórios de gestão;   d)    pronunciamentos feitos e decisões tomadas pelas autoridades competentes;   e)    organogramas, diretrizes internas e manuais operacionais;   f)     atas de reuniões;    g)    sistemas de informação gerenciais;    h)    bases de dados informatizadas;   i)      sistemas de informação da administração pública (SIAFI, SIGPlan, SIDOR, SIASG, SEI);   j)      bibliografia especializada;   k)    gestores;   l)      especialistas;   m)  beneficiários de programas governamentais;   n)    relatórios e estudos produzidos por fonte credenciada;   o)    mídia especializada.                            Cuidado especial deve ser dedicado ao uso de revistas, jornais e outras publicações jornalísticas, bem como informações da internet que, embora possam oferecer informações de caráter geral e indicar a relevância de determinado tema, não são submetidas a revisões qualificadas, próprias de publicações científicas. Outras publicações, mesmo de caráter oficial, devem ser interpretadas com reserva ante à possibilidade de apresentarem fatos seletivamente, de maneira a dar sustentação a determinado ponto de vista (LEE; LINGS, 2008).          Procedimentos de coleta de dados                            Em auditorias operacionais, as principais técnicas de coleta de dados usadas são: entrevista, pesquisa e revisão documental. Essas e outras técnicas estão descritas na seção 5.4 deste manual. É importante detalhar suficientemente, na matriz de planejamento, os procedimentos que serão usados. Por exemplo, se for feita uma entrevista, dizer quem será entrevistado (cargo ou função). Se for feito estudo de caso, qual ou quais as localidades serão visitadas. Toda essa definição deve ser feita na fase de planejamento. A fase de execução é destinada à coleta e análise de informações e evidências.          Procedimentos de análise de dados                            Em auditorias operacionais, as principais técnicas de análise de dados usadas são: estatística descritiva e análise de conteúdo. Essas e outras técnicas estão descritas na seção 5.5 deste manual. Os procedimentos a serem utilizados devem ser suficientemente detalhados para que não haja dúvidas sobre como a análise deverá ser desenvolvida. A análise dependerá do tipo e da extensão dos dados coletados, que deverão ser definidos durante o planejamento da auditoria.          Limitações                            Nessa coluna da matriz de planejamento, a equipe de auditoria deve especificar as limitações inerentes à estratégia metodológica adotada, às características das informações que se pretende coletar e às condições operacionais de realização dos trabalhos (NAT, 135) .                         Quanto à estratégia metodológica, deve-se considerar que não há estratégia ótima ou ideal, mas apenas aquela que, dadas as circunstâncias, melhor se adapta à questão que se pretende investigar. Uma vez que sempre haverá algum tipo de limitação sobre o que pode ser concluído a partir de determinada metodologia proposta, o melhor a fazer é identificar tais restrições.  A equipe de auditoria deve avaliar as alternativas existentes e estar preparada para defender suas escolhas.                         Assim, ao se optar por uma estratégia metodológica, é indispensável apontar as limitações que lhe são inerentes, seja do ponto de vista de sua capacidade de levar a conclusões sobre as questões de auditoria, seja em relação às possibilidades de generalização dos resultados do trabalho.                         Quanto às informações que se pretende utilizar na análise, é importante mencionar que tipo de dificuldade se espera encontrar, tanto em relação ao acesso aos dados, como em relação à sua qualidade e confiabilidade. Qualquer problema relativo à utilização de dados existentes e às suas possíveis limitações também deve constar da matriz de planejamento.                          As limitações quanto à obtenção de informações não devem decorrer de meras suposições, mas devem ser definidas com base no que foi apurado durante a análise preliminar do objeto auditado.                         A equipe deve indicar a alternativa a ser adotada para minimizar os riscos decorrentes das limitações identificadas.          O que a análise vai permitir dizer                            Essa coluna da matriz de planejamento registra como a análise dos dados responderá à questão de auditoria. O propósito dessa informação é esclarecer quais conclusões ou resultados pretende-se alcançar por meio dos procedimentos de auditoria. Está relacionado com a coluna anterior, pois o que se espera obter da análise está, naturalmente, condicionado pelas limitações previamente identificadas.                         Assim, deve-se considerar, por exemplo: se as conclusões alcançadas permitirão responder integralmente às questões de auditoria; se será possível fazer afirmações conclusivas sobre o objeto da auditoria; e se as conclusões limitar-se-ão aos casos examinados ou se será possível generalizá-las. Esses esclarecimentos são necessários para que se tenha noção, já na fase de planejamento, do que se pode esperar do esforço que será empreendido pela equipe e dos recursos que serão alocados no desenvolvimento do trabalho.          4.8.1        Validação da matriz de planejamento                            O processo de validação da matriz de planejamento é um dos procedimentos de controle de qualidade usados no TCU. A validação abrange duas etapas. A primeira, após a revisão do supervisor, é a submissão da matriz a um painel de referência, com o objetivo de colher críticas e sugestões para seu aprimoramento. Esse processo de validação tem por objetivos:       a)    conferir a lógica da auditoria e o rigor da metodologia usada, mediante questionamento das fontes de informação, da estratégia metodológica e do método de análise a ser usado, em confronto com os objetivos da auditoria;    b)    orientar e aconselhar a equipe de auditoria sobre a abordagem a ser adotada;    c)    obter opiniões especializadas e independentes sobre a concepção da auditoria;    d)    colaborar para o aprimoramento da auditoria e alertar a equipe sobre falhas no seu desenvolvimento/concepção;    e)    verificar a presença de benefícios potenciais significativos.                             A composição do painel, a ser organizado pela equipe de auditoria, deve favorecer o debate e refletir diferentes pontos de vista sobre o tema da auditoria. O painel poderá contar com a participação de: especialistas, representantes da academia ou centros de pesquisa, consultores técnicos do Congresso, representantes do controle interno e dos órgãos de planejamento e orçamento, representante do gabinete do Ministro-Relator, auditores com experiência em auditoria operacional, auditores com reconhecida experiência no tema, representantes de organizações do terceiro setor (quando for o caso). Em resumo, deve-se convidar para o painel as pessoas que puderem fazer críticas construtivas e sugestões à matriz de planejamento e ao plano de auditoria.                          O gestor poderá participar do painel de referência sempre que a equipe e o supervisor entenderem que a sua presença não trará prejuízo aos objetivos do painel. Deve-se avaliar se a presença do gestor poderá inibir os outros participantes do painel, ou se o gestor poderá mostrar-se muito defensivo e reativo ao ver a apresentação da proposta de auditoria e escutar os comentários dos demais participantes. Se a equipe considerar que esses riscos existem, o planejamento da auditoria deverá ser discutido com o gestor, separadamente, na segunda etapa de validação.                         Desde 2018, o TCU tem realizado painéis de referência no formato de oficina de construção colaborativa, com o uso de técnicas de design thinking, obtendo bons resultados. Nas oficinas de construção colaborativa, a primeira parte do evento compreende a apresentação do conceito de auditoria operacional, do contexto e do objetivo do trabalho, assim como da referida matriz. Na segunda parte, os participantes indicarão pontos positivos, fragilidades e oportunidades de aperfeiçoamento de cada uma das questões da matriz, de forma escrita (de preferência em post-its). Num terceiro momento, grupos heterogêneos de participantes (de modo a assegurar diferentes repertórios e visões sobre o tema) deverão debater e aprofundar a discussão de cada questão de auditoria, finalizando com a apresentação dos principais pontos identificados. A última parte do painel é reservada à troca de ideias sobre alguns tópicos apontados e a considerações finais.                          O modelo de oficina ajuda a estruturar a discussão, organizar as ideias e aumentar a objetividade na obtenção de contribuições dos participantes, garantindo maior volume de opiniões a respeito de todas as questões da matriz e menor tempo dispendido para tanto. Além disso, faz com que o trabalho ganhe em qualidade e a equipe de auditoria tenha mais segurança com relação aos rumos selecionados para sua realização, tendo em vista o amplo debate realizado. Outra vantagem diz respeito ao sentimento gerado entre os participantes de que contribuíram para o aprimoramento da ação do TCU, uma vez que suas opiniões serão consideradas na auditoria.                         Outro papel, não menos importante, desempenhado pelo painel de referência é o de fortalecimento do controle social, ao possibilitar que atores relevantes participem da discussão do planejamento da auditoria e possam ser esclarecidos sobre a natureza da fiscalização exercida pelo TCU, gerando expectativa sobre os resultados do trabalho e fortalecendo a imagem institucional.                            Após o painel de referência, a equipe de auditoria analisará as contribuições recebidas e incluirá na matriz de planejamento aquelas que considerar pertinentes.                         Se os gestores do objeto auditado não tiverem participado do painel de referência, a segunda etapa do processo de validação da matriz de planejamento consiste na sua apresentação a esses gestores, depois dos ajustes necessários em função do resultado das discussões do painel de referência. Essa etapa pode ocorrer no mesmo formato de oficina de construção colaborativa. A finalidade desse procedimento é apresentar o resultado da etapa de planejamento, realizada com a participação do gestor, visando obter seu comprometimento com os objetivos e a condução da auditoria. Além disso, a apresentação para os gestores também objetiva dar a oportunidade à equipe de ouvir do gestor sugestões de aperfeiçoamento do trabalho planejado.                         Informações mais detalhadas sobre painel de referência podem ser encontradas no documento técnico do TCU Painel de referência em auditorias  (BRASIL, 2013a) .          4.9.                           Elaboração de instrumentos de coleta de dados e teste-piloto                            Uma vez definida e validada a matriz de planejamento, passa-se à elaboração dos instrumentos de coleta de dados que serão usados durante a fase de execução. Cada técnica de coleta de dados possui um instrumento próprio, a ser desenhado de forma a garantir a obtenção de informações que possam resultar em evidências suficientes e apropriadas para responder às questões de auditoria.                          Os instrumentos de coleta de dados devem ser testados por meio de teste-piloto para garantir a sua consistência. A realização do teste-piloto permite, ainda, conferir as premissas iniciais acerca do funcionamento do objeto auditado e a qualidade e a confiabilidade dos dados.                         A equipe deve escolher para a realização do teste-piloto um local ou aspecto do objeto da auditoria que apresente dificuldades potenciais à condução dos trabalhos, permitindo que a equipe antecipe os problemas que poderão ser enfrentados. Além disso, os dados coletados permitirão ajustar o tamanho da amostra e assegurar que a estratégia metodológica selecionada oferecerá resposta conclusiva às questões de auditoria.                         Portanto, a realização de teste-piloto é especialmente recomendável no caso de auditorias que envolvem estratégias metodológicas complexas, visitas a locais de difícil acesso e custos elevados, pois aumenta as chances de que o trabalho desenvolvido alcance o nível de qualidade desejado com o menor custo possível. Além dos instrumentos de coleta de dados, a matriz de planejamento também poderá ser ajustada a partir dos resultados do teste-piloto.          4.10.                      Plano de auditoria                             Requisito               Durante o planejamento, o auditor deve desenvolver os procedimentos a serem usados para coletar evidências de auditoria suficientes e apropriadas, que respondam ao (s) objetivos (s) e questões de auditoria (ISSAI 3000/101).                                                     Ao final da fase de planejamento, a equipe deve preparar o plano de auditoria, que descreve a natureza do trabalho a realizar e os resultados que se pretende alcançar. O plano deve explicitar a motivação para se investigar o objetivo de auditoria, segundo enfoque específico e com o uso de certa metodologia (NAT, 96-97) .                         Portanto, o plano de auditoria conterá descrição sucinta do objeto de auditoria, objetivos do trabalho, questões a investigar, procedimentos a desenvolver e resultados esperados com a realização da auditoria. Farão parte dos apêndices do plano: a matriz de planejamento, que resume as informações centrais da auditoria; o relato do teste piloto, se for o caso, o cronograma proposto para a condução dos trabalhos; e a estimativa de custos. A estimativa de custos é realizada com base no valor do "homem-dia-fiscalização", valores de diárias, passagens, suprimentos de fundos, pagamento de diárias e passagens para colaboradores eventuais, contratação de serviços.                         É fundamental destacar os resultados que se pretende alcançar com a realização da auditoria, indicando as oportunidades de aperfeiçoamento e especificar os benefícios esperados (quantitativos ou qualitativos).                         Compete ao coordenador da equipe assegurar que o plano de auditoria contenha todas as informações necessárias à correta e oportuna apreciação da proposta de trabalho. A biblioteca digital do TCU disponibiliza um modelo de estrutura e exemplos de planos de auditorias.         5.    EXECUÇÃO                             Requisito               O auditor deve obter evidência de auditoria suficiente e apropriada para fundamentar os achados, chegar a conclusões em resposta ao (s) objetivo (s) e questões de auditoria e, quando relevante e permitido pelo mandato da EFS, formular recomendações (ISSAI 3000/106).                                                     A etapa de execução consiste na obtenção de evidências apropriadas e suficientes para respaldar os achados e conclusões da auditoria. Nessa fase, a equipe de auditoria tem a oportunidade de aprofundar o conhecimento sobre o objeto auditado.                         As principais atividades realizadas durante a execução são:      a)    desenvolvimento dos trabalhos de campo;   b)    coleta e análise de dados;   c)    elaboração e validação da matriz de achados.                            Em geral, a coleta e a análise de dados não são atividades estanques. Exceto nas pesquisas, os dados são coletados, interpretados e analisados simultaneamente. Dependendo da metodologia adotada no plano de auditoria, pode haver variação significativa na organização dos trabalhos de campo e na estratégia de análise dos dados.                         É fundamental que a equipe de auditoria analise as informações obtidas de forma imparcial e sob diversas perspectivas. É necessário aplicar julgamento profissional adequado para avaliar o que a quantidade e a qualidade das evidências permitirão concluir sobre as questões de auditoria (TCE, 2017).          5.1.                           Desenvolvimento dos trabalhos de campo                            O trabalho de campo consiste na coleta de informações e dados definidos no planejamento de auditoria, que irão gerar as evidências necessárias para embasar os achados de auditoria. O tipo de dados a coletar e as fontes desses dados dependerão da estratégia metodológica e dos critérios estabelecidos.                          Durante a coleta de dados, a equipe aplica os instrumentos desenvolvidos e testados na fase de planejamento. Os métodos de coleta de dados mais usados em auditoria operacional são revisão documental, pesquisa bibliográfica, entrevista e questionário.                         É importante que o auditor obtenha as melhores informações possíveis - tanto fatos quanto opiniões, argumentos e reflexões - de diferentes fontes e busque o apoio de especialistas e outros stakeholders que possam trazer diferentes perspectivas (GUID 3920/71). O auditor deve buscar as evidências necessárias para responder às questões de auditoria e ter cuidado para não se desviar do foco do trabalho nem coletar grande quantidade de informações que, muitas vezes, são desnecessárias e irrelevantes (POLLITT et al, 2002).                         Para o sucesso dos trabalhos de campo, é necessária a realização de diversas atividades operacionais. Antes da execução da auditoria, a equipe deve:      a)    agendar visitas de estudo (se necessário), entrevistas e grupos focais;   b)    providenciar ofícios de apresentação;   c)    reservar passagens e hotéis;   d)    informar telefones de contato ao supervisor;   e)    preparar material necessário (cópias de questionários, de roteiros de entrevistas, de grupo focal e de observação direta).                            A elaboração da matriz de achados deve ser iniciada durante os trabalhos de campo, à medida que os achados são identificados e evidenciados (incluindo suas causas e efeitos). Os esclarecimentos que se fizerem necessários devem ser colhidos ainda em campo, para evitar interpretações equivocadas e eventuais novas solicitações de informações, com possível atraso no cronograma (BRASIL, 2009a).                         Nessa etapa poderão ser solicitados documentos e informações adicionais para melhor evidenciar as percepções e informações colhidas durante as entrevistas, grupos focais, observação direta.                          A mesma prática de pensamento visual, mencionada no Capítulo 4 para a elaboração da matriz de planejamento, pode ser usada para a construir a matriz de achados. Fazendo dessa forma, é possível organizar as informações colhidas, ter uma visão global dos resultados do trabalho e envolver toda a equipe na atividade, obtendo de cada integrante suas contribuições para os achados.          5.2.                           Achado de auditoria                             Requisito               O auditor deve analisar as informações coletadas e garantir que os achados de auditoria sejam colocados em perspectiva e respondam ao (s) objetivos e questões de auditoria; reformulando o (s) objetivo (s) e as questões de auditoria quando necessário (ISSAI 3000/112).                                                     Achado é o resultado da comparação entre a situação encontrada e o critério de auditoria.  Contém os seguintes atributos: critério (o que deveria ser), condição/situação (o que é), causa (razão do desvio com relação ao critério) e efeito (consequência da situação encontrada) (GUID 3920/84; NAT, 103).                         Critério de auditoria é o padrão usado para avaliar se o desempenho do objeto auditado está aquém, atinge ou excede as expectativas. O critério dá a base para avaliar a evidência, obter os achados e desenvolver as conclusões (GUID 3920/38).                          O critério pode ser quantitativo ou qualitativo, geral ou específico. A natureza da auditoria e das questões determinará os critérios mais adequados (GUID 3920/39). A seção 4.7 este manual contém mais informações sobre critério de auditoria.                         Condição é a situação existente, identificada e documentada durante a auditoria. Causa é a razão da diferença entre a condição e o critério. A causa serve de base para as propostas de deliberações. Efeito é a consequência da diferença constatada pela auditoria entre condição e critério. O efeito indica a gravidade da situação encontrada e determina a necessidade da ação corretiva (GAO, 2018, p. 115).                         O Quadro 8 apresenta um exemplo de achado de auditoria.           Quadro 8 - Exemplo de achado de auditoria                         Achado       Insuficiência de leitos psiquiátricos na maior parte dos estados brasileiros       Critério       A quantidade de leitos psiquiátricos estabelecida pela Organização Mundial de Saúde é de 0,43 por mil habitantes       Condição/Situação       O Brasil tem, em média, 0,37 leitos psiquiátricos por mil habitantes       Causas       Distribuição desigual de leitos entre os estados da federação (a região sudeste dispõe de 0,53 leitos por mil habitantes, enquanto na região norte o índice é 0,04)        Distribuição de leitos não atende a critérios populacionais       Ausência de planos municipais e estaduais de saúde mental       Controle social incipiente       Efeitos       Deficiência de atendimento em locais com baixo índice de leitos       Migração de pessoas com transtornos mentais entre municípios ou entre estados, dificultando o planejamento da atenção à saúde                 Fonte: Relatório de Auditoria Operacional realizada no Programa Saúde Mental  (TC 011.307/2004-9).                                A identificação e evidenciação de causas deve ser um dos pontos chave de uma auditoria, razão pela qual vale investir tempo e esforço nesta tarefa. Essa identificação aumenta a efetividade e o grau de contribuição do trabalho para a melhoria do desempenho da ação governamental auditada, uma vez que os encaminhamentos do trabalho poderão propor o tratamento de tais causas.                          Para auxiliar na identificação das causas do problema em exame, cabe propor o uso da ferramenta "5 Por quês". A (s) causa (s) -raiz apontada (s) por meio da utilização dessa ferramenta deverá (ão) ser objeto de investigação em busca de evidências e de validação com especialistas e gestores.                          Embora seja importante buscar explicações para desvios dos critérios, as causas devem ser apresentadas com cautela, especialmente quando a auditoria é realizada em programas sociais[12]. As explicações das relações de causa e efeito devem ser sustentadas por evidências de auditoria suficientes e apropriadas, o que pode exigir a aplicação de técnicas analíticas avançadas que fogem ao escopo da auditoria (NAT, 141) . É relevante considerar os pontos de vista da entidade auditada sobre os achados. Se tais pontos de vista não se basearem em evidência suficiente e apropriada, o auditor não pode tomar como certo que eles são pertinentes ou corretos. Se não forem suficientemente apoiados por evidências, mas forem razoáveis de acordo com outras fontes e com o julgamento profissional dos auditores, é possível apresentar esses pontos de vista no relatório  (GUID 3920/87, 90).                         Os auditores também devem investigar e evidenciar os efeitos do achado. Sempre que possível, esses efeitos devem ser quantificados. Por exemplo, o custo de processos ineficientes ou de instalações improdutivas pode ser estimado. Além disso, processos ou gerenciamento ineficientes, decisões gerenciais equivocadas e falta de controle de qualidade podem resultar em atrasos, desperdício de recursos e até mesmo no não atendimento dos beneficiários pela política pública, deixando assim de gerar os resultados e impactos esperados. Se o efeito já ocorreu, é importante verificar se foram tomadas providências para evitar que ele volte a ocorrer. Se os efeitos não forem facilmente identificados, o auditor deve tentar estimá-los e validá-los com especialistas e gestores.                         Durante as auditorias, é possível encontrar achados com resultados positivos. O achado com resultado positivo ocorre quando o critério é atingido ou excedido. Ele também conterá os atributos já mencionados (critério, condição, causa e efeito).                         Achado com resultado positivo e boas práticas são elementos distintos. O achado com resultado positivo (atingir ou exceder o critério) pode indicar a ocorrência de boas práticas. Não alcançar o critério indica oportunidade de melhoria de desempenho.  É importante destacar que desempenho satisfatório não é desempenho perfeito, mas é o esperado, considerando as circunstâncias com as quais o auditado trabalha (GUID 3920/85).                          Boas práticas são maneiras encontradas para atingir ou ultrapassar a meta estabelecida. Em geral, são soluções locais que comprovadamente funcionaram bem e levam a resultados positivos. Por exemplo, em um programa de combate à tuberculose, pode haver segmentos da população que não procuram a unidade de saúde para tratamento. Se for feita busca ativa que contribua para melhorar o desempenho do programa, isso pode ser considerado uma boa prática.                         Boas práticas podem ser disseminadas para outras organizações e/ou programas, desde que as situações sejam similares. Também podem subsidiar a proposição de recomendações.          5.3.                           Evidências                            Evidências são informações obtidas durante a auditoria e usadas para fundamentar os achados. O conjunto de achados irá respaldar as conclusões do trabalho. A equipe de auditoria deve obter evidências suficientes e apropriadas para fundamentar os achados, e assim chegar a conclusões para responder ao (s) objetivo (s) de auditoria e propor recomendações e determinações (ISSAI 3000/106; NAT, 108).                          Na medida em que as evidências forem sendo coletadas, a equipe deve colocá-las na matriz de achados para que, visualmente, já se verifiquem quais achados possuem evidências suficientes e apropriadas e quais ainda necessitam ser mais bem sustentados. Para esses, dependendo de sua relevância, a equipe de auditoria deverá focar seus esforços, obtendo mais elementos que os corroborem. Essa análise é fundamental para o sucesso do trabalho, pois evita o descarte de achados importantes por falta de evidências, que poderiam ter sido coletadas durante a execução do trabalho.                         Suficiência mede a quantidade de evidência. O auditor deve determinar se a quantidade de evidência obtida é suficiente para persuadir uma pessoa que tenha conhecimento do tópico auditado de que os achados de auditoria são plausíveis (ISSAI 3000/108).                         Os pressupostos a seguir são úteis para avaliar a suficiência da evidência (GUID 3920/76) :       a)    quanto maior o risco de auditoria, maior a quantidade e a qualidade de evidências requeridas;    b)    evidências mais robustas podem permitir que menos evidências sejam usadas;    c)    ter um grande volume de evidências de auditoria não compensa a falta de relevância, validade ou confiabilidade;    d)    mais evidência é normalmente necessária quando a entidade auditada tem outra opinião sobre o objeto de auditoria.                             É importante lembrar que a quantidade de evidências não substitui a falta dos outros atributos (validade, confiabilidade, relevância). Quanto maior a materialidade do objeto auditado, o risco de auditoria e o grau de sensibilidade do auditado a determinado assunto, maior será a necessidade de evidências mais robustas.                         Evidência apropriada se refere à qualidade. Significa que a evidência deve ser relevante, válida e confiável (ISSAI 3000/108).                         A evidência é relevante se for relacionada, de forma clara e lógica, aos critérios e objetivos da auditoria. É válida se representa o que se pretende representar. É confiável se sustentada por dados provenientes de diversas fontes ou quando há a garantia de que serão obtidos os mesmos resultados se os procedimentos forem repetidos. (ISSAI 3000/109; 110).                         Os contrastes a seguir são úteis para avaliar se as evidências são apropriadas (GUID 3920/75) :       a)    a evidência documental é mais confiável do que a evidência testemunhal, mas a confiabilidade varia dependendo da fonte e do propósito do documento;   b)    a evidência testemunhal que é corroborada por escrito é mais confiável do que a evidência testemunhal sozinha;   c)    a evidência baseada em muitas entrevistas em conjunto é mais confiável do que a evidência baseada em uma ou poucas entrevistas;   d)    a evidência testemunhal obtida sob condições nas quais as pessoas podem falar livremente é mais confiável do que a evidência obtida sob circunstâncias nas quais as pessoas podem se sentir intimidadas;   e)    a evidência obtida de uma terceira parte bem informada, credível e imparcial é mais confiável do que a evidência obtida da administração da entidade auditada ou de outras pessoas que tenham um interesse direto no objeto de auditoria;   f)     a evidência obtida quando o controle interno é efetivo é mais confiável do que a evidência obtida quando o controle interno é fraco ou inexistente;   g)    a evidência obtida por meio de observação direta, cálculo e inspeção do auditor é mais confiável do que a evidência obtida indiretamente;   h)    documentos originais são mais confiáveis do que documentos copiados.                            Quando o objetivo da auditoria inclui a generalização dos achados para o universo pesquisado, as soluções mais comumente adotadas são tratamento estatístico e estudo de caso. Se o estudo de caso é representativo, é possível generalizar os resultados, ou seja, os achados identificados em um caso podem ser aplicados a outros casos semelhantes em contextos similares (NAO, 1999).                         Auditorias operacionais requerem bastante julgamento profissional e interpretação porque as evidências, em geral, são de natureza mais persuasiva ("leva a concluir que...") do que conclusiva ("certo/errado"). Por essa razão, os auditores precisem ser criativos e flexíveis para identificar oportunidades de desenvolver abordagens de auditoria inovadoras para coletar, interpretar e analisar informações (ISSAI 3000/69, 77-78; TCE, 2017).                         As evidências podem ser classificadas em quatro tipos (GUID 3920/49):      a)    física - são obtidas da observação direta de pessoas e eventos ou da inspeção de locais ou objetos. Em auditoria, esse tipo de evidência é documentado por meio de fotografias, vídeos, mapas. Evidências físicas costumam causar grande impacto. A fotografia de uma situação insalubre ou insegura, por exemplo, pode ser mais convincente que uma longa descrição;   b)    documental - é o tipo mais comum de evidência. Pode estar disponível em meio físico ou eletrônico. É obtida de informações já existentes, tais como ofícios, memorandos, correspondências, contratos, extratos, relatórios. É necessário avaliar a confiabilidade e a relevância dessas informações com relação aos objetivos da auditoria;   c)    testemunhal - obtida por meio de entrevistas, grupos focais, questionários. Para que a informação testemunhal possa ser considerada evidência, e não apenas contextualização, é preciso corroborá-la, por meio de outras fontes que confirmem os fatos;   d)    analítica - obtida por meio de análises, comparações e interpretações de dados e informações. Este trabalho pode envolver análise de índices, taxas, padrões e tendências (procedimentos de revisão analítica), normalmente por meio de processamento computacional. É o tipo de evidência mais difícil de obter.                            A equipe de auditoria deve avaliar se a falta de evidências apropriadas e suficientes se deve à falha na estratégia metodológica ou à inexistência das informações ou à incapacidade de os sistemas do objeto de auditoria fornecê-las. No primeiro caso, pode ser necessário modificar a estratégia metodológica ou revisar o objetivo da auditoria e seu escopo. No segundo caso, os problemas identificados podem configurar achados de auditoria.                         A equipe de auditoria deve considerar que algumas evidências podem apresentar problemas ou fragilidades. Os principais referem-se a evidências:      a)    baseadas em apenas uma fonte;   b)    testemunhais não corroboradas por documento ou observação;   c)    provenientes apenas do gestor ou da equipe auditada;   d)    cuja fonte é enviesada com relação ao resultado da auditoria;   e)    obtidas de amostras não-representativas;   f)     relacionadas a ocorrência isolada;   g)    conflitantes;   h)    cujo custo de obtenção não atende a critérios de custo-benefício.                            Existem algumas técnicas que podem contribuir para a obtenção de evidências mais robustas. Uma delas é a circularização, que consiste na confirmação, junto a terceiros, de fatos e informações apresentados pelo auditado (BRASIL, 2009a). Outra é a triangulação, que é o uso de diferentes métodos de pesquisa e de coleta de dados para estudar o mesmo assunto, com o objetivo de fortalecer as conclusões (PATTON, 1987).                         Os diferentes tipos de evidência estão relacionados aos métodos de coleta de dados. O auditor pode usar qualquer uma das técnicas, ou uma combinação delas. O Quadro 9 apresenta a correspondência entre os tipos de evidência e as principais técnicas de coleta de dados usadas em auditoria operacional.      Quadro 9 - Correspondência entre tipo de evidência e técnicas de coleta de dados                          Tipo de evidência             Técnica de coleta de dados                       Física                     Observação direta        Inspeção física                              Testemunhal                     Entrevista        Pesquisa        Grupo focal                              Documental                     Revisão documental        Uso de bases de dados                               Analítica*                     Computação, comparações, análise estatística                      Fonte: adaptado de AFROSAI-E Performance Audit Handbook, 2013.   * Relaciona-se com a análise e não com a coleta de dados.       5.4.                           Técnicas de coleta de dados                            Nos itens a seguir serão apresentadas, de forma resumida, as principais técnicas de coleta de dados usadas em auditoria operacional. Mais detalhes sobre a maioria delas podem ser encontrados nos documentos técnicos do TCU.                          Como já foi dito no capítulo 4, as técnicas de coleta e análise de dados a usar na auditoria devem ser definidas na fase de planejamento e incluídas na matriz de planejamento, nas colunas respectivas. Os instrumentos de coleta também devem ser elaborados e testados durante o planejamento. Na fase de execução, eles serão aplicados e as informações obtidas serão analisadas.      5.4.1        Revisão documental                             É um dos principais métodos de coleta de dados em auditoria operacional. É a revisão de documentos, arquivos, relatórios, trabalhos acadêmicos, estudos disponíveis sobre o objeto de auditoria. Desde o início do planejamento, a equipe de auditoria revisa os normativos e outros documentos relevantes referentes ao objeto auditado.                           Ao optar por utilizar dados produzidos por terceiros, a equipe deve avaliar a confiabilidade dos dados, além de outros aspectos (ex.: atualidade, consistência) que podem impactar na qualidade das evidências a serem obtidas. É fundamental levar em conta que qualquer problema relativo à utilização de dados existentes e às suas possíveis limitações deve constar do relatório de auditoria ao se apresentar as conclusões.           5.4.2        Entrevista                             A entrevista é um método de coleta de informações que consiste em uma conversação, individual ou em grupo, com pessoas selecionadas cuidadosamente, e cujo grau de pertinência, validade e confiabilidade é analisado na perspectiva dos objetivos da coleta de informações. Em resumo, uma entrevista é uma sessão de perguntas e respostas para obter informações (BRASIL, 2010d).                          A entrevista é amplamente usada em auditoria operacional como técnica qualitativa de coleta de dados para obter informação em profundidade sobre o tema da auditoria. De acordo com o objetivo de cada etapa do trabalho, são aplicadas: entrevistas preparatórias; entrevistas para coletar dados e informações; entrevistas para identificar atitudes e argumentos; entrevistas para gerar e avaliar ideias e sugestões. Podem ser usadas para confirmar fatos e corroborar dados de outras fontes ou explorar potenciais recomendações, além de identificar boas práticas.                         Na fase de execução da auditoria, a equipe pode realizar entrevistas em profundidade, para obter informações mais detalhadas, dirimir dúvidas e confirmar (ou descartar) hipóteses identificadas no início do trabalho.                         Realizar entrevistas não é tarefa trivial. Exige disciplina, preparação e habilidades de comunicação. Para obter perspectiva abrangente do objeto auditado, é importante entrevistar representantes de diferentes áreas (dentro e fora do governo), com diferentes opiniões e pontos de vista. Os resultados das entrevistas devem ser compilados e documentados, de forma a facilitar a análise dos dados e a asseguração de qualidade (IDI, 2016).                         Para a realização de entrevistas é necessário que a equipe (IDI, 2016):      a)    estude o tema da entrevista;   b)    prepare um roteiro;   c)    agende data, local e horário e calcule a duração da entrevista;   d)    defina as tarefas para cada integrante da equipe antes da entrevista  (evite realizar entrevistas sozinho);   e)    seja pontual e não estenda a entrevista além do horário combinado;   f)     seja atenta, observadora, objetiva, respeitosa, segura e imparcial;   g)    crie um clima de confiança com o entrevistado: entrevista não é interrogatório;   h)    ouça e observe atentamente, sem falar mais do que o entrevistado;   i)      seja flexível, mas tenha sempre em mente o objetivo da entrevista;   j)      seja corajosa para fazer qualquer tipo de pergunta: seja franca e sincera, mas com habilidade;   k)    pergunte como o desempenho do objeto auditado pode ser melhorado;   l)      evite fazer perguntas complexas, demonstrar conhecimento excessivo e adotar atitudes de superioridade;   m)  use pausas ou silêncios, no caso de respostas evasivas, para indicar que espera informação mais completa;   n)    anote os pontos mais importantes durante a entrevista;   o)    documente a entrevista assim que terminá-la;   p)    envie o registro da entrevista para o entrevistado confirmar, se viável.       5.4.3        Aplicação de questionários                            Questionário é o instrumento de coleta de dados usado em pesquisas (survey) . Trata-se de um formulário usado para obter informação de forma padronizada, sobre grande número de unidades de pesquisa.                         O que distingue a aplicação de um questionário de uma entrevista é que, ao aplicá-lo, mesmo presencialmente, o pesquisador não tem possibilidade de ajustar, alterar ou adicionar novas perguntas durante o processo de aplicação.                          A equipe de auditoria pode realizar pesquisa com aplicação de questionário para colher dados primários, não disponíveis em bancos de dados da administração pública, ou para colher dados que permitam testar a confiabilidade dos já disponíveis. Posteriormente, os dados coletados são analisados, permitindo extrair evidências que darão suporte aos achados de auditoria.                          Em geral, a taxa de respostas está bastante relacionada à qualidade do questionário. Para elaborar questionários, é necessário que a equipe (BRASIL, 2010b):      a)    inicie o questionário com perguntas fáceis;   b)    elabore uma pergunta aberta no final do questionário, que permita ao respondente fazer comentários gerais;   c)    evite fazer muitas perguntas abertas, porque isso dificulta a análise das respostas;   d)    não elabore perguntas ambíguas e vagas;   e)    limite-se a perguntas de interesse da auditoria;   f)     não faça duas perguntas em uma só;   g)    elabore perguntas claras, concisas, precisas e objetivas;   h)    teste o questionário com colegas e especialistas;   i)      teste o questionário em ambiente real.       5.4.4        Observação direta                              A observação direta é uma técnica de coleta de dados que utiliza os sentidos para compreender determinados aspectos da realidade. Não consiste apenas em ver e ouvir, mas também em examinar fatos ou fenômenos que se deseja estudar. Nas auditorias, observação direta é um método que ajuda a coletar informações sobre a forma de funcionamento do objeto auditado. A técnica permite realizar essa tarefa de forma sistemática e estruturada, valendo-se de roteiros para registro das observações (BRASIL, 2010c).                         A diferença entre as técnicas de observação direta e inspeção física é que enquanto esta última é aplicada para situações estáticas (equipamentos, instalações e infraestrutura em geral) a outra é indicada para situações dinâmicas, tais como prestação de serviços e execução de processos (BRASIL, 2010c).                         As vantagens da técnica de observação direta podem ser assim resumidas (PATTON, 1987):      a)    permite ao observador compreender o contexto no qual se desenvolvem as atividades;   b)    permite ao observador testemunhar os fatos, sem depender de informações de terceiros;   c)    permite que um observador treinado perceba aspectos que escapam às pessoas rotineiramente envolvidas com o tema;   d)    pode captar aspectos sobre os quais os participantes não desejam falar numa entrevista;   e)    traz para a análise as percepções do próprio observador, que, ao serem confrontadas com as percepções dos entrevistados, fornecem uma visão mais completa do tema estudado;   f)     permite que o observador forme impressões que extrapolem o que é possível registrar, mesmo nas mais detalhadas anotações de campo, e que podem auxiliar na compreensão do tema auditado e dos seus participantes.                                Para conduzir uma observação direta é necessário que a equipe  (BRASIL, 2010c):      a)    prepare um roteiro de observação;    b)    estabeleça um clima de confiança com as pessoas que estarão no ambiente;   c)    escolha um horário de menor sobrecarga de trabalho e estresse para essas pessoas;   d)    selecione apenas atividades e fenômenos representativos e relevantes para o objetivo da auditoria;   e)    enfatize que o objetivo da observação é conhecer o processo de trabalho e não avaliar o desempenho das pessoas observadas;   f)     não prejudique o fluxo normal do trabalho e não tente modificar o comportamento das pessoas observadas;   g)    tenha em mente que as pessoas podem agir de forma diferente quando observadas.       5.4.5        Grupo focal                            Grupo focal é uma técnica qualitativa de coleta de dados a partir das interações e discussões ocorridas entre participantes de um determinado grupo sobre tema de interesse e questões relevantes. Nessa técnica, pequenos grupos de pessoas com características comuns reúnem-se em lugar previamente definido, seguindo um guia elaborado previamente por um facilitador e alguns assistentes, para discutir conceitos ou avaliar problemas  (BRASIL, 2013c) .                          A técnica auxilia o auditor a entender como as pessoas percebem uma determinada situação. O resultado depende da participação ativa do auditor na condução das discussões com o propósito de produzir dados. Importante destacar que no grupo focal não existe o papel de entrevistador, tampouco há interesse pela resposta individual. A técnica procura captar a variedade de percepções e ideias de um grupo sobre determinado tema ou situação, bem como suas razões (BRASIL, 2013c).                         O uso da técnica pode ser apropriado em auditorias quando o objeto auditado apresenta baixo desempenho e as razões para isso não estão claras. Usa-se também para adquirir conhecimento acerca da organização e do funcionamento de programas, órgãos ou entidades, para avaliar a qualidade dos serviços e para identificar boas práticas, ou, ainda, quando os informantes não se sentem à vontade para tratar do tema durante uma entrevista. O grupo focal também pode ser usado para auxiliar no desenvolvimento de outros instrumentos de coleta de dados, como questionários e roteiros de observação, ao permitir identificar itens a serem perguntados ou observados (BRASIL, 2013c).                         Para conduzir grupos focais, é necessário que a equipe  (BRASIL, 2013c):      a)    prepare um roteiro (geralmente se usam perguntas abertas) e o teste antes de aplicá-lo;    b)    selecione os participantes cuidadosamente. O grupo deve ser homogêneo, inclusive hierarquicamente, com experiências similares no tópico a ser discutido;   c)    controle o tempo. O grupo focal não deve durar mais de duas horas;   d)    seja flexível, objetivo, respeitoso, imparcial, seguro, e tenha senso de humor;   e)    favoreça a participação de todos, modere o debate, valorize a diversidade de opiniões;   f)     peça permissão para gravar a sessão. A gravação será bastante útil para analisar os dados;   g)    anote os pontos-chave.       5.5.                           Técnicas de análise de dados                            Durante os trabalhos de campo, a equipe obtém grande quantidade de dados, que devem ser organizados, separados e analisados. Durante a análise, o auditor deve manter o foco no objetivo e nas questões de auditoria. Isso o ajudará a organizar os dados e a orientar a análise (GUID 3920/86, 2016). As outras informações devem ser descartadas, para não desviar a auditoria de seu foco e para não retardar a análise dos dados relevantes (POLLITT et al, 2002).                         Por análise de dados, entende-se tanto a compilação (codificação e tabulação) como a análise propriamente dita. A análise de dados, quer seja quantitativa ou qualitativa, implica o exame dos resultados obtidos por meio de diferentes perspectivas ou considerando outros dados (TCE, 2017).                         Técnicas de análise de dados são ferramentas usadas para organizar os dados coletados e investigar as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria. A especificação da técnica e os procedimentos que serão usados na análise de dados são parte fundamental do plano de auditoria e devem, portanto, constar da matriz de planejamento. Essas ferramentas têm correspondência com as técnicas adotadas na coleta de dados.                          Para a análise dos dados coletados, são usadas ferramentas e técnicas adequadas. A definição do método dependerá da estratégia metodológica adotada. Várias técnicas de análise de dados podem ser usadas em auditorias operacionais. São exemplos de técnicas quantitativas de análise de dados: estatística descritiva, regressão, tabulação de frequências, análise multivariada, análise de envoltória de dados. O documento técnico Técnicas de amostragem para auditorias (BRASIL, 2002a) contém orientações úteis para o uso de amostragem em auditoria operacional (que não foi abordada neste manual) e para análise quantitativa de dados.                          Algumas técnicas qualitativas de análise de dados são: análise de conteúdo, triangulação, interpretações alternativas, casos negativos.                         Geralmente, a análise de dados é um procedimento interativo, isto é, realizam-se análises iniciais na fase de planejamento e, à medida que a auditoria progride, as análises são refinadas. O estágio final da análise de dados consiste em combinar os resultados obtidos de diferentes fontes. O auditor deve trabalhar de forma cuidadosa e sistemática na interpretação dos dados e informações coletados. É fundamental que o auditor adote abordagem crítica e mantenha objetividade com relação às informações disponíveis. Ao mesmo tempo, ele deve ser receptivo a diferentes argumentos e pontos de vista.                         Conforme já mencionado no capítulo 4, é recomendável manter o registro visual das informações obtidas ou produzidas durante todo o trabalho. Essa prática facilitará o compartilhamento e a análise de tais informações na medida em que será possível organizá-las, agrupá-las e construir relacionamentos entre elas. Esse procedimento também permitirá à equipe enxergar padrões entre as informações e, a partir daí, obter insights e tirar importantes conclusões que subsidiarão as propostas de encaminhamento da auditoria. Além disso, favorecerá o compartilhamento desse processo com o supervisor e demais pessoas envolvidas no trabalho.                         Toda a análise de dados deve ser documentada em papéis de trabalhos, independentemente de seu resultado. Dessa forma, é possível reduzir o tamanho da parte textual dos relatórios de auditoria, tornando-os mais objetivos, concisos e convidativos à leitura.                         O processo de análise deve ser executado pela equipe, com a participação do supervisor, e pode também ser realizado com a consulta a outros auditores experientes, especialistas e gestores. À medida que as informações são estruturadas, comparadas, confrontadas, discutidas com atores internos e externos, o relatório deve ser rascunhado, avaliado e reescrito. Discussões com gestores e especialistas, para confirmar dados, desenvolver argumentos e propostas de recomendação são valiosas nesse estágio da auditoria (GUID 3920/86).                         Nos itens a seguir serão apresentadas, de forma resumida, as principais técnicas usadas para analisar dados em auditoria operacional.          5.5.1        Estatística descritiva                            A estatística descritiva é uma técnica quantitativa de análise de dados. Há três dimensões básicas em distribuição de dados que podem ser úteis em auditorias: tendência central (média, mediana, moda, quartis etc.), dispersão (variância, desvio-padrão etc.) e formato dos dados (distribuição normal etc.).                          A estatística descritiva pode ser útil, por exemplo, para avaliar o desempenho de determinada variável com relação ao critério, para avaliar riscos e para avaliar se a amostra é representativa da população (IDI, 2016).           5.5.2        Regressão                            A regressão também é uma técnica quantitativa de análise de dados, que avalia o grau de correlação entre variáveis. Pode ser usada para (IDI, 2016):      a)    testar se há correlação entre variáveis;   b)    identificar relações entre variáveis que podem impactar o resultado das atividades em análise;   c)    identificar dados que desviam dos valores esperados;   d)    fazer predições sobre valores futuros;   e)    apontar situações de risco.       5.5.3        Análise de conteúdo                            Técnica qualitativa de análise sistemática de informação textual, organizada de forma padronizada, que permite realizar inferência sobre seu conteúdo.                          Existem vários tipos de análise de conteúdo. O mais usado é a análise de categorias. Ela é feita por meio da classificação de trechos do conteúdo analisado em diferentes categorias de análise.                          A análise de conteúdo tem três etapas: pré-análise, exploração do material e tratamento dos resultados. Na pré-análise, os dados são organizados e os procedimentos de análise são estabelecidos. Na segunda fase, são executadas a codificação, a quebra da informação e a enumeração. Na terceira fase, os resultados são interpretados (BARDIN, 1970).                         Em auditoria operacional, a análise de conteúdo pode ser usada para analisar transcrições de entrevistas, de grupos focais e documentos, como relatórios e descrição de política pública.                          Recomenda-se usar software adequado em caso de existir grande quantidade de material a ser analisado.          5.5.4        Triangulação                            Técnica qualitativa que consiste no uso de diferentes métodos de pesquisa e/ou de coleta de dados para estudar a mesma questão, com o objetivo de fortalecer as conclusões finais, podendo assumir as formas a seguir indicadas:      a)    coletar dados de diferentes fontes sobre a mesma questão;   b)    empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados;   c)    usar múltiplos métodos de pesquisa para estudar a mesma questão;   d)    usar teorias diferentes para interpretar os dados coletados.       5.5.5        Cruzamento eletrônico de dados                            A técnica é desenvolvida por meio da comparação automática de registros extraídos de bases de dados distintas, obtidas de órgãos e entidades da administração pública. Normalmente, o cruzamento é realizado com o auxílio de um software específico, como o Audit Command Language (ACL) (BRASIL, 2011a).                          Para que a técnica ser operacionalizada, os arquivos de dados comparados precisam conter pelo menos um campo em comum. A comparação de registros pode permitir a identificação de inconsistências e irregularidades. Por exemplo, em um programa social, a partir do cruzamento de informações de diferentes bancos de dados da administração pública, pode-se identificar beneficiários que não preenchem os requisitos de elegibilidade definidos pelo programa.              5.6.                           Matriz de achados                            Os achados e informações obtidas durante a execução da auditoria, bem como as propostas de recomendações e determinações, são registradas na matriz de achados (NAT, 98) .                         A matriz de achados é instrumento útil para subsidiar e nortear a elaboração do relatório de auditoria, porque permite reunir, de forma estruturada, os principais elementos que constituirão os capítulos centrais do relatório. A matriz propicia compreensão homogênea dos achados e seus elementos constitutivos pelos integrantes da equipe de auditoria e demais interessados.                          Conforme já mencionado anteriormente, deve-se começar a preencher a matriz de achados durante os trabalhos de campo, à medida que os achados forem sendo identificados, de preferência de forma visual.                         Os itens que compõem a matriz de achados são apresentados no Quadro 10.          Quadro 10 - Modelo de matriz de achados       Questão de auditoria (repetir a questão da matriz de planejamento).                         Achado             Boas práticas                     Encaminhamento             Benefícios esperados                       Situação encontrada             Critério             Evidências e análises             Causas             Efeitos                       Achados de maior relevância, identificadas na fase de execução. Condição.             Padrão usado para determi­nar se o objeto auditado atinge, excede ou está aquém do desempenho esperado.             Resultado da aplica­ção dos métodos de análise de dados e seu emprego na produção de evidências. De forma sucinta, devem ser indicadas as técnicas usadas para tratar as informa­ções coleta­das durante a execução e os resul­tados obti­dos.             São as razões da diferença entre a situação encontrada e o critério. Podem ser relacionadas à operacionalização ou à concepção do objeto da auditoria, ou à fatores fora da competência ou da influência do gestor.                      Consequências relacio­nadas às causas e aos cor­respondentes achados.        Pode ser uma medida da rele­vância do achado.             Ações identifica­das que compro­vadamente levam a bom de­sempenho. Essas ações po­derão sub­sidiar a proposta de reco­mendações e determina­ções.             Recomendações e determinações propostas para tratar as causas das deficiências de desempenho identificadas ou, se não for possível identificá-las, mitigar seus efeitos.                             Melhorias que se esperam alcançar com a implementação das recomendações e determinações.        Os benefícios podem ser quantitativos e qualitativos. Sempre que possível, quantificá-los.                Fonte: elaboração própria.       Situação encontrada                            A situação encontrada é a condição identificada e documentada durante a fase de execução da auditoria (BRASIL, 2017b) . Traduz o grau de alcance dos critérios de auditoria.                          Durante a execução da auditoria, as situações encontradas são comparadas com os critérios, previamente selecionados e identificados pela equipe para derivação dos achados, devidamente respaldados pelas evidências.          Critério                            O critério de auditoria representa a referência utilizada para avaliar o objeto auditado e a condição encontrada (seção 4.7) . Indica o estado requerido ou desejado do objeto em relação às dimensões de desempenho avaliadas. Normalmente, envolvem a legislação, regulamentos jurisprudência e entendimento doutrinário (NAT, 103). Em auditorias operacionais, a escolha do critério é mais flexível do que nos outros tipos de auditoria, podendo envolver referenciais aceitos para o objeto sob análise, como padrões, boas práticas e valores profissionais. A coluna deverá informar, brevemente, em que aspectos o critério de auditoria não foi contemplado.          Evidências e análises                            As análises desenvolvidas e as evidências obtidas durante a etapa de execução do trabalho que sustentam a situação encontrada devem ser informadas na coluna. São essas informações que esclarecem como a equipe de auditoria chegou à situação encontrada.          Causas                            Além de caracterizar a situação encontrada, a equipe deve identificar as causas do desempenho observado.                          A identificação das causas requer evidências e análises robustas, que também devem ser informadas nesta coluna. A causa (ou causas) do achado de auditoria é (são) a base para as propostas de deliberações. Deve-se considerar, ainda, a possibilidade de as causas identificadas estarem fora da competência do auditado. Como as deliberações devem ser direcionadas a quem tem de fato meios para resolver o problema identificado, pode ser que o destinatário das deliberações não seja o gestor de uma das organizações diretamente envolvidas na auditoria. Nesse caso, é importante estabelecer comunicação com o destinatário das deliberações e colher seus comentários sobre o relatório preliminar de auditoria.          Efeitos                            Sempre que possível, deve-se mensurar o efeito associado ao achado de auditoria. Por exemplo, no caso de processos antieconômicos, aquisições mal planejadas ou equipamentos improdutivos, os efeitos podem ser estimados em valores monetários, e o relatório deve registrar o grau de precisão da estimativa ou a descrição do método usado. Já os efeitos decorrentes de procedimentos ineficientes, recursos ociosos ou gerenciamento deficiente podem ser dimensionados em termos de descumprimento de prazos e de desperdício de recursos físicos. Os efeitos qualitativos também devem ser mencionados, como decisões inadequadas ou má qualidade do bem ou serviço oferecido.  A coluna também deverá apresentar os dados e as análises que sustentam os efeitos apontados.          Boas práticas                            Boas práticas são soluções encontradas para atingir ou ultrapassar a meta estabelecida  (seção 5.2) . Em geral, são soluções locais que comprovadamente funcionaram bem e levam a resultados positivos.           Encaminhamento                            As propostas que visem à melhoria do desempenho administrativo ou operacional são um dos aspectos mais importantes das auditorias operacionais. Conquanto os aperfeiçoamentos requeridos, e não os meios para alcançá-los, constituam o objetivo das deliberações, convém indicar os aspectos que devem ser examinados pelo gestor na busca de soluções.                         Para facilitar a proposição das recomendações e determinações, é importante rever as colunas "Causas" e "Efeitos" da matriz de achados. As recomendações e determinações devem buscar soluções que eliminem causas, mitiguem efeitos e incorporem boas práticas, de forma coerente com o conteúdo das colunas correspondentes da matriz de achados. Ao formular proposta de deliberação, a equipe deve considerar o custo da implementação e a economia de recursos ou os ganhos decorrentes, pois o custo não deve superar os benefícios esperados.                          É importante destacar os aspectos mais relevantes e evitar quantidade excessiva de deliberações, que pode desviar o foco do gestor da implementação de providências que corrijam as principais deficiências do objeto auditado. Também poderá dificultar o monitoramento das deliberações e levar a custo-benefício inadequado. Nesse sentido, a equipe deverá propor deliberações em consonância com os regulamentos do Tribunal sobre o tema (BRASIL, BRASIL, 2020a,2020c). O capítulo 7 deste manual abordará o monitoramento das deliberações em auditoria operacional.      Benefícios esperados                            Os benefícios potenciais esperados em decorrência da implementação das medidas propostas pela equipe de auditoria devem ser informados na última coluna da matriz de achados (NAT, 154) . São esses que, em última análise, justificam a realização das auditorias operacionais.                         Os benefícios devem ser estimados junto aos gestores, ainda durante a auditoria. Podem ser benefícios financeiros, como redução de despesas, aumento de receitas, eliminação de desperdícios. Também é possível estimar benefícios não financeiros, tais como: melhorias organizacionais, aperfeiçoamento de controles internos, melhoria de condições sociais, aperfeiçoamento de leis e regulamentos. No caso de estimativas, a equipe deve registrar seu grau de precisão.                         Sempre que possível, esses benefícios devem ser mensurados. As dificuldades para quantificar os benefícios potenciais variam segundo o tipo de benefício. Entretanto, em muitos casos, os benefícios financeiros podem ser estimados com razoável segurança. A coluna também deverá apresentar os dados e as análises que sustentam os benefícios apontados.          5.6.1        Validação da matriz de achados                            Após a elaboração da matriz de achados, sua validação é feita por meio da realização do segundo painel de referência, semelhante ao painel realizado para discutir a matriz de planejamento.                          O objetivo principal deste painel é verificar a coerência da matriz apresentada. Nessa ocasião, os participantes são convidados a discutir com a equipe as principais conclusões da auditoria, a suficiência e qualidade das evidências coletadas, a adequação das análises realizadas e a pertinência das propostas de encaminhamento.                          Após o painel, a matriz de achados deverá ser validada com os gestores na reunião de encerramento com os responsáveis (NAT, 86) , a exemplo do procedimento adotado na validação da matriz de planejamento.                         Informações mais detalhadas sobre painel de referência podem ser encontradas no documento técnico do TCU Painel de referência em auditorias  (BRASIL, 2013a).             6.    RELATÓRIO E DIVULGAÇÃO                             Requisitos               O auditor deve fornecer relatórios de auditoria que sejam a) completos, b) convincentes, c) tempestivos, d) de fácil leitura, e e) equilibrados (ISSAI 3000/116).                O auditor deve identificar os critérios de auditoria e suas fontes, no relatório de auditoria (ISSAI 3000/122) .                O auditor deve garantir que os achados de auditoria concluam claramente sobre o (s) objetivo (s) e/ou as questões de auditoria, ou explicar por que isso não foi possível (ISSAI 3000/124).                O auditor deve fornecer recomendações construtivas que sejam capazes de contribuir significativamente para sanar as deficiências ou problemas identificados pela auditoria, sempre que relevante e permitido pelo mandato da EFS (ISSAI 3000/126).                                                     O relatório é o instrumento formal e técnico por intermédio do qual a equipe comunica o objetivo e as questões de auditoria, o escopo e suas limitações, o método usado, os achados de auditoria, as conclusões e a proposta de encaminhamento (NAT, 124) .                          O relatório é o principal produto da auditoria, por meio do qual o governo, o Congresso Nacional e a sociedade vão avaliar o desempenho do objeto auditado. A comunicação dos resultados da auditoria deve reportar à sociedade sobre o desempenho da administração pública, contribuindo para a responsabilização dos agentes públicos pelos resultados da ação de governo, mediante controle parlamentar e controle social. Apesar disso, é possível elaborar outros instrumentos de divulgação da auditoria, conforme o público que se deseja alcançar (seção 6.6) .                         O objetivo deste capítulo é estabelecer padrões e apresentar diretrizes para elaboração de relatórios de auditoria operacional, que favoreçam a racionalização do processo. Além disso, pode-se usar, no que couber, o disposto nas Orientações para elaboração de documentos técnicos (TCU, 2010e).                          A demonstração da qualidade do trabalho depende da forma como as questões de auditoria são tratadas nos relatórios. Importa que as informações sejam organizadas e dispostas com rigor técnico, com apropriado grau de detalhamento e que os principais pontos sejam destacados. O trabalho de organizar as informações, mantendo o sentido e a coesão, e de buscar a melhor forma de relatar e ilustrar pode ser muito facilitado se a auditoria for desenvolvida, desde o início, usando os princípios do pensamento visual, conforme sugerido neste manual. O desenvolvimento do texto deve guardar coerência com a sequência lógica dos argumentos, formando um todo coeso, convincente, claro e visualmente atrativo. Portanto, ser capaz de escrever relatórios de qualidade é competência essencial dos profissionais que realizam auditorias operacionais.                         A Figura 8 mostra a lógica conceitual que deve orientar a elaboração dos relatórios de auditoria operacional.          Figura 8 - Lógica conceitual do relatório de auditoria operacional      Fonte: Adaptado do Manual de Auditoria Operacional da IDI (IDI, 2017) .       6.1.                           Orientações gerais para elaboração do relatório                            A elaboração do relatório de auditoria deve seguir as seguintes orientações gerais:      a)    ser conduzida como processo contínuo;   b)    considerar a perspectiva do leitor;   c)    basear-se na matriz de achados.                            A elaboração do relatório deve ser vista como um processo contínuo de formulação, teste e revisão de ideias sobre o objeto da auditoria. A equipe de auditoria deve começar a escrever o relatório já no início da etapa de planejamento, quando deve ser elaborada a visão geral preliminar do objeto (NAT, 89) . A estrutura, a visão geral e algumas informações preliminares já podem ser incluídas no arquivo que dará origem ao relatório. À medida que o trabalho progride, o relatório preliminar de auditoria toma forma.                         Ao longo da auditoria, a análise de dados e informações envolve ponderar argumentos e afirmações, consultar especialistas, fazer comparações e análises. Notas e observações são organizadas de forma estruturada (na matriz de achados) e, à medida que discussões internas e externas progridem, o texto é rascunhado, avaliado e reescrito, detalhes são conferidos e conclusões discutidas. Como trabalho coletivo, devem ser estabelecidos prazos para a entrega de trechos intermediários pelos responsáveis pela redação do relatório.                         Ao longo de todas as fases da auditoria, a ênfase deve estar na produção do relatório final. Por um lado, de nada adianta realizar um excelente trabalho de planejamento e execução das auditorias, se o relatório não for capaz de comunicar sua mensagem de forma efetiva. Por outro, não é possível elaborar um relatório de qualidade se o plano de auditoria não for consistente ou se as evidências coletadas não forem robustas. Questões como o benefício potencial da auditoria, possíveis recomendações e determinações, bem como a argumentação convincente sobre as conclusões devem ser consideradas ao longo de todas as etapas da auditoria.                          Para que os relatórios sejam úteis e acessíveis é importante que levem em consideração a perspectiva dos leitores. Inicialmente, os relatórios de auditoria operacional terão tramitação interna, direcionados, principalmente, ao relator da matéria. Além disso, visam comunicar informações sobre desempenho a formuladores de políticas, gestores, outros órgãos de controle e de avaliação. Documentos complementares ao relatório, como sumários executivos, notas para a imprensa e apresentação de slides, têm público mais amplo e obedecem a orientações específicas.                         Tendo em vista a grande quantidade de informações obtidas durante a auditoria, é importante que, antes de iniciar a redação dos capítulos principais do relatório, a equipe destine tempo para planejá-lo. Esse momento demandará que a equipe tome decisões sobre quais são os pontos de maior relevância do trabalho, considerando os objetivos da auditoria e o valor que possam agregar à resolução do problema auditado.                         O instrumento usado pelo TCU para organização dos principais elementos do relatório é a matriz de achados (seção 5.6) . A matriz é base para discussão sobre a estrutura do texto entre os integrantes da equipe de auditoria, bem como para discussão com o supervisor do trabalho e para apresentação em painel de referência.                         O fato de que a redação do relatório normalmente é compartilhada pelos integrantes da equipe de auditoria reforça a necessidade de se dispor de instrumento que apoie a elaboração do relatório. É natural que cada integrante da equipe tenha um estilo próprio de redigir. Por isso, torna-se necessário que todos discutam previamente a estrutura e a forma de apresentação das informações e que seja feita revisão por uma pessoa com vistas a uniformizar forma e estilo.                         O uso de imagens em qualquer parte do relatório merece esclarecimentos. É importante verificar se as imagens são adequadas para divulgação pública. Por exemplo, a imagem não pode revelar segredo de negócio, retratar local de acesso restrito, focar a fisionomia de pessoas, permitindo sua identificação. As imagens devem ser de propriedade do TCU ou de livre distribuição, de preferência produzidas pela equipe durante a auditoria. Em razão da necessidade de respeito ao direito autoral, não devem ser usadas imagens copiadas da Internet, salvo aquelas retiradas de bancos de imagem públicos, com expressa autorização de uso irrestrito. Em qualquer caso, é necessária a indicação da fonte.                         A aderência às orientações e aos padrões de elaboração, bem como a construção de entendimentos comuns por meio de discussões durante a auditoria, diminui a possibilidade de os textos produzidos ficarem muito díspares. É desejável que a equipe se mantenha mobilizada até que tenha sido finalizada a redação do relatório preliminar, realizando nesse período a revisão cruzada dos textos elaborados. Esses cuidados tornarão mais eficiente o trabalho final do coordenador da equipe, a quem cabe conferir ao trabalho unidade de forma e estilo.          6.2.                           Requisitos do relatório                             A ISSAI 3000/116 estabelece que os relatórios de auditoria operacional devem ser completos, convincentes, tempestivos, de fácil leitura e equilibrados. No TCU, devem-se observar os requisitos de completude, clareza, concisão, convicção, exatidão, relevância, tempestividade e objetividade  (NAT, 129). O significado de cada um desses requisitos é apresentado a seguir.                          Completude - Para ser completo, o relatório de auditoria operacional deve incluir todas as informações e argumentos necessários para abordar os objetivos e as questões de auditoria, e ser suficientemente detalhado para oferecer uma compreensão do objeto, dos achados e das conclusões da auditoria. (ISSAI 3000/117; NAT, 129-IV). É muito importante que o relatório contenha evidências suficientes e apropriadas para embasar os achados e as conclusões (GUID 3920/114). As relações entre objetivos, critérios, achados e conclusões precisam ser verificáveis, bem como expressas de forma clara e completa. A seção 6.4 deste manual apresenta o conteúdo mínimo do relatório de auditoria operacional.                         Clareza - Ter clareza significa produzir texto que seja de fácil compreensão para o leitor informado. É mais provável que um relatório de auditoria aumente seu impacto se for de fácil leitura (GUID 3920/119; NAT, 129-I). Devem ser incluídas todas as informações e argumentos necessários para abordar os objetivos e questões de auditoria, de forma suficientemente detalhada para oferecer uma compreensão do objeto, dos achados e das conclusões (ISSAI 3000/117).                          Deve-se também apresentar os dados de diversas maneiras, incluindo gráficos, diagramas, mapas, fotografias, caixas de texto. Orientações sobre apresentação de dados são encontradas no documento Técnicas de Apresentação de Dados  (BRASIL, 2010a).                          Concisão - Ser conciso significa produzir texto que não seja mais extenso do que o necessário para transmitir a mensagem e fundamentar as conclusões. Por concisão, deve-se dar preferência a citações indiretas no lugar de longas transcrições de textos originais, resumindo-se as informações que se deseja transmitir. A análise de temas muito complexos pode requerer relatórios mais longos, mas relatórios completos e ao mesmo tempo concisos são mais úteis ao leitor e têm maior probabilidade de serem lidos. O padrão é que o relatório de auditoria deve se limitar a trinta páginas, da introdução à proposta de encaminhamento, exceto quando estiverem presentes achados de alta complexidade ou em grande número (NAT, 129-III) .                         Convicção - Para ser convincente, o relatório de auditoria operacional deve ser logicamente estruturado e apresentar clara relação entre objetivos, questões, critérios, achados, conclusões, recomendações e determinações de auditoria. Os achados devem ser apresentados de maneira persuasiva articulando-se as conclusões e propostas de forma que elas decorram logicamente ou analiticamente dos fatos e argumentos apresentados (ISSAI 3000/118 e GUID 3920/115).                          Ser convincente também significa expor os achados e as conclusões com firmeza, evitando expressões que transmitam insegurança e dúvida para o leitor (NAT, 129-II) . A informação apresentada deve convencer os leitores sobre a validade dos achados, a razoabilidade das conclusões e os benefícios decorrentes da implementação das propostas.                          O relatório deve ser convincente de modo que as deliberações do Tribunal ganhem apoio dos atores capazes de influenciar na gestão do objeto auditado, sejam implementadas e gerem melhorias de desempenho em benefício da sociedade.                         Exatidão - Exatidão exige que evidências, achados e conclusões sejam corretamente apresentados. A exatidão assegura que o relatado é crível e confiável (ISSAI 3000/118; NAT, 129-V). Também deve ser baseado em fatos e conter, de maneira clara, as fontes, métodos e pressupostos (GUID 3920/115). Uma imprecisão no relatório pode lançar dúvida sobre a validade de todo o trabalho e desviar a atenção de pontos importantes. Exatidão também significa que sejam descritos corretamente o escopo e a metodologia, bem como apresentados os achados e as conclusões de forma consistente com o escopo da auditoria. Além disso, o relatório deve informar sobre a qualidade dos dados e o grau de precisão das estimativas, de modo que fiquem claras as limitações encontradas e as inconsistências observadas.                         Relevância - expor apenas o que tem importância, considerando os objetivos da auditoria, e que possa agregar valor. Devem-se evitar longos trechos descritivos que não acrescentam informação necessária à fundamentação dos argumentos. Os relatos não precisam incluir todas as situações encontradas, cujo registro fica preservado nos papéis de trabalho (NAT, 129-VI) .                          Tempestividade - Para agregar valor, o relatório deve fornecer informações relevantes e a tempo de responder às necessidades dos usuários previstos (GUID 3920/117; NAT 129-VII). O relatório de auditoria deve ser emitido no prazo previsto, sem comprometer a qualidade, e conter informação atualizada para que possa subsidiar órgãos auditados, Poder Legislativo, formuladores de políticas e demais atores interessados, no aperfeiçoamento de suas atividades.                          Objetividade - Significa que o relatório deve ser imparcial, equilibrado e neutro, em termos de conteúdo e tom. As auditorias devem dar uma visão equilibrada do tema, apresentando não apenas deficiências, mas também, quando for o caso, achados com resultados positivos e boas práticas. Os achados devem ser formulados de modo construtivo e equilibrado  (TCE, 2017). O auditor deve estar atento ao risco de exagero e ênfase excessiva no desempenho deficiente (ISSAI 3000/121; NAT, 129-VIII).                          Durante a condução da auditoria, há alguns aspectos da objetividade que podem se refletir no relatório. Por exemplo: a estratégia metodológica definida para a auditoria deve assegurar que a seleção dos fatos investigados e apresentados no relatório não seja enviesada; os fatos devem ser registrados de acordo com a sua relevância para o escopo da auditoria. Fatos relevantes não devem ser excluídos, nem pequenas falhas devem ser exageradas; a apresentação de fragilidades e achados críticos deve ocorrer de modo que induza a correção, bem como aperfeiçoe sistemas e diretrizes internas. Explicações, principalmente do auditado, devem ser buscadas e analisadas criticamente (GUID 3920/124).          6.3.                           Estilo de redação                                 A equipe deve adotar algumas características de redação para garantir que o relatório seja elaborado de acordo com os requisitos aplicáveis (Quadro 11).          Quadro 11 - Características de redação para elaboração do relatório de auditoria                                                       Apresente evidências e articule argumentos de forma lógica.                      Crie coesão textual por meio do sequenciamento lógico das ideias e do uso de conectivos adequados.                      Apresente fatos de forma precisa.                      Distinga fatos de opiniões.                      Use linguagem isenta de qualquer conotação tendenciosa ou ambígua.                      Prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando orações intercaladas, parêntesis e travessões.                      Use linguagem impessoal.                      Complemente o texto com figuras, fotografias, gráficos, diagramas, mapas, caixas de texto e tabelas.                      Apresente exemplos.                      Use frases curtas.                      Defina termos técnicos.                      Evite o uso de sinônimos para designar as mesmas coisas. Diferentemente de um texto literário, no relatório devem-se usar os mesmos termos do início ao fim.                      Evite abreviaturas e jargões.                      Defina o significado das siglas na lista correspondente e use o nome por extenso na primeira vez em que aparecerem no texto.                      Evite termos eruditos e expressões em outros idiomas que tenham equivalente em português.                      Observe o paralelismo, em especial ao relacionar elementos em itens.                      Fonte: elaboração própria.                                Na redação dos relatórios, devem ser evitadas orações intercaladas, parênteses e travessões, bem como períodos longos que se estendem por diversas linhas. Esse cuidado facilita a compreensão e torna a leitura mais acessível e agradável. Do mesmo modo, não é recomendável construir longos trechos descritivos que não acrescentem informação útil à fundamentação dos argumentos. Os relatos não precisam incluir todas as situações encontradas, cujo registro fica preservado nos papéis de trabalho. Deve-se dar maior importância aos pontos centrais da argumentação. A observância dessas recomendações é fundamental para que o relatório não fique muito longo.                          Quando se fizer referência a outra parte do mesmo documento, deve-se mencionar o número do parágrafo, figura ou tabela. A citação da página ou o uso de expressões como "a seguir" ou "anterior" para referir-se a tabelas e figuras pode ensejar confusão para o leitor, bem como prejudicar o trabalho posterior de editoração do texto para eventual publicação, logo não devem ser empregados.      6.4.                           Componentes do relatório                             O relatório de auditoria divide-se em elementos pré-textuais, texto e elementos pós-textuais. Os elementos pré-textuais são: capa, folha de rosto, resumo e sumário. O texto compõe-se de: introdução; visão geral; capítulos principais; conclusão e proposta de encaminhamento. Os elementos pós-textuais são: apêndices; anexos; referências e glossário (ABNT, 2011) .                         O texto deve ser dividido em capítulos, e estes, em subtítulos. Os parágrafos do texto devem ser numerados sequencialmente, a partir da introdução, sem desdobramento por número de capítulo. A numeração dos subtítulos é constituída pelo número do capítulo a que pertence, seguido de ponto e do número que lhe foi atribuído na sequência do assunto (ABNT, 2003).                         O Quadro 12 apresenta a estrutura do relatório de auditoria operacional adotado pelo TCU. Os itens descritos no quadro não devem constituir subtítulos dos capítulos principais, pois apenas indicam o conteúdo que deve ser incluído nos capítulos.       Quadro 12 - Estrutura do relatório de auditoria operacional                                 Elementos pré-textuais       −       Capa, folha de rosto, resumo e sumário               Introdução       −       Identificação simplificada do objeto de auditoria       −       Antecedentes da auditoria       −       Objetivos e escopo da auditoria       −       Critérios e suas fontes       −       Métodos usados para coleta e análise de dados               Visão geral       −       Objetivos do objeto auditado       −       Histórico       −       Responsáveis       −       Principais produtos       −       Beneficiários       −       Aspectos orçamentários       −       Metas e indicadores de desempenho       −       Sistemas de controle               Primeiro capítulo principal       −       Objetivo do capítulo       −       Contextualização específica para o capítulo       −       Descrição do conteúdo do capítulo               Subtítulo (normalmente, cada achado corresponde a um subtítulo)        −       Parágrafo inicial de impacto, com descrição concisa da situação encontrada       −       Parágrafos seguintes incluindo, de forma narrativa, os seguintes componentes: situação encontrada, critérios, evidências e sua análise, causas, efeitos e riscos decorrentes da manutenção da situação encontrada, boas práticas, propostas sobre o subtítulo, benefícios esperados       −        (...)        −       Conclusão do capítulo ao seu final               Segundo capítulo principal        −        (...)        −       Conclusão do capítulo               Conclusão               Proposta de encaminhamento               Elementos pós-textuais       −       Referências, glossário, apêndices, anexo, lista de ilustrações, lista de tabelas, lista de siglas.               Observação: Não crie subtítulos para indicar o conteúdo dos parágrafos.   Fonte: elaboração própria.       6.4.1 Elementos pré-textuais                            A capa, a folha de rosto, o resumo e o sumário são elementos pré-textuais obrigatórios. Esses elementos devem ser apresentados no relatório na sequência que se segue.      Capa                            A capa é um elemento externo que contém elementos indispensáveis à identificação do relatório, além de ser importante para a definição de uma identidade gráfica institucional. Esse elemento deve ser padronizado, mas o padrão pode variar após um certo período, medido em anos, para que sejam introduzidos aperfeiçoamentos visando a modernização, o aumento da atratividade ou o aperfeiçoamento na transmissão da informação.                         Sendo assim, este manual limita-se a estabelecer elementos básicos, remetendo a definição do padrão a ser seguido ao modelo eletrônico disponível na biblioteca digital do TCU. A capa deve apresentar o logotipo do TCU de modo destacado, o tipo da auditoria (operacional), o nome do órgão ou programa objeto de análise, local, mês e ano.                          A capa deve ser ilustrada com fotos ou elementos gráficos. No caso de foto, deve-se preferir a utilização das tiradas pela equipe durante a auditoria por transmitirem uma imagem mais fiel da realidade, além de evitar problemas quanto a direitos de utilização de imagens.       Folha de rosto                            A folha de rosto, cujo modelo está disponível na biblioteca digital do TCU, deverá conter os elementos necessários para identificação do relatório, ou seja:      a)    Número dos autos do processo;   b)    Nome do relator;   c)    Nome da unidade técnica responsável;   d)    Nome, cargo e CPF dos responsáveis;   e)    Vinculação ministerial   f)     Vinculação no TCU;   g)    Ato de designação da equipe;   h)    Número de registro no Fiscalis;   i)      Objetivo da auditoria;   j)      Período abrangido pela auditoria;   k)    Período de realização da auditoria;   l)      Identificação dos membros da equipe de auditoria e do supervisor.   Resumo                            O resumo é a apresentação concisa dos pontos relevantes do relatório. Sua finalidade é dar ao leitor uma visão geral e sintética dos assuntos tratados, de modo que o leitor possa obter um quadro geral compreensível dos principais achados e propostas de deliberação. Deve fornecer elementos capazes de permitir ao leitor, interno e externo, decidir sobre a conveniência e a necessidade de se consultar o relatório e ao mesmo tempo o prepara para a leitura completa.                          Portanto, o resumo deve conter descrição concisa dos elementos-chave do relatório, descartando-se ideias secundárias, pormenores, exemplos e notas explicativas. O resumo serve de base à elaboração de documentos de divulgação, após apreciação da matéria pelo Tribunal, em especial a ficha síntese (BRASIL, 2017d).                         O resumo é composto pelas seguintes seções e segue a mesma estrutura da ficha síntese (parágrafo 532) .           O que o TCU fiscalizou?                            Nessa seção, apresente o objetivo da auditoria de modo conciso. Em seguida, explique a motivação para a realização da auditoria. A motivação pode se referir a problemas de desempenho identificados, a relevância do objeto em termos de recursos despendidos ou de contribuição para a solução de problemas sociais, associados ou não a uma requisição do Congresso Nacional para se realizar a auditoria ou a uma determinação legal. Apresente apenas a informação suficiente sobre o contexto e as organizações envolvidas com o objeto auditado para que o leitor entenda os achados e deliberações. Apresente o período que foi examinado, onde e quando a auditoria foi realizada. Encere a seção resumindo a metodologia usada para chegar aos achados.      O que o TCU encontrou?                            Sintetize os principais achados de modo que fique evidente o alcance dos objetivos da auditoria e as respostas às questões de auditoria, acrescentando apenas a informação de apoio necessária para que as respostas sejam convincentes. Encerre a seção com a síntese dos comentários mais significativos dos gestores ou fatos que sejam importantes para que o resumo seja equilibrado.      Qual é a proposta de encaminhamento?                            Resuma as principais deliberações propostas, garantindo demonstrar que elas decorrem logicamente dos achados e conclusões contidos na seção anterior. Complemente apresentando os benefícios esperados, caso as deliberações sejam implementadas.      Quais os próximos passos?                            Descreva as providências que serão adotadas para monitorar a implementação das deliberações a exemplo da realização de novas ações de controle e a entrega do relatório a comissões do Congresso Nacional para subsidiar medidas legislativas.                         A extensão de cada seção do resumo depende do tratamento que cada um recebeu na auditoria. Por exemplo, uma técnica nova deve ser ressaltada na metodologia em "O que o TCU encontrou?". A expectativa de obtenção de economia significativa ou de melhoria relevante na qualidade dos serviços, em decorrência da implementação das deliberações, pode ser destacada na seção "Qual é a proposta de encaminhamento?".                         No total, o resumo não deve ultrapassar duas páginas, já incluindo ilustrações (gráficos, fotos, diagramas, tabelas), se for o caso e se o espaço permitir. Para ser sintético e significativo, o resumo não pode ser constituído de recortes do texto do relatório, mas transmitir as principais informações e mensagens. Para elaborar o resumo, deve ser feita, inicialmente, a leitura completa do relatório, a fim de se obter a compreensão global do texto. Em seguida, deve-se identificar as partes do relatório que serão abordadas no resumo. É importante verificar a progressão temática e lógica, desenvolver a redação em períodos coerentes e usar o TCU como o sujeito da realização da auditoria.                         A equipe poderá encontrar o modelo a ser aplicado aos resumos em orientação na biblioteca digital do TCU.      Sumário                            O sumário é elemento obrigatório e consiste na enumeração das divisões, seções e outras partes do relatório, na mesma ordem e grafia em que a matéria nele se sucede (ABNT, 2012) . Os elementos pré-textuais não devem constar no sumário.                         As listas de ilustrações, de tabelas e o sumário devem ser automatizados para evitar erros e ganhar eficiência na elaboração do relatório. Por exemplo, no caso da lista de ilustrações, quando se utilizar o aplicativo Microsoft Word, selecionado o título da ilustração, deve-se acionar na aba "Referências", a opção "Inserir Legenda", usando "Figura" como rótulo. Feito isso, é possível criar a lista com a opção "Inserir índice de ilustrações" na mesma aba "Referências".          6.4.2 Introdução                            A introdução é a parte inicial do texto e deve conter os elementos necessários para situar o tema da auditoria. Compõe-se dos seguintes elementos:      a)    identificação simplificada do objeto de auditoria. Detalhes devem ser apresentados no capítulo da visão geral;   b)    antecedentes, que contemplam as razões que originaram a auditoria, a decisão que a autorizou e a existência de fiscalizações anteriores no mesmo objeto;   c)    objetivos e escopo da auditoria, nos quais devem ser claramente enunciados os objetivos gerais e específicos e as limitações do trabalho;   d)    critérios usados para concluir sobre o desempenho do objeto auditado e suas fontes (ISSAI 3000/122) . Critérios específicos e maiores detalhes devem ser descritos no capítulo correspondente;   e)    métodos usados para o entendimento do objeto de auditoria, e na coleta e na análise dos dados, de forma resumida (NAT, 134) . Os detalhes metodológicos devem ser registrados em apêndice;   f)     declaração de conformidade com normas aplicáveis e de ausência de restrições significativas;   g)    organização do relatório.                                 Os relatórios de auditoria operacional devem incluir declaração dos auditores de que os trabalhos foram realizados em conformidade com as NAT e com este manual, desde que todos os requisitos neles previstos tenham sido observados (NAT, 130) , na forma abaixo. Igualmente, o relatório deve incluir declaração de que nenhuma restrição significativa foi imposta aos exames (NAT, 132) .      a)       A auditoria foi conduzida de acordo com as Normas de Auditoria do Tribunal de Contas da União (NAT)  e com o Manual de Auditoria Operacional do Tribunal, que está alinhado às Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI), emitidas pela Organização Internacional de Entidades Fiscalizadoras Superiores  (Intosai) . Nenhuma restrição significativa foi imposta aos exames.                            Quando não cumprirem todos os requisitos ou cumpri-los com restrições ou adaptações, como nas situações em que não tiverem ocorrido condições necessárias para conduzir a auditoria planejada, a exemplo de restrições de acesso a informações, os auditores devem declarar os requisitos que não foram cumpridos integralmente, as razões para tal e como isso afetou ou pode ter afetado o alcance dos objetivos e as conclusões da auditoria. Deve ser incluída também a ocorrência de limitações significativas ao trabalho realizado (NAT, 131-132) .                         Para tornar mais clara a lógica do relato, deverá ser acrescentado um parágrafo ao final da introdução que descreva a forma de organização do relatório. Esse parágrafo deve fazer a descrição breve dos temas tratados nos capítulos principais, ressaltando a ligação lógica entre eles.          6.4.3 Visão geral                            Na visão geral, descrevem-se as características do objeto de auditoria que são necessárias para a compreensão do relatório, fazendo-se as correlações com os objetivos da auditoria, quando for o caso (NAT, 136-137) . A visão geral preliminar elaborada na fase de planejamento deve ser revisada após a fase de execução para que seja incorporada ao relatório de auditoria (NAT, 91). Os textos analíticos resultantes da aplicação das técnicas de diagnóstico são fonte de informação importante para a redação deste capítulo. Alguns dos elementos da visão geral podem ser: objetivos, responsáveis, histórico, beneficiários, principais produtos, relevância, indicadores de desempenho, metas, aspectos orçamentários, processo de tomada de decisão, sistemas de controle.                         As informações que comporão a visão geral dependem dos objetivos da auditoria. Além disso, por concisão, é possível apresentar informações específicas nos capítulos principais, sem repeti-los na visão geral. Da mesma forma, se necessário, pode-se registrar, em apêndice, dados históricos ou outras informações de contextualização não diretamente relacionadas com o objetivo da auditoria.          6.4.4 Capítulos principais                            Os capítulos principais do relatório devem ser estruturados por questão de auditoria e devem ser ordenados, sempre que possível, considerando a relevância dos achados. Os títulos dos capítulos não devem ser a transcrição da questão de auditoria, mas a declaração do tema de que vai tratar. A denominação dos subtítulos é a enunciação dos respectivos achados. Antes do subtítulo correspondente ao primeiro achado, deve ser escrito um parágrafo introdutório ao capítulo, com seu objetivo, a contextualização específica para o capítulo e a descrição do conteúdo que será desenvolvido em seus subtítulos.                         Os capítulos principais contêm o relato articulado e argumentado sobre os achados de auditoria. Tais capítulos devem ser apresentados em ordem decrescente de relevância, isto é, inicia-se pelo tema que se revelou mais importante. O mesmo se aplica à apresentação dos achados dentro de cada capítulo, em subtítulos apresentados em ordem decrescente de relevância. Portanto, nem sempre será mantida a ordem proposta no plano de auditoria. Outra forma de organizar o texto é partir dos temas mais gerais para os mais específicos. Essa pode ser a melhor maneira de apresentar assuntos complexos e interligados, cuja compreensão seja facilitada a partir da leitura de achados que introduzam o contexto no qual os demais de inserem (NAT, 141) .                         A estrutura recomendada pretende abranger casos gerais e mais frequentes. O Quadro 12 apresenta a sequência típica de apresentação das informações. Não significa que cada elemento do relato tenha que ser apresentado em apenas um parágrafo ou que todos os elementos tenham que estar presentes. Como já foi anteriormente esclarecido neste manual, dependendo do tipo de questão de auditoria, nem sempre é possível identificar causas ou formular propostas, por exemplo. Além disso, a discussão das evidências pode ser extensa, incluindo a apresentação de gráficos, tabelas e outras ilustrações.                         Os subtítulos devem ser desenvolvidos na seguinte sequência, com as adaptações que se fizerem necessárias para os casos particulares. Começa-se com o parágrafo inicial de impacto, com descrição sucinta do achado, o que inclui mencionar critério, situação encontrada, causa e efeito. Trata-se de exposição usando raciocínio dedutivo, quando se apresenta primeiro o resultado e, depois, como se chegou a ele.                         Em seguida, avança-se para descrição mais detalhada do achado, com argumentos sobre a fonte do critério, apresentação de evidências que sustentam as afirmações sobre a condição, descrição de métodos e técnicas que permitiram identificar as causas. Daí, passa-se à análise dos efeitos e riscos envolvidos com a manutenção das condições encontradas. Segue-se a descrição de boas práticas e o prenúncio das propostas de encaminhamento e estimação de benefícios, caso essas sejam implementadas.                         Ponto crucial do relatório é a análise das evidências. As evidências devem ser apresentadas de forma lógica, articulada e com ilustrações que facilitem a compreensão da situação encontrada. A seção 5.3 deste manual tem mais informações sobre evidência de auditoria.                         Os leitores do relatório devem ter acesso às informações e argumentos necessários para compreender o raciocínio que a equipe de auditoria construiu para chegar às conclusões apresentadas. Sendo assim, com o objetivo de tornar o relatório mais equilibrado e convincente, deve-se incluir no subtítulo a posição dos gestores e a discussão do melhor argumento contrário à opinião da equipe (NAT, 144) .                         Em auditoria operacional, a síntese dos comentários dos gestores é incorporada no desenvolvimento dos achados, com a análise da equipe, para apresentar pontos de vista divergentes ou para demonstrar a concordância dos gestores com a posição da equipe, reforçando-a (NAT, 147). Comentários que foram suficientes para tornar insubsistente algum achado, que corrigiram dados ou os complementaram são registrados no apêndice de comentários dos gestores e análise da equipe, pois o relatório deve ser finalizado com os ajustes necessários já feitos (NAT, 139).                         Em seguida, se for o caso, a equipe deve formular resumidamente a proposta que constará do capítulo "proposta de encaminhamento", sem, no entanto, enunciá-la, necessariamente, de forma idêntica. A proposta pode basear-se em conclusões de mais de um subtítulo. Para evitar sua repetição em vários trechos, a proposta pode ser resumida na conclusão do capítulo.                         Na sequência, a equipe deve quantificar ou, se não for possível ser exato, estimar os benefícios que poderão ser obtidos, caso as propostas sejam implementadas. Por concisão, e caso seja conveniente, a equipe poderá estimar os benefícios esperados ao final do capítulo ou na conclusão do relatório, agrupando propostas que contribuam para a obtenção do mesmo benefício e detalhar a memória de cálculo em apêndice e no sistema do TCU de benefícios do controle (BRASIL, 2018c) .                         Os capítulos devem conter as conclusões referentes ao ponto tratado. As conclusões são afirmativas que respondem à questão de auditoria a que se refere o capítulo e são relacionadas com o objetivo geral da auditoria, deduzidas da análise das evidências, em contraste com os critérios.          6.4.6 Conclusão                            Esse capítulo deve trazer as respostas às questões de auditoria (NAT, 156-161) . O auditor deve garantir que os achados de auditoria concluam claramente sobre os objetivos e/ou as questões de auditoria, ou explicar por que isso não foi possível (ISSAI 3000/124). As conclusões do relatório são afirmações da equipe, deduzidas dos achados.                         Conclusões são afirmações sintéticas e, como tal, inevitavelmente omitem ou simplificam algumas das informações registradas no corpo do relatório (NAO, 2008).                         A conclusão deve destacar de forma equilibrada os pontos fortes do objeto de auditoria, as principais oportunidades de melhoria de desempenho e os possíveis benefícios esperados quantificando-os, sempre que possível, em termos de economia de recursos ou de outra natureza de melhoria. Devem ser relatadas as dificuldades enfrentadas pelos gestores e suas iniciativas positivas, adotadas para superar as dificuldades.          6.4.7 Proposta de encaminhamento                            As propostas de encaminhamento são propostas de deliberações (recomendações, determinações ou ciência) que a equipe de auditoria demonstra serem necessárias e que contribuirão para sanar deficiências relevantes identificadas pela auditoria. Essas propostas devem ser construtivas e capazes de contribuir significativamente para sanar as deficiências ou problemas identificados pela auditoria (ISSAI 3000/126).                         É importante garantir que as deliberações sejam exequíveis, agreguem valor e tenham relação com os objetivos da auditoria. Também deve-se considerar o impacto gerado para implementá-las, em termos dos recursos necessários (pessoal, orçamento etc.) e possíveis efeitos negativos advindos dessa implementação.                         Nesse sentido, a Resolução-TCU 315, de 22 de abril de 2020, determina que se deve oportunizar aos destinatários das deliberações a apresentação de comentários quanto às consequências práticas da implementação das medidas aventadas e eventuais alternativas. No relatório, a equipe deve justificar a manutenção das propostas preliminares, caso sejam apresentadas consequências negativas de sua implementação ou soluções de melhor custo-benefício pelos gestores.                         As propostas de deliberações devem ter correspondência clara com os achados e suas causas (NAT, 163) . A causa pode estar fora da competência do gestor. Nesse caso, a proposta pode ser direcionada para outro órgão/entidade, hipótese na qual ela deve ser previamente discutida com os destinatários e com a unidade técnica detentora da clientela, se for o caso  (BRASIL, 2020c) . Propostas devem ser formuladas focando "o quê" deve ser aperfeiçoado ou corrigido e não o "como", embora circunstâncias possam surgir que demandem a formulação de propostas específicas, como aperfeiçoamento ou correção de regulamentos (NAT, 165) . Nos capítulos principais, a equipe pode mencionar possíveis medidas que podem ser adotadas pelos gestores, com base, por exemplo, em boas práticas.                         As propostas orientarão a adoção de medidas por parte dos gestores para solucionar os problemas identificados, o monitoramento da implementação das deliberações e a quantificação de seus benefícios efetivos. Por essas razões, a equipe deve formular o número estritamente necessário de propostas de deliberações.                         Deve-se propor o monitoramento das recomendações expedidas em processos de auditoria operacional, o que é feito mediante indicação na redação da proposta de encaminhamento, na forma estabelecida em regulamento (BRASIL, 2020c, parte IV, item 9) .                          Não há um número de recomendações e determinações definido. Na elaboração das propostas de encaminhamento, a equipe deverá analisar as deliberações de maior impacto e priorizá-las. É útil usar a regra de Pareto, que diz que 80% das causas são resolvidas com 20% das deliberações. Além disso, as deliberações deverão ser agrupadas por destinatário e por tema. Dessa forma, propostas que tiverem relação entre si, mesmo que tenham sido mencionadas em subtítulos diferentes, ficarão agrupadas, em razão da conexão com um mesmo tema.                         Existem situações nas quais pode ser dispensada a formulação de deliberações (Resolução-TCU 315/2020, art. 16). Em especial, na auditoria operacional, pode ser dispensável a formulação de recomendações caso seja favorável a tendência de que se resolva a situação encontrada, notadamente em decorrência de nova regulamentação da matéria, de reestruturação administrativa da unidade, do aperfeiçoamento dos controles internos ou de outros fatores que evidenciem um contexto institucional superveniente capaz de inibir a ocorrência de situação de desempenho insatisfatório ou de produzir os aprimoramentos desejados da ação de governo. No caso de dispensa de formulação de proposta de deliberação, a justificativa, devidamente evidenciada, deve ser registrada na seção do relatório de auditoria destinada ao tratamento dos achados, indicando o inciso do parágrafo único do art. 16 da Resolução-TCU 315/2020 na qual se fundamenta.                         As propostas deverão indicar entre parênteses os números dos parágrafos nos quais os temas a que se referem são tratados no relatório. A equipe deve adotar os cuidados necessários para garantir que as deliberações sejam propostas de acordo com os requisitos aplicáveis em vigor no TCU (BRASIL, 2020c) .      Quadro 13 - Cuidados a serem adotados para a proposição de deliberações                                            Direcione a proposta de deliberação às causas da situação encontrada e, quando cabível, à mitigação de efeitos.           Avalie a exequibilidade da proposta de deliberação.           Diga o quê deve ser aperfeiçoado e não como fazê-lo.           Avalie os impactos causados pela implementação das deliberações (positivos e negativos) .           Proponha apenas as poucas deliberações mais importantes para melhorar o desempenho.           Foque em objetos que tenham alguma estabilidade frente a mudanças de contexto ou redija a deliberação de maneira a prever mudanças.           Não agrupe várias deliberações em uma só.           Pense em como a deliberação será monitorada.                      Fonte: ChecklistChecklist de deliberações (TCU, 2019b) ; Ribeiro Filho et al.  (2010) .   6.4.8 Elementos pós-textuais                            Apenas as referências são um elemento pós-textual obrigatório. Glossário, apêndice, anexo, lista de ilustrações, lista de tabelas, lista de siglas são elementos opcionais (ABNT, 2011) . Em auditoria operacional, o apêndice metodológico merece atenção especial, como será explicado adiante. Segundo as normas aplicáveis, as listas de ilustrações, tabelas e siglas devem ser dispostas após o resumo (ABNT, 2011). No entanto, este manual prescreve seu posicionamento ao final do relatório para que os leitores tenham acesso mais imediato à parte substantiva do texto, reservando os elementos opcionais para o final. Sendo assim, os elementos pós-textuais devem ser apresentados no relatório na sequência que se segue.      Referências                            Referências são o conjunto padronizado de elementos descritivos, retirados de um documento, que permite sua identificação individual. No relatório, essa seção é a listagem das fontes bibliográficas utilizadas e citadas no texto. Para relatórios com citações este elemento é obrigatório e deve ser elaborado conforme a ABNT  (2018) .      Glossário                            Glossário é a relação, em ordem alfabética, de palavras ou expressões técnicas de uso restrito ou de sentido obscuro, utilizadas no relatório, acompanhadas das respectivas definições (ABNT, 2011) . O Glossário é elemento opcional e pode ser incluído para facilitar a leitura quando o relatório trouxer palavras cujo significado é pouco conhecido, de uso regional, ou desconhecido fora de determinada especialidade técnica, ou científica.      Apêndice                            Os apêndices são compostos por textos ou documentos elaborados pela equipe de auditoria, a fim de complementar sua argumentação apresentada no relatório, sem causar prejuízo à completude e à coesão do texto principal (ABNT, 2011). São informações adicionais produzidas pela equipe de auditoria, destacadas do texto para evitar a descontinuidade da sua sequência lógica. São identificados pela palavra "Apêndice", seguida de letras maiúsculas consecutivas, travessão e pelos respectivos títulos (ABNT, 2011).                          Apesar de ser elemento opcional, cuja inclusão requer a aplicação de julgamento profissional, em auditoria operacional, há dois apêndices que são requeridos: o apêndice de comentários dos gestores e análise da equipe e o apêndice metodológico. A seção 6.5 trata do apêndice  de comentários dos gestores e análise da equipe em separado por ser objeto de requisitos específicos das ISSAI 3000 e por ser elaborado em etapa posterior ao envio do relatório preliminar aos gestores.                          Em auditoria operacional, é necessário aplicar certas técnicas para garantir o entendimento do objeto de auditoria na fase de planejamento e variadas técnicas de coleta e análise de dados na fase de execução. É importante registrar adequadamente os procedimentos adotados, pois a asseguração em auditoria operacional é dada pela equipe ao descrever explicitamente, de maneira equilibrada e fundamentada, como os critérios, os achados, e as conclusões foram desenvolvidos e por que as combinações de achados e critérios resultaram em uma determinada conclusão geral ou recomendação (ISSAI 100/32).                         Em auditoria operacional é incentivada a aplicação de métodos inovadores e a obtenção de evidências analíticas, as vezes aplicando-se técnicas que não são de domínio dos leitores. Dessa forma, para evitar que a explicação da metodologia aplicada fique demasiada extensa na introdução e nos capítulos principais do relatório, é necessário elaborar o apêndice metodológico.                          A equipe deve decidir cuidadosamente o nível de detalhamento sobre os métodos a ser usado no texto principal do relatório e o que deve ser colocado em apêndice. Além da descrição dos métodos aplicados, podem ser alocados em apêndices elementos como formulários de questionários aplicados, roteiros de grupo focal, roteiros de inspeção e de observação direta. Os demais papéis de trabalho permanentes que constituam registros do trabalho executado, como transcrições de entrevistas, requisições de auditoria e outros devem ser organizados em um ou mais volumes e lançados no sistema de processo eletrônico do Tribunal sob a forma de documentos.                         No apêndice metodológico, devem ser mencionadas as limitações impostas ao trabalho associadas à metodologia usada para investigar as questões de auditoria; à confiabilidade ou à dificuldade na obtenção de dados, assim como as limitações relacionadas ao próprio escopo do trabalho, ou seja, as áreas e os aspectos não analisados. Além dos detalhes sobre o entendimento do objeto, como as técnicas de diagnóstico realizadas, e sobre a coleta e análise de dados, como os critérios de seleção de estudos de caso e visitas de campo. A equipe deve incluir a memória de cálculo dos efeitos dos achados e dos benefícios estimados se implementadas as deliberações propostas.                          Alternativamente, caso o volume de material seja significativo, a equipe pode incluir hiperlinks para esses documentos em área apropriada do Portal do TCU. Essa possibilidade tem sido bem explorada pelos levantamentos na área de governança realizados pelo TCU, que chegam a divulgar até mesmo micro dados coletados, que podem ser usados por outros auditores e avaliadores como fonte de informação.      Anexo                            Os anexos constituem-se de informações adicionais não produzidas pela equipe, que colaboram para esclarecer ou confirmar as ideias expressas no relatório. São identificados pela palavra "Anexo", seguida por letras maiúsculas consecutivas, travessão e pelos respectivos títulos (ABNT, 2011). Não devem ser incluídos no relatório como anexo documentos publicados do objeto auditado; publicações de outras fontes; pedidos de informação ou respostas a pedidos de informação e transcrições de entrevistas.       Lista de ilustrações                            Ilustração é a designação genérica de imagem, que ilustra ou elucida o relatório. A lista de ilustrações compreende a relação de desenhos, esquemas, fluxogramas, fotografias, gráficos, mapas, organogramas, plantas, quadros, retratos e outros. Deve ser elaborada de acordo com a ordem apresentada no relatório, com cada item designado por seu nome, acompanhado do respectivo número da página (ABNT, 2011).                          Qualquer que seja o tipo de ilustração, sua identificação aparece na parte superior, precedida da palavra designativa Figura, seguida de seu número de ordem de ocorrência no texto, em algarismos arábicos, travessão e do respectivo título. Após a ilustração, na parte inferior, deve ser indicada a fonte consultada, que é elemento obrigatório, mesmo que seja produção da equipe, quando se deve indicar "elaboração própria". A ilustração deve ser citada no texto do relatório e inserida o mais próximo possível do trecho a que se refere.       Lista de tabelas                            Tabela é uma forma não discursiva de apresentar informações das quais o dado numérico se destaca como informação central (ABNT, 2011). A lista de tabelas é elaborada de acordo com a ordem apresentada no relatório, de forma semelhante à lista de ilustrações. As tabelas devem ser citadas no texto, inseridas o mais próximo possível do trecho a que se referem e seguir o padrão do Instituto Brasileiro de Geografia e Estatística (IBGE, 1993).       Lista de siglas                            A sigla é o conjunto de letras iniciais dos vocábulos e/ou números que representa um determinado nome, quando mencionada pela primeira vez no texto, deve ser indicada entre parênteses, precedida do nome completo. A lista de siglas consiste na relação alfabética das siglas utilizadas no relatório, seguidas das palavras ou expressões correspondentes grafadas por extenso.          6.5.            Comentários dos gestores e análise da equipe                             Requisitos               O auditor deve dar à entidade auditada a oportunidade de comentar sobre os achados, as conclusões e as recomendações de auditoria, antes que a EFS emita o relatório (ISSAI 3000/129).                O auditor deve registrar a análise dos comentários da entidade auditada em papéis de trabalho, incluindo as razões para fazer modificações no relatório de auditoria ou para rejeitar os comentários recebidos (ISSAI 3000/130).                                                     A unidade técnica deve diligenciar para que os auditados apresentem seus comentários escritos sobre o relatório preliminar, fixando prazo compatível (NAT, 144-146) . A remessa do relatório constitui etapa procedimental com o objetivo de permitir à equipe de auditoria o aprimoramento da qualidade e da eficácia das deliberações. Não se trata, portanto, de etapa processual ou de exercício de direito de defesa (contraditório)  (BRASIL, 2020c, parte V, item 10) .                          O encaminhamento da versão preliminar do relatório de auditoria para que os gestores apresentem seus comentários contribui para a melhoria da qualidade dos trabalhos, pois os auditados podem analisá-lo e oferecer outra perspectiva, bem como possibilita o esclarecimento de pontos obscuros, a correção de informações imprecisas ou inconsistentes, e o aperfeiçoamento das medidas propostas.                         Em auditoria operacional, a regra é a de submeter o relatório preliminar aos comentários dos gestores com todos os elementos do relatório final, exceto, obviamente, o apêndice de comentários dos gestores e análise da equipe  (BRASIL, 2020c, parte V, item 10). A unidade técnica poderá, excepcionalmente, deixar de incluir a proposta de encaminhamento no relatório preliminar, caso seu conhecimento pelos gestores coloque em risco o alcance dos objetivos da auditoria. Essa situação deve estar justificada nos papéis de trabalho da auditoria.                         Os gestores devem ser informados sobre o caráter sigiloso do relatório preliminar. A cópia do relatório a ser encaminhada deve conter marca d'água na diagonal de todas suas páginas com a palavra "SIGILOSO".                         O ofício de diligência deve, ainda, solicitar aos gestores que encaminhem seus comentários contemplando a perspectiva dos dirigentes e as ações corretivas que pretendem tomar, bem como avaliação sobre as propostas de determinação e/ou recomendação formuladas, informando sobre as consequências práticas de sua implementação e eventuais alternativas (BRASIL, 2020c, parte V, item 10) .                         A equipe de auditoria deve analisar os comentários oferecidos, documentando em papel de trabalho. A análise examinará individual e detidamente os elementos trazidos pelos gestores, avaliará a necessidade de rever pontos do relatório e/ou apresentará argumentos para manter posições discordantes dos gestores.                         Quando os auditados fornecerem novas informações ao apresentarem seus comentários, a equipe deverá avaliá-las, segundo os padrões aplicáveis às evidências, antes de incorporá-las ao relatório. Caso as novas informações e argumentos dos auditados sejam importantes para esclarecer pontos do relatório ou sejam suficientes para alterar o entendimento da equipe, as modificações serão feitas nos capítulos principais do relatório. O relato sobre a posição anterior, os novos elementos apresentados e a alteração realizada deve ser feito no Apêndice do relatório final destinado à registrar os comentários dos gestores e a análise da equipe.                          No apêndice correspondente, a equipe deve destacar os elogios, as discordâncias e as alterações relevantes realizadas no relatório preliminar em razão dos comentários dos gestores. As informações e argumentos que não forem suficientes para alterar o entendimento da equipe devem ser analisadas no apêndice de modo que o leitor entenda as razões para a manutenção da posição inicial da equipe.                         Pode ser necessário revisar os papéis de trabalho da auditoria, após as alterações feitas no relatório em função dos comentários dos gestores.           6.6              Divulgação                             Requisito               A EFS deve tornar os seus relatórios de auditoria amplamente acessíveis, considerando, porém, os regulamentos sobre informações confidenciais (ISSAI 3000/133).                                                    A ampla divulgação dos relatórios de auditoria promove a credibilidade das auditorias do Tribunal. Assim, os relatórios de auditoria precisam ser encaminhados para a entidade auditada, o órgão supervisor no Poder Executivo, as comissões do Congresso Nacional e para outras partes responsáveis ou com algum poder de decisão ou influência que possam contribuir para o aperfeiçoamento do desempenho do auditado e para a implementação das deliberações do TCU. (ISSAI 3000/134).                          O público-alvo primário da auditoria operacional é formado pelo Poder Legislativo e/ou Executivo, pelas entidades governamentais e pelos cidadãos. Uma boa auditoria operacional permite que o Poder Legislativo examine de maneira efetiva o desempenho das organizações e programas governamentais. Além disso, deve ser capaz de influenciar os tomadores de decisão no governo a fazerem as mudanças que levem a melhores resultados. Além desses, há também a sociedade em geral e outras partes interessadas, como o setor privado e a mídia, que podem ter interesses, apesar de, possivelmente, com um foco diferente, no resultado da auditoria operacional (ISSAI 3000/135).                          Há quem diga que o resumo do relatório se destina aos meios de comunicação, os capítulos principais aos gestores e o apêndice metodológico a outros auditores e avaliadores. Isso porque os detalhes sobre os procedimentos de avaliação e investigação podem não ser do interesse do público em geral, que tem seu principal foco de atenção nos resultados da auditoria, principalmente na avaliação sobre o desempenho do objeto de auditado.                          Sendo assim, pode ser necessário elaborar outros produtos de divulgação com base no relatório de auditoria, conforme o público que se deseja alcançar, como sumário executivo e notas para imprensa e outros. No TCU, o principal desses outros produtos é a ficha síntese. A ficha deve ser elaborada sempre que possível e deve obedecer às orientações da Secretaria de Comunicação do Tribunal, conforme instruções disponíveis na biblioteca digital  (BRASIL, 2017d) . Não se trata de trabalho duplicado com a elaboração do resumo, que tem a mesma estrutura. A diferença é que a Secom apoia a unidade técnica responsável, revisa e editora a ficha síntese e faz sua divulgação.                         A comunicação dos resultados da auditoria deve atingir seu objetivo final de reportar à sociedade sobre o desempenho da administração pública, permitindo a responsabilização dos agentes públicos pelos resultados da ação de governo, mediante controle parlamentar e controle social (INTOSAI-P 12/princípio 4) .                          A relevância da fase de divulgação em auditoria operacional torna mais importante que o relatório tenha rigor técnico, coerência, clareza, seja convincente e visualmente atrativo para o leitor. Dessa forma, aumenta a probabilidade de que as deliberações do Tribunal ganhem apoio dos atores capazes de influenciar na gestão do objeto auditado, que elas sejam implementadas e gerem melhorias de desempenho em benefício da sociedade.                             7.    MONITORAMENTO                             Requisitos               O auditor deve monitorar, conforme apropriado, achados e recomendações de auditorias anteriores e a EFS deve relatar ao Poder Legislativo, se possível, as conclusões e os impactos de todas as ações corretivas relevantes (ISSAI 3000/136).                O auditor deve focar o monitoramento em verificar se a entidade auditada tratou de forma adequada os problemas e se remediou a situação subjacente após um período de tempo razoável (ISSAI 3000/139).                                                    A publicação do relatório de auditoria operacional não corresponde ao fim do processo de trabalho. A identificação das oportunidades de melhoria e a expedição das deliberações pertinentes pelo Tribunal, por si só, não são insuficientes para produzir as melhorias pretendidas. É necessário garantir a efetiva implementação das propostas e solução dos problemas identificados de modo que os efeitos desejados possam ser alcançados (GUID 3920/145) . Para tanto, o monitoramento das deliberações expedidas assume importância central.                          Monitoramento é, portanto, a análise das ações corretivas adotadas pela entidade auditada (ou por outra parte responsável), com base nas deliberações do TCU, com o objetivo de aferir seus efeitos (ISSAI 3000/137). O monitoramento não se restringe à verificação da implementação das deliberações, mas deve se concentrar em verificar se a entidade auditada tratou de forma adequada os problemas e se remediou a situação subjacente após um período razoável (ISSAI 3000/139-140; NAT, 169).                         Existem diferentes formas de monitorar as auditorias operacionais. Quando designada para tal atividade, a equipe deve seguir os normativos e orientações aplicáveis, em especial os Padrões de Monitoramento (BRASIL, 2009b) e a Resolução-TCU 315/2020 (BRASIL, 2020a) [13]. Aqui são apresentadas características específicas de monitoramento de auditorias operacionais.                         O monitoramento das recomendações e determinações tem os seguintes propósitos (GUID 3920/147):      a)    identificar em que medida as entidades auditadas implementaram mudanças em resposta às deliberações do Tribunal;   b)    determinar os impactos que podem ser atribuídos à auditoria, demonstrando o valor e o benefício do Tribunal;   c)    avaliar o desempenho das auditorias do Tribunal;   d)    subsidiar com informações a responsabilização social e política pelo desempenho da ação pública.                            O monitoramento aumenta a probabilidade de resolução dos problemas de desempenho identificados pela auditoria, seja pela implementação das deliberações, seja pela adoção de outras medidas de iniciativa do gestor. A expectativa de controle criada pela realização sistemática de monitoramentos, interagindo com os gestores responsáveis, contribui para aumentar a efetividade da auditoria. Além disso, o monitoramento permite a retroalimentação do sistema, na medida em que fornece aos gestores o feedback de que necessitam para verificar se as ações que vêm adotando têm contribuído para o alcance dos resultados desejados.                         É importante que o monitoramento identifique os benefícios efetivos da auditoria para demonstrar a relevância do trabalho e, no nível macro, do próprio Tribunal. Para se comprovar benefícios efetivos e para se verificar o alcance de metas de desempenho do objeto auditado, a equipe deve analisar os indicadores de desempenho existentes ou construir novos, caso necessário, sempre em acordo com os gestores. Tal providência ganha importância quando se considera que a gestão por resultados não está plenamente incorporada às práticas de administração pública.                         O monitoramento é importante para o desenvolvimento e aprendizado interno da entidade auditada, assim como para o próprio Tribunal (ISSAI 3000/137). Proporciona uma base para avaliar o desempenho das fiscalizações do Tribunal e pode contribuir para o melhor conhecimento e aprimoramento de suas práticas de auditoria. Considerando isso, os relatórios de monitoramento são também uma ferramenta de auto avaliação do Tribunal.                         Informações confiáveis sobre o grau de implementação das recomendações e das determinações, o impacto das auditorias e as ações corretivas relevantes adotadas podem ajudar a demonstrar o valor e o benefício do Tribunal (ISSAI 3000/138). As informações apuradas nos monitoramentos são usadas para calcular o percentual de implementação de deliberações e a relação custo/benefício das auditorias, que são indicadores de desempenho da atuação das EFS.                         As EFS da Suécia, dos Estados Unidos e o Tribunal de Contas Europeu divulgam o percentual de implementação de suas recomendações como medida do desempenho de seu trabalho. A EFS dos Estados Unidos informou em seu relatório de atividades de 2019 que 77% de suas recomendações foram implementadas após 4 anos da deliberação (GAO, 2020, p. 7, 34). O Tribunal de Contas Europeu inclui o indicador de monitoramento das recomendações no conjunto de indicadores-chave de desempenho para manter a gestão informada acerca dos progressos efetuados para atingir os seus objetivos estratégicos, fundamentar a tomada de decisões e fornecer às partes interessadas institucionais informações sobre o desempenho. Com base no monitoramento realizado em 2019, concluíram que 96% das recomendações formuladas no Relatório Anual relativo a 2015 e 94% das recomendações constantes dos relatórios especiais daquele ano foram executadas na íntegra, na maior parte ou pelo menos em alguns aspectos  (TCE, 2020, p. 53) . A EFS da Suécia afirma que o monitoramento de longo prazo (5 anos) de seus relatórios indica que pouco mais da metade levou o governo a tomar medidas com base neles. O monitoramento de curto prazo (3 anos) revela que quase a metade das recomendações havia sido implementada ou estava em implementação (RIKSREVISIONEN, 2020, p. 18) .                          O monitoramento permite ao Legislativo, à sociedade e às demais partes interessadas acompanhar o desempenho do objeto auditado e identificar as barreiras e dificuldades enfrentadas pelo gestor para solucionar os problemas apontados. A divulgação do diagnóstico atualizado da situação e das ações adotadas pelo gestor pode contribuir para o alcance dos resultados desejados. A transparência das informações e a atuação dos atores interessados contribui para a responsabilização política e social pelo desempenho da ação de governo (LIMA, 2008; CENEVIVA; FARH, 2012).          7.1                             Formas de monitoramento                            O monitoramento pode ser realizado de diferentes formas (GUID 3920/152):      a)    reunião com o gestor, após algum tempo da auditoria, para verificar as ações adotadas para melhorar o desempenho e a implementação das recomendações e determinações;   b)    envio de solicitação de informações ao auditado para que informe as ações adotadas para solucionar os problemas apresentados no relatório de auditoria. Essa solicitação pode incluir o plano de ação;   c)    telefonemas ou visitas de campo limitadas para coletar informações sobre as ações adotadas pela entidade auditada;   d)    acompanhamento da evolução do tema auditado por meio do legislativo, mídia e outros stakeholders, e análise para verificar se os problemas identificados durante a auditoria foram tratados adequadamente;   e)    solicitação às equipes de auditoria financeira ou de conformidade para que coletem, como parte de seus procedimentos, informações sobre as ações adotadas pela entidade auditada;   f)     realização de fiscalização, que gerará um relatório de monitoramento.                             As formas utilizadas para monitorar dependerão das prioridades estabelecidas pelo Tribunal, da importância dos problemas identificados, das ações que serão implementadas e do interesse externo no tema (GUID 3920/153). No TCU, as formas para a obtenção de informações para o monitoramento são reguladas pelos Padrões de Monitoramento  (BRASIL, 2009b).          7.2                             Sistemática de monitoramento                            Logo após a apreciação da auditoria pelo Tribunal, a unidade técnica do TCU encarregada do monitoramento deve entrar em contato com o gestor do objeto auditado para orientá-lo sobre o monitoramento das deliberações proferidas. Se necessário, poderá agendar reunião, durante a qual a equipe do TCU explicará a sistemática de monitoramento e apresentará modelo de plano de ação, a ser entregue em prazo acordado. É importante convidar representantes do órgão de controle interno (sempre que oportuno), do objeto auditado e de demais entidades envolvidas com a implementação das deliberações.                         Reuniões adicionais entre os interessados podem ser necessárias, especialmente quando a implementação das deliberações for complexa, demandar mais tempo de monitoramento, envolver diversas unidades governamentais ou quando for percebida alguma resistência por parte do auditado.                         Ao planejar o monitoramento, a equipe analisará o relatório de auditoria, o plano de ação e outros documentos pertinentes. Na ocasião, deve-se destacar os indicadores de desempenho que serão aferidos para evidenciar a possível solução de problemas identificados na auditoria e as deliberações-chave, que seriam aquelas geradoras dos impactos considerados mais importantes, em termos financeiros ou qualitativos.                          Em seguida, enviará ao gestor a solicitação de documentos e informações necessários para o monitoramento, fixando prazo condizente com o volume e a natureza das informações solicitadas.                         O mencionado plano de ação é um documento apresentado pelo gestor ao TCU em prazo acordado, que detalha as ações que serão tomadas para atender as deliberações propostas no sentido de corrigir os problemas identificados durante a auditoria. Envolve, basicamente, um cronograma em que são definidos responsáveis, atividades e prazos para a implementação das deliberações. Esse instrumento norteia o processo de monitoramento e tende a aumentar a sua efetividade. Trata-se de um instrumento gerencial, que não deve ser objeto de proposta de deliberação, exceto na hipótese excepcional prevista na Resolução-TCU 315/2020[14].                         É recomendado que membro da equipe de auditoria acompanhe a elaboração do plano, para que o documento atenda às necessidades de monitoramento e abranja medidas satisfatórias para solucionar os problemas identificados. Essa interação pode ser viabilizada por meio de reuniões com os gestores. O resultado esperado desse esforço é que as medidas previstas no plano de ação sejam exequíveis e efetivas para solucionar os problemas identificados.                         O plano de ação deve incluir campo para registro dos benefícios efetivos após a implementação das deliberações, conforme o modelo do Quadro 14. São esses que, em última análise, justificam a realização das auditorias operacionais.                          Cabe ressaltar que os benefícios quantificados à época da auditoria e registrados na matriz de achados são estimados. Entretanto, o monitoramento deve verificar os resultados efetivamente atingidos, os benefícios causados pela implementação das deliberações e a memória de cálculo de sua mensuração. Os valores apurados, a forma de mensuração e os resultados decorrentes da implementação da deliberação devem ser validados pelo gestor. Possíveis divergências devem ser registradas.                         As recomendações em auditoria operacional somente devem ser propostas se observada a materialidade (quantitativa e qualitativa) da questão. Sendo assim, as recomendações não devem ser meras sugestões, mas proposições de natureza colaborativa que apresentam ao seu destinatário oportunidades de melhoria, com a finalidade de contribuir efetivamente para o aperfeiçoamento da gestão (BRASIL, 2020a). Em razão de sua materialidade e do seu propósito, as deliberações, e em particular as recomendações, em auditoria operacional devem ser monitoradas[15]. A forma e o momento em que ocorrerá o monitoramento devem ser registrados na seção do relatório de auditoria na qual é desenvolvido o achado a que se refere a recomendação.                         A realização do monitoramento (quantidade, periodicidade, prazo, extensão dos exames) deverá ser adaptada às particularidades de cada auditoria e definida a partir do teor das deliberações do TCU. É importante que o monitoramento não demore muito a se iniciar, para que não se perca a expectativa de controle. Também não vale a pena monitorar as deliberações após muito tempo, pois a experiência demonstra que a maior parte das deliberações é implementada até três anos após a realização da auditoria.                         O Quadro 14, a seguir contém modelo de plano de ação a ser enviado ao gestor do objeto auditado. Outros modelos estão disponíveis nos Padrões de Monitoramento  (BRASIL, 2009b).      Quadro 14 - Modelo de plano de ação       Número do processo e título da auditoria:   Identificação da (s) entidade (s) auditada (s):      Data:                            Deliberação             Ação a ser implementada             Responsável             Prazo             Benefícios                       Citar os itens, subitens ou parte dos itens.             Indicar as medidas que serão tomadas a fim de dar cumprimento à deliberação.              Indicar a pessoa ou o setor responsável pela implementação das ações                      Informar a data em que as medidas estarão implantadas.                     Ao final do monitoramento, informar os benefícios efetivos com a implementação da deliberação, quantificando, sempre que possível.                   Fonte: elaboração própria.                                Com base nos dados e informações coletados, a equipe de monitoramento classificará as deliberações, segundo o grau de implementação, no período verificado.                          O monitoramento se refere apenas às deliberações dirigidas às organizações auditadas, não abrangendo aquelas dirigidas à secretaria do Tribunal.          Referências       AFROSAI-E. Performance Audit Handbook. Pretoria, 2013. Disponível em: https://www.eurosai.org/handle404?exporturi=/export/sites/eurosai/.content/documents/AFROSAI-E-Performance-Audit-Handbook1_00.pdf. Acesso em: 22 nov. 2018.        AFROSAI-E. Quality Assurance Handbook. Pretoria, 2015.        ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). Informação e Documentação - Numeração progressiva das seções de um documento escrito. NBR 6024. Rio de Janeiro, 2003.       ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT) . Informação e Documentação - Relatório técnico e/ou científico - apresentação: NBR 10719. Rio de Janeiro, 2011.       ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT) . Informação e Documentação - Sumário - Apresentação. NBR 6027. Rio de Janeiro, 2012.       ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT) . Informação e Documentação - Referências - Elaboração. NBR 6023. Rio de Janeiro, 2018.       BARDIN, L. Análise de Conteúdo. 4. ed. rev. e atual. Lisboa: Edições 70, 2009.       BARZELAY, Michael. Central Audit Institutions and Performance Auditing: A Comparative Analysis of Organizational Strategies in the OECD. Governance, Volume 10, Issue 3, July 1997, Pages 235-260.       BRASIL. Tribunal de Contas da União. Técnica de Auditoria: Marco Lógico. Brasília, 2001. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-auditoria-marco-logico.htm. Acesso em: 29 mar. 2020.       BRASIL. Tribunal de Contas da União.  Técnicas de amostragem para auditorias. Brasília, 2002a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnicas-de-amostragem-para-auditorias.htm. Acesso em: 29 mar. 2020.       BRASIL. Tribunal de Contas da União.  Técnicas de auditoria: Análise stakeholder. Brasília, 2002b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnicas-de-auditoria-analise-stakeholder.htm. Acesso em: 29 mar. 2020.       BRASIL. Tribunal de Contas da União. Mapa de Processos. Brasília, 2003. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-auditoria-mapa-de-processo.htm. Acesso em: 29 mar. 2020.           BRASIL. Tribunal de Contas da União.  Padrões de Auditoria de Conformidade. Brasília, 2009a. Disponível em: https://portal.tcu.gov.br/controle-externo/normas-e-orientacoes/normas-de-fiscalizacao/auditoria-de-conformidade.htm. Acesso em: 22 nov. 2018.        BRASIL. Tribunal de Contas da União.  Padrões de Monitoramento. Brasília, 2009b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/padroes-de-monitoramento.htm. Acesso em: 22 nov. 2018.        BRASIL. Tribunal de Contas da União.  Código de Ética dos Servidores do Tribunal de Contas da União. Brasília, 2009c. Disponível em: https://portal.tcu.gov.br/codigo-de-etica-do-servidor.htm. Acesso em: 12 maio 2020.        BRASIL. Tribunal de Contas da União. Design Thinking. Toolkit para Governo. Brasília, 201?. Disponível em: https://portal.tcu.gov.br/design_thinking/index.html. Acesso em: 27 nov. 2018.        BRASIL. Tribunal de Contas da União. Técnicas de Apresentação de Dados. Brasília, 2010a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnicas-de-apresentacao-de-dados.htm. Acesso em: 20 nov. 2018.       BRASIL. Tribunal de Contas da União.  Técnica de pesquisa para auditorias. Brasília, 2010b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-pesquisa-para-auditoria.htm. Acesso em: 20 nov. 2018.        BRASIL. Tribunal de Contas da União.  Técnica de observação direta em auditoria. Brasília, 2010c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-observacao-direta-em-auditoria.htm. Acesso em: 20 nov. 2018.        BRASIL. Tribunal de Contas da União.  Técnica de entrevista para auditorias. Brasília, 2010d. Disponível em: https://portal.tcu.gov.br/controle-externo/normas-e-orientacoes/tecnicas-estudos-e-ferramentas-de-apoio/. Acesso em: 20 nov. 2018.        BRASIL. Tribunal de Contas da União. Orientações para elaboração de documentos técnicos de controle externo. Portaria Segecex nº 28, de 7 de dezembro de 2010. Brasília, 2010e.       BRASIL. Tribunal de Contas da União.  Análise SWOT e Diagrama de Verificação de Risco Aplicados em Auditoria. Brasília, 2010f. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A158FE98EE0158FEF2F25843D5. Acesso em: 20 abr. 2020.        BRASIL. Tribunal de Contas da União. Auditoria Governamental. Brasília, 2011a. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A24F0A728E014F0B277355651D. Acesso em: 20 mar. 2020.       BRASIL. Tribunal de Contas da União.  Normas de Auditoria do Tribunal de Contas da União - Revisão junho 2011 (NAT) . Brasília, 2011b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/normas-de-auditoria-do-tribunal-de-contas-da-uniao-nat-FF8080816364D7980163CA90603F214D.htm. Acesso em: 20 nov. 2018.       BRASIL. Tribunal de Contas da União. Painel de referência em auditorias. Brasília, 2013a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/painel-de-referencia-em-auditoria.htm. Acesso em: 27 mar. 2020.       BRASIL. Tribunal de Contas da União. Técnica de Análise de Problemas para Auditorias. Brasília, 2013b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnicas-de-analise-de-problemas.htm. Acesso em: 21 mar. 2020.       BRASIL. Tribunal de Contas da União.  Técnica de grupo focal para auditorias. Brasília, 2013c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-grupo-focal-para-auditoria.htm. Acesso em 20 nov. 2018.        BRASIL. Tribunal de Contas da União. Referencial para avaliação de governança em políticas públicas. Brasília, 2014a. Disponível em: https://portal.tcu.gov.br/referencial-para-avaliacao-de-governanca-em-politicas-publicas.htm. Acesso em: 4 dez. 2019.       BRASIL. Tribunal de Contas da União.  Regimento Interno do Tribunal de Contas da União. Brasília, 2015. Disponível em: https://portal.tcu.gov.br/normativos/regimentos-internos/. Acesso em: 21 nov. 2018.       BRASIL. Tribunal de Contas da União.  Orientações para seleção de objetos e ações de controle. Brasília, 2016a. Disponível em: https://portal.tcu.gov.br/fiscalizacao-e-controle/auditoria/selecao-de-objetos-e-acoes-de-controle/. Acesso em: 21 nov. 2018.       BRASIL. Tribunal de Contas da União. Referencial para avaliação da governança do Centro de Governo. Brasília, 2016b. Disponível em: https://portal.tcu.gov.br/referencial-para-avaliacao-da-governanca-do-centro-de-governo.htm. Acesso em: 25 mar. 2020.       BRASIL. Tribunal de Contas da União. Guía para aplicación del método FSD (Fragmentación, Superposición, Duplicación): adaptado para la auditoría coordinada ODS 2017. Brasília, 2017a. Disponível em: https://www.olacefs.com/wp-content/uploads/2017/06/Gui%cc%81a-FSD-adaptado.pdf. Acesso em: 22 abr. 2020.       BRASIL. Tribunal de Contas da União.  Vocabulário de Controle Externo do Tribunal de Contas da União. Brasília, 2017b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/vce-vocabulario-de-controle-externo-do-tribunal-de-contas-da-uniao.htm. Acesso em: 20 nov. 2018.       BRASIL. Tribunal de Contas da União. Referencial de combate a fraude e corrupção: aplicável a órgãos e entidades da Administração Pública. Brasília, 2017c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/referencial-de-combate-a-fraude-e-corrupcao.htm. Acesso em: 22 mar. 2020.       BRASIL. Tribunal de Contas da União. Guia para Produção de Fichas-Síntese do Tribunal de Contas da União: Fichas Temáticas e Fichas Fisc. Brasília, 2017d. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/guia-para-producao-de-fichas-sintese-do-tribunal-de-contas-da-uniao-8A81881F64480C8C01646702FB546C7E.htm. Acesso em: 22 mar. 2020.       BRASIL. Decreto no 9.203, de 22 de novembro de 2017. Dispõe sobre a política de governança da administração pública federal direta, autárquica e fundacional. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, 23 nov. 2017e. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2017/Decreto/D9203.htm. Acesso em: 13 ago. 2020.       BRASIL. Tribunal de Contas da União. Roteiro de ações para o combate a fraude e corrupção. Brasília, 2018a. Disponível em: http://www.redecontrole.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881E6656439E01665F0E23007BFD&inline=1. Acesso em: 22 mar. 2020.       BRASIL. Tribunal de Contas da União. Roteiro de Levantamento. Brasília, 2018b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/roteiro-de-levantamento.htm. Acesso em: 25 mar. 2020.       BRASIL. Tribunal de Contas da União. Orientações para Benefícios do Controle. Portaria Segecex nº 37, de 13 de dezembro de 2018. Brasília, 2018c.       BRASIL. Tribunal de Contas da União. Orientações para Supervisão de Auditoria. TCU, Brasília, 2019a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/orientacoes-para-supervisao-de-auditoria.htm Acesso em 25 mai. 2020.       BRASIL. Tribunal de Contas da União. Checklist de deliberações. TCU, Brasília, 2019b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/checklist-de-deliberacoes.htm?integra. Acesso em 25 abr. 2020.       BRASIL. Tribunal de Contas da União. Resolução-TCU 315, de 22 de abril de 2020. Dispõe sobre a elaboração de deliberações que contemplem medidas a serem tomadas pelas unidades jurisdicionadas no âmbito do Tribunal de Contas da União. Brasília, 2020a. Disponível em: https://pesquisa.apps.tcu.gov.br/#/documento/ato-normativo/*/TIPO%253A%2528Resolu%25C3%25A7%25C3%25A3o%2529%2520NUMATO%253A315%2520NUMANOATO%253A2020/DTRELEVANCIA%2520desc%252CNUMATOINT%2520desc/0/%2520?uuid=ee4d0190-96e6-11ea-b39d-7744880a9168. Acesso em: 27 de abril de 2020.       BRASIL. Tribunal de Contas da União.  Orientações para a definição da estratégia global de auditoria. Brasília, 2020b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/orientacoes-para-definicao-da-estrategia-global-de-auditoria.htm. Acesso em: 15 mai. 2020.       BRASIL. Tribunal de Contas da União. Portaria-Segecex 9, de 14 de maio de 2020, alterada pela Portaria-Segecex 12, de 5 de agosto de 2020. Disciplina, no âmbito da Secretaria-Geral de Controle Externo, a proposição das deliberações previstas na Resolução-TCU nº 315, de 22 de abril de 2020. Brasília, 2020c.       BROWN, Tim. Change by Design: How Design Thinking Transforms Organizations and Inspires Innovation. HarperCollins, 2009.       CENEVIVA, R.; FARH, M.F.S. Avaliação, informação e responsabilização no setor público. Revista de Administração Pública, Rio de Janeiro, 46 (4), p. 993-1016, jul./ago. 2012       COHEN, E.; FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1993.       COLGAN, A.; KENNEDY, L. A.; DOHERTY, N. A Primer on Implementing Whole of Government Approaches. Dublin: Centre for Effective Services, 2014       FITZ-GIBBON, Carol Taylor; MORRIS, Lynn Lyons. How to design a program evaluation. 2. ed. Newbury Park: Sage, 1987.       GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Case study evaluations. Washington D.C., 1990.       GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Designing Evaluations. Washington D.C., 2012.       GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Fragmentation, Overlap, and Duplication: an evaluation and management guide. Washington D.C., 2015.       GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Government Auditing Standards: 2018 Revision (Yellow book). Washington D.C., 2018.       GOVERNMENT ACCOUNTABILITY OFFICE (GAO). GAO Performance and Accountability Report 2019. Washington D.C., 2020. Disponível em: https://www.gao.gov/assets/710/702715.pdf. Acesso em: 23 maio 2020.       HEMSEN, Å. K.; KILVIK, S.; PAULSRUD, M. Materiality: at the heart of auditing. Intosai journal of government auditing, jan. 2018.       INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Normas de apresentação tabular. Rio de Janeiro: IBGE, 1993. Disponível em: https://biblioteca.ibge.gov.br/visualizacao/livros/liv23907.pdf. Acesso em: 20 abr. 2020.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Quality Control for SAIs (ISSAI 140). Viena, 2010. Disponível em: https://www.issai.org/professional-pronouncements/?n=0-1000000000. Acesso em: 21 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Princípios Fundamentais de Auditoria do Setor Público (ISSAI 100). Viena, 2013a. Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A15D3169CE015D56CBA59F12A3. Acesso em: 20 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Fundamental Principles of Performance Auditing (ISSAI 300). Viena, 2013b. Disponível em: https://www.issai.org/professional-pronouncements/?n=0-1000000000. Acesso em: 20 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Code of Ethics. (ISSAI 130). Viena, 2016a. Disponível em: https://www.issai.org/professional-pronouncements/?n=0-1000000000 Acesso em: 21 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Standards for Performance Auditing (ISSAI 3000). Viena, 2016b. Disponível em: https://www.issai.org/professional-pronouncements/?n=0-1000000000. Acesso em: 20 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Guidelines on Central Concepts for Performance Auditing. (GUID 3910). Viena, 2016c. Disponível em: http://www.issai.org/en_us/site-issai/issai-framework/4-auditing-guidelines.htm. Acesso em: 20 nov. 2018.       INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Guidelines for the Performance Auditing Process (GUID 3920). Viena, 2016d. Disponível em: https://www.issai.org/professional-pronouncements/?n=0-1000000000. Acesso em: 20 nov. 2018.       INTOSAI DEVELOPMENT INITIATIVE (IDI). Performance Audit ISSAI Implementation Handbook. Noruega, 2016. Disponível em: http://www.idi.no/en/idi-library/global-public-goods/issai-implementation-initiative/issai-implementation-handbooks. Acesso em: 20 nov. 2018.        INTOSAI DEVELOPMENT INITIATIVE (IDI). Performance Audit Handbook  (draft version) . Noruega, 2017. Disponível em: http://www.idi.no/en/elibrary/cpd/3i-programme-1/534-performance-audit-handbook/file. Acesso em: 20 nov. 2018.        INTOSAI DEVELOPMENT INITIATIVE (IDI). Compliance Audit ISSAI Implementation Handbook. Draft version 0. Exposure draft. Noruega, 2018. Disponível em: http://www.idi.no/en/idi-library/global-public-goods/issai-implementation-initiative/issai-implementation-handbooks. Acesso em: 20 nov. 2018.        LEE, N.; LINGS, I. Doing business research. London: Sage, 2008.       LIMA, D.H. Responsabilização por desempenho e controle externo da Administração Pública. Revista do TCU. Brasília, n. 111, 2008.       MEDEIROS, M. Princípios de Justiça na Alocação de Recursos em Saúde. Texto para Discussão nº 687. Brasília: IPEA, 1999.       NATIONAL AUDIT OFFICE (NAO). Value for money: Handbook. London: NAO, 1997.       NATIONAL AUDIT OFFICE (NAO). Getting to the heart of the matter: how case studies can help. London: NAO, 1999.       NATIONAL AUDIT OFFICE (NAO). Quality matters. London: NAO, 2006.       NATIONAL AUDIT OFFICE (NAO). Writing Smart Recommendations. London: NAO, 2008.       PACIFIC ASSOCIATION OF SUPREME AUDIT INSTITUTIONS (PASAI). Performance Audit Manual. Nova Zelândia, 2011. Disponível em: https://static1.squarespace.com/static/57019a6db6aa607cbb909ab2/t/58dc36c2cd0f68bbacbdc24a/1490827021216/PASAI+Performance_Audit+Manual.pdf. Acesso em: 20 nov. 2018.        PATTON, M. Q. How to use qualitative methods in evaluation. Newbury Park: Sage, 1987.       POLLITT, C.; GIRRE, X.; LONSDALE, J.; MUL, R.; SUMMA, H.; WAERNESS, M. Performance or compliance? Performance audit and public management in five countries. Oxford University Press. Oxford, 2002.       RIBEIRO FILHO, J. F.; LOPES, J. E. G.; PEDERNEIRAS, M. M. M.; SILVA, A. J. M.; MULATINHO, C. E. S. Recomendações em auditoria operacional: uma prospecção de fragilidades, com base na inteligência competitiva. Rev. Adm. UFSM, Santa Maria, v. 3, n. 2, p. 191-204, mai./ago. 2010.       RIKSREVISIONEN. Riksrevisionens årsredovisning för 2019.  Stockholm, 2020. Disponível em: https://www.riksrevisionen.se/download/18.2d9a8f3c170390a94868d45b/1581947908969/%C3%A5rsredovisning%202019.pdf. Acesso em: 23 maio 2020.       ROAM, Dan. The back of the napkin: solving problems and selling ideas with pictures - Expanded ed. Penquin Group. New York, 2010.       TRIBUNAL DE CONTAS EUROPEU (TCE). Guidelines on Developing the Audit Objectives. Luxemburgo, 2013a. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/GUIDELINE_AUDIT_OBJECTIVES/Audit-objectives-Guideline-EN-Oct2013.pdf. Acesso em: 22 nov. 2018.       TRIBUNAL DE CONTAS EUROPEU (TCE). Guidelines on Issue Analysis and Drawing Conclusions. Luxemburgo, 2013b. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/GUIDELINE_ISSUE_ANALYSIS/IADC-Guideline-EN-Oct2013.pdf. Acesso em: 22 nov. 2018.       TRIBUNAL DE CONTAS EUROPEU (TCE). Avaliação de risco em auditorias operacionais. Tradução TCU. Luxemburgo, 2013c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/avaliacao-de-risco-em-auditoria-operacional.htm. Acesso em: 22 nov. 2018.       TRIBUNAL DE CONTAS EUROPEU (TCE). Manual da auditoria de resultados. Luxemburgo, 2017. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/PERF_AUDIT_MANUAL/PERF_AUDIT_MANUAL_PT.PDF. Acesso em: 22 nov. 2018.       TRIBUNAL DE CONTAS EUROPEU (TCE). As nossas atividades em 2019: Relatório de Atividades do Tribunal de Contas Europeu. Luxemburgo, 2020. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/AAR19/AAR19_PT.pdf. Acesso em: 25 maio 2020.      Apêndice A - Principais estratégias metodológicas utilizadas em auditoria operacional       Estudo de caso                                    É um método usado em auditoria para conhecer uma situação complexa, baseado em compreensão abrangente da situação, obtida a partir de sua ampla descrição e análise, considerada como um todo e no seu contexto (GAO, 1990). Situação complexa significa que muitos fatos podem influenciar os acontecimentos e que essas influências podem interagir não-linearmente, tornando difícil isolar os efeitos das variáveis sob estudo. Compreensão abrangente indica que os estudos de caso visam obter uma representação, a mais completa possível, do que está acontecendo e do porquê. Ampla descrição e análise envolve o emprego de informações ricas e completas, provenientes de várias fontes, particularmente de observações diretas. Ademais, a análise é ampla, comparando dados de diferentes tipos de fontes por meio de triangulação.                                 Estudos de caso são especialmente úteis quando é necessário entender uma situação específica em grande profundidade e onde é possível aprender muito a partir de uma pequena amostra do fenômeno em questão (PATTON, 1987) . A realização do estudo de caso justifica-se pela expectativa de que ele poderá auxiliar a compreensão de um fenômeno mais amplo, como a implementação de uma política pública, uma vez que pode servir para fornecer insights sobre o tema ou para descrever um contra exemplo para uma suposição sobre o funcionamento do objeto de auditoria.                                 Em auditoria operacional, os estudos de caso são frequentemente complementados por outras estratégias metodológicas, como a pesquisa.                                 As principais características do estudo de caso são:       a)    mais adequado para responder a questões normativas e descritivas;    b)    uso preferencial da abordagem qualitativa na coleta e análise de dados;    c)    não-utilização de amostragem probabilística;    d)    ênfase no aspecto qualitativo da informação, ainda que sejam coletados dados quantitativos;   e)    utilização de entrevistas não-estruturadas ou estruturadas com perguntas abertas;   f)     uso de observação direta;   g)    utilização de múltiplas fontes de dados;   h)    análise concomitante à coleta de dados.                                     A seleção dos casos a serem estudados é um aspecto crítico em estudo de caso. Os critérios de escolha estão relacionados ao tipo de questão que se pretende responder.       Quadro A1 - Seleção de estudo de caso                         Critério de seleção             Questões que podem ser respondidas                       Conveniência             Na situação selecionada, por facilitar a coleta de       dados, o que está acontecendo e por quê?                       Casos extremos             O que está acontecendo nos extremos de desempenho bom e ruim? O que explica tais diferenças?                       Casos extremos             Que circunstâncias são responsáveis pela eficácia e efetividade do programa?                       Piores casos             Por que o programa não está funcionando?                       Agrupamento             Como diferentes tipos de programas se comparam entre si?                       Caso Representativo             Em situações escolhidas para representar importantes variações, como se comporta o programa e por quê?                       Caso Típico             Em uma situação típica, o que está acontecendo e por quê?                       Interesse especial             Em uma situação especialmente relevante, o que está acontecendo e por quê?                       Probabilidade             O que está acontecendo no programa?               Fonte: GAO, 1990, p. 23.   Observação: o critério probabilístico escolhe casos aleatoriamente, contudo o estudo de caso não tem como objetivo realizar extrapolações estatísticas.                                        Porém, essa estratégia metodológica apresenta algumas limitações, quais sejam:       a)    não é usado, em geral, para responder a perguntas avaliativas ou de causa-e-efeito;   b)    pode ter custo elevado e necessitar de muito tempo para sua implementação;    c)    não permite generalizações estatísticas das conclusões alcançadas para o todo.       Pesquisa                                    Estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Os dados são coletados por meio da aplicação de questionários.                                 Com frequência, é utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Quando a pesquisa (também denominada survey)  for baseada em amostragem estatística, é possível generalizar as conclusões para toda a população.                                  A utilização de pesquisa em auditoria operacional permite:      a)    obter informações descritivas de uma população ampla;   b)    conhecer opiniões e pontos-de-vista dos beneficiários ou dos executores do programa;   c)    responder a questões avaliativas em situações particulares.                                As desvantagens normalmente apontadas para a pesquisa são a longa duração e a necessidade de conhecimentos em áreas específicas, como técnicas de amostragem, de elaboração de formulário de coleta de dados e tratamento estatístico de dados, entre outras.          Pesquisa documental                                A pesquisa documental abrange o exame de toda espécie de registros administrativos, inclusive estatísticas oficiais. Além de material produzido pela instituição auditada, são pesquisados relatórios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituições. Denomina-se pesquisa bibliográfica a que abrange a bibliografia tornada pública em relação ao tema de estudo.                              Ao se realizar pesquisa documental é necessário avaliar a confiabilidade das informações divulgadas, assim como determinar a natureza, localização e disponibilidade dos documentos no início da auditoria. Esses cuidados têm por objetivo garantir o melhor aproveitamento da informação ao menor custo possível e verificar a viabilidade de se responder às questões investigadas.          Delineamento experimental                                Na pesquisa experimental, busca-se verificar se um dado programa é a causa de determinado efeito. Para tanto, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais etc.): 1) o grupo experimental ou de tratamento, que será exposto ao programa; 2) o grupo de controle, que não será exposto.                              As diferenças observadas nos resultados obtidos por esses grupos poderão ser atribuídas à presença do programa. O procedimento, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randômica ou aleatória. Isso visa fortalecer a conclusão sobre o vínculo causal, garantindo que a maioria dos fatores não manipulados pelo programa e que poderiam influenciar os seus resultados está uniformemente distribuída entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenças observadas.                              Em relação aos momentos nos quais as variáveis selecionadas são mensuradas, os experimentos podem adotar pré e pós-testes ou apenas pós-testes. Isto é, a mensuração é realizada antes e depois da implementação do programa ou apenas depois (Quadro ) .      Quadro A2 - Delineamento experimental                         Grupos             Períodos de mensuração                       Designação             Pré             Implementação             Pós                       Com pré e pós-testes                       De tratamento             R             O             X             O                       De controle             R             O             -             O                       Apenas com pós-teste                       De tratamento             R             -             X             O                       De controle             R             -             -             O               Fonte: Fitz-Gibbon e Morris (1987, p. 56).   Notação:  R - designação randômica;    X - programa ou tratamento;    O - teste de mensuração.                                    Em que pese o delineamento experimental ser a estratégia metodológica mais robusta no trato de questões que envolvem inferência causal em questões avaliativas,  dificilmente pode ser aplicado por entidades de fiscalização, uma vez que a seleção randômica requer controle sobre o processo de seleção dos participantes do programa auditado, o que, em geral, é uma prerrogativa da gestão. Mesmo assim, essa estratégia deve ser conhecida pelas equipes, pois funciona como uma referência crítica para avaliar as limitações das inferências causais apontadas por outras estratégias.          Delineamento quase-experimental                                A realização da pesquisa experimental envolve dificuldades de ordem tanto prática, como anteriormente comentado, quanto ética. Por exemplo, excluir do programa um grupo de beneficiários em potencial para que operem como grupo de controle pode não ser eticamente defensável. Dessa forma, a pesquisa quase-experimental apresenta-se como estratégia metodológica alternativa.                              Neste tipo de pesquisa não há randomização, os grupos de comparação são selecionados com base na disponibilidade e na oportunidade. As estratégias utilizadas nesses casos são menos robustas do que a pesquisa experimental. Quanto maiores forem as diferenças iniciais entre os grupos de tratamento e de controle, mais ambíguas serão as conclusões alcançadas. Para minimizar esse problema, deve-se procurar selecionar grupos que sejam tão equivalentes quanto possível, ou seja, grupos que possam ser comparados. Para se garantir a equivalência entre os grupos, é essencial aplicar um pré-teste, destinado a verificar as diferenças preexistentes e, dessa forma, permitir a interpretação e o controle dos resultados.                              Os delineamentos quase-experimentais mais citados são:      a)    grupos não-equivalentes com pré e pós-testes;   b)    séries temporais com grupo de controle;   c)    séries temporais sem grupo de controle.                                No primeiro caso (grupos não-equivalentes com pré e pós-testes), o delineamento tem as mesmas características de um delineamento experimental, exceto pelo fato de que os grupos não são equivalentes, ou seja, os grupos não foram formados por designação randômica  (Quadro A3) . Nesse caso, o pré-teste é essencial para verificar se, inicialmente, os grupos de controle e de tratamento são equivalentes.                             A limitação desse modelo é que a seleção dos grupos equivalentes pressupõe o conhecimento de todas as variáveis relevantes que podem influenciar o resultado do programa, o que, por sua vez, é o objetivo da investigação. O diagrama para esse delineamento está indicado a seguir.      Quadro A3 - Delineamento quase-experimental com grupos não-equivalentes com pré e pós-testes                         Grupos             Períodos de mensuração                       Designação             Pré             Implementação             Pós                       De tratamento             D             O             X             O                       De controle             D             O             -             O               Fonte: Fitz-Gibbon e Morris  (1987, p. 58).   Notação:  D - designação não randômica;    X - programa ou tratamento;    O - teste de mensuração.       Delineamento não-experimental                                Muitas vezes é impossível utilizar até mesmo modelos quase-experimentais. A fragilidade inerente a esse tipo de pesquisa é o fato de que não há controle sobre explicações alternativas, ou seja, as mudanças observadas podem ter sido causadas por variáveis não associadas ao programa.                              Os delineamentos não-experimentais mais comumente empregados são:      a)    antes-e-depois;   b)    somente depois com grupo de comparação.                                A característica do delineamento do tipo antes-e-depois é trabalhar apenas com a população-alvo do programa, realizando duas medições, uma antes e outra após a implementação do programa (Quadro A4) . Uma vez que há apenas um grupo a ser monitorado, deve-se buscar o maior número possível de informações, além de uma descrição detalhada do programa, de suas características operacionais e das suas bases teóricas. Outra maneira de minimizar as limitações desse delineamento é separar as informações por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes características. Dessa forma, é possível saber para que tipo de unidade o programa parece funcionar melhor ou pior.                             O delineamento "somente depois, com grupo de comparação" consiste em realizar apenas uma medição após a implementação do programa e compará-la com informações de um grupo não coberto pelo programa, cuja população deve ser tão similar aos beneficiários do programa a ser avaliado quanto possível  (Quadro ) . Uma vez que nesse caso não é possível dispor de dados de um pré-teste, como no caso do delineamento quase-experimental, torna-se especialmente difícil distinguir as diferenças preexistentes daquelas derivadas da implementação do programa.      Quadro A4 - Delineamento não-experimental                         Grupos             Períodos de mensuração                       Designação             Pré             Implementação             Pós                       Antes e depois                       De tratamento             -             O             X             O                       Somente depois, com grupo de comparação                       De tratamento             D             -             X             O                       De controle             D             -             -             O               Fonte: Fitz-Gibbon e Morris (1987, p. 62).   Notação:  D - designação não randômica;    X - programa ou tratamento;    O - teste de mensuração.                                Quando a coleta de dados é executada adequadamente, delineamentos não-experimentais podem oferecer informações valiosas sobre o programa. Entretanto, apresentam limitações consideráveis quando o objetivo é determinar em que medida os resultados observados podem ser a ele atribuídos. Assim, quando se tratar de uma avaliação de programa, essas pesquisas devem ser realizadas em conjunto com outras estratégias metodológicas.      Lista de ilustrações       Figura 1 - Estrutura de pronunciamentos profissionais da Intosai   Figura 2 - Diagrama das principais dimensões de desempenho em auditoria operacional   Figura 3 - Diagrama conceitual da auditoria do setor público   Figura 4 - Ciclo de auditoria operacional   Figura 5 - Atividades de planejamento de auditoria operacional   Figura 6 - Perguntas que ajudam a definir o escopo da auditoria   Figura 7 - Hierarquia de questões e subquestões   Figura 8 - Lógica conceitual do relatório de auditoria operacional      Quadro 1 - Características das auditorias de conformidade, operacional e financeira   Quadro 2 - Controle de qualidade e asseguração de qualidade em auditoria   Quadro 3 - Características de bons papéis de trabalho   Quadro 4 - Técnicas mais usadas na etapa de planejamento   Quadro 5 - Exemplos de objetivos de auditoria   Quadro 6 - Princípios para decompor a questão de auditoria   Quadro 7 - Modelo de matriz de planejamento   Quadro 8 - Exemplo de achado de auditoria   Quadro 9 - Correspondência entre tipo de evidência e técnicas de coleta de dados   Quadro 10 - Modelo de matriz de achados   Quadro 11 - Características de redação para elaboração do relatório de auditoria   Quadro 12 - Estrutura do relatório de auditoria operacional   Quadro 13 - Cuidados a serem adotados para a proposição de deliberações   Quadro 14 - Modelo de plano de ação         Lista de siglas   ABNT - Associação Brasileira de Normas Técnicas   AO - Auditoria Operacional   DVR - Diagrama de Verificação de Risco   EFS - Entidades Fiscalizadoras Superiores   FIPP - Fórum para Pronunciamentos Profissionais da INTOSAI (Forum for INTOSAI Professional Pronouncements)    GAO - Government Accountability Office (EFS dos Estados Unidos da América)    IDI - Iniciativa de Desenvolvimento da INTOSAI (INTOSAI Development Initiative)    IFPP - Marco Internacional para Pronunciamentos Profissionais (International Framework for Professional Pronouncements)    Incosai - Congresso Internacional da Organização Internacional de Entidades Fiscalizadoras Superiores (International Congress of the International Organization of the Supreme Audit Institutions)    INTOSAI - Organização Internacional de Entidades Fiscalizadoras Superiores (International Organisation of Supreme Audit Institutions)    ISSAI - Normas Internacionais das Entidades Fiscalizadoras Superiores (International Standards of Supreme Audit Institutions)    MAO - Manual de Auditoria Operacional   NAO - National Audit Office (EFS do Reino Unido)    RECI - Análise para identificar quem é Responsável, quem Executa, quem é Consultado e quem é Informado   SEGECEX - Secretaria Geral de Controle Externo   SWOT - Análise para identificar Forças, Fraquezas, Oportunidades e Ameaças (do inglês: Strengths, Weaknesses, Opportunities, Threats)    TCE - Tribunal de Contas Europeu   TCU - Tribunal de Contas da União            1                     [1] Em inglês, performance audit. No TCU, chamada de auditoria operacional. Em outros países, também é conhecida como auditoria de gestão, de desempenho, operativa, value for money.       [2] O Instituto Rui Barbosa - IRB é uma associação civil criadas pelos Tribunais de Contas do Brasil em 1973 com o objetivo de auxiliar os Tribunais no desenvolvimento e aperfeiçoamento das atividades dos Tribunais de Contas (https://irbcontas.org.br/sobre-o-irb/, acesso em 21/10/2020) .       [3] A definição de auditoria operacional na ISSAI 3000/17 usa o termo em inglês effectiveness, que abrange dois conceitos diferentes em língua portuguesa: eficácia (conceito relacionado ao grau de alcance das metas programadas em termos de produtos) e efetividade (conceito relacionado aos impactos).         [4] Os documentos principais que compõem o planejamento são a estratégia global de auditoria e o plano de auditoria. O programa de auditoria (NAT, 96-97) é parte do plano de auditoria, detalha os procedimentos e é sintetizado na matriz de planejamento.        [5] O devido zelo é mencionado como um dos princípios gerais de auditoria do setor público pela ISSAI 100/37, junto com o julgamento profissional e o ceticismo profissional, no mesmo subtítulo. A ISSAI 300/31 menciona o devido zelo no mesmo contexto que a ISSAI 100, mas não o destaca como um dos princípios de auditoria operacional. As NAT apenas mencionam o zelo, sem defini-lo. Devido zelo significa que o auditor deve planejar e executar auditorias de uma maneira diligente. Os auditores devem evitar qualquer conduta que possa desacreditar seu trabalho (ISSAI 100/37) .       [6] Em inglês, quality assurance. As NAT usam a expressão "garantia de qualidade" e outros documentos sobre o tema podem usar "avaliação de qualidade".       [7] A indexação e a referência cruzada são boas práticas de auditoria. Na indexação, toda a documentação de suporte e papeis de trabalho, sejam eletrônicos ou impressos, devem receber na primeira página um código alinhado com a lista/sumário desses documentos e papeis de trabalho.   A referência cruzada é o registro nos papeis de trabalho e, principalmente em versão específica do relatório, dos códigos que identificam a documentação e os papeis de trabalho que suportam as análises, evidências e achados   Indexação e referência cruzada devem permitir a identificação e acesso rápido a todas as evidências de auditoria em caso de questionamento, mas também para tornar mais eficiente a supervisão e a asseguração de qualidade.       [8] Os objetos de auditoria operacional têm cada vez mais essas características. Para lidar com essas complexidades, pode ser necessário usar conhecimentos e ferramentas específicas, como Fragmentação, Superposição e Duplicação, e Enfoque Integrado de Governo. Mais informações sobre esses temas na seção 4.4.1 deste manual.       [9] Nas Orientações para Seleção de Objetos e Ações de Controle (BRASIL, 2016a), situação-problema é definida como um conjunto de condições ou circunstâncias que produzem ou podem vir a produzir consequências de natureza econômica, social e ambiental que afetam a sociedade e que se encontra no âmbito da atuação governamental.       [10] A Agenda 2030 contém os dezessete Objetivos de Desenvolvimento Sustentável (ODS), que estabelecem objetivos quantitativos e qualitativos nas dimensões sociais, econômicas e ambientais, a serem atingidos pelos países-membros da ONU até 2030.        [11] NAT 139. Manuais, padrões e normas mais específicos podem restringir ou estabelecer que outros elementos sejam relatados na apresentação dos achados, conforme a natureza das auditorias, os seus objetos e as suas finalidades mais comuns.       [12] NAT 141. (...) Nesse tipo de auditoria, dependendo do tipo de questão de auditoria, nem sempre é possível identificar causas, mas o ponto crucial do relatório é a análise das evidências, que devem ser apresentadas de forma lógica, articulada e com ilustrações que facilitem a compreensão da situação encontrada.       [13] Por ocasião da elaboração deste manual, o TCU estava implementando inovações no processo de monitoramento, bem como soluções tecnológicas em apoio ao processo de trabalho. Em razão dessas mudanças, esta seção remete os detalhes processuais e procedimentais aos documentos específicos.       [14] "Excepcionalmente, no caso de situações em que a implementação das providências imediatas necessárias para prevenir ou corrigir irregularidade, ou remover seus efeitos, não seja factível, a unidade técnica instrutiva poderá propor determinação, desde que devidamente fundamentadas as razões que justifiquem a necessidade da adoção da medida e consideradas as razões apresentadas pelo gestor ..." (§ 3º, art. 7º da Res. TCU 315/2020) .       [15] "Deve-se propor o monitoramento das recomendações expedidas em processos de auditoria operacional." (item 9, Parte IV, do anexo único à Portaria-Segecex 9/2020, alterada pela Portaria-Segecex 12/2020) .  ]