Competência segundo métricas de produtividade: Uma análise e consequências
Autor: democraciaetransparencia | Publicado: 2011-09-24T14:04:00-03:00




Prof. Dr. Otávio Augusto S. Carpinteiro
Universidade Federal de Itajubá, MG

Palestra apresentada na Mesa Redonda “Políticas de Ciência e Tecnologia: Reflexão sobre as atuais políticas de C&amp;T implementadas pelas agências de fomento”, na Universidade Federal de Goiás, Goiânia, em 13 de julho de 2011

Se comparássemos as duas imagens da Figura 1, certamente julgaríamos que o corredor da esquerda venceria 100 metros em um tempo inferior ao do corredor da direita. Por que julgamos desta forma se não há qualquer informação a respeito da competência de ambos os corredores?

Figura 1: extraída da apresentação do Prof. Dr. Jozimar P. Almeida (Universidade Estadual de Londrina, PR), Fórum Jovem Cientista, Rio de Janeiro, RJ





A razão é simples. O corredor da esquerda possui bem mais recursos que o corredor da direita. Assim, mesmo que o corredor da direita seja o mais competente dos dois, o corredor da esquerda certamente apresentará maior produtividade, ou seja, vencerá os 100 metros em um tempo inferior, posto que seus recursos são maiores.

Esta relação entre competência e produtividade é bem conhecida. A competência é diretamente proporcional à produtividade e inversamente proporcional aos recursos utilizados na produção. Como bem diz o adágio popular, “competente é o que produz mais com menos”. Portanto, a produtividade não depende exclusivamente da competência, mas também (e fortemente) dos recursos disponíveis para a produção. Assim, P = C x R, onde P é a produtividade, C, a competência e R são os recursos1.

Uma outra questão relevante, decorrente ainda da observação da Figura 1, é que não é possível medir-se competência através de métricas de produtividade quando os recursos disponíveis aos indivíduos são diferentes. Quando os recursos são diferentes, para medir-se competência, devem ser usadas métricas que meçam competência e não métricas que meçam produtividade. Em verdade, como analogia, seria bem incomum alguém medir a altura de um grupo de indivíduos e depois concluir que os que ficaram nas primeiras posições são os mais pesados.

As agências de fomento (CNPq, Capes, FAPs) definem, porém, uma outra relação entre competência e produtividade, bem diversa daquela estabelecida pelo senso comum. Para as agências de fomento, a competência C = P, onde a produtividade P é dada essencialmente pela quantidade de artigos produzidos. De fato, as agências de fomento têm como política considerar como mais competentes os que produzem mais artigos científicos.

Há, porém, dois sérios problemas nesta política. Primeiro, porque ela desmerece as demais e igualmente importantes competências de um professor, como, por exemplo, dar uma ótima aula, formar bem as gerações futuras (dever precípuo da atividade docente) e participar de atividades de extensão, de coordenação e administrativas. Acaso alguma agência de fomento concede Bolsas de Produtividade em Ensino, ou Bolsas de Produtividade em Extensão, ou ainda Bolsas de Produtividade em Atividades Administrativas, para compensar as Bolsas de Produtividade em Pesquisa concedidas pelo CNPq?

Segundo, porque esta política, que estabelece uma nova (e inédita) relação entre competência e produtividade (C = P), não leva em consideração os recursos disponíveis para a produção. Desconsidera o fato de que as condições de trabalho (recursos humanos e de infra-estrutura para pesquisa) têm forte impacto na produção de artigos científicos.

É interessante notar que as agências de fomento não usaram esta política décadas atrás, quando todos os atuais grandes centros de pesquisa do país eram bem pequenos centros2. Desconsiderando os recursos para a pesquisa, as agências poderiam ter comparado, na época, a produtividade destes pequenos centros e de seus pesquisadores com a produtividade dos grandes centros de pesquisa internacionais e de seus pesquisadores. Certamente, por esta política atual, as agências teriam concluído, na época, que os pesquisadores nacionais eram incompetentes, bem como os centros onde atuavam. Felizmente, prevaleceu o senso comum e, diferentemente do que ocorre hoje em dia, elas compreenderam, na época, que deveriam levar em consideração a grande diferença de recursos disponíveis para os pesquisadores e centros nacionais em relação aos disponíveis para os pesquisadores e centros internacionais. Financiaram, assim, fortemente, os pequenos centros de então, dando-lhes condições de se tornarem, hoje em dia, grandes centros de pesquisa.

A política das agências de fomento estabelece a Bolsa de Produtividade em Pesquisa (Bolsa PQ) do CNPq como métrica para medir a competência dos professores e pesquisadores nacionais. Bolsistas PQ-1A são mais competentes que bolsistas PQ-1B, que, por sua vez, são mais competentes que bolsistas PQ-1C e assim, por diante, até os bolsistas PQ-2, que seriam mais competentes que os não-bolsistas.

Em princípio, é interessante notar que as Bolsas de Produtividade em Pesquisa não são Bolsas de Competência em Pesquisa. As métricas utilizadas para decidir sobre sua concessão não são métricas que meçam competência em pesquisa, mas, como o próprio nome delas indica, são métricas que medem produtividade em pesquisa. Assim, obviamente, ganham estas bolsas os professores/pesquisadores que têm mais recursos humanos e financeiros em seus centros de pesquisa. De fato, ao analisar os bolsistas PQ nível 1 na área de computação, em janeiro de 2010, verifica-se que há três professores/pesquisadores vinculados a programas de pós-graduação de grandes centros, três pertencentes a centros com mestrado desde 2002, 2000 e 1999 e os demais cento e três, pertencentes a grandes centros de pesquisa, com programas de mestrado e doutorado em computação consolidados há décadas.

Ser pesquisador 1 do CNPq traz grandes vantagens. Primeiro, ganham o direito de poder ser membros do Comitê Deliberativo (de estabelecer políticas de fomento em C&amp;T) e de poder ser membros dos Comitês Assessores  (de julgar e de decidir quem ganha os recursos de C&amp;T) do CNPq. Segundo, só eles podem ser eleitos membros e só eles podem eleger os membros dos Comitês Assessores do CNPq. Assim, os Comitês Assessores são, em verdade, Comitês Oligárquicos. São Comitês que não têm por base, portanto, em sua constituição, nem a competência, posto que seus membros são alçados a estas posições devido à produtividade, nem os princípios democráticos. Terceiro, é deles o poder de estabelecer os critérios para classificação de programas de pós-graduação (na Capes), revistas científicas (na Capes), projetos de pesquisa (CNPq) e eventos científicos (CNPq). Assim, a política das agências de fomento incentiva a concentração dos recursos nos consolidados e tradicionais centros de pesquisa, consolidando uma distribuição de recursos desigual e equivocada no país.

A Fundação de Amparo à Pesquisa do Estado de Minas Gerais (Fapemig) segue, fielmente, esta política. Nas avaliações das propostas submetidas aos Editais de Pesquisador Mineiro, por exemplo, o projeto da proposta vale apenas 40 pontos. Os demais 60 pontos são destinados a avaliação da produtividade (produção científica) do pesquisador. Ademais, nas avaliações das propostas submetidas aos demais Editais, pesquisadores bolsistas de Produtividade em Pesquisa do CNPq recebem pontuação extra, devido a suas produtividades.

A Capes, por sua vez, almeja “estabelecer o padrão de qualidade exigido dos cursos de mestrado e de doutorado e identificar os cursos que atendem a tal padrão”3. Falha, no entanto, em alcançar tal objetivo. Falha por uma razão muito simples ― como é possível a ela avaliar qualidade, competência dos programas se o documento de área, documento utilizado para avaliar os programas de pós-graduação, só possui métricas de produtividade?

Uma das métricas do documento de área da ciência da computação, por exemplo, é conceder pontuação extra aos programas pela quantidade de bolsistas de produtividade em pesquisa que possuem. Uma outra métrica, de grande valor na avaliação, é dada pela produtividade média dos professores dos programas. Esta métrica é calculada pela equação P = NP / ND, onde P é a produtividade média dos professores de um programa, NP é um valor ponderado, baseado no número de publicações obtidas pelo programa, e ND é o número de docentes do programa.

Esta equação leva a situações interessantes. Por exemplo, seja um professor A, de um programa de pós-graduação consolidado, de um grande centro de pesquisa, que possua oito orientados, dentre alunos de mestrado e de doutorado, e seja um professor B, de um programa de pós-graduação recente, de um pequeno centro de pesquisa, que possua um único aluno orientado de mestrado. Se o professor A conseguir, com seus oito orientados, quatro publicações qualificadas e o professor B conseguir, com seu único orientado, uma publicação qualificada, surgirá uma situação bem interessante ― o professor mais produtivo, no caso o professor A, com quatro publicações, não é o professor mais competente, posto que obteve uma relação “número de publicações / número de alunos” inferior a do professor B.

Não seria, então, mais sensato e apropriado usar-se como métrica a competência média dos professores dos programas? Esta métrica poderia ser calculada, por exemplo, pela equação C = NP / (ND + NAM + NAD), onde C é a competência média dos professores de um programa, NP é um valor ponderado, baseado no número de publicações obtidas pelo programa, ND é o número de docentes do programa, NAM, o número de alunos de mestrado do programa e NAD, o número de alunos de doutorado do programa.

De fato, a Tabela 1 apresenta a classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela produtividade média dos professores dos programas, tal como realizada pela Capes. Os dados da tabela indicam o que é esperado. Os programas classificados pela Capes nos níveis superiores (5, 6 e 7), com grandes recursos humanos e de infra-estrutura, são, obviamente, os programas mais produtivos.

Tabela 1- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela produtividade média dos professores dos programas ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado





As Tabelas 2 e 3 apresentam a classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas. A Tabela 2, para cálculo do NP, utiliza as publicações do Qualis A1 ao B5. A Tabela 3, somente as do Qualis A1, A2 e B1. Os dados das tabelas indicam que os programas de níveis superiores (5, 6 e 7) não apresentam maior competência que os programas de níveis inferiores (3 e 4).

Tabela 2- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas (cálculo do NP dado pelas publicações do Qualis A1 ao B5) ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado






Tabela 3- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas (cálculo do NP dado pelas publicações do Qualis A1, A2 e B1) ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado





É importante ressaltar que os dados utilizados para os cálculos das três tabelas foram todos fornecidos pela própria Capes, em seu portal na Internet.

É interessante, nesta análise, uma declaração dada pelo professor Jorge Almeida Guimarães, presidente da Capes, ao JC e-mail. O professor “defende o descredenciamento de mestrados e doutorados que tirem nota 3, considerada regular, em três avaliações trienais consecutivas  ...  ou muda ou vai fechar”4. À luz das Tabelas 2 e 3, o que seria mudar, então, para os programas de pós-graduação de nível 3? seria tornarem-se menos competentes do que os programas classificados pela Capes nos maiores níveis? ou seria tornarem-se ainda mais competentes que estes?

As consequências das políticas empregadas pelas agências de fomento, políticas estas baseadas em produtividade e não em competência, são muito sérias. Primeiro, retiram dos pesquisadores dos pequenos centros e dos próprios pequenos centros o que, por competência e direito, lhes é devido. Segundo, desestimulam fortemente a migração de professores/pesquisadores para os centros menos desenvolvidos do país e a permanência deles nestes centros. Terceiro, afetam seriamente o desenvolvimento social e econômico dos municípios que abrigam os pequenos centros. Quarto, prejudicam o desenvolvimento uniforme do país.

Um Segundo Manifesto aos Órgãos de Ciência e Tecnologia está disponível na Internet5. Foi escrito por um grupo de professores/pesquisadores que, já há anos, vem denunciando estas políticas prejudiciais ao desenvolvimento da ciência e tecnologia no país. O Manifesto detalha com maior profundidade os temas aqui abordados. Será encaminhado à Fapemig, SecCT-MG, Governo-MG, CNPq, Capes, MCT, MEC, Presidência da República e a alguns políticos voltados à área de educação. Apoios ao Manifesto, através de assinaturas, são bem-vindos!

Por fim, gostaria de deixar meu agradecimento à Prof. Giselle Ottoni (UFG), ao Prof. Juarez P. de Oliveira Jr. (UFG), à APUBH e à ADUFG.


Notas

1- Uma constante α pode ser incluída no lado direito da equação.
2- A definição do que é um grande centro e um pequeno centro de pesquisa em uma área do conhecimento está mencionada no artigo “As políticas equivocadas de nossas agências de fomento”, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/2009/09/as-politicas-equivocadas-de-nossas.html.
3- CAPES ― Avaliação da pós-graduação, disponível em http://www.capes.gov.br/avaliacao/avaliacao-da-pos-graduacao.
4- “Capes deve descredenciar cursos com avaliação ruim”, JC e-mail 4189, de 31 de Janeiro de 2011, disponível em http://www.jornaldaciencia.org.br/Detalhe.jsp?id=76170.
5- “Segundo Manifesto aos Órgãos de Ciência e Tecnologia”, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/2010/10/segundo-manifesto-nacional-aos-orgaos.html.