JORNAL INTERCOM
Jornal semanal da Sociedade Brasileira de Estudos Interdisciplinares da Comunicação
Ano 3, nº. 79, São Paulo – SP – Brasil 09 de novembro de 2007

	Sumário desta edição Outras edições

Fórum

Pós-graduação em Comunicação: avaliação da Capes suscita polêmica

A cada 3 anos, a Capes, agência do governo federal encarregada de credenciar e avaliar os cursos de pós-graduação no país, publica os resultados da avaliação naquele período. A finalidade é sinalizar sobre a qualidade do ensino e da pesquisa em cada área do conhecimento.

Os resultados suscitam natural polêmica na comunidade acadêmica, em função dos critérios adotados, dos procedimentos empregados e dos resultados propriamente ditos.

A propósito da avaliação da área de Comunicação, circularam na internet, na última semana, várias manifestações que tomamos a liberdade de reproduzir, reafirmando que este espaço continua aberto para novas considerações.

Reunimos aqui as idéias esboçadas por Juremir Machado da Silva (PUCRS), Paulo Vaz (UFRJ) e Alex Primo (UFRGS).

Avaliar produção e não procedimentos

Por Juremir Machado da Silva (PUCRS)

Depois que a Capes liberou na internet os dados de produção de todos os programas, resolvi fazer uma reflexão mais pausada sobre a avaliação.

Muito se avançou e parabenizo Marcius Freire por isso. Mas há problemas que precisam ser discutidos.

A avaliação deveria privilegiar Produção e não procedimentos. Não foi exatamente assim. Apresento alguns comentários, tendo a convicção de que tudo foi feito com a melhor das intenções, mas gerando alguns efeitos perversos:

A) Em Brasília, em nossa última reunião com nosso representante de área, votamos uma ficha de "Critérios p/Atribuição de Notas 6 e 7 para Mestrado e Doutorado Acadêmico". Os programas que tivessem nota 5 seriam submetidos a essa ficha à parte para ver se deveriam subir para 6 ou 7.

Dos 5 quesitos propostos pela Capes, estabelecemos os seguintes pesos para a formação da nota:

1 - Nível de qualificação de produção e de desempenho equivalente ao dos centros internacionais de excelência na formação de recursos humanos: 20%

2 - Consolidação e liderança nacional do programa como formador de recursos humanos para pesquisa e pós-graduação: 30%

3 - Inserção e impacto regional e nacional do programa; integração e solidariedade com outros programas com vistas ao desenvolvimento da pesquisa e da pós-graduação e visibilidade ou transparência dada a sua atuação: 10%

4 - Homogeneidade na distribuição das atividades do programa: 0%

5 - Inserção internacional: integração com centros internacionais: 40%

OBS: não consigo enxergar de que maneira essa tabela foi aplicada aos programas que tiraram cinco. Fico com a impressão de que isso não foi feito.

B) Sobre a objetividade da avaliação e sobre o que é definido pela Capes ou pela própria área: 1 - Tem-se tentado dizer que a avaliação é quase matemática (objetiva, um cálculo feito pelo computador) ou que é a Capes que quer deste ou daquele jeito. Não é bem assim.

A margem de manobra da área é bastante grande e o espaço para a subjetividade também. O desenho da área é obviamente feito pela área (critérios de pertinência, o que é comunicação - centrada em estudos midiáticos -, avaliação de projetos considerados com bem recortados ou amplos de acordo com a perspectiva do avaliador), definição do que é pertinente a uma linha de pesquisa ou não (com um viés bastante engessado), definição das faixas "muito bom", "bom", "regular" ou "fraco" da produção intelectual (embora os números sejam decorrentes da produção dos programas, a separação das faixas permanece uma definição em aberto e houve a introdução de uma nova fórmula de cálculo). A subjetividade atinge também a avaliação da "proposta do programa", a qual, embora ou felizmente não valendo nota, revela a inclinação dos avaliadores por um tipo de recorte, legítimo, mas um entre outros possíveis.

C) Cálculo da média da produção. Esse foi o grande problema. Introduziu-se um cálculo jamais aprovado ou votado pela área, o que acabou por favorecer programas menos produtivos em relação a programas mais produtivos em números absolutos. Em vez de dividir pelo números de anos da avaliação (3), dividiu-se pela média de produção de cada programa. A simples soma dos pontos já é qualificada, pois cada publicação soma pontos conforme sua posição no Qualis. Aplicar um novo elemento de qualificação produz um efeito perverso favorável a quem publicou menos. O mesmo ocorre com os fatores redutores para quem publicou em periódicos do próprio programa. Já existe um limite de 30%. O redutor é uma dupla limitação que desestimula manter periódicos, pois isso só serve para dar pontos aos concorrentes, que, não tendo periódicos ou deixando-os desatualizados, não dão pontos aos outros. Um sistema baseado em publicações precisa valorizar quem garante o suporte para publicações. Ter revistas ou manter seminários internacionais é mais importante do que valorizar arquiteturas artificiais e subjetivas de correspondência entre títulos de linhas de pesquisas e de teses e dissertações.

OBS: Paulo Vaz tem uma interessante tabela sobre a posição de cada programa de acordo com a fórmula (a tradicional ou a ad hoc) de cálculo aplicada. As Peço-lhe que a divulgue nesta lista. Com a fórmula normal e a valorização plena da produção poderia ter havido, por hipótese, queda de programas e quem sabe até programa com seis.

Subjetividade excessiva na avaliação

Por Paulo Vaz (UFRJ)

Segue abaixo a tabela a que o Juremir se referia. Tomei como base a planilha comparativa que a Capes divulgou na sexta passada para facilitar a redação dos recursos feitos por programas que desejam rever suas notas. Quem quiser ter acesso à planilha completa, basta ir à página da CAPES e procurar o link “planilhas comparativas da avaliação” no interior do item “avaliação”. (...) nela, além de dados sobre formação de mestres e doutores, consta o número de artigos segundo suas categorias (Internacional A, B e C; Nacional A, B e C, Local) e o número de livros, capítulos e coletâneas de cada programa.

Essa tabela, ordenada segundo a média da produção, é um cálculo aproximado e não reflete o resultado que a comissão de área conferiu a cada programa, na medida em que segui o método tradicional, anterior, dividindo o total da produção pelo número de professores e, depois, dividindo pelo número de anos. O cálculo é aproximado porque não sei o que a Comissão de Área considerou como produção pertinente ou não à Comunicação, assim como não sei se nos livros e capítulos de livros enumerados na planilha já há ou não uma diferenciação segundo a origem da produção, se nacional ou internacional. Embora aproximado, dá uma idéia razoável do que cada programa fez no triênio. Para não aumentar meu trabalho, só considerei os programas que tiveram produção ao longo de todo o triênio.

Acompanhando o que disse o Juremir, tenho uma observação sobre o problema da subjetividade excessiva na avaliação, especialmente aquela que decorre do juízo dos membros da Comissão de Área sobre o item “proposta do programa”, na medida em que reverbera sobre os outros itens. Nas reuniões de Agosto de 2006 e Abril de 2007, onde os coordenadores de programas discutiram os critérios de avaliação da área, duas idéias básicas foram relativamente consensuais: os novos critérios privilegiariam os resultados ao invés de características estruturais e tenderiam a minimizar o elemento de subjetividade na avaliação, o que implica, em última instância, a dar legitimidade a outras instâncias de avaliação da área no seu funcionamento cotidiano, como comitês editoriais de revistas ou pareceristas anônimos de instituições de fomento.

Infelizmente, essas duas idéias não encontraram uma concretização adequada nessa última avaliação. Darei um exemplo, necessariamente paroquial, pois por enquanto só tive acesso ao relatório do meu programa. Na reunião de abril onde foram discutidos os critérios de área, como muitos devem recordar, foi aprovado por ampla maioria que o sub-item “projeto de pesquisa” do item corpo docente seria julgado segundo o que o próprio CTC havia recomendado: a capacidade dos projetos de pesquisa do corpo docente conseguirem financiamento. Foram votadas faixas a partir da qual um corpo docente receberia as avaliações “muito bom”, “bom”, “regular”, etc. Se não me falha a memória, começava com o percentual de 40%. Esse critério, porém, nem apareceu no documento de área, nem foi utilizado durante o julgamento. Ao contrário, prevaleceu o juízo dos pareceristas da Comissão de Área (juízo feito a partir de um resumo) sobre a adequação dos projetos às linhas de pesquisa (reverberação do item “proposta de programa” no item ‘corpo docente”) e sobre se seu descritivo era “impreciso ou abrangente demais” e se os objetos empíricos estavam “bem recortados e com detalhamento adequado dos procedimentos metodológicos”. Pois bem, a Comissão de Área julgou que 9 projetos dos nossos professores eram abrangentes demais ou tinham formulação imprecisa; desses 9, porém, 6 recebem bolsas de pesquisa do CNPq na área de Comunicação, 1 recebe bolsa de pesquisa nível 1A na área de Letras e 1 outro teve bolsa de pesquisa nível 1A na área de Comunicação durante dois anos do triênio – de fato, apenas 1 dos 9 não recebeu nenhuma bolsa de pesquisa do CNPq, embora tenha sido a base para a obtenção de um bolsa de pós-doutorado da CAPES. Outros dois projetos foram avaliados como não tendo clareza suficiente na definição do objeto empírico e na metodologia de análise dos dados; o curioso, mais uma vez, é que esses outros dois projetos recebem bolsa de pesquisa do CNPq. Temos, assim, um caso claro onde o juízo da Comissão de Área desconsiderou a recomendação do CTC sobre como deveria ser avaliado o subitem “projeto de pesquisa”, desconsiderou o critério aprovado na reunião de Abril e não deu legitimidade a uma outra instância importante de avaliação da área, que é o CNPq. Pela prevalência desse elemento subjetivo na avaliação, a ECO recebeu um conceito “bom” nesse subitem e, em decorrência, apenas “bom” em corpo docente.

Desculpem a irritação com o que considero injustiça ao meu programa; sei também que uma avaliação inevitavelmente deixará vários programas se sentindo injustiçados. Contudo, é preciso ter clareza que os critérios de avaliação formam a base a partir da qual os programas se ordenam e se propõem objetivos; mais radicalmente, sua existência é modo de a área se fortalecer. Para quem quiser, tenho outra tabela com os dados da produção científica do triênio anterior; comparando o triênio 2001-2003 com o atual, vê-se que todos os programas ampliaram significativamente tanto a média de artigos por ano, quanto o valor total da produção, isso é, os programas acataram as regras e se organizaram para melhorar seu conceito. O resultado foi um incremento significativo da produção científica. Pelo seu papel fundamental na consolidação da área, os critérios precisam ser debatidos ampla e democraticamente.

Evitar distorções

Por Alex Primo (UFRGS)

Todos reconhecemos a importância da avaliação e da atribuição de notas aos programas e o impacto desse processo no desenvolvimento do sistema de pós-graduação do país. Também reconhecemos a relevância da dinâmica de discussões nas diferentes áreas para o estabelecimento de critérios que permitam um julgamento justo, que leve em consideração as especificidades de cada área. Finalmente, também concordamos que a produtividade de um programa e de seus pesquisadores é um dos itens de maior importância, tendo em visa a produção e circulação de novos saberes.

Contudo, após analisarmos a ficha de avaliação, o PPGCOM/UFRGS não compreendeu o critério utilizado para a delimitação de faixas (de fraco a muito bom) para avaliação da produção intelectual. Segundo nossa análise, tais faixas permitem distorções. Por exemplo, como pode um programa que em um quesito (sobre a mesma produção) é considerado excelência na área e em outro beira o razoável? Analisando agora a tabela comentada pelo Paulo Vaz (e que publiquei na Web para que todos possam observar), percebo que nossa publicação no triênio certamente é muito qualificada no quadro comparativo.

Claro, sabemos que existem pesquisadores em alguns programas cuja grande publicação distoa da média. Contudo, para o cálculo daquelas faixas, a média não pode ser usada, como nos ensina a estatística, já que os chamados "outliers" acabam causando um viés na delimitação da curva.

Nesse sentido, penso que todos precisamos de esclarecimentos sobre como a produção intelectual foi avaliada, e como tais distorções podem ser evitadas.