JORNAL INTERCOM
Jornal semanal da Sociedade Brasileira de Estudos Interdisciplinares da Comunicação
Ano 3, nº 80, São Paulo – SP – Brasil 23 de novembro de 2007
ISSN 1982-372X

	Sumário desta edição Outras edições

Fórum

Avaliação da Capes: o debate continua  

Reproduzimos a seguir nota conjunta dos autores da matéria publicada na ultima edição do Jornal da Intercom sobre a avaliação dos cursos de pós pela Capes.

"Na sexta passada, a newsletter da Intercom publicou três e-mails apresentando parte de nossas posições sobre problemas na avaliação da pós-graduação na área de Ciências Sociais Aplicadas 1 (Ciência da Informação e Comunicação). Esses e-mails apareceram na lista do conselho da COMPÓS e foram escritos quando a discussão ainda estava em seu começo. Com o passar do tempo, tivemos maior clareza sobre os problemas lógicos presentes no novo índice usado pela Comissão de área para avaliar a produção intelectual docente dos programas. Este e-mail traz à comunidade de pesquisadores em comunicação nossa compreensão mais elaborada.

Há três problemas com o índice. O primeiro é de princípio: ele foi criado ad-hoc, sem ter sido votado e aprovado na reunião de abril entre o representante de área e os coordenadores de programa. Em segundo lugar, quando comparamos o resultado gerado pelo índice da comissão com o resultado que seria gerado pela utilização do índice correto, o que ocorreu foi, de um lado, prejudicar todos os programas com média de artigo ao ano maior do que 3 (seu valor foi reduzido em relação ao correto) e, de outro lado, beneficiar todos os programas com uma média de artigos ao ano menor do que 3, beneficiando tanto mais quanto menor fosse a média. Em terceiro lugar, o índice criado pela comissão prejudicou todos os programas que só produziram no ano de 2006, pois o resultado que alcançaram deve ter variado apenas entre 1 e 7, enquanto que o intervalo de variação para os programas que produziram ao longo do triênio foi de 3 a 21. Estamos usando as expressões "índice correto" e "índice com problemas lógicos"; um texto mais longo do que o costumeiro será necessário para explicar esse julgamento. Mas é preciso a paciência, pois o item "produção intelectual docente" é, individualmente, o mais importante de toda a avaliação da pós-graduação, correspondendo a aproximadamente 18% do conceito final de um programa.

Até essa última avaliação, a fórmula para se medir a produtividade dos programas somava, primeiro, toda a produção qualificada de um programa. Cada item de produção intelectual tem um valor previamente acordado; na nossa área, um livro internacional vale 14 pontos, um livro nacional 10, um capítulo de livro nacional vale 4, um artigo em revista nacional A vale 4, etc. Na seqüência, divide-se esse total pelo número de professores e, como a área de comunicação tem tido sempre programas novos, divide-se pelo número de anos da produção (3 para os que iniciaram antes de 2004 e 1 ou 2 para os que foram aprovados pela CAPES no triênio). Chega-se assim a um denominador comum: produção por professor ao ano. Esse é o único modo correto de comparar programas quando se tem programas novos e apostamos que esse é o único índice utilizado por todas as outras áreas de avaliação. O índice criado ad-hoc pela comissão, por sua vez, soma a produção qualificada, divide pelo número de professores e, em seguida, divide por outro índice, artigos por professor ao ano, ao invés de dividir pelo número de anos. Expressando em fórmula matemática, ficarão claros os dois problemas lógicos. O índice utilizado pela comissão pode ser assim exposto: (produção total qualificada / número de professores) / [(número total de artigos /número de professores) / número de anos de produção]. Por regra básica de simplificação de fórmulas matemáticas, podemos cortar o elemento idêntico no que é dividido e no que divide, isto é, o item "número de professores". Desse modo, a equação tem a seguinte fórmula: produção total qualificada /(número total de artigos / número de anos de produção). Como o que divide o divisor está de fato multiplicando, a fórmula pode ter uma expressão ainda mais simples: (produção qualificada / número total de artigos) x número de anos de produção.

A divisão da produção qualificada pelo número de artigos dá o valor médio da produção intelectual dos programas, um número que fica entre 1 e 7, pois estes são os valores máximos e mínimos de um artigo na área (e o artigo é a unidade á qual todos os outros itens da produção intelectual são referidos). Decorre daí que se programas tiverem um valor médio semelhante de sua produção intelectual, eles terão o mesmo resultado de produtividade, não importando o quanto eles tenham produzido. Por outro lado, quem produziu apenas durante um ano será prejudicado, com sua produtividade variando apenas entre 1 e 7, pois o valor médio é multiplicado por 1.

A melhor estratégia para mostrar os problemas é a redução ao absurdo. Imaginemos 4 programas, A, B, C e D, todos com 10 professores e produzindo apenas capítulos de livro nacional (valor=4), mas com capacidades de produção bem diferentes: A produziu 30 capítulos no triênio, B produziu 60, C produziu 120 e D produziu 300. Na fórmula correta, produção qualificada por professor ao ano, A teria a produtividade de 4 [(30x4 / 10) / 3]; B a produtividade de 8 [(60x4 / 10) / 3]; C a produtividade de 16 [(120x4 / 10) / 3] e D a produtividade de 40 [(300x4 / 10) / 3]. Resultado adequado à nossa intuição, pois os programas tinham médias de artigo por professor ao ano distintas: A produz 1, B produz 2, produz 4 e D produz 10. Utilizando a fórmula da comissão, que divide a produção qualificada por professor pela média de artigos por ano, chegamos a um resultado contra-intuitivo e ilógico. O programa A teria a produtividade de 12 [(30x4 / 10) / 1], o programa B teria 12 [(60x4 / 10) / 2], o programa C teria 12 [(120x4 / 10) / 4] e o programa D também 12 [(300x4 / 10) / 10]. Essa igualdade sem sentido é encontrada mesmo se, hipoteticamente, tivéssemos programas com média de artigo ao ano de cem, mil, um milhão, etc.

Através da fórmula simplificada, percebe-se o que aconteceu: o índice da comissão desconsidera exatamente a produtividade diferencial dos programas, ou ainda, ele simplesmente multiplica o valor médio do artigo num dado programa pelo número de anos. Como no exemplo acima foi fixado de antemão como idêntico o valor médio do artigo (todos os programas só produziam capítulos de livro nacionais), não importava a quantidade de artigos que produziam; o valor médio seria multiplicado por três. Daí nossa proposição anterior de que o índice da comissão prejudicou indevidamente quem tinha média alta de artigos ao ano e, inversamente, beneficiou quem tinha uma média baixa. O outro problema ocorreu em relação aos programas que só publicaram em um ano do triênio. Imaginem um programa E, com 10 professores, que produziram 200 artigos no ano de 2006 (esse programa hipotético tem, assim, a média de 20 artigos por ano por professor), todos eles publicados em revista Internacional A. Pelo índice correto, sua produtividade seria de 140 [(200x7 / 10) / 1]. Pelo índice da comissão, porém, sua produtividade seria de 7 [(200x7 / 10) / 20].

Como a área acordou na reunião de abril que as faixas a partir das quais seriam atribuídos os conceitos "muito bom", "bom", etc., seriam fixadas a posteriori, houve uma profunda distorção: foi criada artificialmente a faixa "fraco", constituída na sua maioria pelos programas que entraram no sistema em 2006, ao mesmo tempo em que os programas de baixa produtividade no triênio tiveram o valor de produção elevado e os de alta produtividade tiveram seu valor reduzido. Esses efeitos são muito concretos. Se as faixas fossem as mesmas (acima de 12 é "Muito Bom", de 10 a 11,9 é "Bom", etc.), os programas da PUC-RS e da UFRGS, com a aplicação do índice correto, teriam tirado "muito bom" nesse item; desse modo, a UFRGS seria candidata inevitável ao conceito 5 e a PUC-RS se qualificaria para ser considerada como programa 6 pelo CTC, pois teria obtido "muito bom" em todos os quesitos (a ECO-UFRJ também teria obtido "muito bom" em todos os quesitos se a Comissão tivesse efetivamente considerado o que foi votado na reunião de abril: os projetos de pesquisa deveriam ser analisados segundo a capacidade de receber financiamentos de agências como CNPq, FAps, etc.) Esses são apenas os casos que conhecemos; é muito provável que outros programas tenham sido prejudicados pela aplicação do índice incorreto. Para quem se interessar por mais informações, procure-nos em nossos e-mails pessoais.

Atenciosamente,