JORNAL INTERCOM
Jornal semanal da Sociedade Brasileira de Estudos Interdisciplinares da Comunicação
Ano 3, nº 82, São Paulo – SP – Brasil 07 de dezembro de 2007
ISSN 1982-372X

	Sumário desta edição Outras edições

Fórum

Pós: esclarecimentos sobre métodos e critérios utilizados na avaliação

Marcius Freire (UNICAMP)
Coordenador da Área de Comunicação e Informação (CAPES-MEC)

Julgamos que é chegado o momento de fazer alguns esclarecimentos sobre certas questões levantadas por alguns e algumas colegas com respeito aos métodos e critérios utilizados na avaliação. Dentre estes, aquele que, parece, mais animou a lista da Compós, foi o que diz respeito à divisão do item 4.1 pelo item 4.2. Não gostaríamos de nos estender muito sobre este assunto visto que, como mesmo reconheceu um dos nossos argüidores em uma de suas longas perorações, o princípio utilizado é de uma lógica bastante simples. Mas, mesmo assim, peço-lhes um pouco de paciência, pois foram tantos os cálculos e tabelas e tão caudalosas as invectivas que alguém de boa fé pode ter se confundido. Também, temos certeza de que tal princípio vai ao encontro da grande maioria dos(as) colegas que, assim como a comissão, preocupa-se com a qualidade do que é produzido na Área.

Queremos adiantar, desde já, que a comissão avaliou o material a ela submetido à luz dos mesmos critérios aprovados pela área e utilizados na avaliação trienal. Revimos tudo o que foi feito, analisamos minuciosamente cada argumento apresentado e, quando este procedia, era, obviamente, levado em conta. Se enganos foram cometidos na trienal, tudo fizemos para que eles fossem sanados na apreciação dos recursos. Cumprimos com a nossa obrigação e não solicitamos aplausos ou exigimos louros por isso, pedimos apenas aquilo que deveria fazer parte do convívio educado, polido e civilizado no interior da nossa comunidade acadêmica. Não faz mal a ninguém e torna nossa convivência mais harmoniosa e mais pacífica.

Sobre a divisão dos índices do item 4.1 pelos índices do item 4.2

1. A primeira conseqüência considerada “danosa” pelos colegas argüidores da Comissão refere-se a que, por não ter a Comissão dividido a produção qualificada do triênio por três (para obtenção de média anual, em vez do total da produção qualificada no triênio), os programas novos, que só apresentam produção no terceiro ano do triênio teriam sido prejudicados, entrando em comparação com os demais com um total de apenas um ano (os demais tiveram um total de três anos de produção).

Esclarecemos que os quatro programas com apenas um ano ou menos de funcionamento não foram avaliados neste quesito – ou seja, não entraram na comparação. A adoção da alternativa “Não se aplica” é assumida para esses programas pois, para além da questão comparativa, um único ano não é significativo quanto à produtividade ou quanto à qualidade da produção. Um docente produtivo pode nada publicar em um ano por estar desenvolvendo uma produção que será escoada nos dois anos seguintes. Um docente com duas publicações no ano (em qualquer nível de qualidade) – média anual prevista – se não publicar nada nos dois anos seguintes, estará bem abaixo da média. Um único ano não é, portanto, representativo, o que leva ao “não se aplica”.

Sublinhamos que os quatro PPG tiveram seus pontos calculados e incluídos nas fichas a título informativo – para uma clara percepção, pelos programas, dos raciocínios envolvidos.

Em suma – os PPGs com um ano de produção não foram prejudicados, assegurados de que sua produção só terá peso para conceito no conjunto do próximo triênio.

2. Quanto à posição na escala, conforme o índice, devemos explicitar claramente as alternativas e as decisões tomadas.

Uma alternativa, defendida na argumentação dos nossos argüidores como se fosse o “estabelecido” (que foi experimentada na avaliação de acompanhamento anual), fazia o seguinte cálculo: atribui-se pontos variados por tipo de item (livro internacional, livro nacional, artigos em periódicos internacionais, nacionais, etc.) – conforme tabela de valoração qualitativa aprovada por reunião de representantes dos PPGs. A tabela é reproduzida no item 4.1 de todas as fichas de avaliação.

Feitas algumas glosas e aplicação de eventuais redutores e acréscimos (conforme padrão acordado na reunião e sempre justificados pontualmente nas fichas), chega-se a um total de pontos qualitativos obtidos pelo Programa durante o triênio (por todos os docentes permanentes somados).

Este número, dividido pelo número de docentes permanentes, resulta nos pontos de produção qualificada por docente.

3. Entretanto, um de nossos colegas, representando seu PPG na referida reunião com o Representante da área, criticou o índice, observando que este estimularia um produtivismo estéril, pois os programas seriam levados, para ampliar o total de pontos obtidos, a aumentar a quantidade de sua publicação (com dispersão do esforço de buscar qualidade).

4. Na mesma reunião, não se votou qualquer índice específico, nem este, nem outro alternativo. Votou-se – como é de conhecimentos de todos(as) – “que a distribuição das faixas seria feita a posteriori”. Ou seja – seria estabelecida a ordenação dos PPGs conforme sua produção para, comparativamente, decidir as faixas que corresponderiam a cada conceito – o que foi efetivamente feito pela Comissão.

5. Não foi obtida, nem proposta, na reunião, uma solução para a crítica legítima referente ao risco de estímulo ao produtivismo quantitativo.

6. Posteriormente, a Comissão, estimulada por aquela crítica do Colega, passou a estudar uma formulação de índice que seria adequada para superar esse risco. A solução encontrada foi a seguinte, bastante simples e objetiva: tomando-se os pontos de produção qualificada por docente (índice acima referido), divide-se esse valor pela produção média anual do docente, apresentada no item 4.2 de cada programa.

7. O item 4.2 avalia a quantidade da produção. O critério de excelência quantitativa corresponde a uma produção de pelo menos 2 publicações anuais por docente permanente. Assim, ao dividir os pontos de produção qualificada por docente ((item 4.1) pela média da produção anual por docente (item 4.2) – o resultado corresponde ao valor qualitativo médio das publicações,índice adotado.

8. Constatamos que esse índice anula a incidência quantitativa – que é o componente que seria determinante do produtivismo estéril. O índice se torna assim essencialmente qualitativo – deixando o item 4.2, separadamente, como o único voltado para o quantitativo. Com o índice defendido pelos colegas argüidores, como é evidente, ocorreria uma incidência quantitativa também no primeiro item.

9. Reiteramos: não houve deliberação anterior da área no sentido de adotar qualquer índice. Houve, ao contrário, uma crítica – correta – ao índice acima referido por estimular um produtivismo nocivo à qualidade.

10. É claro que os dois índices resultam em diferentes avaliações dos programas.

Quando se compara o cálculo pelo índice da Comissão (que anula quantidades) com o cálculo proposto pelos argüidores (que não anula quantidades), constatamos:

- 6 (seis) programas apresentam melhor conceito pelo índice da Comissão do que teriam com o outro índice;

- 8 (oito) programas apresentam conceito idêntico, com o índice da Comissão, ao que obteriam com o outro índice;

- 6 (seis) programas apresentam conceito abaixo do que obteriam com o outro índice.

Para estes seis últimos programas, o conceito “reduzido” resulta do fato de que o índice desejado pelos argüidores apresenta um grande número de pontos – entretanto acumulados por uma quantidade de publicações de reduzido valor qualitativo.

Assim, de um ponto de vista distributivo, o índice da Comissão não compromete o equilíbrio do conjunto. Ademais, a Comissão está convencida de que o índice adotado é o mais objetivo. É importante frisar que o índice foi adotado independentemente de comparação prévia entre os resultados obtidos pelos Programas. As variações entre os dois índices foram constatadas quando da análise dos recursos, pois o que é relevante não é “quem subiu” ou “quem desceu” – mas sim que todos os PPGs foram avaliados por um item rigoroso e correto.