AVALIAÇÂO

Tentativas de usar indicadores objetivos são sempre falhas, sobretudo nas ciências humanas

Embora o discurso da CAPES seja de que o Qualis serve para avaliar programas, não pesquisadores individuais, tudo gira em torno do Qualis das revistas que constam no seu currículo

Só agora tive oportunidade de olhar com alguma atenção o último Qualis - a lista da CAPES com a avaliação dos periódicos científicos.

A avaliação é necessária, mas sempre problemática. Primeiro, é preciso estabelecer a diretriz: queremos ranquear os periódicos de acordo com sua qualidade (que é sempre disputável), com sua reputação ou com sua influência? Julgo que o central é a influência nos debates na disciplina, mas isso não é um ponto pacífico. Em seguida, que indicadores temos para medir? Há uma grande subjetividade nessa decisão e as tentativas de usar ou produzir indicadores objetivos são sempre falhas, sobretudo nas ciências humanas, em que os textos podem continuar despertando grande interesse e tendo grande impacto por muitas décadas, às vezes séculos depois de publicados. Os variados "fatores de impacto" não distinguem os subcampos disciplinares e são profundamente enviesados em favor da língua inglesa e das grandes editoras.

Por fim, mesmo que a avaliação seja impecável, ela tem efeitos colaterais negativos. Embora o discurso oficial da CAPES seja de que o Qualis serve para avaliar programas, não pesquisadores individuais, o fato é que tudo - de bolsa de PIBIC a bolsa de PQ, de credenciamento na pós a financiamento de pesquisa - gira em torno do Qualis das revistas que constam no seu currículo. Revistas com Qualis baixo entram num círculo vicioso, já que se tornam cada vez menos atrativas para os pesquisadores mais maduros, exatamente aqueles cujos textos chamariam a atenção para a publicação e poderiam aumentar sua reputação ou influência. E as revistas nacionais com Qualis alto ficam sobrecarregadas de tal maneira que algumas delas estão chegando a recusar novas submissões de artigos, o que é algo que contraria frontalmente as práticas da publicação científica. Mas elas simplesmente não dão conta de processar o material que chega.

Essa situação é mais grave ainda no caso da Ciência Política. O último Qualis traz apenas quatro periódicos nacionais na categoria superior (A1). É uma opção controversa, mas que o coordenador da área sustenta há tempos, de fazer a Ciência Política ser nitidamente mais "rigorosa" do que as outras ciências humanas: temos menos revistas nos estratos mais altos e temos uma proporção menor de publicações nacionais entre elas. Conheço os argumentos do prof. André Marenco, que os externa com clareza sem temer o debate, mas não julgo que sejam suficientes para justificar o dano que essa política tem gerado à disciplina.

As quatro revistas nacionais A1 são a Revista Brasileira de Política Internacional, focada numa sub-área disciplinar (relações internacionais); a Opinião Pública, da Unicamp; a Dados, da UERJ; e a Cadernos de Saúde Pública. Confesso que estranho um pouco a presença desta última, um periódico da área de ciências da saúde, cujos artigos têm um perfil bem diferente daquele que predomina na Ciência Política. Mas tudo bem: talvez tenha uma penetração forte entre quem trabalha com políticas governamentais de saúde, a ponto de justificar sua classificação.

Estranho ainda mais uma ausência: a Revista Brasileira de Ciências Sociais, da ANPOCS, que foi rebaixada para A2. A RBCS é um periódico de qualidade (acredito) indiscutível, de enorme influência na área, que publica uma grande quantidade de artigos de Ciência Política (e os outros de áreas afins, em geral também com interesse claro para cientistas políticos). É uma das três ou quatro revistas que, cada vez que sai uma nova edição, todos os pesquisadores da área pelo menos espiam o sumário. Segue com rigor os procedimentos de peer review e mantém a periodicidade. Não consigo entender os motivos do rebaixamento.

A lista de periódicos estrangeiros agraciados com A1 também desperta questões. Todos são de língua inglesa. Há uma presença forte de revistas da área de saúde, curiosamente a mesma que emplacou uma revista nacional A1 (American Journal of Public Health, Health Policy and Planning). Mas o que chama mesmo a atenção é Philosophical Transactions of the Royal Society of London: Biological Sciences. Essa revista realmente merece estar no estrato mais qualificado dos periódicos da Ciência Política? Uma revista de ciências biológicas?

Descendo para a classificação A2, esse tipo de situação se repete. A revista Birth, cujo subtítulo é "Issues in Perinatal Care", está lá. Eu me pergunto: um artigo publicado nela chega a quantos cientistas políticos, brasileiros ou não? Em B1, que completa o chamado "estrato superior" do Qualis, aparecem British Journal of General Practice, British Journal of Psychiatry, Clinical Imaging, Journal of the Marine Biological Association of the UK e também "XII Congresso Brasileiro de Biomecânica", que não deve ser revista, mas anais. Fora a revista de psiquiatria, disciplina cada vez mais indispensável para entender a política brasileira, não entendo o que elas estão fazendo lá.

Sei que é fácil criticar a classificação - difícil é propor outra, melhor. Mas creio que é importante que a área discuta seriamente o assunto, de preferência numa "posição original" em que os efeitos imediatos dos critérios (sobre a avaliação do programa X ou Y) sejam ignorados.

A situação é ainda mais grave porque o sistema brasileiro de periódicos científicos tem sofrido constantes ataques. O mais evidente é o subfinanciamento da pesquisa e da pós-graduação, que atinge seriamente nossas revistas (que desde sempre sobreviveram na base da abnegação de alguns). Soma-se a isso a pressão crescente para abandonar o português em favor do inglês, partindo das novas regras do Scielo. Já falei muito disso e não vou me repetir, mas nossos textos em inglês, em geral em mau inglês, despertam pouco interesse lá fora e alienam boa parte dos nossos leitores potenciais aqui dentro, uma vez que a maior parte dos nossos estudantes não lê ou lê com dificuldade a língua inglesa. As próprias estatísticas no Scielo mostram que os artigos em idioma estrangeiro tendem a ter uma quantidade de acessos muito menor. De resto, o inglês impõe custos extras que as revistas em geral não têm como cobrir. Algumas delas estão transferindo os custos de revisão do inglês para os autores dos textos, o que é a porta de entrada para a famigerada cobrança por publicação, da qual as ciências humanas brasileiras sempre escaparam.

(*) Luis Felipe Miguel é professor da Universidade de Brasília, onde coordena o Grupo de Pesquisa sobre Democracia e Desigualdades (Demodê) com e pesquisadores do CNPq. Junto à professora Flávia Biroli, organizou o livro Aborto e Democracia, publicado pela editora Alameda.

Destaques