Cientometria. É possível medir a produção científica objetivamente?

"...Em um mundo ideal a melhor maneira de avaliar um pesquisador seria ler todos os seus trabalhos..."

É possível medir ciência? Ou mais especificamente, é possível utilizar um método confiável para avaliar a produção científica de um pesquisador? Este assunto é de grande importancia pois muitas vezes se torna necessário comparar carreiras, trabalhos cientificos ou revistas que publicam estes trabalhos, e precisamos de uma medida para tal. Primeiramente, deve-se ter claro que não se deve tentar reduzir algo tão complexo como uma carreira científica a um número, ainda que isto facilite a avaliação, mas usar este método como mais uma ferramenta em uma avaliação que certamente deve levar em conta vários parâmetros. Estas medidas quantitativas são chamadas de cientometria e infelizmente a falta de conhecimento sobre este campo e seu mau uso gera muita antipatia entre os cientistas.

Uma das maneiras de se tentar medir o impacto de um trabalho científico (publicação) é pelo número de citações (número de publicações que fizeram referência). Esta avaliação tenta medir a influência do trabalho pois supõe-se que quanto mais importante seja a publicação mais esta será citada na sua área. É um método que dificulta a comparação pois as citações em uma determinada área de trabalho dependem também do número de pesquisadores atuando nesta área. Também é difícil separar citações positivas, que entendem que o trabalho avançou a área, das negativas, que mostram que o trabalho não chegou a uma conclusão adequada. Além disso, um trabalho mais antigo tende a ter mais citações que um trabalho novo. Avaliar o número total de publicações de um indivíduo também pode ter este mesmo problema de idade, uma vez que um pesquisador com mais tempo de atuação tende a ter um número maior de publicações.

Uma maneira de se analisar a carreira de um pesquisador é pelo chamado índice h que tenta refletir produtividade e impacto ao mesmo tempo. A melhor maneira de explicá-los é por exemplos: pesquisador A publicou 100 trabalhos dos quais apenas 10 foram citados pelos menos 10 vezes cada, pesquisador B publicou 50 trabalhos dos quais 12 foram citados pelo menos 12 vezes cada e pesquisador C publicou 20 trabalhos dos quais 18 foram citados pelo menos 18 vezes cada. Pesquisadores A, B e C possuem índice h igual a 10, 12 e 18, respectivamente. Este método elimina distorções acentuadas, como por exemplo o caso de pesquisadores que publicam muitos artigos que não são citados e pesquisadores que possuem apenas uma publicação mas que foi citada amplamente. O índice h sempre aumentará com a idade e pode tornar difícil a comparação.

O chamado Fator de Impacto refere-se a uma revista científica e reflete a média de citações dos artigos publicados neste veículo. Em geral uma baixa porcentagem das publicações da revista científica é responsável pelo valor final. Desta maneira, desaconselha-se que um pesquisador seja avaliado pelo fator de impacto das revistas em que publica pois a avaliação fica distorcida e o trabalho do pesquisador será avaliado em última análise mais pelos trabalhos vizinhos do que pelo trabalho do próprio pesquisador.

Em um mundo ideal a melhor maneira de avaliar um pesquisador seria ler todos os seus trabalhos. Mas isso é difícil pois a maioria dos avaliadores já estão sobrecarregados com diversas tarefas. Porém, algumas agências de fomento mundiais começaram a adotar uma postura diferente para a avaliação de um pesquisador. Nesta avaliação limita-se o tempo a ser avaliado, aos últimos 5-10 anos por exemplo, e permite que o pesquisador envie um número fixo (5 a 10) de suas melhores publicações pelas quais ele/ela será avaliado.

Este assunto continua...

(escrito originalmente em 08/2010)