Impacto e avaliação

Contagem de citações - A contagem de citações consiste no número de vezes que um artigo é citado por outros artigos científicos e considera-se que se um artigo foi citado muitas vezes será um artigo de qualidade científica e de referência. Algumas questões a ter em conta: a primeira citação a um artigo pode levar anos; artigos de relevância para o avanço do conhecimento podem nunca vir a ser citados, a contagem de citações não tem em conta o impacto fora do circuito científico e académico.

H-index - É uma das métricas mais comuns para avaliar o impacto de um autor. Fornece dados sobre a produção científica de um investigador, combinando a quantidade (número de artigos) com a qualidade (impacto, número de citações por artigo). O h-index de um determinado autor altera-se à medida que o autor publica mais artigos, e à medida que os mesmos vão sendo citados.

Indicadores para publicações:
Fator de impacto de revistas (Journal Impact Factor): é o indicador bibliométrico mais usado internacionalmente.​ É a métrica utilizada nos rankings de revistas científicas disponíveis no Journal of Citation Reports (THOMSON REUTERS), permitindo a comparabilidade entre as revistas de uma dada área científica.

Scimago Journal Rank Indicator: desenvolvido pelo grupo SCImago, baseado no algoritmo Google PageRank​ e calculado anualmente.

Source normalized impact per paper (SNIP): contagem de citações de uma revista com base no potencial de citação de um artigo em função da área disciplinar. Baseado nos dados de citação da base de dados Scopus. 

Emerging Sources Citation Index: um ranking de revistas alternativo, disponibilizado pela THOMSON REUTERS em 2015, em que estão incluídas publicações em fase de avaliação para integração na base de dados Web of Science Core Collection.

Considera-se que o desempenho de uma revista não pode ser expresso por uma métrica única. As métricas de impacto das revistas também não devem ser usadas para exprimir o impacto dos artigos de um investigador ou de um grupo de investigação. Devem ser tidas em conta as diferenças nas práticas de comunicação e citação dos distintos campos de investigação.

Face a um conjunto de alterações em curso nos últimos anos, que confluem na Ciência Aberta, existe um impulso para a redefinição dos processos de avaliação e seus critérios, com base na ideia de que é necessária a coexistência de diferentes modelos para a avaliação da investigação. Algumas iniciativas recentes apontam nesse sentido, destacando-se:

San Francisco Declaration on Research Assessment (DORA) - declaração redigida em 2012 no encontro anual da American Society for Cell Biology por um grupo de editores científicos que aponta um conjunto de recomendações, tais como não utilizar métricas das revistas, por exemplo o fator de impacto, como substitutas da qualidade dos artigos individuais para avaliar o contributo de um autor nas decisões de contratação, promoção ou financiamento.

Manifesto de Leiden (Leiden Manifesto for Research Metrics) - manifesto que destaca as limitações do uso de indicadores exclusivamente quantitativos e define algumas recomendações no sentido de dotar a avaliação de indicadores de caráter qualitativo, de processos transparentes, da necessária adequação às diferentes práticas das várias áreas científicas e de uma atualização constante. 

Uma das componentes base da Ciência Aberta passa pela ampliação do ciclo de difusão do conhecimento científico, o que permite aos investigadores a disseminação dos resultados da investigação de uma forma mais transparente e aberta, atividade que deve ser medida e fornecer informação adicional e complementar às métricas tradicionais.

As métricas alternativas, ou Altmetrics são indicadores do impacto da informação científica publicada na Web, complementares às métricas tradicionais. 

O campo das métricas alternativas é recente e encontra-se em fase de evolução, nomeadamente ao nível da criação dos standards necessários à sua aplicação mais generalizada e segura (ver projeto "Alternative Assessment Metrics (Altmetrics) Initiative” da NISO) .

Em 2010 é publicado o Manifesto Altmetrics, que aponta e reforça as limitações das métricas convencionais, propondo meios mais abrangentes para a aferição do impacto da investigação. Para além dos artigos científicos, tradicionalmente considerados para aferição do impacto, mediante a contagem de citações, as métricas alternativas abrangem a diversidade dos resultados científicos, tais como: data sets, software científico, livros e capítulos de livro, posters e apresentações em conferências, teses de mestrado e doutoramento, performances (teatro, música e cinema), posts em blogues, aulas e outras atividades docentes.

Têm como principais vantagens o tempo real, já que permitem a perceção do impacto em dias e a abrangência em termos de público e a transparência, ao basear-se em dados disponíveis livremente na Web.

Os indicadores baseiam-se na Web social, como:

• Visualizações e download de artigos;
• Registos em repositórios científicos online;
• Atividade científica online: número de utilizadores que adicionam um artigo na área pessoal de uma plataforma de colaboração científica, tais como o Mendeley, Figshare e SSRN;
• Referências e comentários online: número de menções em blogues sites de caráter cientifico. Disponível já em algumas ferramentas de métricas alternativas e, por exemplo no Scopus Article Metrics Module;
• Atividade em redes sociais: número de menções em redes sociais como o Facebook, Twitter, GooglePlus e outras;
• Notícias e outras menções em meios de comunicação social.