Como o mundo vai avaliar a excelência na pesquisa?

Quais são os atributos de excelência na pesquisa? Há vários deles, amplamente consensuais: pesquisa feita segundo boas práticas científicas, seguindo padrões éticos amplamente aceitos e verificáveis, validada por significativa parcela dos pares, trazendo avanços importantes para seu campo do conhecimento e para a sociedade.

Cumpridos os atributos, estaria tudo certo, certo? Estaria, se os atributos existissem independentes do contexto, incluído aí o tempo/espaço no qual são reivindicados. Ora, diriam muitos, como negar conceitos universais como ética, impacto, boas práticas, validação por quem é reconhecido? Não se trata de negar, claro, mas apenas reconhecer que as métricas precisam ser ajustadas.

Aceitamos com certa normalidade indicadores bibliométricos para medir a qualidade e definir, em grande medida, a excelência da pesquisa. Os indicadores bibliométricos dizem coisas importantes. A cientometria e a bibliometria evoluíram muito no presente século. São um eixo fundamental das avaliações da ciência baseada em evidências.

Referências que variam no tempo e espaço

Os números das bases de publicações científicas são superlativos. As três grandes bases de dados do mundo, a Web of Science (WoS), da empresa Clarivate Analytics, a Scopus, da Elsevier, e a Dimensions, da Digital Science, coletam, armazenam e disponibilizam informações de milhares de revistas, milhões de publicações e pesquisadores e bilhões de citações.

Singh et al. (2021)[i] compararam os números e características dessas três bases. Em meados de 2020 a WoS computava 13,6 mil revistas indexadas com mais de 13,2 milhões de artigos; a Scopus, mais de 40,3 mil revistas com mais de 18 milhões de publicações; e a Dimensions, 77,4 mil revistas e mais de 28 milhões de publicações. As sobreposições e especificidades indicavam variações importantes (Singh et al., 2021):

• as revistas presentes na WoS representavam 1/3 das revistas indexadas pela base Scopus, e menos de 1% da WoS não estava coberto pela base Scopus;
• já as revistas na base Scopus representavam metade das indexadas da base Dimensions, e menos de 3% das publicações na Scopus não se encontravam na Dimensions.

A Dimensions é a base mais recente, lançada em 2018, e contém mais de duas vezes o número de revistas indexadas na Scopus (lançada em 2004 e a segunda maior base) e mais de cinco vezes as indexadas na WoS (criada, como tal, em 1997)[ii]. São 35,5 mil “novas” revistas. Então, aceitando-se que todas as bases indexam revistas com política editorial séria, o horizonte de possibilidades de publicação expandiu-se consideravelmente nos últimos anos.

A Dimensions cobre um percentual maior de revistas das áreas de sociais, artes e humanidades: 8%, 11,4% e 17,9% respectivamente para a WoS, a Scopus e a Dimensions.

O que ocorreu? Estávamos nos referenciando em bases incompletas ou o quê?

As diferentes dinâmicas de publicação (artigos, reviews, livros e capítulos, anais etc.) nas diferentes áreas do conhecimento são notórias. Para artigos e reviews, nas três grandes bases, ciências da vida respondem, em média, por 44% das publicações; ciências exatas e tecnológicas juntas somam outro tanto. Só esses números já indicam dinâmicas diferentes de publicação.

Como se sabe, nas ciências sociais e nas artes e humanidades, as publicações mais frequentes são em livros, capítulos de livros, anais de congressos e documentos de políticas e produção artística.

Em estudo recente, Bin et al. (2022)[iii], analisando publicações e citações de um universo de mais de 21 mil doutores que cursaram doutorado com e sem bolsas em São Paulo, revelou diferenças substantivas nos padrões de publicação: enquanto doutores que tiveram bolsa no doutorado, quando comparados com doutores que não tiveram bolsas, publicaram em média 2,1 vezes mais artigos em revistas nas áreas de ciências da vida e exatas, nenhuma diferença foi encontrada  nas áreas de sociais, humanidades, linguística, literatura e artes entre aqueles mesmos grupos.

Por outro lado, nessas áreas, ex-bolsistas Fapesp (Fundação de Amparo à Pesquisa do Estado de São Paulo), Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) e CNPq (Conselho Nacional de Desevolvimento Científico e Tecnológico) nas áreas de sociais e humanidades publicaram entre quatro e sete vezes mais livros e capítulos de livros que seus equivalentes que cursaram doutorado sem bolsa.

É um padrão de produção científica totalmente diferente. Esse padrão tem óbvios reflexos nos indicadores de número de citações, fator de impacto e índice H.

Então, há um problema a enfrentar?

Indicadores de publicação em revistas, fator de impacto, citações (incluindo aqui aquelas ponderadas por área do conhecimento e por temporalidade, como o field weighted citation impact do Scival/Scopus), hoje considerados referências para avaliar pesquisa, são obviamente importantes.

Não se trata de demonizá-los. Trata-se antes de melhorar a representação do que é excelência em pesquisa, hoje limitada pela forma com que o sistema de avaliação progrediu.

Os problemas decorrentes são vários e estão bem relatados na literatura. O Manifesto de Leiden, de 2015, é uma referência que resume as principais lacunas de uma régua que serve para algumas medidas, mas não serve para muitas outras.

Não obstante iniciativas como a DORA, que completará 10 anos em maio de 2023, o Manifesto de Leiden e dezenas de outras pedindo mais e melhores indicadores, seguimos medindo a qualidade da pesquisa em qualquer área e em qualquer espaço pela quantidade de publicações, pela revista em que é publicado o artigo, pelo número de citações e pelo índice H.[iv]

Enquanto esse assunto não entrar efetivamente na pauta de agências de fomento e nas revistas científicas, nada ou pouco mudará.

A boa notícia é que já há sinais. Esses sinais atendem pelo nome de Avaliação Responsável da Pesquisa, cuja principal iniciativa hoje é o Acordo para a Reforma da Avaliação da Pesquisa. [v]

A reforma da avaliação da pesquisa:

Em dezembro de 2022 foi constituída a Coalização para o Avanço da Avaliação da Pesquisa para implementar o Acordo sobre a Reforma da Avaliação da Pesquisa, documento publicado em fins de julho do mesmo ano por cerca de 350 organizações representantes de mais de 40 países. O Acordo foi aberto a adesões em setembro daquele ano. Seu primeiro parágrafo já indica a missão (em tradução livre):

“Como signatários deste Acordo, concordamos com a necessidade de reformar as práticas de avaliação de pesquisa. Nossa visão é que a avaliação de pesquisa, pesquisadores e organizações de pesquisa reconheçam os diversos resultados, práticas e atividades que maximizam a qualidade e o impacto da pesquisa. Isso requer basear a avaliação principalmente no julgamento qualitativo, para o qual a revisão por pares é fundamental, apoiada pelo uso responsável de indicadores quantitativos. Entre outras finalidades, é fundamental para: decidir quem recrutar, promover ou premiar; selecionar propostas de pesquisa, assim como as organizações que devem ser apoiadas.”

Os dez compromissos do Acordo são:

Compromissos centrais:

1. Reconhecer a diversidade de contribuições e carreiras na pesquisa de acordo com as necessidades e a natureza da pesquisa.
2. Basear a avaliação da pesquisa principalmente na avaliação qualitativa, que deve ser central na avaliação por pares, apoiada pelo uso responsável de indicadores quantitativos.
3. Abandonar o uso inapropriado[vi] de avaliações baseadas em métricas do tipo Journal Impact Factor e índice H.
4. Evitar o uso de rankings de organizações de pesquisa nos processos de avaliação.
5. Comprometer recursos para reformar a avaliação de pesquisa.
6. Revisar e desenvolver critérios, ferramentas e processos de avaliação de pesquisa nas organizações.
7. Aumentar a conscientização sobre a reforma da avaliação da pesquisa, comunicando, orientando e treinando.
8. Trocar práticas e experiências para permitir a aprendizagem mútua dentro e fora da coalizão.
9. Comunicar o progresso feito na adesão aos Princípios e implementação dos Compromissos
10. Avaliar práticas, critérios e ferramentas com base em evidências sólidas e no estado da arte com práticas de pesquisa da pesquisa e disponibilizar dados abertamente.

Como se vê, o Acordo não propõe pouca coisa. A pergunta é: em que medida mudará a cultura do fomento e do reconhecimento de pesquisadores e de organizações de pesquisa e, por extensão, do significado de excelência da pesquisa?

Há um longo e sinuoso caminho à frente. No cronograma proposto pelo Acordo, os signatários devem adotar os compromissos centrais após um ano da adesão e demonstrar que implementaram pelo menos um ciclo do novo processo de avaliação em até cinco anos.

Se o Acordo, dentre outras iniciativas na mesma direção, levará ou não a uma mudança nos critérios de qualidade e excelência no mundo da pesquisa, dependerá de vários fatores, todos eles ligados ao próprio mundo da pesquisa.

Nesse contexto, é preciso fazer mais pesquisa da pesquisa, ou mais ciência da ciência, no mundo e no Brasil. Sem isso não saberemos o que está acontecendo, muito menos influenciaremos nossos rumos.

Este texto não reflete, necessariamente, a opinião da Unicamp.

*Sergio Salles-Filho é professor titular do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Unicamp e coordenador geral do projeto “Pesquisa da pesquisa e da inovação: indicadores, métodos e evidências de impactos”, financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp Processo 2021/15.091-8).

---

[i] Singh, V. K., Singh, P., Karmakar, M., Leta, J., & Mayr, P. (2021). The journal coverage of Web of Science, Scopus and Dimensions: A comparative analysis. Scientometrics, 126(6), 5113–5142. https://doi.org/10.1007/s11192-021-03948-5

[ii] A origem da WoS remonta a meados dos anos 1960, com o Science Citation Index, seguido por várias outras bases que depois foram consolidadas.

[iii] Bin, A., Salles-Filho, S., Spatti, A. C., Mena-Chalco, J. P., & Colugnati, F. A. B. (2022). How much does a Ph.D. scholarship program impact an emerging economy research performance? Scientometrics. https://doi.org/10.1007/s11192-022-04487-3

[iv] O caso da classificação de revistas “Qualis Periódicos”, da Capes, usada para definir a importância no Brasil das revistas nas quais publicamos e para contabilizar a excelência dos programas de pós-graduação, é uma iniciativa brasileira que parece tentar juntar especificidades locais com o fator de impacto das revistas atribuído por fontes internacionais. Difícil saber se são boas intenções mal executadas. O resultado é uma quimera que não é nem uma coisa nem outra – e, ainda por cima, difícil de matar. Publicar em um Qualis A1 ou A2 passou a ser um fim em si mesmo em muitos programas de pós-graduação. Nesse caso, a responsabilidade não é só da Capes, mas da comunidade científica que lá está.

[v] Para outras iniciativas na mesma direção, ver Curry, S., De Rijcke, S., Hatch, A., Pillay, D. G., Van der Weijden, I., & Wilsdon, J. The changing role of funders in responsible research assessment: Progress, obstacles and the way ahead. RoRI Working Paper, 3. 2020.

[vi] Não fica claro no Acordo o sentido do termo “inapropriado”.