I. O GLOBAL RANKING OF ACADEMIC SUBJECTS
A agência ShanghaiRanking, criadora do ranking geral Academic Ranking of World Universities (ARWU), também publica um ranking anual de áreas do conhecimento, o Global Ranking of Academic Subjects (GRAS). O ranking abrange 54 diferentes áreas do conhecimento. O mapeamento dessas áreas, a partir das categorias da Web of Science, pode ser encontrado aqui. O GRAS utiliza um conjunto de indicadores diferente do ranking global, cuja metodologia seria inadequada para medir o desempenho nos temas. O ranking usa os seguintes indicadores:
| GRAS Indicador | GRASDescrição | ARWUIndicador | ARWUDescrição |
| Q1 | Número de artigos publicados nos periódicos entre os 25% mais citados na área do conhecimento. | HiCi | Número de pesquisadores na lista Clarivate Highly Cited. |
| CNCI | Taxa de citação normalizada por área do conhecimento. | N&S | Número de artigos publicados na Nature ou na Science. |
| IC | % de artigos publicados em colaboração internacional. | PUB | Número de artigos publicados. |
| TOP | Número de artigos publicados em periódicos eleitos como os mais influentes por meio de survey internacional. | ALUMNI | Número de egressos que ganharam prêmios internacionais. |
| AWARD | Número de vencedores de prêmios internacionais entre o corpo docente. | AWARD | Número de vencedores de prêmios internacionais entre o corpo docente. |
O que o gras mensura?
Esse ranking mede o desempenho da pesquisa de uma universidade em determinadas áreas do conhecimento no índice Web of Science. Mede o número de artigos publicados nos 25% dos periódicos mais citados, o número médio de citações que os artigos recebem, a proporção de artigos publicados com um colaborador internacional, o número de artigos que uma universidade publica em periódicos eleitos como os melhores por uma pesquisa internacional e o número de prêmios nacionais e internacionais conquistados em determinadas áreas do conhecimento.
Por usar o Web of Science, o GRAS é uma medida da pesquisa produzida pela universidade com visibilidade internacional.
O que não é mensurado pelo GRAS?
Esse ranking não é uma medida específica do desempenho de uma faculdade, unidade ou departamento – podem ser publicados artigos de outros departamentos que estejam na mesma área do conhecimento. Em alguns casos, as universidades podem ter vários departamentos que trabalham em áreas semelhantes – e o GRAS não os diferencia. O desafio de mapear a produção de uma unidade deveria começar a partir dos números de identificação dos membros do departamento, e não das publicações.
Da mesma forma, esta não é uma medida de desempenho dos cursos de pós-graduação. Portanto, embora possa ser instrutiva para as avaliações da Capes, não é uma correspondência exata e não deve ser considerada como tal.
O ranking sub-representa o conhecimento com orientação local, especialmente o publicado em língua portuguesa, e exclui fontes tais como preprints, anais de congressos (com exceção de ciência de computação) e livros.
O ranking não é uma medida de qualidade do ensino, transferência de tecnologia ou do impacto social, econômico ou ambiental da pesquisa. Ele mede apenas o número médio de citações que um conjunto de publicações atraiu (CNCI) e o prestígio dos periódicos em que a pesquisa é publicada (Q1, TOP).
Quais são os indicadores do GRAS?
Q1 – Número de artigos publicados entre os 25% periódicos mais citados de acordo com o Journal Impact Factor.
O indicador Q1 é o número de artigos que uma universidade publicou no período de cinco anos (2016-2020) em um 25% periódicos mais citados na área do conhecimento correspondente. Assim como o ARWU, o GRAS favorece indicadores dependentes do tamanho – quanto maior a produção geral da universidade, maior a probabilidade de um bom desempenho no ranking.
CNCI – Impacto de citação normalizado por categoria
O impacto de citação normalizado por categoria mede o número de vezes que um conjunto de artigos foi citado, comparado com o número médio que seria esperado para aquela área do conhecimento e ano de publicação. Este ranking contempla os anos 2016-2020.
O CNCI é independente do tamanho, o que significa que não há necessariamente uma vantagem a ser obtida por uma instituição maior. Este indicador não é considerado confiável em conjuntos pequenos de artigos, devido à sua grande margem de erro em amostras de menos de mil artigos. Isso se deve à assimetria na distribuição das citações – normalmente são alguns poucos artigos que atraem a grande maioria das citações. Portanto, uma pontuação média, que assume uma distribuição normal, pode ser fortemente influenciada pela presença de um pequeno número de publicações.
Portanto, embora seja um indicador útil, deve ser utilizado com certa cautela, principalmente em áreas do conhecimento com menos publicações, nas universidades podem registrar apenas algumas centenas de trabalhos.
IC – Colaboração internacional
O indicador IC é a proporção de artigos publicados em coautoria com um pesquisador de uma instituição fora do país de origem da universidade. É independente de tamanho e não há nenhum benefício em ser uma universidade maior.
TOP – Número de artigos em Shanghai “Top” periódicos
A consultoria ShanghaiRanking realiza uma pesquisa anual perguntando aos pesquisadores quais são os “melhores” e mais conceituados periódicos em seu campo. Os resultados são então mapeados para 52 das 54 áreas. Para ciência da computação, também são considerados os anais das 32 principais conferências e, para farmacologia, são considerados artigos e revisões. A lista completa dos periódicos escolhidos pode ser encontrada aqui.
Como normalmente não há mais do que alguns periódicos em cada categoria, o desempenho nesse indicador geralmente depende de um número muito pequeno de artigos.
AWARD – Número de prêmios internacionais
Corresponde ao número de prêmios atribuídos a docentes em dedicação plena desde 1981, sendo 100% atribuídos a docentes premiados nos últimos dez anos, 75% para os de 2001-2010, 50% para os de 1991-2000 e 25% para os de 1981-1990. A lista de prêmios pode ser encontrada aqui.
Ponderações e critério de inclusão
As ponderações são variáveis, dependendo da área do conhecimento, embora na maioria das áreas seja atribuída uma pontuação de 100 pontos para Q1, 100 para CNCI nas ciências naturais e 50 nas ciências sociais, 20 para IC e 100 para TOP.
Motivações e interesses nacionais
Os produtos da ShanghaiRanking são projetados para refletir os interesses e objetivos do Estado chinês no desenvolvimento de seu ensino superior. Enquanto o ARWU segue os objetivos do Projeto 985, que criou a classe C9 de universidades, o GRAS segue os objetivos da iniciativa Double First Class Universities, que buscou criar áreas de destaque de pesquisa em instituições chinesas. Para conseguir isso, juntamente com o financiamento estrutural para instituições, o Estado forneceu fortes incentivos financeiros para pesquisadores que publicaram em periódicos de primeira linha, servindo como um proxy para determinar a qualidade da pesquisa, dadas a escala e a velocidade da iniciativa, além da necessidade de fornecer informações rápidas para recompensar os pesquisadores de forma transparente.
Avaliação responsável
Avaliar a pesquisa na base do periódico em que é publicada é uma medida de proxy ruim para a qualidade da pesquisa ou o seu impacto real na comunicação científica. Por isso, cada vez mais, a comunidade científica está abandonando essa forma de atribuir valor à pesquisa. Há uma série de motivações para procurar melhores medidas para analisar a qualidade e o impacto da pesquisa.
Qualidade e rigor
O GRAS baseia-se na suposição de que publicar pesquisas em um periódico altamente citado é um bom proxy para a qualidade da pesquisa. Esta afirmação é, na melhor das hipóteses, questionável. Devido à competitividade enfrentada para se publicar em periódicos de alto impacto, há um forte viés para a novidade de resultado, ao invés da qualidade da ciência. Isso significa que os resultados costumam ser muito mais especulativos do que os encontrados em outros periódicos. Este é um correlato melhor do que qualquer ideia de que a qualidade da pesquisa pode ser verificada sem primeiro ler a pesquisa em questão.
O trabalho de replicar, validar, questionar, confirmar as descobertas de outras pessoas não é representado em periódicos de alto impacto, tampouco o fracasso em experimentos. Essas são funções importantes da ciência que precisam ser publicadas e valorizadas, mas a pressão para publicar em periódicos de alto impacto as subvaloriza e faz com que informações importantes sejam perdidas na comunicação científica.
Essa pressão pela novidade significa que as taxas de retratação nos principais periódicos são mais altas do que nos periódicos de impacto de citação menor. Portanto, a publicação em um periódico de alto nível não é necessariamente um indicador de maior erudição ou rigor, mas de descobertas que são mais revolucionárias do que outras. Embora isso seja louvável por si só, não é possível dizer que determinada pesquisa é “melhor” porque foi publicada em um jornal de alto nível.
Impacto
A assimetria geral da distribuição de citações também se aplica a periódicos com classificação alta. Os artigos altamente citados em um periódico são os outliers. São eles que determinam o fator de impacto, e não o desempenho geral de todos, nem mesmo a maioria dos artigos em um determinado periódico. Portanto, não é possível fazer uma inferência assertiva sobre as citações que um artigo individual recebeu com base no fator de impacto do periódico em que foi publicado.
Portanto, há fortes razões para duvidar da validade do uso da revista para avaliar a qualidade do artigo, uma vez que ela não é uma garantia nem do impacto nem do rigor da pesquisa.
Não obstante, o ranking dos periódicos compõe mais da metade das pontuações disponíveis no GRAS e a maior parte da avaliação da pós-graduação realizada pela Capes. Até certo ponto, o ranking é uma medida útil do desempenho de uma área do conhecimento de acordo com a maioria dos incentivos estabelecidos para ela pelas avaliações da Capes.
II. DESEMPENHO DAS UNIVERSIDADES PÚBLICAS DO ESTADO DE SÃO PAULO
Quem aparece em mais áreas do conhecimento?
Por causa dos números mínimos de publicações para inclusão nos rankings, a USP tem muito mais áreas do conhecimento para inclusão. Como os indicadores Q1 e TOP dependem do tamanho da instituição, isso também dá à USP uma vantagem sobre a Unicamp e a Unesp. Portanto, não é surpresa ver que a USP tem 35 áreas do conhecimento listadas, mais que o dobro da instituição em segundo lugar. A Unicamp e a Unesp fazem parte do grupo das universidades intensas em pesquisa já estabelecidas, ao lado da UFRJ, UFRGS e UFMG. De fato, o gráfico abaixo identifica duas classes distintas de universidade (ao lado da USP), conforme descrito por Righetti e Gamba. Após essa classe de universidades intensas em pesquisa estabelecidas, há uma outra classe de instituições de pesquisa emergentes de médio porte, das quais fazem parte a Unifesp e a UFSCar, ao lado da UFSC, UFPel, UFF, UFV e outras.
USP – Universidade de São Paulo
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Ciências agrícolas | 18 | 218.2 | 71.6 | 62.6 | 62.6 | ||
| Ciências atmosféricas | 101-150 | 38 | 66.2 | 66.2 | 36 | 0 | |
| Ciências biológicas | 101-150 | 49.3 | 63.7 | 63.7 | 18.3 | 0 | |
| Engenharia biomédica | 201-300 | 37.1 | 57.7 | 57.7 | 9.6 | ||
| Biotecnologia | 51-75 | 57.6 | 64.1 | 64.1 | |||
| Engenharia química | 201-300 | 37.5 | 56.8 | 56.8 | 28.2 | 0 | |
| Química | 301-400 | 48.5 | 62.1 | 62.1 | 20 | 0 | |
| Engenharia civil | 201-300 | 33.7 | 61.8 | 61.8 | 11 | 0 | |
| Medicina clínica | 101-150 | 33.9 | 68.8 | 68.8 | 34.2 | 0 | |
| Ciência e engenharia de computação | 301-400 | 44.3 | 56.2 | 56.2 | 16.5 | 0 | |
| Odontologia | 15 | 263.3 | 100 | 64.7 | 64.7 | 55.8 | 30.2 |
| Ciências de terra | 151-200 | 49.6 | 67.1 | 67.1 | 27.9 | 0 | |
| Ecologia | 51-75 | 68.6 | 70 | 70 | 44.7 | ||
| Economia | 201-300 | 33.9 | 55.5 | 55.5 | 6.9 | 0 | |
| Educação | 301-400 | 30.2 | 58.1 | 58.1 | 12.5 | ||
| Ciência e Engenharia de Energia | 201-300 | 39 | 59.6 | 59.6 | 11.5 | 0 | |
| Ciência e engenharia Ambiental | 151-200 | 56.2 | 65.6 | 65.6 | 22 | 0 | |
| Ciência e tecnologia de alimentos | 16 | 200 | 66.3 | 76.3 | 76.3 | 44.4 | |
| Geografia | 151-200 | 54 | 68 | 68 | 22.8 | ||
| Ciências biológicas humanas | 151-200 | 38.9 | 64.8 | 64.8 | 20.4 | 0 | |
| Ciência e tecnologia de instrumentos | 201-300 | 35.1 | 63.1 | 63.1 | |||
| Administração | 301-400 | 42.8 | 57.4 | 57.4 | 0 | ||
| Ciência e engenharia de materiais | 401-500 | 38.5 | 59.9 | 59.9 | 8.4 | 0 | |
| Matemática | 45 | 135.5 | 68.8 | 59.3 | 59.3 | 39.7 | 0 |
| Engenharia mecânica | 201-300 | 34.5 | 58.2 | 58.2 | 34 | 0 | |
| Tecnologia médica | 201-300 | 25.1 | 66.3 | 66.3 | 11.2 | 0 | |
| Engenharia Metalúrgica | 151-200 | 32.7 | 62.2 | 62.2 | 23.6 | ||
| Engenharia de Mineração e Minerais | 51-75 | 28.4 | 68.6 | 68.6 | 23.2 | ||
| Oceanografia | 151-200 | 40 | 64.2 | 64.2 | 22.2 | ||
| Ciências farmacêuticas | 101-150 | 78.6 | 66.4 | 66.4 | 0 | 0 | |
| Física | 101-150 | 58.6 | 69.3 | 69.3 | 43.5 | 0 | |
| Ciência política | 201-300 | 23.1 | 60.4 | 60.4 | 17.4 | 0 | |
| Psicologia | 301-400 | 26.2 | 63.3 | 63.3 | 13.4 | ||
| Saúde pública | 76-100 | 36.4 | 66.9 | 66.9 | 29.8 | ||
| Ciências veterinárias | 31 | 168.5 | 87 | 61 | 61 | 40.2 |
A USP tem 35 áreas do conhecimento listadas no GRAS deste ano, com destaques em diversas áreas. Há um conjunto distinto de áreas interrelacionadas em ciências agrárias, biotecnologia, ecologia, ciências veterinárias e ciências de alimentos, enquanto odontologia, saúde pública, matemática e engenharia de mineração também apresentam alto desempenho. O que destaca essas áreas daquelas de desempenho comparável é o indicador “TOP”. Isso mostra que o alto desempenho neste ranking depende de poucos artigos em um pequeno número de periódicos altamente citados.
A grande variação de posição não é, em grande parte, refletida por grandes variações no único indicador que reflete as citações efetivamente recebidas pelos artigos – o indicador “CNCI”. Isso mostra que a universidade tem conseguido manter um nível de desempenho semelhante na maioria das áreas do conhecimento.
Unicamp – Universidade Estadual de Campinas
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Matemática | 201-300 | 52 | 71.1 | 71.1 | 0 | 0 | |
| Física | 201-300 | 41 | 71.2 | 71.2 | 37 | 0 | |
| Química | 401-500 | 37.2 | 66.3 | 66.3 | 17 | 0 | |
| Ciências de terra | 401-500 | 26.7 | 66.9 | 66.9 | 12.6 | 0 | |
| Ecologia | 151-200 | 42.9 | 72.5 | 72.5 | 33.3 | ||
| Engenharia mecânica | 301-400 | 23.7 | 61.6 | 61.6 | 19.2 | 0 | |
| Engenharia de telecomunicações | 201-300 | 24.2 | 57.8 | 57.8 | 19.4 | 0 | |
| Ciência e tecnologia de instrumentos | 101-150 | 31.4 | 79.6 | 79.6 | |||
| Ciência e engenharia de computação | 401-500 | 33.6 | 59.6 | 59.6 | 16.2 | 0 | |
| Engenharia química | 301-400 | 37 | 59.2 | 59.2 | 23.3 | 0 | |
| Ciência e tecnologia de alimentos | 14 | 205.9 | 70.2 | 80.5 | 80.5 | 44.1 | |
| Biotecnologia | 151-200 | 40.1 | 65.5 | 65.5 | |||
| Ciências agrícolas | 151-200 | 38.5 | 64.6 | 64.6 | |||
| Ciências veterinárias | 201-300 | 26.2 | 66.1 | 66.1 | 14.7 | ||
| Odontologia | 42 | 225.9 | 73.7 | 66.5 | 66.5 | 42.2 | 30.2 |
| Tecnologia Médica | 301-400 | 12.3 | 63.2 | 63.2 | 0 | 0 | |
| Ciências farmacêuticas | 301-400 | 42.5 | 65.6 | 65.6 | 0 | 0 |
A Unicamp tem dezessete áreas do conhecimento listadas no GRAS para 2022, metade do número da USP. Dado que sua produção na Web of Science é menos da metade da produção da Universidade de São Paulo, isso significa que está tendo um desempenho tão bom quanto a USP. Note-se que, nos indicadores independentes de tamanho (CNCI e IC), ela tem um desempenho um pouco melhor do que a USP, enquanto nos dependentes de tamanho (Q1 e TOP) tem um desempenho um pouco menor.
Notadamente, nas áreas em que a Unicamp se destaca, os indicadores CNCI e de colaboração internacional são os mais elevados. Isso sugere que proporções mais altas de colaboração internacional seriam a chave para melhorar o desempenho nesta comparação.
Unesp – Universidade Estadual Paulista
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Física | 201-300 | 39.3 | 71.6 | 71.6 | 32.9 | 0 | |
| Geografia | 201-300 | 34.8 | 66.2 | 66.2 | 19.7 | ||
| Ecologia | 201-300 | 46.3 | 65.1 | 65.1 | 21.1 | ||
| Engenharia mecânica | 201-300 | 24 | 70.3 | 70.3 | 21.2 | 0 | |
| Ciência e tecnologia de instrumentos | 151-200 | 30.9 | 80.6 | 80.6 | |||
| Ciência e engenharia ambiental | 401-500 | 37.3 | 63.5 | 63.5 | 9.4 | 0 | |
| Ciência e tecnologia de alimentos | 76-100 | 41.2 | 67.8 | 67.8 | 32.9 | ||
| Biotecnologia | 301-400 | 33.5 | 57.7 | 57.7 | |||
| Ciências agrícolas | 51-75 | 57.4 | 56.9 | 56.9 | |||
| Ciências veterinárias | 37 | 158.4 | 82.4 | 56.6 | 56.6 | 37.4 | |
| Odontologia | 76-100 | 82.2 | 65.1 | 65.1 | 29.8 | 0 | |
| Ciências farmacêuticas | 301-400 | 45.2 | 63.5 | 63.5 | 0 | 0 |
A Unesp tem quatro principais áreas de força: ciência e tecnologia de alimentos, ciências agrícolas e ciências veterinárias servem como um cluster interconectado, e odontologia como uma área separada. Curiosamente, vale destacar que o principal indicador que diferencia essas áreas das demais é o Q1 – o número de artigos em periódicos altamente citados.
Unifesp – Universidade Federal de São Paulo
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Ciências veterinárias | 201-300 | 23.1 | 71.2 | 71.2 | 14.7 | ||
| Medicina clínica | 401-500 | 20.5 | 64.6 | 64.6 | 15.7 | 0 | |
| Odontologia | 201-300 | 18.1 | 58.3 | 58.3 | 25.8 | 0 | |
| Ciências farmacêuticas | 401-500 | 38.1 | 62 | 62 | 0 | 0 |
As duas áreas mais fortes da Unifesp nesta análise – ciências veterinárias e odontologia – são notadamente menores que as áreas mais conhecidas da universidade, clínica médica e ciências farmacêuticas. Embora existam quinhentas instituições nos rankings de medicina e ciências farmacêuticas, há apenas trezentas em ciências veterinárias e odontologia. Isso explica a maior parte da diferença de posição entre eles.
UFSCar – Universidade Federal de São Carlos
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Ecologia | 401-500 | 25.6 | 54.6 | 54.6 | 14.9 | ||
| Biotecnologia | 401-500 | 25.4 | 65.6 | 65.6 | |||
| Engenharia Metalúrgica | 101-150 | 30.4 | 70.4 | 70.4 | 25.3 |
O destaque da UFSCar na engenharia metalúrgica se deve, principalmente, ao seu alto índice médio de citação (CNCI) e à forte internacionalização (IC).
UFABC – Universidade Federal do ABC
| Área do conhecimento | Posição | Pontos | Q1 | CNCI | IC | TOP | AWARD |
| Física | 301-400 | 31.6 | 76.7 | 76.7 | 32.7 | 0 |
A UFABC aparece apenas em sua área tradicional mais forte – a Física. Isso porque, em muitos casos, outras áreas de força ainda não publicam em volume suficiente para figurar no ranking. Essa deve ser a prioridade da universidade caso queira se tornar mais visível no ranking.
O que podemos aprender sobre as áreas com o melhor desempenho das universidades públicas paulistas?
Entre as universidades estaduais, há um conjunto comum de ciências agrárias, biotecnologia, ciências veterinárias e ciências de alimentos. Essas áreas são marcadas por uma forte interação entre as três universidades. Da mesma forma, as universidades públicas paulistas mostram uma força extraordinária em odontologia, com USP, Unicamp e Unesp entre as cem melhores, e a Unifesp entre as trezentas melhores.
Há uma série de razões para a forte correlação entre os pontos fortes em todas as áreas do conhecimento. Em primeiro lugar, podemos identificar fatores históricos – o estabelecimento de escolas agrárias no século XIX em São Paulo criou uma forte tradição e base de pesquisas que ajudaram a fortalecer o poder econômico local e nacional na agricultura. Essa potência pré-existente significa que, a qualquer momento, existem vários grandes grupos de pesquisadores de diferentes estágios de carreira ativos na pesquisa.
A existência de vários departamentos grandes e fortes nessas áreas significa que os melhores talentos podem ser mantidos no sistema e circular entre as universidades. Portanto, não apenas eles publicam grandes quantidades de pesquisas em coautoria entre si, mas também há uma circulação de pós-graduados e docentes que ajudam a criar uma cultura de excelência.
Conclusão
O GRAS é uma medida do desempenho da pesquisa das universidades em áreas do conhecimento na Web of Science. Os dois indicadores aos quais é importante prestar mais atenção para o desempenho universitário são os de impacto de citação normalizado (CNCI) e colaboração internacional (IC). Os outros são baseados no impacto do periódico, que é um proxy inadequado para o impacto real ou a qualidade da pesquisa e, portanto, deve ser usado com extrema cautela. O indicador Q1, no entanto, é um guia razoável para o desempenho da universidade na avaliação da Capes, embora deva ser lembrado que não há uma correspondência exata entre cursos de pós-graduação e áreas específicas do conhecimento.
As universidades paulistas devem aprender com os seus pontos fortes em agricultura e áreas afins, criando culturas de excelência nas quais todas as instituições crescem juntas, trabalhando juntas e garantindo uma circulação saudável de funcionários e alunos de pós-graduação.
Referências bibliográficas
Kiesslich, T.; Beyreis, M.; Zimmermann, G. & Traweger, A. “Citation Inequality and the Journal Impact Factor: Median, Mean, (Does It) Matter?” Scientometrics, vol. 126, pp. 1249-1269, 2021. https://doi.org/10.1007/s11192-020-03812-y
Righetti, Sabine & Gamba, Estevão. “Categorização do Ensino Superior no Brasil: Diversidade e Complementaridade”. In: Marcovitch, Jacques (org.). Repensar a Universidade ii: Impactos para a Sociedade. São Paulo, Com-Arte/Fapesp, 2019, pp. 139-159.
“Why High-Profile Journals Have More Retractions”. Nature, 2014. https://doi.org/10.1038/nature.2014.15951