O ARWU Shangai Jiao Tong foi o primeiro dos rankings globais, publicado desde 2003. O objetivo inicial de um grupo de acadêmicos foi o de oferecer uma ferramenta de comparação capaz de medir o grau de sucesso do grupo de instituições emergentes da elite das universidades chinesas (C9), em relação ao grupo de instituições similares dos Estados Unidos. Por conta dessa origem, os índices com maior peso nesse ranking estão mais alinhados com uma ideia de prestígio nacional do que os atributos relativos ao ambiente institucional.
Nesse contexto, o governo chinês não estava especificamente interessado em criar universidades provedoras de melhores ambientes institucionais, mas de criar um sistema de universidades capaz de elevar o progresso científico e o prestígio da China em comparação aos EUA. Como resultado, os indicadores considerados por esse ranking são todos relacionados à produção científica, geralmente não normalizados por tamanho das universidades. O ranking tende a se concentrar em uma seleção de indicadores de pertencimento a uma elite, baseando-se em critérios como número de prêmios Nobel, ou número de publicações nas revistas do Nature e Science. Estes indicadores refletem marginalmente as características fundamentais para entender os sistemas de pesquisa aos quais pertencem as universidades listadas.
Esse ranking privilegia universidades grandes, intensivas em pesquisa, com orientação para publicações internacionais. Tem também uma tendência em favorecer as universidades mais focadas em ciências físicas, em oposição às instituições orientadas para as ciências biológicas. Por não utilizar a ponderação de contagem fracionária de autores, o ranking acaba favorecendo desproporcionalmente artigos com dezenas de autores. Tais publicações são comuns no campo de estudos de física de alta energia. Os indicadores selecionados privilegiam as ciências da natureza, especialmente, física.
Metodologia ARWU 2020
| Qualidade da educação | Egresso ganhador de um Nobel Prize ou Fields Medals | Alumni | 10% |
| Qualidade do corpo docente | Número de membros da instituição laureados com prêmios Nobel ou prêmios reconhecidos internacionalmente em áreas específicas do conhecimento | Award | 20% |
| Pesquisadores altamente citados | HiCi | 20% | |
| Performance de pesquisa | Publicações nas revistas Nature e Science* | N&S | 20% |
| Artigos indexados em Science Citation Index-Expanded e Social Science Citation Index | PUB | 20% | |
| Performance Per Capita | Performance acadêmica per capita da instituição | PCP | 10% |
| Total | 100% |
Essa metodologia serve para descrever um tipo específico de universidades na elite dos EUA, com longa tradição e história. Não serve, portanto, para descrever os aspectos importantes de interesse para as universidades públicas brasileiras.
Desde 1948, tem decrescido o número de laureados do prêmio Nobel e vencedores de Fields de fora dos EUA e Europa. Nenhum pesquisador foi agraciado com um desses prêmios estando vinculado a uma instituição latino-americana. Desta forma, para a grande maioria das instituições presentes neste ranking, os indicadores “Alumni” e “Award” não oferecem objetivos úteis nem tem caráter descritivo na classificação. Em razão desses indicadores cobrirem uma extensão de tempo de 50 anos, as universidades podem estar sendo creditadas por trabalhos realizados nos anos 1960, os vencedores desses prêmios podem ter morrido há muito tempo, e o mérito científico dessas conquistas pode estar superado. A afirmação de que esses indicadores representam a qualidade da educação oferecida por essas instituições é, no mínimo, duvidosa.
Correndo contra as tendências, o ARWU considera para efeito de medição do impacto de artigos, apenas publicações nas revistas Science e Nature, e a presença de pesquisadores individualmente na lista de artigos altamente citados Clarivate, como medida da qualidade e do impacto da pesquisa na instituição. Publicações nessas duas revistas são um importante indicador da produção de ciência de nível mundial para uma instituição e, certamente, deve ser um indicador monitorado. No entanto, ignorar publicações altamente citadas constantes de outras publicações, atribui a esse indicador útil um viés de parcialidade que deve ser considerado na análise de resultados.
O ingresso na lista de artigos altamente citados é um indicativo de excelência em pesquisa para muitas áreas do conhecimento, mas mesmo assim, oferece uma visão parcial dos atributos que atestam a qualidade do corpo docente de uma instituição. Essa forma de medição desconsidera, por exemplo, a habilidade ou qualquer outra dimensão da dedicação de um corpo docente – é perfeitamente possível para um pesquisador ingressar nessa lista sem ter nunca lecionado, conduzido um projeto de extensão, ocupado funções de governança ou integrado uma banca de pós-graduação. De fato, para ingressar nessa lista, é possível que muitas dessas atividades tenham que ser negligenciadas pelos docentes em favor do empenho constante em publicar.
Essa forma de medir a qualidade representa uma visão demasiadamente estreita dos fatores de sucesso institucional, que reflete uma orientação muito específica da abordagem chinesa em relação à modernização da educação de nível superior.
As mudanças na governança do projeto 985 introduziram vultosos incentivos financeiros a pesquisadores individuais pela publicação em uma seleta lista de periódicos. Essa medida levou a uma corrida para publicação, privilegiando o título do periódico em detrimento da qualidade e do impacto do esforço de pesquisa científica e a celebração de um tipo de superstar individual da pesquisa ao invés de premiar a força do trabalho coletivo. Essa abordagem trouxe importantes resultados em relação ao investimento para a China, o que não significa necessariamente que essa forma de medir a qualidade descreva adequadamente a forma em que se pensa na maioria dos outros países sobre qualidade de pesquisa, impacto e desenvolvimento.
O que se observa, neste sentido, é um crescente interesse em capturar os aspectos subjetivos da qualidade, outras formas de impacto, e no desenvolvimento de equipes de pesquisa. É possível considerar que universidade com recursos financeiros disponíveis tenham conseguido ganhar posições, simplesmente por contratar pesquisadores altamente citados, declarando uma segunda afiliação institucional.
A despeito de todas as ressalvas, o ARWU segue sendo um ranking muito influente, que mostra aspectos sobre a capacidade de produção das instituições de forma mais ampla, que requer uma leitura cuidadosa para sua compreensão.
| World Ranking | Instituição | Alumni | Award | HiCi | N&S | PUB | PCP |
| 101-150 | Universidade de São Paulo | 0 | 0 | 15.7 | 12.1 | 77.5 | 17.6 |
| 301-400 | UNESP | 0 | 0 | 7 | 3.8 | 48.1 | 19.2 |
| 301-400 | Universidade de Campinas | 0 | 0 | 7 | 6.6 | 46.5 | 18.7 |
| 601-700 | Universidade Federal de São Paulo | 0 | 0 | 0 | 2.9 | 33 | 13.1 |
| 701-800 | Universidade Federal de São Carlos | 0 | 0 | 0 | 4.1 | 29.1 | 11.6 |
Como o HiCi, N&S e PUB são indicadores dependentes do tamanho da instituição, a USP posiciona-se bem à frente da Unicamp e UNESP neste ranking. O indicador PCP, entretanto, mostra que quando o indicador é normalizado pelo número de autores no Web of Science, a UNESP e a Unicamp têm uma performance melhor que a USP. Desse fato, infere-se que naquilo que diz respeito às parcelas das comunidades das três universidades estaduais paulistas, a performance é praticamente similar.
Quanto às universidades federais, elas apresentam números um pouco menores, mas essa variação é quase inteiramente explicada pela ausência de pesquisadores nas listas de mais citados. Esse é um fator determinante para essas instituições. Se cada uma das federais citadas integrasse às suas equipes de pesquisa um ou dois pesquisadores dessas listas, elas passariam a ocupar posições nos mesmos patamares da Unicamp e da Unesp.
Para as universidades estaduais, as prioridades para melhoria nesse ranking em um próximo ciclo seriam identificar e reter pesquisadores das listas de mais citados, tanto quanto indivíduos com potencial para integrar essas listas, além de almejar publicações nas revistas Nature e Science. A produtividade das instituições estaduais é notavelmente alta – dado que o Science Citation Index – Extended e o Social Science Citation Index não têm uma cobertura muito ampla de periódicos locais.
Prioridades para o próximo ciclo às universidades que desejem ganhar posições nesse ranking:
- Identificar pesquisadores próximos da lista de altamente citados, garantindo apoio institucional e financeiro adequado para que eles elevem o patamar de suas publicações e sejam incluídos nessas listas.
- Incentivar a publicação nas revistas Nature e Science, privilegiando-os especificamente em avaliações de desempenho de pesquisa baseadas em periódicos.