O National Taiwan University Ranking of Academic Papers (anteriormente denominado ranking HEEACT) é uma avaliação somente do desempenho de uma universidade na Web of Science. Foi projetado inicialmente pelo The Higher Education Evaluation and Accreditation Council de Taiwan, como uma maneira de informar seus exercícios de avaliação de pesquisa. Não considera ensino, extensão, impacto social ou econômico da pesquisa. Não mede a produtividade dos pesquisadores, e depende de dados relatados não internamente, excetuando o número de funcionários acadêmicos, que eles declaram coletar dos sites das universidades.
Este ranking é útil como uma medida da quantidade de atenção acadêmica recebida pelas publicações de uma universidade, embora algumas das pontuações agregadas devam ser tratadas com cautela, já que existe um número de casos de contagem dupla na metodologia – em número de artigos, número de citações e número médio de citações por artigo contados como três indicadores separados. Assim como o ranking de Leiden, o NTU explica melhor as pontuações de “citações” e “publicações” usadas em outros rankings, além de ter o benefício de dar maiores detalhes sobre as disciplinas do que no Leiden Ranking.
Indicadores para o NTU 2019
| Área | Métrica | Ponderação | Fonte | Dependente do Tamanho |
| PRODUTIVIDADE DA PESQUISA:Artigos publicados nos últimos 11 anos (2008-2018) | Artigos publicados para SCI-E e SSCI ao longo dos últimos 11 anos. A contagem é feita anualmente em abril, para garantir que sejam incluídos os números do ano todo. | 10% | Indicadores de Ciências Essenciais InCites | Sim |
| PRODUTIVIDADE DA PESQUISA:Artigos publicados no último ano | Artigos publicados para SCI-E e SSCI ao longo do último ano. A contagem é feita anualmente em abril, para garantir que sejam incluídos os números do ano todo. | 15% | Indicadores de Ciências Essenciais InCites | Sim |
| IMPACTO DA PESQUISA;Número de citações nos últimos 11 anos. | O número total de citações que a produção de uma universidade recebeu nos últimos 11 anos. | 15% | Web of Science SCI e SSCI | Sim |
| IMPACTO DA PESQUISA:Número de citações nos últimos 2 anos | O número de citações que uma universidade recebeu nos últimos dois anos. | 10% | Indicadores de Ciências Essenciais InCites | Sim |
| IMPACTO DA PESQUISA:Média de citações nos últimos 11 anos | O número médio de citações que a instituição recebeu nos últimos 11 anos, uma tentativa de equilibrar as distorções criadas pelas instituições grandes | 10% | Web of Science SCI e SSCI | Não |
| EXCELÊNCIA DA PESQUISA:h-index dos últimos dois anos | O índice de Hirsch, calculado por pesquisadores individuais pela fórmula de citações/artigos publicados | 10% | Web of Science SCI e SSCI | Não |
| EXCELÊNCIA DA PESQUISA:Artigos Altamente Citados | Número de artigos na lista de Altamente Citados nos últimos 10 anos (período atual 2008-2018) | 15% | Indicadores de Ciências Essenciais InCites “Artigos Altamente Citados” | Sim |
| EXCELÊNCIA DA PESQUISA: Artigos do ano vigente nos periódicos altamente citados (2018) | Contagem de dois anos do topo 5% dos periódicos no Journal Citation Report | 15% | Web of Science SCI e SSCI | Sim |
Oitenta por cento desse ranking é dependente do tamanho – significando que as universidades maiores têm melhor desempenho do que as universidades menores nesses indicadores. Entretanto, diferentemente da maioria dos rankings, o NTU não usa dados históricos nem de prestígio, que são fortemente relacionados com a idade da instituição. Isso significa que, embora o ranking favoreça as instituições maiores, ele não confere necessariamente vantagens para as mais velhas. Portanto, como a USP é uma universidade muito grande, seria esperado que ela viesse a ter um desempenho significativamente melhor do que a Unicamp ou a Unesp. Por essa razão, as três universidades estaduais não serão comparadas diretamente entre si em termos de posição no ranking.
Também existe um problema que o número de citações não é normalizado por área de conhecimento, significando que certos perfis institucionais – especialmente aqueles com forte enfoque nas ciências duras – são favorecidos em detrimento daqueles com, por exemplo, o enfoque na ciência sociais. Como o ranking não é ponderado por ano de publicação (de acordo com uma pontuação baseada em quantas citações seriam esperadas em um determinado ano), isso significa que os artigos mais antigos têm uma vantagem natural sobre os mais recentes, nas categorias de 11 anos. Isso significa que é difícil para universidades aumentar em curto prazo essa pontuação pela publicação de pesquisas no ano atual, mesmo quando as melhorias são enormes.
Seleção da Amostra
As universidades são selecionadas a partir de 4000 instituições listadas na base de dados Clarivate’s Essential Science Indicators (ESI); uma versão mais restrita do Web of Science completo, pois diferentemente de outros rankings, o NTU de fato depende dessa ferramenta para alguns indicadores. Então, ele seleciona as 900 mais produtivas (com a maioria dos artigos publicados) e remove as instituições não universitárias.
Os dados são coletados dos ESI em março (quando são atualizados), e os dados da Web of Science Core Collection são obtidos em abril.
Normalização
Diferentemente de outros rankings, o NTU usa uma normalização por escore t (T = (X – μ) / [s/√(n) ]). Essa pontuação é usada para casos onde o desvio padrão é desconhecido, ou onde o tamanho da amostra seja inferior a 30. Para todos os propósitos práticos, o NTU é normalizado da mesma maneira que o QS e o Times Higher, significando que as universidades mais para baixo na escala não exibem todas um desempenho idêntico
Resultados das Universidades Estaduais de São Paulo
USP
| Ano | Posição* | Total | Artigos em 11 anos | Artigos Atuais | Citações em 11 anos | Citações Atuais | Média de Citações | Índice H | Artigos HiCi | Periódicos de Alto Impacto |
| 2019 | 51 (87)* | 71,3 | 97,7 | 94,1 | 68,8 | 73,6 | 43,7 | 68,5 | 60,8 | 62,9 |
| 2018 | 52 (91)* | 70,8 | 97,8 | 93,6 | 68 | 72,2 | 43,8 | 67,9 | 59,4 | 62,9 |
| 2017 | 56 (103)* | 66,4 | 92 | 89,7 | 63,9 | 66,9 | 41,4 | 62,6 | 56 | 57,7 |
*A posição normalizada por tamanho está entre parênteses
Em todas as dimensões deste ranking, a USP melhorou ou manteve sua posição. De fato, ela se beneficia de seu tamanho, mas a posição entre parênteses mostra que mesmo sem essa vantagem a universidade ainda seria uma das topo 100 do mundo usando essa metodologia. Embora a universidade não tenha avançado significativamente em nenhum dos indicadores, mostrou um progresso constante e estável no panorama geral.
Os rankings de campo e disciplina apontam para um quadro diferente nos últimos poucos anos, como sugerido pela planilha anexa. Como o número de artigos contados é menor para esses sub-rankings, seria esperado que fossem mais voláteis. Para o campo, a USP progrediu de forma impressionante em agricultura (da posição 57 em 2008 para 16 em 2019), crescendo similarmente, de foram impressionante, em ciências da vida (123 para 48), medicina (162 para 65) e ciências sociais (294 para 125). Nas ciências naturais, a posição caiu levemente, mas ainda é forte (posição 71 para 85). Entretanto, engenharia apresentou um declínio significativo nesse período (114 para 175).
Isso se repete em uma análise do ranking por matéria, onde Ciências da Agricultura, Meio Ambiente/Ecologia, Geociências, Matemática, Farmacologia & Toxicologia e Ciências Vegetais & Animais são todas extremamente fortes, sendo que muitas são de excelência. A USP está melhorando contínua e constantemente nessas áreas. Por outro lado, Engenharia química, Química, Engenharia civil, Ciência da computação, Engenharia elétrica, Ciência dos materiais e Engenharia mecânica sofreram todas um declínio de vinte posições ou mais. Embora seja normal para as universidades terem perfis de desempenho assimétricos, parece haver duas direções distintas a serem seguidas nesse ranking entre ciências biológicas e ciências da vida que estão melhorando rapidamente em comparação com seus pares globais, mas engenharia e especialmente ciências químicas estão se tornando menos competitivas
Unicamp
| Ano | Posição* | Total | Artigos em 11 anos | Artigos Atuais | Citações em 11 anos | Citações Atuais | Média de Citações | Índice H | Artigos HiCi | Periódicos de Alto Impacto |
| 2019 | 301 (285) | 52,7 | 59,7 | 60 | 51,4 | 53,5 | 42,5 | 54,6 | 50 | 49,8 |
| 2018 | 305 (300) | 52,3 | 59,5 | 59,5 | 51,1 | 52,5 | 42,6 | 53,3 | 49,3 | 50 |
| 2017 | 316 (306) | 50 | 56,8 | 55,7 | 49,3 | 50,2 | 40,3 | 51,1 | 48,2 | 47,8 |
*A posição normalizada por tamanho está entre parênteses
A posição da Unicamp não é ajudada por seu tamanho, demonstrado pelo fato que sua pontuação normalizada por tamanho é levemente melhor do que sua posição geral. Ao longo dos últimos três anos, a Unicamp melhorou levemente, ou manteve seu desempenho em todas as áreas, em relação a outras universidades incluídas neste ranking. É interessante notar que o desempenho da Unicamp é relativamente melhor para os artigos altamente citados (topo 10%) do que para a média de citações, significando que a universidade produz uma maior quantidade de pesquisa de alto impacto do que as universidades ao seu redor, mas também uma maior quantidade de pesquisa de menor impacto. O fato de os artigos HiCi estarem crescendo é promissor – e de longo prazo irá estimular o aumento na contagem média das citações. Entretanto, isso somente acontecerá ao longo de um número de anos, já que o número de artigos HiCi é normalizado por área de conhecimento e ano de publicação, significando que, frequentemente, o artigo em si ainda não adquiriu um número significativo de citações.
No ranking por campo, a agricultura é a área mais forte, apresentando um crescimento constante. Entretanto, o desempenho neste ranking em engenharia apresentou um declínio drástico ao longo da última década, da posição 145 em 2008 para 299 em 2019. Uma queda menor, mas ainda assim considerável, também foi observada em ciências naturais (da posição 224 para 279). É curioso que, em um nível individual, uma maioria das áreas tenha mantido ou melhorado seu posicionamento, com uma exceção para engenharia civil, engenharia química e ciências dos materiais, que vêm todas apresentando um declínio contínuo desde 2010.
Unesp
| Ano | Posição* | Total | Artigos em 11 anos | Artigos Atuais | Citações em 11 anos | Citações Atuais | Média de Citações | Índice H | Artigos HiCi | Periódicos de Alto Impacto | Classificação de Ref |
| 2019 | 327* (403) | 52 | 62,9 | 62,2 | 50,8 | 51,8 | 39,1 | 52,3 | 47,9 | 48,2 | 403 |
| 2018 | 314* (394) | 52 | 62 | 61,9 | 50,4 | 53,1 | 39,4 | 53,3 | 47,5 | 48 | 394 |
| 2017 | 326* (397) | 49,6 | 58,6 | 58,8 | 48,4 | 49,5 | 36,5 | 51,1 | 46,4 | 46,4 | 397 |
*A posição normalizada por tamanho está entre parênteses
A Unesp ocupou uma posição relativamente constante neste ranking ao longo dos últimos três anos. Teve um desempenho melhor nas situações totais adquiridas do que na média de citações, e melhor em termos de número de artigos publicados. Comparada com a USP e a Unicamp, ela publica menos em periódicos de alto impacto, mas isso não afetou sua capacidade de publicar artigos altamente citados. Em comparação com suas universidades irmãs, a Unesp tem uma concentração muito mais alta de áreas com excelência excepcional, e menos visibilidade em outras áreas do conhecimento.
A Unesp tem algumas áreas inter-relacionadas de capacidade de pesquisa de excelência; em ciências da agricultura, ciências vegetal e animal, e ciências ambientais, e potencialidades relativas em farmacologia, física e engenharia elétrica. Se a universidade deseja avançar em outras áreas do conhecimento, deveria iniciar a partir dessas bases.
Benchmark
Devido à alta dependência deste ranking com o tamanho, e o desempenho geral alto das universidades estaduais em termos de números de publicação, essas instituições de referência são universidades públicas, abrangentes, em regiões não anglófonas, que publicaram um número similar de artigos nos últimos 11 anos, e que tiveram desempenho melhor em outros indicadores do que as universidades estaduais. Como mostra o gráfico acima, Unicamp e Unesp têm perfis quase idênticos, então são tratadas juntas na mesma referência, enquanto a USP está consideravelmente mais alta, sendo tratada separadamente – embora deva-se observar que, para as variáveis independentes do tamanho, essa diferença é insignificante.
| Posição | Total | Artigos em 11 anos | Artigos Atuais | Citações em 11 anos | Citações atuais | Média de Citações | Índice H | Artigos HiCi | Periódicos de Alto Impacto | Classificação de Ref | |
| Unesp | 327 | 52 | 62,9 | 62,2 | 50,8 | 51,8 | 39,1 | 52,3 | 47,9 | 48,2 | 403 |
| Wuhan | 142 | 60,2 | 62,8 | 73,2 | 54,1 | 66,5 | 45,2 | 63,9 | 54,2 | 61,1 | 202 |
| Kyushu | 242 | 55 | 62,4 | 59,6 | 55,1 | 54,8 | 47,3 | 55,8 | 51,1 | 54 | 217 |
| Charles University de Praga | 188 | 57,3 | 62,1 | 61,1 | 56,1 | 58,5 | 49,5 | 63,3 | 56,2 | 52,9 | 224 |
| UNAM | 237 | 55,1 | 65,6 | 66,1 | 53,8 | 54,7 | 42,5 | 55,8 | 50,5 | 51,3 | 344 |
| Unicamp | 301 | 52,7 | 59,7 | 60 | 51,4 | 53,5 | 42,5 | 54,6 | 50 | 49,8 | 285 |
Este benchmark mostra claramente o benefício que a Wuhan obtém ao publicar altos volumes de pesquisa no ano atual – sua produtividade nos últimos dois anos sendo muito mais alta, em comparação com os 11 anos anteriores. É bastante notável o que essa universidade também publicou muito mais em periódicos de alto impacto, quando comparada com outras instituições. Isso sugere efeitos fortes do ambiente político chinês atual, em vez de uma força geral maior em sua capacidade de pesquisa. As outras três universidades neste benchmark estão próximas em pontuação à Unicamp e à Unesp, refletindo o fato de que em níveis menores dos rankings com z-score, pequenas melhorias nas pontuações podem provocar grandes alterações na posição. Todas publicam com velocidades similares em periódicos de alto impacto, refletindo o achado na literatura que este é um preditor fraco das citações crescentes no nível de um artigo, especialmente levando em conta que Kyushu publica mais em periódicos de alto impacto, mas não é a mais forte para artigos altamente citados ou para a média de citações.
Embora o desempenho de impacto seja relativamente similar para UNAM, Unesp e Unicamp, sua produção levemente mais alta é responsável provavelmente pela maior parte da diferença na posição, dado o maior número de artigos do ano vigente, e nos últimos 11.
| Posição | Total | Artigos em 11 anos | Artigos Atuais | Citações em 11 anos | Citações atuais | Média de Citações | Índice H | Artigos HiCi | Periódicos de Alto Impacto | Classificação de Ref | |
| USP | 51 | 71,3 | 97,7 | 94,1 | 68,8 | 73,6 | 43,7 | 68,5 | 60,8 | 62,9 | 87 |
| Tóquio | 28 | 77,1 | 93,3 | 87,5 | 82,5 | 79,9 | 55,7 | 71,9 | 71,6 | 71,9 | 29 |
| Zhejiang | 36 | 74,9 | 88,9 | 99 | 67,9 | 81,9 | 46,2 | 67,3 | 64,3 | 78,6 | 56 |
| Tsinghua | 21 | 80,8 | 84,2 | 96,3 | 69,3 | 94,7 | 49,6 | 78,3 | 73,9 | 94,9 | 33 |
| Sorbonne | 35 | 75,2 | 79,1 | 76,2 | 80,6 | 79,8 | 64,8 | 74,2 | 73,5 | 72,2 | 52 |
| NUS | 41 | 73,3 | 77,7 | 75,8 | 73,4 | 75,7 | 58,4 | 68,5 | 72,5 | 80,3 | 60 |
A perspectiva de progresso para a USP é muito mais limitada do que para a Unicamp e para a Unesp – entrar no topo 200 é relativamente muito mais fácil do que galgar mais alto no topo 50. O maior desempenho de Zhejiang é principalmente explicável por publicar mais em periódicos de alto impacto, enquanto as publicações dos dois anos anteriores de Tsinghua, tanto em periódicos de alto impacto quanto em artigos altamente citados, colocaram essa universidade em uma posição muito alta.
A National University of Singapore, embora não seja tão notável em termos de artigos altamente citados, tem um foco maior nos periódicos de alto impacto como fonte de seu desempenho, enquanto para Tóquio e Sorbonne, as duas pontuações são bem equilibradas. A área mais evidente na qual a USP está atrás das outras nesta referência é no número de artigos altamente citados, e é nisso que ela deveria focar suas atenções, para ganhar pontos e subir nesse ranking.
Prioridades para a Ação
Em áreas que exibiram um declínio gradual, mas considerável, no desempenho neste ranking, as universidades deveriam realizar uma revisão das causas subjacentes para essas quedas relativas. Na maioria, isso não é devido à qualidade ou ao impacto da pesquisa ser necessariamente menor do que outras áreas, mas porque as taxas de publicação não mantiveram a mesma velocidade de outros países onde essas áreas são priorizadas mais intensamente.
As universidades deveriam valorizar os artigos altamente citados (topo 10%), não apenas porque eles têm peso neste ranking, mas eles ajudam a elevar a taxa de citação mais rapidamente em longo prazo, mesmo se os resultados imediatos nem sempre são aparentes. Isso é preferível para os periódicos de alto impacto (onde o efeito sobre a taxa de citação global não está claro), ou as medidas do índice H – onde o método de contagem frequentemente é contraintuitivo na maneira que concebemos os grupos de pesquisa de alto impacto.
As áreas de ciências da agricultura, ciências vegetais e animais, farmacologia, ciências ambientais são todas fortes nas três universidades. Os fatores para esse sucesso deveriam ser estudados mais profundamente, os achados deveriam ser usados para determinar como as três podem se fortalecer mutuamente, e também como esse conhecimento e experiência podem ser transferidos para outras áreas.
Outra área na qual as três universidades têm uma especialização excelente é matemática, tornando curiosa sua relativa falta de força em engenharia, especialmente em ciências da computação. Para tanto, as universidades devem estudar a maneira pela qual países como Israel fomentaram centros de pesquisa multidisciplinar no Programa I-Core, ou o Chile usou sua especialização em astronomia para promover maior força em uma variedade de disciplinas, alavancando suas vantagens preexistentes.