Categorias
Análises

THE Latam 2021

Análise dos resultados do Times Higher Education Latin America 2021

O Times Higher Education Latin America é, dentre os rankings regionais, o de maior abrangência e visibilidade na mídia. O seu lançamento acontece anualmente no mês de julho, durante o evento Times Higher Education Latin America Summit. Sendo uma iniciativa comercial, seu principal objetivo é atrair visitantes para o site do Times Higher Education, além de oferecer aos alunos e suas famílias informações para a escolha de universidades para postulação.
As principais ações a serem consideradas pelas universidades relativas ao Times Higher Education Latin America 2021 são os seguintes:

  • Fatores com impacto no aprimoramento de atividades de ensino e internacionalização:
    • Monitoramento dos egressos estudando ou trabalhando em outras instituições.
    • Destaque da importância da mobilidade estudantil – tanto mobilidade física (quando possível) quanto virtual.
  • Fatores para o aprimoramento e identificação de renda industrial:
    • Aprimorar mecanismos de coleta e relatoria de dados, assegurando que, quando possível, instituições conveniadas sejam identificadas.
  • Enfoque no indicador “Citations”:
    • Como haverá mudança na metodologia de citação no próximo ano, o acompanhamento exigirá o monitoramento da taxa de citação normalizada por campo de conhecimento (FWCI) e as publicações entre os 25% mais citados no índice Scopus.
    • Identificar a presença de grupos de alto impacto ou potencial alto impacto para apoio.


O ranking do Times Higher Education América Latina utiliza os mesmos indicadores do ranking do Times Higher Education Global. A única diferença é uma ponderação ligeiramente distinta, que reduz o peso do indicador de citações e aumenta o peso para pesquisa e ensino.

Diferenças do THE Global Ranking

Tal qual o ranking global, o ranking da THE para a América Latina tende a favorecer as universidades que sejam bem financiadas, com salas de aula menores e, principalmente, as universidades que apresentam taxa de publicação por docente alta. O impacto das citações nesse ranking tem peso 10% menor em relação ao ranking global.
Embora essas diferenças sejam pequenas, elas têm um grande impacto no resultado desta classificação em comparação com o ranking global. A PUC-Chile, que ocupa o primeiro lugar no ranking da América Latina, está pelo menos 250 posições abaixo da USP no ranking global.

Times Higher Education 2021 ranking Global

UniversidadePosiçãoEscore totalEnsino PesquisaCitaçõesInternacionalIndústria
USP201-25050.6–54.256.658.944.241.735.2
Unicamp401-50039.8–43.545.343.937.245.732
PUC-Chile501-60036.4–39.725.130.555.47757.8

Embora sejam sutis as alterações na ponderação dos mesmos indicadores, é surpreendente observar os impactos destas modificações. Enquanto a mudança dos pesos explica a diferença entre os dois rankings, a maior variação consiste na forma como as posições no ranking são calculadas. Este ranking para a América Latina se utiliza do escore-z, que considera a distância dos indivíduos em relação à média de pontos e dos resultados do survey de reputação para a classificação das universidades.

Em uma classificação normalizada de escore-z, os escores dos indicadores são representações da distância dos resultados em relação à média (que tem uma pontuação de 50). Assim, as pontuações seguem uma distribuição normal. Para a amostra global, o desempenho inferior da PUC-Chile nos indicadores de reputação se traduz em escore 36 pontos inferior à USP no ensino, e 28,4 pontos em pesquisa. No ranking da América Latina, a PUC-Chile está 0,2 pontos abaixo em pesquisa e 14,5 em ensino. No ranking global, as duas instituições residem em torno da faixa média de pontuação. Desta maneira, pequenas variações no desempenho podem se traduzir em grandes variações na pontuação do indicador. Por outro lado, no ranking da América Latina as instituições situam-se perto do topo do ranking, onde maiores variações no desempenho resultam em menores variações na pontuação. Isso significa que as vulnerabilidades de desempenho da PUC-Chile são muito menos aparentes no ranking da América Latina, porque aqui existem poucas instituições que são mais fortes do que a PUC-Chile nessas áreas, enquanto há muitas instituições que são mais fortes em nível global.

Já para as citações, há 22,4 pontos de diferença entre a USP e a PUC-Chile no THE Latam, mas apenas 13,2 no ranking global. Neste caso, porque há mais instituições pequenas no ranking da América Latina com pontuações muito altas de impacto de citação ponderado pelos campos de conhecimento, essas instituições não aparecem no ranking global e, portanto, a distribuição das pontuações é menor. Podemos dizer que, enquanto o ranking global enfatiza os pontos fortes da USP e da Unicamp, o Ranking da América Latina enfatiza os pontos fortes da PUC-Chile.

Citações

Como no ranking global, o da América Latina utiliza uma mesma medida para impacto da citação normalizado por área de conhecimento (Field Weighted Citation Index, FWCI) da Scopus, além de uma versão desse mesmo indicador normalizada por país. O FWCI é um indicador útil para o impacto da citação pois evita muitos dos problemas decorrentes de outras análises de citações. No entanto, como Rowlands (2020), entre outros, identificou, perde-se a confiabilidade quando a análise incide sobre amostras pequenas. Para o da América Latina, o uso desse indicador introduz elevado ruído estatístico que perturba a classificação em determinadas faixas, a depender do tamanho das amostras e consequentemente dos intervalos de confiança resultantes do cálculo do FWCI. A tabela abaixo apresenta uma variedade de instituições, comparando intervalos estimados para seus escores FWCI. Dada a presença desses intervalos de confiança extensos, a atribuição de pontuações de indicadores exatamente determinantes é problemática, especialmente para universidades com cerca de 1000 artigos, que concentram-se em uma faixa grande.

THE Latam Escore em citaçõesFWCIArtigosIntervalo de confiança (95%) +/-Faixa estimada
Universidade A72.91.1570,2112.41.12 – 1.17
Universidade B99.91.626358.81.45 – 1.74
Universidade C1001.919598.81.73 – 2.06
Universidade D991.47101511.91.29 – 1.64
Universidade E63.61111811.90.8 – 1.2
Universidade F48.51240623.30.97 – 1.03
Universidade G37.20.849957.40.74 – 0.86

Por causa desse problema, o editor-chefe do THE, Phil Baty, anunciou que a partir do próximo ano, o Times Higher está planejando implementar uma nova medição para citações com base em percentis. Diferente do ranking de Leiden, por exemplo, o Times Higher se concentrará nas publicações do quartil superior.

As universidades que desejam antecipar seu desempenho para o próximo ano devem seguir tanto o FWCI quanto a proporção de publicações entre os 25% mais citados por área do conhecimento e ano de publicação. É de fundamental importância anotar que este indicador não é o mesmo que é referido como Q1, que se refere às citações acumuladas pela revista em que o artigo é publicado. Não se trata, portanto, de medição de impacto de artigos. A alteração proposta é uma métrica no nível de artigo comparável à utilizada pelo ranking de Leiden. Esta alteração produz um resultado que é menos distorcido pela presença de alguns artigos com muitas citações.

Desempenho de universidades estaduais paulistas

USP

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
2021287.672.959.158.910091.9
2020287.672.96356.410092.3
201928874.95659.910092.1
201828678.45759.710084.4
2017287.570.550.257.510094

A USP permaneceu na segunda posição nos últimos cinco anos, com relativamente pouca mudança na pontuação na maioria dos indicadores. Apenas o indicador de renda da indústria melhorou significativamente – como vale apenas 2,5% do total, faz pouca diferença no desempenho geral. Pelas razões expostas na primeira seção, obter a primeira posição nessa metodologia seria muito difícil para a USP. No entanto, quando a nova metodologia de citação for implementada, espera-se um aprimoramento significativo na pontuação de citação para o próximo ano, uma vez que universidades mais intensivas em pesquisa provavelmente serão favorecidas em relação às instituições pequenas, com poucos artigos altamente citados. Essa mudança pode ser suficiente para colocar a USP na primeira posição.

Unicamp

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
2021386.365.573.156.110092
2020386.56674.453.910092.8
2019387.87171.857.199.993.1
2018186.578.674.356.199.885.4
2017187.973.76754.498.594.2

A Unicamp já ocupa a terceira posição nas últimas três edições. Enquanto na maioria dos indicadores o desempenho permaneceu relativamente constante, a Universidade perdeu pontos no indicador de citações. Isso ocorreu porque o FWCI geral não avançou na Unicamp nos últimos três períodos de relatório, sendo que nesse mesmo tempo observou-se um crescimento significativo na USP, por exemplo. Combinado com o aumento no número de universidades a cada ano, algumas das quais com taxas altas no FWCI, a Unicamp está perdendo espaço neste ranking.

Esta situação deve melhorar assim que a nova metodologia for introduzida, já que a Unicamp tem melhor desempenho nos modelos de distribuição percentual do que a USP, situando-se próxima à PUC-Chile.

Unesp

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
20211179.741.951.349.697.891.9
20201080.340.955.148.198.693.2
20191079.741.945.341.798.593.3
20181176.843.740.650.395.785.3
20171271.834.83841.787.786

O escore da Unesp melhorou significativamente nos últimos cinco anos, mas sua posição no ranking não reflete esta situação. Embora a receita da indústria tenha melhorado mais do que os demais indicadores, houve avanços significativos em todos os outros quesitos.

Se a Unesp almeja em edições futuras um lugar entre os dez primeiros colocados, o desafio seria concentrar-se em melhorar o seu mecanismo de aferição de receitas, citações e internacionalização. Para o quesito de citações, a nova metodologia deve favorecer a Unesp, pois o desempenho entre os 10% melhores cresceu de forma mais consistente do que o FWCI.

Total201120122013201420152016201720182019
FWCI0.890.80.830.830.860.871.060.940.910.91
Entre os 10% mais citados na área(top 10%, field-weighted)7.56.46.16.87.46.88.67.48.98.2

Uma melhoria na aferição de citações e aprimoramento das medições de receita industrial seria suficiente para que a UNESP ultrapassasse a UFRJ e a UFRGS, que se encontram imediatamente acima no ranking.

Desempenho nas universidades federais

Unifesp

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
2021980.775.838.334.486.790.3
2020582.376.239.441.186.493.4
2019684834142.387.393.2
2018483.687.939.141.990.686.4
2017776.77240.339.378.388.1

A Unifesp caiu quatro posições neste ano, mas permanece entre as dez melhores posicionadas. A maior parte dessa queda pode ser explicada pelo desempenho no indicador “internacionalização”.

Total201120122013201420152016201720182019
Colaboração internacional (%)3022.12223.423.728.633.13434.835.3

Apesar disso, é possível verificar uma clara tendência geral de aumento na taxa de coautoria internacional durante a última década. No entanto, deve-se notar que a maior parte desse crescimento foi entre 2014 e 2017. Para o período considerado neste ranking, 2016-2019, essa taxa não aumentou, uma vez que a maior parte do crescimento nas publicações tem sido de unidades da Unifesp fora a Escola Paulista de Medicina, e mais voltado para os campi que produzem pesquisas com uma orientação mais local. Concentrar-se em aumentar a produção da Escola Paulista de Medicina ajudaria a instituição a manter sua posição.

Pelo mesmo motivo, parece que também houve uma queda no escore de citações.

Total201120122013201420152016201720182019
FWCI1.150.871.261.030.961.171.541.551.150.97

O escore geral para citações da Unifesp diminuiu um pouco nos anos de 2018 e 2019 – esses são os anos incluídos nos rankings de 2020 e 2021, onde a pontuação caiu de 83 para 76,2.

Quando se considera apenas a Escola Paulista de Medicina, podemos observar que em 2018 e 2019 tiveram quedas no FWCI, mantendo-se o volume de publicação constante. Por outro lado, o indicador de 10% do topo não caiu – permaneceu constante em torno de 9,8% e, portanto, a Universidade deve também beneficiar-se da mudança na metodologia prevista para o próximo ano.

UFABC

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
20213261.963.439.453.67453
20203462.656.63753.578.954.2
20194158.862.541.352.868.150.5
20183461.275.655.953.559.656.6
20171463.780.241.354.655.865.5

A UFABC não voltou a atingir o seu melhor posicionamento registrado em 2017, quando esteve em 14º lugar. Nesse período o ranking teve uma expansão significativa, assim como a Universidade. Dessa forma, pode ser um desafio para a instituição manter as pontuações de citação observadas no passado.

Embora o FWCI geral seja muito alto para a UFABC, o fato de ser especializada em física significa que publica muitos artigos com um grande número de autores, que muitas vezes são contados fracionariamente, e não como publicações completas. Isso significa que o FWCI reconhecido pelo THE é significativamente inferior ao que aparece no índice Scopus.

Índice Scopus UFABC

Total201120122013201420152016201720182019
FWCI1.41.751.451.491.471.471.241.551.31.35

THE para UFABC

FWCI (5 anos)20152016201720182019
Global0.980.930.931.040.871.08
Normalizado por país (country-adjusted)1.040.980.961.10.951.19

A principal oportunidade de melhoria neste ranking para a UFABC está no indicador de ensino, que apresenta desempenho inferior ao de outras universidades do estado de São Paulo. Para isso, a instituição deve se concentrar na pontuação da reputação docente. Embora isso possa ser desafiador para uma universidade jovem, há uma série de etapas que podem ser consideradas para melhorar a sua visibilidade. A primeira seria melhorar o acompanhamento dos graduados e pós-graduados que seguem para outras instituições. A melhor maneira de aumentar a reputação de uma instituição de ensino é produzir egressos de qualidade que permaneçam ativamente engajados com sua instituição original. Outra seria focar na mobilidade de graduação e pós-graduação.

Um dos efeitos da pandemia, observados no ensino superior e na pesquisa, foi a aceleração da adoção de práticas de colaboração à distância, mediadas pela internet. Com esse advento, tanto oportunidades de experiências internacionais para alunos brasileiros quanto experiências em universidades brasileiras para alunos estrangeiros foram potencializadas. Essas oportunidades e o efeito dessas novas práticas devem ser aproveitadas e valorizadas. Uma das principais maneiras pelas quais as universidades aumentaram sua reputação nos últimos anos é a oferta de summer schools internacionais e cursos de curta duração durante os períodos de recesso universitário.

UFSCar

AnoPosiçãoEscoreCitaçõesReceita da indústriaInternacionalizaçãoPesquisaEnsino
20211574.445.456.935.490.185
20201573.44363.733.990.683.1
20191671.742.760.534.885.483.4
2018157151.86033.685.476.6
20171859.445.236.1336668.2

A UFSCar tem mantido um desempenho consistente e sua posição em torno de 15º lugar nesse ranking nos últimos quatro anos. Suas pontuações em pesquisa e ensino também melhoraram consistentemente ao longo de cinco anos. Ressalta-se apenas a queda considerável do faturamento da indústria na edição de 2021, embora esse quesito represente apenas uma pequena parte do total deste ranking.
Seguem novamente as principais ações a serem consideradas pelas universidades relativas ao Times Higher Education Latin America 2021:

  • Fatores com impacto no aprimoramento de atividades de ensino e internacionalização:
    • Monitoramento dos egressos estudando ou trabalhando em outras instituições.
    • Destaque da importância da mobilidade estudantil – tanto mobilidade física (quando possível) quanto virtual.
  • Fatores para o aprimoramento e identificação de renda industrial:
    • Aprimorar mecanismos de coleta e relatoria de dados, assegurando que, quando possível, instituições conveniadas sejam identificadas.
  • Enfoque no indicador “Citations”:
    • Como haverá mudança na metodologia de citação no próximo ano, o acompanhamento exigirá o monitoramento da taxa de citação normalizada por campo de conhecimento (FWCI) e as publicações entre os 25% mais citados no índice Scopus.
    • Identificar a presença de grupos de alto impacto ou potencial alto impacto para apoio.

Projeto Métricas
Outubro 2021