Categorias
Análises

THE Impact Ranking 2022

O ano de 2022 marca a presença simultânea das seis universidades públicas sediadas no estado de São Paulo no ranking Times Higher Education Impact. Nesta edição, foram introduzidas várias mudanças na metodologia, que podem ser conhecidas no vídeo masterclass publicado pela Times Higher, apresentado na ocasião do lançamento, e que serão discutidas neste documento. No vídeo, é possível conhecer detalhes sobre a composição dos indicadores do painel, que é oferecido às universidades mediante acesso pago. A análise do Projeto Métricas, no entanto, será baseada nas pontuações agregadas, presentes na listagem pública do ranking. 

Para referência, descrevemos a metodologia e potenciais deficiências em notas técnicas anteriores, que podem ser encontradas nas análises das edições de 2019, 2020 e 2021

Novos entrantes em 2022 

Novamente, o número de instituições participantes aumentou neste ano. Como observamos em análises anteriores, novos participantes podem entrar  em qualquer posição do ranking, ao contrário do que se observa em outras classificações. Portanto, de um ano para o outro, com mais instituições participantes, os mesmos dados enviados na edição anterior valem menos comparativamente. A pergunta que deve ser respondida pelas instituições participantes é “como a universidade se compara às outras instituições no ranking deste ano” e não “como o desempenho da universidade se compara ao seu desempenho no ano passado?”

Participação variável em objetivos 

A tabela abaixo mostra o número de universidades que enviaram evidências para objetivos distintos. Há uma grande diferença entre as áreas de contribuição – “Educação de Qualidade” conta com quase 1.000 instituições que apresentaram evidências, enquanto “Vida Aquática” tem aproximadamente 300 inscrições. Em teoria, essa grande disparidade indica que é mais provável conquistar o reconhecimento, e se posicionar bem, nos ODS com menos contribuições da academia, do que aqueles que recebem muitas contribuições. Portanto, as universidades devem valorizar mais seus pontos fortes associados aos ODS que tem recebido menos contribuições das outras universidades. 

Chart, bar chart

Description automatically generated

Desempenho da USP

ObjetivoPosiçãoMudança na posiçãoPontuação
Total62-1491.2
Pobreza Zero12-483.7
Fome Zero27-2271.9
Saúde e bem-estar101-200073.9-75.6
Educação de qualidade201-300-10062-67.6
Igualdade de gênero101-200059.6-65.9
Água limpa e saneamento básico802070.6
Energia limpa e renovável5283.2
Trabalho decente e crescimento econômico101-200064.7-71.2
Indústria, inovação e infraestrutura512094.3
Redução das desigualdades201-300-10055.1-62.4
Cidades e comunidades sustentáveis94-1578.2
Consumo e produção responsável101-200064.4-75.5
Ação climática101-200-6054.7-66
Vida aquática36-1591.2
Vida terrestre221189.4
Paz, justiça e instituições fortes57482.4
Parcerias para os objetivos101-200083.1-90.6

Legenda: verde – Áreas que aparecem no ranking 2022; rosa – Áreas que aparecem no ranking 2021

Assim como em 2021, os objetivos indicados pela USP em 2022 são diferentes daqueles que foram submetidos no ano anterior. Em 2021, a USP foi classificada com suas contribuições para Pobreza Zero, Fome Zero e Energia Limpa e Renovável. No ano corrente, os dois primeiros objetivos foram substituídos por Indústria, Inovação e Infraestrutura e Vida Terrestre. Dessa forma, reforça-se a ideia de que a posição geral obtida pela USP não é comparável à da edição anterior.

No entanto, podemos dizer que houve mudanças na posição da instituição nos objetivos individuais. Em grande parte, isso se deve ao número de novas instituições entrantes. Em particular, a pontuação mais baixa em Educação de Qualidade e Redução das Desigualdades se deve em grande parte ao número muito alto de instituições participantes nessas duas dimensões. No entanto, deve-se atentar para a apresentação dos dados nesses dois indicadores.

Publicações da USP relacionadas aos ODS 2022

Objetivo2022 Artigos2022 FWCI2021 Artigos2021 FWCI
Pobreza zero3130.93492.28
Fome zero15081.737521.47
Saúde e bem-estar132461.95219641.7
Educação de qualidade8190.781670.44
Igualdade de gênero6061.931333.6
Água limpa e saneamento básico12601.072421.12
Energia limpa e renovável20811.1411371.14
Trabalho decente e crescimento econômico9051.242591.21
Indústria, inovação e infraestrutura13581.281511.33
Redução das desigualdades7511.591661.42
Cidades e comunidades sustentáveis14051.138171.18
Consumo e produção responsável9801.294951.22
Ação climática10671.5710871.92
Vida aquática9061.147271.19
Vida terrestre17801.48351.77
Paz, justiça e fortes instituições8033.485220.77

Houve uma grande divergência entre os artigos registrados em 2022 e 2021. É importante observar que isso não é necessariamente causado por uma alteração no desempenho. O ranking é elaborado usando uma análise de palavras-chave construídas a cada ano pela Elsevier. Essa metodologia é refinada anualmente pelo feedback dos usuários e por um trabalho intensivo. Saúde e Bem-Estar, por exemplo, na definição de 2021 abrangeu quase todas as ciências clínicas, relacionadas ou não ao ODS. Este ano, é menos da metade do total para 2021, o que significa que a representação é muito mais específica do que antes. Por outro lado, outros objetivos aumentaram significativamente. Alguns, como Pobreza Zero, Igualdade de Gênero e Redução das Desigualdades ainda apresentam déficits significativos de pesquisa. Outros, como Água Limpa e Saneamento Básico ou Indústria, Inovação e Infraestrutura já não aparecem como deficitários.

Dado que este ainda é um fenômeno relativamente novo em bibliometria, sugerimos seguir uma série de diferentes medidas de pesquisa relacionadas aos ODS. Existem abordagens semelhantes baseadas em palavras-chave desenvolvidas pela Bergen University, Aurora Network, SIRIS Academic e Strings Project. Há também uma abordagem baseada em inteligência artificial sendo desenvolvida pela NESTA e Dimensions. Rafols, Noyons, Confraria e Ciarli observam em um preprint recente que o nível de divergência entre diferentes sistemas é grande – mais de 30% de diferença entre conjuntos de dados.

Não devemos, portanto, rejeitar essas medidas como falsas, mas aceitar que não são determinísticas – elas dependem da percepção e interpretação do objetivo, das fontes utilizadas e das decisões individuais usadas para representar essas percepções. A pesquisa relacionada aos ODS é complexa, interdisciplinar e dependente do contexto – nesse aspecto, não é como mapear a estrutura das disciplinas científicas. As universidades devem prestar atenção a uma variedade de medidas e investigar o quanto cada uma representa as contribuições brasileiras para os ODS.

Semelhança de desempenho das universidades públicas paulistas.

A USP é uma instituição maior e, portanto, tem vantagem sobre a Unicamp nos indicadores de publicação. Também tem o benefício de participar do ranking pela quarta vez e, portanto, acumula experiência na maneira de informar os dados. O que chama a atenção, porém, é a semelhança dos desempenhos nas diferentes áreas do conhecimento. Grande parte do ranking é baseado no contexto da universidade. Isso significa que tanto a USP quanto a Unicamp podem melhorar seu desempenho em Redução de Desigualdades, Trabalho Decente e Ação Climática.

Também é possível sugerir que a melhoria neste ranking seria favorecida por um programa conjunto entre as universidades públicas de São Paulo, uma vez que muitas das dimensões valorizadas são baseadas em políticas publicas e evidências.

Redução de desigualdades

Impact Rankings 2022: reduced inequalities (SDG 10) methodology | Times Higher Education (THE)

Do total dessa subclassificação, 15,5% é atribuído ao número de estudantes estrangeiros de países em desenvolvimento que recebem ajuda financeira. Isso dá uma vantagem para as universidades em países com esquemas de recrutamento internacionais ativos. A exigência de que os alunos sejam internacionais pressupõe que a universidade esteja em um país desenvolvido e desconsidera a variação regional – por exemplo, que as universidades estaduais de São Paulo recrutam alunos de todo o Brasil, muitos oriundos de regiões com IDH bem menor do que muitos países em desenvolvimento.

Trabalho decente e crescimento econômico

Impact Rankings 2022: decent work and economic growth (SDG 8) methodology | Times Higher Education (THE) 

A área-chave aqui para atingir é o número de alunos em estágios como parte de seus programas de estudo. Isso vale 19% da nota total e é uma área que as universidades estaduais vêm buscando aprimorar nos últimos anos, ampliando essa experiência para fora das disciplinas de engenharia e garantindo que outras também ofereçam oportunidades de trabalho ao seu corpo discente. A experiência prática de trabalho em áreas como artes e humanidades, ciências sociais e outras deve ser considerada como um aspecto importante da preparação dos alunos para o futuro.

Ação climática

Impact Rankings 2022: climate action (SDG 13) methodology | Times Higher Education (THE)

Vinte e três por cento deste objetivo é dedicado ao Ensino da Comunidade Ambiental:

  • Programas ou campanhas locais de educação sobre mudanças climáticas (4,6%);
  • Existência de plano de ação de clima universitário compartilhado com o governo local e grupos comunitários (4,6%);
  • Trabalhar com o governo local ou nacional para planejar desastres de mudanças climáticas (4,6%);
  • Informar e apoiar o governo local ou regional sobre questões associadas às mudanças climáticas (4,6%);
  • Colaborar com ONGs na adaptação às mudanças climáticas (4,6%).

Isso mostra a importância para a universidade de desenvolver constantemente métodos para representar e medir o impacto das atividades de extensão.

Desempenho da Unicamp

ObjetivoPosiçãoEscore
Total101-20082.1-88.5
Pobreza zero101-20060.9-69.6
Fome zero101-20055.2-65.8
Saúde e bem-estar101-20073.9-75.6
Educação de qualidade301-40058.1-61.9
Igualdade de gênero301-40048.4-53.4
Água limpa e saneamento básico101-20056.6-68.1
Energia limpa e renovável1180.3
Trabalho decente e crescimento econômico201-30059.6-64.6
Indústria, inovação e infraestrutura101-20070.1-85.4
Redução das desigualdades401-60035.7-48.2
Cidades e comunidades sustentáveis201-30053.4-60
Consumo e produção responsável301-40041.6-53.9
Ação climática201-30036.5-45.5
Vida aquática101-20052.3-57.6
Vida terrestre101-20055.6-71.1
Paz, justiça e instituições fortes301-40056.2-63.9
Parcerias para os objetivos201-30076.7-83

Este é o primeiro ano em que a Unicamp participa e mostrou notável consistência de posição nos 17 Objetivos. As três áreas classificadas pela Unicamp foram Saúde e Bem-Estar, Energia Limpa e Renovável e Indústria, Inovação e Infraestrutura. Energia Limpa e Renovável é de longe a área de conhecimento mais forte da Unicamp, sendo a única a figurar entre as 100 mais bem classificadas.

ObjetivoArtigosFWCI
Pobreza zero1090.72
Fome zero4411.62
Saúde e bem-estar35161.3
Educação de qualidade2330.67
Igualdade de gênero1710.68
Água limpa e saneamento básico4561.43
Energia limpa e renovável12391.16
Trabalho decente e crescimento econômico3341.52
Indústria, inovação e infraestrutura6611.24
Redução das desigualdades2690.88
Cidades e comunidades sustentáveis3961.15
Consumo e produção responsável3681.58
Ação climática3551.59
Vida aquática1971.09
Vida terrestre5481.45
Paz, justiça e instituições fortes1911.88

A Unicamp tem uma boa distribuição entre os Objetivos. Consumo e Produção Responsável é altamente citada e, portanto, prestar atenção aos outros indicadores deste ranking pode levar a Universidade a melhores condições para avançar.

A USP e a Unicamp podem colaborar para melhorar suas pontuações nas dimensões em que pontuam menos: Redução das Desigualdades, Trabalho Decente e Crescimento Econômico e Ação Climática.

Desempenho da Unesp

ObjetivoPosiçãoMudança na posiçãoEscore
Total201-300076.9-82
Pobreza zero101-200060.9-69.6
Fome zero101-200-6855.2-65.8
Saúde e bem-estar201-300-10068.7-73.8
Educação de qualidade101-200-9467.7-73.1
Igualdade de gênero301-400-20048.4-53.4
Água limpa e saneamento básico
Energia limpa e renovável
Trabalho decente e crescimento econômico
Indústria, inovação e infraestrutura275298
Redução das desigualdades
Cidades e comunidades sustentáveis
Consumo e produção responsável
Ação climática
Vida aquática
Vida terrestre
Paz, justiça e instituições fortes
Parcerias para os objetivos401-600-20058.8-70.2

Como Duncan Ross observou na masterclass citada na introdução deste documento, a apresentação dos mesmos dados de um ano para outro leva a quedas significativas de posição, por conta das novas instituições entrantes. Portanto, embora a Unesp tenha mantido a mesma posição em relação ao ano passado, caiu de posição de forma bastante acentuada na maioria dos grupos para os quais apresenta suas evidências. O grande avanço de posições em Indústria, Inovação e Infraestrutura se deve em parte às definições ampliadas para pesquisas relacionadas aos ODS. Desta forma, o número de artigos nesse Objetivo contabilizados para a Unesp passou de 57 em 2021 para 473 artigos em 2022.

Objetivo2022 Artigos2022 FWCI2021 Artigos2021 FWCI
Pobreza zero341.0750.24
Fome zero9880.985390.93
Saúde e bem-estar30001.0347061
Educação de qualidade2990.33730.28
Igualdade de gênero720.38110.33
Água limpa e saneamento básico7780.831291
Energia limpa e renovável81613691.24
Trabalho decente e crescimento econômico2591.1591.44
Indústria, inovação e infraestrutura4731.38571.31
Redução das desigualdades1100.84211.01
Cidades e comunidades sustentáveis4430.762200.89
Consumo e produção responsável4281.241841.59
Ação climática3601.423741.41
Vida aquática5151.062711.06
Vida terrestre10761.154631.29
Paz, justiça e instituições fortes1200.53720.54

A Unesp deixou de se beneficiar das suas áreas fortes de pesquisa neste ranking. A guisa de exemplo, deixou de apresentar evidências para os ODS relativos a Água Limpa e Saneamento Básico, Energia Limpa e Renovável, Consumo e Produção Responsável, Ação Climática, Vida Aquática ou Vida Terrestre. Todos eles têm maiores chances de serem classificados de forma mais favorável do que vários daqueles para os quais apresentou evidências, porque, no geral, também são campos menores, com alta produção e alto impacto de citação. Dessa forma, é possível para a UNESP melhorar significativamente sua posição no ranking simplesmente apresentando as evidências para suas áreas de pesquisa mais fortes. 

Desempenho da Unifesp

ObjetivoPosiçãoPontuação
Total401-60065-71.9
Pobreza zero401-60034.1-47.4
Fome zero
Saúde e bem-estar101-20073.9-75.6
Educação de qualidade601-80041.7-49.7
Igualdade de gênero101-20059.6-65.9
Água limpa e saneamento básico101-20056.6-68.1
Energia limpa e renovável601-80029.9-49.5
Trabalho decente e crescimento econômico301-40055.3-59.5
Indústria, inovação e infraestrutura301-40047.2-57.1
Redução das desigualdades401-60035.7-48.2
Cidades e comunidades sustentáveis401-60038.9-53.3
Consumo e produção responsável101-20064.4-75.5
Ação climática401-60018.7-36.4
Vida aquática8570.4
Vida terrestre201-30043-55.5
Paz, justiça e instituições fortes401-60040.4-56.1
Parcerias para os objetivos601-80050.2-58.7

A Unifesp fez um excelente trabalho este ano ao apresentar evidências para 16 dos 17 Objetivos e mostra excelente desempenho em vários deles. Saúde e Bem-Estar, como era de se esperar foi um deles, dada a predominância da Escola Paulista de Medicina no perfil de pesquisa da Unifesp, mas a forte atuação, tanto em Consumo e Produção Responsável quanto em Igualdade de Gênero, é motivo de amplo reconhecimento.

Apesar de não estar entre os três objetivos apresentados, um dos aspectos mais marcantes do desempenho da Unifesp é a excelente atuação em Vida Aquática, devido às atividades no Campus Baixada Santista e, principalmente, do Instituto do Mar, cujas atividades colocam a Unifesp entre os 100 melhores do mundo.

Isso deve ser amplamente divulgado como um caso de sucesso – um campus recentemente estabelecido que alcança reconhecimento global.

Objetivo2022 Artigos2022 FWCI2021 Artigos2021 FWCI
Pobreza zero340.8140.59
Fome zero971.22571.26
Saúde e bem-estar37601.8869701.68
Educação de qualidade1850.47410.42
Igualdade de gênero1471.03380.6
Água limpa e saneamento básico1070.94211.19
Energia limpa e renovável1160.79660.95
Trabalho decente e crescimento econômico930.86200.77
Indústria, inovação e infraestrutura871.2750.93
Redução das desigualdades1080.79221.59
Cidades e comunidades sustentáveis1000.92671.22
Consumo e produção responsável550.89421
Ação climática711.2741.25
Vida aquática2001.331311.07
Vida terrestre1301.43491.66
Paz, justiça e instituições fortes1480.951250.81

 

Desempenho da UFABC

ObjetivoPosiçãoMudança de posiçãoEscore
Total401-600-20065-71.9
Pobreza zero301-400-20047.5-53.8
Fome zero201-300-10044.9-55.1
Saúde e bem-estar
Educação de qualidade
Igualdade de gênero
Água limpa e saneamento básico201-300-10047.3-56.4
Energia limpa e renovável201-300-10055.2-61
Trabalho decente e crescimento econômico301-400-10055.3-59.5
Indústria, inovação e infraestrutura
Redução das desigualdades
Cidades e comunidades sustentáveis101-200069.2-78.6
Consumo e produção responsável
Ação climática
Vida aquática
Vida terrestre
Paz, justiça e instituições fortes401-600-20040.4-56.1
Parcerias para os objetivos401-600-30058.8-70.2

A UFABC apresentou evidências para menos objetivos em 2022 do que no ano anterior  e caiu pelo menos um grupo na maioria dos subrankings. Mas isso se deve ao número crescente de instituições no ranking, e não ao declínio do desempenho. A Universidade ainda apresenta um desempenho comparativo em Cidades e Comunidades Sustentáveis, o que deve ser motivo de celebração.

No geral, a Universidade relatou dados de acordo com suas áreas de pesquisa mais fortes. Para o próximo ano, pode considerar o envio de dados para Indústria, Inovação e Infraestrutura – o desempenho nas novas definições Scival aumentou de 9 para 109, com impacto de citação que aumentou de 0,43 para 1,06.

Objetivo2022 artigos2022 FWCI2021 artigos2021 FWCI
Pobreza zero200.790NA
Fome zero392.27212.62
Saúde e bem-estar3091.044351.09
Educação de qualidade560.58140.45
Igualdade de gênero120.3920.52
Água limpa e saneamento básico921.53142.11
Energia limpa e renovável3180.91750.82
Trabalho decente e crescimento econômico581.27270.86
Indústria, inovação e infraestrutura1091.0690.43
Redução das desigualdades390.7290.49
Cidades e comunidades sustentáveis1060.65800.57
Consumo e produção responsável810.86520.61
Ação climática471.03341.21
Vida aquática320.53330.97
Vida terrestre761.25321.98
Paz, justiça e instituições fortes250.79170.81

Desempenho da UFSCar

ObjetivoPosiçãoPontuação
Total1000 +9.2-50.2
Pobreza zero301-40047.5-53.8
Fome zero
Saúde e bem-estar601-80041.5-53.2
Educação de qualidade601-80041.7-49.7
Igualdade de gênero
Água limpa e saneamento básico
Energia limpa e renovável
Trabalho decente e crescimento econômico
Indústria, inovação e infraestrutura301-40047.2-57.1
Redução das desigualdades
Cidades e comunidades sustentáveis
Consumo e produção responsável
Ação climática
Vida aquática
Vida terrestre
Paz, justiça e instituições fortes601-80013-40.3
Parcerias para os objetivos1000 +1.6-41.4

A atuação da UFSCar em Pobreza Zero é particularmente notável, uma vez que possui poucos artigos publicados sobre o tema. Isso significa que seus relatórios de política foram eficazes.

Em consonância com os pontos fortes gerais da pesquisa institucional, Indústria, Inovação e Infraestrutura são a sua outra área forte. Para o próximo ano, a UFSCar poderia priorizar suas contribuições relativas a Água Limpa e Saneamento Básico, Energia Limpa e Renovável, Consumo e Produção Responsável, Trabalho Decente e Crescimento Econômico e Vida Terrestre. Essas são metas menos relatadas nas quais a UFSCar tem um forte perfil de pesquisa.

ObjetivoArtigos 2022FWCI 2022
Pobreza zero260.64
Fome zero2230.9
Saúde e bem-estar7341.07
Educação de qualidade1890.65
Igualdade de gênero610.42
Água limpa e saneamento básico2551.05
Energia limpa e renovável5121.08
Trabalho decente e crescimento econômico1161.09
Indústria, inovação e infraestrutura3081.82
Redução das desigualdades860.76
Cidades e comunidades sustentáveis1990.9
Consumo e produção responsável2281.6
Ação climática1170.93
Vida aquática820.99
Vida terrestre3640.93
Paz, justiça e instituições fortes1150.57

Como melhorar o desempenho neste ranking?

A Times Higher (THE) oferece acesso pago ao seu dashboard de dados – as informações contidas nele são valiosas para benchmarking institucional, bem como pistas sobre como aprimorar o desempenho. As universidades públicas do estado de São Paulo devem considerar o compartilhamento dos dados brutos coletados junto a suas comunidades e como estes foram apresentados aos seus Escritórios de Gestão de Dados (EGD). Isso permitiria que as seis universidades melhorassem seu desempenho e aprendessem umas com as outras. Permitiria ainda, que as universidades aprimorassem a sua apresentação de dados, melhorando o posicionamento e a comunicação em seu conjunto.

Cabe observar que as universidades que deixam de apresentar dados para todos os 17 ODS não estão maximizando seu desempenho potencial. As instituições devem garantir que isto seja feito, pois o desempenho inferior em algumas metas não prejudicará o desempenho geral. No mínimo, as universidades devem garantir que suas áreas de pesquisa mais fortes estejam presentes, assim como suas outras contribuições, mesmo que limitadas.

As universidades devem também ficar atentas ao número de instituições participantes em cada subranking – tentar competir nas categorias que contam com um numero elevado de contribuições, como Educação de Qualidade, será mais difícil do que aquelas com menos instituições participantes, como Vida Aquática. 

O desempenho em todos os sub-rankings deve merecer atenção dos EGD’s. Muitas vezes, há pesquisas em destaque e mais facilmente comunicadas em um subranking do que no ranking geral. A guisa de exemplo, o Instituto do Mar da Unifesp, por exemplo, é um dos 100 melhores do mundo no ranking Vida Aquática – isso deve ser enfatizado na comunicação.