Times Higher Education publicou seu ranking “Impact”, baseado na contribuição da universidade para as Metas de Desenvolvimento Sustentável, em vez de noções abstratas de qualidade ou excelência que a maioria dos outros rankings universitários representam e reforçam.
O ranking usa os 17 objetivos e 169 alvos específicos, estabelecidos pelas Nações Unidas para estruturar a composição deste ranking, para tentar medir onde cada universidade está contribuindo para esses objetivos. Dos 17 ODS, 11 foram adotados para o ranking:
- Boa saúde e bem-estar
- Educação de qualidade
- Igualdade de gênero
- Trabalho decente e crescimento econômico
- Redução da desigualdade
- Indústria, inovação e infraestrutura
- Cidades e comunidades sustentáveis
- Consumo e produção responsáveis
- Ação climática
- Paz, justiça e instituições fortes
- Parcerias para os objetivos
Excluídos foram:
- Vida sobre a terra
- Vida debaixo d’água
- Erradicação da pobreza
- Zerar a fome
- Água limpa e saneamento
- Energia limpa e acessível
Os critérios de seleção para esses objetivos serem excluídos não estão claros, já que alguns estão entre os mais importantes, e as universidades desempenham um papel de liderança, por meio da pesquisa e criação de propriedade intelectual, ao lutar por eles. Por exemplo, as universidades estaduais de São Paulo contribuem com quantidades enormes para “zerar a fome”, por meio de suas faculdades de ciências agronômicas, bem como para “Energia limpa e acessível” pelas faculdades de engenharia.
Para cada meta, um conjunto de indicadores exclusivos foi criado, na tentativa de representar as metas. São, da mesma forma que com o modus operandi usual do Times Higher, uma mistura de insumos, fatores ambientais e produções, e uma mistura de indicadores normalizados por número de funcionários, por orçamento e valores absolutos. Isso significa que, no total, existem 40 indicadores grandes neste ranking, e incontáveis “sub-indicadores” adicionais. Estes são diferentes para cada objetivo. Para resumir, somente duas são incluídas aqui como exemplos:
Trabalho decente e crescimento econômico
| Indicador | Tipo | Peso/fonte |
| Pesquisa sobre o crescimento econômico e o emprego – Artigos em periódicos no topo 10% -Total de artigos | Volume de pesquisa Medidas baseadas na qualidade do periódico – produção | Scopus |
| Práticas de emprego (23,2%) Pagamento de um salário mínimo para funcionários e docentes (3%) Reconhecimento dos sindicatos e direitos trabalhistas (3%) Políticas sobre discriminação no local de trabalho (3%) Políticas contra a escravidão moderna, trabalho forçado, tráfico de seres humanos e trabalho infantil (3%) Garantias de padrões iguais para o trabalho terceirizado (3%) Política sobre igualdade da escala de pagamentos e lacunas do pagamento por gênero (3%) Comprometimento de rastrear e abordar questões sobre igualdade na escala de pagamentos e lacunas do pagamento por gênero (4%) Processos para empregados entrarem com recursos contra decisões (1,2%) | Lista de verificação de documentos de orientação – processos | Autorrelatado |
| Proporção de alunos estagiando (23%) | Processos | Autorrelatado |
| Proporção de empregados com contratos de seguros (26,8%) | Ambiental | Autorrelatado |
Inovação, indústria e infraestrutura
| Indicador | Tipo | Fonte |
| Citações de patentes (15,4%) | Produção | Base de dados Elsevier da OMPI, SEP, bases de dados nacionais do Reino Unido, EUA, Japão |
| Companhias ‘spin-off’ universitárias – o número de novas empresas usando propriedade intelectual desenvolvida na universidade nos últimos três anos (34,6%) | Produção | Autorrelatado |
| Receita de pesquisa decorrente da indústria (38,4%) – PPP ajustada e normalizada pelo número de funcionários acadêmicos | Insumos/processo | Autorrelatado |
A metodologia completa está disponível aqui
Ao reconhecer que as universidades não são igualmente boas em todas as áreas, a estrutura deste ranking permite que as universidades selecionem as quatro áreas nas quais desempenham melhor para apresentação. As universidades podem apresentar mais de quatro, e suas melhores pontuações são apresentadas. Para todos os dados autorrelatados, são necessárias evidências, mas não existem parâmetros sólidos sobre o que é aceitável em termos do estágio de implementação, status de legalidade ou ambição de uma política. Portanto, políticas públicas abrangentes, de longo prazo e bem-sucedidas estão recebendo o mesmo peso que a retórica ambiciosa.
Esse desenvolvimento é uma modificação bem-vinda que representa uma conscientização crescente na comunidade HE mais ampla de que o paradigma de excelência não é adequado para todas as circunstâncias, e que a conversa sobre os indicadores deve se expandir, tornando-se mais inclusiva, para que tenha uma modificação real e duradoura em todos os níveis da educação superior, e as novas demandas apresentadas para as IESs de todo mundo, que elas não buscam meramente noções abstratas de “excelência em pesquisa”, mas que elas estão conectadas a metas sociais reais. Muitos indicadores poderiam fornecer uma orientação forte para configuração da pauta das universidades.
Problemas metodológicos e conceituais
O problema metodológico inicial e principal fica evidente mesmo para o observador casual deste ranking, quando visualiza seus resultados; é muito difícil compreender como esse ranking funciona. Uma leitura casual revela muito pouco sobre o desempenho da universidade.
Sua estrutura de seleção aberta significa que, ostensivamente, as universidades estão sendo combinadas em uma lista ordinal, baseada em critérios totalmente diferentes. Isso significa que o leitor é compelido a avaliar a igualdade de gênero e os regimes de emprego de uma universidade, com a capacidade de outra, para produzir uma pesquisa de ponta, que leva a patentes de outra, próxima da política de reciclagem interna de uma terceira. Isso não produz um método coerente de comparação em um nível agregado.
Além disso, como as categorias dos diferentes indicadores são tão variadas, as barreiras para o bom desempenho são totalmente diferentes, a metodologia de ponderação torna-se totalmente contra-intuitiva; o número de citações de patentes que uma universidade tem vale 15,4% daquele indicador, enquanto a produção de um conjunto coerente de políticas sobre emprego vale 23,2%. Embora esse conjunto de políticas seja indubitavelmente muito importante, para as universidades brasileiras a maioria é uma questão de estar respeitando as leis, em vez de ter um pensamento progressivo ou avançado. Portanto, as barreiras para o alto desempenho em algumas categorias são muito inferiores do que para outras, significando que as comparações feitas assumem igualdade de desempenho onde, intuitivamente, a situação é diferente. Por sua vez, isso gera uma lógica para as universidades burlarem o ranking selecionando as categorias de indicadores mais fáceis para ganharem uma posição mais elevada, em comparação com áreas com maior exigência, que tendem a ser menos relacionadas às políticas e processos internos, e mais à geração de resultados e de impactos.
Abertura dos dados
O valor desses tipos de exercício consiste da capacidade de comparar, fazer referências e encontrar estratégias para melhorar a prática interna. Isso requer que os resultados do ranking estejam abertos. Por exemplo, para ser uma indutora positiva de modificação nas práticas de emprego, é importante que uma universidade saiba exatamente quais políticas que todas as demais têm que ela deveria implementar. Isso significa que esses dados precisam estar presentes na forma de dados públicos, abertos, em um nível desagregado, e não como pontuações compostas. Como os dados do Times Higher referem-se à inteligência empresarial, mais do que à pesquisa, são tratados como propriedade intelectual do Times Higher e apresentados em uma pontuação composta que é impossível de ser desagregada, para que se extraiam informações úteis; em vez disso, o usuário é induzido a fazer julgamentos de “melhor” e trilhar o pacote sem qualquer compreensão do motivo para isso.
Desempenho das universidades
Nenhuma das universidades estaduais de São Paulo enviou dados para esse ranking. Normalmente, este seria um desenvolvimento problemático que deveria ser abordado, mas isso não aconteceu com nenhuma da Ivy League, da Oxbridge ou do Grupo C9, o outro grupo emblemático dominante asiático, nem da América Latina (UBA, U-Chile, UNAM etc.). Somente metade do Russell Group contribuiu, nenhuma das instituições de elite alemãs, de Singapura, Israel e somente duas dos Países Baixos. Isso significa que a cobertura do ranking é extremamente heterogênea. Todas as principais universidades canadenses enviaram informações, assim como as japonesas; a Austrália está bem representada, e o mesmo ocorre com a Rússia. O ranking é desproporcionalmente povoado por universidades privadas, sem uma forte presença de pesquisa, como uma falta de universidades públicas grandes contra as quais as universidades estaduais de São Paulo possam ser comparadas.
No caso da Rússia, o financiamento é explicitamente relacionado ao desempenho no ranking e assim esse ranking parece oferecer uma baixa barreira de entrada para posição mais elevada no ranking e acesso a maior financiamento público. O mesmo vale para a Turquia, que também tem um número desproporcional de universidades no ranking.
Times Higher Education Impact Topo 5 – 2019
Resultados completos aqui
| Universidade | País | Posição | I1 | I2 | I3 | I4 | Total |
| University of Auckland | NZ | 1 | 89,1 (3) | 77,6 (5) | 81,4 (16) | 97 (17) | 97,2 |
| Universidade McMaster | CAN | 2 | 84,4 (8) | 89,0 (3) | 82,2 (11) | 91,8 (17) | 96,6 |
| University of Manchester | RU | 3 | 85,6 (3) | 86,5 (11) | 81,4 (12) | 97 (17) | 96,2 |
| University of British Columbia | CAN | 3 | 96,9 (13) | 88,1 (11) | 87,3 (9) | 94,7 (17) | 96,2 |
| UCL | RU | 5 | 86,9 (3) | 81,9 (16) | 75,9 (5) | 93,9 (17) | 95,1 |
Legenda: 3 = boa saúde e bem-estar; 5 = igualdade de gênero; 8 = trabalho decente e crescimento econômico; 9 = indústria, inovação e infraestrutura; 11 = comunidades e cidades sustentáveis; 12 = consumo e produção responsáveis; 13 = ação climática; 16 = paz, justiça e instituições fortes; 17 = parcerias para as metas
A partir da tabela acima, somente uma instituição (UBC) relatou inovação (9), o indicador mais exigente, isso sugere que existam provavelmente certas dimensões em que seja mais fácil pontuar bem do que em outras.
Conclusões
Muitos dos indicadores formam uma lista altamente relevante de prioridades para as universidades que visam melhorar sua missão e impacto social, e deveriam ser levados em consideração pelas universidades estaduais. O movimento em direção à consciência social e à ênfase da missão para as universidades é demonstrativo de uma tendência mais ampla na política de educação superior de que as universidades deveriam considerar seriamente em seu planejamento para o futuro, pois é inevitável que elas serão cada vez mais julgadas nessas dimensões. Isso é inegavelmente promissor na intenção de ampliar o leque de parâmetros pelos quais uma universidade é valorizada internacionalmente.
As tentativas do Times Higher de criar um ranking mais inclusivo também são louváveis. Entretanto, o formato de um ranking cria um resultado incoerente, que mistura para comparação indicadores de naturezas diferentes, e a falta de granularidade dos indicadores torna os rankings individuais de uso muito limitado na criação de referências internacionais.
Recomendações para as Universidades Estaduais de São Paulo
Se as universidades estaduais escolhem participar deste ranking, existe uma boa chance de que teriam uma pontuação muito alta nele, gerando uma cobertura midiática positiva bem-vinda para a educação superior pública brasileira. Os critérios de desempenho nesse ranking são baixos, e a maioria dos pontos é dada para a existência de políticas, e não para sua efetividade.
Entretanto, a partir de um ponto de vista político, existem poucas informações úteis para benchmarking contidas no ranking, e assim as universidades poderiam não necessariamente aprender sobre si mesmas e sobre os pares internacionais por competição.
As universidades estaduais devem se engajar com as pautas e questões levantadas neste ranking, mas deveriam buscar construir e utilizar plataformas abertas, tais como o U-Multirank, ou desenvolver ferramentas de benchmarking de auto avaliação efetiva, tais como a iniciativa de Governança MENA do Banco Mundial (2012), que permitiriam a extração de informações úteis para orientar as políticas.
Os indicadores políticos deveriam formar uma lista de verificação para as universidades, garantindo que essas características fundamentais das universidades modernas estão sendo adotadas.
Banco Mundial. 2012. Universidades em uma lente de aumento: benchmarking da governança universitária para permitir uma modernização da educação superior no MENA (em inglês). Washington, DC: Banco Mundial.