Por que essa medição é importante?
O Times Higher Education Impact Ranking reflete uma importante mudança na forma como as universidades são avaliadas e valorizadas pela sociedade. O objetivo é medir não apenas o desempenho das universidades em termos de pesquisa, mas também avaliar o ambiente de políticas internas, a inclusão, a diversidade e o compromisso de solucionar os 17 grandes desafios que a humanidade enfrenta, apresentados nos Objetivos de Desenvolvimento Sustentável (ODS) pelas Nações Unidas.
A medição e o mapeamento do impacto social do ensino superior têm sido objeto de interesse dos pesquisadores em cientometria há mais de trinta anos. A bibliometria convencional, no entanto, tende a ignorar essa agenda em favor de medidas mais facilmente apreensíveis, como é o caso do fator de impacto de publicações em periódicos, taxas de citação e dados institucionais internos. A demanda crescente de soluções que exigem colaboração internacional e conhecimento científico, aliada às pressões impostas pelos desafios globais do nosso tempo, têm trazido às instituições de ensino superior um desafio crescente em avaliar e medir tanto o engajamento com as comunidades, quanto o alcance e impacto social de suas ações, configurando uma nova agenda pública global para o setor.
O Times Higher Education Ranking, em sua segunda edição, é ainda uma publicação de caráter experimental, apresentando sérios problemas em sua metodologia e na conceituação do que mede. Mesmo assim, as universidades devem acompanhar esse ranking, e considerar fazer a coleta de dados. Essas informações que o ranking utiliza em sua composição serão a base de como o ensino superior será avaliado pelo público nos próximos anos. À medida que o debate se ampliar e a agenda apresentada pelos resultados desse ranking mostrar-se positiva, os indicadores que ele informa se tornarão cada vez mais sensíveis e apropriados.
O que ele mede?
O Times Higher Impact Ranking tem como missão medir a contribuição de uma universidade para o sucesso dos ODS. Visa mostrar um panorama mais amplo das atividades da universidade, levando em consideração as atividades de extensão, em vez de se concentrar exclusivamente no desempenho da pesquisa ou nos resultados da pós-graduação, como fazem as classificações tradicionais.
O ranking agora abrange todos os 17 objetivos amplos de desenvolvimento sustentável, abrangendo as 169 metas neles contidas.
Como ele mede?
O ranking visa produzir um indicador que abrange cada uma das 169 metas. Por isso, as universidades são classificadas tendo por base inicialmente sua contribuição para o 17º Objetivo de Desenvolvimento Sustentável denominado “parcerias e meios de implementação” com um peso de 22%. Em seguida, cada universidade é avaliada tendo por base os três ODS de melhor desempenho, recebendo 26% para cada um destes ODS.
Cada categoria individual contém três tipos de indicadores para medir a contribuição para o objetivo específico:
Pesquisa
A unidade de inteligência de pesquisa da Elsevier construiu uma série de filtros predefinidos por meio de sua ferramenta de análise bibliométrica, para identificar as contribuições de pesquisa para cada objetivo.
Cada agrupamento temático de artigos é então medido pelo número de publicações em periódicos com 10% de seus respectivos campos de conhecimento e, no nível de artigos, o impacto de citação ponderado por área de conhecimento (FWCI). Todas as informações são extraídas do Scopus considerando o período de 2014 a 2018.
Educação (valor)
Vários indicadores são baseados no número de estudantes formados em um sentido específico – sejam estudantes internacionais de países em desenvolvimento ou a proporção de estudantes formados em assuntos relacionados à saúde, por exemplo.
Políticas (binário)
O conjunto final de indicadores é baseado em binários – a universidade possui uma política escrita sobre o objetivo em questão? As universidades são convidadas a enviar evidências documentais demonstrando a implementação de uma política que cubra algum aspecto dos ODS nos quais estão sendo avaliadas.
Quais são as limitações metodológicas?
Agregação incoerente
O primeiro princípio das comparações é que o semelhante deve sempre ser comparado com o semelhante. O Times Higher Ranking falha neste teste – funções e características díspares da universidade são organizadas em uma única lista hierárquica. Em uma tabela da liga esportiva, todas equipes precisam jogar o mesmo esporte. As equipes de futebol não podem competir contra equipes de vôlei e basquete na mesma mesa. Portanto, embora os objetivos individuais possam nos dizer algo sobre o desempenho de uma universidade e que valha a pena examinar, é difícil extrair informações significativas da tabela agregada.
Diferença entre implementação e resultados
Existe um problema profundo com a ideia de classificar as universidades de acordo com a implementação ou prática de políticas. O benchmarking e a análise das melhores práticas políticas não é uma inovação e é uma ferramenta útil para avaliar a qualidade da formulação de políticas de uma universidade. No entanto, a formulação de políticas e o seu impacto são duas coisas muito diferentes, e uma não deve ser tomada pela outra. Os próprios ODS fornecem um exemplo poderoso desse problema – enquanto a formulação de políticas e os objetivos podem ser abrangentes, o progresso em direção a eles tem sido dolorosamente lento e está até retrocedendo. A articulação de políticas é importante – mas crucialmente deve haver alguma medida de progresso incluída.
O outro problema ao classificar a implementação de políticas é que, além de atender a princípios mais elevados, as políticas atendem às necessidades locais para serem eficazes. Por exemplo, um dos indicadores para “reduzir a desigualdade” é o recrutamento de estudantes internacionais de países com renda média baixa ou baixa. Isso resulta que, embora as universidades europeias obtenham crédito por atrair estudantes de países de baixa renda média, com baixos índices de desenvolvimento humano (IDH), com a capacidade de estudar no exterior, as universidades públicas brasileiras não recebem crédito por recrutar estudantes de partes do Brasil que têm IDHs iguais ou mais baixos. Isso não desvaloriza as boas intenções do indicador, mas demonstra que o ranking foi projetado na perspectiva de países mais desenvolvidos. Políticas projetadas para gerar impacto social não podem ser universalizadas. Boas políticas e resultados atendem a requisitos específicos da população-alvo, e isso varia drasticamente em diferentes contextos.
Incoerência dos escores de citações e impacto social
O esforço realizado pelo Elsevier no início do mapeamento da pesquisa no ODS representa um grande progresso para grandes bancos de dados de pesquisa, em direção a uma abordagem menos isolada para categorizar uma pesquisa. No entanto, deve-se lembrar que esses métodos de agregação são experimentais e de maneira nenhuma definitivos – portanto, eles são meramente sugestivos da orientação das publicações. Como a natureza da pesquisa especializada em ODS é ampla, fica difícil demonstrar com confiança o quanto é ou não realmente coberto. O uso de um algoritmo baseado em palavras-chave envolve riscos quando de uma classificação global. Como as palavras-chave estão exclusivamente em inglês apenas as publicações em inglês podem ser identificadas. Para mensurar o impacto científico, essa é uma decisão válida de enquadramento, já que a pesquisa de alto impacto intelectual é, na sua grande maioria, publicada em inglês. No entanto, o ranking incorre em erro em utilizar o mesmo modelo, de palavras chaves em inglês, para monitorar um alto impacto social. Em resumo, impacto científico e impacto social demandam monitoramento distintos. Alias, o impacto de citação de artigos científicos e seu impacto social estão pouco correlacionados. Frequentemente, a pesquisa com maior impacto social é orientada ao ambiente local, e publicada nos idiomas locais. Está, portanto, praticamente ausente da avaliação feita através de palavras chaves em inglês.
Performance das universidades de São Paulo
USP
| Posição geral | 14 |
| Pobreza zero | 86,6 |
| Posição zero pobreza | 3 |
| Energia limpa e acessível | 81,1 |
| Posição de energia limpa e acessível | 3 |
| Vida na terra | 89,8 |
| Posição da vida na terra | 10 |
| Parcerias | 81,1 |
| Posição da parcerias | 55 |
A posição da USP em todas as suas três principais categorias foi extremamente elevada. Classificou-se mais alto nos três objetivos de maior engajamento do que no ODS 17, relativo a parcerias e implementação. A Universidade se revelou menos inserida em ambientes de políticas publicas que outras universidades de países mais desenvolvidos, onde os vínculos formais entre a formulação de políticas públicas e as universidades de pesquisa são mais intensos. Isso não significa que as universidades brasileiras trabalhem menos com a sociedade local, mas que, devido aos preocedimentos burocráticos, tende a formalizar e centralizar menos sua atividade. Também parece depender menos da narrativa da estrutura dos ODS para obter impacto social do que outras universidades. Esses aspectos compõem os indicadores da meta de “parcerias”. A USP também tem bom desempenho em paz e justiça (86ª posição), vida na agua (18ª posição), ação climática (48ª), consumo responsável (84ª), consumo sustentável (84ª), cidades sustentáveis (77ª), indústria e inovação (92ª), trabalho decente (83ª), água potável e saneamento (39) e boa saúde (38).
UNESP
| Posição geral | 101-200 |
| Educação de qualidade | 87,5 |
| Posição de educação de qualidade | 5 |
| Indústria, inovação e infraestrutura | 81,0 |
| Posição de indústria, inovação e infraestrutura | 73 |
| Fome zero | 72,0 |
| Posição fome zero | 37 |
| Parceria | 62,4-70,2 |
| Posição parceria | 201-300 |
A Unesp supera drasticamente o desempenho em cada uma das metas individuais em comparação com a classificação geral – como a USP, o indicador de “parcerias” mantém a classificação geral em baixa. A presença entre as 100 melhores universidades para a ODS 9 indústria, inovação e infraestrutura merecem destaque, pois é um dos ODS mais desafiadores para a academia. Tendo em vista os debates atuais sobre a qualidade da pesquisa educacional, este é um resultado que deve ser enfatizado e sublinhado. O desempenho da Unesp no fome zero é resultado de sua força tradicional em Engenharia Agrícola e Tecnologia de Alimentos.
Unifesp
| Posição geral | 101-200 |
| Igualdade de gênero | 77,4 |
| Posição igualdade de gênero | 7 |
| Trabalho decente e crescimento econômico | 66,2 |
| Posição trabalho decente e crescimento econômico | 88 |
| Educação de qualidade | 57.7 – 68.5 |
| Posição educação de qualidade | 101-200 |
| Parceria | 70,7-80,6 |
| Posição Parceria | 101-200 |
A Unifesp tem um desempenho extremamente bom em termos de igualdade de gênero e melhor do que sua posição geral em termos de trabalho e crescimento econômico. Também tem bom desempenho na redução da desigualdade (90º) e ação climática (91º).
UFABC
| Posição geral | 201-300 |
| Energia limpa e acessível | 65,1 |
| Posição energia limpa e acessível | 77 |
| Água limpa e saneamento | 61,6 |
| Posição água limpa e saneamento | 40 |
| Cidades e comunidades sustentáveis | 58,1-71 |
| Posição cidades e comunidades sustentáveis | 101-200 |
| Parceria | 62,4-70,2 |
| Posição parceria | 201-300 |
A UFABC possui clara liderança em áreas mais técnicas que a Unifesp, com foco em energia limpa, água potável e cidades sustentáveis.
Entre essas universidades, há um desempenho entre as 100 melhores em todos os 17 Objetivos. Isso mostra uma abordagem notavelmente abrangente do impacto social – não há área que não tenha reconhecida alguma forma de alto desempenho.
O que as universidades devem fazer com esse ranking?
A agregação excessiva desse ranking dificulta tirar conclusões sólidas – é difícil ver quais aspectos de cada área de sucesso funcionaram melhor. Apenas uma pontuação composta de vários (até sete) indicadores é apresentada para a meta individual. O que é notável, no entanto, é que todas as universidades parecem ter baixo desempenho na seção “parcerias”. Em parte, isso ocorre porque as universidades têm sido um pouco mais lentas na formulação de políticas explicitamente relacionadas aos ODS, embora tenham políticas que já as atendem. Devido à burocracia extremamente densa do Brasil e à natureza descentralizada da governança universitária, grande parte dos vínculos das universidades com a sociedade local é informal – não mediada por contrato explícito ou realizada em nível departamental ou de faculdade. Isso não significa que as universidades trabalham menos com governos locais e a sociedade, mas que os arranjos institucionais são diferentes e difíceis de se enquadrar em uma métrica universal.
Extensão da coleta de dados
O processo de coleta e apresentação dos dados para esse ranking é um grande empreendimento para as universidades brasileiras, mas necessário para o crescimento institucional. Tradicionalmente, não se espera que eles alimentem dados interrelacionados complexos em exercícios de avaliação, como é esperado rotineiramente na maioria das instituições europeias e americanas. A participação neste ranking ajudará a construir uma cultura mais forte de pesquisa institucional que vai além da administração de dados institucionais. Esse ranking não é um ponto final para troca de conhecimento ou impacto social; deve ser usado como ponto de partida para um projeto mais ambicioso de desenvolvimento de um sistema de relatórios capaz de medir o progresso em direção às metas sociais, desenvolvendo indicadores contextualmente adequados.
Para benchmarking
Talvez o melhor uso desse ranking seja como uma referência de benchmarking de políticas publicas. Em outros termos, quais as políticas publicas mencionadas no ranking foram concebidas na universidade? O ranking pressupõe um ambiente político propicio para a atuação de uma universidade moderna de padrões internacionais. A maioria das políticas listadas pela universidades não são especialmente ambiciosas, e certamente não indicam excelência. Basta lembrar que o ranking está avaliando a existência de políticas, e não o estágio de implementação, seu impacto ou sua replicabilidade. Além disso, entre as universidades participantes, todas os 17 ODS estão representadas entre as 100 melhores. Uma troca de informações e dados entre elas garantiria que todas fossem fortalecidas para futuros ciclos. Embora o ranking em si não oferece possibilidades de comparação e benchmarking, ele deve levar as universidades a discutir, registrar e disseminar as melhores práticas. Além disso, cabe estender a mensuração do impacto social via ODS, de maneira mais profunda do que a oferecida pelo ranking.
Apresentação de resultados
Existem importantes questões metodológicas para debater a coerência da lista geral, quando as universidades têm um desempenho superior nas tabelas individuais de objetivos. As universidades melhor classificadas tendem a se concentrar nesses objetivos individuais como ponto de comunicação. Assim, criam narrativas poderosas que expliquem a contribuição da universidade para determinado ODS. As universidades revelam assim a pesquisa, o seu impacto e as políticas que levam a USP a se tornar a terceira em erradicação da pobreza, a Unesp em quinto em educação de qualidade, a Unifesp em sétimo em igualdade de gênero e a UFABC em 40ª em água potável. Cabe em seguida, utilizar as evidências enviadas ao Times Higher Education, produzir um estudo de caso poderoso, mais tangível e significativo do que uma boa posição no ranking de ” THE Impact”.
Ações propostas
Curto prazo
- As universidades devem construir um formato para estudos de casos em suas áreas de alto desempenho, analisando os ambientes de políticas e os resultados bibliométricos (disponíveis no Scopus), bem como exemplos de projetos bem-sucedidos de troca de conhecimento para uma avaliação crítica de como melhorar em ciclos futuros e uma consideração dos principais indicadores para medir cada aspecto. Esses estudos de caso devem ter um formato padrão e estar disponíveis ao público para que outros possam aprender.
- Conhecendo as limitações metodológicas do ranking, as universidades devem divulgar seus resultados em termos de narrativas mais amplas sobre suas atividades, especialmente no que diz respeito ao desempenho em categorias individuais.
Médio a longo prazo
- As universidades devem ter como objetivo criar uma marca que possa mapear a inserção da instituição na vida pública – a partir de relações no nível individual com a sociedade, projetos de extensão, atendimento público, convênios celebrados nos níveis de departamento e do corpo docente.
- Devem ter como objetivo realizar pesquisas para formar uma estrutura de indicadores que possam descrever essa interação, especialmente com relação aos resultados, em vez de apenas processos.