Qual a importância deste ranking?
O ranking Times Higher Education Impact reflete uma mudança importante na forma como as universidades são vistas e valorizadas pela sociedade. Seu objetivo é medir além do desempenho em pesquisa, seus processos de política interna, capacidade de realizar a inclusão social, valorizar a diversidade e seu engajamento na solução de 17 grandes desafios que a humanidade enfrenta, definidos como Objetivos de Desenvolvimento Sustentável das Nações Unidas.
A mensuração e o mapeamento do impacto social do ensino superior têm sido prioridade de pesquisadores em cientometria há mais de trinta anos. A bibliometria convencional, no entanto, tende a ignorar essa agenda em favor de medidas mais viáveis de capturar no momento, como fatores de impacto de periódicos, taxas de citação e dados institucionais. O aumento das expectativas da sociedade relativas as instituições de ensino superior, em conjunto com desafios globais sem precedentes que exigem colaboração internacional e conhecimento científico, significam que as questões de engajamento com a comunidade, alcance e impacto social passaram a constituir uma parte fundamental das prioridades das Instituições de Ensino Superior.
Pela sua natureza experimental, o Times Higher Education Impact Ranking apresenta limitações metodológicas e conceituais. No entanto, a agenda que o ranking destaca oferece uma contribuição positiva. Sua medição se tornará mais apropriada e sensível à medida que a adesão e o debate se ampliem. Indicadores como os utilizados nesta iniciativa, serão a maneira com a qual o ensino superior será também avaliado pelo público nos próximos anos. Desta forma, as universidades devem prestar atenção na classificação e considerar a coleta dos dados necessários para tal fim.
O que é representado?
O ranking Times Higher Impact almeja mensurar a contribuição de uma universidade aos Objetivos de Desenvolvimento Sustentável. Seu objetivo é mostrar um panorama mais amplo das atividades universitárias, levando em consideração as atividades de ensino e extensão, ao invés de focar exclusivamente no desempenho da pesquisa ou nos resultados da pós-graduação, como fazem a maioria dos rankings tradicionais. Em 2021, o ranking incorpora indicadores para todos os 17 Objetivos, e as metas decorrentes
Como é realizada a medição
O ranking se propõe a gerar um indicador para cada uma das metas dos ODS 2030. Universidades são todas avaliadas pelas contribuições para o 17º. Objetivo – Parcerias e Meios de Implementação. A Elsevier não produz dados bibliométricos para esta categoria, sendo que se trata de uma representação das relações da universidade com outros atores não acadêmicos. O peso para esse critério – ODS 17 – é 22%. Em seguida, às universidades, são atribuídos escores para cada um dos seus três objetivos com maior desempenho, com uma pontuação de 26% para cada um deles.
Cada categoria individual é composta de três tipos diferentes de indicador:
Pesquisa (dados externos derivados do Scopus)
A unidade de inteligência de pesquisa da Elsevier construiu uma série de termos de pesquisa iterativos para identificar as contribuições de pesquisa para cada Objetivo.
Esse conjunto de artigos é então medido pelo número de publicações em periódicos que estão entre os 10% melhores em suas respectivas áreas de conhecimento e, em nível de artigo, pelo impacto da citação ponderada por campo de conhecimento. Todas as informações são extraídas da Scopus dos anos 2014-2018.
Ensino (dados internos relatados pela instituição)
Um conjunto de indicadores é baseado no número de alunos que recebem instrução em alguma área relevante ao Objetivo – seja o número de alunos de países em desenvolvimento, ou a proporção de alunos formados em áreas relacionados à saúde, por exemplo.
Política (evidência categórica relatada pela universidade)
O conjunto final de indicadores é binário – a universidade possui uma política explícita sobre o Objetivo em questão? As universidades são requeridas a enviar evidências documentais que demonstrem a implementação de uma política que cubra alguns aspectos do ODS em questão.
Limitações metodológicas
Agregação incoerente
O primeiro princípio de comparação é que uma unidade de análise deve sempre ser comparada com uma outra semelhante. O Times Higher Impact falha nesse teste fundamental – neste ranking, funções e características muito diversas da universidade são organizadas em uma única lista hierárquica. Em uma tabela da liga esportiva, todos os times devem praticar o mesmo esporte. Os times de futebol não podem competir contra times de vôlei e de basquete na mesma tabela. Portanto, embora os objetivos individuais possam nos dizer algo sobre o desempenho de uma universidade, vale a pena considerar que é difícil extrair informações significativas da tabela agregada.
Este problema é ainda mais agravado nesta edição de 2021 pela descoberta de que os objetivos individuais classificados pelas universidades mudam de ano para ano – isso significa que as universidades são classificadas quanto ao desempenho em objetivos diferentes de um ano para o outro.
Uso de dados discretos
As seções de política desta metodologia são pontuadas com base em dados em intervalos discretos, ou seja, as pontuações são registradas como sim ou não, sem nenhuma distinção ou qualificação das políticas referenciadas. Isso cria um grande problema com a pontuação de uma classificação. Os dados discretos sobre as universidades têm sido usados há muito tempo para compará-las umas com as outras, mas não normalmente para fins de classificação. Isso ocorre porque existem apenas duas respostas às avaliações de políticas apresentadas nesta metodologia. Devido à grande quantidade de material a ser examinado, o Times Higher está avaliando as universidades com base no fato de elas terem ou não uma política, não inferindo nenhum aspecto de qualidade da política. Isso significa que há apenas duas respostas possíveis – 100% da pontuação disponível ou 0% da pontuação disponível.
Por causa disso, o ranking tem universidades com escores extremamente altos nas primeiras posições. Isso causa uma acumulação de escores com pouca diferenciação, e grande diferença em posição. A diferença em escore entre as 100 melhores instituições no ranking de impacto é de 98,8 para o primeiro classificado para 85,6 para o centésimo classificado com um total 13,2 pontos entre as duas pontas. O Times Higher World Ranking, por sua vez, tem uma diferença de 95,2 a 61,8 entre a 1ª e a 100ª – uma diferença de 33,8 para o mesmo número de instituições. Isso significa que há 2,5 vezes mais “distância” no ranking mundial do que no ranking de impacto.
Diferença entre a política e a prática
Há um problema fundamental com a ideia de classificar universidades de acordo com a existência de uma política, e não os seus efeitos. Benchmarking e análise de melhores práticas em políticas não é uma inovação, e se trata de uma ferramenta útil para comparar e avaliar a qualidade das políticas de uma universidade. No entanto, a formulação de políticas e o seu impacto são duas coisas muito diferentes, e uma não deve ser confundida com a outra. Os próprios ODS fornecem um exemplo poderoso desse problema – embora a formulação de políticas e os Objetivos possam ser abrangentes, o progresso em direção a eles tem sido lento e até mesmo são verificados retrocessos. A articulação de políticas é importante, mas para a finalidade de classificação, alguma medida de progresso deve ser incluída.
Contexto
O outro problema de fazer um ranking da implementação de políticas é que, além de considerar princípios mais elevados, as políticas devem também atender às necessidades locais para serem eficazes. Por exemplo, um dos indicadores de “Redução da Desigualdade” é o recrutamento de estudantes internacionais de países de renda baixa ou média-baixa. O resultado é que, enquanto as universidades europeias ganham no ranking por atrair alunos nigerianos ou filipinos com condições financeiras para arcar com as despesas decorrentes de estudar no exterior, as universidades públicas brasileiras deixam de receber reconhecimento por recrutar alunos de menor renda de outros estados da federação com Indice de Desenvolvimento Humano (IDH) mais baixo do que Nigéria ou das Filipinas. Isso não desvaloriza as boas intenções do indicador, mas demonstra que a classificação foi projetada para instituições do Norte global. As políticas destinadas a gerar impacto social não podem ser universalizadas. Boas políticas e resultados atendem às necessidades específicas da população-alvo, e isso varia drasticamente de acordo com o contexto.
Por exemplo, os indicadores relativos à igualdade de gênero estão todos relacionados à promoção e apoio às mulheres na academia. Na maior parte do mundo ocidental, essa é a prioridade das universidades. No entanto, como os indicadores são utilizados para medir o desequilíbrio de gênero em universidades de sociedades relativamente igualitárias e abertas, eles não são adequados para outros contextos. O resultado disso é que a universidade com o melhor desempenho neste ODS é a Universidade Princess Nourah bint Abdulrahman, na Arábia Saudita. A universidade é inteiramente feminina, resultado da sociedade altamente segregada da Arábia Saudita, na qual as mulheres são flagrantemente excluídas em seu contexto social. A concentração de mulheres nessa universidade é indiscutivelmente o resultado da segregação e não da igualdade. Um exemplo de indicador mal aplicado que produz resultados por vezes perversos.
A incoerência de taxas de citação e impacto social
O trabalho que a Elsevier fez do mapeamento da pesquisa relacionada aos ODS representa um avanço para bancos de dados bibliométricos em direção a uma abordagem menos compartimentada (siloed) de categorizar a pesquisa. No entanto, deve-se lembrar que ainda é experimental, e não representa a contribuição definitiva – portanto, sugerem perfis de publicação. Como a natureza da pesquisa relacionada aos ODS é ampla, fica difícil afirmar quanto é realmente incluído e quanto não é. O uso de um algoritmo baseado em palavras-chave traz alguns problemas para a forma como é aplicada neste ranking – as palavras-chave estão em inglês e, portanto, apenas publicações nesse idioma podem ser identificadas.
Para impacto científico, esta é uma decisão de enquadramento válida – a grande maioria do trabalho de alto impacto intelectual é publicada em inglês. No entanto, o Times Higher Education tomou a decisão de igualar alto impacto de citação com alto impacto social – as duas dimensões referem-se a coisas diferentes, não comparáveis. Em muitos casos, o impacto da citação e o impacto social estão mal correlacionados e, várias vezes, a pesquisa que faz as maiores contribuições é de orientação local, e publicada nos idiomas locais. Portanto, estão quase ausentes desta avaliação.
Extrema volatilidade
Rankings convencionais geralmente expandem o tamanho da amostra de um ano para outro, a fim de aumentar o número de leitores potenciais, e representar mais instituições. Em uma classificação com base no desempenho, isso quase sempre ocorre na parte inferior da classificação. Existem poucas classificações, se é que existem, que não incluem instituições da Ivy League americana desde a primeira versão, por exemplo. Como a classificação de impacto é baseada em dados autodeclarados sobre vários tópicos não relacionados ao desempenho, o crescimento da amostra ocorre a cada classificação. De fato, muitas vezes entrarão no ranking universidades que vislumbram oportunidade de ingressar em posições de destaque, tendo evitado as primeiras edições.
O ingresso de novas universidades, o uso de dados discretos e a baixa diferenciação da pontuação tornam esse ranking extremamente volátil, sendo difícil ou impossível prever posições futuras com base no desempenho anterior.
Como as universidades devem utilizar o THE Impact Ranking?
Comunicação social
O bom desempenho no THE constitui um avanço nas métricas centradas na sociedade e deve ser comunicado ao público em geral. No entanto, dada a imprevisibilidade radical do desempenho neste ranking, as universidades devem ser muito cautelosas ao proclamar posições específicas como conquistas. As universidades devem evitar se apegar muito à posição geral no ranking, dadas as suas limitações metodológicas e incertezas em torno dos participantes. Se a posição geral for usada em um ano porque é boa, ser usada no ano seguinte para implicar “variações” dramáticas na posição.
A USP está 34 posições abaixo do ano passado – não porque o ambiente político do ano anterior tenha mudado ou que sua produção de pesquisa seja menor – é devido principalmente ao grande aumento de novas universidades participantes, e um número extremamente elevado de aumentos na posição de algumas universidades. Se o desempenho da Universidade não mudou muito, e os dados apresentados também não se alteraram significativamente, normalmente seria razoável esperar uma classificação semelhante de um ano para o outro. Mas isso é algo sobre o qual a instituição tem nenhum controle, já que o numero de novos entrantes é decidido sem consulta aos participantes.
Portanto, as universidades devem ter clareza sobre o que o ranking simboliza, e devem utilizar na comunicação o grupo de universidades em que a universidade se encontra, e não em posições específicas. A diferença de desempenho para a USP entre ser 14º em 2020 e 48º em 2021 é pouco significativo e, ainda assim, uma leitura desatenta do contexto pode fazer com que o resultado pareça dramático.
Existem fortes razões metodológicas para questionar a coerência do ranking quando os objetivos são agregados. Ademais, as universidades apresentam melhor desempenho nas tabelas individuais de objetivos. As universidades devem se concentrar nesses objetivos individuais como o ponto de comunicação e utilizá-los para construir narrativas poderosas que expliquem o desempenho. A capacidade de demonstrar a pesquisa, o impacto e as políticas para a USP ser a terceira em erradicação da pobreza, a Unesp a quinta em educação de qualidade, a Unifesp a sétima em igualdade de gênero e a UFABC a quadragésima em água potável e saneamento é mais significativo do que o desempenho em si. Deve-se utilizar as evidências apresentadas ao Times Higher Education em conjunto com dados complementares para produzir estudos de casos robustos, sendo estes mais tangíveis e relevantes do que a posição no ranking de “Impacto”.
Para usos internos e benchmarking
O desempenho neste ranking deve ser sempre situado em um debate mais amplo relacionado ao impacto social, utilizado como uma referência, em vez de uma marca de desempenho absoluto. O ranking não captura a abrangência do impacto social – na verdade, relativamente pouco da classificação é dedicado ao que realmente entendemos como impacto — avanço no conhecimento e/ou mudanças no entorno–, e mais para indicadores de processos. O que isso mostra é que a universidade está bem-posicionada e organizada para monitorar e registrar o impacto social.
Portanto, a lista de opções de políticas e indicadores contidos nesta classificação deve ser monitorada cuidadosamente e, de preferência, publicada como indicadores, uma vez que estão ocultos em indicadores compostos para a classificação.
Finalmente, a participação em qualquer exercício de classificação incorre em benefícios potenciais para a reputação institucional e inclui riscos significativos para esta mesma reputação. As universidades devem, portanto, buscar maximizar o primeiro e minimizar o último. Isso significa relatar dados para todos os 17 ODS, ou nenhum. Relatar todos os 17 dá à universidade a melhor chance de valorizar seu desempenho, ao passo que apresentar apenas alguns ODS limita o reconhecimento do seu desempenho nesta comparação internacional.