Categorias
Cursos

Respostas em destaque. Módulo 3

Comparações Internacionais: limitações, interesses e relevância para o ensino superior brasileiro

Tópicos

  • Histórico, introdução, contexto de surgimento e evolução das primeiras classificações.
  • Composição dos rankings universitários, seus contextos sociais e políticos e sua  aplicabilidade às universidades brasileiras.
  • As raízes do ranking chinês, rankings britânicos e também a distinção entre as metodologias dos rankings por área de saber e dos rankings institucionais.

Perguntas

  • Quais são os principais efeitos positivos do surgimento das classificações de universidades?
  • Em que medida os rankings nacionais e internacionais refletem a realidade da sua universidade?
  • Quais dimensões do desempenho da sua universidade são negligenciadas ou subestimadas?

Respostas


Acácio Sidinei Almeida Santos – UFABC

Quais são os principais efeitos positivos do surgimento das classificações de universidades?

A bibliografia disponibilizada aponta para diferentes níveis de interesse na produção e no uso das classificações (AXEL-BERG, J.), o que deve nos alerta para uma melhor observação sobre os impactos positivos e negativos produzidos pelos rankings. É certo que os rankings lançam luz sobre um mercado de interesses e acabam por mobilizar, nem sempre de forma ética (BECERRA, J.), um fronte de alta competividade.    

“A competição internacional entre instituições de vários países por bom posicionamento nos rankings de universidades foi iniciada há mais de uma década e até o momento não apresenta o menor sinal de arrefecimento. Em pouco tempo, os rankings tornaram-se extremamente influentes e passaram a ser tema de inflamada discussão.”. (SANTOS, S. Rankings Internacionais de Universidades: Comparação e Desempenho por Áreas. Repensar a universidade: desempenho acadêmico ecomparações internacionais. São Paulo: Com-Arte; Fapesp, 2018, p. 63)

Por outro lado, as classificações podem estabelecer também, de forma mais objetiva parâmetros para performance institucional e auxiliar na percepção de que para as instituições de “nível mundial” (world-class), localizadas em países em desenvolvimento, é preciso jogar o jogo dos rankings a partir das regras da reciprocidade e da colaboração, e não única e exclusivamente pelas regras da competitividade. Isso porque as realidades impostas às instituições dos países em desenvolvimento são absurdamente diferentes daquelas impostas aos países desenvolvidos. Vejamos, a título de exemplo, os orçamentos anuais e as políticas governamentais para a ciência e a tecnologia.

Outro elemento a ser destacado é a importância das classificações como elemento político de estímulo para a produção das áreas, e também como parâmetro para a organização política institucional, no caso do Brasil, na busca do fortalecimento das agências de fomento e da definição de uma política transparente do destino e da aplicação dos recursos para ciência, tecnologia e desenvolvimento social.

Em que medida os rankings nacionais e internacionais refletem a realidade da sua universidade?

Impossível pensar que os rankings nacionais e internacionais possam refletir na íntegra a realidade da minha universidade, mas eles servem de parâmetros para melhorias graduais nas performances institucionais, bem como individuais e de grupos de pesquisa. 

É evidente a existência do que Becerra, em seu interessante artigo, intitula de “El negocio de los rankings internacionales: así se forran gracias a la guerra entre universidades”. 

É certo que no nosso caso estamos longe de poder influir politicamente nas metodologias dos rankings internacionais, mas também é certo que podemos nos mobilizar para o estabelecimento de novas metodologias e indicadores de alto impacto nos rankings nacionais, sem que com isso percamos a nossa identidade e missão. 

Entendo que indicadores locais empregados na classificação das universidades, quando ancoradas nas realidades locais, podem fazer com que algumas  universidades se tornem menos competitivas no cenário internacional, perdendo posições nos rankings anuais, mas muito mais eficazes na realidades nacionais.

Quais dimensões do desempenho da sua universidade são negligenciadas ou subestimadas?

O principal desempenho negligenciado faz parte de realidade recente nascida das políticas afirmativas e amparada por programas de acesso, permanência qualificada e pós-permanência de estudantes que fazem parte dos segmentos historicamente excluídos do ensino público de qualidade.  

Adriana Backx Noronha Viana – USP

Pelas leituras efetuadas, observa-se que o primeiro ranking surge em 2003 sob uma demanda do governo Chinês. O propósito era entender como as universidades chinesas estariam no contexto internacional, possibilitando enviar estudantes para as instituições melhores do mundo e, além disso, investir nas universidades que estivessem mais bem avaliadas. 

Assim, os resultados dos rankings impactam: 1) na decisão dos alunos para estudar ou ainda buscar uma formação; 2) na implementação de recursos públicos (em alguns casos recursos de doação) e 3) no processo de gestão da universidade, levando muitas dessas instituições na busca de estratégias para melhorias dos seus próprios rankings. 

Posto isso, observo que os efeitos positivos do surgimento das classificações de universidades consistem em: 1) na possibilidade de ser um instrumento que permite comparação entre as instituições, 2) identificar melhorias ou não ao longo dos anos; 3) engajar um país no processo de aprimoramento do seu sistema de ensino superior; 4) utilizar melhor os recursos para essa modalidade de ensino, identificando oportunidades de investimentos.

Os rankings nacionais e internacionais podem ou não refletir a realidade de uma instituição. No caso específico da Universidade de São Paulo, acredito que os rankings por área podem trazer uma visão mais justa, dada a grande diversidade dessa instituição, tanto no sentido de pesquisa de ponta quanto do resultado ou impacto dessa pesquisa. Acredito que os rankings podem melhor representar as Instituições de Ensino Superior se considerar os contextos particulares de cada instituição, ou seja, essa foi construída sob que estrutura? Que recursos? Que capitais humanos ou de cultura? Por exemplo, ao analisar os dados do Quadro 2 do artigo de Righetti (2018), ao fazer uma correlação entre os dados da coluna “Posição em 2017” e ano de fundação (para as 12 instituições listadas), o valor obtido foi de 0,4911 ou seja, quase 25% da variação do ranking considerando esse corte de análise, poderia ser explicado pelo ano de fundação! Assim, os rankings comparam instituições extremamente sólidas (já com grandes experiências) com outras mais recentes, não representando necessariamente a realidade. Nesse ponto, observa-se a necessidade desses indicadores serem balizados por diversos fatores, incluindo o histórico e período de existência da instituição. Considerando os artigos sugeridos com os descritivos das formas de desenvolvimento dos rankings, observo que algumas dimensões de desempenho da minha instituição podem ser poucos considerados ou negligenciados. Exemplos disso são os indicadores de impacto social, tais como pesquisas ou ações para o desenvolvimento de comunidades de baixa renda.

Claudia Maria Fuller – USP

1) Embora os rankings universitários sejam passíveis de críticas, cabe considerar que estes podem ter também efeitos positivos. Os rankings proporcionam às universidades uma visão externa sobre seu desempenho. A análise dos indicadores que aparecem nos rankings pode subsidiar reflexões importantes, como por exemplo:

-Estes indicadores fazem sentido para a instituição, considerando sua missão e objetivos? Em caso positivo, o trabalho que vem sendo feito está funcionando? Por que os indicadores estão bons ou ruins? faz sentido mudar procedimentos para ganhar mais pontos no ranking, correndo o risco de se desviar de sua missão original? como isso impacta a universidade?

-Como está o desempenho de outros indicadores, diferentes dos que são utilizados pelo ranking? Que outros tipos de indicadores poderiam ser considerados para orientar a gestão universitária?

-Se a universidade está em posição ruim, pode usar esses dados para refletir sobre o que pode ser aprimorado ou redefinido na instituição, como melhorar a gestão, etc.

As instituições bem classificadas ganham visibilidade, o que pode ajudar a atrair estudantes de graduação e pós-graduação, pesquisadores nacionais ou estrangeiros, e empresas ou governos em busca de parcerias ou para aporte de recursos.

2) Os indicadores dos rankings são escolhidos a partir do objetivo que norteia seus idealizadores. Além disso, os rankings tendem a fazer comparações dentro de uma lista geral de universidades com os mais variados perfis, tamanhos e missões. A  metodologia utilizada para tratamento dos dados também varia. Diferentes metodologias podem ser mais favoráveis (do ponto de vista de pontuação) para perfis específicos de instituições. Penso que os rankings refletem parcialmente a realidade da USP, uma vez que comparam instituições com perfis distintos, e não pares, além de não contemplarem um conjunto mais abrangente de indicadores que dessem conta da missão mais ampla da universidade.

3) Os rankings avaliam principalmente indicadores relacionados a ensino e pesquisa (com desdobramentos como empregabilidade dos egressos, impacto de publicações, etc.). O impacto social relacionado à economia local ou nacional, atividades culturais e esportivas, atividades de extensão, entre outras, acabam não sendo considerados por muitos rankings. Recentemente surgiram rankings voltados para identificar o impacto das universidades em outras áreas, como sustentabilidade e impacto social (como o THE University Impact 2020, no qual a USP aparece em 14º lugar). A própria USP parece ainda não conseguir medir/avaliar (ou ainda não valorizar suficientemente) esses aspectos de seu desempenho.

Helber Holland – UNESP

1. Indiscutivelmente, o principal efeito positivo foi a atenção dada à organização de dados da universidade. A universidade, de forma geral, é uma geradora de gigantescos bancos dados direcionados à diferentes propósitos, internos e externos. Possuir uma forma sistematizada e confiável é fundamental para atender aos pedidos de rankings.

Em geral, os dados de infraestrutura de uma universidade são apresentados em seu Anuário Estatístico, o qual é uma fonte de dados estática, estatisticamente limitada e que pouco explora a capacidade estratégica da instituição. Esse perfil torna a criação de metas e melhorias muito complexa para a universidade. O uso de resultados de rankings se faz importante por ser uma visão externa e, em partes, imparcial por não ter a interferência do carregamento de dados.

Com a aceitação dos rankings, a universidade precisou atualizar a forma como os dados são obtidos e tratados, justamente pelo fato de a definição dos dados não serem compatíveis com aqueles disponíveis no anuário. Essa necessidade de adequação aos critérios de adequação aos indicadores é bem definido por [1].

Dessa forma, servidores foram destacados para realizarem esta tarefa de aquisição e tratamento de dados. Como exemplo, na Unesp foi criada uma comissão para rankings e na Usp um escritório de indicadores.

2. Os rankings possuem diferentes frentes de atuação, isso é fato consumado atualmente. Os rankings tradicionais (THE, QS e AWRU) foram construídos conforme uma visão mercadológica, conforme explicado por [2], portanto, são adequados para os modelos de universidades norte-americanas e inglesas, as quais se utilizam de publicidade para manterem sua visibilidade mundial.

As realidades dessas universidades com as universidades públicas brasileiras são conceitualmente diferentes, desde a composição até a forma de gestão, sobretudo se analisada a necessidade intrínseca de visibilidade publicitária.

Uma resposta à essa não concordância com a dimensão brasileira, o RUF tem a proposta de melhor se adequar aos critérios do ensino superior nacional. Por exemplo, uso de dados do Ministério da Educação (MEC/INEP), separação por tipo (públicas e privadas) e indiscriminação por fontes de recurso [3].

Com relação à produção científica, pode-se se fazer uma consideração em alta estima para os rankings, dado que são utilizados banco de dados tradicionais e confiáveis. Os indicadores utilizados para relacionar tais dados, entretanto, podem ser questionados. À título de exemplo, no Brasil, muitas pesquisas são regionalizadas para atender demandas específicas do país. Tais assuntos, apesar de não serem de interesse mundial, são de grande relevância para o desenvolvimento nacional. Nesse exemplo, essa publicação é totalmente discriminada por não se encontrar em bases de dados utilizadas pelos rankings.

3. – Retorno de recursos à sociedade na forma de prestação de serviços, consultorias, modernização regional. 

– Inserção de profissionais qualificados em cargos estratégicos como comissões, ministérios, secretarias, cargos de chefia de Estado, órgãos reguladores (normas, leis etc.) e conselhos.

– Egressos formadores de opinião, como apresentadores em mídias de comunicação em massa, produção de material didático, programas de divulgação etc.

– Transformação social: nível de escolaraidade superior em regiões afastadas dos grandes centros comerciais, criação de empresas e geração de empregos. Observação: rankings avaliam a “empregabilidade” dos egressos, mas não a capacidade de geração de empregos diretos e indiretos.

Melissa Gurgel Adeodato Vieira – Unicamp

Os rankings apresentam de forma clara, independente e midiática resultados de desempenho institucional de universidades, gerando uma pressão positiva expressiva tanto nas universidades como em agências e fontes de financiamento e instituições elaboradores de políticas. As universidades têm realizado uma autorreflexão e monitorado seu desempenho acadêmico, buscando um aprimoramento e, consequentemente, um melhor posicionamento nos rankings e, ainda uma maior visibilidade internacional. Geralmente, os rankings que avaliam a performance de instituições de ensino superior, sejam eles nacionais (RUF) ou internacionais (ARWU, THE, QS, U-Multirank), são elaborados visando atender um determinado perfil. Isso se reflete diretamente na definição dos indicadores bem como também na escolha das métricas. Um bom exemplo de que nem sempre os rankings podem refletir adequadamente a realidade das universidades brasileiras é a utilização do U-Multirank, que emprega uma abordagem multidimensional, como inspiração para o novo modelo de avaliação dos programas de pós-graduação do Brasil pela Capes. Este ranking compara instituições com perfis institucionais similares, podendo gerar ranking personalizados. A ideia é interessante, a princípio, comparando-se com o modelo atual de avaliação da Capes. Todavia, as métricas são um problema, pois estão alinhadas para a realidade europeia e não para a de um país continental e muito heterogêneo como o Brasil. Para ilustrar, temos como métrica da dimensão “Impacto Regional”, o número de graduados egressos que trabalham na região ou o número de mestres egressos que trabalham na região, ou estágios estudantis na região, dentre outras, no qual “região” restringe-se a um raio de apenas 50 km. No caso da Unicamp, egressos ou estudantes que trabalhem ou estagiem na Grande São Paulo estão excluídos desta contagem! Com certeza, é uma dimensão que será subestimada se a métrica não for adaptada para a nossa realidade. A metodologia do U-Multirank aplicada às três universidades estaduais paulistas gerou diagramas os quais foram divulgados na Revista Fapesp n. 286. Nestes diagramas tanto a Unicamp como a USP apresentam na Dimensão “Impacto Regional” resultados muito tímidos. Certamente, o impacto das atividades da Unicamp e da USP não estão bem refletidos por este ranking, não pelo conceito em si, mas por uma métrica ruim. O desempenho de universidades brasileiras, como a Unicamp, em rankings internacionais por áreas e disciplinas, é bem superior ao seu desempenho em rankings globais, visto que estes últimos ignoram vocações das instituições e suas áreas de excelência mundial, como as áreas de Ciência e Tecnologia e de Odontologia na Unicamp.

Vivian Duarte Couto Fernandes – Universidade Federal de Uberlândia

Definir qualidade no ensino superior não é algo trivial, já que o próprio conceito de qualidade pode ter diferentes significados em diferentes contextos. De um lado, a noção de qualidade é relativa em duas perspectivas: na de quem fala e no contexto em que se fala (KRAUSE, 2012). Por outro lado, a noção de qualidade pode ser um conceito absoluto ou depender de padrões pré-definidos (HARVEY; GREEN, 1993).

O que é consenso, contudo, é que a definição da qualidade do ensino superior é importante para diferentes stakeholders: para os estudantes e suas famílias que querem receber o melhor ensino; para o governo que quer financiar com o melhor custo/benefício; para os investidores que querem a melhor rentabilidade. Portanto, iniciativas que comparam as escolas se tornam importantes na medida em que, reduzem toda a complexidade que envolve o sistema de ensino, ofertando a estes públicos, uma ideia de qualidade percebida. Neste sentido, os rankings internacionais que classificam as universidades permitem que a sociedade interprete com mais facilidade a qualidade das instituições (SANTOS, 2018).

A despeito das críticas que envolvem estas classificações (efeito Matthew, indicadores utilizados e seus pesos, transparência dos dados, dentre outros) (SANTOS, 2018), a divulgação dos rankings também faz com que as universidades se reconheçam no seu papel social e se consolidem na excelência da qualidade educacional. O governo também se beneficia na medida em que tem melhor estratégia na distribuição de recursos financeiros, que impacta diretamente na gestão das instituições que vão colocar seus instrumentos de gestão a serviço da qualidade, impulsionando publicações de alto impacto, cooperações na pesquisa, incentivando a internacionalização (RIGHETTI, 2018).

A UFU, universidade em que trabalho, tem uma atuação bastante local, focada no desenvolvimento regional. Neste sentido, os ranking nacionais (RUF e os indicadores de qualidade do SINAES) podem melhor expressar o contexto da universidade, que tem atuação focada na pesquisa, mas ainda de baixo impacto. Os ranking internacionais não captam o escopo da universidade que tem pouca relação com o mercado, baixa relação de publicações internacionais frente as publicações nacionais; as publicações ainda são em grande maioria em português e também por isso, têm pouco impacto internacional. Acredito que o aspecto social da universidade é negligenciado. O impacto das ações na comunidade local é de grande relevância para a universidade, mas não entra no contexto dos ranqueamentos.