Universidades públicas são instituições complexas que cumprem uma ampla variedade de funções e papéis na sociedade. Elas têm diferentes missões, atuam em distintos níveis de interesse produzindo conhecimentos que atendem a demandas de múltiplos setores. As universidades que aparecem nos rankings internacionais estão voltadas intensivamente à pesquisa – dedicam-se à produção de novos saberes e publicam bastante em periódicos internacionais.
Nos rankings Shanghai Jiao Tong e CWTS Leiden figuram 23 universidades brasileiras. No ranking NTU, 11 universidades do país estão listadas. Isso é muito mais do que conseguiram as demais universidades da América Latina combinada (veja a tabela 1). Estes rankings foram aqui escolhidos por seu foco nos indicadores bibliométricos, ou seja, na análise do que se publica em revistas e periódicos reconhecidos. Não levam em consideração, de forma significativa, a reputação internacional, as atividades de ensino, extensão ou disponibilidade de recursos financeiros. Medem, principalmente, a atenção que a ciência produzida por uma universidade é reconhecida por outras pessoas através de menções (citações) ou de prêmios internacionais.
Tabela 1 –Número de universidades incluídas nos rankings de pesquisa
| Leiden | Shanghai Jiao Tong ARWU | NTU Ranking | |
| Brasil | 23 | 23 | 11 |
| Demais países da América Latina | 11 | 12 | 7 |
| Rússia | 3 | 11 | 5 |
| Índia | 25 | 16 | 11 |
| China | 165 | 132 | 99 |
O Brasil é, de longe, dentre os países da América do Sul e Central, o mais bem representado nos rankings globais e com mais universidades listadas do que os outros países do continente combinado. É mais reconhecido que a Rússia e a Índia, cujos governos investiram bilhões em seus sistemas de ensino superior nos últimos anos.
O Brasil possui um sistema de instituições de ensino superior muito grande e ativo. Possui também um número relativamente maior de universidades intensivas em pesquisa nos rankings do que outras economias emergentes. A Webometrics identificou mais de 28.000 universidades no mundo pela presença na Internet, o que coloca algumas instituições brasileiras entre as 500 melhores e uma universidade entre os 1,7% das principais instituições em todo o mundo em termos de desempenho de impacto de citações.
Registre-se ainda que há um grupo seleto de universidades em destaque; USP, Unicamp, Unesp, UFRJ, UFMG, Unifesp e UFRGS, que regularmente se posicionam entre as 500 melhores do mundo em diferentes rankings. Essas sete instituições formam a base do sistema de pesquisa universitária do Brasil.
Tabela 2- Performance bibliométrica das universidades líderes em pesquisa.
| Universidade | P | P top 1% | P top 10% | P top 50% | PP top 1% | PP top 10% | PP top 50% |
| Universidade Estadual Paulista | 12350 | 89 | 801 | 5402 | 0.7% | 6.5% | 43.7% |
| Universidade de São Paulo | 33295 | 351 | 2858 | 15804 | 1.1% | 8.6% | 47.5% |
| Universidade de Campinas | 11325 | 103 | 998 | 5564 | 0.9% | 8.8% | 49.1% |
| Universidade Federal do Rio de Janeiro | 10460 | 96 | 897 | 4919 | 0.9% | 8.6% | 47.0% |
| Universidade Federal de São Paulo | 6556 | 75 | 483 | 2847 | 1.1% | 7.4% | 43.4% |
| Universidade Federal de Minas Gerais | 8013 | 87 | 657 | 3729 | 1.1% | 8.2% | 46.5% |
| Universidade Federal Rio Grande do Sul | 9686 | 95 | 771 | 4530 | 1.0% | 8.0% | 46.8% |
Nota-se, entretanto, que nas classificações internacionais, vários países melhoraram rapidamente suas posições, impulsionados por grandes injeções de recursos, sobretudo de seus governos, na última década, fenômeno esse que se observa na China, Alemanha, Coréia do Sul e Israel, entre outros. As instituições destes países melhoraram significativamente suas classificações nos rankings.
As universidades brasileiras não acompanharam o ritmo de investimento observado nos países citados para produzir ciência de ponta. A falta de rigidez e confiabilidade do financiamento público significa que as nossas universidades têm menos capacidade de se lançar em projetos ambiciosos do que suas congêneres internacionais.
Vamos desdobrar o tema respondendo a duas perguntas, de modo a que as restrições e cautelas apareçam com maior nitidez na análise do impacto da citação:
1. Qual é o impacto da pesquisa brasileira?
Essa é uma pergunta complexa que não pode ser respondida apenas com números. É necessária uma visão holística, informada por uma variedade de indicadores diferentes para expressar a natureza ampla do impacto que as universidades têm na vida intelectual, social, cultural e econômica do país. As taxas de citação são um importante indicador do impacto intelectual da pesquisa, quando utilizadas de maneira responsável.
Há dois tipos de indicadores baseados em citações – os dependentes e os independentes do tamanho da instituição. Os indicadores dependentes do tamanho medem o impacto que a universidade exerceu no mundo – o número de artigos altamente citados, por exemplo. Os indicadores independentes do porte são úteis para descrever características internas de uma comunidade de pesquisa – a porcentagem de artigos altamente citados em relação a todos os trabalhos, ou um número médio de citações.
Em uma tabela das universidades latino-americanas, com uma média de citações por artigo, ponderada por área de conhecimento, por exemplo, o Brasil tem uma média mais baixa do que a Colômbia, Argentina e Chile. No entanto, o Brasil produz mais artigos e, também, artigos mais citados do que os três juntos. Portanto, sem a compreensão de ambos os indicadores é possível tirar conclusões enganosas. Por outro lado, apesar de publicar menos que a Índia, o Brasil publica uma proporção mais alta de sua pesquisa como altamente citada e com uma taxa média de citação mais alta.
A Coréia do Sul, por seu alto investimento público e compromisso com a educação, ciência e tecnologia, conseguiu publicar muito mais do que os outros países aqui mencionados e com uma taxa de citação muito mais elevada.
Tabela 2: Citação de dados de países da América Latina e outros pares.
| Nome | Rank | Web of Science Docs. | Categoria Impacto de Citação Normalizado | Vezes Citada | Impacto de Citação | Pesquisas Altamente Citadas | % Pesquisas Altamente Citadas |
| CORÉIA DO SUL | 14 | 721,740 | 0.95 | 7,132,071 | 9.88 | 4,987 | 0.69 |
| ÍNDIA | 15 | 909,495 | 0.81 | 6,764,465 | 7.44 | 4,206 | 0.46 |
| BRASIL | 18 | 577,380 | 0.85 | 4,492,292 | 7.78 | 3,207 | 0.56 |
| RÚSSIA | 26 | 490,622 | 0.75 | 2,801,272 | 5.71 | 2,078 | 0.42 |
| MÉXICO | 39 | 188,425 | 0.83 | 1,527,758 | 8.11 | 1,305 | 0.69 |
| ARGENTINA | 41 | 121,590 | 0.96 | 1,186,841 | 9.76 | 999 | 0.82 |
| CHILE | 44 | 102,993 | 1.13 | 1,079,828 | 10.48 | 1,075 | 1.04 |
| COLÔMBIA | 49 | 65,227 | 1.00 | 577,733 | 8.86 | 749 | 1.15 |
O impacto da citação é uma medida útil da influência das ideias na ciência para algumas áreas do conhecimento. É quase sempre utilizado para avaliar ciências naturais e biológicas, que também são adequadamente abordadas em fontes como a Web of Science. Esse não é o caso das ciências sociais e humanas, que usam diferentes recursos de indexação e outras mídias de publicação em que são citadas e reconhecidas de outra maneira. Não deve ser usado isoladamente para julgar a influência destas áreas de conhecimento, e especialmente quando publicadas fora dos EUA ou da Europa, onde os campos de pesquisa são voltados às necessidades locais e não às normas internacionais. Embora análises de citação possam identificar áreas de excelente desempenho, elas não podem ser usadas sozinhas para identificar a presença de outras de baixo desempenho. Por exemplo, as taxas de citação de artes e humanidades e ciências sociais parecem baixas para a USP, mas o QS ranking mais recente a colocou entre as 50 melhores do mundo. Para essas áreas, as citações, na melhor das hipóteses, contam apenas parte da história.
As citações não são uma medida de como a pesquisa gera retorno para a sociedade, seja no âmbito social ou econômico. Mesmo havendo certa correlação entre os indicadores de impacto social e econômico e os de citações, essa relação não é direta, nem necessária. Portanto, essa relação deve ser considerada com cautela.
2. O impacto de citação da ciência está aumentando ou diminuindo?
Existem dois movimentos distintos que podem ser observados na bibliometria brasileira nos últimos 15 anos. O primeiro reflete enorme expansão na quantidade de publicações e de locais onde a pesquisa vem sendo realizada. A propósito, ocorreram aumentos expressivos nas regiões Nordeste, Norte e Centro-Oeste, bem como no Sudeste e Sul, que mantêm a base de pesquisa tradicional do país.
À medida que essas novas redes exigem tempo em sua construção, analisar uma pontuação média geral de citação dá a impressão de que o impacto não está crescendo tão rápido. No entanto, essa não é uma comparação de igual para igual, à medida que o número de atores cresce. Se considerarmos apenas as sete instituições de pesquisa que foram grandes produtoras de conhecimento ao longo do tempo, podemos ver que a pesquisa não apenas melhorou a taxa geral de citações, mas também o número e a proporção de pesquisas altamente citadas.
Nesse sentido, podemos dizer conclusivamente que o impacto da ciência brasileira entre as elites aumentou muito em comparação ao ano 2000, mas também se expandiu para novos territórios e envolveu novos atores entre instituições emergentes. Não há evidências de que a ciência brasileira esteja em declínio.
O gráfico 1 mostra a evolução do impacto da pesquisa nas sete maiores universidades intensivas em pesquisa de 2000 a 2016, normalizadas por área de conhecimento e ano de publicação. O CNCI torna-se dúbio quando analisados conjuntos de dados menores em anos mais recentes por motivo de comportamento variável das medidas de citações. Isso mostra que todos aumentaram significativamente nos últimos vinte anos.
Gráfico 1: Categoria de impacto de citação normalizada da Web of Science para o grupo de 7.
Da mesma forma, o gráfico 2 mostra que o número de artigos altamente citados (no topo 1% por sua área de conhecimento e ano de publicação) aumentou significativamente desde o início do monitoramento em 2008. A USP possui muito mais artigos, mas isso é esperado dado que é uma universidade maior. Guardadas as proporções, as outras universidades apresentam desempenho semelhante.
Gráfico 2 – Número da Web of Science de publicações altamente citadas
Finalmente, podemos ver no gráfico 3 que o impacto da citação normalizada por categoria para todo o país aumentou expressivamente na última década – a pesquisa do Brasil tem maior impacto em relação ao resto do mundo. O único país dessa comparação que melhorou mais rapidamente foi a Rússia, que partiu de um valor base muito mais baixo. Deve-se notar que todos os outros países nesta linha de base tiveram o benefício de um planejamento claro e de investimentos vultosos em seus sistemas de ensino superior durante o período. Tendo em vista que esse é o total (incluindo novos atores de pesquisa), o impacto geral das instituições de elite aumentou muito e tem o mesmo valor da Coréia do Sul – a linha de base no gráfico 2 é 1,1, a mesma da taxa da Coréia do Sul e China Continental.
Gráfico 3 – Categoria de impacto de citação normalizada por países comparáveis 2007-2017
Conclusão
A comunicação das universidades deve se pautar em atitudes racionais e claras. Não podemos reclamar de termos sido julgados negativamente com base em resultados de classificação simplistas se apresentamos os mesmos resultados quando positivos. As comunicações devem evitar a apresentação de leituras simplistas dos rankings que se concentram na posição sem contextualização. Com demasiada frequência, o relato de resultados carece de explicação da diferença entre áreas do conhecimento e do entendimento da diferença entre indicadores absolutos e relativos. A perspectiva de que a ciência brasileira está piorando ou não está produzindo nada se baseia no uso deficiente da bibliometria e na falta de entendimento de como as classificações funcionam. Tais narrativas podem ser combatidas usando-se comunicações aprimoradas e compreensão de suas lógicas subjacentes.
Apresentar as classificações como medidas objetivas, sem reflexão, desvia a questão central. O que deveria ser um amplo debate normativo se restringiu a um universo técnico muito estreito. A pergunta deve ser: “qual é a melhor contribuição que as universidades podem dar para a sociedade brasileira?”. Em vez disso, perguntou-se: “qual é a melhor universidade?”. Os rankings e as análises bibliométricas têm um papel a desempenhar na resposta à primeira pergunta.
Os resultados do ranking e as análises de citação devem ser usados para complementar perspectivas mais sensíveis, não substituí-las.
No médio prazo, as universidades devem enfatizar o bem que fazem e a relevância que têm, e aprender a expressar isso de forma clara. Evidenciando que o impacto, a qualidade e a relevância da citação são conceitos separados, mas quase sempre intrinsecamente relacionados.
A longo prazo, as universidades devem abrir canais mais permanentes de comunicação e de tomada de decisão ligados à sociedade e partes interessadas. A governança compartilhada da instituição reduz sua vulnerabilidade a ataques externos. Torna-se menos possível acusar a universidade de existir por si mesma quando uma maior diversidade de atores está envolvida em suas ações. Isso também traz o benefício de aumentar a compreensão do impacto e relevância local da universidade, além de informar estratégias sobre como promovê-la.
Finalmente, tem sido um problema de longa data que, enquanto grande parte da produção da universidade é internacionalizada e, em nível pessoal, os cientistas brasileiros estão fortemente envolvidos com a produção global de conhecimento, a maneira pela qual ela é avaliada e representada é exclusivamente brasileira. Isso cria uma grande lacuna no entendimento entre como as universidades de outros países veem o desempenho da pesquisa e como as instituições brasileiras o veem. Em parte, isso é um obstáculo para aumentar ainda mais o impacto da ciência brasileira, pois os incentivos para a publicação de pesquisas de alto impacto e alta relevância são muito mais baixos do que em outros países com uma governança de pesquisa mais sofisticada.
O que as universidades devem fazer?
No horizonte de curto prazo
As universidades devem prestar atenção à maneira como suas equipes de comunicação lidam com os dados. Isso deve incluir a garantia de que haja entendimento e internalização dos indicadores, e do que está sendo medido, o que não foi medido e como os resultados são normalizados e apresentados.
A compreensão desses aspectos deve ser reforçada por meio de treinamento específico no uso responsável de indicadores e rankings, e na fixação de diretrizes que orientem as equipes nestas análises.
No médio prazo
As universidades devem procurar construir ferramentas melhores e mais rigorosas para medir, comparar e expressar o que fazem bem. É preciso identificar os seus os impactos sociais e econômicos locais em todas as áreas. Aprofundar os benefícios culturais como universidade abrangente e torná-los prioritários para transformar o debate.
Evoluir de uma posição puramente defensiva para uma postura ativa na divulgação das atividades e impactos positivos do que nela é produzido. Estas premissas estreitarão os seus laços com a sociedade e alargarão suas linhas de engajamento.
Instituições de ensino superior e órgãos de financiamento devem procurar incluir especialistas internacionais no processo de avaliação, a fim de garantir que a governança da pesquisa acompanhe a evolução da ciência.
As universidades devem considerar a construção de mecanismos robustos de governança para a contribuição e participação de diferentes setores da sociedade. Seja por meio de conselhos plurais em sua gestão, fóruns públicos regulares ou por outros métodos focados na participação dos tomadores de decisão e compartilhamento das responsabilidades sobre as decisões estratégicas.