Corrida para medir impacto

A necessidade de fornecer dados para órgãos de fiscalização e rankings acadêmicos nacionais e internacionais levou as universidades brasileiras a investir na criação de comissões administrativas ou escritórios dedicados à coleta e à análise de informações de desempenho. O exemplo mais recente é o da Universidade Federal de São Paulo (Unifesp), que, em setembro, lançou seu Escritório de Dados Estratégicos Institucionais. “Há informações espalhadas por diferentes setores dentro da universidade. Pretendemos organizar esses dados e propor métricas mais adequadas para a avaliação das nossas atividades de ensino e pesquisa”, explica Juliana Garcia Cespedes, pró-reitora Adjunta de Planejamento da Unifesp.

A universidade, assim como as demais instituições de ensino e pesquisa federais, é obrigada a fornecer ao Ministério da Educação (MEC) e ao Tribunal de Contas da União (TCU) um conjunto amplo e detalhado de informações, como execução orçamentária, custo por aluno, número de estudantes que se formaram no prazo-limite estabelecido para cada curso, índice de qualificação do corpo docente, entre outros. A apuração desses dados, a cargo da superintendente de tecnologia de informação Lidiane Cristina da Silva, rendeu frutos à universidade e demonstra a importância de ampliar o trabalho e criar uma estrutura mais organizada para executá-lo.

Em abril passado, a revista inglesa Times Higher Education (THE) lançou uma nova proposta de ranking acadêmico para valorizar o impacto social gerado pelas universidades. Em vez de se ater a indicadores de ensino e pesquisa, o ranking considerou o desempenho das instituições em alguns dos Objetivos de Desenvolvimento Sustentável da Organização das Nações Unidas (ONU), como a redução de desigualdades, a sustentabilidade ambiental das instituições e o impacto no desenvolvimento urbano de sua região. Grandes universidades do Brasil e do mundo se abstiveram de participar do ranking, em grande medida por não terem disponíveis dados como a quantidade de lixo reciclado ou um inventário de iniciativas de combate à violência.

A Unifesp aceitou o desafio e se destacou entre as 200 melhores universidades do mundo nesse ranking, no mesmo patamar de outras duas universidades federais, a do ABC (UFABC) e a do Ceará (UFC). “Reunimos rapidamente os dados que o ranking exigia porque nosso pessoal de tecnologia da informação e de planejamento tem experiência nessa tarefa”, diz a reitora Soraya Smaili. O fato de uma mulher comandar a universidade contou pontos extras no quesito combate à desigualdade. O atendimento médico à população, uma marca da instituição desde os tempos em que era a Escola Paulista de Medicina e estava restrita à área da saúde, também reforçou o desempenho.

Indicadores de performance acadêmica apoiam gestores na tomada de decisãoes e auxiliam as universidades a mostrar seus resultados para a sociedade — que, em última análise, é a responsável por financiar as atividades promovidas por essas instituições. “A análise de indicadores nos ajuda a definir parâmetros mais adequados para avaliar resultados de ensino e pesquisa em diferentes áreas do conhecimento. Ao mesmo tempo, permite que as instituições reflitam sobre sua relação com a comunidade externa”, afirma Aluísio Cotrim Segurado, professor da Faculdade de Medicina da Universidade de São Paulo (FM-USP) e coordenador do Escritório de Gestão de Indicadores de Desempenho Acadêmico (Egida) da instituição. Criado em 2018, o órgão se dedica a melhorar o levantamento e a interpretação de dados a fim de ajudar no planejamento da USP.

O Egida também procura atuar como interlocutor dos responsáveis pela edição de rankings acadêmicos. A importância de intensificar essa relação ficou evidente, de acordo com Segurado, quando se verificou que o desempenho da USP em um ranking de reputação acadêmica e de impacto no mercado de trabalho, feito pela consultoria britânica QS, estava defasado porque a instituição paulista não atualizava há alguns anos a lista de pesquisadores indicados para responder ao questionário. “Situações como essa deixam claro a relevância desses escritórios para as universidades”, diz Segurado. Outro desafio é definir novos indicadores de produção intelectual para áreas em que a avaliação bibliométrica — medida pela quantidade de artigos publicados, índices de citação, entre outros quesitos — não é a mais adequada, como no caso da área de humanidades. “Queremos desenvolver indicadores de avaliação que façam sentido para áreas como artes, música e cinema, por exemplo”, ele afirma.

A criação desses escritórios dentro das universidades está ajudando a FAPESP a atualizar os Indicadores de Ciência, Tecnologia e Inovação (CT&I) em São Paulo, levantados desde o final dos anos 1990. A Fundação está trabalhando em colaboração com os escritórios e comissões na coleta de dados relacionados ao dispêndio em pesquisa e desenvolvimento, às fontes de financiamento, ao número e perfil de pesquisadores atuando em universidades, institutos de pesquisa e empresas instaladas no estado. “Os escritórios foram criados em boa hora. Antes, os interlocutores nas universidades estavam muito espalhados. Hoje, é mais fácil obter os dados de forma organizada e consistente”, explica o economista Sinésio Pires Ferreira, gerente de estudos de indicadores da FAPESP.

As iniciativas promovidas pela USP e Unifesp se somam a outras semelhantes criadas por universidades públicas brasileiras, como a UFC, em Fortaleza, cuja Coordenadoria de Planejamento e Gestão Estratégica vem trabalhando em novas estratégias de análise e acompanhamento de indicadores acadêmicos de desempenho. “As informações que reunimos e analisamos até aqui estão nos ajudando a elaborar planos de desenvolvimento institucional mais efetivos e focados em uma administração mais transparente”, destaca a coordenadora, Roberta Queirós Viana Maia.

USP, Unicamp e Unesp se uniram para criar métricas que mostrem o impacto econômico, social e cultural de suas atividades Já a Universidade Estadual Paulista (Unesp) criou em março de 2017 uma comissão formada por profissionais das áreas de administração, ciências da informação e métricas para avaliar a atuação da instituição em diversos rankings universitários, entre eles o da revista THE e o produzido pelo Centro de Estudos em Ciência e Tecnologia da Universidade de Leiden, na Holanda. “O objetivo é monitorar os resultados da Unesp, interpretar esses dados e determinar como eles podem ser úteis para nós”, explica José Augusto Chaves Guimarães, professor do Departamento de Ciência da Informação da Unesp, campus de Marília.

Ao monitorar os rankings, a comissão da Unesp constatou que muitos pesquisadores publicam artigos em português, reduzindo sua repercussão internacional. Também se observou uma dificuldade em informar aos rankings um quadro consolidado da produção científica da instituição. Ocorre que o nome da universidade é escrito de forma não padronizada em artigos científicos. A comissão identificou mais de 90 grafias diferentes para descrever a sigla em inglês.

Para resolver esses problemas, a comissão da Unesp lançou o Propetips. O programa reúne orientações para que os pesquisadores publiquem em inglês e em revistas internacionais e citem corretamente o nome da instituição. “Há ainda orientações óbvias como a que evitem publicar nas chamadas revistas predatórias, de baixa qualidade”, explica Guimarães. Outras iniciativas estavam em curso antes da criação da comissão. Uma delas é a obrigatoriedade do cadastro de todos os pesquisadores na Open Researcher and Contributor ID (Orcid), que garante que eles tenham um número de identificação no ambiente científico global, de modo a evitar que sejam confundidos com homônimos.

Os escritórios de indicadores do país refletem o sucesso de experiências semelhantes nas universidades Harvard e de Miami, nos Estados Unidos, e de Cambridge, no Reino Unido. Por meio do levantamento e análise de dados, essas instituições apoiam estratégias e políticas que ajudam a manter ou aumentar o financiamento à pesquisa. Também mapeiam o sucesso profissional de egressos da graduação e pós-graduação e abastecem com diferentes informações os rankings.

Ainda que as universidades brasileiras se preocupem cada vez mais em medir seu desempenho, Marisa Beppu, que foi Pró-reitora de Desenvolvimento Universitário da Universidade Estadual de Campinas (Unicamp) entre 2017 e 2019, ressalta que a relação não deve ser de subserviência. “Os rankings devem ser usados como instrumentos de calibração das atividades de ensino e pesquisa das instituições”, ela destaca. “As universidades precisam fazer uma leitura crítica dos rankings e ir além desses dados, levando em conta métricas que façam sentido para elas e para a realidade brasileira”, comenta Milena Serafim, assessora da Coordenadoria Geral da Unicamp, órgão que sedia as iniciativas da gestão de dados institucionais, sob liderança da vice-reitora Teresa Atvars. Elas explicam que há anos a Unicamp trabalha no desenvolvimento de métricas para aperfeiçoar o sistema de governança e auxiliar na tomada de decisões envolvendo questões administrativas e das carreiras de professores e pesquisadores. “A instituição também investe em uma melhor interação com as agências responsáveis pelos rankings universitários no sentido de desenvolver indicadores que façam sentido à realidade da sociedade em que a instituição se insere”, destaca Beppu. A Unicamp tem tradição de impacto na sociedade em várias áreas, mas se destaca em produção e proteção de propriedade intelectual, transferência de tecnologia e empreendedorismo – no mês passado, a universidade anunciou que, em 2019, deu origem a 114 novas “empresas-filhas”, empreendimentos criados por alunos, ex-alunos e pessoas com vínculo com a instituição, assim como negócios cuja atividade deriva de uma inovação licenciada pela universidade ou empresas que se graduaram em sua incubadora tecnológica. Ao todo, há 717 dessas empresas em atividade, que faturaram R$ 7,9 bilhões neste ano.

Na USP, o Egida procura fazer essa avaliação abrangente por meio de levantamentos em bancos de dados externos. A partir de informações da plataforma Lattes, busca-se estimar o impacto da USP na formação de professores de graduação e pós-graduação em outras universidades do país. “Em algumas delas, mais da metade dos professores se formou na USP”, diz Segurado.

As três universidades estaduais paulistas vêm desenvolvendo métricas para a avaliação de seu impacto econômico, social e cultural. A iniciativa é desenvolvida no âmbito de um projeto coordenado por Jacques Marcovitch, da Faculdade de Economia, Administração e Contabilidade (FEA-USP). A ideia é criar indicadores adequados para acompanhar as missões institucionais dessas universidades. “Já havia uma mobilização a fim de reunir dados para rankings internacionais. Estamos aproveitando o impulso para gerar indicadores sobre o impacto das instituições no desenvolvimento econômico, na produção de inovação e na qualidade de vida da população, mostrando os resultados do investimento feito com dinheiro público”, diz Renato Pedrosa, professor da Unicamp e pesquisador do projeto liderado por Marcovitch. A intenção é que as universidades gerem dados com metodologias semelhantes e que sejam comparáveis, diz Pedrosa, também coordenador do programa Indicadores de Ciência, Tecnologia e Inovação da FAPESP. “O projeto concebido pelo professor Marcovitch faz exatamente o que a FAPESP espera de um projeto de pesquisa em políticas públicas: identificou um desafio, reuniu uma equipe de pesquisadores capacitados e obteve a adesão de uma organização interessada em usar os resultados, no caso o Conselho dos Reitores das Universidades Estaduais Paulistas, o Cruesp”, diz o diretor científico da FAPESP, Carlos Henrique de Brito Cruz.

Uma das medidas adotadas no âmbito do projeto foi a adesão ao U-Multirank, ranking lançado em 2014 por um consórcio europeu liderado pelo Centro de Estudos de Políticas de Educação Superior da Universidade de Twente. O U-Multirank publica gráficos multidimensionais das universidades e permite a identificação de seus pontos fortes e aspectos que precisam ser aprimorados. “Essa iniciativa deverá nos ajudar a avaliar o desempenho das universidades paulistas e compará-las com outras universidades, parecidas ou complementares, para estabelecer parcerias estratégicas”, destaca Segurado.