A gestão de indicadores na Unicamp

Introdução

Nesse seminário virtual fomos desafiados a abordar alguns aspectos da situação atual gerados pela pandemia e que impactam a área de dados. Divido a apresentação em duas vertentes, uma relacionada à manutenção e andamento das atividades sendo realizandas na Unicamp, hoje de forma remota em função da pandemia, atualizando as informações apresentadas anteriormente. Na primeira parte faço referência aos temas sugeridos: Foco da Unicamp no delineamento de métricas de desempenho acadêmico; Etapas realizadas e lições decorrentes; Prioridades Atuas e Desafios à Enfrentar, Comparações internacionais monitoradas. Na segunda parte faço uma reflexão livre sobre a necessidade de repensar os indicadores de produção acadêmica no pós-pandemia e sobre o impacto da crise sanitária nas métricas de desempenho acadêmico.

Foco da Unicamp no delineamento de métricas de desempenho acadêmico.

Como discutimos em eventos anteriores, a Unicamp ainda não dispõe de um completo sistema centralizado de dados institucionais, projeto este bastante ambicioso e em andamento. Para que pudéssemos evoluir nesse tema, optamos por um modelo de Escritório de Dados, seguindo as boas práticas de muitas universidades internacionais, conforme também descrevemos anteriormente³. Este Escritório está subordinado à Coordenadoria Geral da Universidade, CGU. Sua necessidade se justifica porque a Unicamp tem uma gestão de descentralizada de TIC, na qual cada negócio utiliza tecnologias, sistemas e banco de dados próprios, com baixo nível de integração. Esses sistemas foram desenvolvidos com vocação apenas operacional, não com vocação gerencial. Por isso nossa estratégia está focada, principalmente, na organização e na automação da coleta dos dados, com a ambição de permitir um monitoramento em tempo real de dados, indicadores e métricas.

Vários produtos já foram disponibilizados e outros estão em desenvolvimento. Cito um exemplo: o atual sistema de convênios e contratos acadêmicos nos permite acompanhar toda a tramitação administrativa do processo (atividade típica de operação transacional envolvendo múltiplos órgãos da administração), também gera informações gerenciais dentre as quais destaco: classificação por área de atuação (ensino, pesquisa e extensão), montante de recursos, principais parceiros, tempo médio de tramitação, unidades acadêmicas envolvidas, etc. Esses e muitos outros dados estão disponibilizados para a administração em um software de BI, como uma das telas mostrada na Figura 1.

Figura 1. Tela com dados gerenciais do sistema de convênios e contratos acadêmicos implantado na Unicamp. Fonte: CGU Unicamp 2020.

O Escritório está permitindo a gestão integrada de dados e indicadores institucionais e estratégicos atua em três grandes frentes (Esquema 1): 

1. a dos dados quantitativos, tais como os indicadores de rankings (recentemente nos integramos ao Green Metrics), a automação do Anuário Estatístico, o portal Transparência Unicamp, a gestão dos Dados Gerenciais (com BI), os dados para Avaliação Institucional e a definição dos indicadores estratégicos;
2. a implantação de Boas Práticas de Gestão de Dados, em estrita obediência as Leis de Acesso à Informação (Lei Federal n^o 12.527 de 2011) e Lei Geral de Proteção de Dados Pessoais (Lei nº 13.709, de 14 de agosto de 2018), LGPD;
3. a criação de dados qualitativos com a implantação de surveys para assuntos específicos de interesse institucional. A primeira survey implantada a partir de 26 de junho de 2020 trata uma pesquisa qualitativa para avaliar os impactos da pandemia COVID-19 no trabalho on line das pessoas (alunos, funcionários e docentes). Destaco a importância dessa survey se aplicar aos três segmentos da universidade, pois cada um deles, nas diferentes áreas, experimentam realidades e dificuldades diferentes. Por exemplo, não podemos comparar a realidade enfrentada pelas pessoas que estão na linha de frente do cuidado com pacientes em nosso Hospital de Clínicas, HC, com aqueles que estão em atividades administrativas em home-office. Será estratégico captar essas informações para a construção das soluções no futuro próximo para mitigar o impacto. Desse projeto decorrerão as estratégias institucionais a serem implantadas para a superação das principais dificuldades.

Esquema 1. Resumo das principais ações envolvidas na Gestão dos Dados Institucionais da Unicamp.

Etapas realizadas e lições decorrentes

As etapas realizadas a partir de 2017 envolveram um conjunto de projetos estratégicos com resultados objetivos. Para ilustrar a excelente evolução dos projetos, mostramos uma tela do portal Transparência Unicamp (Figura 2) com várias funcionalidades implantadas sendo que em cada uma delas há um subconjunto de dados estruturados e automatizados. Parte desses dados são capturados em um sistema de BI e analisados para permitir à gestão estratégica. Esse portal está em evolução, ainda há um caminho a percorrer que será mais simples pois a equipe técnica de desenvolvimento já domina o conhecimento tecnológico necessário para dar prosseguimento à atividade.

A nova realidade da pandemia nos obrigou a desafios novos e reforçou a convicção de que estamos atuando na direção adequada a esse novo momento. Um desses desafios é o trabalho em home-office da nossa equipe de dados, o que nos obrigou a estabelecer reuniões virtuais, mais diretas e objetivas. Posso, seguramente, afirmar que dentre as lições aprendidas que é mandatório a automação consolidada dos dados da universidade, deixando-os sempre disponíveis em tempo real. Sem isso não conseguiremos atender aos vários stakeholders e nem viabilizar novas estratégias de gestão e solução de problemas que ocorrem no dia a dia. Para avançarmos ainda mais no portal Transparência Unicamp, um importante mecanismo de resposta aos vários tipos de stakeholders, estamos cumprindo as determinações do Tribunal de Contas do Estado, TCE, combinadas com os requisitos da Lei de Acesso à Informação e com a LGPD, o que não é uma tarefa simples.

Figura 2. Funcionalidades já implantadas no portal Transparência Unicamp. Fonte: CGU Unicamp 2020.

Sabemos também que os reitores demandam constantemente informações precisas para suas entrevistas cada vez mais frequentes e precisam dispor de dados atualizados para informar corretamente às diferentes mídias e órgãos de governo. Nem sempre esses dados estão disponíveis e nem sempre podem ser buscados para respostas imediatas. Essa é mais uma razão para que a Unicamp se empenhe nessa estratégia de disponibilizar e divulgar plenamente seus dados.

Outro exemplo das demandas internas e externas que estão na ordem do dia são aquelas relacionadas as profundas transformações que as universidades vêm passando nos seus modus operandi devido à pandemia.  Cito o que está ocorrendo com as disciplinas dos cursos de graduação, pós-graduação e extensão, decorrente da decisão de se passar do presencial para o virtual, de prorrogar os semestres letivos, o que altera o calendário do segundo de 2020 e, que, possivelmente, influenciará o vestibular e o início das atividades em 2021. Todas essas decisões precisam ser, simultaneamente, baseadas em dados e no acompanhamento da evolução temporal da ocorrendo. Sem dados e um sistema informatizado adequado, e sem uma comunicação precisa e eficiente, a possibilidade de que decisões estratégicas não se viabilizem é muito grande. No caso da Unicamp, o sistema de registro acadêmico é robusto o suficiente para dar conta tempestivamente dessas mudanças sem grandes riscos.

Prioridades Atuas e Desafios à Enfrentar

Dentro da perspectiva da completa implantação do Escritório de Dados, trabalhamos para automatizar as fontes de dados localizadas nas áreas de negócios, disponibilizando-os de forma adequada com um nível de abrangência de formatos que atenda os diferentes tipos de stakeholders (TCE, o CRUESP, a Assembleia Legislativa do Estado de São Paulo, o Conselho Estadual de Educação, o INEP, a plataforma Sucupira da CAPES e outros órgãos de avaliação, a Receita Federal e vários órgãos federais e estaduais que demandam registro de informação de pessoal, etc). Destaco alguns dos vários produtos já disponibilizados: 

• Portal Transparência Unicamp – https://transparencia.unicamp.br/,
• Portal de Produção Docente – em fase final de implantação, 
• Portal Alumni (implantado) – https://alumni.unicamp.br/,
• Sistema de Informação ao Cidadão (implantado e com tramitação completamente virtual) – https://www.unicamp.br/unicamp/sic-unicamp,
• Sistema de BI com vários tipos de estatísticas (implantado), 
• Repositório de Dados de Pesquisa da Unicamp (implantado, com quase 150 mil documentos) – http://www.repositorio.unicamp.br/handle/REPOSIP/2532, 
• definição dos indicadores de produção do CRUESP – em fase de conclusão. 

Temos ainda como desafios a conclusão de 13 projetos estratégicos relacionados a gestão dos dados (Figura 3), sendo que dois são bastante trabalhosos: o projeto relacionado a Lei de Proteção dos Dados Individuais, a chamada LGPD, pela sua complexidade, em uma universidade de largo espectro de atividades, como é o caso da Unicamp, com vários hospitais e sem sistema gerencial de informações completamente implantado. O outro desafio é uma boa definição dos indicadores e suas métricas para as múltiplas atividades da universidade, com um adequado dicionário de dados, o que ainda não dispomos. Com bons indicadores e métricas atingiremos o estado desejado de transparência e de capacidade de gestão, essenciais nesse novo cenário no qual estamos imersos.

Figura 3. Lista de projetos estratégicos em desenvolvimento, diretamente vinculados ao Escritório de Dados, com monitoramento pela CGU. Fonte: CGU Unicamp, 2020.

Comparações internacionais monitoradas. Breve justificativa.

Nesse momento a Unicamp está imersa nas reuniões semanais com a Comissão Externa de Avaliação Institucional referente ao período 2014-2018, e está monitorando a produção científica com os seguintes indicadores:

1. Outputs top citation percentiles; 
2. Percentiles of publications in top journals;
3. International collaborations;
4. Academic corporate collaborations;
5. Topic proeminency – Scholarly output

Acreditamos que são indicadores relevantes para se monitorar nosso desenvolvimento institucional, comparando a evolução do desenvolvimento institucional por períodos quinquenais, o que elimina eventuais flutuações que podem ocorrer de um ano para outro. Iremos automatizar esses indicadores para avaliarmos o desempenho global da universidade e de cada uma das unidades acadêmicas. A comparação dos dois quinquênios sucessivos, 2009-2013 e 2014-2018 mostra um progresso bastante significativo dos indicadores acima citados, quer em números, quer em qualidade, como mostra a Figura 4.

Figura 4. Exemplo de painel comparativo de produção acadêmica da Unicamp. Fonte: PRP Unicamp. 2020.

Impacto da crise sanitária nas métricas de desempenho acadêmico

Ainda não se pode avaliar quantitativamente o impacto da crise sobre o desempenho acadêmico da Unicamp, por isso apresento algumas reflexões. Pondero que estamos vivendo no Brasil três enormes crises, sinérgicas e concomitantes: uma pandêmica sobre a qual a gestão nacional tem sido desastrosa; uma econômica que em parte decorre da crise pandêmica, mas que também é, no Brasil, estrutural brasileira e, por ser estrutural, não vai passar nem no médio prazo; e uma crise política, também estrutural e que não vai passar [3]. Nenhum país do mundo civilizado está nessa situação. Tudo isso produz um agravamento da crise do financiamento do ensino, pesquisa e inovação, o que já vinha ocorrendo, por razões estruturais, anteriormente à pandemia.

Cito como exemplo o fato de que os projetos de P&D relacionados à energia elétrica não tiveram editais abertos nesse primeiro semestre de 2020, como vinha ocorrendo há anos e não há perspectivas que venham a ser lançados esse ano. Projetos de petróleo e gás estão sendo cancelados ou redimensionados. Esses projetos trazem grandes investimentos em pesquisas e desenvolvimento para a Unicamp. As agências federais de financiamento à pesquisa e à pós-graduação estão com recursos bastante limitados, o que produz um grande impacto negativo nas bolsas de pós-graduação no caso da Unicamp. Tudo isso no seu conjunto deve impactar negativamente a pós-graduação e a pesquisa no futuro. A Unicamp teve por parte da Capes redução no número de bolsas de mestrado e de doutorado, sem contar com a permanente ameaça de não financiar as áreas de humanidades (Figura 5).

Figura 5. Evolução no número de bolsas de mestrado e de doutorado recebidas pela Unicamp nos últimos 10 anos. Fonte: PRPG – Unicamp 2020.

Sobre o impacto nas métricas, há outras reflexões a serem feitas e exploradas em nossas discussões. Uma delas tem a ver com as novas formas de comunicação dos trabalhos acadêmicos com a sociedade cientifica e com a sociedade em geral. Por exemplo, estamos acostumados a mensurar as produções de pesquisa em papers publicados, que tem seu tempo de maturação, tempo de submissão e avaliação por pares, aceite e formalização da publicação indexada e rastreável, e em muitos casos com acesso restrito aos assinantes dos periódicos ou veículos de divulgação. Em geral, essa produção é feita por individualmente ou por grupos de pesquisa bem definidos de pesquisadores e instituições. Em publicação recente sobre as consequências da pandemia para a produção científica[4], está-se discutindo que pesquisadores estão comunicando seus resultados de modo muito mais rápido, em veículos de open access, compartilhando resultados preliminares (pré-print) divulgados em servidores ou websites institucionais, envolvendo grupos muito mais interdisciplinares autonucleados no estudo de um problema global, desafiando as formas convencionais do rito de divulgação formal da ciência. Os indicadores utilizados até agora não são mais adequados para capturar essa forma de divulgação da produção científica. É muito provável que aquele movimento em direção da comunicação científica em open access, que evoluía a passos lentos pelo alto custo que essa opção apresentava, se reconfigure no cenário dos grandes provedores gratuitos que encontraram a oportunidade nesse novo cenário. Essa mudança veio para ficar? Qual a métrica mais adequada para mensurar pré-prints em open acess? São perguntas a serem respondidas.

Outro ponto que me parece relevante diz respeito às configurações das comunidades e associações científicas e de que forma os pesquisadores irão se vincular a elas ou passarão a atuar dentro delas. Associações científicas, em muitos casos, são comunidades razoavelmente fechadas. O Brasil, por exemplo tem três sociedades científicas na área de química: Associação Brasileira de Química, Sociedade Brasileira de Química e Associação Brasileira da Indústria Química. Aqui não estou hierarquizando a importância de cada uma, só constatando. Existem também sociedades de Ciência de Materiais, de Polímeros, e das várias modalidades das engenharias, cujos temas são correlatos às sociedades citadas acima a título de exemplo. E temos a SBPC, essa sim, com largo espectro de participantes. Essas sociedades e associações científicas organizam seus congressos, encontros e seminários técnico-científicos, em uma certa área de atuação. Em que espaço se reunirão os pesquisadores (médicos, químicos, biólogos, matemáticos, estatísticos, cientistas da computação, físicos, farmaceúticos, demógrafos, cientistas sociais e muitos outros profissionais) que se auto-agregaram ao redor de um problema global como a pandemia? O que se constata nesse momento é que muitos pesquisadores reorganizaram suas pesquisas, deixando (provisória ou permanentemente) as áreas em que tradicionalmente atuam. Nesse sentido, que comunidade esses neófitos pesquisadores passarão a integrar e com qual irão interagir? 

A crise provocou várias outras disrupturas, e é muito provável que ocorram reconfigurações das sociedades/comunidades científicas. Como capturar a importância das produções em comunidades científicas que não são as tradicionalmente frequentadas pelos pesquisadores? Há outros problemas globais que encontram a mesma dificuldade de serem endereçados, justamente pela fragmentação dos domínios científicos da ciência artificialmente criados e que, nesse momento se reconfigura.

Necessitamos também reconceituar a internacionalização e sua importância, um dos baluartes de vários tipos de ranqueamentos. A internacionalização é mensurada com os indicadores convencionais, sedimentados/pactuados por critérios de interesse de grupos hegemônicos internacionais, nem sempre aderentes à realidade dos países periféricos. Um exemplo de indicador é o das coautorias entre parceiros de distintos países. É muito provável que coautorias entre grupos já consolidados continuem a ocorrer, mesmo num cenário de maior distanciamento social físico, pois os meios virtuais de comunicação se consolidaram de modo irreversível. Entretanto, como fazer para estabelecer novas colaborações se a maioria das parcerias se estabelece a partir de um primeiro contato pessoal? Este também é apontado como um novo desafio de internacionalizão, que será maior em pesquisas de campo, para as quais a presença física é um requisito essencial.^[5] Por outro lado, aponta a publicação, muitas das viagens anteriormente realizadas não eram absolutamente essenciais, o que tornará a ciência mais comprometida com a sustentabilidade, mais “verde”, no sentido de que os deslocamentos passarão a ser mais seletivos e criteriosos. No Brasil, dado o tamanho relativamente pequeno da comunidade científica, e dado o baixo nível de internacionalização consolidada na maioria das instituições acadêmicas, a internacionalização mensurada por métricas convencionais deverá cair abruptamente. 

Finalmente gostaria de apontar os desafios das agências de fomento no sentido de serem provedoras de recursos baseados em análise de mérito por pares. Convencionalmente, a análise de mérito de um projeto contém dois parâmetros relevantes: a qualidade/pertinência/relevância do projeto e o currículo do proponente. Como avaliar a produção de um pesquisador que aderiu a uma nova área de pesquisa para a qual não tem produção consolidada ou tem uma produção mensurada por indicadores não convencionais ou que pela complexidade do trabalho ainda não produziu resultados mensuráveis com métricas similares às de outros mais tradicionais? E como ficará a abordagem dos problemas locais ou nacionais em países de desenvolvimento tardio como o nosso?

Portanto, na minha visão haverá um forte impacto tanto nas métricas convencionais no futuro próximo, decorrente de vários fatores: reduções no financiamento à ciência, pela desestruturação do sistema científico/acadêmico brasileiro e pela inadequação dos indicadores convencionais. Todos decorrem das profundas mudanças, disruptivas, não sei se em caráter irreversível.

Por isso, nós que atuamos na implantação do Escritório de Dados da Unicamp e que coordenamos o processo de Avaliação Institucional, que somos produtores de ciência e formuladores de soluções, precisamos iniciar uma reflexão sobre como capturar a percepção da relevância que temos enquanto universidade pública, nessa fase crítica vivenciamos no mundo e no Brasil em particular. Nunca a mídia falou tanto em ciência e nunca nossos acadêmicos (reitores, professores, médicos, pesquisadores) foram tão requisitados para informar a população sobre a situação da pandemia. Mensurar essa realidade com novas métricas destacará a importância da ciência e da tecnologia, o que me parece absolutamente necessário. Na minha opinião isso é mais urgente do que nos debruçarmos sobre os indicadores e métricas utilizadas pelos rankings já consolidados. 

Por isso, penso ser relevante, nesse momento, métricas que mensurem a influência local e nacional nas nossas universidades em ações de:

• Superação – como bem pontuou a Profa. Marisa Beppu em apresentação nesse webinário “transição digital frente à crise sanitária”;
• Resiliência – para enfrentar um projeto nacional de desmonte do sistema de C&T que está ocorrendo nas agências nacionais;
• Criatividade e capacidade de adaptação – demonstradas pela abrupta transformação estamos enfrentando, incluindo aquela de passar do ensino presencial para o ensino virtual, numa escala de tempo impressionantemente rápida;
• Cooperação – grupos de pesquisa interdisciplinares se auto-nuclearam rapidamente com resultados objetivos e com propostas inéditas de solução de muitos problemas;
• Solidariedade – as universidades conseguiram articular ações massivas (talvez insuficientes ainda) de solidariedade frente a um governo central inapto para compreender e agir com a presteza necessária, diante do tamanho da crise social. As universidades conseguiram arrecadar milhões de reais em doações para ações de solidariedade e de suporte às suas atividades fim, de forma inédita na nossa história.

Concluo com isso, que o tema MÉTRICAS adquiriu, na minha visão, uma outra dimensão que não apenas a de reportar dados quantitativos, e precisam refletir melhor a importância que temos na sociedade, principalmente a brasileira, num cenário de terraplanistas governamentais.

Agradecimentos: Expresso meus agradecimentos à equipe do GePlanes – Unicamp que desenvolve e implanta o Projeto Estratégico do Escritório de Dados da Unicamp, bem como às valiosas colaborações das Profa. Milena Pavan Serafim e Profa. Marisa M. Beppu.

Notas

1. Esse trabalho foi apresentado no Painel III – Desempenho Acadêmico e Comparações Internacionais – Tópico – Crises 2020 – A Gestão dos Indicadores na Universidade: Depoimentos, Organizador: Jacques Marcovitch, 17/06/2020, 14:00-15:30 h, FAPESP.
2. M. M. Beppu, T. D. Z. Atvars, M. P. Serafim. Indicadores de Desempenho Acadêmico: Unicamp no Horizonte 2022, Cap. 3, p.61-83. Repensar a Universidade II. Impactos para a Sociedade, J. Marcovitch (organizador) ComArte 2019. 
3. Comentário do Prof. Jacques Marcovitch, mediador desse debate: “…há também uma grave crise social, além das três citadas. Esse comentário é absolutamente pertinente e mais do que isto, é preocupante, pois a crise social no Brasil é estrutural e profundamente agravada pelas outras três.”
4. A. WITZE, Universities will never be the same after the coronavirus crisis. Nature 582, 162-164 (2020). doi: 10.1038/d41586-020-01518-y.
5. S. MALLAPATY, Scientists’worlds will shrink in the wake of the pandemic. Researchers expect long-term changes that reduce travel for work and conferences: part 6 in a series on science after the pandemic. Nature 582, 169-170 (2020). doi: 10.1038/d41586-020-01523-1.