Relatório de impacto 2019-2020

Período de novembro 2019 a novembro 2020

O Projeto Métricas tem dois objetivos principais que norteiam o seu interesse em comparações internacionais. O primeiro é usar seu potencial para melhorar a compreensão do público sobre o funcionamento e o impacto das universidades na sociedade, e o seu desempenho em relação aos pares internacionais. O outro objetivo é ajudar as universidades a fazer planos para o futuro, montando planos ambiciosos para enfrentar os desafios que a humanidade confrontará nos próximos anos.

Em 2019/2020 o projeto manteve seu foco nas sete linhas de atividades priorizadas, a saber: Universidades Estaduais Paulistas: Horizonte 2020; Fórum de indicadores e uso de métricas de desempenho acadêmico; Integração de dados e novos métodos analíticos; Curso de extensão para dirigentes universitários, jornalistas e profissionais; Temas e práticas de governança universitária; Portal Metricas.edu.; Presença das Universidades Estaduais Paulistas no U-Multirank.

Ao mesmo tempo, o projeto ampliou significativamente as suas atividades, em resposta à crise causada pela pandemia do covid-19 e às crises políticas em nível estadual, que ameaçaram a autonomia funcional das universidades estaduais e da FAPESP.

O principal impacto do projeto foi transformar os resultados da pesquisa de 2019 em um curso de 60 horas, ministrado online para 90 profissionais de Instituições de Ensino Superior e Pesquisa com vinculo a 24 instituições de todo o Brasil. O curso culminou na produção de 12 planos de propostas de políticas para universidades, a serem acompanhadas em suas fases de implementação em 2021.

O projeto promoveu estudos e discussões sobre a transição digital decorrente da crise sanitária. Foi realizada pesquisa de opinião junto a docentes de unidades e departamentos da USP, intitulada “Recursos tecnológicos para aulas remotas no contexto da crise sanitária provocada pelo Covid -19”. Além desse levantamento, foram realizados webinarios sobre o tema.

O III Fórum “Desempenho Acadêmico e Comparações Internacionais” que foi realizado por zoom entre os dias 15 e 18 de junho de 2020, teve como foco “O novo protagonismo da ciência” decorrente das crises de saúde, econômica e política que atualmente atingem o país, e reuniu lideranças de universidades, sociedade civil e pesquisadores.

Resultados alcançados no período

O termo de referência do projeto abrange atividades estruturadas em sete linhas de atividades, descritas no quadro I anexo. Este texto sintetiza as contribuições e impactos do o projeto no período coberto por este relatório. .

A crise da Covid afetou as universidades, principalmente no que diz respeito aos desafios enfrentados para a continuidade do ensino, pesquisa e extensão. Isso significa que as universidades tiveram que responder ao responder as demandas do presente e a planejar o futuro em meio a um elevado grau de imprevisibilidade. As atividades do projeto neste ano priorizaram a preparação e formação de uma rede de colaboradores e multiplicadores, a fim de preparar a abertura da janela política da era pós-covid.

Realizado entre os dias 15 e 18 de junho, o III Fórum pelo projeto Métricas recebeu, em sua abertura, os reitores das seis universidades públicas paulistas. Eles trouxeram valiosos comentários sobre o papel da universidade no primeiro ano pós-pandemia e na construção de um novo tempo mais voltado às demandas sociais.

O conteúdo integral do fórum está disponível no canal do Youtube e um documento-síntese das apresentações pode ser consultado.

Ainda com relação ao fórum, que aconteceu em formato digital, outras cinco sessões trataram de temas como a transição para formatos de ensino remoto, a comunicação das instituições, as diferentes atitudes de áreas de conhecimento em relação ao uso de métricas e indicadores de desempenho institucional. Em complemento foram colhidos e divulgados os depoimentos dos coordenadores dos escritórios de gestão de indicadores na USP, UNESP e Unicamp. A sessão de encerramento tratou do novo protagonismo assumido pela ciência durante a crise, por meio das instituições.

Como resultado do III Fórum, foram publicados no site um conjunto de artigos, como um relatório sobre iniciativas de uso responsável de indicadores elaborado por Solange Santos, pesquisadora do SciELO e associada ao projeto Métricas. O Secretário de C&T do Rio Grande do Sul e professor da UFRGS, Luís da Cunha Lamb, produziu um texto sobre o futuro do trabalho após a pandemia. O atual presidente da Fapesp, Marco Antonio Zago, contribuiu com uma reflexão sobre o papel da ciência na sociedade e na educação. O professor Luís Nunes de Oliveira, do Instituto de Física de São Carlos, apresentou resultados de um survey conduzido junto a docentes da USP sobre a transição para o ensino remoto na USP. A professora Marisa Beppu fez o mesmo exercício para a Unicamp.

Foi também feita uma análise dos novos papéis assumidos pela comunicação social das IES durante a pandemia. O tema foi discutido e ampliado pelos professores Peter Schulz e Walter Teixeira Lima Junior, responsáveis pela comunicação social da Unicamp e da Unifesp.

Textos sobre os temas do III Fórum:

As crises de 2020 e a nova era em construção.
As áreas de conhecimento e suas métricas.
A comunicação social das universidades.
A transição do presencial para o digital.
A gestão de indicadores: Depoimentos.
O novo protagonismo da ciência.

O projeto também participou do II Congresso UFABC, e no Congresso Unifesp ao lado de participantes do curso. O coordenador do Projeto Métricas proferiu o discurso de abertura do Times Higher Latin America Summit.

Um webinar especial foi realizado em abril para medir e mapear as respostas das universidades às crises de 2020. Em conjunto com isso, o projeto produziu um benchmarking de abordagens de comunicação, consequências para comparações internacionais e sistemas científicos, que foram publicados no portal métricas.

O curso de atualização, originalmente estruturado para ser oferecido num formato híbrido com alguns conteúdos online e outros em um evento de três dias, foi realizado inteiramente online, passando das 30 horas inicialmente previstas para 40 horas realizada a distância. Do total de 100 inscritos iniciais, dos quais 40 foram indicados diretamente por reitorias de universidades do estado de São Paulo e os demais de 24 instituições diferentes, 82 concluíram o curso, formando uma rede de colaboradores e colaboradoras em todo o estado de São Paulo e no restante do Brasil. Os detalhes desse impacto são detalhados abaixo.

Durante o curso o projeto construiu um workshop em conjunto com a Elsevier LA sobre o uso do Scival como ferramenta de análise bibliométrica.

Nossa contribuição este ano para os temas de governança e métodos analíticos são as seguintes:

1. Indicadores de Impacto Social

O projeto publicou uma análise da metodologia usada por outras universidades ao redor do mundo para medir o impacto econômico do ensino superior, e uma análise e benchmarking da comunicação social das universidades em resposta à pandemia e às crises associadas. Ambos estão publicados no portal métricas.

Um estudo de indicadores de impacto social foi planejado para o primeiro semestre, mas foi suspenso até 2021 por causa da pandemia do coronavírus.

2. Digitalização

Survey sobre a transição digital

Foi iniciado em março 2020, com uma segunda rodada programada para o segundo semestre, para monitorar a transição para o ensino remoto. Relatórios sumários foram encaminhados aos dirigentes das unidades participantes, e foi realizada uma análise dos resultados gerais da primeira etapa.

3. Comunicação social

Textos publicados:

Unicamp, Unifesp sobre comunicação social em adição às exposições realizadas no III Fórum em mesa dedicada ao tema, com participação da USP, Unicamp, Unifesp e Agência Bori

Um texto sobre o “Uso Responsável de Indicadores” foi elaborado por Solange Santos, pesquisadora do SciELO e associada ao projeto Métricas.

Além disso, o projeto avaliou o US News Ranking para o INORMS Research Evaluation Working Group, formando uma ferramenta de avaliação para rankings universitários globais. O projeto é uma contribuição global significativa para o debate dos rankings.

4. Identificação de grupos de alto potencial de impacto

O fórum realizou um painel sobre o tema, com contribuições de Edson Wendland (EESC-USP) sobre métricas na engenharia e João Carlos Salles (UFBA) sobre filosofia. Os textos respectivos estão publicados no portal Métricas.

O projeto também desenvolveu uma metodologia para identificação de grupos de alto impacto em áreas do conhecimento, utilizando bibliometria convencional e análise de redes sociais. Foi realizado um estudo piloto da produção da USP em bioenergia. Os resultados estão publicados no portal Métricas.

Como parte de suas atividades em andamento, o projeto também produziu e publicou notas técnicas sobre os seguintes rankings:

Foram realizadas duas sessões com a UNESP e a UFABC para discussão dos resultados do ranking.

Foi publicado um texto sobre rankings no horizonte 2021. Além disso, foi publicado um trabalho teórico sobre o princípio de linearidade em rankings, que orientará a pesquisa em 2021.

Ademais, foi publicado uma análise panorâmica bibliométrica sobre universidades públicas brasileiras.

Impacto

Esta seção detalhará o impacto que as atividades do projeto tiveram em 2019-2020, separadas em seções sobre onde o projeto teve uma influência direta na política universitária das instituições.

Impacto social

O projeto fez o keynote do Times Higher Education Latin America Summit, ampliando sua visibilidade e integração internacional. Também contribuiu para a ferramenta de avaliação do ranking INORMS REWG.

Nosso trabalho com a Elsevier serviu para aprimorar as capacidades das universidades de obter acesso a fontes internacionalmente reconhecidas e melhores análises. Ao trabalhar com eles, também conseguimos fazer demandas por indicadores que refletem o contexto brasileiro.

Por meio da atualização regular do site com análises de ranking, ensaios e opinião, o portal Métricas aumentou significativamente a sua visibilidade online, utilizando-se de um conjunto de ações que aproveitaram as atividades públicas e chances de aparição para promover o portal como fonte de referência sobre o tema. Os vídeos publicados do III Fórum pela plataforma YouTube tiveram uma visibilidade na primeira semana de lançamento para um público estimado de 600 visitantes únicos, que gerou cerca de 500 acessos identificados de forma única para o site.

De junho até início de novembro deste ano a média mensal de visitas passou de 450 para 950, sendo 53% desse total oriundas de buscas na internet. Esse aumento esperado no volume de visitações permite aferir a eficácia de medidas adotadas em termos de classificação e correta identificação de temas por meio de aprimoramento das postagens, em conformidade com boas práticas de indexação de conteúdos. A média de acessos de páginas por visitante tem mostrado uma tendência de aumento, situando-se no atual contexto em 1.74, com melhora do indicador em um passo de 9% ao mês. Em termos concretos, isto significa que a qualidade dos acessos vem melhorando, e a orientação dos visitantes os leva em mais de 60% dos casos a buscar outros conteúdos no interior do site, para além dos que foram buscados por meio de sistemas de busca de conteúdo.

O tipo de audiência desejado é de profissionais e acadêmicos ligados ao tema da governança de IES. Dessa forma, temos constantemente buscado alternativas de divulgação de conteúdos, baseadas em um universo de termos associados com os objetos de concentração do projeto.

Como ações de suporte à comunicação, contamos com uma lista de divulgação do boletim, que conta com 1200 assinantes, um canal do YouTube com cerca de 275 assinantes, e cerca de 4000 visualizações até o momento, angariados durante os processos de inscrição nas atividades públicas, como workshops e o fórum, e por meio de ações de divulgação mediadas por parceiros institucionais.

Dessa maneira, é significativa a contribuição do portal da Fapesp, dos jornais das universidades participantes (USP, Unicamp, Unesp, bem como a divulgação realizada durante os congressos acadêmicos da Unifesp e UFABC).

A abertura de um canal no Youtube, que atualmente conta com 276 assinantes, e mais de 4000 visualizações dos nossos vídeos, nos tem permitido aumentar significativamente o alcance e o impacto do conhecimento produzido pelo projeto.

O projeto apareceu várias vezes na imprensa nacional ao longo do ano passado:

Artigos de opinião, O Estado de S. Paulo
Editorial no jornal O Estado de S. Paulo
Revista Pesquisa FAPESP
Jornal da USP ( 1 | 2 )
Jornal da Unicamp
Jornal da Unesp
Boletim da Unifesp ( 1 | 2 ).

Isso mostra que o projeto teve no último ano amplo impacto nas universidades com as quais trabalha.

Impacto na política

O trabalho final do curso exigiu que os participantes trabalhassem em grupos institucionais para criar propostas de políticas públicas concretas para suas universidades. Essas propostas agora estão sendo apoiadas pelo projeto à medida que avançam em direção à implementação. Entre eles:

Um observatório de excelência na UFABC.
Marco de indicadores de impacto social para a Unicamp.
Marco de indicadores de impacto social para a Unifesp.
Uma proposta para medir o impacto da arte e da música na USP.
Uma proposta para avaliar a qualidade dos planos estratégicos departamentais na USP.
Unidade de inteligência de dados a ser instalada na Unesp.
Unidade de inteligência de dados a ser instalada na PUC-SP.
Unidade de inteligência de dados a ser instalada no Mackenzie.
Unidade de inteligência de dados a ser instalada na UFSCar.
Marco para o uso de indicadores de impacto social em institutos de pesquisa.
Marco para o desenvolvimento de indicadores mínimos para universidades com orientação regional.
Marco para indicadores de impacto social em universidades federais intensivas em pesquisa.

Tais projetos, apoiados pelas respectivas reitorias, encontram-se em fase inicial de implementação, para o seu pleno funcionamento em outubro de 2021. Haverá uma reunião de seguimento no próximo semestre, sendo os apoios contínuos oferecidos pelo projeto.

Em 2020, o Projeto Métricas vem contribuindo para uma maior integração das três universidades federais paulistas, além das três universidades estaduais do CRUESP, para as quais o projeto foi originalmente contratado. A integração de três universidades federais de São Paulo (Unifesp, UFSCar e UFABC) amplia significativamente o escopo do projeto, com a oportunidade de gerar mais impacto nos próximos dois anos.

O projeto foi creditado no relatório de impacto da Unesp pelo reitor cessante, Sandro Valentini, sob a meta 24ª. de seu Plano de Gestão.

E. Desempenho e contribuição da equipe parceira para o desenvolvimento do projeto.

O desempenho e contribuição da equipe parceira estão registradas nas pró-memórias das reuniões e encontros realizados no período, disponíveis nos links abaixo.