Categorias
Conteúdos Destaques Relatórios

Relatório de Impacto 2017 – 2019

Relatório Científico do projeto Indicadores de desempenho nas Universidades Estaduais Paulistas referente ao período de 01 de julho de 2017 a 20 de dezembro de 2019

(Projeto FAPESP 2017/50046-8)

Baixe esse texto em PDF

Resumo do Impacto 

O projeto reuniu pesquisadores da USP, Unicamp e Unesp com o objetivo de discutir o uso de rankings universitários e indicadores de pesquisa visando comparar universidades internacionalmente. O projeto em questão consolidou grupos de trabalho entre a administração das três universidades e contribuiu significativamente para debates que levaram a mudanças institucionais em larga escala nessas áreas. Também ajudou a moldar os debates para o futuro, não apenas no estado de São Paulo, mas entre instituições de todo o país. Além disso, foi criado um novo espaço institucional para a discussão e avaliação de indicadores entre universidades, pesquisadores e sociedade. Criou, ainda, um vínculo internacional para contribuir com a criação de indicadores, colocando o ensino superior brasileiro em uma posição em que pode se tornar um formador, e não um seguidor, de normas.

Pesquisa subjacente

O primeiro ano do projeto foi dedicado ao estudo da mudança de um modelo de anuário estatístico de registro de informações institucionais para um projeto de uma unidade de inteligência institucional. Esta unidade é capaz de levantar informações sobre a instituição de forma estrategicamente útil para a administração da universidade. Ele se concentrou nos usos, impactos e consequências dos rankings globais das universidades e, especificamente, na criação de benchmarking inteligente para melhorar a forma como as universidades se apresentam para o público e com quem elas optam por se comparar.

Os pesquisadores realizaram visitas e análises institucionais de cada uma das três universidades, cujos resultados estão publicados no site do projeto. Cada uma das universidades foi convidada a produzir uma auto análise crítica de seu desempenho e capacidades atuais, sendo toda a informação coletada publicada no primeiro volume do livro “Repensar a Universidade: Desempenho Acadêmico e Comparações Internacionais”. As instituições foram incentivadas a comparar e contrastar suas abordagens em workshops e encontros, permitindo a troca de experiências. 

A estrutura universitária brasileira foi analisada em termos de sua resistência à mudança institucional. Também foi analisada sob a perspectiva de uma instituição de ensino superior como um sistema complexo no qual insumos, processos, produtos e impactos se misturam a valores para explicar o funcionamento das universidades.

No segundo ano, a atenção foi voltada à criação e especificação de indicadores para as necessidades locais, e especificamente para os aspectos do impacto da universidade que não são adequadamente cobertos pelos rankings existentes. Isso foi feito por um grupo de trabalho multi-institucional e com a colaboração do Centro de Estudos do Ensino Superior (CHEPS) da Universidade de Twente.

Reconhecendo a necessidade de abordagens distintas para diferentes áreas do conhecimento, a professora Nina Ranieri estimulou um projeto na Faculdade de Direito para criar novos indicadores para as faculdades de direito, e foram realizados workshops no IAG-USP. Rogério Mugnaini e Solange dos Santos produziram pesquisas bibliométricas sobre a excelência em Ciências Agrárias no Brasil, enquanto Sabine Righetti, criadora do Ranking Universitário da Folha, produziu uma tipografia bibliométrica de universidades no Brasil para identificar possíveis necessidades diferentes. José Augusto Guimarães e a equipe da Unesp concentrou-se nos benefícios da internacionalização para o desempenho da pesquisa.

Jacques Marcovitch e Justin Axel-Berg detiveram-se em como passar do conflito para a construção de consenso, analisando a natureza das instituições e os indicadores de pesquisa. Essa foi uma abordagem que combina a teoria da gestão, a filosofia da ciência e a governança da pesquisa e inovação. Trata-se de projetar novas formas de debater e avaliar indicadores o que significa que o mesmo se torna mais acessível à um número crescente de interessados.

As universidades foram convidadas a aproveitar suas experiências desde o primeiro ano, para fazer planos e delinear metas para o horizonte 2022 sobre como mudariam a maneira pela qual o planejamento estratégico e a coleta de dados devem ser realizados. Uma análise comparativa das iniciativas de excelência em escala global foi produzida, avaliando suas características e resultados, bem como os processos de negociação e o ambiente político em que foram concebidos.

O tema da percepção pública das universidades foi pesquisado no segundo ano do projeto, com a professora Marisa Beppu e a equipe da Unicamp realizando uma visita de campo a Massachusetts no MIT, Harvard e U-Mass para uma análise comparativa de como as universidades respondem à sua comunidade. Mariluce Moura produziu pesquisas sobre a natureza da opinião pública sobre o ensino superior no Brasil, e Justin Axel-Berg estudou possíveis metodologias que poderiam ser usadas para que as universidades se tornassem mais ágeis ao lidar com o tema. Também foi pesquisado o rastreamento de ex-alunos no local de trabalho e realizado um trabalho comparativo produzido nos anexos do livro “Repensar a Universidade II – Impactos para a Sociedade”.

Um grupo de trabalho foi formado para discutir e avaliar o impacto da digitalização nas universidades brasileiras, levando em consideração novas demandas por habilidades técnicas, bem como o impacto das mídias sociais nas universidades, novos meios de medir o prestígio institucional e a sua reputação junto ao público, entre outros tópicos.

Os resultados coletados nos dois primeiros anos estão publicados em relatórios técnicos, artigos e, mais importante, nos dois livros acima citados, publicados pela ComArte / ECA / USP.

Detalhes do impacto

Impacto da política

Esse projeto teve um impacto institucional significativo nas universidades ao reunir não apenas pesquisadores das três universidades estaduais de São Paulo, mas também suas equipes administrativas e técnicas para trabalhar em busca de objetivos comuns. Isso levou a um aprofundamento da articulação do CRUESP com as universidades capazes de trocar experiências e planos entre si, possibilitando um contexto de aprendizado compartilhado. Isso foi exemplificado pela formação dos “grupos de enlace” e em seus esforços de colaboração como parte de um grupo de trabalho para participar do U-Multirank. Para isso, compartilharam experiências sobre apresentação e normalização de dados. Isso permitiu um ambiente de menor risco para qualquer uma das universidades, trabalhando no princípio da ação articulada. Essa articulação que preserva a autonomia e eleva a sinergia, é inestimável na migração para fontes de dados interoperáveis. 

A experiência consolidada na elaboração de anuários estatísticos viabilizou a conquista de novas competências nas universidades estaduais paulistas como por exemplo o estabelecimento do escritório da EGIDA-USP. Sob a gestão do professor Aluísio Segurado, cuja contribuição na elaboração conceitual de tal unidade foi determinante. A implantação deste escritório modernizou e profissionalizou a abordagem da USP para gerenciamento de dados, indicadores e interfaces com agências de monitoramento do ensino superior. Também criou um vínculo mais próximo com a STI-USP, alinhando melhor seus esforços para o delineamento de novos processos digitais. 

O professor João Eduardo Ferreira tem sido fundamental para desencadear um debate institucional entre as universidades estaduais e outras universidades federais em relação à criação de uma cooperativa de dados usando formato padrão e metalinguagem para dados institucionais. O resultado final desse debate será idealmente a criação de um ambiente de dados comum, comparável ao da União Europeia. O sucesso documentado do professor Aluísio Segurado na criação da EGIDA-USP, apresentado em workshops e fóruns influenciou outras universidades públicas a considerar uma estrutura semelhante e a incentivar outras universidades federais a também a adotarem. 

Na Unicamp o projeto ajudou a moldar e incentivar discussões sobre o uso de metodologias de pesquisa para medir a satisfação institucional interna e o maior prestígio público da instituição, por meio do trabalho apresentado pelas professoras Marisa Beppu, Milena Serafim e Teresa Atvars.

A pesquisa publicada pelo professor José Augusto Guimarães e sua equipe sobre o uso estratégico de indicadores de internacionalização, impactou significativamente as capacidades estratégicas de tomada de decisão da universidade em relação à política de pesquisa e internacionalização.

A partir da pesquisa sobre a construção de consenso em torno de indicadores, foi organizado um fórum nacional de indicadores, realizado em duas etapas, sendo uma na Unicamp, em março de 2019, e outra na FAPESP, em outubro do mesmo ano. O formato reuniu lideranças universitárias sêniores, pesquisadores notáveis em política, ciência política, bibliometria, biblioteconomia, cientometria, entre muitos outros campos e representantes de diferentes setores da sociedade (incluindo industrial, pesquisa, educação, sociedade civil, mídia, entre outros), a fim de coordenar e articular demandas feitas às universidades pela sociedade em questões particulares. 

Esse formato representa uma grande inovação de políticas públicas que não seria possível realizar dentro das esferas colegiadas e deliberativas das instituições. Isso ajuda a universidade a se conectar com outros segmentos da sociedade e às suas demandas, respondendo assim a uma das principais críticas de parte do público externo. 

Enquanto inicialmente o projeto planejava apenas envolver as três universidades públicas do estado de São Paulo, o amplo alcance dos livros e o impacto intelectual reuniram não apenas a Unifesp, que passou a integrar o projeto e contribuiu com um capítulo do segundo livro, mas também a UFABC e da UFSCar que apresentaram trabalhos no primeiro fórum e revelaram interesse ​​em prosseguir esta colaboração.

Além disso, a maioria das universidades federais engajadas em pesquisa, incluindo a UFMG, UFRJ, UFRGS, Universidade Federal de Itajubá, UFC, UFSC, UFBA, UFPE, entre outras, e PUC-SP, PUC-Camp e Unifor, está participando nos fóruns e registraram seu interesse em se envolver em iniciativas futuras. Esse significativo encontro de universidades, com a estrita intenção de colaborar na pesquisa e na governança, representa um avanço significativo na questão de indicadores e planejamento estratégico do ensino superior no Brasil.

Os resultados publicados foram compartilhados com membros da Assembleia Legislativa do Estado de SP pela via de entendimentos mantidos entre o pesquisador responsável pelo projeto e deputados estaduais. Espera-se que isso tenha um impacto significativo nos debates sobre políticas educacionais. Embora os deputados considerem o ensino superior uma prioridade, nem sempre têm pleno conhecimento do seu funcionamento. O conhecimento gerado pelo projeto ajudará as autoridades eleitas a melhor orientar futuros debates sobre a reforma do ensino superior.

Impacto intelectual

O projeto realizou quatro workshops temático, sendo um em cada universidade estadual e um na FAPESP, atraindo dezenas de dirigentes, pesquisadores e representantes da sociedade para debater tópicos selecionados. Cada evento teve cerca de 70 participantes de todo o Brasil. Com o impacto dos livros e dos primeiros eventos, várias universidades solicitaram a participação nas atividades do projeto, expandindo significativamente o escopo do estudo para além do que foi originalmente almejado.

O conhecimento criado pelo projeto está integralmente disponível em fontes de acesso aberto. Os dois livros publicados pela ComArte / ECA-USP/Fapesp estão disponíveis no Portal de Livros Abertos da USP (www.livrosabertos.sibi.usp.br), sendo posteriormente utilizados como material didático na Unicamp e divulgados amplamente. A primeira edição foi baixada mais de 3.000 vezes, com média de mais de 100 downloads por mês noa períodos de recesso e 400 por mês nos períodos em que o projeto está realizando eventos. O segundo livro, lançado em outubro de 2019, já foi baixado por mais de 1000 interessados. Esses livros são contribuições importantes e de alto impacto para uma área de conhecimento emergente no Brasil e influenciam significativamente o debate público e acadêmico, além de constituir a base de um curso de graduação ministrado na FGV.

O projeto tem sido amplamente divulgado na imprensa brasileira. Os eventos receberam ampla cobertura, além de comentários sobre os livros e análises dos temas abordados, entrevistas em rádio, artigos na mídia internacional sobre ensino superior. Isso significa que o projeto atingiu um amplo público no Brasil, contribuindo para o debate sobre o futuro do ensino superior no país.

O portal metricas.edu recebeu 1443 visitantes únicos em 2018 para leitura de análises, notícias e notas técnicas, e continuará a recebê-los à medida que for atualizado.

Impacto internacional

O projeto estabeleceu vínculos com o Centre for Higher Education Studies (CHEPS) da Universidade de Twente, com o objetivo de incentivar as universidades estaduais a participarem do U-Multirank. Isto foi possível por meio da assinatura de um memorando de entendimento, após a realização de um workshop conjunto na FEA/USP, em dezembro de 2018. Outro impacto foi o início de um projeto conjunto para o desenvolvimento de políticas sociais e de indicadores de impacto relevantes para o contexto latinoamericano (algo ainda precário nos indicadores europeus). Esses indicadores serão incorporados em versões futuras do U-Multirank, o que significa que as universidades brasileiras terão um nível de protagonismo em plataformas de benchmarking. Os resultados do processo de validação também permitirão que os resultados brasileiros sejam inseridos na iniciativa TEFCE: Towards a European Framework for Community Engagement in Higher Education.

O Projeto Métricas foi apresentado na STI Leiden 2018: Indicators in Transition, que é a conferência mais importante para cientometria e bibliometria, e também na conferência do IREG (International Ranking Expert Group), em Bolonha, Itália, em 2019, uma das conferências mais importantes em se tratando de rankings, onde o projeto ganhou significativa visibilidade internacional.

O projeto também foi chamado pela Editora Elsevier para colaborar no teste e aprimoramento de sua metodologia para o desenvolvimento de indicadores, a fim de identificar pesquisas relacionadas aos Objetivos de Desenvolvimento Sustentável (ODS) e na abordagem de educação para o uso responsável dos indicadores de pesquisa.

Referências bibliográficas da pesquisa

  • Axel-Berg, J.; Marcovitch, J. Deployment of Strategic Research Indicators for Latin American Public Universities. Journal STI 2018 Conference Proceedings. Centre for Science and Technology Studies (CWTS), pg. 1424 -1433, 09 nov. 2018. Disponível em: https://openaccess.leidenuniv.nl/handle/1887/65311.
  • Marcovitch, J. (org.). Repensar a Universidade: Desempenho Acadêmico e Comparações Internacionais. Colaboradores: José Goldemberg et al. São Paulo: Com-Arte; Fapesp, 2018. 
  • _____. (org.) Repensar a Universidade: Impactos para a Sociedade. Colaboradores: Nina Ranieri et al. São Paulo: Com-Arte; Fapesp, 2019.

Conteúdos que corroboram o impacto

Impacto na política

Workshops

Fóruns

I Fórum – Unicamp 14/03/2019
https://drive.google.com/drive/folders/1u7zh1YgN1smz5ZuVHJgjachBRsPo6sad

II Fórum – FAPESP 18/10/2019
https://drive.google.com/file/d/10OnehlTVxGBHp6skcDpCa36czz6Ccups/view

Impacto internacional

Memorandum of Understanding com U-Multirank https://metricas.usp.br/assets/docs/MoU_UMR_Fapesp_Project_signed_291118_port.pdf

Mídia

Equipe do Projeto 

Coordenador: Jacques Marcovitch. 

Pesquisadores associados: Cleópatra Planeta, Elizabeth Balbachevsky, José Augusto Guimarães, Justin Axel-berg, Luiz Nunes, Marisa Beppu, Nina Ranieri e Renato Pedrosa. 

Grupo de enlace: Aloisio Segurado (USP), Marisa Beppu (Unicamp) e Carlos Vergani (UNESP).