Tópicos
Benchmarking e uso responsável de indicadores.
Perguntas
- Quais são as universidades sediadas em outros países pares a sua?
- Quais são os parâmetros que você escolheria para identificar os seus pares?
- Em comparação a esses pares, quais são os pontos fortes da sua universidade?
- Em quais parâmetros a sua universidade poderia melhorar?
Respostas
- César Augusto Rodrigues de Albuquerque
- Giseli Adornato de Aguiar
- Rogério Luiz Buccelli
- Rosangela Maria Correia Leves
César Augusto Rodrigues de Albuquerque
Com a adesão das três universidades estaduais paulistas ao U-Multirank, dispomos hoje de um importante e eficiente instrumento de comparação de indicadores que ao invés de uma classificação do tipo “top-down” nos oferecer uma avaliação que permite analisar o desempenho institucional e identificar outras universidades similares ou complementares. Como temos discutido ao longo do curso, essa ferramenta parece vir ao encontro da proposta de nos apropriarmos e utilizarmos os rankings universitários como mais um elemento no processo de avaliação e tomada de decisão em nossas instituições.
Para identificar instituições de referência comparáveis à USP, acreditamos serem adequados os seguintes parâmetros: escopo (“comprehensive”, englobando diversas áreas do conhecimento), níveis de ensino ofertados (graduação, mestrado e doutorado), taxa de egressos da pós-graduação em relação ao número de graduado, tamanho (elevado corpo discente), status legal/natureza (pública) e idade da instituição (1870-1945). A escolha desses parâmetros também leva em conta a decisão das três universidades paulistas que conjuntamente escolheram alguns indicadores que seriam submetidos à avaliação pelo ranking. Nesse sentido, não nos parece adequado utilizar na busca por referenciais métricas como recursos oriundos do setor privado ou relacionados à dimensão de engajamento regional, para os quais a USP não forneceu dados ou a coleta foi limitada.
Como resultado, obtivemos 18 instituições comparáveis, sendo 4 na Ásia (ex: Osaka, Hokkaido) e 14 na Europa (ex: RWTH Aachen, Lisboa, Porto, Masaryk, Sheffield, Trieste). Na comparação, a USP se destaca prioritariamente nos indicadores relacionados à pesquisa, a exemplo do número absoluto de publicações (em que está entre 25 com melhor performance global), número de publicações normalizadas e receitas externas destinadas à pesquisa (com destaque para as agências de fomento). Observamos também um resultado muito positivo no número de Spin-off’s.
Em relação à parâmetros que merecem atenção com vistas a seu aprimoramento, destacam-se métricas relacionadas a internacionalização (mobilidade estudantil e colaboração internacional nas publicações); parcerias com o setor privado e transferência de tecnologia (publicações em parceria com a indústria, patentes, publicações citadas em patentes); redução das taxas de evasão na graduação e pós-graduação; e ampliação das taxas de citação (com estímulos à publicação em periódicos reconhecidos nas áreas e maior colaboração internacional nas pesquisas e publicações).
Novamente, não se trata de melhorar o desempenho no ranking em si, mas de identificar as potencialidades e oportunidades de desenvolvimento para que a USP alcance a excelência que almeja e merece, em sintonia aos objetivos institucionais e anseios da sociedade.
Giseli Adornato de Aguiar
Para identificar as universidades similares a USP utilizei a ferramenta U-Multirank com os seguintes parâmetros baseados nas características da USP: tamanho da instituição (muito grande), status legal da instituição (pública), idade da instituição (1870-1945); receitas procedentes de fontes privadas (nenhuma); estudantes de graduação (alta), escopo (abrangente) e níveis em que a instituição concede graus (graduação, mestrado e doutorado).
Com os parâmetros indicados, localizei sete instituições de referência: uma na Ásia: Japão (1) – Hokkaido University e seis na Europa: República Tcheca (1) – Masaryk University; Alemanha (1) – RWTH Aachen University; Itália (1) – Università degli studi de Triste; Polônia (2) – Adam Mickiewicz University Poznan e University of Lodz e Portugal (1) – Universidade de Lisboa.
A seleção padrão dos indicadores U-Multirank apresentou um quadro comparativo com indicadores da USP e as sete universidades (Quadro 1).
Entretanto, para uma análise benchmarking, identifiquei e comparei somente os tópicos U-Multirank que estão relacionados as metas prioritárias e os objetivos da USP (indicados por Kolster e Kaiser (2019, p. 285-7) no cap. 13 do livro “Repensar a Universidade II” – bibliografia indicada neste módulo 6 do curso) para análise e interpretação dos dados (o que me fez utilizar outros indicadores para a comparação).
De acordo com os indicadores selecionados U-Multirank em comparação com as sete universidades pares, os pontos fortes da USP são: Receitas de pesquisa derivadas de fontes externas (“External research income”=A) e Número de empresas spin-off (“Spin-offs”=A).
Em comparação as universidades pares, a USP poderia melhorar principalmente nos indicadores Porcentagem de programas (bacharelado e mestrado) oferecidos em um idioma estrangeiro (“Foreign language bachelor/master programmes”=E), Porcentagem de doutorados internacionais alcançados (“International doctore degrees”=D) e Porcentagem de publicações (artigos de pesquisa) em que um ou mais dos coautores é um parceiro industrial (“Co-publications with industrial partners”=D).
Em alguns tópicos, a USP apresenta notas dentro da média em relação as sete universidades de referência identificadas de acordo com os parâmetros aqui utilizados, como por exemplo nos indicadores, Taxa de citação (“Citation rate”=C) e Porcentagem internacional da equipe acadêmica (“International academic staff”=B), porém, de modo geral, pode melhorar com relação a universidade de RWTH Aachen University (Alemanha), a Universidade de Lisboa (Portugal), a Hokkaido University (Japão), a Università degli studi de Triste (Itália) e a Masaryk University (República Tcheca ) e fica um pouco acima das duas universidades da Polônia (Adam Mickiewicz University Poznan e University of Lodz).
Rogério Luiz Buccelli
1. Antioch University New England – AUNE; Brandeis University/ Heller School for Social Policy and Management of Brandeis University; Brest State Technical University; California State University/Fullerton – CSUF; Cardiff University; Centro de Estudos Sociais da Universidade de Coimbra; City University of Cairo; Deutsches Primatenzentrum GmbH – DPZ; École Nationale Superieure d’Informatique pour l’Industrie et l’Entreprise – ENSIIE; ; Faculty of Arts – University of Presov; Faculty of Arts and Hummanities – University of Sheffield; Faculty of Humanities da University of Amsterdam; Goethe-Universität Frankfurt; Hebrew University of Jerusalem; Hochschule Albstadt-Sigmaringen; Imperial College London; INP-ENSAT École Nationale Supérieure Agronomique de Toulouse; Institut Polytechnique de Grenoble – Grenoble INP; Instituto Confúcio – SEDE; Iowa State University of Science and Technology; James Cook University; Johannes Gutenberg Universität Mainz; Korea University; MIT- Massachusetts Institute of Technology; University Norwegian University of Life Sciences; Norwegian University of Science and Technology – NTNU; Ohio State University; Queen Mary University of London; Queen’s University of Belfast; Queensland University of Technology; Royal Melbourne Institute of Technology – RMIT; Universidad de Granada; Université Paris Nanterre; University of Arizona; University of Birmingham; University of British Columbia; University of Copenhagen – Faculty of Science; University of Groningen; University of Huddersfield; University of Keele; University of Louisville; University of Nottingham; University of Oxford; University of Pretoria; University of Toronto; University of Tsukuba; University of Warwick; University of Wisconsin-Platteville; UPV – Universitat Politécnica de Valencia; Virginia Polytechnic Institute and State University – Virginia Tech.
2. i) alinhamento com os 17 Objetivos de Desenvolvimento Sustentável – ODS/ONU: proporciona um forte engajamento das unidades universitárias, particularmente, as de ciências biológicas, ii) Grupos de pesquisa de excelência, nas áreas em que a Unesp se destaca, em especial, seguindo as áreas do projeto CAPES-Print-Unesp, iii) Visibilidade científica internacional: com um banco de dados próprio, a Unesp, consegue detectar suas expertises científicas, e estabelecer colaborações internacionais estratégicas, iv) regularidade da produção acadêmica dos pesquisadores das universidades parceiras, bem como as publicações em coautoria e a qualidade das instituições parceiras.
3. Pontos fortes: os indicadores Reputação Acadêmica (percepção dos pares sobre a Unesp); a quantidade de artigos publicados em revistas de alto impacto e grande produção de trabalhos com a comunidade local, por meio das atividades de extensão e cultura.
4. Poderia melhorar em proporção de estudantes estrangeiros, com relação ao total de alunos (graduação e pós-graduação); em porcentagem de artigos publicados com autores de outra instituição estrangeira; número de convênios assinados com o setor produtivo e presença na página digital de outras instituições.
Rosangela Maria Correia Leves
Existe uma diversidade inerente de sistemas de educação superior que alavancam e impulsionam o sucesso da educação superior e impacto na sociedade. Essa multiplicidade requer que as universidades possam responder aos desafios apresentados pela sociedade de forma a alinha-los ao Planejamento Estratégico.
A Unicamp avançou muito no Planejamento Estratégico, hoje fortemente vinculado ao processo de avaliação institucional das unidades e aos núcleos interdisciplinares de pesquisa. Os diagnósticos elaborados após as avaliações internas e externas posicionam os gestores e criadores de políticas universitárias ante os desafios relevantes para o próximo período. A Universidade inspira-se no uso dos indicadores de desempenho acadêmicos (IDA) e os utiliza como fatores indutores nas atividades da Universidade.
Com o objetivo de aprendizado poderíamos introduzir o benchmarking como uma ferramenta paralela ao processo de avaliação institucional, com objetivo de analisar os resultados dos rankings e efetuar comparações com universidade congêneres. Os rankings assumem nesse caso o papel de importantes fontes de informação. A seleção dos parâmetros para o benchmarking deve levar em conta alguns problemas, tais como: universidades de diferentes configurações e objetivos, tipo da universidade, missão e objetivos de curto e longo prazo, entre outras. Outro ponto que se alia a isso, é o perigo de se fazer uso indiscriminado de resultados de rankings sem uma análise contextual e de como os indicadores foram constituídos.
O lado positivo é possibilitar uma análise dos pontos fortes e fracos da Universidade com seus pares no âmbito nacional ou internacional e ter a oportunidades de incluir ações de melhoria dos pontos fracos a projetos existentes ou definidos como relevantes.
A identificação dos parâmetros a serem usados no benchmarking é uma atividade extremamente difícil, como mencionado anteriormente existem muitos fatores que diferenciam uma universidade da outra. Para exercício desse módulo, selecionei os seguintes fatores:
- Tipo da universidade: Pública
- Ano Fundação: 1945-1980
- Tamanho: 20.000 – 45.000 estudantes
- Níveis do ensino superior: Graduação / Mestrado / Doutorado
Aplicando esses parâmetros identifiquei quatro universidades pares a Unicamp em três países, como mostrado a seguir:
- University of Wuppertal (Alemanha);
- Université Claude Bernard Lyon (França)
- Université Paris 1 Panthéon-Sorbonne (França);
- Linköping University (Suécia).
Analisando os indicadores dessas 4 universidades, notei que os pontos fortes da Unicamp são:
- Teaching & Learning;
- Research;
- Knowledge Transfer
E temos oportunidades de melhoria nos seguintes pontos:
- International Outlook;
- Citation;
- Industry Income.
Esse resultado está em conformidade com a missão/valores da Unicamp, para o futuro podemos estender essa análise aos cursos/programas dessas universidades.