Categorias
Cursos

Respostas em destaque. Módulo 5

Tópicos

Aspectos técnicos dos rankings e sua composição.

Perguntas

  • A sua instituição monitora seu posicionamento em comparações internacionais?
  • Quais são os rankings internacionais monitorados?
  • É feito o acompanhamento por área de saber?
  • Em quais áreas de saber sua Universidade se destaca no âmbito internacional? Por quê? 
  • Comente brevemente taxa de internacionalização dos artigos, isto é, com quem os pesquisadores da área escolhida colaboram, o índice de citação e de impacto e finalmente a evolução desses índices.

Respostas

Adriana Backx Noronha Viana

Reflexão sobre os aspectos técnicos dos rankings e sua composição. 

Ao estudar os materiais disponíveis, observa-se a importância de entender as variáveis e a metodologia utilizadas para construir um ranking.

1) A sua instituição monitora seu posicionamento em comparações internacionais?

Observo preocupação crescente da USP com o contexto dos rankings internacionais. Esse monitoramento é feito de forma inteligente, analisando que aspectos trazem visibilidade científica para a instituição e como isso está relacionado com o objetivo ou missão da instituição. O ponto principal não é só a melhoria nos rankings, mas sim objetivando alcançar padrões internacionais.

2) Quais são os rankings internacionais monitorados?

Encontrei informações sobre: QS, onde a USP ficou em 116º. no ranking mundial e em 2º. no ranking da América Latina; na US News, em 128º.; observei também no site métricas.usp.br, a descrição de outros rankings que não tinha conhecimento. Ao analisar esses rankings, um dos estudos traz a importância das redes de colaboração científica na reputação acadêmica. Essa colaboração se torna também uma mola propulsora para visibilidade da produção científica da universidade, impactando nos resultados dos rankings. Pensar então em possíveis ações indutoras que podem influenciar ou intensificar essas redes de colaboração.

3) É feito o acompanhamento por área de saber?

No QS World University Rankings by Subject de 2019, a USP se destacou em nove áreas, nas quais foi classificada entre as 50 melhores.

4) Em quais áreas de saber sua Universidade se destaca no âmbito internacional? Por quê?

De acordo com a reportagem analisada (Jornal da USP – 23/10/2019), tem-se: Odontologia (20ª posição); Ciências do Esporte (27ª); Línguas Modernas (30ª); Engenharia de Minérios e Minas (33ª); Geografia (42ª); Arquitetura (44ª); Direito (45ª); Engenharia Civil (45ª); e Agricultura e Silvicultura (49ª). Os indicadores utilizados nesse ranking foram reputação acadêmica, reputação entre empregadores, proporção de professor para estudante, citações científicas, número de estudantes estrangeiros e corpo docente internacional, onde então tem-se o bom desempenho da FOUSP.

5) Comente brevemente taxa de internacionalização dos artigos, isto é, com quem os pesquisadores da área escolhida colaboram, o índice de citação e de impacto e finalmente a evolução desses índices.

Observa-se que a melhor avaliação obtida pela USP foi a área de Odontologia. No artigo “Internacionalização: visão e conceitos na Odontologia”, descrevem como isso foi possível: http://revodonto.bvsalud.org/scielo.php?script=sci_arttext&pid=S0004-52762016000200002&lng=pt&nrm=iss&tlng=pt (Links para um site externo.).

Os dados encontrados foram: taxa de internacionalização dos artigos: 27,4%;

índice de citação e de impacto: 6,7 (média) e H5 index = 30

(https://www.scival.com/overview/summary?uri=Institution/602049 (Links para um site externo.)

Carlos Basílio Pinheiro

O que um país entende como missão de uma universidade pode ser muito diferente do que outra nação compreende como tal e, portanto, Rankings criados para avaliar certos sistemas universitários, não são e nunca serão universais. Cada Ranking capta e mede, à sua maneira, uma faceta de uma universidade.

A UFMG é satisfatoriamente avaliada por muitos parâmetros objetivos elencados por Rankings mas, sendo uma instituição pública e gratuita de referência para o Brasil, possui várias dimensões negligenciadas. Porém, por entender que apesar de conter falhas conceituais e metodológicas, os indicadores gerados por Rankings, podem se constituir em ferramenta útil para conhecimento institucional, em 2011 a UFMG decidiu aderir formalmente ao QS, passando a atender de modo institucional às demandas da empresa bem como as de outros Rankings.

Desde então a UFMG monitora seu desempenho nos Rankings Internacionais QS World University Ranking, da empresa Quacquarelli Symonds (QS), Academic Ranking of World Universities (ARWU), da Universidade de Jiao Tong, de Xangai, o Times Higher Education (THE) e o SCImago Institutions Rankings (Scimago Lab) e no âmbito nacional, o Ranking Universitário Folha (RUF).

De acordo com os rankings internacionais QS, ARWU e THE e as áreas de maior destaque internacional da UFMG são: Ciências veterinárias, Odontologia, Saúde Pública, Estatística, Ciências Materiais, Direito, Engenharia Elétrica e Eletrônica, Farmácia e Farmacologia, Linguagens modernas, Linguística, Medicina, Sociologia, Ciência da Computação e Educação.

A UFMG possui aproximadamente 46 mil documentos indexados na base de dados SCOPUS. Destes, cerca de 13 mil possuem coautoria internacional (~26% do total). A citação média por ano dos documentos produzidos por docentes da UFMG apenas com coautores brasileiros entre 2005 e 2017 nessa base é 1,5, enquanto que a citação média dos  trabalhos com coautoria internacional é de 3,4 citações por ano. Ou seja, na média, um artigo produzido por docentes da UFMG com autores internacionais, recebe 2,2 vezes mais citação que um artigo sem autores internacionais (Figura 1).

Entre 2005 e 2017 os documentos de docentes da UFMG com coautoria internacional publicados em revistas com OPEN ACCESS receberam, em média, 6,2 citações por ano. A citação aos trabalhos produzidos na UFMG segue uma tendência internacional na qual trabalhos realizados em parceria internacional e publicados na modalidade OPEN ACCESS recebem mais citações que os demais.

citacao.png
Figura 1: Citação média anual dos trabalhos da UFMG produzidos com e sem coautoria internacional na base SCOPUS.

Ignez Caracelli

A sua instituição monitora seu posicionamento em comparações internacionais?

Eu pensava que sim, porque as vezes aprece em algumas informações provenientes da universidade, porém não tinha certeza sobre isso. Assim, após busca no portal da universidade e não encontrar informações, fui buscar quem poderia estar ligado com o monitoramento. Acabei encontrando o Prof. Dr. Leandro Innocentini Lopes de Faria, que é o Secretário Geral de Planejamento e Desenvolvimento Institucionais, secretaria cuja sigla oficial é SPDI. Ele me ajudou a realizar esta atividade. A Secretaria (SPDI) está diretamente vinculada à Reitoria, tendo como principal atribuição coordenar e dirigir as atividades relativas à elaboração, acompanhamento e avaliação dos processos de planejamento e desenvolvimento institucionais e entre as atividades está a de responsabilizar-se pela coleta, análise, atualização e produção de publicações oficiais de dados estatísticos e cadastrais da UFSCar.

Quais são os rankings internacionais monitorados?

THE – Times Higher Education

QS – Quacquarelli Symonds

Methodologies (W , LA , S )

Perfil UFSCar 

É feito o acompanhamento por área de saber?

A UFSCar elabora anualmente o Relatório de Gestão, para prestação de contas ao TCU, e o Relatório de Atividades, para a divulgação de seus resultados às comunidades interna e externa. A posição da UFSCar nos rankings de universidades foi incluída pela primeira vez no Relatório de Atividades de 2013, na seção de Atividades de Pesquisa e abordava os rankings QS, RUF, Webometrics e SIR. A partir de 2018, os rankings de universidades passaram a ser analisados no Relatório de Gestão, sendo adotados os rankings THE e RUF. No caso particular do RUF, foi incorporada uma análise dos cursos de graduação, que tem certa proximidade com uma análise por área do saber.

Os Relatórios são apresentados ao Conselho de Curadores para apreciação antes de encaminhamento ao TCU. Foi solicitado pelos curadores que na próxima apresentação (2020, relativo ao exercício 2019) seja incluída uma análise do posicionamento da UFSCar nos rankings de universidades por área do saber, o que está sendo executado.

Em quais áreas de saber sua Universidade se destaca no âmbito internacional? Por quê? 

O QS World University Rankings by Subject adota uma classificação de áreas do saber organizada em dois níveis contendo 5 áreas abrangentes (Broad Subject Area) e 48 assuntos específicos (Specific Subject)

Para cada área ou assunto, o ranking apresenta as 500 universidades mais bem posicionadas.

A UFSCar está posicionada entre as 500 melhores em 2 das 5 áreas: “Engineering & Technology” e “Natural Sciences”. Em ambas, na faixa de posição 451-500 no ranking mundial.

Quanto aos assuntos específicos a UFSCar está entre as 500 melhores universidades em 7 dos 48 assuntos: “Computer Science”, “Engineering – Chemical”, “Engineering – Mechanical, Aeronautical & Manufacturing”, “Agriculture”, “Chemistry”, “Materials Science” e “Physics & Astronomy”.

A melhor posição é alcançada em “Materials Science”, na faixa 201-250.

Considerando apenas as universidades brasileiras; a UFSCar ocupa as seguintes posições:

  • Área “Engineering & Technology” – 9
  • Área “Natural Sciences” – 7
  • Assunto “Computer Science” – 12
  • Assunto “Engineering – Chemical” – 6
  • Assunto “Engineering – Mechanical, Aeronautical & Manufacturing” – 8
  • Assunto “Agriculture” – 10
  • Assunto “Chemistry” – 6
  • Assunto “Materials Science” – 3
  • Assunto “Physics & Astronomy” – 8

Segundo o THE World University Rankings 2020 by subject, o melhor desempenho da UFSCar ocorre na área Engineering & technology, em que a universidade a 3ª posição entre as universidades brasileiras, embora essa posição ocorra em “empate” com outras 10 universidades.

Comente brevemente taxa de internacionalização dos artigos, isto é, com quem os pesquisadores da área escolhida colaboram, o índice de citação e de impacto e finalmente a evolução desses índices.

Para o QS World University Rankings by Subject, os critérios de avaliação são: Academic reputation, Employer reputation, Research citations per paper e H-index. Taxa de internacionalização não é um critério desse ranking. No entanto sabe-se que a publicação em colaboração internacional proporciona maior visibilidade aos artigos e maior número de citações recebidas. Os pesos atribuídos a esses 4 critérios variam de área para área. No caso da área de Ciência dos Materiais, os pesos são: 40%, 10%, 25% e 25%.

Para o critério Research citations per paper, em 2020, o score atingido pela UFSCar foi 82,3, o que garantiu a 322ª posição. Em 2019, o score foi 80,4 e a posição 310ª. A comparação entre 2019 e 2020 indica melhoria no score da UFSCar, embora tenha havido queda na posição.

No caso do THE World University Rankings 2020 by subject, são usados os mesmos 13 indicadores de performance do World University Ranking, agrupados em 5 áreas com seus respectivos pesos no score final: Teaching (30%), Research (30%), Citations (27,5%), International Outlook (7,5%) e Industry Income (5%).

A UFSCar teve os seguintes indicadores de citação, internacionalização e posição área de Engineering and Technology, em 2019 e 2020. Nos anos anteriores, a UFSCar não foi incluída nos rankings de assunto.

 20192020
Posição no ranking da área601-800601-800
Citações28,431,2
Internacionalização28,328,8

Não foi encontrado como identificar nas plataformas do QS e THE com quem os pesquisadores das áreas selecionadas publicam.

Referências

Site em construção com dados dos Rankings Universitários

http://web-04.ufscar.br:8082/administracao/spdi/informacao-institucional/indicadores-1/rankings (Links para um site externo.)

Relatório de Gestão UFSCar 2018 contendo indicadores baseados nos rankings de universidades – http://www.spdi.ufscar.br/documentos/relatorio_contas/relatorio-de-gestao-2018 (Links para um site externo.)

THE World Ranking – https://www.timeshighereducation.com/world-university-rankings/2020/world-ranking (Links para um site externo.)

THE Latin America Ranking – https://www.timeshighereducation.com/world-university-rankings/2019/latin-america-university-rankings (Links para um site externo.)

THE World Ranking by Subject – https://www.timeshighereducation.com/world-university-rankings/by-subject (Links para um site externo.)

THE World Ranking – Metodologia https://www.timeshighereducation.com/world-university-rankings/world-university-rankings-2020-methodology (Links para um site externo.)

THE Latin America Ranking – Metodologia https://www.topuniversities.com/latin-america-rankings/methodology (Links para um site externo.)

THE World Ranking by Subject – Metodologia https://www.topuniversities.com/subject-rankings/methodology (Links para um site externo.)

THE Página de resultados da UFSCar https://www.topuniversities.com/universities/universidade-federal-de-sao-carlos-ufscar (Links para um site externo.)

QS World University Rankings https://www.topuniversities.com/university-rankings/world-university-rankings/2020 (Links para um site externo.)

QS Latin American University Rankings https://www.topuniversities.com/university-rankings/latin-american-university-rankings/2020 (Links para um site externo.)

QS World University Rankings by Subject https://www.topuniversities.com/subject-rankings/2019 (Links para um site externo.)

QS World University Rankings – Metodologia https://www.topuniversities.com/qs-world-university-rankings/methodology (Links para um site externo.)

QS Latin America University Rankings – Metodologia https://www.topuniversities.com/latin-america-rankings/methodology (Links para um site externo.)

QS World University Rankings by Subject – Metodologia https://www.topuniversities.com/subject-rankings/methodology (Links para um site externo.)

QS Página de resultados UFSCar https://www.topuniversities.com/universities/universidade-federal-de-sao-carlos-ufscar (Links para um site externo.)

Acesso a relatórios e tabelas de resultados – http://www.iu.qs.com/ (Links para um site externo.)

QS Latin America University Rankings – Metodologia https://www.topuniversities.com/latin-america-rankings/methodology (Links para um site externo.)

QS World University Rankings by Subject – Metodologia https://www.topuniversities.com/subject-rankings/methodology (Links para um site externo.)

QS Página de resultados UFSCar https://www.topuniversities.com/universities/universidade-federal-de-sao-carlos-ufscar (Links para um site externo.)

Acesso a relatórios e tabelas de resultados – http://www.iu.qs.com/ (Links para um site externo.)

Maria Campos Lage

A Universidade Presbiteriana Mackenzie (UPM) monitora formalmente seu desempenho em comparações internacionais desde 2016.

Além dos fatores de impacto, nossa Pró-Reitoria de Pesquisa e Pós-Graduação mantém também uma estrutura formal para realizar o acompanhamento da excelência e impacto social da pesquisa. Entre outros recursos, mantemos uma assinatura da plataforma Stela Experta, além de procedimentos para monitorar as bases de dados mais significativas.

Quanto aos rankings internacionais monitorados, a partir de 2016 passou-se a trabalhar com o QS Ranking e, em 2017, também com o Times Higher Education (THE) Ranking.
A cada publicação dos resultados destes rankings, avalia-se o posicionamento da universidade e os motivos que levaram ao desempenho no ano. Em geral existe uma grande mobilidade de posicionamento, especialmente no THE Ranking, pois anualmente novas universidades são introduzidas, o que tem provocado quedas em nosso posicionamento, mesmo com a melhoria de alguns indicadores. Os resultados são discutidos internamente junto aos grupos de pesquisa, Reitoria e Mantenedora.

O monitoramento é realizado por grande área de pesquisa da UPM. Os motivos são vários, mas envolvem essencialmente:

  • a) verificar as ações necessárias para manter ou ampliar a avaliação CAPES (que considera cooperação internacional e indicadores de publicações);
  • b) verificar os pesquisadores mais influentes da universidade (temos premiações anuais);
  • c) criar indicadores para as cooperações internacionais e,
  • d) desde 2019, acompanhar os objetivos da UPM no projeto CAPES/PrInt, onde o foco é ampliar o impacto das pesquisas de cada área.

Nossas áreas de destaque são: Neurociências, Geociências e Nanotecnologia/Aplicações de novos materiais.

No caso de Nanotecnologia e Novos Materiais, temos o Centro de Pesquisas em Grafeno, onde a colaboração é feita com outros centros similares dos EUA, China, Singapura, Croácia, Chile, entre outros 10 países. Nesta área temos 2 projetos H2020, o que ampliou o fator de impacto das publicações internacionais.

Em Geociências, temos estações de monitoramento no campus da universidade e no interior, além de parcerias importantes com outros centros, como a NASA nos EUA, China, Rússia, França, Israel, entre outros países.

Em Neurociências temos a maior gama de colaborações, com mais de 20 países, mas com forte peso dos EUA (28 universidades ou centros de pesquisa).

Em termos de indicadores, os principais pesquisadores destas três áreas têm se mantido (2018 e 2019) nos seguintes patamares:
– SCOPUS/SNIP: 4.001 ou maior
– SJR: acima de 20.001
– JCR: 5,001 ou maior
– ResearchGate: entre 35,99 a 44,42
– Fator H: entre 41 e 62

Maria Luiza M. Barreto de Chaves

  • A sua instituição monitora seu posicionamento em comparações internacionais?

Sim. Recentemente foi inclusive criado (2018) na Universidade o “Escritório de Gestão de Indicadores de Desempenho Acadêmico (EGIDA)” o qual tem como um de seus objetivos o monitoramento e avaliação do desempenho acadêmico da USP em relação às universidades do exterior, principalmente aquelas com perfil similar à nossa (USP).

No entanto, gostaria de destacar que as maiores comparações, pelo meu entendimento, ocorrem mesmo no nível dos Programas de Pós-graduação, dentro do âmbito de sua área de concentração. Até pela própria demanda criada pela CAPES em seu processo de avaliação, isso vem fazendo parte da rotina de alguns Programas a cada relatório anual a ser inserido na Plataforma Sucupira, o que tem levado a importantes reflexões e ajustes, na tentativa de busca do aprimoramento das atividades.

  • Quais são os rankings internacionais monitorados?

No âmbito da Universidade, aqueles que tenho visto com maior frequência divulgados nos canais de comunicação da universidade são o QS, que utiliza dados da base Scopus, e o THE (Times Higher Education) que usa a plataforma da Web of Science (Clarivate).

  • É feito o acompanhamento por área de saber?

Sim. Como citado previamente, isto fica mais no âmbito das Comissões de Pós-graduação e de Pesquisa de cada unidade. Em nosso Programa de Pós-graduação, até por recomendação da Águia (Agência USP da Gestão da Informação), temos optado pelo uso da plataforma Scopus.

  • Em quais áreas de saber sua Universidade se destaca no âmbito internacional? Por quê?

Embora se encontrem grupos de excelência em todas as áreas, considero 3 áreas aquelas que com frequência ganham destaque no âmbito internacional: a Odontologia, a Física e as Ciências Agrárias.

É difícil fazer uma análise dos motivos que as levaram a ganhar destaque, mas em relação à Odontologia, acredito que desde cedo ela se especializou e teve um perfil de formação profissional muito diferente do encontrado em outros países. Muitos deles, inclusive, tendo até hoje a Odontologia como uma subespecialidade da Medicina, o que, talvez tenha limitado o desenvolvimento desta área, o que não ocorreu aqui. Destaca-se ainda o importante papel do “Centrinho de Bauru”, hospital especializado em atuar junto a problemas crânio-faciais, associado à FOUSP. Então, nesta área se vê destaque tanto no aspecto científico, como social.

Uma segunda área é a Física, a qual talvez represente a unidade da USP que mais tenha recebido destaque quanto à produção científica de seus pesquisadores, tanto pela qualidade das revistas, como pelo alto índice de citações dos artigos. Aqui o destaque vem do mérito acadêmico, portanto, leva em conta o aspecto científico.

Por último as Ciências Agrárias, representada pela ESALQ. Neste caso, em função de todo o investimento de pesquisa que ocorreu nessa área, e também das condições propícias para que estudos pudessem ser desenvolvidos (solo, clima, etc), ela vem a cada ano superando índices de produção. Neste caso, o principal aspecto ligado ao seu destaque está ligado à inovação e produção do agro-negócio, o qual não se reflete diretamente na área de melhores índices qualitativos dos artigos científicos.

– Comente brevemente taxa de internacionalização dos artigos, isto é, com quem os pesquisadores da área escolhida colaboram, o índice de citação e de impacto e finalmente a evolução desses índices.

Considerando a minha área de atuação, Ciências Morfofuncionais (Programa de Biologia de Sistemas), recentemente fizemos uma análise do número de artigos científicos dos pesquisadores do Programa que contavam com a participação de colaboradores estrangeiros, ao longo do triênio atual. Os resultados obtidos foram os seguintes: 30,5% em 2017; 35,5% em 2018 e 52,5% em 2019, o que nos deixou bastante satisfeitos. Neste momento estamos iniciando as comparações com área similar à nossa, da Universidade de Oxford.

Em relação ao fator de impacto das publicações, o Programa (nota 5), apresenta índice de FI acima da mediana da área na Capes (Qualis B1), sendo que a mediana das nossas publicações encontra-se na faixa A2. Esses índices vêm evoluindo, mas a constante alteração dos parâmetros determinados pela CAPES relativos ao Qualis prejudicam esta análise, que deveria ocorrer a mais longo-prazo, com maior estabilidade dos índices.

Rogerio Buccelli

A Unesp criou no começo de 2017, uma comissão permanente denominada Comissão de Avaliação Institucional dos Rankings da Unesp, com 8 membros de diferentes áreas de atuação na universidade, sendo um dos objetivos analisar individualmente e/ou de forma comparativa sua posição com as demais instituições, inclusive observando cada item que compõem a avaliação dos rankings (1). Tal análise, serve para os rankings nacionais e internacionais.

Entre os rankings que a comissão analisa estão (2)

  • – QS e suas diferentes versões.
  • – THE e suas diferentes versões.
  • – Academic Ranking of World Universities – ARWU
  • – RWU Webometrics
  • – Ranking Universitário Folha (RUF) 

No que tange ao acompanhamento por área do saber, a Unesp acompanha o QS World University Rankings by Subjects onde se destacam as áreas de Odontologia e Ciências Agrárias (3). O motivo do destaque, de acordo com o ranking, está calcado na reputação acadêmica/empregabilidade e número de citações por publicação e o índice “h”, ambos provenientes do banco de dados Scopus da Elsevier (4).

Com base no ranking QS World University Ranking, para responder a última pergunta (5), é possível observar os resultados de produção acadêmica da Unesp nas últimas edições. O ganho de relevância das pesquisas realizadas na Universidade é evidente, dado o aumento da quantidade de citações. Em 2018 a quantidade de citações (normalizada) era 56.288, passou para 70.284, no ano de 2019, e agora em 2020 chegou a 82.728.