Respostas em destaque. Módulo 4

O diálogo entre sistemas nacionais e internacionais de avaliação e governança.

Tópicos

Avaliação docente interna e externa, avaliação pelas agências brasileiras e comparações internacionais: complementaridade e dissociações.
Tensões entre a comparação internacional e a ordem jurídica brasileira.

Perguntas

Quais são as convergências e divergências entre os parâmetros adotados pela CAPES e aqueles adotados por um dos rankings universitários globais da sua escolha?

César Augusto Rodrigues de Albuquerque

Para efeitos de comparação com os critérios utilizados pela CAPES, tomaremos por base a metodologia do THE World University Ranking.

A convergência mais evidente se dá pelos critérios de avaliação da pesquisa e de seu impacto. Ambas as avaliações externas se utilizam de indicadores de natureza bibliométrica (números de publicações, citações, etc) extraídos de bases de produção indexada. Como bem destaca o artigo de Nunes de Oliveira, esse enfoque no volume de produção pelas agências federais contribui para o bom desempenho das três universidades estaduais paulistas nos principais rankings globais, nos quais essas métricas respondem por mais de 50% do peso na avaliação.

Em que pese tal aproximação metodológica, é fundamental destacar que a CAPES utiliza um escopo de produção (livros, artigos, produção cultural e artística, etc) e um número de bases (Scopus, Web of Science e Google Schoolar) significativamente mais amplo que o THE (restito principalmente à periódicos indexados na Web of Science).

Também identificamos uma aproximação na avaliação do corpo docente, com a valorização comum de critérios como número de professores e seu tempo de dedicação à instituição (ênfase na dedicação exclusiva). Há ainda alguma convergência quanto aos indicadores de internacionalização, especialmente no que diz respeito a cooperação interinstitucional.

A partir dai, as metodologias seguem caminhos distintos. Enquanto o THE mantém seu enfoque em métricas e indicadores quantitativos (números de alunos, docentes, pesquisadores, recursos disponíveis, etc.) ou pesquisas de opinião para aferir reputação, a CAPES procura agregar parâmetros qualitativos, que vão desde a análise de planos estratégicos, melhorias estruturais e processos de autoavaliação institucional até a avaliação do destino e produção dos egressos desses programas, passando ainda pela análise da aderência e atualização das
áreas de concentração, linhas de pesquisa, projetos em andamento e estrutura curricular.

Destaca-se ainda uma diferença importante no período de avaliação: anual no caso do THE e quadrienal para CAPES.

Tais divergências parecem decorrer do objetivo distinto a que cada uma dessas avaliações pretende servir. O THE procura estabelecer critérios comuns para avaliação global e generalista das instituições (independente de suas especificidades) com fins majoritariamente comerciais (marketing e captação de alunos), enquanto a CAPES, como ente governamental, tem por objetivo central avaliar o desempenho e certificar cada um dos programas, com base em parâmetros específicos e na realidade de cada área do conhecimento, além orientar a formulação de politicas de regulação e fomento da pós-graduação brasileira – inclusive por meio da distribuição de recursos.

Hamilton Varela

Rankings globais contemplam diferentes aspectos das atividades universitárias, a CAPES, por sua vez, tem como foco o sistema de pós-graduação. Os parâmetros utilizados pela avaliação da CAPES estão distribuídos atualmente em três quesitos: (1) Programa Acadêmico (áreas de concentração, linhas de pesquisa, projetos, estrutura curricular, infraestrutura disponível, etc.); (2) Formação (incluindo itens como qualidade e adequação das teses e dissertações, qualidade da produção intelectual de discentes e egressos, assim como o destino e a atuação dos egressos do programa; qualidade das atividades de pesquisa e da produção intelectual do corpo docente; e qualidade e envolvimento do corpo docente em relação às atividades de formação no programa); e (3) Impacto na Sociedade (aspecto inovador da produção intelectual; impacto econômico, social e cultural do programa; e internacionalização, inserção local, regional e nacional, e visibilidade do programa). O Academic Ranking of World Universities (ARWU) (edição de 2017, ver: S. Righetti, Avaliar para Comparar: Os Rankings Britânico e Chinês no Ensino Superior Global. IN: Repensar a universidade: desempenho acadêmico e comparações internacionais. São Paulo: Com-Arte; Fapesp, 2018. p. 45.) contempla os seguintes itens com respectivos pesos: (1) Corpo Docente, 40%; (2) Pesquisa, 40%; (3) Ensino, 10%; e (4) Desempenho per capta, 10%. Portanto, há convergências na importância atribuída a aspectos como corpo docente e discente, e qualidade da pesquisa, enquanto itens como os incluídos nos quesitos projeto acadêmico e impacto na sociedade estão presentes apenas na avaliação da CAPES.

No entanto, a aparente convergência dos itens mencionados deve ser analisada com cautela, uma vez que os critérios considerados na avaliação destes itens diferem sobremaneira. De fato, no ARWU, a avaliação dos docentes e de ex-alunos leva em conta a presença de pesquisadores altamente citados no mundo e o número de contemplados com o Prêmio Nobel e a medalha Fields. Em relação à produção científica, o ARWU, atribui grande peso (20% do total) a artigos publicados em periódicos de altíssimo prestígio, como Nature e Science. Por sua vez, a CAPES utiliza o sistema de classificação de periódicos Qualis, considerando parâmetros como fator de impacto e premia artigos de destaque, sempre com foco na produção científica com (co)autoria de pós-graduandos. Em resumo, constata-se que as divergências sobressaem na comparação entre as abordagens da CAPES e do ranking global ARWU, e as convergências em alguns itens específicos são apenas conceituais, mas diferem quanto aos critérios utilizados na pontuação atribuída.

João Paulo Gois – UFABC

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) é a fundação vinculada ao Ministério da Educação (MEC) responsável pela avaliação, definição de normas, e por parte do fomento dos Programas de Pós-Graduação (PPG) brasileiros.

Quadrienalmente a CAPES, por meio de seus Comitês de Áreas (CAs), e.g. Matemática e Estatística, Engenharias I-IV, Biológicas I-IV, Ciência da Computação, e Interdisciplinar, realiza a avaliação dos PPGs, atribuindo a eles notas de 1 a 7.

De forma bem resumida, e desconsiderando os diversos poréns, as notas 1 e 2 são atribuídas aos PPGs reprovados na avaliação, a nota 3 é atribuída ao PPG que possui apenas mestrado (em geral programas mais jovens ou com baixa produção), a partir de nota 4 PPGs com mestrado e doutorado, caminhando até a nota 7, em que define PPGs com grande reconhecimento internacional e forte nucleação.

Com a política de expansão do Sistema de Pós-Graduação brasileiro, anos de 2003 a 2016 em que se buscou a interiorização dos PPGs, criação de novos campi e IES públicas, a CAPES precisou rever sua política de avaliação que, em meu entender, estava motivada em: 1) levar em consideração as particularidades dos PPGs, inclusive os aspectos regionais, 2) melhorar a operacionalização da avaliação. Por ex, a área de Administração Pública e de Empresas, Ciências Contábeis e Turismo, subiu de 55 (2003) para 182 (2016) PPGs segundo o Relatório da Avaliação Quadrienal 2017 (CAPES). Também, tem aumentado significativamente o número de publicações e formados dos PPGs ano a ano. Mesmo com a informatização e a disponibilização de tecnologias por parte da CAPES para facilitar a avaliação, parte da avaliação ainda recai em análises qualitativas, através da descrição textual por parte da coordenação dos PPGs, apresentando a infra-estrutura, particularidades, dentre outros fatores dos PPGs.

Dito isso, a comparação, medir as convergências e as divergências da CAPES com os principais rankings globais, é uma análise que precisa ser feita com muita cautela, pois originalmente possuem objetivos distintos (a CAPES busca avaliar, os rankings, “rankear”). De todo modo, é importante destacar quatro pontos que diferencia a construção dos instrumentos avaliativos da CAPES em comparação com as medidas dos principais rankings:

-Critérios de avaliação são estabelecidos pelos CAs, que são formados por docentes das próprias áreas. Em geral os CAs “ouvem” os coordenadores dos PPGs, as Sociedades Científicas e outros atores importantes para definir os critérios de avaliação dos PPGs. Popularmente a comunidade científica cunhou o jargão: “A CAPES somos nós”.

-As reuniões da CAPES do meio-termo: no meio do período da avaliação quadrienal, os coordenadores dos PPGs das áreas são convidados para uma reunião na CAPES para apresentarem dados sobre seus PPGs, com o intuito de construir uma análise comparativa e para ouvir a avaliação geral dos Coordenadores dos CAs.

-A possibilidade de visitas de representantes dos CAs in-loco para conversas técnicas com docentes e discentes dos PPGs além de avaliação da infra-estrutura disponível para o PPG.

-A introdução (ou explicitação) da auto-avaliação: Neste novo modelo de avaliação da CAPES, iniciado na gestão da profa. Rita Barata frente a Diretoria de Avaliação (DAV), continuada pela profa. Sônia Bao até recentemente, e atualmente aguardando a nomeação de uma nova diretoria, transfere também para o PPG a responsabilidade de (auto-)avaliar seus próprios cursos, com base em seu alinhamento com o Plano de Desenvolvimento Institucional da sua IES.

Karina Maretti Strangueto – IFSP

Nessa atividade serão comparadas as convergências e divergências entre os parâmetros adotados pela CAPES e o Arwu. Como este foi o primeiro ranking a ser construído, ele foi escolhido a fim de se poder observar também a evolução dos indicadores utilizados durante as últimas décadas, observando, enfim, os indicadores adotados pela CAPES no Brasil.

Como existem muitas divergências entre essas avaliações, começarei por estas.

Divergências: o Arwu foca sua análise na quantidade e qualidade docente baseando-se em números de produtividade e prêmios e, na pesquisa científica desenvolvida, apenas como publicações realizadas. O ensino é observado apenas no aspecto formador de alunos para ganhar prêmios Nobel ou medalha Fields, sendo a performance caracterizada como a produtividade do docente. Pode-se notar também que existem poucos componentes para cada indicador analisado, totalizando apenas 6, que destacam mais os índices relativos ao corpo docente e a pesquisa científica (80% do valor possível). Enquanto isso, na CAPES, a avaliação foca na formação do discente principalmente, analisando o programa, a formação discente e o impacto desse curso na sociedade. Observa-se, ainda, uma análise muito mais profunda de: como o programa é desenvolvido e influencia na formação do discente; compatibilidade e adequação do docente ao programa; procedimentos de formação e produção; qualidade do que é produzido; como o egresso vai ser introduzido na sociedade, e; retornos que essa formação e produção trazem à sociedade. Os indicadores são divididos em mais subitens, totalizando 12 análises que destacam os índices relativos ao programa (70% do valor possível). Também se observa que a CAPES foca a análise no curso, enquanto o Arwu é utilizado para analisar a universidade como um todo.

Convergências: o corpo docente é analisado nas duas avaliações, ainda que de formas bem distintas. Na Arwu o corpo docente é analisado pela quantia de pesquisadores altamente citados e com prêmios Nobel e medalhas Fields, enquanto na CAPES é analisada a qualidade das atividades de pesquisa e da produção intelectual, assim como a qualidade do envolvimento nas atividades de formação do programa.

Com isso, podemos observar que apesar do Arwu ter sua primeira edição em 2003, as ideias trabalhadas por esse tipo de avaliação progrediram de forma a produzir, e começar a ser aplicada pela CAPES a partir de 2019, uma avaliação bem diferenciada aqui no Brasil.

Luis Eduardo Aranha Camargo

Tomando os parâmetros gerais do ranking THE por áreas como referência (segundo Solange dos Santos) e os critérios de avaliação da CAPES do quadriênio 2017 (http://capes.gov.br/images/stories/download/avaliacao/relatorios-finais-quadrienal-2017/), concluo que a avaliação CAPES tem maior poder de resolução por incluir parâmetros, mesmo que subjetivos, que não são contemplados no THE e também que os parâmetros são mais divergentes que convergentes entre as duas avaliações, muito embora o espírito seja bem semelhante, como comentado ao final.

Como pontos convergentes temos:

– a forte ênfase na produção científica; 36% da nota geral do THE (citações e publicações/docentes) e 40% da CAPES (publicações qualificadas/docente).

– a existência de parâmetros de avaliação de produção em comum ou equivalentes, como docentes/estudantes e doutorados/docente (THE) e número de titulados/docente (CAPES); produção científica/docente.

Como pontos divergentes nota-se:

– A presença na CAPES e ausência (ou menor ênfase) no THE: a) dos quesitos de inserção social, visibilidade ou transparência e cooperação com outras IES; b) de avaliação da produção técnica, como patentes, artística, de livros; cultivares registradas c) valoração do fator de impacto do periódico, ao invés de citações; d) análise da distribuição da produção científica entre docentes; e) avaliação da produção de teses e dissertações e tempo de titulação.

– A presença no THE e ausência (ou menor ênfase) na CAPES: a) avaliação da qualidade (reputação) do ensino e da pesquisa mesmo que indiretamente através de entrevistas; b) de uma métrica que avalia a interação com a indústria (receita da indústria); c) índices de financiamento (orçamento/docentes, receita, receita da indústria); d) pontuação para proporção de docentes e discentes estrangeiros; e) valoração das citações, ao contrário do fator de impacto do periódico.

Por fim, mais um aspecto estimulado pela pergunta diz respeito ao espírito das duas avaliações. A avaliação da CAPES é um instrumento de aperfeiçoamento em sua concepção, mas na prática seus efeitos assemelham-se aos de um ranking no sentido que: as metas são estabelecidas somente ao final do período de avaliação (isto é ranking) e não antes, como seria no caso de um plano; a avaliação estimula uma homogeneização dos programas ao não levar em conta as vocações das distintas IES (injúria à autonomia?); manutenção do status quo, já que dificilmente se notam mudanças drásticas nos extratos superiores; a perpetuação do status é ainda reforçada pela maior autonomia orçamentária concedida aos programas 6 e 7.

Maria Campos Lage

Para realizar esta atividade foi escolhido o Times Higher Education Ranking (THE).
Existem mais divergências que convergências e, penso, um dos motivos para isto é que a CAPES avalia programas de pós-graduação e não universidades. Esta seria uma primeira grande diferença. Estamos comparando processos avaliativos com diferentes propósitos, o que certamente gera divergência de parâmetros.

Pode-se cotejar alguns pontos:

1 – O formato da entrada dos dados
Tanto o THE como a CAPES a entrada dos dados é feita pela própria instituição. Porém, no caso do THE, alguns dados são coletados também em bases de dados, como Enselvier (fonte de informação também dos Programas) e em pesquisas de reputação, o que não acontece com a CAPES. Ambos exigem uma pessoa responsável pela entrada dos dados.

2 – As macro dimensões da avaliação
No THE, temos Teaching, Research, Citations, International outlook e Industry Income.
No novo formato da CAPES temos Programa, Formação e Impacto na Sociedade.
Numa avaliação superficial são completamente diferentes entre si. Para encontrar os pontos convergentes é necessário ir para os indicadores avaliados em cada dimensão.

3 – A abrangência da avaliação proposta pela CAPES e o THE Ranking
O THE, por avaliar a universidade como um todo, possui indicadores mais gerais. A CAPES olha com mais profundidade o Programa.
Por exemplo, a avaliação da CAPES considera o planejamento estratégico do Programa, o impacto do Programa na sociedade e também aspectos relacionados à inovação. Estes aspectos não são avaliados em nenhum dos indicadores do THE. No caso do THE, existe um ranking à parte, apenas para inovação, mas não é deste ranking que estamos tratando aqui.

4 – A forma de avaliação da internacionalização
O THE considera professores e alunos estrangeiros em seu processo de avaliação da internacionalização, além da colaboração internacional. O formato de avaliação da CAPES para internacionalização está mais voltado para atividades acadêmicas.

5 – Os critérios para avaliações de publicações
Tanto a avaliação da CAPES quanto o THE consideram as citações, mas para construir diferentes indicadores. Porém, este é um dos aspectos quem podemos considerar como área de convergência.

6 – Avaliação da pesquisa
O THE está interessado na reputação da pesquisa e também na receita obtida. A CAPES na aderência da pesquisa com as linhas do Programa, além da produtividade / volume (avaliado nos dois)

Estes seriam alguns pontos apenas. É possível discorrer sobre as questões relativas ao ensino abordadas no THE e pela CAPES, entre outros.

Natália Cardoso Abreu de Araujo

A comparação que será realizada é entre os parâmetros adotados pela CAPES em suas avaliações quadrienais de programas de Pós-Graduação e o ranking mundial do Times Higher Education (THEWUR).

A principal convergência que pode ser apontada, apesar de ponderados distintamente, é o parâmetro da internacionalização. Tanto a CAPES quanto o THEWUR consideram o quão internacional é a sua fonte de análise. Para a CAPES, a internacionalização está diretamente ligada à visibilidade do programa analisado. Ainda que este parâmetro possa ser analisado de forma distinta a depender da área a ser analisada, são considerados os intercâmbios acadêmicos envolvendo docentes e discentes com outros programas no exterior e a produção bibliográfica veiculada em periódicos de padrão internacional, especialmente aqueles reconhecidos como os mais importantes na área analisada. Para o THEWUR, a questão da internacionalização é avaliada em 3 frentes: a proporção de estudantes internacionais, a proporção de funcionários internacionais e a colaboração internacional, que se traduz na quantidade normalizada de publicações em periódicos com colaboração de pelo menos um co-autor internacional. Isto dito, é importante destacar que ambos valorizam o alcance do conhecimento que é produzido naquele programa ou naquela instituição.

Quanto às divergências, a principal é que os parâmetros adotados pela CAPES têm como fundamento avaliar nacionalmente os programas de Pós-Graduação no Brasil, com intuito de demonstrar quais estão mais bem estabelecidos, com grande relevância de produção acadêmica, inserção de egressos de pós-graduação. Já o ranking mundial THE avalia as instituições como um todo, com o intuito de classificá-las mundialmente, a princípio para que estudantes pudessem tomar a decisão de onde estudar baseada em fatos concretos. Outra questão vital que difere nas duas avaliações é o dinheiro. Basicamente, o THEWUR vai levar em consideração todo o orçamento da instituição, quanto é destinado à pesquisa, quanto é investido por indústrias, segundo sua própria metodologia no item Renda da Indústria, quanto “as empresas estão dispostas a pagar por pesquisas e a capacidade de uma universidade de atrair financiamento no mercado comercial”. A avaliação da CAPES não leva diretamente em consideração a renda de cada programa de Pós-Graduação, ainda que programas mais bem avaliados consigam mais bolsas para estudantes e para pesquisas.

Estes apontamentos resumem pontos principais entre a avaliação da CAPES e o ranking THEWUR.