Categorias
Cursos

Respostas em destaque. Módulo 7

Tópicos

Universidades do Estado de São Paulo: perspectivas e desafios institucionais

Experiência na adoção de indicadores para a tomada de decisões institucionais nas universidades estaduais paulistas. Além de conhecer a trajetória das universidades, este módulo permite comparar as suas práticas e perspectivas, os conceitos de interoperabilidade de dados, rastreamento de egressos e monitoramento de satisfação dos docentes e discentes.

Perguntas

  • Quais capacidades humanas e tecnológicas são desejáveis para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas?
  • Qual é o plano da Universidade para melhorar as suas capacidades?
  • Quais ferramentas estão sendo desenvolvidas para integrar fluxos de informações para a construção de bases de dados legíveis por máquina?

Respostas

Adriana Backx Noronha Viana

O foco desse módulo se constituiu na reflexão e análise de instrumentos para gestão eficiente de dados e desempenho. Isso mostra fundamental importância de ter um processo organizado para coleta de dados, definição de indicadores, análise críticas das informações que sustentem tomadas de decisão.

É necessário então o desenvolvimento de capacidades humanas e tecnológicas.

No caso da USP, foi criado em 2018 o EGIDA – Escritório de Gestão de Indicadores de Desempenho Acadêmico, atualmente coordenador pelo Prof. Aluísio Segurado, inclusive um dos autores de capítulo de livro do material de consulta deste módulo.  

Da leitura dos materiais disponibilizados, bem como dos vídeos, compreendi uma semelhança do EGIDA com um Sistema de Inteligência Competitiva (SIC), conhecido na área de Administração. O termo competitivo pode soar estranho pensando em uma universidade. Mas nesse contexto a ideia é que com a gestão de informação, a universidade use esse resultado para organizar melhor a utilização de seus recursos.

Para estruturação de um SIC, é necessário ter uma rede de especialistas que permitam tanto a definição dos dados a serem coletados quanto sua utilização estratégica para a tomada de decisão. As capacidades humanas para estruturação de um SIC vão depender das etapas do processo, desde a coleta e definição do que coletar até o processo de análise e tomada de decisão.

Da literatura nessa temática, observa-se que além das capacidades em tecnologia de informação e gestão, é necessário a habilidade de aprendizagem autônoma, ética, proatividade, criatividade e dinamismo. Nesse cenário, é importante que a Universidade tenha um plano para melhorar as suas capacidades. Observo que isso é possível através de três frentes, sendo que duas já existem. Uma consiste no Curso de Métricas (curso que estamos participando atualmente e tem sido extremamente útil) e na constituição do EGIDA. A terceira deveria considerar a formação mais ampla dentro da USP, através de curso básico para os ovos docentes contratados e além disso, disciplinas oferecidas no contexto de estudantes de graduação e pós-graduação sobre a temática, facilitando inclusive a motivação para o preenchimento e colaboração no processo de recolha de dados.

Na USP, existem diversas ferramentas desenvolvidas para integrar fluxos de informações para a construção de bases de dados, como por exemplo WeR_USP. Assim, é fundamental a postura de toda a comunidade USP para participar do processo de coletar e disponibilizar informações atuais e verídicas, permitindo um funcionamento adequado do processo de Gestão de Informação na universidade.

César Augusto Rodrigues de Albuquerque

Antes de qualquer desenvolvimento técnico ou metodológico para gestão das métricas, é fundamental que os agentes estejam conscientes da centralidade que os indicadores podem e devem desempenhar no ambiente universitário.

Por muito tempo, os dados institucionais foram vistos prioritariamente sob o prisma da função operacional rotineira (cadastro de pessoas, registros acadêmicos, gestão de RH, execução orçamentário-financeira, etc.), gerando imensos repositórios de registro. Recentemente, contudo, a comunidade universitária vem compreendendo um segundo e não menos importante papel que esses ricos bancos de dados podem ofertar: a construção de indicadores que permitam aferir, avaliar e transmitir nosso desempenho institucional. O pragmatismo necessário para o bom andamento de nossas atividades cotidianas precisa ser complementando pela capacidade de reflexão (auto)crítica daquilo que produzimos, com vistas ao seu constante aprimoramento.

Nesse sentido, a consolidação de uma política de gestão de métricas e indicadores deve ser entendida pelos agentes como um poderoso instrumento de acompanhamento da realização das atividades-fim; de avaliação embasada e tomada de decisão consciente, com vistas à consecução dos objetos institucionais; e, finalmente, da divulgação e prestação de contas à sociedade, demonstrando a contribuição singular gerado pelo investimento na Universidade.

Sedimentada essa visão entre os agentes, é necessário que o plano siga com o desenvolvimento e aprimoramento de recursos tecnológicos capazes de atender satisfatoriamente cada etapa desse processo (o registro, a coleta, a sistematização, a integração, a visualização). Também deve-se pensar uma metodologia que permita analisar tais indicadores, de modo que possam se converter em subsídio para a tomada de decisão em vários níveis institucionais.

A USP tem caminhado gradativamente nessa jornada. A criação de um escritório diretamente voltado à gestão de indicadores de desempenho acadêmico (EGIDA) demonstra o amadurecimento desse entendimento quanto ao papel relevante das métricas para o desenvolvimento institucional. Ao mesmo tempo, o investimento crescente na área de TI, com aprimoramento de sistemas, criação dos data warehouse e outras ferramentas de integração dos dados (inclusive externos) e visualização de indicadores tem sido fundamental para o avanço da gestão das informações institucionais. A maior interoperabilidade de dados e sistemas oferece às áreas-fim um autorretrato cada vez mais refinado, combinando indicadores e métricas a elas pertinentes. Trata-se, certamente, de um processo em contínua evolução, corrigindo falhas, identificando oportunidades e aprimorando ferramentas.

Em seu conjunto, essas iniciativas vêm aprofundando o autoconhecimento institucional e fornecendo indicadores mais robustos para que tanto dirigentes quanto a comunidade possam conhecer e avaliar as atividades universitárias.

Claudia Maria Fuller

Para transformar dados brutos em informações úteis, algumas capacidades tecnológicas importantes são:

A construção de bases de dados abrangentes e confiáveis;

Desenvolvimento de ferramentas para integração de dados de diferentes fontes (datawarehouses, camadas de integração, etc.);

Interfaces analiticas para disponibilização e visualização de informações/indicadores para apoiar as avaliações diagnósticas e as tomadas de decisão.

Além da infraestrutura tecnológica, são necessárias capacidades humanas, que orientarão e direcionarão os sistemas:

Equipes capacitadas para definir as metas institucionais, as ações necessárias para atingi-las e os indicadores para mensurar seu andamento, como parte do planejamento estratégico e operacional da instituição;

Equipes capacitadas para desenvolver as ferramentas tecnológicas que traduzam essa demanda de planejamento e operacionalização das atividades da instituição;

Equipes preparadas para analisar e interpretar os indicadores e, se necessário, propor ajustes de rota;

Equipes preparadas para comunicar essas metas, ações e indicadores para toda a comunidade acadêmica, bem como as responsabilidades locais ou individuais para que sejam postos em prática e atingidos, respeitando as particularidades de cada área.

A USP vem trabalhando no desenvolvimento de ferramentas para compilação, tratamento e integração de dados oriundos de diferentes sistemas e fontes, e de ferramentas analíticas para alimentar os indicadores acadêmicos e de gestão institucionais, como suporte ao planejamento estratégico e tomada de decisões.

Desde o final da década de 1980 a USP divulga seu Anuário Estatístico, cujo objetivo original foi de consolidar informações básicas sobre a Universidade para fornecer subsídios aos gestores para o planejamento de atividades e auxiliar na tomada de decisões. A partir daí, o Anuário tornou-se uma ferramenta de apoio à gestão da Universidade e para informação da comunidade interna e externa. 

Mais recentemente, a USP desenvolveu novas ferramentas de perfil transacional e analítico para integrar bases de dados de seus diferentes sistemas e de fontes externas para possibilitar o acesso via web a informações úteis. O resultado disso é disponibilizado em diferentes interfaces, destacando-se:

A plataforma DataUSP associa informações provenientes de diferentes sistemas transacionais da Universidade a outras bases de dados de origens variadas, especialmente CNPq, Capes, Scopus, Google Scholar, Web of Science, InCites. O DataUSP disponibiliza interfaces gráficas com o cruzamento dados de fontes variadas, trazendo indicadores sobre ensino, pesquisa, pós-graduação, atividades de extensão, relações internacionais, etc. 

Portal Transparência USP, que pode ser acessado via web por qualquer pessoa e permite realizar pesquisas sobre diversas informações relacionadas  a assuntos administrativos, financeiros e de recursos humanos da Universidade.

Ignez Caracelli

Quais capacidades humanas e tecnológicas são desejáveis para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas?

Em termos das capacidades humanas, temos primeiro que ter alguém que entenda os rankings tanto nos itens avaliados como nos processos de coleta e avaliação, além da finalidade da instituição à qual o ranking pertence. Assim o Planejamento dever orientar a Coleta com parâmetros definidos para que seja possível conhecer o ambiente na qual a organização está inserida e conhecer melhor a si próprio (forças e fraquezas). Conhecer bem sua universidade e ser capaz de identificar quais pontos não foram avaliados por serem atividades únicas e como poderiam ser estabelecidos parâmetros para que pudessem ser incluídos em outras avaliações.  

Do ponto de vista organizacional, há dificuldades tecnológicas em ter dados estruturados para permitir que o processamento dos dados seja realizado. Sem estabelecer, quais dados, quem vai armazenar, qual a transparência dos processos, torna difícil estabelecer a infraestrutura do processamento e um output que permita uma avaliação fácil. Relatórios como gráficos comparativos, por exemplo, exigem um senso crítico especial para permitir uma avaliação à primeira vista. Os processos devem ser interativos (com ativa participação e intervenção do usuário). Em cada uma das fases a Tecnologia de Informação pode ajudar, e muito, o processo; porém a participação e a intervenção de pessoas envolvidas no projeto como coletores, analistas e coordenadores são imprescindíveis.

As fases de planejamento, coleta, processamento, análise e disseminação de métricas são fases do Inteligência competitiva.  A equipe de Inteligência Competitiva deve se dedicar a buscar continuamente informações que possam agregar valor à instituição. Essas informações devem ser constantemente avaliadas, catalogadas e interpretadas para serem disponibilizadas da melhor maneira possível aos usuários.

Outra questão, é que baseado no fato de que no hemisfério norte há associações que homogenizam dados coletados, seria necessário uma união das universidades brasileiras no sentido de transparência, entendimento e avaliação de parâmetros importantes dentro do país,  para estabelecer rankings nacionais que levem à melhora de nossas universidades, mesmo que não sejam relevantes internacionalmente,

Qual é o plano da Universidade para melhorar as suas capacidades?

Penso que dada a importância crescente das métricas e rankings, o plano inicia com estruturação de um setor da universidade que seja responsável, em primeiro lugar, pela coleta e disponibilização de dados. O passo seguinte é unir-se ao setor da universidade com capacidade computacional tanto de hardware como de software para estruturar e formatar dados.

Constituir uma equipe de analistas que possa avaliar e direcionar equipe para auxiliar no fortalecimento dos pontos fortes e a neutralização os pontos fracos. Importante também conhecer as potencialidades e deficiências (conhecimento mais confiável da própria realidade institucional). Tudo isto deve auxiliar a projetar o futuro da instituição.

Toda parte de TI deve interagir com os atores de cada parte dos processos de planejamento, coleta, processamento, análise e disseminação de métricas, e ser capaz de realizar processos dinâmicos, iterativos e interativos, para melhorar tanta a entrada de dados (qualidade) como o output.

Na minha instituição, penso que estamos na fase inicial com a criação de um setor responsável. Mas, em minha opinião, falta muito a fazer. Mas, uma parte importante está sendo desenvolvida no desenvolvimento de recursos humanos, com capacidade para desenvolvimento e análise de sistemas para entendimento dos rankings e métricas e inovação, que estão sendo formados no Programa de Pós-Graduação em Ciência da Informação da UFSCar e linhas de pesquisa voltada para atuação em Ciência da Informação, Prospecção Tecnológica, Inteligência Competitiva, Bibliometria e Indicadores de C&T.  

Quais ferramentas estão sendo desenvolvidas para integrar fluxos de informações para a construção de bases de dados legíveis por máquina?

Não estou segura de ter entendido corretamente a pergunta. Entendo que  ferramentas seriam o instrumento ou o procedimento que poderiam levar ou auxiliar na  gestão das informações dentro das organizações e que permitiriam alcançar um objetivo, neste caso, para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas.

Com essa visão, dentro de minha universidade, percebo que estão desenvolvendo sistemas para coletar dados. Há o chamado “sistemas ufscar” que engloba, entre outros, o SIGA (Sistema integrado de gestão acadêmica), que ao mesmo tempo recebe informações e auxilia nos processos de gestão, mas ainda proporciona relatórios pobres no sentido de disponibilizar o conteúdo de forma analítica; ProPGWeb, com dados da pós-graduação, que também tem sido utilizado como gerenciados das coordenações dos PPGs, e proporciona alguns relatórios que auxiliam na visualização do estado dos PPGs. Acoplado com este sistema, estão sendo gerados mapas indicadores analíticos, disponíveis dentro da webpágina da Pró-reitoria de pós-graduação, mas não com visualização automática, o Repositório Institucional, que é um sistema de informação que visa armazenar, preservar, organizar e disseminar amplamente a produção intelectual dos diversos setores e segmentos da comunidade da UFSCar, provendo o acesso aberto à informação produzida na instituição e registrada como científica, tecnológica, didática, artístico-cultural e técnico-administrativa.

Entre os sistemas externos, os dados oriundos do Lattes ajudam a compor e preencher outras plataformas, como a plataforma SUCUPIRA. Porém, ainda que o lattes seja obrigatório para os docentes (inclusive para a progressão na carreira), conste da apresentação dos mesmos nos sites da universidade, não nos deparamos com os mesmos atualizados e preenchidos de forma correta. Os alunos, em grande parte, tem o link lattes, mas não mantem atualizados. No PPGBiotec, como coordenadora, solicitei que fosse associado o ORCID ao lattes e somete uma parte pequena fez esta associação. Então, como o lattes não vem sendo primorosamente preenchido, penso que a falta de dados ou o preenchimento errado, leva a dificuldades na mineração dos dados, para que seja possível elaborar como coletar, como processar, como integrar os dados.

De forma geral, estamos em fase além da inicial da coleta e mineração de dados.  Os próximos passos, seriam o da integração, disponibilização de forma analítica e elaboração de modos de visualização, conforme apresentado no vídeo apresentado pelo Prof. Joao Eduardo Ferreira.

Sarah Lorenzon Ferreira

Quais capacidades humanas e tecnológicas são desejáveis para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas?

Para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas é necessária a criação de uma infraestrutura computacional capaz de compartilhar dados sobre citações, formação de recursos humanos, projetos desenvolvidos e disciplinas ministradas entre as universidades envolvidas, assim como a criação de mecanismos automatizados de busca de dados em instituições nas quais atuam os recursos humanos, formados pelas universidades, assumindo um baixo acoplamento entre os dados.

Qual é o plano da Universidade para melhorar as suas capacidades?

Para melhorar suas capacidades a Reitoria da USP propôs a criação de uma unidade de gestão chamada Escritório de Gestão de Indicadores de Desempenho Acadêmico (Egida), cujas atribuições são:

  • promover o diálogo com os gestores institucionais – Pró-Reitorias de Graduação, Pós-graduação, Pesquisa e Cultura e Extensão Universitária, Agência USP de Cooperação Acadêmica Nacional e Internacional (Aucani), Agência USP de Gestão da Informação Acadêmica (Aguia), Agência USP de Inovação (Auspin) e Coordenadoria de Administração Geral (Codage), com vistas ao aprimoramento dos indicadores já utilizados e proposição de novos indicadores-chave (key performance indicators) para o monitoramento e avaliação do desempenho acadêmico das várias atividades-fim da Universidade;
  • interagir com a Superintendência de Tecnologia da Informação (STI), contribuindo para o aprimoramento dos sistemas integrados de coleta, processamento e análise de dados acadêmicos;
  • interagir com os órgãos da USP responsáveis pela avaliação institucional e avaliação docente (Comissão Permanente de Avaliação – CPA), contribuindo para a definição de indicadores de desempenho a serem empregados nessa tarefa, com base no estabelecido nos projetos acadêmicos institucionais e de docentes;
  • atuar como interlocutor institucional junto às agências responsáveis pela edição de rankings acadêmicos internacionais;
  • elaborar e publicar anualmente o Anuário Estatístico da USP, em respeito ao princípio da transparência da administração pública.

Quais ferramentas estão sendo desenvolvidas para integrar fluxos de informações para a construção de bases de dados legíveis por máquina?

Além da criação de uma infraestrutura computacional para a integração de todas as fontes de dados transacionais da USP, a Universidade deu início em meados de agosto de 2012 ao projeto DataUSP-PosGrad, um data warehouse com a finalidade de integrar os vários bancos de dados e as análises em larga escala vinculadas à PRPG. O DataUSP-PosGrad foi desenvolvido inicialmente com quatro faces de visualização com diferentes funções: apoio à Capes, relatórios ad hoc, análise multidimensional e ScriptLattes-USP. No seu primeiro ano de funcionamento, o sistema foi aprimorado e agora dispõe de uma nova face de visualização: Citações-USP. Cada face permite um tipo de usabilidade e de obtenção de relatórios e dados. E, a partir dessa experiência de sucesso da pós-graduação da USP na criação de uma infraestrutura computacional que fornece uma visão integrada e precisa para análise de dados, novos bancos de dados com informações corporativas foram integrados em um repositório de dados denominado DataUSP.

Vanderlin Amorim Palmeira Junior

1) Quais capacidades humanas e tecnológicas são desejáveis para aprimorar o planejamento, coleta, processamento, análise e disseminação de métricas?

As capacidades humanas necessárias seria em ter uma resiliência para lidar com problemas, adaptar-se a mudanças pós-pandemia, superar obstáculos ou resistir à pressão de situações adversas, com os recursos disponíveis, inteligência emocional para saber ouvir de forma humilde para permitir a comunicação com diferentes stakeholders e capaz de realizar diversas surveys necessários e organizados juntamente com o planejamento estratégico e sustentabilidade da sociedade e comunidade universitária. A parte tecnológica seria próximo ao que chamamos de Cientista de Dados que possui uma base sólida tipicamente em Ciência da Computação (data warehouse, banco de dados), Modelagem Preditiva, Estatística, Matemática e Programação (Python, R).

2) Qual é o plano da Universidade para melhorar as suas capacidades?

Na UNIFESP, foi recém criado o Escritório de Dados Estratégicos Institucionais (eDados), composta por profissionais de três órgãos envolvidos: a Pró-Reitoria de Planejamento (Proplan), a Superintendência de Tecnologia da Informação (STI) e a Coordenadoria de Rede de Bibliotecas da Unifesp (CRBU). Como estou na STI, responsável inicialmente para prover os dados para análise de outras equipes, o melhor plano para melhorar a capacidade foi em participar em cursos de qualidade para aperfeiçoar a minha capacidade para planejar, extrair e analisar os dados. A UNIFESP forneceu recentemente curso na ferramenta Pentaho, mas eu particularmente coleciono diversos cursos presenciais e EAD, voltados para ciência de dados e recentemente métricas.edu – USP, excelente projeto sobre a metodologia e métricas relacionadas as comparações internacionais.

3) Quais ferramentas estão sendo desenvolvidas para integrar fluxos de informações para a construção de bases de dados legíveis por máquina?

Na UNIFESP, lançou seu Portal de Dados Abertos (http://dadosabertos.unifesp.br/) promovendo assim a abertura dos dados, garantido os princípios de publicidade, transparência e eficiência, visando a aumentar a disseminação de dados e a manutenção do controle social pela sociedade civil organizada, conforme regulamentado pela Lei de Acesso à Informação. Desenvolvi uma ferramenta Gescon, que de forma colaborativa entre os servidores (TAE e Docentes), consegui reunir e integrar todas pautas e atas de reuniões de todos os conselhos, câmaras, núcleos e departamento da universidade, agora trabalhamos para que estes dados estejam disponíveis num formato aberto e legível por máquina. Também estamos desenvolvendo Business Intelligence com Pentaho (ferramenta OLAP) para formação de um painel com rol de Indicadores Acadêmicos do FORPLAD (www.forplad.andifes.org.br) para graduação e pós-graduação para interessados em gestão universitária.