Neste vídeo de 11 minutos, o professor Stephen Curry conta a história e os princípios da Declaração de São Francisco sobre Avaliação de Pesquisa, DORA.
Abaixo, transcrevemos a apresentação em portugês.
Olá, é um prazer apresentar-lhes a Declaração de São Francisco sobre Avaliação de Pesquisa, ou DORA meu nome é Stephen Curry e sou professor de biologia estrutural e reitor assistente para igualdade, diversidade e inclusão no Imperial College em Londres. Também tenho o privilégio de ser presidente do grupo de direção DORA.
A declaração data do final de 2012 e foi uma iniciativa e uma declaração escrita por um grupo de editores e editores de periódicos acadêmicos, principalmente das disciplinas e biologia celular e molecular, que visava abordar o problema que temos de nossa confiança indevida em métricas na avaliação de pesquisa, talvez seja mais conhecido por ser crítico do uso indevido do fator de impacto do periódico na avaliação tanto de artigos de pesquisa individuais, mas também na avaliação dos esforços dos próprios pesquisadores individuais.
Talvez [a DORA] seja mais conhecida por criticar o fator de impacto, mas na verdade declaração vai além deste primeiro parágrafo e se estende por mais duas ou três páginas e tem 17 recomendações positivas para uma série de interessados do cenário acadêmico, e isso inclui financiadores, editores professores, gestores de dados instituições de pesquisa e univesidades e os próprios pesquisadores as recomendações específicas para financiadores que eu sei que estão muito bem representados aqui nesta reunião
Um foco duplo: em primeiro lugar em ter critérios explícitos para o que conta como investigação de alta qualidade e dar ênfase ao conteúdo de um artigo acadêmico, em vez do local de publicação ou de qualquer métrica de publicação associada a ele em sua avaliação de sua qualidade e, em segundo lugar, queremos ter certeza de que a
avaliação de pesquisa realmente abrange todas as atividades importantes e valiosas que acadêmicos e pesquisadores realizam, não apenas publicando artigos de pesquisa que tendem a ser o foco ultimamente, mas pensando em outros resultados, como como você saber compartilhar conjuntos de dados e software e reagentes e outras contribuições treinamento de estudantes de doutorado e jovens pesquisadores e outras contribuições para pesquisas que tenham impacto no mundo real ou pesquisas que mudem políticas ou práticas e, portanto, queremos uma base muito mais ampla para nossas conversas sobre o que constitui pesquisa de alta qualidade assim além de ser uma declaração a DORA é agora também uma organização.
A própria declaração foi publicada em maio de 2013 e já acumulou mais de 16000 signatários individuais e mais de 2000 signatários organizacionais. Em 2017 a iniciativa obteve um impulso e revigoramento significativo graças ao apoio financeiro de várias organizações de apoio listadas neste slide e que nos permitiu contratar uma pequena equipe, então agora temos 1,2 pessoas em equivalente em tempo integral mais um estagiário. Mesmo com essa pequena equipe que nos permitiu fazer uma mudança real no nível de atividade que DORA pode perseguir tanto na conscientização sobre a necessidade de uma avaliação responsável da pesquisa, que é o tema desta conferência, mas também ajudar e trabalhar com outros para pensar em novas ferramentas e avançar nessa agenda, ao mesmo tempo em que reconstituímos nosso comitê diretor e é internacional, embora esteja focado um e com representação europeia e norte-americana, no entanto, reconhecemos que, como a pesquisa e a bolsa de estudos são totalmente internacionais, o problema da reforma da avaliação da pesquisa deve ser um esforço totalmente internacional, por isso também constituímos um conselho consultivo internacional que é verdadeiramente global e contém representantes de todos os continentes do globo. Então, com nosso novo financiamento e nosso propósito revigorado, traçamos um roteiro para DORA e que tem três elementos principais.
O primeiro é reunir mais assinaturas, aumentar a conscientização e desencadear novas conversas sobre a necessidade de reforma e o problema do mau uso de incentivos que são muito baseados em métricas.
Também estamos procurando expandir o nosso alcance global e disciplinar de DORA, que está muito enraizado nas ciências, em particular nas ciências biomédicas eu acho que pode estar em nosso pode-se argumentar que há é uma obsessão particular com métricas, mas sabemos que a metricização da bolsa de estudos impede todas as disciplinas e há problemas nas artes, humanidades e ciências sociais, por exemplo, e estamos procurando dialogar com essas comunidades e avançar nessas conversas. Na motivação de constituir o nosso conselho consultivo procurando suscitar conversas a nível mundial e é por isso que estamos particularmente satisfeitos por participar neste encontro
O terceiro e último [objetivo] que considero o mais importante é o nosso compromisso de descobrir e promover novas ferramentas para boas práticas e avaliação de pesquisa e, portanto, temos sido muito mais proativos na organização de workshops e reuniões para não apenas discutir o problema, mas realmente pensar em como
superamos esses problemas e como desenvolvemos soluções, por isso temos trabalhado com muitas comunidades e organizações diferentes para pensar em novas ferramentas e práticas. Vou apenas mencionar alguns desses, então um exemplo é uma reunião que convocamos na América do Norte no ano passado em outubro de 2019 em conjunto com
a instituição médica Howard Hughes e que visava principalmente examinar as barreiras à mudança cultural institucional.
Sabemos que para nossa pesquisa, institutos e universidades onde os investigadores e acadêmicos vivem as pressões que enfrentam em termos de emprego e as pressões externas das métricas das tabelas de classificação das universidades, significam que muito facilmente voltamos a comportamentos antigos e pouco produtivos. Realmente precisamos, para realizar o trabalho duro de pensar em novas soluções e trabalhar juntos como comunidade, dentro dessas instituições, mas é claro que também é importante que as instituições colaborem umas com as outras porque acho que ninguém descobriu a resposta para isso ainda e esta reunião é mais uma oportunidade para dialogar sobre quais são as soluções realmente viáveis.
O resumo das deliberações dessa reunião e uma espécie de escopo de exemplos de boas práticas de todo o mundo foi escrito e publicado neste artigo, que apareceu
no verão deste ano uma outra área com a qual temos trabalhado, outras organizações estão desenvolvendo novas ferramentas e políticas. Este é um exemplo: fomos consultados pela sociedade real do Reino Unido sobre o desenvolvimento de um formulário de CV narrativo que pode ser usado em pesquisa e avaliação de pesquisadores, em substituição às longas listas de bibliografias que muitas vezes são acompanhadas pelos fatores de impacto do periódico nos currículos das pessoas. Essa é uma forma de fornecer uma narrativa que dá acesso a informações muito mais qualitativas sobre contribuições específicas e também pode falar sobre a amplitude de atividades que procuramos valorizar, não apenas pesquisas de alta qualidade e publicações de alta qualidade, o que é obviamente importante, mas coisas como o compromisso com a ciência aberta, compromisso com a colaboração, compromisso com a política, compromisso com a orientação.
Outra organização com a qual trabalhamos de perto é a Welcome Trust do Reino Unido, que é uma forte defensora da DORA, em ajudar a informar suas políticas de acesso aberto e financiamento e, portanto, agora eles têm uma política muito forte que exige que os candidatos a financiamento trabalhem em instituições que assinaram a DORA ou implementaram reformas na avaliação de pesquisa. Que sejam alinhadas com os princípios da DORA. Também desenvolvemos novas ferramentas para avaliação de pesquisa
Aqui está apenas um exemplo, este é o trabalho feito em colaboração com Ruth Schmidt, que está desenvolvendo documentos curtos, de uma página, que visam desmascarar mitos e ajudar as pessoas a pensar sobre preconceitos. Esperamos que essa iniciativa estimule conversas em muitas instituições, que queiram assinar.
Já nos deparamos com instituições, que ao considerar a adesão, tendem a ficar um pouco obcecadas com a redação da declaração. Nessas conversas sempre enfatizamos a importância do espírito da declaração. Pedimoa que pensem sobre o que estamos tentando alcançar em termos de implementação e introdução de boas práticas robustas em
torno da avaliação de pesquisa, que incentivam os melhores comportamentos e os melhores resultados em termos de produção de pesquisa, portanto, tenho uma filosofia pessoal sobre como é a excelência em pesquisa, codificada aqui nesse slide. Nossa ênfase que a DORA seja uma iniciativa que evidencie que ações são muito mais importantes do que palavras. Espero que isso faça parte das palavras que compartilhamos.
Discutimos nesta reunião uma última coisa que quero mencionar. O trabalho que estamos fazendo na DORA e o trabalho que muitas organizações estão fazendo para reformar a avaliação da pesquisa está obviamente ocorrendo dentro de uma conversa muito maior em todo o mundo e dentro da academia, e os principais elementos disso são pensar em como avançar [em programas de] bolsa de estudos abertos e também pensar em como garantir que a academia é realmente inclusiva em muitos países, e o Reino Unido, eu incluiria na medida em que a demografia dentro da academia não representa totalmente a demografia das sociedades que pretendemos servir, e isso é um problema, e é um problema relacionado à avaliação da pesquisa porque acho que às vezes recorremos a ideias estereotipadas de como é deve se portar um bom pesquisador e precisamos desafiar esses preconceitos, se vamos desenvolver um ecossistema de pesquisa verdadeiramente vigoroso, por isso agradeço sua atenção e aguardo as discussões na próxima
reunião