Introdução

Em 2010, os economistas renomados Carmen Reinhart e Kenneth Rogoff publicaram um estudo que rapidamente se tornou um pilar para políticas de austeridade em todo o mundo. Eles afirmaram que o crescimento econômico de um país diminui drasticamente se a dívida pública ultrapassar uma certa porcentagem do PIB. O estudo influenciou políticas em várias nações, incluindo o Reino Unido, onde George Osborne, então futuro chanceler, usou essas descobertas para justificar cortes drásticos em serviços públicos.

No entanto, um erro em sua análise – a omissão de dados de cinco países – colocou em xeque suas conclusões. Esse erro foi descoberto somente em 2013 por um estudante de economia que tentava replicar suas descobertas. Este incidente ilustra um problema crítico na ciência: erros passam despercebidos e podem influenciar políticas e decisões globais. Mas agora, uma nova iniciativa está mudando isso, incentivando a caça aos erros científicos através de recompensas.

O Projeto ERROR

A Inspiração: Recompensas por Bugs

O projeto ERROR, liderado por Malte Elson, professor da Universidade de Berna, é inspirado pelas recompensas por bugs na indústria de software, onde hackers são pagos para encontrar falhas no código. No contexto científico, pesquisadores são pagos para revisar artigos científicos em busca de erros. A ideia é simples: cientistas submetem seus trabalhos ao projeto e revisores são recompensados por cada erro encontrado. Esses revisores podem ganhar até 1.000 francos suíços (cerca de US$ 1.131) por artigo, com bônus adicionais para erros menores, moderados e maiores.

A Primeira Verificação: O Caso de Jan Wessel

Jan Wessel, neurocientista cognitivo da Universidade de Iowa, foi o primeiro a ter seu trabalho revisado pelo ERROR. Ele submeteu um artigo publicado em 2018, ciente de que qualquer erro seria de sua responsabilidade. Russ Poldrack, neurocientista de Stanford, encontrou vários erros no artigo de Wessel, que, embora não alterassem os resultados finais, eram mais numerosos do que Wessel esperava. Este processo não só revelou erros no trabalho original, mas também mostrou que até mesmo revisores cometem erros.

“Fiquei chocado com a quantidade de erros que Russ encontrou”, disse Wessel. Poldrack amostrou apenas um pequeno subconjunto dos 241 artigos abordados no artigo de Wessel, então o neurocientista decidiu voltar e encontrar a verdadeira taxa de erro. Wessel pediu a seus colegas de laboratório que revisassem todos os artigos restantes e verificassem se havia casos em que o número em um artigo original não correspondia ao que Wessel havia colocado em seu trabalho. Eles descobriram que, para uma variável, Wessel registrou o valor incorreto em cerca de 9% das vezes.

O que foi ainda mais interessante foram os erros cometidos pelos pesquisadores caçadores de erros de Wessel. Embora soubessem que estavam atentos a erros, os colegas de Wessel cometeram erros numa proporção ainda maior – quase 13% das vezes. Como Wessel, eles copiaram o número errado ou interpretaram mal um valor em um papel. Wessel ficou tão intrigado com isso que fez uma análise para ver qual a probabilidade de duas pessoas cometerem exatamente o mesmo erro em qualquer um dos papéis que examinaram. Ele descobriu que havia mais de 50% de chance de que isso acontecesse em algum momento nos 241 artigos.

A Natureza dos Erros Científicos

Erros Comuns e Seus Impactos

Erros na ciência podem surgir de várias formas: cópia errada de valores, falhas na codificação, ou omissões de dados. Embora muitos erros sejam benignos, alguns podem alterar significativamente as conclusões de um estudo, impactando decisões políticas, direções de pesquisa e alocação de recursos.

Os erros de Reinhart e Rogoff, por exemplo, tiveram um impacto substancial nas políticas de austeridade adotadas por vários governos. A exclusão de dados de cinco países em sua análise levou a uma conclusão exagerada sobre o impacto da dívida pública no crescimento econômico. Quando esse erro foi corrigido, a relação entre dívida e PIB ainda existia, mas os efeitos da dívida elevada eram mais sutis do que o drástico precipício inicialmente sugerido.

Falhas no Processo de Revisão por Pares

A revisão por pares, o padrão ouro da validação científica, tem suas limitações. Revisores geralmente não têm acesso aos dados brutos ou ao código fonte dos estudos, limitando sua capacidade de detectar erros. Além disso, a pressão para publicar e o desejo de encontrar resultados significativos podem levar à negligência ou mesmo ao encobrimento de erros.

Um problema significativo é que os revisores normalmente não verificam erros e, na maioria dos casos, não têm acesso aos dados brutos ou ao código necessário para detectar esses erros. Isso significa que muitos erros passam despercebidos durante o processo de revisão por pares, acabando por ser descobertos apenas depois que os artigos são publicados e outros pesquisadores tentam replicar os resultados.

Mudando a Cultura Científica

A Importância da Transparência

Para reduzir erros na ciência, é crucial aumentar a transparência. Assim como em outras áreas críticas, como a aviação ou a medicina, onde erros são discutidos abertamente para prevenir futuros problemas, a ciência também deve adotar uma abordagem semelhante. Reuniões periódicas para discutir erros encontrados em pesquisas poderiam ser um passo significativo nessa direção.

A transparência pode ser promovida de várias maneiras. Uma delas é a prática de dados abertos, onde os dados brutos de estudos são disponibilizados publicamente. Isso permite que outros pesquisadores revisem os dados e verifiquem se as conclusões dos estudos são válidas. Outra abordagem é a publicação de pré-registros de estudos, onde os pesquisadores descrevem seus métodos e hipóteses antes de coletar dados, reduzindo a possibilidade de manipulação dos resultados.

Incentivos para a Detecção de Erros

Brian Nosek, diretor executivo do Center for Open Science (COS), argumenta que a detecção de erros deve ser incentivada como um meio de avanço na carreira. O COS está atualmente colaborando com o ERROR para tornar a publicação científica mais rigorosa e transparente. Este movimento pode encorajar mais cientistas a submeterem seus trabalhos à revisão rigorosa e aumentarem a qualidade geral da pesquisa publicada.

Incentivar a detecção de erros pode ser feito de várias maneiras. Além de recompensas financeiras, como no projeto ERROR, os cientistas podem ser incentivados a corrigir seus próprios erros e os de outros através de reconhecimento acadêmico e oportunidades de publicação. Isso pode ajudar a criar uma cultura onde a correção de erros é vista como uma parte valiosa e necessária do processo científico.

Desafios e Limitações

A Relutância dos Pesquisadores

Apesar dos benefícios potenciais, muitos pesquisadores ainda são relutantes em participar de iniciativas como o ERROR. Malte Elson estima que apenas um quarto a um terço dos pesquisadores convidados respondem positivamente. A possibilidade de expor erros pode ser intimidante, especialmente em um ambiente onde a reputação é crucial.

A relutância dos pesquisadores pode ser compreendida, mas também é um obstáculo significativo para o sucesso de iniciativas como o ERROR. Para superar essa barreira, é importante criar um ambiente onde a detecção e correção de erros sejam vistas como um sinal de rigor científico e não como uma falha pessoal. Isso pode ser alcançado através de campanhas de conscientização, workshops e treinamentos que enfatizem a importância da transparência e da correção de erros na ciência.

A Necessidade de Dados Abertos

O acesso aos dados é essencial para a verificação eficaz de erros. No caso de Reinhart e Rogoff, os erros foram descobertos apenas porque eles compartilharam suas planilhas de dados. Promover a cultura de dados abertos, onde os dados brutos de pesquisas são disponibilizados publicamente, pode facilitar a detecção de erros e aumentar a confiança na ciência.

No entanto, a implementação de políticas de dados abertos enfrenta desafios. Muitas instituições e pesquisadores estão relutantes em compartilhar seus dados devido a preocupações com a privacidade, a propriedade intelectual e a possibilidade de má interpretação dos dados. Para superar esses desafios, é necessário desenvolver políticas e práticas que garantam a segurança e a integridade dos dados compartilhados, além de educar os pesquisadores sobre os benefícios dos dados abertos.

O projeto ERROR representa um passo significativo na direção certa para a ciência. Ao incentivar a detecção de erros e promover a transparência, ele pode ajudar a melhorar a qualidade da pesquisa científica e a confiança pública na ciência. No entanto, para que essa iniciativa tenha sucesso, é necessário um esforço conjunto de revistas científicas, universidades, financiadores e dos próprios pesquisadores. A mudança cultural é lenta, mas essencial. Como Ian Hussey, colega de Elson, diz: “É preciso dar às pessoas permissão e incentivo para pensarem, em primeiro lugar, que podem existir erros.” Somente então podemos esperar um futuro onde a correção de erros não seja apenas uma possibilidade, mas uma prática padrão na ciência.

A Importância do Projeto ERROR no Cenário Atual

Encorajando a Responsabilidade

Iniciativas como o projeto ERROR não apenas detectam erros, mas também incentivam uma cultura de responsabilidade e integridade na ciência. Os pesquisadores são motivados a revisar meticulosamente seus próprios trabalhos e os de seus colegas, sabendo que a precisão é altamente valorizada e recompensada.

Melhorando a Confiança Pública

Em um momento em que a confiança pública na ciência é mais crucial do que nunca, garantir que as pesquisas publicadas sejam rigorosamente verificadas e precisas pode ajudar a restaurar e fortalecer essa confiança. Quando o público vê que a comunidade científica está comprometida com a transparência e a correção de erros, a credibilidade das descobertas científicas aumenta.

O Futuro da Verificação de Erros

A longo prazo, o projeto ERROR pode servir como um modelo para outras disciplinas e áreas de pesquisa. À medida que mais instituições adotam práticas semelhantes, a detecção e correção de erros pode se tornar uma parte integral do processo científico, beneficiando não apenas a comunidade acadêmica, mas também a sociedade como um todo.

Conclusão

A ciência, como qualquer outra empreitada humana, está sujeita a erros. No entanto, a diferença crucial é como esses erros são tratados. O projeto ERROR demonstra que, com a abordagem correta, é possível identificar, corrigir e aprender com esses erros, tornando a ciência mais robusta e confiável. À medida que mais pesquisadores, instituições e financiadores reconhecem a importância da verificação de erros, podemos esperar uma era de maior transparência e rigor na pesquisa científica. E, afinal, a ciência só avança verdadeiramente quando estamos dispostos a admitir nossos erros e aprender com eles.