Nota TN: Uma análise observadora e crítica do estado da ciência revela indiretamente a fonte do erro na falsa ciência, como aquela associada ao aquecimento global. A última frase é uma boa conclusão: “Os maiores amigos do Culto da Ciência são os piores inimigos da prática real da ciência.”
O problema com a ciência é que grande parte dela simplesmente não é. No verão passado, a Open Science Collaboration anunciou que havia tentado replicar cem experimentos de psicologia publicados, amostrados em três dos periódicos de maior prestígio no campo. As alegações científicas baseiam-se na ideia de que experimentos repetidos sob condições quase idênticas deveriam produzir aproximadamente os mesmos resultados, mas até muito recentemente, muito poucos se preocupavam em verificar de maneira sistemática se esse era realmente o caso. O OSC foi a maior tentativa de verificar os resultados de um campo e a mais chocante. Em muitos casos, eles usaram materiais experimentais originais e, às vezes, até realizaram os experimentos sob a orientação dos pesquisadores originais. Dos estudos que originalmente relataram resultados positivos, um percentual surpreendente do 65 não mostrou significância estatística na replicação, e muitos dos demais mostraram tamanhos de efeito bastante reduzidos.
Suas descobertas foram notícia e rapidamente se tornaram um clube com o qual se basear as ciências sociais. Mas o problema não é apenas com a psicologia. Existe uma regra tácita na indústria farmacêutica de que metade de toda pesquisa biomédica acadêmica acabará sendo falsa, e no 2011 um grupo de pesquisadores da Bayer decidiu testá-la. Olhando para sessenta e sete projetos recentes de descoberta de medicamentos baseados em pesquisas pré-clínicas de biologia do câncer, eles descobriram que em mais de 75 por cento dos casos, os dados publicados não coincidiam com as tentativas internas de replicação. Estes não foram estudos publicados em revistas de oncologia fly-by-night, mas pesquisas de grande sucesso publicadas em Science, Nature, Cell e similares. Os pesquisadores da Bayer estavam se afogando em maus estudos, e foi a isso, em parte, que eles atribuíram os rendimentos misteriosamente decrescentes dos oleodutos. Talvez muitos desses novos medicamentos não surtam efeito porque a pesquisa básica na qual seu desenvolvimento se baseou não é válida.
Quando um estudo falha em replicar, há duas interpretações possíveis. A primeira é que, sem o conhecimento dos investigadores, havia uma diferença real na configuração experimental entre a investigação original e a falha na replicação. Estes são chamados coloquialmente de "efeitos de papel de parede", a piada é que o experimento foi afetado pela cor do papel de parede na sala. Esta é a explicação mais feliz possível para a falha na reprodução: significa que os dois experimentos revelaram fatos sobre o universo, e agora temos a oportunidade de aprender qual era a diferença entre eles e de incorporar uma distinção nova e mais sutil em nossas teorias.
A outra interpretação é que a descoberta original era falsa. Infelizmente, um argumento estatístico engenhoso mostra que essa segunda interpretação é muito mais provável. Articulado pela primeira vez por John Ioannidis, professor da Faculdade de Medicina da Universidade de Stanford, esse argumento procede por uma simples aplicação de estatística bayesiana. Suponha que haja cento e uma pedras em um determinado campo. Um deles tem um diamante dentro dele e, felizmente, você tem um dispositivo de detecção de diamante que anuncia a precisão percentual do 99. Depois de mais ou menos uma hora movendo o dispositivo, examinando cada pedra por sua vez, de repente os alarmes piscam e as sirenes tocam enquanto o dispositivo está apontado para uma pedra de aparência promissora. Qual é a probabilidade de a pedra conter um diamante?
A maioria diria que, se o dispositivo anuncia precisão percentual do 99, existe uma chance percentual do 99 de discernir corretamente um diamante e uma chance percentual do 1 de que ele tenha fornecido uma leitura positiva falsa. Mas considere: Das cento e uma pedras no campo, apenas uma é verdadeiramente um diamante. É verdade que nossa máquina tem uma probabilidade muito alta de declará-la corretamente como um diamante. Mas há muito mais pedras sem diamantes e, embora a máquina tenha apenas uma chance da 1 de declarar falsamente que cada uma delas é um diamante, existem centenas delas. Portanto, se acenássemos com o detector sobre todas as pedras do campo, ele soaria, em média, duas vezes - uma para o diamante real e outra para uma leitura falsa por uma pedra. Se soubermos apenas que o alarme soou, essas duas possibilidades são aproximadamente igualmente prováveis, dando-nos uma chance de aproximadamente 50 de que a pedra realmente contenha um diamante.
Esta é uma versão simplificada do argumento que Ioannidis aplica ao processo da própria ciência. As pedras no campo são o conjunto de todas as hipóteses testáveis possíveis, o diamante é uma conexão ou efeito hipotético que é verdadeiro, e o dispositivo de detecção de diamante é o método científico. Uma quantidade tremenda depende da proporção de hipóteses possíveis que se revelam verdadeiras e da precisão com que um experimento pode discernir a verdade da falsidade. Ioannidis mostra que, para uma ampla variedade de cenários e campos científicos, os valores desses dois parâmetros não são nada favoráveis.
Por exemplo, considere uma equipe de biólogos moleculares investigando se uma mutação em um dos incontáveis milhares de genes humanos está ligada a um risco aumentado de Alzheimer. A probabilidade de uma mutação selecionada aleatoriamente em um gene selecionado aleatoriamente ter exatamente esse efeito é bastante baixa, assim como nas pedras do campo, é mais provável que um achado positivo seja falso - a menos que o experimento seja incrivelmente bem-sucedido na classificação o trigo do joio. De fato, Ioannidis descobre que, em muitos casos, aproximar-se de até um por cento dos verdadeiros positivos da 50 requer precisão inimaginável. Daí o título atraente de seu artigo: "Por que as descobertas de pesquisas mais publicadas são falsas".
wpDiscuz