Imperial College London: pseudo-ciência, modelos de computador rachados e encobrimento

Uma troca fascinante ocorreu na Câmara dos Lordes do Reino Unido em 2 de junho de 2020. Neil Ferguson, o físico do Imperial College London que criou o principal modelo de epidemiologia por trás dos bloqueios, enfrentou seu primeiro questionamento sério sobre o desempenho preditivo de seu trabalho.

Ferguson previu um número catastrófico de mortes em 16 de março de 2020, a menos que os governos ao redor do mundo adotassem seu conjunto preferido de intervenções não farmacêuticas (NPIs) para evitar a pandemia. A maioria dos países seguiu seu conselho, principalmente depois que os governos do Reino Unido e dos Estados Unidos invocaram explicitamente seu relatório como justificativa para bloqueios.

A equipe de Ferguson no Imperial logo reivindicar crédito por salvar milhões de vidas por meio dessas políticas - um número a que chegaram através de um exercício ridiculamente não científico onde eles pretendiam validar seu modelo usando suas próprias projeções hipotéticas como um contrafactual do que aconteceria sem bloqueios. Mas a audiência de junho no Parlamento chamou a atenção para outro teste do mundo real da modelagem da equipe Imperial, este baseado em evidências reais.

Enquanto a Europa descia para a primeira rodada de sua experiência, agora de um ano, com restrições de abrigos no local, a Suécia notoriamente se esquivou da estratégia recomendada por Ferguson. Ao fazer isso, eles também criaram as condições de um experimento natural para ver como seus números de coronavírus se desempenhavam em relação aos modelos de epidemiologia. Embora Ferguson originalmente tenha limitado seu escopo aos Estados Unidos e Reino Unido, uma equipe de pesquisadores da Universidade de Uppsala, na Suécia pegou emprestado seu modelo e o adaptou para o seu país com projeções catastróficas semelhantes. Se a Suécia não fechasse até meados de abril, projetou a equipe de Uppsala, o país logo experimentaria 96,000 mortes por coronavírus.

Eu estava uma das primeiras pessoas a chamar a atenção para o Adaptação de Uppsala do modelo de Ferguson em 30 de abril de 2020. Mesmo naquela data inicial, o modelo deu sinais claros de vacilar. Embora a Suécia tenha sido duramente atingida pelo vírus, seu número de mortos foi de apenas alguns milhares em um ponto onde a adaptação do modelo de Ferguson já esperava dezenas de milhares. Na marca de um ano, a Suécia teve um pouco mais de 13,000 mortes de Covid-19 - um número sério, mas menor em uma base per capita do que muitos estados europeus de bloqueio e muito longe das 96,000 mortes projetadas pela adaptação de Uppsala.

A implicação para o trabalho de Ferguson permanece clara: o modelo primário usado para justificar bloqueios falhou em seu primeiro teste do mundo real.

Na audiência da Câmara dos Lordes do ano passado, membro conservador Visconde Ridley grelhou Ferguson sobre a adaptação sueca de seu modelo: “A Universidade de Uppsala pegou o modelo do Imperial College - ou um deles - e o adaptou para a Suécia e previu mortes na Suécia de mais de 90,000 até o final de maio se não houvesse bloqueio e 40,000 se um completo o bloqueio foi imposto. ” Com essas disparidades extremas entre as projeções e a realidade, como a equipe Imperial poderia continuar a orientar a política por meio de sua modelagem?

Ferguson retrucou, negando qualquer conexão com os resultados suecos: “Em primeiro lugar, eles não usaram nosso modelo. Eles desenvolveram um modelo próprio. Não tivemos nenhum papel em parametrizá-lo. Geralmente, o aspecto principal da modelagem é quão bem você a parametriza em relação aos dados disponíveis. Mas, para ficar absolutamente claro, eles não usaram nosso modelo, não adaptaram nosso modelo. ”

O modelador do Imperial College não ofereceu nenhuma evidência de que a equipe de Uppsala cometeu um erro na aplicação de sua abordagem. O versão desde a publicação da equipe de Uppsala deixa absolutamente claro que eles construíram a adaptação sueca diretamente do modelo britânico da Imperial. “Usamos um modelo baseado em agente individual baseado na estrutura publicada por Ferguson e colegas de trabalho que reimplementamos” para a Suécia, explicam os autores. Eles também reconheceram que suas projeções modeladas excederam em muito os resultados observados, embora atribuam as diferenças de forma um tanto questionável a mudanças comportamentais voluntárias, e não a uma falha no design do modelo.

A equipe de Ferguson, no entanto, tentou agressivamente se dissociar da adaptação de Uppsala de seu trabalho. Depois que o UK Spectator chamou a atenção para os resultados da Suécia na primavera passada, Imperial College tweetou que “O professor Ferguson e a equipe de resposta Imperial COVID-19 nunca estimaram 40,000 ou 100,000 mortes suecas. O trabalho de Imperial está sendo confundido com o de um grupo totalmente separado de pesquisadores ”. É um desvio que Ferguson e seus defensores repetiram muitas vezes desde então.

No entanto, ao que parece, Ferguson e a equipe do Imperial College estavam sendo menos do que verdadeiros em suas tentativas de se dissociar dos resultados observados da Suécia. Nas semanas seguintes ao lançamento de suas conhecidas projeções para os EUA e Reino Unido, Ferguson e sua equipe produziram de fato uma versão reduzida de seu próprio exercício de modelagem para o resto do mundo, incluindo a Suécia. Eles não divulgaram amplamente as projeções em nível de país, mas a lista completa pode ser encontrada enterrada em um Microsoft Excel arquivo de apêndice ao Relatório # 12 do Imperial College, lançado em 26 de março de 2020.

Os resultados projetados da própria Imperial para a Suécia são quase idênticos à adaptação de Uppsala de seu modelo do Reino Unido. A equipe de Ferguson previu até 90,157 mortes sob a propagação “não mitigada” (em comparação com os 96,000 de Uppsala). No cenário de “distanciamento social no nível da população”, que visa aproximar as medidas de mitigação de NPI, como bloqueios, os modeladores imperiais previram que a Suécia incorreria em até 42,473 mortes (em comparação com 40,000 da adaptação de Uppsala).

A equipe Imperial não especificou o momento exato em que esperava que a Suécia atingisse o pico de seu surto. Podemos razoavelmente inferir isso, embora de seus modelo anterior dos EUA e Reino Unido, que antecipou o “pico da mortalidade (mortes diárias) após aproximadamente 3 meses” após o surto inicial. Isso colocaria o número máximo de mortes diárias na Suécia em meados de junho, ou quase exatamente no mesmo período de adaptação da equipe de Uppsala.

Figura I: Modelo do Imperial College para a Suécia, 26 de março de 2020

Acontece que a linha de questionamento do visconde Ridley estava correta o tempo todo. A adaptação do modelo de Ferguson em Uppsala não apenas projetou um número exagerado de mortes na Suécia. As próprias projeções de Ferguson para a Suécia avançaram números semelhantes, todos totalmente errados pelo que aconteceu.

O modelo multinacional do Imperial College usou suas projeções anteriores e mais famosas para os EUA e o Reino Unido para reivindicar a validade de seu conjunto mais amplo de extrapolações internacionais. Como a equipe de Ferguson escreveu em 26 de março de 2020: “Nosso impacto estimado de um cenário não mitigado no Reino Unido e nos EUA para um número de reprodução, R0, de 2.4 (490,000 mortes e 2,180,000 mortes respectivamente) se aproxima dos cenários equivalentes usando microssimulações mais sofisticadas (510,000 e 2,200,000 mortes respectivamente) ”que eles divulgaram algumas semanas antes. Se as projeções da Imperial nos EUA e no Reino Unido coincidissem, uma validade semelhante poderia ser inferida para os outros países modelados no relatório multinacional.

A equipe do Imperial College se dedicou totalmente a seu modelo multinacional para orientar as políticas. Eles exortaram outros países a adotar bloqueios e NPIs relacionados para reduzir o número de mortos projetado do cenário "não mitigado" para o "distanciamento social". Como Ferguson e seus colegas escreveram na época, “[para] ajudar a informar as estratégias dos países nas próximas semanas, fornecemos aqui estatísticas resumidas do impacto potencial das estratégias de mitigação e supressão em todos os países do mundo. Isso ilustra a necessidade de agir logo e o impacto que o fracasso em fazê-lo provavelmente terá nos sistemas de saúde locais. ”

A omissão de ação, eles continuaram, levaria a uma catástrofe quase certa. Como Ferguson e sua equipe escreveram, “[as] únicas abordagens que podem evitar a falha do sistema de saúde nos próximos meses são provavelmente as medidas intensivas de distanciamento social atualmente sendo implementadas em muitos dos países mais afetados, de preferência combinadas com altos níveis de testando. ” Em suma, o mundo precisava entrar em bloqueio imediato para evitar as catástrofes previstas por seu modelo multinacional.

(Nota: Imperial College também incluiu um terceiro cenário de mitigação possível para medidas mais rigorosas no topo de NPIs da população em geral, visando isolar ainda mais idosos e pessoas vulneráveis, projetando que poderia reduzir o número da Suécia para entre 16,192 e 33,878. Eles modelaram ainda um quarto possível “ supressão ”que consiste em um bloqueio severo que reduziria os contatos humanos em 75% durante a pandemia e os manteria por um ano ou mais até que a vacinação em toda a população fosse alcançada. Previa 14,518 mortes. A Suécia claramente não adotou nenhum dos dois essas abordagens).

Um ano depois, podemos agora olhar para trás para ver o desempenho das projeções internacionais do Imperial College, prestando mais atenção ao pequeno número de países que contrariaram suas recomendações de bloqueio. Os resultados não são bonitos para Ferguson e apontam para um padrão claro de modelagem que sistematicamente exagerou o número de mortes projetado de Covid-19 na ausência de bloqueios e NPIs relacionados.

A Figura II compara as projeções do modelo do Imperial College para seu cenário de “distanciamento social” e “não mitigado” com os resultados reais no período de um ano após seu lançamento. Essas projeções refletem uma taxa de replicação assumida (R0) de 2.4 - o cenário mais conservador que eles consideraram, o que significa que a faixa superior de projeções da Imperial antecipou um número de mortos substancialmente mais alto. Os países examinados aqui - Suécia, Taiwan, Japão e Coréia do Sul - são distintos por evitar bloqueios e restrições de NPI agressivas semelhantes ou por confiar neles em um escopo muito mais limitado do que o Imperial College aconselhou. Os Estados Unidos, onde 43 dos 50 estados adotaram bloqueios de alguma forma, também estão incluídos para comparação.

Leia a história completa aqui…