I et nyt studie publiceret i Nationaløkonomisk Tidsskrift leverer IRES’ direktør, Jonas Herby, en grundig metodisk kritik af studier, der anvender Synthetic Control Method (SCM) til at konkludere, at Sverige ville have haft lavere COVID-19-dødelighed, hvis landet havde indført en nedlukning i foråret 2020. Studiet viser, at disse konklusioner er stærkt afhængige af metodiske valg og i mange tilfælde ikke kan tolkes som kausale effekter af nedlukninger.

Artiklen analyserer både de kortsigtede og langsigtede effekter af en hypotetisk svensk nedlukning og demonstrerer, at SCM i denne sammenhæng har alvorlige begrænsninger – især fordi metoden ikke er i stand til at håndtere forskelle i smittespredning før nedlukningerne blev indført.

De centrale resultater og konklusioner kan opsummeres således:

SCM-estimaterne bygger på meget korte og utilstrækkelige præ-perioder.
De fleste eksisterende studier anvender kun få ugers data før nedlukningerne som grundlag for at konstruere den syntetiske kontrol. Studiet viser, at så korte præ-perioder er langt fra tilstrækkelige til at balancere uobserverede og tidsvarierende faktorer – især den faktiske smittespredning før politiske indgreb.

Ved at udnytte variation i tidspunktet for vinterferier – som tidligere forskning har vist havde stor betydning for den tidlige smittespredning i Europa – dokumenterer studiet, at SCM i høj grad opfanger, hvornår COVID-19 ramte forskellige dele af samfundet, snarere end effekten af nedlukninger som sådan.

Identiske politikker giver vidt forskellige “effekter”.
Sverige opdeles i fire hypotetiske “lande” baseret på vinterferiernes timing. På trods af ensartet politik finder SCM meget forskellige effekter af en hypotetisk nedlukning på tværs af disse regioner. Det indikerer, at metoden reagerer på støj og forskelle i tidlig smittespredning – ikke på forskelle i politik.

Identiske politikker giver vidt forskellige “effekter”.
Studiet peger også på en række supplerende problemer i den eksisterende SCM-litteratur. For det første kritiseres det snævre fokus på kortsigtede effekter. De svenske sundhedsmyndigheder lagde fra starten vægt på en langsigtet strategi, men mange studier evaluerer udelukkende effekten få uger eller måneder efter foråret 2020. Når analysen i det nye studie udvides til sommeren 2021, skifter den estimerede effekt fortegn: Hvor SCM på kort sigt finder en moderat reduktion i dødelighed – på niveau med tidligere studier – er en hypotetisk nedlukning på længere sigt forbundet med højere samlet dødelighed. Ingen af disse effekter er dog statistisk signifikante, hvilket yderligere understreger usikkerheden i resultaterne.

For det andet dokumenterer studiet, at flere SCM-analyser rapporterer biologisk urealistiske effekter. I nogle tilfælde findes markante reduktioner i dødelighed næsten umiddelbart efter en hypotetisk nedlukning, selvom der ifølge sygdommens kendte forløb går flere uger fra smitte til eventuel død. Sådanne resultater peger på alvorlig modelspecifikation snarere end reelle politiske effekter.

Derudover påvises væsentlige problemer med den statistiske inferens. Ved brug af donor-placebo-tests viser studiet, at de estimerede effekter for Sverige ofte ikke adskiller sig nævneværdigt fra placebo-effekter i kontrol-landene. Det indebærer, at mange af de rapporterede resultater ikke kan betragtes som statistisk robuste, selv når de præsenteres som markante effekter.

Endelig fremhæver studiet, at SCM-litteraturen er præget af selektionsbias. Forskningen fokuserer i uforholdsmæssig grad på lande og regioner, der blev tidligt og hårdt ramt af pandemien – herunder Sverige, Italien og visse amerikanske delstater. Netop i disse tilfælde er SCM særligt sårbar over for tidlige pandemiske chok, hvilket øger risikoen for, at metoden forveksler smittetiming og tilfældige udsving med effekten af politiske indgreb.

Overordnet konklusion

Studiet konkluderer, at Synthetic Control Method i sin nuværende anvendelse er fundamentalt uegnet til at identificere kausale effekter af nedlukninger i den tidlige fase af COVID-19-pandemien. De markante effekter, der ofte rapporteres i litteraturen, afspejler ikke nødvendigvis liv reddet af politik, men snarere metodiske artefakter, utilstrækkelig modelbalancering og forskelle i smittetiming. Artiklen fungerer dermed som en bredere advarsel mod at anvende avancerede kausale metoder uden at opfylde deres grundlæggende datakrav – både i pandemiforskning og i policy-analyser generelt.

Studiet kan læses her.