Når rett blir galt og galt blir rett
Det går an å finne vitenskapelig støtte for omtrent hva som helst.
Statistikk er til tider infamt vanskelig å tolke. Politikere og journalister skal være unnskyldt, for misforståelser og feiltolkninger florerer også blant forskere, iblant på høyt internasjonalt nivå.
Begrepet «alternative facts» brukes mye i media for tiden, ofte med rette. Men hvem kan i dag vite noe sikkert om hva som er rett? Rett eller galt i vitenskap kan ikke være en demokratisk beslutning, der flertallet har rett mens mindretallet tar feil.
Mange spaltekilometre har blitt brukt til å forklare hvordan Trump kunne vinne valget. En av de mest anerkjente målingene anslo at sjansen for Clinton seier var 80 prosent, og med slike odds måtte det jo gå bra!
Tilfeldigheter påvirker
Slik gikk det ikke, og media konstaterte at statistikerne tok feil. Som ivrig Ludo-spiller har jeg imidlertid opplevd å slå 6-ere en rekke ganger. Det er slett ikke umulig, selv om oddsen er mindre enn 20 prosent. Jeg har ikke sett noe behov for å forklare denne flaksen. Tilfeldigheter påvirker viktige begivenheter i langt større grad enn vi liker å tro.
Etter den siste PISA-undersøkelsen gikk norske politikere og redaktører mann av huse for å gratulere norske lærene med godt utført arbeid. Fullt fortjent hvis du spør meg, men begrunnelsen var heller tynn; alle de tre indeksene pekte opp, og det kunne jo ikke være tilfeldig!
Tja, undersøkelsen ble gjennomført for sjette gang. Hvis det er det rent tilfeldig hvilken retning indeksene peker, er sjansen for at dette ikke skulle skje minst en av gangene, omtrent 50 prosent.
Falske positiver
Det er ikke bare avisredaksjoner som flommer over av innlegg. De mest anerkjente vitenskapelige tidskriftene mottar flere tusen artikler årlig, og mer enn 95 prosent blir refusert. Det er naturligat tidsskriftene prioriterer uvanlige og overraskende funn, men praksis har en slagside som er i ferd med å velte hele systemet. Hvis mange ulike forskningsgrupper undersøker et tiltak som ikke har effekt, vil tilfeldigheter i data føre til at enkelte grupper likevel finner effekt. Dette skyldes ikke feil eller dårlig praksis, men er en generell svakhet ved de fleste statistiske undersøkelser. Problemet er at de gruppene som finner effekt, langt hyppigere får innpass.
Enkelte undersøkelser antyder at så mye som 50 prosent av alle artikler i medisinske tidskrift er såkalte falske positiver. En falsk positiv er i denne sammenhengen en behandling som ikke virker, men der forskerne ved en tilfeldighet har fått data som viser det motsatte.
Tallet 50 prosent virker høyt, men problemet stikker dypt selv om det skulle være en god del lavere. Medisinerne er forbilledlige i sin bruk av statistikk og tar dette problemet på alvor. Men hvis dette er et problem hos dem, hvor mye verre kan det da ikke være i andre fag som ikke har tilsvarende etablerte rutiner?
Vitenskapens analogi til doping
Å gjenta forsøk inntil en finner effekt, er vitenskapens analogi til doping. Det er alvorlig vitenskapelig fusk, men vanskelig å oppdage. De fleste forskere vil styre unna, men mange vil ubevisst gjøre den samme feilen.
Det er vanlig at forskere leter etter interessante effekter i sine data, for så å bruke statistiske tester til å bekrefte at funnet er interessant. Letingen skaper imidlertid ubevisste gjentakelser, og det gjør at mange statistiske tester slett ikke fungerer.
Skal en slik fremgangsmåte være gyldig, må testene normalt gjennomføres på et helt nytt datasett. Uventede effekter som blir skapt slik, finner lett veien til de beste tidskriftene, og gjør at problemet med falske positiver blir ytterligere forverret.
Matematikere og statistikere er langt mer bevisste på disse fagenes begrensninger enn alle andre, og min overlevelsesstrategi er å anta at alt som virker å stride mot sunn fornuft sannsynligvis er feil. For egen del konstaterer jeg at det i mange viktige sammenhenger råder full forvirring, og at det tilsynelatende går an å finne vitenskapelig støtte for omtrent hva som helst.
Kronikken var på trykk i Bergens Tidende 3. juni