Forskere advarer om undervurdert usikkerhet i akademiske funn

Darya Yuferova_Folkestad
Darya Yuferova er førsteamanuensis ved Institutt for finans ved NHH. Hun er en av over 300 medforfattere på en artikkel publisert i det prestisjetunge tidsskriftet Journal of Finance i juni 2024. Foto: Sigrid Folkestad
Av Sigrid Folkestad

14. oktober 2024 08:00

(oppdatert: 14. oktober 2024 09:02)

Forskere advarer om undervurdert usikkerhet i akademiske funn

En banebrytende studie med bidrag fra over 300 forskere viser at akademikere ofte undervurderer usikkerheten i sine funn.

Førsteamanuensis Darya Yuferova ved Institutt for finans, NHH.
Førsteamanuensis Darya Yuferova ved Institutt for finans, NHH. Foto: Sigrid Folkestad

– Variasjonen i de valgene forskerne tar underveis kan føre til betydelige ikke-standardiserte feil, bemerker Darya Yuferova ved NHH.

Første innen finans

Darya Yuferova er førsteamanuensis ved Institutt for finans ved NHH. Hun er en av over 300 medforfattere på en artikkel publisert i det prestisjetunge tidsskriftet Journal of Finance i juni 2024.

Denne typen forskningsprosjekt, hvor mange team fra hele verden jobber sammen, er ganske nytt.

– Og prosjektet er det første eksperimentet innen finans som systematisk studerer variasjonen i forskernes estimater, sier Yuferova.

164 forskerteam

Artikkelen Nonstandard Errors undersøker variasjonen i forskningsresultater på grunn av forskjeller i forskernes analyseveier. Dette blir kalt ikke-standardiserte feil (NSEer). Denne variasjonen oppstår når ulike forskere bruker det samme datasettet og tester de samme hypotesene, men velger ulike metoder eller analyseveier.

Usikkerhet i akademiske funn

  • Artikkelen Nonstandard Errors ble publisert i  Journal of Finance i juni 2024.
  • NHHs finansforsker Darya Yuferova er én av over 300 forskere som står bak den unike studien.
  • Darya Yuferovas forskningsinteresser inkluderer felt som finansmarkeder, verdsettelse av eiendeler og «behavioral finance». Hun har publisert i ledende akademiske tidsskrifter som Management Science, Journal of Finance og Journal of Financial Markets.

– Prosjektkoordinatorene gjennomførte et eksperiment med 164 forskerteam og 34 team med forskere som gjorde fagfellevurdering. Hver fagfellevurderings-team evaluerte rundt 10 artikler, sier NHH-forskeren.

Alle forskerteamene analyserte identiske datasett – som spenner over 17 år – fra Deutsche Börse (av EuroStoxx 50-indeksfutures). Disse er noen av de mest aktivt omsatte finansielle instrumentene i Europa. Teamene fikk i oppgave å teste de samme hypotesene angående trender i egenskaper ved finansmarkedet for disse instrumentene.

Direkte sammenligning

– Dette tillot oss å direkte sammenlikne resultatene fra forskerteamene og se hvor mye funnene varierte, selv om vi alle brukte det samme datasettet og testet de samme hypotesene.

Når forskere tester hypoteser, må de ta mange beslutninger, som å velge tiltak for å håndtere avvik og å velge statistiske modeller, forklarer Yuferova.

monica beeder_sigrid folkestad

Ny avhandling om konflikt og etniske spenninger

Monica Beeder disputerer for PhD-graden ved NHH 22. oktober 2024 med avhandlingen «Three essays on conflict and ethnic tensions».

– Hvis forskere ikke tar de samme beslutningene, kan resultatene variere mye, noe som øker usikkerheten i de akademiske funnene.

Forskerne fant betydelige NSEer selv for enkle hypoteser (dvs. hypoteser som krever færre valg fra forskerne). For eksempel viste en hypotese en NSE på 1,2 prosent rundt et medianestimat på -3,3 prosent. En mer kompleks og abstrakt hypotese hadde en NSE på 6,7 prosent rundt et medianestimat på -1,1 prosent. De fant også at artikler med høyere kvalitet (etter fagfellevurdering) hadde mindre NSEer.

Det er bekymringsfullt at ikke-standardiserte feil, eller NSEer, er så store i akademiske funn.

Darya Yuferova

Valg påvirker

Mange av valgene forskere gjør kan påvirke resultatene deres – spesielt ting som datafrekvens og valg av statistiske modeller.

– Det er bekymringsfullt at ikke-standardiserte feil, eller NSEer, er så store i akademiske funn. Men den gode nyheten er at tilbakemeldinger fra fagfellevurdering kan halvere disse NSEene, slik vi viser i vår artikkel. Dette funnet understreker på nytt viktigheten av fagfellevurdering i publiseringsprosessen, konkluderer Yuferova.

To kvinnelige NHH-alumni vant stipend

Idé til cruiseturisme-app vant Lehmkuhlstipendet

Nikoline Valaker og Adna Alibasic sin masteroppgave er "nyskapende og tar sikte på å løse et praktisk problem", heter det i komiteens uttalelse.