Statistisk signifikans er et begrep som brukes i forskning for å beskrive hvor sannsynlig det er at en forskjell eller en sammenheng som er observert i data, er reell og ikke bare skyldes tilfeldigheter. Når en forskjell eller en sammenheng er statistisk signifikant, kan man si at forskjellen eller sammenhengen ikke kan forklares av tilfeldigheter, og derfor er det sannsynlig at forskjellen eller sammenhengen er reell.
Statistisk signifikans brukes for å avgjøre om resultatet i en studie er av betydning eller ikke. Hvis resultatet er statistisk signifikant, kan man trekke konklusjoner om hvorvidt det finnes en reell forskjell mellom ulike grupper, eller om en sammenheng mellom variabler er reell.
For å avgjøre om en forskjell eller en sammenheng er statistisk signifikant, bruker man p-verdien. P-verdien er et mål på hvor sannsynlig det er at observasjonen skyldes tilfeldigheter, og den beregnes ved å sammenligne resultatet fra studien med hva man ville forvente å se dersom alle forutsetningene for studien er sanne. P-verdien er et prosenttall og angir hvor sannsynlig det er at nullhypotesen er sann. Nullhypotesen sier at det ikke finnes noen forskjell, eller at det ikke finnes noen sammenheng. Som regel bruker man en grense på 5% for å avgjøre om et funn er statistisk signifikant. Hvis p-verdien er lavere enn 5%, betyr det at det er en svært liten sannsynlighet (<5%) for at observasjonen skyldes tilfeldigheter, og derfor er den statistisk signifikant (dermed forkastes nullhypotesen). Hvis p-verdien er 5% eller høyere (≥5%), kan observasjonen skyldes tilfeldigheter, og derfor beholdes nullhypotesen.
Eksempel: Anta at man gjennomfører en studie for å undersøke om det finnes en korrelasjon mellom å spise frokost og å prestere bedre på en skoleprøve. Man samler inn data fra 100 elever og sammenligner prøveresultatene mellom elevene som spiser frokost, og elevene som ikke gjør det. Etter å ha analysert dataene oppdager man at elevene som spiser frokost, presterer betydelig bedre på prøver enn de som ikke spiser frokost. Man beregner deretter p-verdien for å se om resultatet er statistisk signifikant. Hvis p-verdien er lavere enn 5%, kan man si at det finnes en statistisk signifikant korrelasjon mellom å spise frokost og å prestere bedre på prøver.
Nullhypotese
Nullhypotesen er den hypotesen man undersøker i en statistisk analyse, og som sier at det ikke finnes noen forskjell eller korrelasjon mellom variablene man undersøker. Nullhypotesen brukes som et utgangspunkt for å avgjøre om det finnes en statistisk signifikant forskjell eller korrelasjon mellom variablene, og man forsøker å bevise at nullhypotesen er feil ved å samle inn data og utføre statistiske tester.
Nullhypotesen betegnes . Den alternative hypotesen sier at det finnes en forskjell mellom gruppene, og den betegnes .
Eksempel: La oss si at man vil undersøke om det finnes en korrelasjon mellom å spise frokost og å prestere bedre på en skoleprøve. Nullhypotesen i dette eksemplet kan formuleres slik: "Det finnes ingen korrelasjon mellom å spise frokost og å prestere bedre på en skoleprøve." Man samler inn data fra 100 elever og utfører statistiske tester for å avgjøre om nullhypotesen er riktig eller ikke. Hvis man finner en statistisk signifikant korrelasjon mellom å spise frokost og å prestere bedre på prøver, kan man forkaste nullhypotesen og si at det finnes en reell korrelasjon mellom de to variablene.
Multippel testing
Multippel testing, også kalt "multiple comparisons" eller "multiple testing", innebærer at man utfører flere statistiske tester på de samme dataene for å undersøke om det finnes forskjeller eller korrelasjoner mellom ulike variabler. Når man utfører multippel testing, øker risikoen for såkalte falskt positive resultater, det vil si at man feilaktig konstaterer at det finnes en signifikant forskjell eller korrelasjon mellom variablene, selv om det ikke gjør det.
Det finnes ulike grunner til at multippel testing kan være et problem. En grunn er at man ofte vil undersøke mange ulike forhold eller sammenhenger i én og samme studie, og da øker risikoen for at man støter på falskt positive resultater. Et annet problem er at man kan bli villedet til å tolke resultater som statistisk signifikante bare fordi man har utført mange tester, selv om resultatet egentlig ikke er signifikant.
For å unngå problemet med multippel testing finnes det ulike teknikker man kan bruke, for eksempel Bonferroni-korreksjon og False Discovery Rate (FDR). Disse teknikkene brukes for å heve terskelverdien for p-verdien, slik at man reduserer risikoen for falskt positive resultater. Det er viktig å være oppmerksom på risikoen for falskt positive resultater når man utfører multippel testing, og å bruke egnede teknikker for å håndtere dette problemet.