Forskere som ikke er skolert i matematiske disipliner, er som regel uvante med betydningen av tilfeldighet (randomness) og usikkerhet (uncertainty). Disse to fenomenene har en sentral plass i all forskning og analyse. Å forstå tilfeldighet, usikkerhet og kausalitet (årsakssammenhenger) er avgjørende for den som vil forstå hendelser i et system (f.eks. menneskekroppen).
Et deterministisk system er et system der prosesser kan forutsies med høy presisjon. Systemet kan være biologisk, fysisk, økonomisk eller kjemisk. Mange prosesser som vi ved første øyekast oppfatter som tilfeldige, er faktisk deterministiske. Terningkast er et slikt eksempel. Det er mulig å forutsi med høy presisjon hvilket tall terningen viser dersom man har informasjon om terningens bevegelsesretning og hastighet i det øyeblikket den kastes. For å kunne analysere data og forstå hendelser i et system må vi kjenne til hvilke mekanismer som påvirker systemet.
All models are wrong. Some are useful.
John Tukey
Dette problemet er åpenbart i medisinsk forskning. Den som vurderer kliniske prediksjonsmodeller, vet at selv de mest avanserte modellene har store svakheter og ikke klarer å identifisere sykdomstilfeller hos en betydelig andel av pasientene. Et eksempel der dette er tydelig, er prediksjon av hjertestans. Per i dag finnes det ingen prediksjonsmodell som med høy presisjon kan forutsi om man kommer til å få hjertestans i fremtiden. Forklaringen på dette er at biologiske prosesser er stokastiske, noe som innebærer at det finnes en tilfeldig prosess som påvirker systemet. I eksemplet med prediksjon av hjertestans kan en person få diabetes, høyt blodtrykk og et hjerteinfarkt en tid etter at prediksjonsmodellen er brukt, og da gjelder ikke lenger prediksjonen som ble gjort (personen har nå høyere risiko for hjertestans). Et annet eksempel er blodets evne til å koagulere, som kan variere fra ett minutt til et annet avhengig av indre (f.eks. stress) og ytre (f.eks. eksos) forhold. Biologiske systemer er svært komplekse og vanskelige å predikere, med unntak av monogene sykdommer (dvs. sykdommer der forekomst av en mutasjon som regel fører til sykdomsutvikling).
De fleste prediksjonsmodeller som brukes, beregner modellens usikkerhet. Usikkerheten betegnes gjerne med error (epsilon, ε), som kvantifiserer hvor stor forskjellen er mellom predikerte verdier og observerte verdier.
Det finnes mange årsaker til at prediksjonsmodeller er usikre, for eksempel:
- Biologiske systemer er komplekse, med indre og ytre stokastiske elementer.
- Usikkerhet i data (målefeil, manglende data, osv.).
- Modellen er suboptimal.
Error, bias og varians (variance)
Error er altså modellens prediksjonsfeil, det vil si forskjellen mellom modellens predikerte verdi og den faktiske (observerte) verdien. En god modell gir små error og vice versa. En del av error kan ikke reduseres; dette er den delen av error som forklares av manglende variabler og data. Den delen av error som kan reduseres, kan deles inn i bias og varians (eng. variance).
En god modell lærer seg sammenhengen i treningsdata (som modellen har "sett" under treningen) og predikerer med høy presisjon i testdata (som modellen ikke har "sett" under treningen). Høy bias er ofte et resultat av at modellen er forenklet og ikke klarer å fange sammenhengene i dataene. Det fører til underfitting, dvs. at modellen ikke klarer å predikere verken i treningsdata eller testdata. Enkelte typer modeller er svært fleksible (særlig machine learning) og kan bli svært komplekse, noe som fører til at de predikerer perfekt i treningsdata (lav bias). Dessverre har disse modellene dårligere prediksjon på testdata, noe som innebærer at variansen er høy (overfitting).
Balansen mellom bias og varians er et fundamentalt problem. Modeller med lav bias (dvs. modeller som er gode til å lære seg treningsdata) har vanskeligere for å generalisere til testdata og får dermed høy varians. Den som har arbeidet med prediksjonsmodeller, vet at tiltak som reduserer bias, ofte fører til økt varians.
Bias og varians balanseres ved å estimere modellens parametere ved hjelp av resampling (f.eks. kryssvalidering ).