Parametriske og ikke-parametriske modeller

Parametriske vs. ikke-parametriske modeller

Hva er en parameter?

Prediksjonsmodeller studerer sammenhengen $Y=f(x)$, som innebærer at utfallet ($Y$) er en funksjon av prediktorer ($x$).

Funksjonen som estimerer $Y$ basert på $x$ er ukjent og må beregnes. Det finnes en lang rekke algoritmer for å finne funksjonen som best beskriver sammenhengen $Y=f(x)$. Algoritmene beregner funksjonen ved hjelp av parametere. Dette eksemplifiseres her med en lineær regresjonsmodell der vekt predikeres ut fra alder og kjønn:

$Y_{vekt} = \beta_{alder} + \beta_{kjønn} + feil$

I denne modellen finnes det tre parametere ($\beta_{alder}, \beta_{kjønn}, feil$) som må estimeres. Antallet parametere påvirkes ikke av antallet observasjoner i dataene. Flere observasjoner fører ikke til flere eller færre parametere, noe som innebærer at antallet parametere er fast.

Parametere er nødvendige for å gjøre prediksjoner. Parametere beregnes ut fra treningsdata (data som modellen lærer av). Eksempler på parametere fra ulike typer modeller fremgår av tabellen nedenfor.

Tabell 1.

I parametriske modeller er antallet parametere fast, og det påvirkes ikke av antallet observasjoner. I en ikke-parametrisk modell øker antallet parametere med antallet observasjoner som finnes i treningsdataene. Ikke-parametriske modeller er for eksempel neural networks (NN), random forest (RF), gradient boosting (GBM) og extreme gradient boosting (XGB).

Ikke-parametriske modeller kan derfor ta mye lengre tid å beregne (et større antall parametere skal estimeres), men kan på den annen side ha betydelig høyere presisjon enn en parametrisk modell.