Strategier for å lage prediksjonsmodeller

Araz Rawshani

Strategier for å bygge statistiske modeller for prediksjon, estimere effekt og teste hypoteser

Dette kapitlet presenterer strategier og metoder for å bygge en prediksjonsmodell. Med prediksjonsmodell menes alle metoder som har som formål å belyse sammenhenger mellom flere variabler for å gjøre en prediksjon. Vi skal også diskutere strategier for å estimere effekter (oftest assosiasjoner) og teste hypoteser ved hjelp av statistiske modeller.

Valg av prediksjonsmodell

Det finnes et stort antall mer eller mindre avanserte modeller for å belyse sammenhenger mellom variabler. Den klassiske statistikken domineres av regresjonsmodeller (for eksempel lineær regresjon, logistisk regresjon, Cox-regresjon osv.). Disse er ofte fullgode modeller for strukturerte data (data med verdier i tabellformat $* e n g * . * t a b u l a r d a t a, s t r u c t u r e d d a t a *$ ). De senere årene har machine learning vist seg å være klassisk regresjonsanalyse overlegen når det gjelder prediktiv evne. Til gjengjeld gir ikke machine learning de lettolkede parameterne som regresjonsanalyse innebærer (f.eks. oddsratio, hazard ratio, koeffisienter osv.). For analyse av ustrukturerte data (fotografier, bilder, videoer) dominerer machine learning og deep learning (dyp læring). Det er tre viktige grunnprinsipper å ta hensyn til:

Den beste modellen for dine data er ukjent inntil det er gjort en formell sammenligning mellom ulike modeller (se Å sammenligne og velge mellom modeller).
Man bør velge den beste enkleste modellen, med mindre formålet er maksimal prediktiv evne, noe som krever at man velger den beste modellen, uavhengig av kompleksitet.
Dersom formålet er å estimere hvor sterke sammenhengene er (i stedet for prediksjon), bør enkle modeller som gir lettolkede parametere foretrekkes (for eksempel regresjonsanalyser).

Definisjon av utfallsmål (Y)

Utfallsmålet skal alltid være meningsfullt og relevant for forskningsspørsmålet. Som oftest er det enkelt å definere utfallsmålet, men det finnes situasjoner der det er vanskelig. Hvilket utfallsmål man velger, påvirker flere aspekter ved en studie. Ett av disse er størrelsen på studiepopulasjonen. Generelt kreves en mindre studiepopulasjon (for å påvise forskjeller mellom grupper) dersom utfallsmålet er kontinuerlig (for eksempel kroppsvekt, inntekt osv.). Dette er tiltalende dersom studien krever datainnsamling, noe som er kostbart. I undersøkelser der man måler tid til en hendelse (for eksempel tid til hjerteinfarkt eller til et boliglån er nedbetalt) trengs som regel større studiepopulasjoner for å oppdage forskjeller. Dette er en sannhet med modifikasjoner, men poenget er å vise at utfallsmålet kan påvirke studiepopulasjonens størrelse.

Et annet spørsmål som ofte dukker opp, er om kontinuerlige utfallsmål skal kategoriseres eller ikke. Det kan være fristende å kategorisere kontinuerlige variabler fordi det ofte gir sterkere assosiasjoner. Sammenlign for eksempel hvordan risikoen for hjerteinfarkt øker hvis en person går opp 1 kg i kroppsvekt, sammenlignet med at personen går fra normalvekt til overvekt. Den sistnevnte sammenligningen gir kraftigere assosiasjoner, og derfor har forskere en tendens til å kategorisere både kontinuerlige prediktorer og kontinuerlige utfall. Det kan selvsagt finnes gode grunner til å kategorisere kontinuerlige variabler, men en lang rekke eksperter fraråder dette sterkt fordi man bevisst forkaster informasjon (en kontinuerlig variabel er mer informativ enn sin kategoriserte variant). Uansett situasjon skal utfallsmålet alltid være meningsfullt og belyse forskningsspørsmålet.

Variabelseleksjon

Variabelseleksjon innebærer at man avgrenser hvilke variabler som inkluderes i modellen. En modell bør ha tilstrekkelig mange variabler, men ikke flere. Overflødige variabler kan introdusere støy som reduserer modellens presisjon. I mange sammenhenger er det ukjent hvilke variabler som er overflødige, og da må samtlige inkluderes for å identifisere og ekskludere de overflødige variablene. Metoder for variabelseleksjon diskuteres i kapitlet Variabelseleksjon.

Modellspesifikasjon

For noen modeller er det nødvendig å spesifisere modellens struktur. Det vanligste eksemplet er regresjonsanalyser, som krever manuell spesifikasjon av modellen. Nedenfor lager vi en lineær regresjon der vi predikerer bmi ut fra fire prediktorer.

lm(bmi ~ age + sex + income + education, data=my_data)

Dette er en modell uten interaksjoner, og alle prediktorer modelleres lineært. Vi kan bruke funksjonen rcs() for å la en variabel modelleres ikke-lineært (mer fleksibelt) og multiplikasjonstegnet (*) for å lage interaksjoner mellom variabler. Vi lar variabelen age vise maksimalt 4 variasjoner i sammenhengen med bmi ved å skrive rcs(age, 4):

lm(bmi ~ rcs(age, 4) + sex + income*education, data=my_data)

Dette er en annen modell, selv om det er samme utfall og samme prediktorer i modellen. Du innser snart at andre interaksjoner og ikke-lineære sammenhenger kan introduseres, noe som betyr at det finnes et svært stort antall modeller som kan prøves.

Dette er en av forklaringene på at machine learning er tiltalende, ettersom de modellene ikke krever at modellen spesifiseres på denne måten.

Å velge analysemetode: hypotesetest, regresjonsanalyse eller machine learning

Anta at vi undersøker sammenhengen mellom alkoholforbruk og kreft. For dette formålet har vi en studiepopulasjon med 500 krefttilfeller og 500 personer uten kreft. For disse 1000 personene finnes det informasjon om rundt 50 variabler som karakteriserer helsen deres, levevaner osv., før en eventuell kreftdiagnose ble stilt. En av disse variablene er alkoholforbruk, som er en kontinuerlig variabel (antall glass personen drikker per måned). Forskningsspørsmålet er: finnes det en sammenheng mellom alkoholforbruk og tykktarmskreft?

Selv om det finnes ulike metoder for å besvare spørsmålet, bør man alltid ta utgangspunkt i en hypotese. Statistiske modeller som resulterer i p-verdier, koeffisienter og konfidensintervaller tar alltid utgangspunkt i en nullhypotese ( $H_0$ ), som sier at det ikke er noen forskjell i alkoholforbruk mellom gruppene.

$H_0: μ_1 = μ_2$

$μ_1 =$ alkoholforbruk blant krefttilfeller

$μ_2 =$ alkoholforbruk blant kontroller

Nullhypotesen kan belyses med ett av følgende alternativer:

En statistisk test: Dersom alkoholforbruk er en kontinuerlig normalfordelt variabel, kan en t-test avklare om forbruket er det samme i begge gruppene. En t-test gir oss en p-verdi (sannsynlighet) for at nullhypotesen er korrekt. Dersom p-verdien er svært liten (<0,05), forkaster vi nullhypotesen og antar i stedet at det er en forskjell mellom gruppene. Statistiske tester er som oftest enkle og bygger på få antakelser.
Regresjon: En regresjonsmodell gir større muligheter til å kartlegge assosiasjonen mellom alkoholforbruk og kreft. Dersom utfallsmålet (Y) er kreft (ja/nei), kan for eksempel logistisk regresjon brukes for å avklare om alkohol er en statistisk signifikant prediktor for kreft. I tillegg til p-verdien får vi også koeffisienter (som beskriver assosiasjonens retning, form og styrke) og et konfidensintervall (som beskriver hvor den sanne assosiasjonen ligger med en viss sikkerhet). En regresjonsmodell gjør det dessuten mulig å predikere risikoen for kreft hos nye individer i fremtiden.

Uansett hvilken metode vi velger, vil resultatet (med hensyn til forskningsspørsmålet) være det samme. T-testen er ekvivalent med lineær regresjon med én prediktor. Den samme analogien gjelder for flere andre hypotesetester og regresjonsmodeller; de er nært beslektet.

Man bør alltid tilstrebe enkelhet, men unngå å miste verdifull informasjon. Det betyr at man bør gjøre en nøye avveining i valget mellom enkle tester og regresjonsmodeller. Statistiske tester er enkle, bygger på få antakelser, men gir begrenset informasjon. Regresjonsmodeller er mer kompliserte, bygger på flere antakelser og krever en større arbeidsinnsats. Til gjengjeld gir regresjonsanalyse mer informasjon og mulighet til å lage prediksjoner (forutsigelser).

Regresjonsmodeller kan altså brukes til å teste hypoteser, og i så måte finnes det mange likheter med vanlige statistiske tester. Det betyr også at flere fallgruver som gjelder for statistiske tester, også må tas hensyn til ved regresjonsanalyse. På samme måte som man fraråder å teste for mange nullhypoteser i jakten på statistisk signifikans, bør man heller ikke teste for mange prediktorer i en prediksjonsmodell (dersom formålet er å identifisere assosiasjoner).

Utvalgsstørrelsen (sample size) har betydning både for statistiske tester og regresjonsmodeller. Kravet til utvalgsstørrelse er like stort for statistiske tester (f.eks. t-test) og regresjonsmodeller (f.eks. lineær regresjon).

Regresjonsanalyse for prediksjon eller effektestimering

Ovenfor ble regresjonsanalyse for å teste en nullhypotese diskutert. Her diskuteres bruk av regresjonsanalyse for å lage prediksjonsmodeller eller estimere effekten (assosiasjonens styrke) av en prediktor ( $X$ ) på et utfall ( $Y$ ). Husk at begrepet effekt egentlig er misvisende, fordi det har en kausal klang, og klassiske regresjonsmodeller er ikke kausale analyser (se Kausal inferens). Likevel brukes betegnelsen effektestimering ofte.

Effektestimering: Estimere effekten (assosiasjonen) av én eller flere prediktorer

Effektestimering gjøres når det finnes én eller flere prediktorer ( $X$ ) av særlig interesse, for å karakterisere sammenhengen mellom prediktoren/prediktorene og utfallet ( $Y$ ). Det er mulig å lage en regresjonsmodell som bare omfatter utfallet ( $Y$ ) og prediktoren ( $X$ ). Som oftest pleier man likevel å inkludere ytterligere kovariater for å justere for disse. Justering for kovariater reduserer konfundering.

Variabelseleksjon (valg av kovariater) og modellspesifikasjon bør gjøres av en ekspert på området. På den måten kan man sikre at modellen omfatter de kovariatene som trengs for så langt som mulig å kvantifisere effekten av prediktoren man er interessert i. Modeller for effektestimering kan dermed spesifiseres ut fra subject matter knowledge (Harrell). Det kreves ingen komplisert algoritme for å selektere variabler eller spesifisere modellen.

Figuren nedenfor viser hvilke trinn som inngår i effektestimering.

graph LR;
Datainsamling["Datainnsamling"] --> Y("Definer prediktorer (X)<br> og utfallet (Y)") --> M("Velg og spesifiser modell<br> f.eks. logistisk regresjon") --> Analysera["Analyser"] --> Rapportera["Rapporter"]

Prediksjon: Å forutsi $Y$

I den fiktive kreftundersøkelsen ovenfor fantes det informasjon om ca. 50 variabler. Sannsynligvis kan flere, men ikke alle, av disse brukes til å predikere risikoen for kreft. Dersom målet er å forutsi hvem som kommer til å utvikle kreft, er prediksjon formålet med regresjonsmodellen. Modeller som skal brukes til prediksjoner, krever mer omhu sammenlignet med modeller beregnet på effektestimering. Figuren nedenfor illustrerer trinnene som inngår i disse modellene.

graph TD;
Datainsamling["Datainnsamling"] --> Y("Definer prediktorer (X)<br> og utfallet (Y)") -->
M(Velg kandidatmodeller som skal sammenlignes) & R(Definer hvordan modeller skal sammenlignes) --> X(Spesifiser for hver modell om/hvordan prediktorer skal transformeres eller selekteres) --> C(Sammenlign modeller) --> Eval(Evaluer sluttresultatet) --> Pars(Undersøk om en parsimonious model er like god) --> Rapportera["Rapporter"]

Formålet med de fleste prediksjonsmodeller er at de skal brukes av mange, og da bør modellen være pålitelig, ha høy presisjon og dessuten være sparsom (eng. parsimonious) med hensyn til antall prediktorer i modellen. Jo flere prediktorer (og jo vanskeligere tilgjengelige prediktorene er), desto mindre anvendelig er modellen.

Den samme regresjonsmodellen kan brukes til både prediksjon og effektestimering. En regresjonsmodell estimerer alltid effekten av prediktorene (β, koeffisientene), og likeledes kan man alltid predikere med en ferdig modell (selv om den ikke er utviklet spesifikt for prediksjon).

Machine learning: ensemblemetoder og deep learning (dyp læring)

De senere årene har regresjonsanalyse fått hard konkurranse fra machine learning (ML), som innebærer at man bruker ulike algoritmer for å dechiffrere data. I dag brukes machine learning svært mye i alle sektorer, fra medisin til verkstedindustri. På Kaggle (www.kaggle.com) samles mange av verdens fremste analytikere for å konkurrere om å løse prediksjonsproblemer. Premiesummene er høye, og i prinsippet vinnes samtlige konkurranser med machine learning. Machine learning er en del av kunstig intelligens (KI).

Flere av de mest populære metodene innen machine learning etterligner menneskets fremgangsmåte ved beslutningstaking. De første populære metodene for machine learning var trebaserte modeller (tree-based methods). Disse er konseptuelt enkle å forstå og en forutsetning for å forstå mer kompliserte algoritmer. Figuren nedenfor illustrerer (konseptuelt) hvordan en trebasert algoritme partisjonerer (deler) data i mindre porsjoner.

graph TD;
Alla(Alle observasjoner) --> Men(Menn) & Wom(Kvinner)
Men --> MS1("Fedme") & MS2("Normalvektig")
Wom --> WS1("Fedme") & WS2("Normalvektig")
MS1 --> A(Trener) & B(Trener ikke)
MS2 --> C(Trener) & D(Trener ikke)
WS1 --> E(Trener) & F(Trener ikke)
WS2 --> G(Trener) & H(Trener ikke)
B --> D1(Diabetes)
D --> D2(Diabetes)
F --> D3(Diabetes)
H --> D4(Diabetes)
A --> F1(Frisk)
C --> F2(Frisk)
E --> F3(Frisk)
G --> F4(Frisk)

De mest populære trebaserte algoritmene er random forest, gradient boosting og extreme gradient boosting. Disse metodene kan brukes til å predikere både kontinuerlige og kategoriske utfallsmål ( $Y$ ). Prediktorene kan likeledes være kontinuerlige og/eller kategoriske. Det betyr at trebaserte metoder kan brukes i de samme situasjonene som man bruker regresjonsanalyse i. Trebaserte metoder bruker algoritmer som partisjonerer data. Partisjonering innebærer at den opprinnelige datamengden deles inn i mindre og mindre grupper ved hjelp av kriterier som identifiseres av algoritmen. Her følger et enkelt eksempel på hvordan data kan partisjoneres:

Forklaring til bildet ovenfor

Algoritmen begynner med å dele populasjonen etter kjønn, noe som betyr at menn og kvinner havner i separate grupper.
Algoritmen fortsetter med å dele inn gruppene etter kroppsvekt.
Algoritmen fortsetter deretter med å skille mellom observasjoner som trener og de som ikke trener.
Algoritmen predikerer om deltakeren har diabetes eller ikke, basert på hvor den befinner seg i treet.

Diagrammet ovenfor kalles også decision tree (beslutningstre). Denne teknikken er i dag mye mer sofistikert enn det som er presentert her. De fleste metoder fungerer ved å bygge mange (ofte tusenvis av) trær og bruke hvert tre som en svak prediksjonsmodell, som sammen med alle de andre trærne genererer prediksjoner med svært høy presisjon. Metodene for å konstruere trærne og partisjonere data varierer mellom ulike modeller.

Trærne kan brukes som prediksjonsmodeller fordi en ny observasjon/et nytt individ (som ikke har inngått i konstruksjonen av trærne) kan føres gjennom alle trærne. Modellen kan da, avhengig av hvor individet havner i de ulike trærne, predikere det sannsynlige utfallet ( $Y$ ) for observasjonen/individet.

Metoder som krever at man konstruerer mange trær, kalles ensemblemetoder (ensemble methods).

De aller fleste machine learning-metoder er utmerkede til å (1) predikere $Y$ og (2) kartlegge hvor sterk sammenhengen mellom X og Y er. Når det gjelder det sistnevnte, produseres det dessverre ingen enkle mål som kan presenteres på samme måte som oddsratioer, hazard ratioer osv.

En av de største fordelene med trebaserte metoder er at vi ikke trenger å gjøre noen antakelser om variablene og deres sammenheng med $Y$ , og vi trenger ikke å spesifisere modellen manuelt. Det finnes algoritmer som automatisk søker etter den optimale modellen.

Andre hensyn for prediksjonsmodeller

Er målet meningsfullt?

For regresjonsanalyser som har som formål å estimere effekten av prediktoren $X$ , bør det faktisk være meningsfullt å estimere effekten av $X$ . Å estimere effekten av LDL-kolesterol på risikoen for akutt hjerteinfarkt kan virke meningsløst i dag, ettersom det er publisert titusenvis av artikler med den problemstillingen. Likevel publiseres slike artikler jevnlig. Sørg for at målet med prediksjonsmodellen er meningsfullt.

Er alle viktige prediktorer tilgjengelige?

Det er også viktig å forsikre seg om at man har alle viktige prediktorer. Dette er sjelden et problem i en studie som er designet og gjennomført for et spesifikt formål. Ikke sjelden forsøker man imidlertid å besvare mange problemstillinger med de samme dataene, og da kan dette problemet oppstå. Dersom man mangler prediktorer som er viktige for utfallsmålet, vil man sannsynligvis ikke lage en god modell.

Har studien tilstrekkelig styrke (power)?

Det er viktig at datamengden (antall observasjoner) er tilstrekkelig til å trene og teste modellen. Modellen trenes ofte på ca. 70–80 % av observasjonene, noe som betyr at 20–30 % gjenstår for å teste/validere modellen. Ved ikke å teste modellen i den samme datamengden som den er trent på, sikrer vi at presisjonen ikke overestimeres. En modell forventes å ha svært god presisjon i datamengden den er trent på, og dårligere presisjon i data den ikke har sett tidligere.

Foreligger intern og ekstern validitet?

Det er grunnleggende at populasjonen man bruker i analysen, er representativ for populasjonen man har til hensikt å uttale seg om. Dersom man vil uttale seg om behandlingseffekten av statiner og studerer en populasjon med gjennomsnittsalder 65 år, bør man i prinsippet ikke uttale seg om effekten hos 40-åringer.

Intern validitet innebærer at studien måler det den hadde til hensikt å måle.
Ekstern validitet innebærer at studiens resultater kan ekstrapoleres (anvendes) på andre observasjoner/personer som ikke har deltatt i studien.

The parsimonious model

Dersom formålet er å lage en modell for prediksjon, bør man forsikre seg om at variablene som inngår i den endelige modellen, er lett tilgjengelige. Jo flere og jo dyrere (å skaffe) prediktorer en modell inkluderer, desto mindre vil den bli brukt. Den engelske betegnelsen the parsimonious model kan oversettes med den sparsomme modellen, som viser til en modell med så få prediktorer som mulig.

Hvilke risikodimensjoner er tilgjengelige?

Det er viktig å ta hensyn til risikodimensjoner for å kunne uttale seg om risikoen for en hendelse. Risiko er som oftest et multifaktorielt fenomen, og det er ønskelig at flere dimensjoner av risiko inngår i en risikomodell. Det betyr at en modell som bare inkluderer biomarkører, sannsynligvis er mangelfull. Følgende dimensjoner kan regnes som viktige for risikoen for en hendelse i klinisk forskning (Iezzoni, 2006):

Alder og kjønn: Disse variablene er i prinsippet alltid sterke prediktorer og bør alltid tas med i en risikomodell.
Relevante biomarkører.
Variabler som beskriver den umiddelbare (akutte) helsetilstanden.
Variabler som beskriver sykdommer og risikofaktorer som individet har.
Variabler som beskriver individets fysiske form og kapasitet.
Psykologisk, kognitiv og psykososial status.
Variabler som beskriver etnisk, sosioøkonomisk og kulturell tilhørighet.
Quality of life.
Pasientens holdning til sykdom og helse.

Å ha tilgang til alle disse dimensjonene er sjeldent, og som oftest må man nøye seg med færre dimensjoner.

Referanser

Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis av Frank Harrell. Springer 2015.
Applied Predictive Modeling av Max Kuhn and Kjell Johnson. Springer 2016.
Survival Analysis: A Self-Learning Text, Third Edition. David Kleinbaum. Springer 2012.