Effektiv screening av data frames

Araz Rawshani

Det finnes nå flere pakker som gjør det mulig å utforske data raskt. Pakken DataExplorer er laget for å produsere ferdige rapporter, eventuelt deler av rapporter. Det finnes flere lignende pakker, men DataExplorer er godt dokumentert og omfatter de viktigste metodene. Begynn med å installere og aktivere pakken:

install.packages("DataExplorer")
library(DataExplorer)

DataExplorer kan lage en formatert rapport som lagres som en PDF-fil på harddisken. Til dette brukes funksjonen create_report(), som har argumentene output_file (navnet på filen som lagres på harddisken), report_title (tittel på rapporten) og det valgfrie argumentet y. Argumentet y angis bare dersom beskrivelsene skal stratifiseres på en variabel. I koden nedenfor stratifiseres rapporten på kolonnen death, som angir om pasienten døde i løpet av studien.

rhc %>%
  create_report(
    output_file="rapportfilens namn",
    report_title= "titel på rapporten",
    y="death"
  )

Deretter vil filen (i formatet HTML) ligge i din working directory. Hvis du ikke vet hvor din working directory er, skriver du kommandoen getwd(), som returnerer din working directory (sannsynligvis er det samme mappe som R-skriptet ditt ligger i). Begynnelsen av filen ser slik ut:

Nettleser med begynnelsen av DataExplorer-rapporten: innholdsfortegnelse og tabell med grunnleggende statistikk for datasettet

Vi fortsetter med å demonstrere hvordan enkeltkomponenter i rapporten kan produseres for å utforske data.

Begynn med en overordnet beskrivelse av dataene:

introduce(rhc)

rows	columns	discrete_columns	continuous_columns	all_missing_columns	total_missing_values	complete_rows
5735	63	21	42	0	13873	49

plot_intro(rhc)

Stolpediagram fra plot_intro med andel diskrete og kontinuerlige kolonner, komplette rader og manglende observasjoner

plot_missing(rhc)

Liggende stolpediagram fra plot_missing med andel manglende verdier per variabel, fargekodet som Good, OK og Bad

## Frekvenser stratifisert på en variabel
plot_bar(rhc, by = "death", nrow=20, ncol=4)

Stablede stolpediagrammer fra plot_bar med frekvenser for alle kategoriske variabler fordelt på death Yes og No

## Se histogrammer med alle kontinuerlige variabler
plot_histogram(rhc)

Rutenett av histogrammer fra plot_histogram, ett for hver kontinuerlig variabel i datasettet rhc

## Tetthetskurver for alle kontinuerlige variabler
plot_density(rhc, ncol=3, nrow=10)

Rutenett av tetthetskurver fra plot_density, én for hver kontinuerlig variabel i datasettet rhc

## QQ-plott for alle kontinuerlige variabler
plot_qq(rhc, ncol=3, nrow=10)

Rutenett av QQ-plott fra plot_qq som sammenligner hver kontinuerlig variabel med normalfordelingen

## QQ-plott stratifisert på en kolonne
plot_qq(rhc, by = "death", ncol=3, nrow=10)

Rutenett av QQ-plott fra plot_qq for kontinuerlige variabler, separat for death Yes og No

## Korrelasjonsmatriser
plot_correlation(rhc)

Korrelasjonsmatrise fra plot_correlation som varmekart over alle variabler, fargeskala fra -1 til 1

## Bivariat fordeling stratifisert på en kolonne
plot_boxplot(rhc, by = "death")

Rutenett av boksplott fra plot_boxplot som viser hver kontinuerlig variabel fordelt på death Yes og No

## Scatterplot `price` with all other continuous features
plot_scatterplot(split_columns(rhc)$continuous,
                 by = "age",
                 sampled_rows = 100L,
                 ncol=3, nrow=20)

Rutenett av spredningsdiagrammer fra plot_scatterplot med hver kontinuerlig variabel mot alder

## Visualize principal component analysis
plot_prcomp(rhc, maxcat = 8L)

Stolpediagram fra plot_prcomp med variablenes relative vekt i hovedkomponentene PC1 til PC18