Mitteparameetriline regressioon II

Algandmed

Local regression

Lokaalse regressioonisirge väärtuse määramine kohas x=0,7

Akna laiuse (h) valik

Akna laiuse (h) valik II

Algandmed

Tegelik seos

Lokaalne regr. + ristvalideerimine

Lokaalne regr. + ristvalideerimine

h valik x<20 pealt

h valik x>20 pealt

LOESS – 6 naabrit

Loess-regressioon R’is Mudel = loess(y~x, span= 0.03, degree=1, control=loess.control(surface = c("direct"), statistics = c("exact") )) yprog=predict(Mudel, data.frame(x=xxx)) plot(x,y) lines(xxx,yprog, col="red")

Kasutusnäide: lineaarse mudeli eelduste kontroll

Näide 2

Loess

“Supersmoother” – muutuv h

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil)

Automaatse modelleerimise piirid I

Polünoom: ohtlik piirkondades, kus vaatluseid vähe või pole...

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (lineaarse mudeli abil, b-spline kasutades)

Mittelineaarse seose modelleerimisest (2-järku b-splaini tuletis)

Automaatse modelleerimise piirid

Usaldusintervallid ja testid

Meeldetuletuseks – tavaline regressioon Vabadusastmete arvu erinevus ~ parameetrite arvu erinevus Keerukama mudeli jääkide ruutude summa Lihtsama mudeli jääkide ruutude summa Vaatluste arv Eeldused: - sama hajuvus, sõltumatud vaatlused - keerukam mudel (mudel 2) on õige - lihtsam mudel erijuht keerukamast - (normaaljaotus, või suur valim...)

Meeldetuletuseks – tavaline regressioon

Meeldetuletuseks – tavaline regressioon

Meeldetuletuseks – tavaline regressioon

Tavaline regressioon vs polünoom Mudel 1 EY = β0 + β1 x df1=2 Mudel 2: EY = β0 + β1 x + ... + βk xk df2=k+1 Näitejoonisel df2 = 5

Tavaline regressioon vs splain Mudel 1 EY = β0 + β1 x df = 2 Mudel 2 (1-järku splain): EY = β0 + β1 x + β2 (x-p1)Ix>p1 + ... df = murdepunkte + 2 Näitejoonisel: df=6 Eeldused: - sama hajuvus, sõltumatud vaatlused - keerukam mudel (mudel 2) on õige - lihtsam mudel erijuht keerukamast - (normaaljaotus, või suur valim...)

Tavaline regressioon vs lokaalne regressioon Y = H Y df = rank(H) = rank( X(XTX)-XT ) = trace(H) = trace(H∙HT) = trace(2H - H∙HT) = ... Lokaalne regressioon: Y = S Y df1 = trace(S) df2 = trace(S∙ST) df3 = trace(2S - S∙ST)

Lokaalne regressioonmudel vs lineaarne regressioon

Ka usaldusintervall...

Stopp! Tegelik seos ja vaatlused

Stopp! Lisame hinnatud regressioonisirge ja usalduspiirid

Stopp! + parim võimalik regressioonisirge...

Usaldusintervall... ... Ei kirjelda (enamasti) seda, kui hästi me teame tegelikku seost... ... vaid kirjeldab, kui täpselt oleme hinnanud mudelis esinevad parameetrid... ehk kirjeldab hinnangu varieeruvust, aga (mudeli kehvast valikust tingitud) hinnangu nihet ta ei kirjelda.

Mida teha? Ignoreeri nihet (mitteparameetrilise regressiooni korral nagunii suhteliselt väike, väiksem ikka kui lineaarse regressiooni korral...) Eksisteerib (keerulisi ja mittetäielikke) meetodeid nihke hindamiseks ja selle arvelt usaldusintervalli laiemaks venitamiseks Kasuta optimaalsest väiksemat akent (silu vähem – siis on nihe väiksem probleem kui hinnangu hajuvus...)