Korrelatsioonanalüüs

Teema esitlus: "Korrelatsioonanalüüs"— Esitluse väljavõte:

1 Korrelatsioonanalüüs

2 Juhuslik vektor Juhuslikuks vektoriks nimetatakse vektorit, mille komponentideks on juhuslikud suurused. Näiteks võib vaadelda kolme komponendiga juhusliku vektorina inimese pulsist, hingamissagedusest ja arteriaalsest vererõhust koosnevat mõõtmistulemuste komplekti. Juhuslikku vektorit nimetatakse diskreetseks, kui tema komponendid on diskreetsed juhuslikud suurused ning pidevaks, kui komponendid on pidevad juhuslikud suurused..

3 Jaotustabel Kui diskreetse juhusliku vektori koordinaatide võimalikud väärtused on xi ja yj ,kus i = 1, ... , m ja j = 1, ... , n, siis selle vektori jaotust iseloomustatakse jaotustabeliga: Y X y1 y2 ... yn x1 p11 p12 p1n x2 p21 p22 p2n xn pn1 pn2 pmn Tabelis tähistab pij tõenäosust selleks, et juhuslik suurus X saavutab väärtuse xi ja juhuslik suurus Y saavutab väärtuse yj: pij = P((X = xi)  (Y = yj))

4 Juhusliku vektori jaotusfunktsioon
Juhusliku vektori jaotusfunktsiooniks F(x, y) nimetatakse järgnevalt defineeritud kahe muutuja funktsiooni: Pideva juhusliku vektori jaotustihedus e. tihedusfunktsioon on jaotusfunktsiooni teist järku segaosatuletis: Jaotustihedus on avaldatav kujul kus p1(x) ja p2(y) on juhuslike suuruste X ja Y tihedusfunktsioonid, r1(y|x) ning r2(x|y) on tinglikud jaotustihedused - juhusliku suuruse Y tihedusfunktsioon eeldusel, et juhusliku suuruse X väärtus on x ja juhusliku suuruse X tihedusfunktsioon eeldusel, et Y väärtus on y.

5 Juhuslike suuruste sõltuvus
Kaks suurust on sõltumatud, kui ühe suuruse muutumine ei mõjuta teise suuruse muutumist. Vastasel juhul on tegemist sõltuvate suurustega. Kui suurused on sõltuvad ja üks suurus on täpselt leitav teise kaudu, siis on räägitakse funktsionaalsest sõltuvusest. Näiteks väljendavad funktsionaalset sõltuvust Ohmi seadus, Newtoni teine seadus, Kepleri seadused. Kui üht suurust pole võimalik teise kaudu täpselt arvutada, vaid selle asemel on ühe muutuja tendents muutuda kindlas suunas teise muutuja muutumisel, siis on tegemist statistilise e. stohhastilise sõltuvusega. Statistilise sõltuvuse korral sõltub ühe juhusliku suuruse jaotusfunktsioon teise juhusliku suuruse jaotusest. Näiteks on stohhastilises sõltuvuses rööv- ja saakloomade arvukus mingis piirkonnas.

6 Statistilise sõltuvuse liigid
x y Sõltuvus puudub x y Statistiline sõltuvus x y Korrelatiivne sõltuvus x y Regressioonsõltuvus

7 Sõltuvuste vahekord Sõltumatute juhuslike suuruste puhul
Statistiline sõltuvus Regressioonsõltuvus Korrelatiivne sõltuvus Sõltumatute juhuslike suuruste puhul F(x, y) = F1(x)· F2(y) Pidevate juhuslike suuruste X ja Y sõltumatuseks on tarvilik ja piisav, et p(x, y) = p1(x)·p2(y)

8 Korrelatsioon- ja regressioonanalüüs
Juhuslike suuruste vahelise statistilise sõltuvuse olemasolu, selle iseloomu ja tugevust uuritakse korrelatsioon- ja regressioonanalüüsi abil. Korrelatsioonanalüüsi kasutatakse juhuslike suuruste vahelise seose olemasolu, tugevuse ja iseloomu mõõtmiseks. Suurusi vaadeldakse sümmeetriliselt, s.t. ei eeldata, et üks tunnustest on “põhjus”, teine “tagajärg”. Regressioonanalüüsi korral jäetakse sümmeetria kõrvale ja räägitakse ühe juhusliku suuruse sõltuvusest teisest juhuslikust suurusest. Korrelatsioon- ja regressioonanalüüsi üheks ülesandeks on prognoosida teatava tõenäosusega statistiliselt sõltuvate komponentidega juhusliku vektori ühe koordinaadi muutumist tingimusel, et teine koordinaat omandab mingi kindla väärtuse.

9 Kovariatsioon Juhusliku vektori (X, Y) kovariatsiooniks e. korrelatsioonimomendiks nimetatakse suurust Diskreetse juhusliku vektori kovariatsiooni arvutamine: Pideva juhusliku vektori kovariatsiooni arvutamine: Kui juhuslikud suurused X ja Y on sõltumatud, siis cov(X, Y) = 0. Teoreem Vastupidine väide ei tarvitse õige olla.

10 Korrelatsioon Kui cov(X, Y)  0, siis nimetatakse juhuslikke suurusi X ja Y korreleeruvateks, vastupidisel juhul aga mittekorreleeruvateks. Juhuslike suuruste X ja Y vaheliseks korrelatsioonikordajaks nimetatakse suurust Korrelatsioonikordaja omadused 1. 2. Kui X ja Y on sõltumatud, siis Kui , kus a ja b on konstandid, siis Kui siis b > 0 ja kui siis b < 0.

11 Järeldused korrelatsioonikordaja omadustest
1. Kui on lähedane ühele, siis X ja Y vaheline sõltuvus on lähedane lineaarsele. 2. Kui räägitakse positiivsest korrelatsioonist: juhuslikel suurustel X ja Y on tendents muutuda samas suunas. Negatiivse korrelatsiooni korral ( ) on ühe suuruse kasvamisel teisel suurusel tendents kahaneda. x y Tugev positiivne korrelatsioon x y Nõrk positiivne korrelatsioon y x Tugev negatiivne korrelatsioon

12 Pearsoni empiiriline korrelatsioonikordaja
Kovariatsioonikordaja punkthinnang valimi põhjal: Korrelatsioonikordaja punkthinnang valimi põhjal e. Pearsoni empiiriline korrelatsioonikordaja:

13 Korrelatiivse sõltuvuse olemasolu kontroll
Statistiline hüpotees: H0 : H1 : Kui etteantud usaldusnivooga b lükatakse nullhüpotees tagasi, siis see tähendab, et rb erineb oluliselt nullist ning X ja Y vahel on lineaarne korrelatiivne sõltuvus. Nullhüpoteesi kontrollimiseks leitakse suurus Nullhüpoteesi kehtivuse korral on see suurus ligikaudselt Studenti jaotusega vabadusastmete arvuga k = n – 2. Leiame kriitilise punkti t-jaotuse kvantiilide tabelist:

14 Korrelatsioonikordaja usalduspiirid
Kui siis võetakse vastu nullhüpotees. Vastupidisel juhul võetakse vastu alternatiivne hüpotees (korrelatiivne seos on olemas). Kui üldkogum on normaaljaotusega, siis on empiirilise korrelatsioonikordaja standardhälve määratav valemiga Küllalt suure valimi korral (n >=50) puhul on praktiliselt kindlaks usalduspiirkonnaks üldkogumi korrelatsioonikordajale vahemik

15 Näide Viie kümnevõistleja 100 meetri tulemus ja kümnevõistluse punktisummad on: 100m (X) 11,0 11,9 10,9 11,3 11,6 punkte(Y) Leida lineaarse korrelatsiooni kordaja ja kontrollida hüpoteesi korrelatsiooni olemasolust usaldusnivoodega 95% ja 90% Lahendus Ülesande andmete põhjal leiame: Lineaarne korrelatsioonikordaja:

16 Näide (järg) Kontrollime hüpoteesi korrelatiivse seose olemasolust.
H0: rb = 0 H1: rb  0 Kuna , siis pole alust nullhüpoteesi tagasi lükata: 95%-lise usaldatavuse ei saa väita, et 100 meetri tulemuse ja punktisumma vahel on korrelatiivne seos. Kui valida usaldusnivooks 90%, siis Kuna seekord , siis võtame vastu sisuka hüpoteesi: 90%-lise usaldatavuse juures võib väita, et 100 meetri tulemuse ja punktisumma vahel on korrelatiivne seos.

17 Spearmani korrelatsioonikordaja
Spearmani korrelatsioonikordaja mõõdab kahe järjestustunnuse vahelist montoonset (mitte tingimata lineaarset) seost. Automarkide võimsuste ja hindade korrelatsiooniväli Pearsoni korrelatsioonikordaja : rb = 0,729 Spearmani korrelatsioonikordaja : rs = 0,858 Kuna Spearmani korrelatsioonikordaja on oluliselt suurem kui Pearsoni korrelatsioonikordaja, on alust arvata, et hinna ja võimsuse vahel on mittelineaarne monotoonne seos.

18 Spearmani korrelatsioonikordaja
Spearmani korrelatsioonikordaja arvutamiseks tuleb: 1) korrastada ühe tunnuse väärtused xi järjestatud hulka; 2) nummerdada saadud järjestatud hulga elemendid, alustades ühest (elementidele xi omistatakse astakud ri); kui X väärtuste seas on korduvaid, siis võetakse neile vastavateks astakuteks esialgsete astakute aritmeetiline keskmine 3) omistada teise tunnuse Y väärtustele astakud qi; 4) arvutada summa 5) Leitakse Spearmani korrelatsioonikordaja

19 Spearmani korrelatsioonikordaja omadusi
1) 2) Kui rs = 1, on tegemist range positiivse korrelatsiooniga : kui kasvab X, siis kasvab alati ka Y, kuid see kasv ei tarvitse olla lineaarne. 3) Kui rs = -1, on tegemist range negatiivse korrelatsiooniga (ühe tunnuse kasvamisele vastab teise tunnuse kahanemine) 4) Kui rs = 0, siis on tunnused Spearmani mõttes mittekorreleeruvad.

20 Näide (I)

21 Näide (II) Kontrollime korrelatsiooni olemasolu (analoogselt Pearsoni korrelatsiooniga) usaldusnivooga 95%. H0: rs = 0 (üldkogumis) H1: rs  0 Kuna , siis on alust võtta vastu sisukas hüpotees H1 (suurused X ja Y on Spearmani mõttes korreleeritud).