Masinõppe algoritmide rakendused riskide tõenäosuse hindamisel

Teema esitlus: "Masinõppe algoritmide rakendused riskide tõenäosuse hindamisel"— Esitluse väljavõte:

1 Masinõppe algoritmide rakendused riskide tõenäosuse hindamisel
Risk Management Forum — Mai 2019

2 Tööstus/teenindusharu MÕ rakenduse kaasused?
Riskide tõenäosuse hindamine Tööstus/teenindusharu MÕ rakenduse kaasused? KREDIIDIRISK Kõrge LOODUSRISK Madal KÜBERRISK Keskmine

3 Masinõpe – milleks seda vaja on?
Masinõppimine on teadusvaldkond, mille eesmärk on välja töötada empiiriliste andmete põhjal otsuseid ja ennustusi tegevaid algoritme (Wikipedia) Prognoosiv analüüs (predictive analytics) hõlmab mitmeid statistika tehnikaid [..] sh masinõpet, mis analüüsivad ajaloolisi ja käesoleval ajal teadaolevaid fakte, et teha ennustusi teadvama sündmuste või tuleviku kohta (Wikipedia) Lihtsas keeles: MÕ ennustab riske!

4 Tööstus/teenindussektorite koondülevaadete puudumine
Riskide tõenäosuse hindamine Tööstus/teenindussektorite koondülevaadete puudumine Spetsiifilisi ülevaateid on palju! Üldistavaid on vähe.

5 Riskide tõenäosuse hindamine
Kaggle – mis see on? Kaggle on Google LLC-le kuuluv andmeteadlaste ja masinõppijate veebikogukond (Wikipedia) Kaggle konkursid 1. Konkursi korraldaja soovib lahendada mõnda probleemi. Ta valmistab ette andmed ja probleemi kirjelduse. 2. Osalejad katsetavad erinevaid tehnikaid ja võistlevad omavahel, et esitada parim mudel. Tavaliselt hinnatakse esitatud mudelit koheselt, võrreldes mudeli poolsete tulemuste täpsust tulemustega, mis on olemas osalejate eest varjatud tulemusfailis. 3. Konkursi võitjaks tunnistatakse isik või meeskond, kelle algoritm suudab kõige täpsema ennustuse teha. Korraldaja annetab võitjale peaauhinna. Omalt poolt saab korraldaja endale õiguse konkursil kõige võimekamaks osutunud algoritmi enda tegevuses - olgu selleks äri või avalik teenistus - tasuta kasutada.

6 Riskide tõenäosuse hindamine
Source: Tips and tricks to win Kaggle data science competitions, Darius Barušauskas

7 Kaggle kui praktilise allika tugevused ja nõrkused
Riskide tõenäosuse hindamine Kaggle kui praktilise allika tugevused ja nõrkused Ühes kohas palju lahendusi Võistlevad maailma parimad andmeteadlased, sponsorid ehk tellijad on soliidsed ettevõtted Probleemid on reaalsed, reaalsed on ka andmed (kas on GDRP-i poolt okei?) Võisteldakse mitte probleemi lahendamise eest, vaid maksimaalse skoori ehk tulemuse saamise eest Lahendused ei pruugi olla kõige praktilisemad

8 Riskide tõenäosuse hindamine
Riskiga seotud näide Ennustada iga korrarikkuja (soditud seinad, korrarikkujaks on seina omanik) kuulekus trahvi maksmisel Deitroiti linnavalitsusele Auhind: $300 Amazon gift card + MSSISS poster Tegin ise järgi Gradient Boosted Forest algoritmiga, skoor on:

9 Web Browser Browser Manipulator “Kaggle.com“ NLP Measured with
Riskide tõenäosuse hindamine Web Browser Browser Manipulator Kokkuvõtete tegemiseks bot Seleniumi põhjal “Kaggle.com“ NLP Credit risk Cyber risk Insurance risk Natural risk Political risk Suvaliselt valitud tööstus- või teenindusharu- dele sobivad näited Measured with “Wordnet“ Wordnet on poolel teel nutikuseni! Create Excel Table with results

10 Kaggle: tulemuste hindamine
MAE (Mean Absolute Error) Mõõdetakse ennustamise täpsust RMSE (Root Mean Square Error), Log Loss AUC (Area Under Curve) RMSLE (Root Mean Square logarithmic Error) MCAP Score, R2 Mõõdetakse ennustamise ebatäpsust Keerulisemaid mõõdikuid ignoreerin!

11 Krediidirisk Konkursi nimi Lühikirjeldus Mõõdik Ennustuse täpsus
Give Me Some Credit Laenu mittetagasimaks-mise ennustamine AUC 0.86 Home Credit Default Risk Kodulaenu tagasimaksmise ennustamine (ilma krediidiajaloota inimesed) AUC 0.80 Home Site Quote Conversion Kodukindlustaja kindlustusostu ennustamine AUC 0.97 Springleaf Marketing Response Laenu otsepakkumisele reageerimise ennustamine AUC 0.80 Influencers in Social Networks Inimeste sotsiaalvõrkudes mõjukuse ennustamine AUC 0.88

12 Krediidirisk Konkursi nimi Lühikirjeldus Mõõdik Ennustuse ebatäpsus
The Big Data by BattleFin Aktsiakursi ennustamine MAE 0.42 Bond Trade Price Challenge US valitsuse väärtpaberite hinna ennustamine MAE 0.68

13 Kindlustusrisk Konkursi nimi Lühikirjeldus Mõõdik Ennustuse täpsus
As the World Churns Kindlustuskliendi 12 kuu lojaalsuse ennustamine AUC 0.80 Mis liiki kindlustus? Allstate Purchase Prediction Challenge Kindlustuse müügitulemuste ennustamine Accuracy 0.53 Give Me Some Credit Laenu mittetagasimaks-mise ennustamine AUC 0.86 Home site Quote Conversion Kodukindlustaja kindlustusostu ennustamine AUC 0.97 Springleaf Marketing Response Laenu otsepakkumisele reageerimise ennustamine AUC 0.80

14 Küberrisk Konkursi nimi Lühikirjeldus Mõõdik Ennustuse täpsus
Amazon.com - Employee Access Challenge Kasutaja privileegide ennustamine AUC 0.92 TalkingData AdTracking Fraud Detection Challenge Teeseldud hiireklikkide kindlakstegemine AUC 0.98 NIPS 2017: Adversarial Attack (I-III) Pildituvastussüs-teemide eksitamine Score Finding charged lepton Science! AUC 0.99 Microsoft Malware Prediction Ennusta WIN arvuti nakatumist AUC 0.67

15 Loodusrisk/katastroofide risk
Konkursi nimi Lühikirjeldus Mõõdik Ennustuse (eba)täpsus VSB Power Line Fault Detection Tuvasta elektriliinide elektro-erosioon MCC 0.71 Walmart Recruiting II: Sales in Stormy Weather Ilmatundlike kaupade müügi ennustamine RMSLE 0.09 MLSP 2013 Bird Classification Challenge Lindude tuvastamine hääle järgi AUC 0.95 "How Much Did It Rain? II" Vihma ennustamine MAE Normaliseerimata LANL Earthquake Prediction Ennusta maavärin MAE Normaliseerimata

16 Poliitiline/ühiskondlik risk
Konkursi nimi Lühikirjeldus Mõõdik Ennustuse (eba)täpsus See Click Predict Fix Miks kodanikud kaebavad linnavalitsusele RMSLE Conway's Reverse Game of Life Evolutsioon? RMSLE 0.10 Influencers in Social Networks Inimeste sotsiaalvõrkudes mõjukuse ennustamine AUC 0.88 Cause-effect pairs Science! B AUC 0.82 NIPS 2017: Adversarial Attack (I-II) Pildituvastussüsteemide eksitamine Score

17 BEST AUC (kõik, mitte ainult riskidega sarnased)
Probleem Mõõdik Skoor "Aerial Cactus Identification" AUC 1.0000 "Histopathologic Cancer Detection" "Random Acts of Pizza" "Challenges in Representation Learning: Multi-modal Learning" "Accelerometer Biometric Competition" Probleem Mõõdik Skoor "Acquire Valued Shoppers Challenge" AUC "Microsoft Malware Prediction" "KDD Cup Predicting Excitement at DonorsChoose.org" "The ICML 2013 Bird Challenge" "WSDM - KKBox's Music Recommendation Challenge"

18 Järeldused Krediidi ja kindlustusriskid – võisteldakse palju, tihti saavutatakse suurepäraseid tulemusi. Robot lisas tulemustele mõned väärtpaberitega kauplemise ennustused: need tulemused nii head ei ole. Küberriskid – krediidi ja kindlustusega võrreldes vähem näiteid. Kas on vähem konkursside tellijaid? MÕ-l on keskmised väljavaated riskide tõenäosused korralikult ennustada (MS kurivara näide – suuresti ennustamine ebaõnnestus!) Looduslikud ja poliitilised riskid – vähe konkursse! Katastroofe on Kaggles vähe ennustatud ja poliitikaga ei taheta tegelda. Robot ei suuda neid Exceli veergusid õigete näidetega täita. Ennustamisega on samuti raske. Robot pani sama kategooria alla loodusnähtuste (loomad, linnud) analüüsi tulemused ja mõned meditsiinilised teemad, nendes on andmeteadlased edukamad.

19 KONTAKT Raul Nugis Lighthouse CoE for Data & Analytics and Intelligent Automation