X-tee v6 monitooring Toomas Mölder 22. aprill 2016

Teema esitlus: "X-tee v6 monitooring Toomas Mölder 22. aprill 2016"— Esitluse väljavõte:

1 X-tee v6 monitooring Toomas Mölder 22. aprill 2016
Andmevahetusplatvorm X-tee Räägin teile andmevahetusplatvormist X-tee.

2

3

4 Sisukord AS IS, TO BE Kellele, milleks? Hanke tingimused, etapid
Keskkonnaandmed Tegevusstatistika, andmekogumid Koondstatistika, aruanded

5 AS IS v5 „jälgimisjaam“, turvikust eraldi komponent Cyberneticalt, liikmele 800 €/aasta, rendileping kuni 26.10 Eeldab liikmelt täiendavat monitooringuvahendit (Zabbix, Nagios), kogukulu liikmele 1600€/aasta Andmevahetuseks vajalik täiendav, alternatiivne kanal Kasutavad vähesed liikmed (<10%), info jõuab RIAni suurte kadudega Meetrika ja statistika kokkupanek käsitöö Keeruline, läbipaistmatu, rahulolematus Varasem monitooringuhange ebaõnnestus, liiga kallis Soome valmistatud monitooringulahendus mestimisel

6 Raske on autot juhtida taga-istmelt ja vaid peeglisse vaadates
Kopa juhtimine kangidega on keerulisem kui isesõitva auto roolis suuna korrigeerimine TO BE X-tee on hajusat ning koostoimelist riigiinfosüsteemi võimaldav juhitav keskkond Tehniliselt lihtne andmevahetus X-tee liikmetele X-teelt kvaliteetse monitooringu info kättesaadavaks tegemine, juhtimisotsused Kõigi liikmete kaetus Senisest väiksem kulu „Ma soovin näha statistikat - numbrid ei ole rassistlikud, numbrite peitmine mingi rühma tegude varjamiseks on rassistlik. Esmalt on see sisend ja vahend mõõtmiseks, teisalt tõmbab see tooli igasugu … fake-statistikalt“ Renee Trisberg,

7 Monitooringulahenduse põhimõtted (TO BE)
Keskkonna-andmed Tegevusstatistika Liikmetele tasuta nii EE kui FI kui perspektiivsed (EE turvikuid , FI ???) Open-source, koodirepo (ntx Github), liht- või MIT litsents Paigaldub koos turvaserveriga ilma lisatööta Turvaserveri koosseisus, nii tehnoloogiliselt kui protokolliliselt Ühildub enamlevinud seire ja logide anal. vahenditega (Zabbix, Nagios) Võimekus liikmete vaheliste seoste koondpildi tekkeks

8 Kellele? Nii EE kui FI kui tulevased föderatsioonid
Liikmele (igaühele), enda keskkonna-monitooring ja enda detailne statistika X-tee keskusele (RIA), nii iseenda kui liikmete üldine seisund, liikmete ja teenuste koondstatistika Avalikkusele, liikmete ja teenuste koondstatistika OpenData, anonümiseeritult teenuste koondstatistika

9

10 SF taotlus okt 2015 Etapid 1-3 1. Monitooringu realisatsioon – mai – sept.2016 Arendamine, automaattestid Zabbix paigaldus / häälestus 2. Anomaaliate tuvastamine, Zabbix häälestus – sept.2016 – märts.2017 IT mõju-uuringute keskus CITIS (Center of IT Impact Studies) 3. Levitus, statistika, aruanded, avaandmed – okt.2016 – juuni.2017

11 Keskkonna-andmed (ei olnud taotluse osa, pole skoobis)
Valmistatud Soomes, Github OS, DB, komponentide ja teekide ver, olulised häälestusparameetrid, CPU, RAM, HDD etc Kood ülevaatamisel, mestimisel Masterisse (XM) Keskkonnaandmete sensor, agent ja seireteenus Väljund JMXMP (Nagios, Zabbix etc) liikmele Väljund X-tee päring RIAle

12 Tegevusstatistika Hange ettevalmistamisel Avatud konkurss
JMXMP liikmele, X-tee päring tema andme-vahetuspartnerile ja RIAle Turvaserveris: Tegevusstatistika puhver Tegevusstatistika agent Tegevusstatistika seireteenus

13

14

15

16 Tegevusstatistika Peetakse igas turvaserveris (klastri elemendis)
Sissetulnud (päringud) ja väljaläinud (vastused) Agregeeritud andmed (15 min, mahu vähendamiseks) Iga partneri (asutus või 3rdParty) iga teenuse kohta väärtust (vaata jrgm slaid)

17 Tegevusstatistika andmekogum (1)
Summaarsed ajad (päringu saabumisest vastuse saatmiseni) ja Liikme keskkonna ajad (päringu teenindamine liikme adapterserveri / andmebaasi poolt) MIN, AVG, MAX teenuse täitmiseks kulunud aeg ? Või 3-sigma, st 68–95–99.7 reegel? Õnnestunud #, Ebaõnnestunud # (kokku ja liikmest tingitult, SOAP FAULT) Väljaläinud päringute (vastuste) puhul on kõik vead kapseldatud SOAP FAULTi Sissetulev ja väljaminev maht (bait, koos manustega)

18 Tegevusstatistika andmekogum (2)
Lisaks eelnevale, seis agendi käivitamise algusest, sekundi täpsusega: Käivitamise aeg Viimati õnnestunud Viimati ebaõnnestunud Viimane SOAP FAULT Küsida saab nii kogu komplekti kui ka iga üksikut andmekomponenti, näiteks sissetulevaid ja väljaminevaid eraldi Küsida saab ka üle pikema aja, korraga mitme agregeeritud perioodi (15 min) andmeid

19 Tegevusstatistika

20 Tegevusstatistika Liikmele – üldine arusaamine andmevahetuspartnerite ja lepingute kaupa, leida üles enim ressurssinõudvad päringud, näha anomaaliatest võimalikke väärkasutusi, planeerida ressurssi Andmevahetuspartnerile – milline on minu teenuste seis minu andmevahetuspartneri poolt vaadates RIAle – ennetada liikme käideldavusintsidente, lühendada ning täpsustada probleemide lahendusi, näha anomaaliatest võimalikke väärkasutusi, planeerida ressurssi

21 Koondstatistika, aruanded
Liikmele endale, RIAle (teenusehaldur, valdkond), avalikkusele, riigivalitsejatele Oktoober 2016 – juuni 2017 Kes on andmeandjad, kes on saajad Teenuste kasutuse arv, andmemahud, muutus ajas Anomaaliad, väärkasutused, ründed, andmeleke, … Planeerimine

22 Aitäh! Toomas Mölder toomas.molder@ria.ee ria.ee/ee/x-tee-kontakt.html
X-teed tutvustavad materjalid on valminud EL struktuuritoetuse toetusskeemist “Infoühiskonna teadlikkuse tõstmine” Euroopa Regionaalarengu Fondi rahastusel.