X-tee v6 monitooring Toomas Mölder 22. aprill 2016 Andmevahetusplatvorm X-tee Räägin teile andmevahetusplatvormist X-tee.
Sisukord AS IS, TO BE Kellele, milleks? Hanke tingimused, etapid Keskkonnaandmed Tegevusstatistika, andmekogumid Koondstatistika, aruanded
AS IS v5 „jälgimisjaam“, turvikust eraldi komponent Cyberneticalt, liikmele 800 €/aasta, rendileping kuni 26.10 Eeldab liikmelt täiendavat monitooringuvahendit (Zabbix, Nagios), kogukulu liikmele 1600€/aasta Andmevahetuseks vajalik täiendav, alternatiivne kanal Kasutavad vähesed liikmed (<10%), info jõuab RIAni suurte kadudega Meetrika ja statistika kokkupanek käsitöö Keeruline, läbipaistmatu, rahulolematus Varasem monitooringuhange ebaõnnestus, liiga kallis Soome valmistatud monitooringulahendus mestimisel
Raske on autot juhtida taga-istmelt ja vaid peeglisse vaadates Kopa juhtimine kangidega on keerulisem kui isesõitva auto roolis suuna korrigeerimine TO BE X-tee on hajusat ning koostoimelist riigiinfosüsteemi võimaldav juhitav keskkond Tehniliselt lihtne andmevahetus X-tee liikmetele X-teelt kvaliteetse monitooringu info kättesaadavaks tegemine, juhtimisotsused Kõigi liikmete kaetus Senisest väiksem kulu „Ma soovin näha statistikat - numbrid ei ole rassistlikud, numbrite peitmine mingi rühma tegude varjamiseks on rassistlik. Esmalt on see sisend ja vahend mõõtmiseks, teisalt tõmbab see tooli igasugu … fake-statistikalt“ Renee Trisberg, https://www.facebook.com/notes/renee-trisberg/minu-karje-16/10207645356006307
Monitooringulahenduse põhimõtted (TO BE) Keskkonna-andmed Tegevusstatistika Liikmetele tasuta nii EE kui FI kui perspektiivsed (EE turvikuid 200+250, FI ???) Open-source, koodirepo (ntx Github), liht- või MIT litsents Paigaldub koos turvaserveriga ilma lisatööta Turvaserveri koosseisus, nii tehnoloogiliselt kui protokolliliselt Ühildub enamlevinud seire ja logide anal. vahenditega (Zabbix, Nagios) Võimekus liikmete vaheliste seoste koondpildi tekkeks
Kellele? Nii EE kui FI kui tulevased föderatsioonid Liikmele (igaühele), enda keskkonna-monitooring ja enda detailne statistika X-tee keskusele (RIA), nii iseenda kui liikmete üldine seisund, liikmete ja teenuste koondstatistika Avalikkusele, liikmete ja teenuste koondstatistika OpenData, anonümiseeritult teenuste koondstatistika
SF taotlus okt 2015 Etapid 1-3 1. Monitooringu realisatsioon – mai – sept.2016 Arendamine, automaattestid Zabbix paigaldus / häälestus 2. Anomaaliate tuvastamine, Zabbix häälestus – sept.2016 – märts.2017 IT mõju-uuringute keskus CITIS (Center of IT Impact Studies) 3. Levitus, statistika, aruanded, avaandmed – okt.2016 – juuni.2017
Keskkonna-andmed (ei olnud taotluse osa, pole skoobis) Valmistatud Soomes, Github OS, DB, komponentide ja teekide ver, olulised häälestusparameetrid, CPU, RAM, HDD etc Kood ülevaatamisel, mestimisel Masterisse (XM) Keskkonnaandmete sensor, agent ja seireteenus Väljund JMXMP (Nagios, Zabbix etc) liikmele Väljund X-tee päring RIAle
Tegevusstatistika Hange ettevalmistamisel Avatud konkurss JMXMP liikmele, X-tee päring tema andme-vahetuspartnerile ja RIAle Turvaserveris: Tegevusstatistika puhver Tegevusstatistika agent Tegevusstatistika seireteenus
Tegevusstatistika Peetakse igas turvaserveris (klastri elemendis) Sissetulnud (päringud) ja väljaläinud (vastused) Agregeeritud andmed (15 min, mahu vähendamiseks) Iga partneri (asutus või 3rdParty) iga teenuse kohta 10-12 väärtust (vaata jrgm slaid)
Tegevusstatistika andmekogum (1) Summaarsed ajad (päringu saabumisest vastuse saatmiseni) ja Liikme keskkonna ajad (päringu teenindamine liikme adapterserveri / andmebaasi poolt) MIN, AVG, MAX teenuse täitmiseks kulunud aeg ? Või 3-sigma, st 68–95–99.7 reegel? Õnnestunud #, Ebaõnnestunud # (kokku ja liikmest tingitult, SOAP FAULT) Väljaläinud päringute (vastuste) puhul on kõik vead kapseldatud SOAP FAULTi Sissetulev ja väljaminev maht (bait, koos manustega)
Tegevusstatistika andmekogum (2) Lisaks eelnevale, seis agendi käivitamise algusest, sekundi täpsusega: Käivitamise aeg Viimati õnnestunud Viimati ebaõnnestunud Viimane SOAP FAULT Küsida saab nii kogu komplekti kui ka iga üksikut andmekomponenti, näiteks sissetulevaid ja väljaminevaid eraldi Küsida saab ka üle pikema aja, korraga mitme agregeeritud perioodi (15 min) andmeid
Tegevusstatistika
Tegevusstatistika Liikmele – üldine arusaamine andmevahetuspartnerite ja lepingute kaupa, leida üles enim ressurssinõudvad päringud, näha anomaaliatest võimalikke väärkasutusi, planeerida ressurssi Andmevahetuspartnerile – milline on minu teenuste seis minu andmevahetuspartneri poolt vaadates RIAle – ennetada liikme käideldavusintsidente, lühendada ning täpsustada probleemide lahendusi, näha anomaaliatest võimalikke väärkasutusi, planeerida ressurssi
Koondstatistika, aruanded Liikmele endale, RIAle (teenusehaldur, valdkond), avalikkusele, riigivalitsejatele Oktoober 2016 – juuni 2017 Kes on andmeandjad, kes on saajad Teenuste kasutuse arv, andmemahud, muutus ajas Anomaaliad, väärkasutused, ründed, andmeleke, … Planeerimine
Aitäh! Toomas Mölder toomas.molder@ria.ee ria.ee/ee/x-tee-kontakt.html X-teed tutvustavad materjalid on valminud EL struktuuritoetuse toetusskeemist “Infoühiskonna teadlikkuse tõstmine” Euroopa Regionaalarengu Fondi rahastusel.