RAID Andmesalvestustehnoloogiad I395

Teema esitlus: "RAID Andmesalvestustehnoloogiad I395"— Esitluse väljavõte:

1 RAID Andmesalvestustehnoloogiad I395
1 1 7/30/2019 RAID Andmesalvestustehnoloogiad I395 Siim Vene 1 /

2 The IBM 350 Disk File was developed under the code-name RAMAC by an IBM. It was announced in 1956 with the then new IBM 305 RAMAC computer The IBM 350 drive had fifty 24-inch (0.6 m) platters, with a total capacity of five million 6-bit characters (3.75 megabytes) with an average access time of just under 1 second. The HDD weighed over a ton and stored 5 MB of data.’ 

3 All information stored on a traditional hard drive, like the above example, is done magnetically. If the computer needs to read information from the hard drive, it would read the magnetic polarities on the platter. One side of the magnetic polarity is 0, and the other is 1. Reading this as binary data, the computer can understand what the data is on the platter. For the computer to write information to the platter, the read/write head aligns the magnetic polarities, writing 0's and 1's that can be read later. A write head magnetises a region by generating a strong local magnetic field, and a read head detects the magnetisation of the regions

4

5 A NAND flash SSD is able to endure only a limited number of write cycles. The program/erase process causes a deterioration of the oxide layer that traps electrons in a NAND flash memory cell, and the SSD will eventually become unreliable, wear out and lose its ability to store data.

6 To read a cell, voltage is applied to the control gate and current flow from the source to drain is attempted. If there is no current flow, it signifies the floating gate is charged (binary 0) - as in the diagram above. If there is current flow, the floating gate is not charged (binary 1) - as in the diagram below.

7 Loenguteemad RAID ? Põhimõisted RAID-i tasemed Varuketas
7 7 7/30/2019 Loenguteemad RAID ? Põhimõisted RAID-i tasemed Varuketas Tarkvaraline ja riistvaraline RAID kontroller Tarkvara RAID-i vahendid

8 Probleem Mahutatavus Töökindlus
8 8 7/30/2019 Probleem Mahutatavus Töökindlus Ketas füüsiliselt hävinud, andmed kadunud Jõudlus Üksikult kettalt lugemine/kirjutamine aeglane Kiirus Aeglased kettad aga vaja sama raha eest rohkem

9 RAID RAID – Redundant Array of Inexpensive (Independent) Disks
9 7/30/2019 9 RAID RAID – Redundant Array of Inexpensive (Independent) Disks Loogiline vahekiht ketaste ja failisüsteemi vahel (andmete virtualiseerimine) Operatsioonisüsteemi jaoks on raidgrupp /dev/md* nähtav/kasutatav füüsilise kettana Andmetükkide suurus varieerub 16, 32, 64 või 128 ja 256 kB ulatuses Failisüsteem RAID In their June 1988 paper "A Case for Redundant Arrays of Inexpensive Disks (RAID)", presented at the SIGMOD conference, they argued that the top performing mainframe disk drives of the time could be beaten on performance by an array of the inexpensive drives that had been developed for the growing personal computer market. Ketas

10 10 7/30/2019 10 RAID RAID – Redundant Array of Inexpensive (Independent) Disks Loogiline vahekiht ketaste ja failisüsteemi vahel (andmete virtualiseerimine) Operatsioonisüsteemi jaoks on raidgrupp /dev/md* nähtav/kasutatav füüsilise kettana Andmetükkide suurus varieerub 16, 32, 64 või 128 ja 256 kB ulatuses Failisüsteem RAID Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust. Ketas

11 Striped ehk hargsalvestus
11 11 7/30/2019 Põhimõisted Striped ehk hargsalvestus andmete kirjutamine hargnevalt üle mitme ketta Mirror ehk peegeldus andmete peegeldamine ehk andmete dubleerimine Parity check ehk paarsuskontroll Kontrollkood andmete taastamiseks Rebuild ehk uuesti ülesse ehitama kettainfo taastamine teiste ketaste abil vabale kettale Hot Spare ehk tagavaraketas süsteemi ühendatud varuketas

12 12 12 7/30/2019 RAID0 Andmeblokkide kirjutamine hargnevalt (striped) erinevatele ketastele Minimaalselt 2 ketast Kettamaht = kettamahtude summa

13 RAID0 + Kiire kirjutamine ja lugemine Kettamahtu ei lähe kaduma -
13 13 7/30/2019 RAID0 + Kiire kirjutamine ja lugemine Kettamahtu ei lähe kaduma - Andmekao risk suur

14 RAID1 Andmeblokkide peegeldamine erinevatele ketastele (mirroring)
14 14 7/30/2019 RAID1 Andmeblokkide peegeldamine erinevatele ketastele (mirroring) Minimaalselt 2 ketast Kettamaht = kettamahtude summa/2

15 RAID1 + Andmekao risk minimaalne (dubleeritud andmed)
15 15 7/30/2019 RAID1 + Andmekao risk minimaalne (dubleeritud andmed) Lugemine kiire, kirjutamine sama, mis 1 ketta puhulgi - Pool kettamahust läheb kaduma

16 RAID1+0 aka RAID10 Mitu peeglit hargsalvestuses Minimaalselt 4 ketast
16 16 7/30/2019 RAID1+0 aka RAID10 Mitu peeglit hargsalvestuses Minimaalselt 4 ketast Kettamaht = kettamahtude summa /2 1 ketta hävimisel taastatakse ainult 1 ketas peegeldusest Kasutatakse andmebaaside puhul

17 RAID1+0 aka RAID10 + Saab kiiruse ja andmekao vähesuse -
17 17 7/30/2019 RAID1+0 aka RAID10 + Saab kiiruse ja andmekao vähesuse - Pool kettamahust läheb kaduma Kallim kui RAID5

18 18 18 7/30/2019 RAID5 Enimlevinud Kirjutab andmed kõikidele ketastele hargenevalt, kuid lisaks on (jagatud) paarsusinfo Minimaalselt 3 ketast Kettamaht = kettamahtude summa – ühe ketta maht

19 RAID5 Paarsusinfo leitakse loogilise XOR-i arvutusega
19 19 7/30/2019 RAID5 Paarsusinfo leitakse loogilise XOR-i arvutusega Paarsusinfo hargnevalt üle kõikide ketaste Kasutatakse failiserverites, veebiserverites, e-post jne

20

21 The parities are however stored together in a non default sized “stripe”, which could be for example 128 KB. That means that a certain amount of parity bits will be stored on the same physical disk, and then the next disk will hold the parity and so on. What works for 3 bits and 4 drives only, works for any number of bits and any number of drives. Real RAID 5 has the most common stripe size of 64k (65536 * 8 = bits ) So the real XOR engine only needs to deal with bits and not 3 bits as in our exercise. This is why the RAID 5 needs a very efficient XOR engine in order to calculate it fast.

22 RAID5 + Kaitseb 1 ketta hävimise eest
22 22 7/30/2019 RAID5 + Kaitseb 1 ketta hävimise eest Süsteemi üldmaksumus väike, st kadusid vähe - Kirjutamine keskmise kiirusega, kuna paarsusinfo kirjutamine võtab aega Aeglane ketta taastamine ehk rebuild

23 23 23 7/30/2019 RAID6 Kirjutab andmed kõikidele ketastele hargenevalt, kuid lisaks on (jagatud) paarsusinfo kahel kettal Minimaalselt 4 ketast Kettamaht = kettamahtude summa – kahe ketta maht

24 RAID6 + Kaitseb 2 ketta hävimise eest Kiire lugemine -
24 24 7/30/2019 RAID6 + Kaitseb 2 ketta hävimise eest Kiire lugemine - Kirjutamine keskmise kiirusega, kuna topelt paarsusinfo kirjutamine võtab aega Aeglane ketta taastamine ehk rebuild

25 RAID* RAID-ide maailm on kirju Nested RAID-s
25 25 7/30/2019 RAID* RAID-ide maailm on kirju Nested RAID-s Kombinatsioon erinevatest RAID-i tasemetest (omaduste kasutamine) – 10, 50 jms Vähemlevinud RAID-id RAID2 – bit level hargsalvestus RAID3 – byte level hargsalvestus (paarsuskontroll; lineaarne > kasutatakse streamimisel) RAID4 – block level hargsalvestus (paarsuskontroll eraldi kettal; lugemine kiire, kirjutamine/rebuild aeglane > kasutatakse arhiivimasinates) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

26 Varuketas ehk Hot Spare
26 26 7/30/2019 Varuketas ehk Hot Spare Tühi ketas kettatõrke kõrvaldamiseks Peegelduse puhul kopeeritakse andmed alles jäänud ketaste järgi Paarsusinfo puhul taastatakse andmed paarsusinfo põhjal allesjäänud ketastelt Varuketta kasutamise protsess: RAID OK (varuketas konfitud) > Raidgrupis üks ketas katki > varuketas võetakse kasutusele > rebuild; andmete kopeerimine > seadistatakse uus varuketas (jääb ootele, RAID OK) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

27 RAID kontroller Haldab ja kontrollib ketaste terviklikkust raidgrupis
27 27 7/30/2019 RAID kontroller Haldab ja kontrollib ketaste terviklikkust raidgrupis Vahendab I/O päringuid loogiliste ja füüsiliste ketaste vahel Tagab kettal olevate andmete taastamise kettatõrke korral Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

28 Riistvaraline RAID kontroller
28 28 7/30/2019 Riistvaraline RAID kontroller Spetsiaalne kontroller/kaart, mis lisatakse masina külge välise kaardina või on olemas juba emaplaadil Plussid Ei kasuta operatsioonisüsteemi ressursse (kiirem) Töökindlam Sõltumatu tarkvaraliste muudatuste osas Transporditav (ei sõltu operatsioonisüsteemist) Miinused Soetusmaksumus

29 Tarkvaraline RAID kontroller
29 29 7/30/2019 Tarkvaraline RAID kontroller Tarkvara, mis täidab RAID kontrolleri ülesandeid Plussid Odavam Ei vaja eraldi kontrollerit, ainult operatsioonisüsteemi tasemel RAID-i võimaldamist Miinused Mõjutab kogu masina jõudlust Kõik RAID-i tüübid pole toetatud opersatsioonisüsteemi uuenduste mõju suur Liigutamine keeruline (sõltuv operatsioonisüsteemist) Ühilduvuse probleemid

30 Tarkvaralise RAID-i haldusvahendid
30 30 7/30/2019 Tarkvaralise RAID-i haldusvahendid gnome-disks (kuni v3.12) mdadm (GUI: webmin) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

31 Vmware vsan, microsoft storagespaces, CEPH, Amazon S3
Software Defined Storage Vmware vsan, microsoft storagespaces, CEPH, Amazon S3

32 Ceph implements distributed object storage
Ceph implements distributed object storage. Ceph’s software libraries provide client applications with direct access to the reliable autonomic distributed object store (RADOS) object-based storage system

33 "Captive" object storage systems like Facebook's Haystack have scaled impressively. In April 2009, Haystack was managing 60 billion photos and 1.5 petabytes of storage, adding 220 million photos and 25 terabytes a week.[24][38] Facebook more recently stated that they were adding 350 million photos a day and were storing 240 billion photos.[39] This could equal as much as 357 petabytes.[40]

34 34 34 7/30/2019 Viited Tarkvaraline RAID Ubuntus FakeRAID - RAID serveris RAID Linuxis RAID tutvustus RAID põhimõtted Tarkvaralise RAIDi ehitamise kiirendamine Riistvaraline vs tarkvaraline RAID Gnome Disks

35 Küsimused? Tänan tähelepanu eest!
35 35 7/30/2019 Küsimused? Tänan tähelepanu eest! TTÜ IT KOLLEDŽ Raja 4C, Tallinn tel 35 /