RAID Andmesalvestustehnoloogiad I395 1 1 7/30/2019 RAID Andmesalvestustehnoloogiad I395 Siim Vene Siim.vene@ttu.ee https://wiki.itcollege.ee/index.php/User:Edmund#eesti_keeles 1 /

The IBM 350 Disk File was developed under the code-name RAMAC by an IBM. It was announced in 1956 with the then new IBM 305 RAMAC computer The IBM 350 drive had fifty 24-inch (0.6 m) platters, with a total capacity of five million 6-bit characters (3.75 megabytes) with an average access time of just under 1 second. The HDD weighed over a ton and stored 5 MB of data.’ 

All information stored on a traditional hard drive, like the above example, is done magnetically. If the computer needs to read information from the hard drive, it would read the magnetic polarities on the platter. One side of the magnetic polarity is 0, and the other is 1. Reading this as binary data, the computer can understand what the data is on the platter. For the computer to write information to the platter, the read/write head aligns the magnetic polarities, writing 0's and 1's that can be read later. A write head magnetises a region by generating a strong local magnetic field, and a read head detects the magnetisation of the regions

A NAND flash SSD is able to endure only a limited number of write cycles. The program/erase process causes a deterioration of the oxide layer that traps electrons in a NAND flash memory cell, and the SSD will eventually become unreliable, wear out and lose its ability to store data.

To read a cell, voltage is applied to the control gate and current flow from the source to drain is attempted. If there is no current flow, it signifies the floating gate is charged (binary 0) - as in the diagram above. If there is current flow, the floating gate is not charged (binary 1) - as in the diagram below.

Loenguteemad RAID ? Põhimõisted RAID-i tasemed Varuketas 7 7 7/30/2019 Loenguteemad RAID ? Põhimõisted RAID-i tasemed Varuketas Tarkvaraline ja riistvaraline RAID kontroller Tarkvara RAID-i vahendid

Probleem Mahutatavus Töökindlus 8 8 7/30/2019 Probleem Mahutatavus Töökindlus Ketas füüsiliselt hävinud, andmed kadunud Jõudlus Üksikult kettalt lugemine/kirjutamine aeglane Kiirus Aeglased kettad aga vaja sama raha eest rohkem

RAID RAID – Redundant Array of Inexpensive (Independent) Disks 9 7/30/2019 9 RAID RAID – Redundant Array of Inexpensive (Independent) Disks Loogiline vahekiht ketaste ja failisüsteemi vahel (andmete virtualiseerimine) Operatsioonisüsteemi jaoks on raidgrupp /dev/md* nähtav/kasutatav füüsilise kettana Andmetükkide suurus varieerub 16, 32, 64 või 128 ja 256 kB ulatuses Failisüsteem RAID In their June 1988 paper "A Case for Redundant Arrays of Inexpensive Disks (RAID)", presented at the SIGMOD conference, they argued that the top performing mainframe disk drives of the time could be beaten on performance by an array of the inexpensive drives that had been developed for the growing personal computer market. Ketas

10 7/30/2019 10 RAID RAID – Redundant Array of Inexpensive (Independent) Disks Loogiline vahekiht ketaste ja failisüsteemi vahel (andmete virtualiseerimine) Operatsioonisüsteemi jaoks on raidgrupp /dev/md* nähtav/kasutatav füüsilise kettana Andmetükkide suurus varieerub 16, 32, 64 või 128 ja 256 kB ulatuses Failisüsteem RAID Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust. Ketas

Striped ehk hargsalvestus 11 11 7/30/2019 Põhimõisted Striped ehk hargsalvestus andmete kirjutamine hargnevalt üle mitme ketta Mirror ehk peegeldus andmete peegeldamine ehk andmete dubleerimine Parity check ehk paarsuskontroll Kontrollkood andmete taastamiseks Rebuild ehk uuesti ülesse ehitama kettainfo taastamine teiste ketaste abil vabale kettale Hot Spare ehk tagavaraketas süsteemi ühendatud varuketas

12 12 7/30/2019 RAID0 Andmeblokkide kirjutamine hargnevalt (striped) erinevatele ketastele Minimaalselt 2 ketast Kettamaht = kettamahtude summa http://www.acnc.com/raidedu/0

RAID0 + Kiire kirjutamine ja lugemine Kettamahtu ei lähe kaduma - 13 13 7/30/2019 RAID0 + Kiire kirjutamine ja lugemine Kettamahtu ei lähe kaduma - Andmekao risk suur

RAID1 Andmeblokkide peegeldamine erinevatele ketastele (mirroring) 14 14 7/30/2019 RAID1 Andmeblokkide peegeldamine erinevatele ketastele (mirroring) Minimaalselt 2 ketast Kettamaht = kettamahtude summa/2 http://www.acnc.com/raidedu/1

RAID1 + Andmekao risk minimaalne (dubleeritud andmed) 15 15 7/30/2019 RAID1 + Andmekao risk minimaalne (dubleeritud andmed) Lugemine kiire, kirjutamine sama, mis 1 ketta puhulgi - Pool kettamahust läheb kaduma

RAID1+0 aka RAID10 Mitu peeglit hargsalvestuses Minimaalselt 4 ketast 16 16 7/30/2019 RAID1+0 aka RAID10 Mitu peeglit hargsalvestuses Minimaalselt 4 ketast Kettamaht = kettamahtude summa /2 1 ketta hävimisel taastatakse ainult 1 ketas peegeldusest Kasutatakse andmebaaside puhul http://www.acnc.com/raidedu/10

RAID1+0 aka RAID10 + Saab kiiruse ja andmekao vähesuse - 17 17 7/30/2019 RAID1+0 aka RAID10 + Saab kiiruse ja andmekao vähesuse - Pool kettamahust läheb kaduma Kallim kui RAID5

18 18 7/30/2019 RAID5 Enimlevinud Kirjutab andmed kõikidele ketastele hargenevalt, kuid lisaks on (jagatud) paarsusinfo Minimaalselt 3 ketast Kettamaht = kettamahtude summa – ühe ketta maht http://www.acnc.com/raidedu/5

RAID5 Paarsusinfo leitakse loogilise XOR-i arvutusega 19 19 7/30/2019 RAID5 Paarsusinfo leitakse loogilise XOR-i arvutusega Paarsusinfo hargnevalt üle kõikide ketaste Kasutatakse failiserverites, veebiserverites, e-post jne

The parities are however stored together in a non default sized “stripe”, which could be for example 128 KB. That means that a certain amount of parity bits will be stored on the same physical disk, and then the next disk will hold the parity and so on. What works for 3 bits and 4 drives only, works for any number of bits and any number of drives. Real RAID 5 has the most common stripe size of 64k (65536 * 8 = 524288 bits ) So the real XOR engine only needs to deal with 524288 bits and not 3 bits as in our exercise. This is why the RAID 5 needs a very efficient XOR engine in order to calculate it fast.

RAID5 + Kaitseb 1 ketta hävimise eest 22 22 7/30/2019 RAID5 + Kaitseb 1 ketta hävimise eest Süsteemi üldmaksumus väike, st kadusid vähe - Kirjutamine keskmise kiirusega, kuna paarsusinfo kirjutamine võtab aega Aeglane ketta taastamine ehk rebuild

23 23 7/30/2019 RAID6 Kirjutab andmed kõikidele ketastele hargenevalt, kuid lisaks on (jagatud) paarsusinfo kahel kettal Minimaalselt 4 ketast Kettamaht = kettamahtude summa – kahe ketta maht http://www.acnc.com/raidedu/6

RAID6 + Kaitseb 2 ketta hävimise eest Kiire lugemine - 24 24 7/30/2019 RAID6 + Kaitseb 2 ketta hävimise eest Kiire lugemine - Kirjutamine keskmise kiirusega, kuna topelt paarsusinfo kirjutamine võtab aega Aeglane ketta taastamine ehk rebuild

RAID* RAID-ide maailm on kirju Nested RAID-s 25 25 7/30/2019 RAID* RAID-ide maailm on kirju Nested RAID-s Kombinatsioon erinevatest RAID-i tasemetest (omaduste kasutamine) – 10, 50 jms Vähemlevinud RAID-id RAID2 – bit level hargsalvestus RAID3 – byte level hargsalvestus (paarsuskontroll; lineaarne > kasutatakse streamimisel) RAID4 – block level hargsalvestus (paarsuskontroll eraldi kettal; lugemine kiire, kirjutamine/rebuild aeglane > kasutatakse arhiivimasinates) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

Varuketas ehk Hot Spare 26 26 7/30/2019 Varuketas ehk Hot Spare Tühi ketas kettatõrke kõrvaldamiseks Peegelduse puhul kopeeritakse andmed alles jäänud ketaste järgi Paarsusinfo puhul taastatakse andmed paarsusinfo põhjal allesjäänud ketastelt Varuketta kasutamise protsess: RAID OK (varuketas konfitud) > Raidgrupis üks ketas katki > varuketas võetakse kasutusele > rebuild; andmete kopeerimine > seadistatakse uus varuketas (jääb ootele, RAID OK) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

RAID kontroller Haldab ja kontrollib ketaste terviklikkust raidgrupis 27 27 7/30/2019 RAID kontroller Haldab ja kontrollib ketaste terviklikkust raidgrupis Vahendab I/O päringuid loogiliste ja füüsiliste ketaste vahel Tagab kettal olevate andmete taastamise kettatõrke korral Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust. http://www.tecmint.com/wp-content/uploads/2014/10/Hardware-RAID.jpg

Riistvaraline RAID kontroller 28 28 7/30/2019 Riistvaraline RAID kontroller Spetsiaalne kontroller/kaart, mis lisatakse masina külge välise kaardina või on olemas juba emaplaadil Plussid Ei kasuta operatsioonisüsteemi ressursse (kiirem) Töökindlam Sõltumatu tarkvaraliste muudatuste osas Transporditav (ei sõltu operatsioonisüsteemist) Miinused Soetusmaksumus

Tarkvaraline RAID kontroller 29 29 7/30/2019 Tarkvaraline RAID kontroller Tarkvara, mis täidab RAID kontrolleri ülesandeid Plussid Odavam Ei vaja eraldi kontrollerit, ainult operatsioonisüsteemi tasemel RAID-i võimaldamist Miinused Mõjutab kogu masina jõudlust Kõik RAID-i tüübid pole toetatud opersatsioonisüsteemi uuenduste mõju suur Liigutamine keeruline (sõltuv operatsioonisüsteemist) Ühilduvuse probleemid

Tarkvaralise RAID-i haldusvahendid 30 30 7/30/2019 Tarkvaralise RAID-i haldusvahendid gnome-disks (kuni v3.12) mdadm (GUI: webmin) Peegelduse ja paarsuskontrolliga võimalik üle elada ühe või kahe ketta hävinemine. Ketta hävinemisel uue lisamine oluliselt mugavam ning lihtsam kui ilma raidita ketaste kasutamise puhul. Kirjutamise kiirust on võimalik tõsta kõikide enimlevinud raidi tasemete juures, v.a raid1 ehk peegeldus. Raid0 ehk hargalvestus pakub aga suurt kiirust, ilma töökindluseta. Raid 5 pakub ka kiiret kirjutamist, aga lisaks on veel paarsusinfo kontrolli tõttu ka 1 ketta hävingu eest kaitse. Kuna info kirjutatakse erinevatele ketastele harali ehk vööti, siis on süsteemil rohkem jõudlust.

Vmware vsan, microsoft storagespaces, CEPH, Amazon S3 Software Defined Storage Vmware vsan, microsoft storagespaces, CEPH, Amazon S3

Ceph implements distributed object storage Ceph implements distributed object storage. Ceph’s software libraries provide client applications with direct access to the reliable autonomic distributed object store (RADOS) object-based storage system

"Captive" object storage systems like Facebook's Haystack have scaled impressively. In April 2009, Haystack was managing 60 billion photos and 1.5 petabytes of storage, adding 220 million photos and 25 terabytes a week.[24][38] Facebook more recently stated that they were adding 350 million photos a day and were storing 240 billion photos.[39] This could equal as much as 357 petabytes.[40]

34 34 7/30/2019 Viited Tarkvaraline RAID Ubuntus https://help.ubuntu.com/community/Installation/SoftwareRAID https://wiki.ubuntu.com/Raid FakeRAID - https://help.ubuntu.com/community/FakeRaidHowto RAID serveris https://help.ubuntu.com/lts/serverguide/advanced-installation.html RAID Linuxis https://raid.wiki.kernel.org/index.php/RAID_setup RAID tutvustus http://www.linux-mag.com/id/7924/ RAID põhimõtted http://www.acnc.com/raidedu/0 Tarkvaralise RAIDi ehitamise kiirendamine https://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html Riistvaraline vs tarkvaraline RAID https://www.cyberciti.biz/tips/raid-hardware-vs-raid-software.html Gnome Disks https://en.wikipedia.org/wiki/GNOME_Disks http://askubuntu.com/questions/500549/how-to-run-gnome-disk-utility http://www.tldp.org/HOWTO/Software-RAID-0.4x-HOWTO-2.html http://www.raid-calculator.com

Küsimused? Tänan tähelepanu eest! 35 35 7/30/2019 Küsimused? Tänan tähelepanu eest! TTÜ IT KOLLEDŽ Raja 4C, 12616 Tallinn tel +372 628 5800 info@itcollege.ee http://www.itcollege.ee/ 35 /