Version vom 14. Februar 2025, 14:11 Uhr

Linux/Software-RAID - Physikalische Datenträger zu logischen Laufwerken zusammenschließen

Beschreibung

Software-RAID

Schnellerer Datenzugriff
Erhöhte Verfügbarkeit
im Falle eines Festplattendefektes

Es werden nur Partitionen gleicher Größe verwendet, da sonst Speicherkapazitäten ungenutzt bleiben

Hardware-RAID und Software-RAID machen beide das Gleiche
Von Software-RAID spricht man, wenn das Zusammenwirken der Festplatten komplett softwareseitig organisiert wird

Dieser Artikel Beschreibt die Nutzung eines Software-RAIDs

Welches die Interaktion von mehreren Laufwerken in einem Linux-Betriebssystem organisiert
ohne dafür einen Hardware-RAID-Controller zu verwenden

Software/Hardware-RAID

Pro Software-RAID

Software-RAIDs gibt es als Open-Source-Software

Bei Defekt des Betriebssystems, kann das RAID oft noch mit einer neuen Installation des gleichen Betriebssystems wieder eingelesen werden
Bei Software-RAIDs auf BIOS-Ebene (Host-RAID-Systemen) ist das nicht immer so

Contra Software-RAID

Benutzt den Prozessor und verbraucht Ressourcen

Bei einem RAID, das auf dem Betriebssystem (OS) eingerichtet wurde, profitiert das OS selber nicht vom RAID

Pro Hardware-RAID

Entlastung der Host-CPU.Alle Berechnungen werden vom RAID-Controller gemacht
Steht schon beim Booten zur Verfügung
- Das OS profitiert vom RAID
Unterstützt eine Vielzahl von Betriebssystemen

Contra Hardware-RAID

Bei RAID-Controller-Defekt - kann kein baugleiches Modell aufgetrieben werden, wird das RAID zum Datengrab
Zusätzliche Kosten für einen RAID-Controller (kein Fake-RAID)

Fake-RAIDs

können nur eine begrenzte Anzahl von RAID-Leveln, häufig nur RAID-Level 0 und 1 Um die Controller/Karten so billig wie möglich zu halten, überlassen die Hersteller die RAID-Logik der CPU => Benutzt also den Prozessor und verbraucht Ressourcen

Status des Software-RAID auslesen

Verwenden Sie dazu folgenden Befehl:

cat /proc/mdstat

Ausgabe für ein nicht vorhandenes RAID:

Personalities : [raid1]
unused devices: <none>

Ausgabe für ein RAID1:

Personalities : [raid1]
md2 : active raid1 sda3[2] sdb3[1]
     234405504 blocks super 1.2 [2/2] [UU]
     bitmap: 0/2 pages [0KB], 65536KB chunk

md1 : active raid1 sda2[2] sdb2[1]
     523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda1[2] sdb1[1]
     33521664 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Ausgabe für ein RAID0 (Die /boot-Partition md0 muss immer als RAID1 eingerichtet sein, um davon booten zu können)

Personalities : [raid1] [raid0]
md2 : active raid0 sda3[0] sdb3[1]
     883956736 blocks super 1.2 512k chunks

md1 : active raid0 sda2[0] sdb2[1]
     52393984 blocks super 1.2 512k chunks

md0 : active raid1 sda1[0] sdb1[1]
     523264 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Wenn unter einer der Partitionen ein Fortschritts-Balken dargestellt wird, läuft derzeit ein RAID-Resync-Prozess:

md0 : active raid1 sdb1[0] sdc1[1]
    2095040 blocks super 1.2 [2/2] [UU]
       [====>................]  resync = 32.7% (418656/2095040) finish=4.2min speed=131219K/sec

Hinzufügen eines Software-RAID-Arrays

In unserem Beispiel-Szenario sind die Laufwerke /dev/sda bereits /dev/sdb in RAID1-Arrays konfiguriert, welche das Betriebssystem enthalten:

cat /proc/mdstat Personalities : [raid1] md2 : active raid1 sda3[2] sdb3[1]

     234405504 blocks super 1.2 [2/2] [UU]
     bitmap: 0/2 pages [0KB], 65536KB chunk

md1 : active raid1 sda2[2] sdb2[1]

     523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda1[2] sdb1[1]

     33521664 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Es sind jedoch zwei weitere Laufwerke vorhanden (/dev/sdc und /dev/sdd), die wir als Daten-Laufwerk in einem RAID1-Array nutzen möchten. Dazu muss zuerst das RAID-Array hinzugefügt werden:

mdadm --create --verbose /dev/md3 --level=1 --raid-devices=2 /dev/sdc /dev/sdd

Anschließend sollte die RAID-Konfiguration wie folgt aussehen:

cat /proc/mdstat Personalities : [raid1] md3 : active raid1 sdc1[0] sdd1[1]

    2095040 blocks super 1.2 [2/2] [UU]
       [====>................]  resync = 32.7% (418656/2095040) finish=4.2min speed=131219K/sec

md2 : active raid1 sda3[2] sdb3[1]

     234405504 blocks super 1.2 [2/2] [UU]
     bitmap: 0/2 pages [0KB], 65536KB chunk

md1 : active raid1 sda2[2] sdb2[1]

     523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda1[2] sdb1[1]

     33521664 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Nun kann die neue Partition nach Belieben formatiert (hier EXT4) und eingehängt werden:

mkfs.ext4 /dev/md3 mount /dev/md3 /mnt

E-Mail-Benachrichtigung bei Ausfall einer Festplatte im Software-RAID

Voraussetzung: Ein Mailserver Ihrer Wahl (z.B. Sendmail) muss bereits installiert und konfiguriert sein.

Debian/Ubuntu/CentOS

Öffnen Sie /etc/mdadm/mdadm.conf bzw. /etc/mdadm.conf (CentOS) in einem Editor und passen Sie folgende Zeile an

MAILADDR holu@example.com

Hier kann direkt eine Zieladresse angegeben werden. Alternativ bietet es sich an, alle an root gerichteten Emails via /etc/aliases an eine bestimmte Mailadresse weiterzuleiten.

Optional kann auch die Absenderadresse konfiguriert werden:

MAILFROM mdadm@example.com

Wichtig bei Debian und Ubuntu ist, dass AUTOCHECK in der Datei /etc/default/mdadm auf true gestellt ist

grep AUTOCHECK= /etc/default/mdadm
AUTOCHECK=true

openSUSE

Öffnen Sie /etc/sysconfig/mdadm in einem Editor und verändern Sie die Variable MDADM_MAIL auf die gewünschte Adresse, an die Benachrichtigungen gesendet werden sollen:

MDADM_MAIL="holu@example.com"

Konfiguration prüfen

Ihre Konfiguration lässt sich mittels folgendem Befehl verifizieren, welcher per mdadm eine Test-Mail generiert und an die angegebene Adresse versendet:

mdadm --monitor --test --oneshot /dev/md0

Weiterhin sollten Sie noch sicherstellen, dass die Datei /etc/cron.daily/mdadm folgende Zeile enthält, welche für das tägliche Monitoring des RAIDs zuständig ist:

exec --monitor --scan --oneshot

Software-RAID auflösen

Um ein Software-RAID aufzulösen können folgende Befehle verwendet werden. Falls es sich dabei um die System-Partitionen handelt, sollte dazu das Rescue-System gebootet werden.

mdadm --stop /dev/md0
mdadm --stop /dev/md1
mdadm --stop /dev/md2
mdadm --remove /dev/md0
mdadm --remove /dev/md1
mdadm --remove /dev/md2

Danach können die Laufwerke wieder normal formatiert werden (zb. mit ext4):

mkfs.ext4 /dev/sda
mkfs.ext4 /dev/sdb

Das Ergebnis kann mittels..

cat /proc/mdstat

...und...

fdisk -l

überprüft werden. Das Software-RAID sollte nun verschwunden sein

Anhang

Siehe auch

Links

HowTo

Weblinks

Linux Software RAID

TMP

allgemeines Software-RAID unter Linux

Ein RAID (Redundant Array of Independent Disks) dient dazu, mehrere physikalische Festplatten zu einem oder mehreren logischen Laufwerken zu vereinen und dadurch einen schnelleren Datenzugriff und/oder eine erhöhte Verfügbarkeit des Systems im Falle eines Festplattendefektes zu erreichen

Native Hardware-RAID-Controller, die unter Linux unterstützt werden (z. B. von 3Ware, Adaptec, etc.), sind aber für den Heimgebrauch oft zu teuer. Diese braucht man aber nicht zwingend, wenn man unter Linux ein Software-RAID verwendet

Als weitere Alternative können auch sog. FakeRAID-Controller verwendet werden, z. B. Onboard-RAID-Controller. Allerdings wird von dieser Variante im Allgemeinen abgeraten, da beispielsweise oft Kernelmodule (Treiber) fehlen oder diese nur für bestimmte Kernelversionen zur Verfügung stehen

Dies spricht dann eher für ein Software-Raid, zumal bei modernen, schnellen CPUs die zusätzliche Rechenbelastung für ein Software-RAID kaum eine Rolle spielt

Der Einsatz der Fake-Raid Variante würde dann Sinn machen, wenn via Dual Boot Linux und Windows auf die gleichen RAID-Partitionen zugreifen sollen

Außerdem sollte man beachten, dass sowohl Software-Raid als auch Fake-Raid keinen batteriegepufferten Cache besitzen

Dies kann bei einem Stromausfall zum Datenverlust führen (write hole in den RAID-Leveln 5 und insbesondere 6)

Grundsätzliche Informationen

Im Allgemeinen macht es nur Sinn, Partitionen gleicher Größe zu verwenden, die auf unterschiedlichen Festplatten angelegt sind

Um das komplette System auf einem RAID-Verbund zu installieren, bietet es sich an, das System über die Alternate-CD aufzusetzen

Die Alternate-CD unterstützt bereits bei der Installation das Erstellen üblicher RAID-Varianten
- Dies findet man unter dem Punkt: "Partitionieren"
- Die Alternate-CD ist nur noch bei Lubuntu verfügbar
- Dann kann man auf die Server-CD ausweichen und den gewünschten Desktop nachträglich installieren

Ubuntu unterstützt von Haus aus die RAID-Varianten 0, 1, 5, 6 und 10. Details zu den einzelnen Typen finden sich im Abschnitt RAID-Level

Soll von einem neuen RAID-Verbund gebootet werden (Root-Dateisystem), sollte zusätzlich der Abschnitt Bootloader beachtet werden

RAID und Backup

Ein RAID ersetzt keine Datensicherung!
- Auch wenn es verlockend scheint, z. B. ein RAID 1 mit externer USB-Festplatte aufzusetzen, um eine automatische Sicherung zu erhalten, ist dies kein Backup:

Das Entfernen der externen Festplatte führt immer dazu, dass sich das RAID im Fehlerzustand (degraded) befindet

Bei Wiederanschluss muss die interne Festplatte jedesmal komplett neu mit der externen Platte synchronisiert werden

Ein RAID schützt ausschließlich vor Datenverlust durch Plattendefekte

Ein Datenverlust, der durch Fehler des Betriebssystems, des Dateisystems, durch die verwendeten Programmen oder den Benutzer entsteht, wird sofort automatisch auf alle Laufwerke synchronisiert, so dass das vermeintliche Backup automatisch mit fehlerhaften Daten überschrieben wird

IDE/SATA

Generell sollte man bei RAIDs moderne SATA-Festplatten[1] verwenden, da der Datendurchsatz bei diesen zum Teil erheblich höher ist als bei älteren IDE-Platten

Zudem sind SATA-Platten prinzipiell "hotplugable"
- Das heißt, sie sind im laufenden Betrieb eines RAIDs an- und abschaltbar und damit auch austauschbar
Allerdings sollte man genau wissen, was man tut, bevor man sich an solcherlei Aktionen heranwagt

Achtung!
Nicht jeder SATA-Controller ist in der Lage, mit "Hotplug" auch richtig umzugehen
Man sollte auch darauf achten, dass man die richtige Festplatte angibt, um Datenverlust zu vermeiden

Bei älteren IDE-ATA-Festplatten gilt: die verwendeten Festplatten sollten nicht am selben IDE-Kanal hängen, da im Fehlerfall einer Festplatte unter Umständen der komplette IDE-Kanal gestört wird und dadurch u.U. das RAID nicht mehr nutzbar ist
Bei einem RAID 0 erhöht sich die Gesamtleistung, da paralleles Lesen/Schreiben auf verschiedenen IDE-Kanälen schneller geht als auf nur einem
Hardware-RAID-Controller verfügen in der Regel über einen batteriegepufferten Cache (BBU) oder NVRAM, der auch bei einem plötzlichen Stromausfall noch nicht physisch gespeicherte Daten solange vorhält, bis das System wieder gestartet ist
Software-Raid unter Linux versucht dieses Problem mit einem Journal 🇬🇧 zu lösen (ab Ubuntu 17.10)

allgemeines II

Linux Software RAID (häufig auch als mdraid oder MD/RAID bezeichnet) ermöglicht die Nutzung von RAID Funktionalität ohne Hardware RAID Controller
Die dazu verwendeten Datenträger (Festplatten, SSDs, ...) werden dabei einfach als einzelne Laufwerke am Rechner angeschlossen, etwa direkt an den SATA Ports des Mainboards
Hardware RAID Controller haben im Gegensatz zu Software RAID meistens einen eingebauten Cache (häufig 512 MB oder 1GB), der mit einer BBU oder ZMCP geschützt werden kann (siehe Unterschiede zwischen Hardware RAID und Linux Software RAID)

Funktionsweise

Beispiel: Linux Software RAID mit zwei RAID 1 Devices (eines für das Root Dateisystem, ein weiteres für swap

Linux Software RAID unterstützt die folgenden RAID Level:[1]
RAID 0
RAID 1
RAID 4
RAID 5
RAID 6
RAID 10

SSD RAIDs

Linux Software RAID verwendet bis Kernel 3.11 nur einen Thread für RAID5/RAID6 Berechnungen

Das kann die Performance von SSD RAIDs limitieren

Im Januar 2013 gab es erste Patches von Fusion-io, diese waren zu diesem Zeitpunkt aber noch nicht reviewed.[3]

Die RAID5 multithreading Unterstützung wurde im Linux Kernel mit 3.12 aufgenommen

RAID Superblock

Linux Software RAID speichert alle notwendigen Informationen zu einem RAID Array in einem Superblock

Je nach Metadaten-Version liegt dieser an unterschiedlichen Stellen

Superblock Metadaten-Version 0.90

Der version-0.90 Superblock ist 4.096 Byte groß und liegt in einem 64 KiB aligned block am Ende eines Devices

Der Superblock beginnt ja nach Devicegröße frühestens 128 KiB vor dem Ende des Devices, bzw. spätestens 64 KiB vor dem Ende des Devices
Um die Adresse des Superblocks zu berechnen wird die Device-Größe auf ein vielfaches von 64 KiB abgerundet und dann 64 KiB vom Ergebnis abgezogen.[4]

Einschränkungen der Metadaten-Version 0.90:

maximal 28 Devices in einem Array
jedes Device kann maximal 2 TiB groß sein
keine Unterstützung des Bad-Block-Managements[5]

Superblock Metadaten-Version 1.*

Die Position des Superblock hängt von der Version der Metadaten ab:[6]

Version 1.0: Der Superblock liegt am Ende des Devices
Version 1.1: Der Superblock liegt am Anfang des Devices
Version 1.2: Der Superblock liegt 4 KiB nach dem Beginn des Devices

Umsetzung

@@ Zeile 219: / Zeile 219: @@
 = TMP =
-== Einführung ==
-Von Software-RAID spricht man, wenn das Zusammenwirken der Festplatten '''komplett softwareseitig organisiert''' wird
-* Auch der Begriff '''Host based RAID''' ist geläufig, da nicht das Speicher-Subsystem, sondern der eigentliche Computer die RAID-Verwaltung durchführt
-* Die meisten modernen Betriebssysteme wie FreeBSD, OpenBSD, Apple macOS, HP HP-UX, IBM AIX, Linux, Microsoft Windows ab Windows NT oder SUN Solaris sind dazu in der Lage
-* Die einzelnen Festplatten sind in diesem Fall entweder über einfache Festplattencontroller am Computer angeschlossen oder es werden externe Storage-Geräte wie Disk-Arrays von Unternehmen wie EMC, Promise, AXUS, Proware oder Hitachi Data Systems (HDS) an den Computer angeschlossen
-* Die Festplatten werden zunächst ohne RAID-Controller als sogenannte JBODs („just a bunch of disks“) in das System integriert, dann wird per Software-RAID (z.&nbsp;B.&nbsp;unter Linux mit dem Programm mdadm) die RAID-Funktionalität realisiert
-* Eine besondere Variante des Software RAID sind Dateisysteme mit einer integrierten RAID-Funktionalität
-* Ein Beispiel dafür ist das von Sun Microsystems entwickelte RAID-Z.[6]
-=== Pro ===
-* Der Vorteil von Software-RAID ist, dass '''kein spezieller RAID-Controller benötigt''' wird
-* Die '''Steuerung wird von der RAID-Software erledigt''', diese ist entweder schon Teil des Betriebssystems oder wird nachträglich installiert
-* Dieser Vorteil '''kommt besonders bei der Disaster Recovery zum Tragen''', wenn der RAID-Controller defekt und nicht mehr verfügbar ist
-* Praktisch alle derzeit verfügbaren Software-RAID-Systeme benutzen die Festplatten so, dass diese auch ohne die spezifische Software ausgelesen werden können
-===Contra===
-* Bei einem Software-RAID werden '''bei Festplattenzugriffen neben dem Hauptprozessor des Computers auch die System-Busse wie PCI stärker belaste'''t als bei einem Hardware-RAID
-* Bei leistungsschwachen CPUs und Bus-Systemen verringert dies deutlich die Systemleistung
-* Bei leistungsstarken, wenig ausgelasteten Systemen ist dies belanglos
-* Storage-Server sind in der Praxis oft nicht voll ausgelastet; auf solchen Systemen können Software-RAID-Implementierungen unter Umständen sogar schneller sein als Hardware-RAIDs
-* Ein weiterer Nachteil ist, dass bei vielen Software-RAID kein Cache genutzt werden kann, dessen Inhalt auch nach einem Stromausfall erhalten bleibt, wie es bei Hardware-RAID-Controllern mit einer Battery Backup Unit der Fall ist
-** Dieses Problem lässt sich mit einer unterbrechungsfreien Stromversorgung für den gesamten PC vermeiden
-** Um die Gefahr von Datenverlusten und Fehlern in der Datenintegrität bei einem Stromausfall oder Systemabsturz zu minimieren, sollten außerdem die (Schreib-)Caches der Festplatten deaktiviert werden.[7]
-* Da die Platten eines Software-RAIDs prinzipiell auch einzeln angesprochen werden können, besteht bei gespiegelten Festplatten die Gefahr, dass Änderungen nur noch an einer Platte durchgeführt werden – wenn etwa nach einem Betriebssystem-Update die RAID-Software oder der Treiber für einen RAID-Festplatten-Controller nicht mehr funktionieren, eine der gespiegelten Festplatten aber weiterhin über einen generischen SATA-Treiber angesprochen werden kann
-* Entsprechende Warnhinweise oder Fehlermeldungen während des Bootens sollten deshalb nicht ignoriert werden, nur weil das System trotzdem funktioniert
-* Ausnahmen bilden hier Software-RAID mit Datenintegrität wie z.&nbsp;B.&nbsp;ZFS
-* Unvollständige Speichervorgänge werden zurückgesetzt
-* Fehlerhafte Spiegeldaten werden erkannt und durch korrekte Spiegeldaten ersetzt
-* Es wird wohl beim Lesen eine Fehlermeldung geben, da die fehlerhafte oder alte Spiegelseite nicht mit dem aktuellen Block übereinstimmt
 ==allgemeines Software-RAID unter Linux==
 *Ein RAID (Redundant Array of Independent Disks) dient dazu, mehrere physikalische Festplatten zu einem oder mehreren logischen Laufwerken zu vereinen und dadurch einen schnelleren Datenzugriff und/oder eine erhöhte Verfügbarkeit des Systems im Falle eines Festplattendefektes zu erreichen