# Fragen zur Planung und Wartung eines RAID-Systems

## Jimini

Aloha.

Da mich der momentane Zustand nervt, dass meine Daten auf 4 Rechner verteilt sind, möchte ich mir einen stromsparenden, leisen Fileserver aufsetzen (Atom230 oder 330, mindestens 1 TB Speicherplatz, Gentoo). Das Teil soll irgendwo in einer Ecke stehen und bei Bedarf eingeschaltet werden. Da auf diesem Rechner dann all meine Daten liegen werden, ist es natürlich wichtig, dass das System so gut wie möglich gegen (hardwareseitige) Ausfälle gesichert ist. So bin ich also dazu gekommen, 2 HDDs im RAID1 zu betreiben. Da ich bisher aber noch nie ein RAID eingerichtet oder mit einem gearbeitet habe, habe ich nun folgende Fragen:

- welche Variante ist zu bevorzugen - Software-RAID oder Hardware-RAID (auch in Hinsicht auf die verbaute Atom-CPU)?

- welche Voraussetzungen muss das System für ein Software-RAID erfüllen?

- ist bei einem Hardware-RAID eher ein Onboard-Controller oder ein PCI-RAID-Controller zu empfehlen?

- was passiert, wenn eine der Platten ausfällt? Kann ich die zweite dann vorübergehend alleine weiterbetreiben? Bzw. sind die Daten dann leicht erreichbar?

- wie einfach ist so ein RAID zu erweitern?

Ich habe mir natürlich schon einige Howtos, Wiki-Artikel etc. zu Gemüte geführt, möchte mich aber gerne nochmal HIER nach Erfahrungsberichten umsehen  :Smile: 

MfG Jimini

Edit: Topic angepasst.Last edited by Jimini on Mon Dec 14, 2009 8:23 pm; edited 1 time in total

----------

## Strowi

Hi Jimini!

ich versuche mal deine Fragen so gut es geht zu beantworten. Ich betreibe selbst seit einiger Zeit 

zu Hause und in unserem Büro div. Raid-Systeme.

 *Jimini wrote:*   

> 
> 
> - welche Variante ist zu bevorzugen - Software-RAID oder Hardware-RAID (auch in Hinsicht auf die verbaute Atom-CPU)?
> 
> 

 

Hardware-Raid ist im allgemeinen die bessere alternative, allerdings kostet ein _richtiger_ Raid-Controller meist > 100,-€. Die onboard- und "Otto-Normal"-Raid Controller (speziell die nvraid und promise) sind meist auch nur eine andere Art Software-Raid, welche identische Platten benötigen, und via dmraid unter Linux eingebunden werden können, dies Funktioniert hier tadellos.

 *Quote:*   

> 
> 
> - welche Voraussetzungen muss das System für ein Software-RAID erfüllen?
> 
> 

 

-Hardware-Raid -> das System erkennt quasi nur 1 Platte, welche hardwareseitig gespiegelt wird.

-Software-Raid -> das System erkennt erstmal 2 Platten, via dmraid werden diese zu einer zusammengefasst ( unter /dev/mapper/XXXX ).

 *Quote:*   

> 
> 
> - ist bei einem Hardware-RAID eher ein Onboard-Controller oder ein PCI-RAID-Controller zu empfehlen?
> 
> 

 

richtiges Hardware-RAID onboard hab ich noch nirgends gesehen....

 *Quote:*   

> 
> 
> - was passiert, wenn eine der Platten ausfällt? Kann ich die zweite dann vorübergehend alleine weiterbetreiben? Bzw. sind die Daten dann leicht erreichbar?
> 
> - wie einfach ist so ein RAID zu erweitern?
> ...

 

Falls in einem gespiegelten Raid 1 Platte ausfällt, läuft das Raid dennoch weiter (ist ja schliesslich der Sinn der Sache), wird allerdings als defekt o.ä. markiert, oder gibt ne Fehlermeldung aus (k.a. wie genau, ist mir noch nie passiert... sollte ich vllt. mal nachschauen*g).

Wenn es sich um SATA handelt kann man die defekte Platte sogar im laufenden Betrieb rausnehmen, neue rein, "dmraid -R" oder sowas, und es ist wieder komplett.

Erweitern... bei den onboard-Lösungen geht dies übers BIOS, wo man dies über ein Menü machen kann.

Bei Software muss man dies logischerweise via Kommando machen, welches genau weiss ich nicht (siehe mdadm).

nochmal kurz zusammengefasst:

Software-Raid->2 Platten -> mdadm macht daraus ein Raid (egal ob Komplette Platte oder nur Partitionen)

Hardware-Raid->1 Platten -> nur der Controller-Treiber muss geladen sein (nur komplette Platte)

onboard-Raid->2 Platten-> dmraid (nur komplette Platte)

Hoffe ich hab dir weiterhelfen können,

----------

## Jimini

Super, dieses Posting bringt mich schonmal weiter :)

Ich werde dann wohl einfach 2 Platten gleichen Typs an die SATA-Ports des Mainboards hängen und via dmraid dann RAID1 einrichten. 

Ein richtiger Controller fällt dann definitiv flach, da das System insgesamt nicht über 200 € kosten soll ;)

Ich werde die Tage mal weiter diverse Howtos lesen und eine Einkaufsliste erstellen, ich melde mich dann einfach nochmal hier.

Besten Dank schonmal!

MfG Jimini

----------

## Jimini

So,

ich will mich hier noch einmal zurückmelden. Das System steht soweit und läuft wie erwartet problemlos. An dem Atom-Board stecken jetzt 2 SATA-Platten zu je 1,5 TB:

```
bla blubb # cat /proc/mdstat

Personalities : [raid1]

md1 : active raid1 sdc1[0] sdb1[1]

      521984 blocks [2/2] [UU]

md2 : active raid1 sdc2[0] sdb2[1]

      112384 blocks [2/2] [UU]

md3 : active raid1 sdc3[0] sdb3[1]

      2104448 blocks [2/2] [UU]

md5 : active raid1 sdc5[0] sdb5[1]

      15735552 blocks [2/2] [UU]

md6 : active raid1 sdc6[0] sdb6[1]

      15735552 blocks [2/2] [UU]

md7 : active raid1 sdc7[0] sdb7[1]

      1430925504 blocks [2/2] [UU]

unused devices: <none>
```

Bevor ich jetzt aber alle Daten auf das System schaufle (ein paar Hundert GB sind schon drauf, die habe ich aber zur Sicherheit noch auf anderen Systemen liegen), will ich den Aufall einer Platte simulieren. Ich dachte da an folgende Vorgehensweise:

- Integrität des RAIDs mit cat /proc/mdstat überprüfen

- eine Platte abstecken (bitte schreien, wenn SATA nicht hot-pluggable ist :) )

- schauen, ob die Mail-Benachrichtigung klappt

- dann wäre wohl aus jedem Device (md1, md2 ... md7) das jeweilige Laufwerk mittels (z.B. mdadm /dev/md1 --remove /dev/sdb1) zu entfernen

- dann die Platte wieder anstecken und mit mdadm /dev/md1 --add /dev/sdb1 etc. ins RAID einbinden

- mit cat /proc/mdstat das Syncen überprüfen

- finito. :)

Ist die Vorgehensweise so korrekt bzw. empfehlenswert?

Ich habe die Mail-Benachrichtigung in der mdadm.conf eingerichtet. Gibt es noch andere Methoden, die vielleicht praktischer / besser sind? Ich weiß ja noch nicht, wie so eine Benachrichtigung aussieht.

Gibts sonst noch wichtige Methoden, wie man sein RAID überprüft (SMART etc) oder ist das eher zu vernachlässigen?

MfG Jimini

----------

## Polynomial-C

Hier mal ein Zitat aus dem SATA-Artikel bei Wikipedia:  *Quote:*   

> Gegenüber seinem Vorgänger besitzt SATA drei weitere Hauptvorteile: höhere Datentransferrate, vereinfachte Kabelführung und die Fähigkeit zum Austausch von Datenträgern im laufenden Betrieb (Hot-Plug).

 

Zu deinen anderen Fragen kann ich leider nichts sagen, da ich ausschließlich Hardware-RAID in Verwendung habe und bisher zu faul war, dort Mailbenachrichtigungen zu konfigurieren. Um ehrlich zu sein muß ich das auch gar nicht, weil die verwendeten Controller bei jeder Art von Störung ein nervtötendes Gepiepse von sich geben und die beiden Rechner eh hier in der Wohnung stehen.   :Very Happy: 

----------

## Jimini

Danke für die Antwort :)

Hmja, den Wiki-Artikel hatte ich vorhin auch durchgesehen, aber ich dachte mir, es schadet nicht, nochmal auf Nummer sicher zu gehen. ;)

MfG Jimini

----------

## think4urs11

Hat nichts mit klassischem Gentoosupport zu tun, daher Moved from Deutsches Forum (German) to Diskussionsforum.

----------

## slick

 *Jimini wrote:*   

> - eine Platte abstecken (bitte schreien, wenn SATA nicht hot-pluggable ist  )

 

Naja, mir persönlich wäre das Abstecken im Betrieb (im privaten Umfeld) zu heiß. Ich würde die Platte/Partition nur per mdadm als fehlerhaft markieren bzw. runterfahren, ausstecken und mit fehlender Platte starten.

 *Quote:*   

> Gibt es noch andere Methoden, die vielleicht praktischer / besser sind?

 

Du könntest dir (zusätzlich) ein Script schreiben was /proc/mdstat mit grep auf "U_" oder "_U" testet und dann eine Mail absetzt oder besser vielleicht sogar das System runterfährt (oder einen penetranten Dauer-Piepton anmacht). Denn du brauchst nur mal den Mailserver zerbasteln und dann kommt die Benachrichtigung nicht mehr an. Mir mal so passiert - der Raid lief dann paar Tage nur auf einer Platte bis ichs zufällig merkte.

Vlt. noch ein Tipp am Rande ... je nach Dateisystem benutzen die einen mehr oder minder großen Schreibcache. Das kann zu Ärger führen wenn plötzlich der Strom weg ist. Ich habe mir daher auf meinem Fileserver zur Sicherheit einen cronjob eingerichtet der alle ~5-10 min. einmal sync aufruft. Fühlt sich irgendwie besser an, obs sehr viel mehr Sicherheit bewirkt kann ich nicht sagen. Zumindest hatte ich seitdem nach Hardresets/Stromausfall keine neue Raid-Syncronisation mehr.

----------

## firefly

 *slick wrote:*   

> Vlt. noch ein Tipp am Rande ... je nach Dateisystem benutzen die einen mehr oder minder großen Schreibcache. Das kann zu Ärger führen wenn plötzlich der Strom weg ist. Ich habe mir daher auf meinem Fileserver zur Sicherheit einen cronjob eingerichtet der alle ~5-10 min. einmal sync aufruft. Fühlt sich irgendwie besser an, obs sehr viel mehr Sicherheit bewirkt kann ich nicht sagen. Zumindest hatte ich seitdem nach Hardresets/Stromausfall keine neue Raid-Syncronisation mehr.

 

oder wenn die finanzielle Lage mitspielt eine kleine USV.

----------

## Jimini

 *slick wrote:*   

> Naja, mir persönlich wäre das Abstecken im Betrieb (im privaten Umfeld) zu heiß. Ich würde die Platte/Partition nur per mdadm als fehlerhaft markieren bzw. runterfahren, ausstecken und mit fehlender Platte starten.

 

Also mdadm -f /dev/md1 /dev/sdb1 etc., richtig?

 *Quote:*   

> Du könntest dir (zusätzlich) ein Script schreiben was /proc/mdstat mit grep auf "U_" oder "_U" testet und dann eine Mail absetzt oder besser vielleicht sogar das System runterfährt (oder einen penetranten Dauer-Piepton anmacht). Denn du brauchst nur mal den Mailserver zerbasteln und dann kommt die Benachrichtigung nicht mehr an. Mir mal so passiert - der Raid lief dann paar Tage nur auf einer Platte bis ichs zufällig merkte.

 

Das klingt vernünftig. Ich schaue zwar täglich mindestens einmal in /proc/mdstat, aber wie es halt so ist: das System läuft ne ganze Weile stabil und man wird nachlässig.

 *Quote:*   

> Vlt. noch ein Tipp am Rande ... je nach Dateisystem benutzen die einen mehr oder minder großen Schreibcache. Das kann zu Ärger führen wenn plötzlich der Strom weg ist. Ich habe mir daher auf meinem Fileserver zur Sicherheit einen cronjob eingerichtet der alle ~5-10 min. einmal sync aufruft. Fühlt sich irgendwie besser an, obs sehr viel mehr Sicherheit bewirkt kann ich nicht sagen. Zumindest hatte ich seitdem nach Hardresets/Stromausfall keine neue Raid-Syncronisation mehr.

 

sync kannte ich bisher noch nicht, danke! Die Platten sind übrigens in ext3 partitioniert. 

@ firefly: über eine USV denke ich schon seit Monaten nach, dein Hinweis ist also absolut berechtigt. Bislang läuft bei mir nur ein System (Router/Firewall) 24/7, aber ich denke darüber nach, auch den Fileserver durchgehend laufen zu haben - oder zumindest 18 Stunden am Tag. Und da ich im letzten halben Jahr 3 Stromausfälle bei mir hatte, wäre ne USV schon sinnvoll. Mich hält nur momentan noch der Eigenverbrauch einer USV davon ab, wobei ich hier auch nur ergoogeltes Halbwissen vorzuweisen habe.

MfG Jimini

----------

## slick

 *Jimini wrote:*   

> Also mdadm -f /dev/md1 /dev/sdb1 etc., richtig?

 

Ja, genau. 

-f markiert die Partition als Fehler. Um die wieder neu einzubinden muss sie erst mit

mdadm -r /dev/md1 /dev/sdb1

aus dem Raid gelöscht werden und mit -a fügst sie wieder hinzu.

mdadm -a /dev/md1 /dev/sdb1

----------

## slick

Achso, und zum Thema Piep-Ton ... was sich bei mir bewährt hat ist bei einem Headless-System gewisse Statusmeldungen ebenfalls als Töne abzusetzen.

z.B. Reboot in der local.stop

beep -f 1500 -r2 2000 -n -f  1000 -n

oder fertiger Start in der local.start

beep -f 261.6 -n -f 329.6 -n -f 392.0 -n -f 523.2 -r 3

Dazu im Kernel aktivieren:

Device Drivers  > Input device support > Miscellaneous devices > PC Speaker support

dann emerge beep

IMHO kann man das aber nicht remote per ssh testen (warum auch immer), sondern der beep-Befehl muss "lokal" abgesetzt werden.

----------

## Jimini

Schade, die Idee mit dem System-Speaker gefiel mir echt gut, scheitert aber leider daran, dass mein Atom-Board keinen Speaker bzw. keinen Anschluss dafür hat, wie ich gerade festgestellt habe :\

MfG Jimini

----------

## Karsten from Berlin

Nur mal noch so, falls es interessiert:

Cronjob einrichten, bspw. in /etc/cron.d/local:

```

MAILTO=""

# Check integrity of RAID every hour

0     *     *  *  *    root /usr/local/sbin/check_raid.sh

```

Das Skript /usr/local/sbin/check_raid.sh sieht dann wie folgt aus:

```

#!/bin/bash

# Our hostname

HOSTNAME=`hostname`

# Which file to prove against

TESTFILE="/proc/mdstat"

# Check, if the file exists

if ! [ -f ${TESTFILE} ]; then

   echo -e "\n Cannot open file ${TESTFILE}.\n\n Integrity of the RAID system cannot be checked!" | mail -s "[${HOSTNAME}] Warning: RAID check" root;

   exit 0;

fi

# Check integrity

if [ "..`grep '\[U_\]' ${TESTFILE}`.." != "...." ] || [ "..`grep '\[_U\]' ${TESTFILE}`.." != "...." ] || [ "..`grep '\[__\]' ${TESTFILE}`.." != "...." ]; then

   echo -e "\n!!! Harddisk failure !!!" | mail -s "[${HOSTNAME}] CRITICAL: RAID check" root;

   exit 1;

fi

```

Setzt natürlich voraus, dass in der Datei /etc/aliases dem root auch eine E-Mailadresse zugeteilt ist:

```

# Person who should get root's mail

root:           wartung@PIPAPO.homeip.net

```

----------

## Jimini

Coole Sache, danke dir!

Werde ich in der nächsten Zeit mal einbasteln, momentan stellt sich nur der Mailserver quer und ich habe weder Zeit noch Lust, das in den nächsten Tagen hinzubiegen :\

MfG Jimini

----------

## Klaus Meier

Und ansonsten, noch ein Hinweis: Ein Raid ersetzt kein Backup. Habe es schon oft erlebt, dass ein Netzteil geplatzt ist oder Gewitter oder sonst was, wo dann das komplette Innenleben eines Rechners hin war. Alles schön und gut mit dem Server, aber trotzdem eins nie vergessen:

Daten immer auf eine externe Platte sichern. Dank eSata kann man die ja inzwischen im laufenden Betrieb zu und abstecken. Und diese Platte dann nach der Sicherung vom Strom und vom Controller trennen.

Raid hat ein großes Problem: Man glaubt, es bewahrt einen vor Datenverlust. Es eliminiert einige Probleme, aber man denkt nicht mehr an die weiterhin bestehenden Probleme.

----------

## Jimini

 *Klaus Meier wrote:*   

> Und ansonsten, noch ein Hinweis: Ein Raid ersetzt kein Backup. Habe es schon oft erlebt, dass ein Netzteil geplatzt ist oder Gewitter oder sonst was, wo dann das komplette Innenleben eines Rechners hin war. Alles schön und gut mit dem Server, aber trotzdem eins nie vergessen:
> 
> Daten immer auf eine externe Platte sichern. Dank eSata kann man die ja inzwischen im laufenden Betrieb zu und abstecken. Und diese Platte dann nach der Sicherung vom Strom und vom Controller trennen.
> 
> Raid hat ein großes Problem: Man glaubt, es bewahrt einen vor Datenverlust. Es eliminiert einige Probleme, aber man denkt nicht mehr an die weiterhin bestehenden Probleme.

 

Völlig korrekter Hinweis :)

Ich plane ohnehin, noch eine 1,5TB-Platte zu kaufen und die in einen Backup-Backup-Rechner einzubauen. Aber die ersten Monate wird das System hoffentlich überstehen - und für den Fall der Fälle habe ich die Daten noch auf den verschiedenen Ursprungsfestplatten liegen.

MfG Jimini

----------

## Klaus Meier

 *Jimini wrote:*   

>  *Klaus Meier wrote:*   Und ansonsten, noch ein Hinweis: Ein Raid ersetzt kein Backup. Habe es schon oft erlebt, dass ein Netzteil geplatzt ist oder Gewitter oder sonst was, wo dann das komplette Innenleben eines Rechners hin war. Alles schön und gut mit dem Server, aber trotzdem eins nie vergessen:
> 
> Daten immer auf eine externe Platte sichern. Dank eSata kann man die ja inzwischen im laufenden Betrieb zu und abstecken. Und diese Platte dann nach der Sicherung vom Strom und vom Controller trennen.
> 
> Raid hat ein großes Problem: Man glaubt, es bewahrt einen vor Datenverlust. Es eliminiert einige Probleme, aber man denkt nicht mehr an die weiterhin bestehenden Probleme. 
> ...

 

Bitte keinen Back/backup Rechner bauen. Kostet extra Geld und bringt extra Probleme. Platte per Hand an den Rechner anschließen, Backup fahren und wieder trennen. Na gut, du kannst dir dafür auch einen Rechner bauen, wenn du den nach dem Backup immer vom Strom und vom Netz trennst. Aber wozu dann einen eigenen Rechner?

P.S.: Schöne Grüße nach Göttingen, hab da mal lange gelebt. Hatte da ein Computergeschäft.

----------

## Jimini

 *Klaus Meier wrote:*   

> Bitte keinen Back/backup Rechner bauen. Kostet extra Geld und bringt extra Probleme. Platte per Hand an den Rechner anschließen, Backup fahren und wieder trennen. Na gut, du kannst dir dafür auch einen Rechner bauen, wenn du den nach dem Backup immer vom Strom und vom Netz trennst. Aber wozu dann einen eigenen Rechner?

 

Hm, eigentlich nur deswegen ein eigener Rechner, weils einfach sexy wäre, wenn irgendwo in der Wohnung ne Kiste steht, die einmal die Woche morgens um 4 bootet, sich die Sachen rüberzieht und wieder ausgeht. ;)

Aber mal schauen, im Moment stehen bei mir noch allerhand andere Dinge an, bis die erledigt sind, hoffe ich einfach schwer, dass Murphy _nicht_ zuschlägt.

 *Quote:*   

> P.S.: Schöne Grüße nach Göttingen, hab da mal lange gelebt. Hatte da ein Computergeschäft.

 

Richte ich aus!

MfG Jimini

----------

## tazinblack

 *Polynomial-C wrote:*   

> Hier mal ein Zitat aus dem SATA-Artikel bei Wikipedia:  *Quote:*   Gegenüber seinem Vorgänger besitzt SATA drei weitere Hauptvorteile: höhere Datentransferrate, vereinfachte Kabelführung und die Fähigkeit zum Austausch von Datenträgern im laufenden Betrieb (Hot-Plug). 
> 
> Zu deinen anderen Fragen kann ich leider nichts sagen, da ich ausschließlich Hardware-RAID in Verwendung habe und bisher zu faul war, dort Mailbenachrichtigungen zu konfigurieren. Um ehrlich zu sein muß ich das auch gar nicht, weil die verwendeten Controller bei jeder Art von Störung ein nervtötendes Gepiepse von sich geben und die beiden Rechner eh hier in der Wohnung stehen.  

 

Da muss ich noch was zu einwenden :

Beim Entwurf von SATA wurde zwar HOTPLUG vorgesehen, aber es muss auch der Controller unterstützen und der Treiber den Linux verwendet muss damit harmonieren. Keine Ahnung, wie da der Stand gerade ist, aber grundsätzlich sind nicht alle Kombinationen, die laufen hotplug-fähig.

Siehe hier : http://www.linux-magazin.de/Heft-Abo/Ausgaben/2006/09/Kalte-Platte

OK, das ist schon etwas älter und wenn Du das standard-Intel-Atom-Board nimmst, denke ich, dass dort irgendein ICH >5 Controller drauf sein wird, was dann laut Tabelle in Kombination mit dem AHCI-Treiber wohl gehen sollte.

----------

## tazinblack

Nochmal zum Hardwareraid,

nur noch der Vollständigkeit halber :

Sollte man auf HW-Raid setzen, sollte man darauf achten, dass der Controller die Config auch auf den Platten ablegt.

Sonst ist der Controller der schwache Punkt, wenn er kaputt geht. Leider ist es dann meistens aber schwierig, wenn er hin ist nach 2-3 Jahren, noch den selben zu bekommen der mit dieser Config dann was anfangen kann  :Sad: 

Auch hier lehrt die Erfahrung : Lieber im Arbeitsplatzrechner die Spiegelplatte vom Server und das dann per rsync ab und zu abgleichen. 

Oder ne USB-HD anstöpseln und inkrementell per rsync spiegeln, dann abstöpseln.

----------

## Klaus Meier

 *tazinblack wrote:*   

>  *Polynomial-C wrote:*   Hier mal ein Zitat aus dem SATA-Artikel bei Wikipedia:  *Quote:*   Gegenüber seinem Vorgänger besitzt SATA drei weitere Hauptvorteile: höhere Datentransferrate, vereinfachte Kabelführung und die Fähigkeit zum Austausch von Datenträgern im laufenden Betrieb (Hot-Plug). 
> 
> Zu deinen anderen Fragen kann ich leider nichts sagen, da ich ausschließlich Hardware-RAID in Verwendung habe und bisher zu faul war, dort Mailbenachrichtigungen zu konfigurieren. Um ehrlich zu sein muß ich das auch gar nicht, weil die verwendeten Controller bei jeder Art von Störung ein nervtötendes Gepiepse von sich geben und die beiden Rechner eh hier in der Wohnung stehen.   
> 
> Da muss ich noch was zu einwenden :
> ...

 

Hotplug geht auf alle Fälle immer mit dem JMicron Chip. Bei anderen Chips kann es an diesem selber oder aber an den Treibern (vor allem unter Windows) scheitern. Wenn das Board Sata Anschlüsse vom Chipsatz und von einem weiteren, meist JMicron. Chip hat, dann empfehle ich immer, die Chipsatzanschlüsse für die internen und die Anschlüsse vom Zusatzchip für die externen Platten zu nehmen. Eventuell soll da ja auch mal Windows drauf und da gehen dann Dinge nicht, die unter Linux noch gingen.

----------

## Jimini

So, ich hole den Thread nochmal aus der Verankerung. 

Mein Fileserver läuft so langsam voll, meine Vermutung "je mehr Platz man hat, desto mehr speichert man auch" hat sich mal wieder bewahrheitet. Momentan habe ich 2 Festplatten à 1,5 TB im RAID1-Modus drin, der nächste Schritt soll >=4 TB brutto sein. Allerdings stellt sich mir die Frage, welcher RAID-Modus dann empfehlenswert wäre. Momentan schwanke ich zwischen drei Möglichkeiten:

- RAID1: einfach einzurichten, einfach zu handhaben, braucht keinen teuren RAID-Controller, sicher, aber teuer in der Festplattenanschaffung

- RAID5: dürfte schon komplizierter werden, braucht nen Controller, dafür weniger Festplatten benötigt

- RAID10: ähnlich wie RAID5

Grundsätzlich stehe ich vor folgenden Problemen:

- mehr als 95% des Speicherplatzes liegen in /home. Ich weiß daher nicht, wie ich es mit einem RAID1 realisieren soll, dass die Daten eines Verzeichnisses über mehrere Partitionen/Festplatten verteilt liegt. RAID0?

- Anschaffungskosten der Festplatten vs. Anschaffungskosten des Controllers

- und natürlich Einrichtungs- und Wartungsaufwand

Der Server wird rein privat genutzt, ich habe also kein dickes Budget zur Verfügung.

Für Anregungen, Tipps und Ratschläge wäre ich dankbar.

MfG Jimini

P.S.: ist es irgendwie möglich, eine Festplatte im Betriebssystem eindeutig zu identifizieren? Bei 2 Festplatten kann man zwischen /dev/sda und /dev/sdb noch ganz gut unterscheiden, aber bei 6 Platten möchte ich eher ungern per trial and error eine defekte Platte aus dem System nehmen ;)

----------

## firefly

 *Jimini wrote:*   

> 
> 
> - RAID5: dürfte schon komplizierter werden, braucht nen Controller, dafür weniger Festplatten benötigt
> 
> - RAID10: ähnlich wie RAID5

 

nein man braucht keinen Controller. Alles was ein Controller macht kann man auch per software auf der CPU lösen  :Wink: .

Ein Controller ist nur notwendig, wenn du mehr Festplatten anschließen möchtest, als Anschlüsse auf dem Board vorhanden sind.

----------

## Jimini

Oh, ich dachte, dazu wäre ein Controller grundsätzlich zwingende Voraussetzung.

Dann scheiterts bei mir aber daran, dass ich nur 2 SATA-Ports habe - dann könnte ich aber doch sicherlich auch statt eines RAID-Controllers einen einfachen SATA-Controller verwenden, oder?

MfG Jimini

----------

## firefly

 *Jimini wrote:*   

> Oh, ich dachte, dazu wäre ein Controller grundsätzlich zwingende Voraussetzung.
> 
> Dann scheiterts bei mir aber daran, dass ich nur 2 SATA-Ports habe - dann könnte ich aber doch sicherlich auch statt eines RAID-Controllers einen einfachen SATA-Controller verwenden, oder?
> 
> MfG Jimini

 

jo wenn du deine vorhandenen 2 Ports mit verwenden möchtest für ein Raid5 dann reicht auch ein einfacher SATA Controller.

----------

## Jimini

Gut, wie ich gerade sehe, ist die SATA-Port-Geschichte ohnehin erst einmal sekundär - ich überlege, mir dann ohnehin ein neues Board zuzulegen.

Nochmal zum Knackpunkt meines Problems: ich brauche mindestens 4 TB nutzbaren Speicherplatzes in einem Verzeichnis. Ich werde also mindestens 3 Festplatten (RAID5, bei RAID1 oder RAID10 wären es 4) verbauen. Ich bin mir unsicher, welchem RAID-Modus ich den Vorzu geben soll:

- RAID1: ich müsste wohl zunächst mittels LVM eine Partition erstellen, die sich über 2 Festplatten erstreckt (mal ganz vereinfacht ausgedrückt)

- RAID5: mindestens 3 Datenplatten, der LVM-Kram würde hier (afaik) wegfallen

- RAID10: wäre in dem Fall doch eigentlich fast das selbe wie die RAID1-Methode, oder? 2 Festplatten im RAID0-Modus und das Ganze halt nochmal gespiegelt

Wenn das, was ich hier schreibe, korrekt ist, dann wäre ein RAID5 wohl am sinnvollsten - geringere Kosten und das Wegfallen des LVM-Krams wären schon nett.

MfG Jimini

----------

## Yminus

 *Jimini wrote:*   

> - RAID10: wäre in dem Fall doch eigentlich fast das selbe wie die RAID1-Methode, oder? 2 Festplatten im RAID0-Modus und das Ganze halt nochmal gespiegelt

 

Umgekehrt - zwei RAID 1 (Festplatten gespiegelt) werden mit einem RAID 0 (Striping über die beiden RAID 1) zusammengefasst.

So sieht's aus

----------

## Jimini

Ich habe jetzt in den letzten Tagen mal einige Zeit damit verbracht, ein RAID5 in einer VM einzurichten und damit herumzuspielen - Devices entfernen, hinzufügen, das Array vergrößen etc. 

Soweit funktioniert auch alles, nur eins stört mich: eine Meldung beim Booten, dass eins der Devices keinen Superblock hat:

```
* Starting up RAID devices ...

mdadm: /dev/sde1 has no superblock - assembly aborted                [!!]
```

Ich habe das RAID5 wie folgt eingerichtet:

- die ins Array einzubindenden Partitionen erstellt

- das Array erstellt (zunächst mit 4 Devices): mdadm --create /dev/md0 --level=raid5 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

- testweise ein Device entfernt: mdadm -f /dev/md0 /dev/sde1 && mdadm -r /dev/md0 /dev/sde1

- dann ein neues Device hinzugefügt: mdadm -a /dev/md0 /dev/sdf1 und das Array dann reshapen lassen

- dann noch dreimal ein Device hinzugefügt und das Array vergrößert: mdadm -a /dev/md0 /dev/sde1 && mdadm --grow /dev/md0 --raid-devices=5

So sollte das Ganze doch seine Richtigkeit haben, oder?

Wie gesagt - mir wird das Array als einwandfrei angezeigt:

```
Phobos ~ # cat /proc/mdstat 

Personalities : [raid6] [raid5] [raid4] 

md0 : active raid5 sdh1[6](S) sdg1[5] sdf1[3] sde1[4] sdd1[2] sdc1[1] sdb1[0]

      10481920 blocks level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]

      

unused devices: <none>
```

```
Phobos ~ # mdadm --detail /dev/md0 

/dev/md0:                                                                                                                                                                                                                                    

        Version : 0.90                                                                                                                                                                                                                       

  Creation Time : Mon Aug 16 20:53:47 2010                                                                                                                                                                                                   

     Raid Level : raid5                                                                                                                                                                                                                      

     Array Size : 10481920 (10.00 GiB 10.73 GB)                                                                                                                                                                                              

  Used Dev Size : 2096384 (2047.59 MiB 2146.70 MB)                                                                                                                                                                                           

   Raid Devices : 6                                                                                                                                                                                                                          

  Total Devices : 7                                                                                                                                                                                                                          

Preferred Minor : 0                                                                                                                                                                                                                          

    Persistence : Superblock is persistent                                                                                                                                                                                                   

                                                                                                                                                                                                                                             

    Update Time : Mon Aug 16 22:21:49 2010                                                                                                                                                                                                   

          State : clean                                                                                                                                                                                                                      

 Active Devices : 6                                                                                                                                                                                                                          

Working Devices : 7                                                                                                                                                                                                                          

 Failed Devices : 0                                                                                                                                                                                                                          

  Spare Devices : 1                                                                                                                                                                                                                          

                                                                                                                                                                                                                                             

         Layout : left-symmetric                                                                                                                                                                                                             

     Chunk Size : 64K                                                                                                                                                                                                                        

                                                                                                                                                                                                                                             

           UUID : 21b72be7:5455667f:67dafc41:fc88d1f4                                                                                                                                                                                        

         Events : 0.368                                                                                                                                                                                                                      

                                                                                                                                                                                                                                             

    Number   Major   Minor   RaidDevice State                                                                                                                                                                                                

       0       8       17        0      active sync   /dev/sdb1                                                                                                                                                                              

       1       8       33        1      active sync   /dev/sdc1                                                                                                                                                                              

       2       8       49        2      active sync   /dev/sdd1                                                                                                                                                                              

       3       8       81        3      active sync   /dev/sdf1                                                                                                                                                                              

       4       8       65        4      active sync   /dev/sde1                                                                                                                                                                              

       5       8       97        5      active sync   /dev/sdg1                                                                                                                                                                              

                                                                                                                                                                                                                                             

       6       8      113        -      spare   /dev/sdh1  
```

Irgendeine Idee, woran es liegen könnte?

MfG Jimini

----------

## oma

 *Quote:*   

> "je mehr Platz man hat, desto mehr speichert man auch" 

  das ist schon wahr und da ich ein paar TB im Keller hab bestätige ich das ohne mit der Wimper zu zucken   :Very Happy:   Ich gehe mit dem Gedanken schwanger ZFS samt dedup im Fileserver zu machen denn ich bin sicher auf Blockbene sind viele Dinge doppelt und RAID wäre weiterhin machbar...

----------

## fuchur

Hi

 *Jimini wrote:*   

> Nochmal zum Knackpunkt meines Problems: ich brauche mindestens 4 TB nutzbaren Speicherplatzes in einem Verzeichnis. Ich werde also mindestens 3 Festplatten (RAID5, bei RAID1 oder RAID10 wären es 4) verbauen. 
> 
> ....

  *Jimini wrote:*   

> 
> 
> Ich habe jetzt in den letzten Tagen mal einige Zeit damit verbracht, ein RAID5 in einer VM einzurichten und damit herumzuspielen - Devices entfernen, hinzufügen, das Array vergrößen etc. 
> 
> Soweit funktioniert auch alles, nur eins stört mich: eine Meldung beim Booten, dass eins der Devices keinen Superblock hat:
> ...

 

Könnte das vielleicht bei dir zutreffen (Auszug aus der manpage): *Quote:*   

>        -e, --metadata=
> 
>               Declare the style of RAID metadata (superblock) to be used.  The default is 1.2 for --create, and  to  guess  for  other  operations.   The
> 
>               default can be overridden by setting the metadata value for the CREATE keyword in mdadm.conf.
> ...

 

MfG

----------

## Jimini

Hups, den Thread hier hatte ich ganz vergessen. Hier mal der Auszug zu --metadata:

 *Quote:*   

> -e , --metadata=
> 
>     Declare the style of superblock (raid metadata) to be used. The default is 0.90 for --create, and to guess for other operations.
> 
>     Options are: 
> ...

 

Ich bin mir nicht ganz sicher, ob es daran liegt, denn:

- /dev/sde1 selber ist ja nicht formatiert

- 28 Devices werde ich wohl niemals überschreiten

- 2 TB pro Device werden auf absehbare Zeit auch nicht überschritten werden (das dürfte mit dem Problem bei Festplatten >2TB zusammenhängen, die unter vielen Betriebssystemen nur mit einigem Arbeitsaufwand genutzt werden können, da mit der Standard-Sektorengröße nicht alle Blocks adressiert werden können - oder so in der Art)

Die Superblock-Fehlermeldung konnte ich wie folgt reproduzieren:

- das Array mit 4 Devices erstellt

- Reboot, laut Fehlermeldung hat /dev/sde1 keinen Superblock

- das Array gestoppt

- das Array gestartet (mdadm -A /dev/md0): keine Fehlermeldung

- nochmal mdadm -A /dev/md0 ausgeführt: Superblock-Fehlermeldung erscheint wieder. Die Fehlermeldung erscheint also nur, wenn zweimal mdadm -A /dev/md0 ausgeführt wird.

Ich habe das Problem jetzt so gelöst oder zumindest umschifft, dass ich im Kernel CONFIG_MD_AUTODETECT deaktiviert habe und die RAID-Erkennung jetzt nur noch über mdadm laufen lasse. Letztendlich war es wohl ein rein kosmetisches Problem, aber da in Bälde meine ganzen Daten auf der Kiste liegen werden, neige ich da etwas zu Übervorsicht und Paranoia ;)

MfG Jimini

----------

## Jimini

Endlich endlich steht die neue Kiste hier - zwar noch ohne Datenplatten fürs RAID6, aber das RAID1, auf dem das System läuft, ist fertig. Hierbei bin ich über folgende Probleme gestolpert:

1) Ich habe im Kernel die Autoerkennung der RAID-Devices aktiviert, ohne diese Option gabs beim Booten einen Kernel Panic. Jetzt muss ich aber die Arrays in der /etc/mdadm.conf auskommentieren, da sonst alle Arrays einmal vom Kernel und einmal von mdadm eingebunden werden, was zu Fehlern führt. An sich kein Problem, aber beim Booten bekomme ich eine kleine Fehlermeldung, dass in besagter mdadm.conf keine Arrays gefunden wurden. Kann ich diese Fehlermeldung irgendwie unterbinden?

2) Beim Shutdown bekomme ich die Fehlermeldung, dass /dev/md2 nicht gestoppt werden kann. Ich vermute, dass es daran liegt, dass dieses Array als allerletztes gestoppt werden muss, was an meinem Partitionslayout liegen dürfte:

```
/dev/md2        /

/dev/md1        /boot

/dev/md3        none

/dev/md5        /tmp

/dev/md6        /var

/dev/md7        /usr

/dev/md8        /home
```

Kann ich die Reihenfolge des Array-Stopvorgangs irgendwie verändern? Mir ist nicht wohl dabei, den Rechner zu rebooten, ohne dass ein Array ordnungsgemäß gestoppt werden konnte.

MfG Jimini

----------

