# [RAID] Questionnements en vue d'évolution du RAID1 (étude)

## pti-rem

Bonsoir,

J'ai flashé mon micro-serveur n40l avec ce Bios hack

Je dispose donc maintenant de 6 ports AHCI 3Gbs dont un eSata externe.

Pour le moment, j'ai deux miroirs RAID1 de 4 TB chaque.

Ce sont des disques Seagate NAS 3.5" ST4000VN000-1H41

J'en dispose de 7 ; les quatre en place et 3 autres neufs.

Le n40l dispose de quatre baies ; Le cinquième disque se positionne à la place du graveur.

En premier lieu vient le questionnement sur les ressources processeur demandées par le raid6 ; j'ai crû comprendre qu'elle sont plus importantes que pour le raid1.

Mon n40l est un Turion 2@1500 équipé de 2x4 GB RAM ECC

```
n40l ~ # cat /proc/cpuinfo 

processor   : 0 & processor   : 1

vendor_id   : AuthenticAMD

cpu family   : 16

model      : 6

model name   : AMD Turion(tm) II Neo N40L Dual-Core Processor

stepping   : 3

microcode   : 0x10000c8

cpu MHz      : 1500.000

cache size   : 1024 KB

physical id   : 0

siblings   : 2

core id      : 0

cpu cores   : 2

apicid      : 0

initial apicid   : 0

fpu      : yes

fpu_exception   : yes

cpuid level   : 5

wp      : yes

flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nopl nonstop_tsc extd_apicid pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt nodeid_msr hw_pstate npt lbrv svm_lock nrip_save

bogomips   : 2995.05

TLB size   : 1024 4K pages

clflush size   : 64

cache_alignment   : 64

address sizes   : 48 bits physical, 48 bits virtual

power management: ts ttp tm stc 100mhzsteps hwpstate
```

Je ne souhaite pas prendre de risque et pense préférer la défaillance de 2 disques. Ce qui me ferai passer d'une capacité actuelle raid1 de 8 TB pour quatre disques à un raid6 de 12 TB pour cinq disques.

J'ai lu sur wikipédia le RAID DP (Dual Parity) ; ressemble au RAID6 à ceci près qu'en RAID DP les disques de parité sont fixes. Ce type de RAID est adopté en général sur les serveurs de stockage NAS.

édition du 29 décembre : http://wiki.gentoo.org/wiki/ZFS#RAIDZ2_Four_Hard_Drives

 *Quote:*   

> RAIDZ2 is the equivalent to RAID6, where data is written to the first two drives and a parity onto the next two. You need at least four hard drives, two can fail and the zpool is still ONLINE but the faulty drives should be replaced as soon as possible.

 -

Vient ensuite le partitionnement et les systèmes de fichiers ; Je ne sais vraiment prévoir quelles partitions pour quels montages et aussi leurs tailles ; J'ai pris l'habitude - à force d'être emm.. avec - de ne faire qu'une seule immense partition. Voire une petite /boot parfois. édition : aussi un bon /home évidemment.

Je ne donnai que dans l'ext4.

Mais pour cette étude, mieux vaut gérer un peu plus.

Je ne maîtrise pas du tout l'initramfs, je ne l'utilise jamais. Idem pour genkernel. Je trouvai cela d'un compliqué.

Le n40l est sous onduleur avec batterie de voiture et j'ai un upload VDSL de 10 Mb/s

Je vais avoir des fichiers très gros : des captures .ts de la TNT

Je vais aussi avoir des petits fichiers pour du site web. Voire de l'IRC.

Je suis tout ouïe à vos conseils, suggestions.

Merci de me dire si c'est réaliste.

C'est un projet pour mes heures nocturnes d'hiver ; j'ai tout mon temps et je ne veux vraiment pas faire n'importe quoiLast edited by pti-rem on Mon Dec 29, 2014 10:53 am; edited 3 times in total

----------

## El_Goretto

J'ai le même matériel et un scénario très similaire (le N40L remplacé par un Gen8, il va du coup se reconvertir en NAS/SAN dédié (et rien d'autre)).

Vu le nombre maximum de slots 3,5", j'aurais tendance à dire que du RAID 6 est excessif (2/5e utilisé pour la parité soit seulement 60% d'espace utile de stockage...). Ensuite, tu l'as dit, le CPU n'est pas un foudre de guerre (quoi que par rapport à un Atom... mais je m'égare).

Bref, tout çà pour dire que c'est toi qui vois, mais je ne suis pas convaincu si tu fais du RAID software avec le bousin que les performances soient fameuses (mais après tout, ça se bench).

En ce qui me concerne, j'ai un contrôleur RAID hardware que j'ai prévu de lui adjoindre (il reste un slot PCIe de libre). Cela va déporter les calculs RAID et permettre au petit CPU de n'avoir à gérer que la partie logicielle (NFS ça devrait aller, iSCSI, je ne sais pas, mais SAMBA mangeait déjà beaucoup de ressources sur cette machine avec un seul disque local à partager sur un réseau 1Gb/s...).

Pour le reste des points que tu mentionnes, ce sont des problématiques linux de base: commence à jouer avec LVM pour te faire la main, tu vas en avoir besoin. Si tu crées une partition unique en dur sur ton RAID, je ne te connais plus, on ne s'est jamais parlé  :Razz: 

Par contre, je ne suis pas sûr de partir sur du Gentoo. Je me tâte pour essayer FreeNAS en UFS (2Go de RAM pas suffisant pour ZFS de toutes façons, et RAID hardware rendant la chose non impérative).

----------

## pti-rem

J'ai trouvé deux articles de ZDNet ;

Why RAID 6 stops working in 2019

Je suis refroidi par ce premier article. Où il y est évoqué 3 disques de parité.

Et aussi : Desktop RAID is a bad idea

J'ai du mal à bien les lire d'un coup. Je reprendrai ma lecture.

J'ai fais un bench d'un de mes raid1 (système) avec iozone ;

```
n40l ~ # iozone -s 8192 

   Iozone: Performance Test of File I/O

           Version $Revision: 3.397 $

      Compiled for 64 bit mode.

      Build: linux-AMD64 

   Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins

                Al Slater, Scott Rhine, Mike Wisner, Ken Goss

                Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,

                Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,

                Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,

                Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,

                Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer.

                Ben England.

   Run began: Sun Dec  7 07:32:32 2014

   File size set to 8192 KB

   Command line used: iozone -s 8192

   Output is in Kbytes/sec

   Time Resolution = 0.000001 seconds.

   Processor cache size set to 1024 Kbytes.

   Processor cache line size set to 32 bytes.

   File stride size set to 17 * record size.

                                                            random  random    bkwd   record   stride                                   

              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread

            8192       4  655359 1160535  2426568  2493665 2117337 1120348 2224823  1857202  2105272  1101527  1116090 2380669  2391273

iozone test complete.
```

D'après https://raid.wiki.kernel.org/index.php/Performance c'est la valeur stride read qu'il faut prendre en compte pour le benchmark du raid.

Le deuxième raid1 (non système) donne un stride read de 1971094 Kbytes/sec ; équivalente.

Le NFS passe bien. Je vais me renseigner sur iSCSI que je ne connais pas. Je suis aussi en 1Gb/s de bout en bout.

À terme, il n'y aurait qu'un device md avec des volumes logiques.

Tu as raison ; je vais prendre le temps d'élaborer un plan et faire des tests avec LVM. Et refaire le benchmark iozone avec un raid6 de test.

Je ne vais pas faire cette bêtise de faire un gros / ; Je compte bien pourvoir communiquer encore  :Smile: 

Avec 8 Go de ram je dois pouvoir faire des volumes logiques en ZFS ?

Je comprend dans ta phrase que le ZFS est impératif en raid6 logiciel ...

----------

## El_Goretto

 *pti-rem wrote:*   

> Avec 8 Go de ram je dois pouvoir faire des volumes logiques en ZFS ?
> 
> Je comprend dans ta phrase que le ZFS est impératif en raid6 logiciel ...

 

Oh non, c'est un filesystem qui peut gérer lui-même certains niveaux de RAID (btrfs doit commencer à faire des trucs de ce genre là). Ce n'est pas du tout un prérequis pour quoi que ce soit.

Mais ce n'est peut être pas conseillé pour débuter, ni sous Linux. Par contre, dans FreeNAS (basé sur FreeBSD), c'est l'option par défaut.

----------

## El_Goretto

Ce WE, j'ai bricolé dans mon N40L, et j'ai pu rentrer (difficilement, j'étais pas très fier) le contrôleur RAID avec 4 câbles SATA pour les faire arriver derrière la baie de disque. "Et là, c'est le drame"

J'avais bien retiré le backplane, mais j'ai réalisé que dès le 3e disque, j'aurais un problème de "taille": impossible de passer par le dessus pour manipuler correctement les connectiques SATA/Alim, et une fois les baies peuplées, impossible de passer par devant, forcément...

Bref, paf pastèque. J'ai retiré le contrôleur et remis le backplane, du coup ce sera du RAID soft.

Et là repaf, recoup sec derrière la nuque: freenas v9.3 retire le support d'UFS, et est maitenant ZFS only. Donc les petites config légères en RAM (<8Go selon la définition freenas), dans l'OS.

Il y a bien openmediavault comme alternative, mais je ne sais pas du tout ce que ça vaut (ha ha, ahem). Quelqu'un a déjà essayé? Les releases me semblent super rapprochées, j'ai peur d'un produit assez peu mature (même si l'interface web ressemble plus que très fortement à celle de freenas comme par hasard).

----------

## pti-rem

 *El_Goretto wrote:*   

> Ce WE, j'ai bricolé dans mon N40L, et j'ai pu rentrer (difficilement, j'étais pas très fier) le contrôleur RAID avec 4 câbles SATA pour les faire arriver derrière la baie de disque. "Et là, c'est le drame"
> 
> J'avais bien retiré le backplane, mais j'ai réalisé que dès le 3e disque, j'aurais un problème de "taille": impossible de passer par le dessus pour manipuler correctement les connectiques SATA/Alim, et une fois les baies peuplées, impossible de passer par devant, forcément...

 

Rien que le molex de ma xonar m'embête bien à son tour. À ton altitude tu viens de rencontrer un passage étroit, c'est le brun ; Et comment ils font sur le http://n40l.wikia.com/wiki/Raid ? Ba ... avec, je crois, le super "standard SFF-8087 cable" qui doit être la cerise - le diamant ? - sur le chèque pour le contrôleur qui va. Je crois me souvenir que tu cherchais un adaptateur de la sorte ; ça na pas du conclure puisque tu as essayé de passer avec les câbles de tout le monde. Je n'ai pas recherché la conv.

Pour la pause dans la randonnée - je ne suis pas un grand marcheur - Moi je te dis que je suis fier de toi   :Cool:  Belle escalade !

 *El_Goretto wrote:*   

> Et là repaf, recoup sec derrière la nuque: freenas v9.3 retire le support d'UFS, et est maitenant ZFS only

 

Le couperet, carrément ! On est pas tout le temps à une sous-version près ; non ?

Et d'ailleurs, tu veux en faire un NAS/SAN only ; Avec 2 Go ça peut tourner vraiment ? De la RAM ou ça rame ?

Perso, je doute. À moins de bien figer les seuls besoins. Et pas patcher la sécurité tous les quatre matins ; pour ce que j'en dis ... et ce que j'en sais ...

Je ne sais même po ce que t'apporte freenas ou l'éventuel openmediavault ? Une interface toute faite qui tourne direct pour le stockage des utilisateurs ?

promis, je m'apprend encore à chercher avant de demander, mais là, c'est de la courtoisie.

Au fait j'oubliais ... J'ai ma 2GB d'origine - vérifié dans le fatras, bien emballée, le chat l'a jamais vue  :Wink:  - si t'en veux, elle est à toi.

Autrement I'm plait vraiment ce ZFS ; parait qu'il se corrige tout seul : en béotien, je trouve ça excellent. Une bonne odeur.

En bas dans ma vallée, c'est encore un dépoussiérage - pas du tout envie de griller l'alim à 150€ - J'ai envie de tester une gaze chirurgicale toute dépliée pour éviter les entrées. Avec un oeil sur sur le flux d'air.

Pas évident d'échapper aux moutons en maison de campagne.

Le raid6, j'y suis vraiment pas encore ; j'avais pour idée de le tester avec trois disques neufs et des --missing mais je ne pense pas que ce soit réalisable. Voudra pas amha.

Mais je peux faire joujou avec lvm et zfs quand même.

De toute façon, ce sera pas avant l'année prochaine. Et faut l'avouer, j'ai un peu les foies. Et pis, c'est comme pour ce qui me concerne, je vais y être avant de commencer ; 10 contre 1 ; Tant que je grille pas le data.

C'est quand même con cette histoire de "taille" ; Ton contrôleur doit être une bonne petite balle en plus.

Il parait que c'est le chemin qui compte

Courage ! El_Goretto

----------

## Enlight

Salut,

juste mes 2cts par rapport à ce que je viens de lire du topic :

Je me suis intéréssé à l'iSCSI il y a quelques temps et ce que j'en ai retenu (sous réserve de ma mémoire pourrie) c'est ça n'exporte pas les fichiers mais le disque à l'état brut ce qui a deux conséquences :

- UN et un seul client à la fois car pas de locking

- Tout l'overhead du système de fichiers (B-Tree, space B-Tree ou maps, log, extents,  et que sais-j d'autre) passe sur le réseau 

Concernant le choix du système de fichiers, à mon sens seuls deux sont valables : Ext4 et XFS (tout le monde sait que je touche une com' par converti :p)

Si d'aventure tu devais choisir XFS, assure toi de regarder ceci : http://xfs.org/index.php/XFS_FAQ

en particulier : http://xfs.org/index.php/XFS_FAQ#Q:_How_to_calculate_the_correct_sunit.2Cswidth_values_for_optimal_performance qui concerne les options de créations spécifique aux différents raid

Puis si jamais c'est une configuration qui peux vous intéresser, il est possible d'utiliser smbd seul sans nmbd , l'advertising pouvant être fait via avahi (DNS-SD), le seul inconvenient que je trouve à ce setting c'est que windows n'a toujours pas intégré les technologies zéroconf :/

----------

## El_Goretto

 *Enlight wrote:*   

> Salut,
> 
> juste mes 2cts par rapport à ce que je viens de lire du topic :
> 
> Je me suis intéréssé à l'iSCSI il y a quelques temps et ce que j'en ai retenu (sous réserve de ma mémoire pourrie) c'est ça n'exporte pas les fichiers mais le disque à l'état brut ce qui a deux conséquences :
> ...

 

Parfaitement vrai, iSCSI présente un périphérique bloc. C'est d'ailleurs en tant que SAN que j'en ai l'usage sur ce coup-là (probablement une FreeBSD avec des jails ou bien une solution avec de la virtualisation). Et je compte tenter l'aventure avec du multipath par dessus, pour pouvoir utiliser les 2 ports réseaux de la machine cliente et du bestiau SAN/NAS.

----------

## pti-rem

J'ai réussi mon installation du n40l avec cinq disques en raid6 / lvm ; J'ai préféré cette option à un RAIDZ2 / ZFS par simplicité (les docs sur ce sujet me sont peu abordables) et aussi pour l'adéquation aux ressources matérielles (proc et ram) du micro-serveur qui ne vont pas vraiment évoluer. J'ai 8 GB de ram et c'est le plancher pour ZFS ; De plus ZFS propose tant de choses auxquelles je ne comprend rien ... Et dont je n'ai probablement pas l'utilité.

Btrfs m'attire davantage maintenant. 

J'ai dû beaucoup fouiller le net pour trouver des ressources ; j'en donne deux qui regroupent le nécessaire :

Henrik's blogsite - Gentoo on GPT + Software RAID + LVM with GRUB 2 on non-EFI system

LVM - Gentoo Wiki

Et une troisième à laquelle je me suis si souvent référé pour l'installation en RAID1

﻿Guide d'installation rapide de Gentoo Linux x86 avec raid logiciel et LVM2

Je ne connais pas encore assez HIER, la hiérarchie des répertoires d'un Linux alors j'ai préféré formater mes volumes logiques en ext4 pour pouvoir les réduire si besoin. XFS ne pouvant être réduit.

J'ai eu un premier raté en XFS que j'avais choisi au départ avant de reproduire la manoeuvre en ext4.

Pour tous les volumes logiques hormis 'boot' en ext2

Je ne sais pas trop si il y a une importance particulière dans le choix de placer les firmwares dans le noyau ou dans l'initramfs ; Placés dans le noyau, ils y apparaissent comme chargés, hormis pour ma CG Radeon CAICOS HD 6450 pour laquelle le chargement des fichiers du firmware n'apparaît pas. Dans les deux cas.

C'est un travail intéressant. J'ai une petite note post-installation de mon système : http://git.io/N9cq

J'ai placé un bout de bas par dessus la porte-grille frontale pour filtrer les poussières ; c'est très efficace pour cet objectif mais le flux d'air est trop ralenti et la chaleur interne monte trop. Il me faut une paroi entière faite dans une même sorte de textile pour masquer complètement le devant du grand coffre où le n40l est placé. Une paroi amovible.

Pour l'album et les commentaires, j'ai un post Google +

http://goo.gl/pBZmUQ

Je vais peut-être en faire une page Google +

À plus tard ou plus tôt  :Wink: Last edited by pti-rem on Fri Feb 20, 2015 10:16 am; edited 3 times in total

----------

## Oupsman

 *Enlight wrote:*   

> 
> 
> - UN et un seul client à la fois car pas de locking
> 
> 

 

Hum non, on monte du cluster avec de l'iSCSI, donc deux clients peuvent attaquer la même target sans aucun problème.

----------

## El_Goretto

 *Oupsman wrote:*   

>  *Enlight wrote:*   
> 
> - UN et un seul client à la fois car pas de locking
> 
>  
> ...

 

Enlight ne dit pas que c'est impossible. Mais que si les couches au-dessus ne prennent pas à leur compte un mécanisme de locking, quelqu'un va au devant de sérieux problèmes. Cf les clustered filesystem.

Et celui qui me dit: "ouais, mais si si, ça marche quand tout le monde est en lecture seule!", je le flagelle à coup de spaguettis froides  :Smile: 

----------

## Oupsman

 *El_Goretto wrote:*   

> 
> 
> Enlight ne dit pas que c'est impossible. Mais que si les couches au-dessus ne prennent pas à leur compte un mécanisme de locking, quelqu'un va au devant de sérieux problèmes. Cf les clustered filesystem.
> 
> Et celui qui me dit: "ouais, mais si si, ça marche quand tout le monde est en lecture seule!", je le flagelle à coup de spaguettis froides 

 

Ce n'est pas comme ça que j'avais compris le message, c'est pour ça.

----------

## StinGer_Uesugi

 *El_Goretto wrote:*   

> Et celui qui me dit: "ouais, mais si si, ça marche quand tout le monde est en lecture seule!", je le flagelle à coup de spaguettis froides 

 

Bah pourtant c'est vrai, ça marche !

(En fait, c'est juste pour voir quelles spaghettis il va choisir et comment il va les préparer. Parce que froides, OK, mais crues ou pas ? Et juste après avoir été faites avec la pâte toute fraîche ou pas ? Enfin voilà, des questions de fond sur les spaghettis qui me taraudent...)

----------

## boozo

 *StinGer_Uesugi wrote:*   

>  *El_Goretto wrote:*   Et celui qui me dit: "ouais, mais si si, ça marche quand tout le monde est en lecture seule!", je le flagelle à coup de spaguettis froides  
> 
> Bah pourtant c'est vrai, ça marche !
> 
> (En fait, c'est juste pour voir quelles spaghettis il va choisir et comment il va les préparer. Parce que froides, OK, mais crues ou pas ? Et juste après avoir été faites avec la pâte toute fraîche ou pas ? Enfin voilà, des questions de fond sur les spaghettis qui me taraudent...)

 

 :Laughing:   en fait... je suis curieux aussi... (quelle quantité employée une itération, le nombre, la fréquence et la vitesse d'impact envisagée, la zone ciblée, etc parce que... le diable se cache dans ces détails. En plus on ne sait pas encore si une sauce est envisagée ou non... et là vous voyez d'un coup comme tout change !! 

{ oui, oui... j'y vais, j'y vais   :Arrow:   [ ] }

----------

## El_Goretto

OK, donc une grosse gamelle, sel, poivre et surtout du pili-pili en quantité... Très bien, j'arrive...   :Twisted Evil: 

----------

