# [RAID] Logiciel avec mdadm et lenteur extreme [RESOLU]

## Fyxx

Bonjour,

Je viens chercher des infos ici car le forum à l'air bien actif, et que j'ai rien trouvé ailleur.

Je suis actuellement en debian, mais la meme chose à été essayé en knoppix, suze, slackware, gentoo, ubuntu et mandriva sans succes.

Pourtant, j'y ai mis du mien hein!

Bref, voila mon probleme: Je souhaite faire du raid5 logiciel avec un controlleur promise sata sx4.

Je partitionne donc mes 3 disques durs (sda, sdb et sdc) avec fdisk avec 1 seule partition de 250Go chaquns de type fd (linux raid autodetec).

Je lance la creation de mon raid avec  mdadm --create /dev/md0 --level 5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1

Quand je verifie l'etat avec cat /proc/mdstat, il est bien en train de le construire:

 *Quote:*   

> Personalities : [raid5]
> 
> md0 : active raid5 sdc1[3] sdb1[1] sda1[0]
> 
>       490223232 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_]
> ...

 

 jusque là, moi ca me plait.

Le probleme apparait aleatoirement, car j'ai essayé une bonne 20aine de fois sur plusieurs distrib, et je me retrouve toujours avec une vitesse quasi nulle, et toujours la meme de 304K/sec:

 *Quote:*   

> Personalities : [raid5]
> 
> md0 : active raid5 sdc1[3] sdb1[1] sda1[0]
> 
>       490223232 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_]
> ...

 

Donc si quelqu'un pouvait venir à mon secours, ce serai sympa  :Wink: Last edited by Fyxx on Thu Dec 29, 2005 7:32 am; edited 1 time in total

----------

## _droop_

Bonjour,

Tu as regardé dans dmesg ou dans /var/log/messages si tu n'avais pas d'erreurs ? La première vitesse me parait un peu faible déjà. (Enfin, je ne connais que le raid 1 (en soft)). Ca donne quoi dans top (quand ca ralentit) ?

Tes disques sont bien configurés ? (dma surtout).

Bonne journée.

----------

## Fyxx

pour ce qui est du top, le voila:

 *Quote:*   

> top - 11:20:11 up  7:06,  1 user,  load average: 1.00, 1.00, 1.00
> 
> Tasks:  43 total,   2 running,  41 sleeping,   0 stopped,   0 zombie
> 
> Cpu(s):  0.0% us,  0.0% sy,  0.0% ni,  0.0% id,  0.0% wa,  0.0% hi,  0.0% si
> ...

 

et pour dmesg, pas d'erreur, mais la fin, j'y comprends rien.

 *Quote:*   

> devfs_mk_dev: could not append to parent for md/0
> 
> md: bind<sda1>
> 
> md: bind<sdb1>
> ...

 

----------

## marvin rouge

 *Fyxx wrote:*   

> 490223232 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_] 
> 
> ...
> 
> <snip>
> ...

 

Il y a un de tes disques qui ne fonctionne pas ? (je ne connais que le raid 0 et 1 en soft)

+

----------

## Fyxx

ils sont neufs, mais c'est possible que j'ai un branchement qui ai bougé, je regarde ce soir car là je suis au taff.

Mais cela n'explique pas la lenteur (et toujours la meme) quelle que soit la distrib...  :Sad: 

----------

## Fyxx

Alors, je viens de rentrer, et vu que je commence un peu à etre à bout, j'ai reinstallé le systeme en debian (plus rapide à installer, et si j'y arrive, ca marchera forcement sur gentoo).

mon installation est sur mon seul disque en IDE: hda1= 2GO (swap), hdb= 38GO(/)

en console, je partitionne mes disques sata (sda, sdb et sdc) avec une partition de 249 GO type fd.

Je construit donc mon device md0 avec cette commande:

mdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1 --spare-devices=0

je verifie l'etat, et il me dit:

cat /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdc1[3] sdb1[1] sda1[0]

      488279296 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_]

      [>....................]  recovery =  0.0% (154624/244139648) finish=446.8min speed=9095K/sec

unused devices: <none>

sachant que je vien de changer les trois disques par:

 sda= un disque vide mais anciennement une partoche ext2

 sdc= un disque vide mais anciennement une partoche ext2

 sdb= un disque tout neuf

Donc je crois comprendre que soit il me mets un disque en etat cassé et le crois en spare, soit que c'est parceque le troisieme est tout neuf qu'il le crois pas bon. M'enfin je suis completement perdu :'(

----------

## widan

 *Fyxx wrote:*   

> Donc je crois comprendre que soit il me mets un disque en etat cassé et le crois en spare, soit que c'est parceque le troisieme est tout neuf qu'il le crois pas bon. M'enfin je suis completement perdu :'(

 

Non c'est normal quand on crée un RAID5. mdadm le construit en dégradé avec les deux premiers disques, puis introduit le troisième. D'après le man de mdadm:

 *Quote:*   

> When creating a RAID5 array, mdadm will automatically create a degraded array with an extra spare drive. This is because building the spare into a degraded array is in general faster than resyncing the parity on a non-degraded, but not clean, array. This feature can be over-ridden with the --force option.

 

----------

## S_Oz

On est bien d'accord, tout est normal SAUF la vitesse de reconstruction du troisième disque.   :Sad: 

Tu peux nous donner tes lignes de detection des disques ATA? 

Pour exemple une configuration avec un chip sata_sil (reconstruction à 32900K/sec)

 *Quote:*   

> 
> 
> ata6: dev 0 cfg 49:2f00 82:74eb 83:7f63 84:4003 85:74e9 86:3c43 87:4003 88:207f
> 
> ata6: dev 0 ATA, max UDMA/133, 145226112 sectors: lba48
> ...

 Last edited by S_Oz on Wed Dec 28, 2005 8:47 am; edited 2 times in total

----------

## Fyxx

Oui oui, on est d'accord, pour moi c'est bon, sauf la vitesse.

pour l'ata, si j'ai tout compris, c'est ca:

 *Quote:*   

> sata_sx4 version 0.7
> 
> ACPI: PCI Interrupt 0000:02:0c.0[A] -> GSI 20 (level, low) -> IRQ 185
> 
> ata1: SATA max UDMA/133 cmd 0xE03C0200 ctl 0xE03C0238 bmdma 0x0 irq 185
> ...

 

Sinon, au cas où, je pose mon dmesg http://fyxx.free.fr/dmesg.txt

----------

## S_Oz

Je n'aime pas trop ce message:

 *Quote:*   

> ATA: abnormal status 0x7F on port 0xE03C021C

 

Le problème viens peut-être de là? Essaye un noyau (encore) plus récent.

----------

## Fyxx

j'ai un noyau 2.6.12-2 et ce message vient du fait que ma carte controleur promise possede 4 ports, et que j'en utilise que trois alors que le bios de la carte crois en avoir 4 moins 1 en debranché. C'est suite à des test de raid sous windows, et vu que sous linux cette carte est pas gerée et que je fait du logiciel, j'ai pas retouché le bios integré...

----------

## S_Oz

Effectivement, j'ai oublié que ton controleur était assez avancé.  :Smile: 

Par contre, il serait peut-être utile de faire un test avec un noyau >=2.6.14.2 .

Ton contrôleur est déclaré comme bien supporté mais n'est pas encore utiliser de manière optimal(ton processeur ne peux pas encore prendre de vacances).  Cela doit marché!Courage...  :Wink: 

----------

## Fyxx

bon, hier avant d'aller me coucher, c'etait encore bien:

 *Quote:*   

> cat /proc/mdstat
> 
> Personalities : [raid5]
> 
> md0 : active raid5 sdc1[3] sdb1[1] sda1[0]
> ...

 

et ce matin:

 *Quote:*   

> cat /proc/mdstat
> 
> Personalities : [raid5]
> 
> md0 : active raid5 sdc1[3] sdb1[1] sda1[0]
> ...

 

Donc ca montre bien que c'est à un pourcentage aleatoire.

Pour mon matos, oui il marche tres bien en controleur standard de disque dur, mais pas de fonction raid, je l'ai encore un peu en travers de la gorge.

Ce week-end je vais en LAN, donc je remonte mon disque dur windows, et dès lundi, je relance une gentoo avec le 2.6.14. Mais c'est etrange quand meme, j'ai beau chercher sur le net, je trouve personne qui ai le meme probleme.

Bon, ben merci quand meme de l'aide apportée, moi je file au taff, et je retourne loin des pingouins  :Razz: 

----------

## Fyxx

Bonjour!

Alors, pendant mon week-end, j'ai eu un trou, et j'ai reesayé de faire mon raid5, mais pour accelerrer, j'ai fait qu'une partition de 50Go sur chaqu'un de mes trois disques, et ca marche parfaitement.

Donc je commence à me demander si c'est pas un probleme de taille, et que linux ne supporterais pas de faire du RAID5 logiciel au dessus d'une certaine limite...

Puisque ca marche pas à 3*250 mais que ca marche bien à 3*50...

Quelqu'un aurait-il une info la dessus, ou bien quelqu'un aurait-il deja fait des partitions de 750 GO???

----------

## Fyxx

Alors, je suis en gentoo là, et je viens de faire un raid avec 3 partitions de 150 Go, toujour pareil, cette fois à 86% la vitesse s'ecroule...

Toujours personne pour une idée de la taille max d'un raid5 à trois disques?

----------

## Anthyme

hummm peut etre un probleme de mdadm...

t a essayer avec raidtool ou dm-mod (je suis pas sur que ce dernier gere le raid 5) ???

----------

## SpAcY

Bonsoir,

J'ai rencontré un probleme de baisse de vitesse d'ecriture il y'a quelques temps suite a une resynchonisation.

Je te conseil de verifier si ca ne provient pas d'une temperature excessive des disques.

Sinon je vois pas d'autre conseil, bon courrage  :Wink: 

----------

## Fyxx

Alors, d'abbord, joyeux neol !

Non je n'ai pas essayé avec raid-tools, car d'apres mes recherches, il me semble que c'est l'ancienne methode pour faire du raid, et que mdadm est plus recent et gere mieu tout ca.

Pour ce qui est de la temperature du disque, j'ai essayé de faire un raid de 3x150GO en raid5, ca passe pas alors que les disques ont un ventillateur 12cm à fond devant eux, et un autre derrière, que le boitier est ouvert et qu'un ventilateur de 30 cm est pointé vers eux. Les disques ne sont meme pas tiedes quand je les touche, et meme resultat, cette fois à 13.4% la vitesse s'ecroule.

Je viens de lancer un raid de 3x100Go, on verra bien ce que ca donne....

----------

## SpAcY

Harf, et sinon utilises-tu une configuration hpdarm particuliere bien que cela n'influence, à ma connaissance, que de facon constante les performances.

J'utilise actuellement une partition en raid 1 de 120Go pour mon /home et ca a pas posé de probleme particulier au niveau de la taille.

As tu essayé "juste" en raid 1 pour t'assurer que ce ne soit pas le raid 5 qui pose un probleme de contruction ? 

Si j'ai bien compris, pour faire du raid 5 il faut d'abbord construire un raid 1 en degradé. Je sais pas si il est possible de passer ensuite du raid 1 à 5 directement, mais ca te permetterai peut-etre d'avancer un peu  :Wink: 

----------

## BuBuaBu

raid 1 = copie exact sur tout les dur, raid 5 = bloc coupé en n-1 pour n-1 dur + un bloc vérifiant (genre crc) sur le dernier.

Donc a mon avis tu voulais dire qu'il faut rentré les dur un à un, mais le minimum pour faire un raid 5, c'est 3 disques.

----------

## Fyxx

Non, je n'utilise pas de conf particulière de mdadm.

Et en effet, pour faire du raid5, tu dit tes 3 devices minimum que tu inclu, et mdadm te le construit tout seul en mode degradé, puis insere le dernier à la fin. Mais il ne faut pas faire de raid1 puis passer au 5.

Pour info, mon raid5 de 3 fois 100 Go tourne impecable....

Je viens de le casser, et j'en lance un de 125 cette fois.

Et autre info, un raid 1 de 2 disque de 250GO passe....

----------

## SpAcY

Merci pour les infos,

Ton probleme avec mdadm aparait donc uniquement en raid 5 sur des grandes partitions.

En ce qui me concerne, quand j avais eu une baisse de vitesse dans mdadm, j avais lance un petit test a l aide de hdparm -tT. Parexemple lors de la synchronisation, quand elle est 'normale' lance un test en meme temps avec hdparm, puis lorsqu elle devient faible, relance un hdparm pour comparer. Dans mon cas, le 2nd resultat etait concordant avec la vitesse affichee par mdadm. 

J en avais conclu que cela ne provenait pas de mdadm (disques durs brulants + erreurs de DMA dans mon log si je me rapelle bien).

----------

## BuBuaBu

[quote="SpAcY"disques durs brulants + erreurs de DMA dans mon log si je me rapelle bien.[/quote]

Personnellement j'ai 6 disque dur empilés avec 5 mm entre chaque, sans ventilateurs c'est pas viable, ils deviennent rapidement très chaud, et s'éteigne par protection.

----------

## Syl20

 *Fyxx wrote:*   

> ma carte controleur promise possede 4 ports

 

4 ports, ou 4 contrôleurs ?

Parce que si c'est juste 2 contrôleurs, le jour où le premier lâche, tu as deux disques au tas. Donc, plus de RAID, et, bien évidemment, plus de données.

Expérience vécue.  :Wink: 

----------

## Fyxx

Non non, cette carte dispose bien de 4 port avec 1 controlleur sata.

Bon pour info, un raid5 de 3 partitions de 129Go passe, mais un raid de 3 partitions de 130Go s'ecroule avant la fin...

Merci en tout cas, j'ai maintenant un raid5 qui tourne, mais j'arrive pas à le definir correctement pour qu'a chaque demarrage, il soit automatiquement assemblé, et monté dans son repertoire, mais c'est une autre histoire  :Very Happy: 

----------

## BuBuaBu

tu a bien mis les partion à FD (avec fdisk) ?

----------

## Fyxx

Oui comme dit dans le tout premier post, c'est bien de type fd.

Par contre mis avec cfdisk.

Pis de toutes facons, je vois pas comment reussir à faire tourner un raid5 sans avoir des partitions type fd. Enfin si y'a un moyen, je suis interessé......

----------

