# portage lentissimo

## magowiz

Ciao a tutti, quando faccio emerge -uDp world, il portage ci mette un sacco di tempo a calcolare le dipendenze, da cosa può dipendere?

----------

## Luca89

Solitamente le cause sono queste:

Tanti pacchetti installati

Tanti pacchetti inseriti su /etc/portage/package.keywords

 Hard-disk o filesystem lento ad accedere ai file

----------

## GiRa

Prova a dare un emerge --metadata e poi ritenta, se va più veloce è una questione di cache di portage.

----------

## topper_harley

 *Luca89 wrote:*   

> Solitamente le cause sono queste:
> 
> Tanti pacchetti installati
> 
> Tanti pacchetti inseriti su /etc/portage/package.keywords
> ...

 

I primi due problemi sono risolvibili utilizzando lo il tool di ecatmur: 

```
[D] app-portage/udept

     Available versions:  ~0.5.96.2 ~0.5.99.0.2.95 ~0.5.99.0.2.95[1] ~0.5.99.0.2.95-r1

     Installed versions:  0.5.99.0.2.95-r1(11:55:17 02/11/2006)(bash-completion)

     Homepage:            http://catmur.co.uk/gentoo/udept

     Description:         A Portage analysis toolkit

```

Questo tool permette di trovare i pacchetti rindondanti nel file world, ovvero quei pacchetti che verrebbero comunque installati perchè dipendenze di altri...

Per esempio non è necessario avere in world "metacity" quando si ha già "gnome".

Inoltre permette di scovare nelle directory /etc/portage/package.* le entry inutili: ad esempio pacchetti non più installati, pacchetti smascherati che non hanno un corrispondente mascherato ecc.

Questo tool è molto buono ma non perfetto equalche errore lo fa sempre, generalmente lo utilizzo con "pretend" e dopo vado a modificare manualmente il file world e i /etc/portage/package.*

```

dep --help

```

per vedere tutte le varie opzioni.

----------

## mose

personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage

----------

## Kernel78

 *mose wrote:*   

> personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage

 

Ma è una tua sensazione  o hai avuto modo di prendere atto di dati oggettivi ?

Aumentando il numero di pacchetti è ovvio che aumenti anche il tempo di sync ma se tu ha constatato un aumento dei tempi del 500% a fronte di un aumento dei pacchetti del 30% è ovvio che ci sono anche altri fattori ... d'altronde se ti sembra più lento potresti semplicemente sbagliarti ...

Un'affermazione come la tua quando non è supportata da dati oggettivi non può essere valutata.

----------

## mose

Sono d'accordo con te che se non "possiamo misurare qualcosa allora non la conosciamo", e purtroppo non posso darti dei dati oggettivi.

Personalmente ho la sensazione che ext3 sia meno performante su una fresh install rispetto a reiserfs, ma che le prestazioni degradino molto meno.

La mia comunque rimane una sensazione ma, se puï¿½ essere di consolazione, non sono l'unico ad averla avuta.

Ecco qualche link:

https://forums.gentoo.org/viewtopic-t-384292-postdays-0-postorder-asc-start-25.html

e soprattutto

https://forums.gentoo.org/viewtopic-t-422984-highlight-reiserfs+fragmentation.html

dove 6thpink dice

 *Quote:*   

> Reiser3.x is known to fragment like mad.

 

In effetti io ho notato un notevole decadimento nelle prestazioni, soprattutto per il sync di portage, su una macchina a circa 1 anno e mezzo dall'installazione. Quanto dipende dalle performance del fs e quanto dalla crescita dei pacchetti purtroppo non lo posso dire, ma sarebbe interessante se qualcuno piÃ¹ esperto di me facesse dei benchmark a proposito.

----------

## Kernel78

 *mose wrote:*   

> In effetti io ho notato un notevole decadimento nelle prestazioni, soprattutto per il sync di portage, su una macchina a circa 1 anno e mezzo dall'installazione. Quanto dipende dalle performance del fs e quanto dalla crescita dei pacchetti purtroppo non lo posso dire, ma sarebbe interessante se qualcuno piÃ¹ esperto di me facesse dei benchmark a proposito.

 

Quindi qualcuno più esperto di te dovrebbe installare una macchina con reiserfs e lanciare 

```
time emerge --sync
```

salvandosi il risultato, usare la macchina per almeno un anno e poi rilanciare 

```
time emerge --sync
```

 per valutare se ci sono differenze ? Poi vuoi che ti faccia anche da maggiordomo ?  :Laughing: 

Non ti sembra di chiedere tantino ? Inoltre non sappiamo nemmeno con che opzioni hai formattato, se magari è l'hd che ti sta lasciando e fa degradare le prestazioni, se hai installato e lasciato attivi un sacco di servizi che sfruttano l'hd rallentandolo ...

Continuano ad esserci troppi parametri sconosciuti e il periodo di test è troppo lungo ... potresti formattare tutto e reinstallare, calcolare quanto ci mette un emerge --sync e dopo un anno dirci se effettivamente cambia qualcosa  :Wink: 

----------

## .:chrome:.

 *Kernel78 wrote:*   

>  *mose wrote:*   personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage 
> 
> Ma è una tua sensazione  o hai avuto modo di prendere atto di dati oggettivi ?

 

è noto che ReiserFS è soggetto ad un pesante degrado di prestazioni

----------

## mose

Mi consola che anche chrome la pensi come me, probabilmente supportato da dei dati che io non ho avuto modo di trovare.

Per Kernel78: il fatto che sotto il tuo nome ci sia scritto "Veteran" e sotto il mio "Noob" non credo ti autorizzi a trattare in modo cosÃ¬ "spocchioso" i tuoi interlocutori...

Comunque per piÃ¹ esperto di me intendevo dire qualcuno che lavora allo sviluppo del filesystem, e che Ã¨ tenuto a fare dei benchmark per valutarne le prestazioni e il loro degrado... non un utente che come te si fregia del titolo Veteran come se fosse un lasciapassare per l'onniscenza.

Saluti

----------

## .:chrome:.

 *mose wrote:*   

> Per Kernel78: il fatto che sotto il tuo nome ci sia scritto "Veteran" e sotto il mio "Noob" non credo ti autorizzi a trattare in modo cosÃ¬ "spocchioso" i tuoi interlocutori...

 

solitamente non è sua abitudine farlo. sono sicuro che non l'ha fatto con intenzione

----------

## djinnZ

 :Twisted Evil: Last edited by djinnZ on Mon Feb 23, 2009 8:21 pm; edited 1 time in total

----------

## rb34

Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.

Occupazione attuale: 323Mb. La metto in reiserfs, quando vedo che comincia a rallentare troppo la formatto, tanto il sync ricrea tutto.

Da non azzerare troppo spesso, sennò il meccanismo di sync va a farsi benedire.

----------

## .:chrome:.

 *rb34 wrote:*   

> Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.
> 
> Occupazione attuale: 323Mb. La metto in reiserfs, quando vedo che comincia a rallentare troppo la formatto, tanto il sync ricrea tutto.
> 
> Da non azzerare troppo spesso, sennò il meccanismo di sync va a farsi benedire.

 

mi pare un po' eccessivo. oltretutto non risolve il problema principale: la lentezza è dovuta all'accesso al disco... stavo meditando di fare una cosa del genere usando una memoria veloce, ma ora come ora non ho molto tempo per fare esperimenti

----------

## rb34

 *.:chrome:. wrote:*   

>  *rb34 wrote:*   Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.
> 
>  
> 
> mi pare un po' eccessivo. oltretutto non risolve il problema principale: la lentezza è dovuta all'accesso al disco... stavo meditando di fare una cosa del genere usando una memoria veloce, ma ora come ora non ho molto tempo per fare esperimenti

 

Sì, certamente la lentezza è dovuta all'elevato spostamento delle testine richiesto da emerge, però passando da ext3 evidentemente frammentata a una partizione pulita in raiser ho visto un miglioramento a occhio nudo, ed è durato per un po'. Per chi ha un server sempre acceso in effetti un bel portage in memoria non sarebbe male

----------

## .:chrome:.

 *rb34 wrote:*   

> Sì, certamente la lentezza è dovuta all'elevato spostamento delle testine richiesto da emerge, però passando da ext3 evidentemente frammentata a una partizione pulita in raiser ho visto un miglioramento a occhio nudo, ed è durato per un po'. Per chi ha un server sempre acceso in effetti un bel portage in memoria non sarebbe male

 

in memoria no, o perdi tutto... ma magari su una memoria flash veloce... ormai ne fanno di velocissime, molto più dei dischi rigidi

----------

## rb34

 *.:chrome:. wrote:*   

> 
> 
> in memoria no, o perdi tutto... ma magari su una memoria flash veloce... ormai ne fanno di velocissime, molto più dei dischi rigidi

 

Mah, se uno avesse tanta ram si potrebbe caricare il portage tree in memoria al boot e salvarlo allo shutdown... sempre che uno abbia un server teoricamente su h24

----------

## GiRa

A sto punto uno usa l'how-to per usare squashfs e union fs, le prestazioni aumentano di un ordine di grandezza e lo spazio occupato scende di uno.

L'unico overhead è che bisogna (opzionalmente) dare un comando in più dopo il sync.

Io uso questo metodo sul portatile, sul pc fisso e sui server rimango con il metodo ufficiale. Uso ext3.

----------

## Luca89

Io uso XFS con un blocksize minimo, occupa poco spazio e gira abbastanza velocemente. Inoltre ho tolto da portage tutte le categorie che non mi servono (varia roba per server e per desktop enviroment che non uso).

----------

## topper_harley

 *Luca89 wrote:*   

> Io uso XFS con un blocksize minimo, occupa poco spazio e gira abbastanza velocemente. Inoltre ho tolto da portage tutte le categorie che non mi servono (varia roba per server e per desktop enviroment che non uso).

 

Cosa intendi per "tolto da portage"?

----------

## Luca89

 *topper_harley wrote:*   

> Cosa intenfdi per "tolto da portage"?

 

Le ho eliminate da /usr/portage e poi ho fatto un file da dare in pasto a rsync che esclude quelle directory così non me le scarica più.

C'è un howto nel forum. Solo che al posto di

```
RSYNC_EXCLUDEFROM='/etc/portage/exclude_sync'
```

ora si deve usare:

```
PORTAGE_RSYNC_EXTRA_OPTS="--exclude-from=/etc/portage/package.excludes"
```

----------

## xdarma

 *mose wrote:*   

> personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage

 

Potrebbe essere un problema di frammentazione soprattutto se usi l'opzione "notail" in /etc/fstab.

Per misurare la frammentazione della partizione ReiserFS: 

Script:Measuring fragmentation on Reiserfs (and other fs) 

Facci sapere il risultato altrimenti non abbiamo materiale per litig... ehm, chiarire.  ;-)

Casomai dai un occhio a TIP Speeding up portage nel solito wiki.

----------

## mose

 *Quote:*   

> Per misurare la frammentazione della partizione ReiserFS:
> 
> Script:Measuring fragmentation on Reiserfs (and other fs)
> 
> Facci sapere il risultato altrimenti non abbiamo materiale per litig... ehm, chiarire.  

 

Ti ringrazio per la segnalazione!

Purtroppo non posso darti i risultati, perchè ho appena riformattato tutto e rimesso su il sistema da uno stage4... (ormai lo faccio abbastanza "periodicamente")

----------

## GiRa

 *mose wrote:*   

> rimesso su il sistema da uno stage4... (ormai lo faccio abbastanza "periodicamente")

 

E il tuo hostname è winnoveotto?   :Laughing: 

----------

