# Aktion Gentoo-Mirrors für Strato [nicht mehr aktuell!]

## slick

 :Exclamation:  Seit neuestem (Stand Sept. 05) ist Traffic zwischen zwei Servern im Strato-RZ nicht mehr kostenlos und wird wie kostenpflichtiger externer Traffic berechnet. Wer dennoch einen Gentoo-Mirror innerhalb des RZ sucht bzw. bereitstellen möchte bitte ggf. den ganzen Thread lesen. Angaben zu kostenlosem Traffic in den folgenden Posts sind vermutlich veraltet.

Da Strato bisher keinen eigenen Gentoo-Mirror bereitstellt möchte ich basierend auf diesen Thread eine Liste zusammenstellen für die inoffiziellen Gentoo-Mirrors bei Strato. Das spart Traffic nach außerhalb des RZs (und somit evt. Kosten) und sollte auch schneller sein.  Wer dazu beitragen möchte ist gern willkommen.

Die aktuelle Fassung der Liste ist hier zu finden

http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt

http://gentoo.mysnip.de:8080/gentoo/strato-gentoo-mirrors.txt (Thanks to ts77)

Format in der Liste

Eine Kommentarzeile beginnt mit #

Eine Zeile für die URL zu einer (gespiegelten) Liste beginnt mit list: gefolgt von einem Leerzeichen und der URL zu der Liste

Eine Zeile für einen Distfiles-Mirror beginnt mit mirror: gefolgt von einem Leerzeichen und der URL zu dem Server.

Eine Zeile für einen Rsync-Mirror beginnt mit rsync: gefolgt von einem Leerzeichen und der URL zu dem Server

Wer einen Server bei Strato im Rechenzentrum laufen hat und auf diese Liste will bitte bei mir per Nachricht melden. Wer Anregungen oder Ideen hat bitte posten.

Die Liste kann innerhalb des RZ gern weiter gespiegelt werden um Redundanzen zu schaffen, sollte aber dann auch von extern verfügbar sein. Sollte dies regelmäßig erfolgen dann bitte mir Bescheid geben damit ich die URL unter der diese Kopie der Liste abrufbar ist auch mit auf die Liste setzen kann.

Servereinrichtung

Verzeichnis-Listings (Bei Apache Option Indexes) sollten bei der bloßen Bereitstellung der eigenen Distfiles (kein vollständiger Mirror) ausgeschaltet sein um zu verhindert das sich für Außenstehende evt. erkennen läßt welche Pakete installiert sind. Auch sollte eine Beschränkung auf die IPs oder Hostnames aus dem Strato-RZ konfiguriert werden um Zugriffe (und somit Traffic) von extern zu vermeiden.

wget

Nutzer welche die Server aus der Liste nutzen sollten die Verbindungsversuche von wget auf 1 setzen um unnötige Verbindungsversuche eines evt. nicht verfügbaren Servers zu verhindern.

Beispiel:

```
FETCHCOMMAND="/usr/bin/wget -t 1 --passive-ftp \${URI} -P \${DISTDIR}"

RESUMECOMMAND="/usr/bin/wget -c -t 1 --passive-ftp \${URI} -P \${DISTDIR}"
```

Wer sich kreativ beteidigen möchte... ich suche hier auch noch ein Script welches es ermöglicht diese Liste auszulesen und die Server in die make.conf vor den anderen "normalen" Mirrors einzutragen. Ein Ansatz wäre folgender:

```
echo `wget http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt -q -O - | grep ^mirror: | cut -d " " -f 2`
```

Last edited by slick on Wed Dec 17, 2008 8:54 am; edited 9 times in total

----------

## McPringle

Hallo!

Da ich im Moment etwas Speicherplatz eruebrigen kann, wuerde ich anbieten, STRATO-intern die distfiles sowie einen rsync Mirror zur Verfuegung zu stellen.

cu

McPringle

----------

## slick

Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann. Bisher ist kaum Traffic zu verzeichnen. Aber vielleicht liegt das auch am (noch geringen) Bekanntheitsgrad. 

An anderer Stelle habe ich schon über die Sinnhaftigkeit des Projektes diskutiert. Ich denke es ist eher eine Philosophie-Frage. Schaden kanns jedenfalls nicht. Zumindest habe ich schon dazugelernt bei der Konfiguration des Servers  :Smile: 

----------

## McPringle

 *slick wrote:*   

> Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann.

 

```
GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"

SYNC="rsync://h58356.serverkompetenz.net/portage"
```

Soweit erstmal. Hast Du einige Distfiles liegen? Die wuerde ich gerne meinem Mirror hinzufuegen - muss ich weniger von extern laden, dann zaehlt das nicht zum Traffic. Ich moechte gerne einen vollstaendigen Mirror anbieten und vorher so viel wie moeglich STRATO-intern transportieren.

cu

McPringle

----------

## moe

Hmm, da musst ja ne Menge Speicherplatz übrig haben  :Wink: 

Mein Rootie steht leider nich bei Strato, aber trotzdem ne Frage: Warum nicht per NFS, dann kann jeder der deinen Distfilesmirror benutzt den automatisch füllen, und du läufst nich Gefahr irgendwas im Mirror anzubieten (also erstmal von extern laden) was nie gebraucht wird. Und ausserdem wird so auch der externe Traffic zum Befüllen des Mirrors auf die Nutzer verteilt, wenn jmd. von extern in dein NFS-export lädt, hat er ja den extern-Traffic du nur intern..

Gruss Maurice

----------

## ts77

Hmm, Sicherheit?

Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.

Ist ja schließlich nicht das heimische kleine Netzwerk  :Wink: .

----------

## McPringle

 *ts77 wrote:*   

> Hmm, Sicherheit?
> 
> Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
> 
> Ist ja schließlich nicht das heimische kleine Netzwerk .

 

Mir gehts nur darum, einmal Distfiles von STRATO-Server zu bekommen, damit die dann regelmaessig durchgefuehrten Spiegelungen mit einem externen Mirror nicht so viel Traffic verbrauchen.

cu

McPringle

----------

## slick

 *ts77 wrote:*   

> Hmm, Sicherheit?
> 
> Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
> 
> Ist ja schließlich nicht das heimische kleine Netzwerk .

 

Full ACK

Eine incoming-ftp wäre noch eine Alternative, welche auch allerdings schnell mißbraucht werden kann. Es sei denn man legt dann eine cronjob darüber der checkt ob das hochgeladene File auch auf den offiziellen Mirrors liegt. Da würde wiederum dafür sorgen das auch nur aktuelle Distfiles im Verzeichnis sind. Aber da ist denke ich ein abgespeckter Mirror (-X -kde etc.) immernoch sinnvoller.

Und wenn wir schon beim Thema Sicherheit sind. Auch ein privater rsync-mirror löst bei mir gewisse Bedenken aus. Aber wenn man den nur für "größere" syncs benutzt und danach nochmal gegen einen offiziellen Mirror sync dürfte das safe sein.

----------

## moe

Man kann es ja auf die IP-Bereiche von Strato einschränken, oder sogar nur auf die IPs von den Leuten die das mitbenutzen wollen.. Aber ein guter Einwand, an die Sicherheit hab ich mal wieder nicht gedacht  :Embarassed: 

Gibts denn bekannte Sicherheitsprobleme bei NFS?

Gruss Maurice

----------

## slick

Ist zwar die blödeste Antwort die man geben kann, aber ich geb sie trotzdem mal: 

http://www.google.de/search?hl=de&q=Sicherheitsprobleme+bei+NFS&btnG=Google-Suche&meta=

----------

## slick

Habe heute an Strato eine Mail verfasst, mal schauen was zurückkommt.

 *Quote:*   

> Hallo Strato-Team,
> 
> da ihr bisher keinen Gentoo-Mirror in eurem RZ anbietet habe ich mich mit Leuten aus der Gentoo-Community an dem (privaten) Projekt "Gentoo-Mirror für Strato" beteidigt. Details hierzu findet ihr unter folgender URL.
> 
> https://forums.gentoo.org/viewtopic-p-2160587.html
> ...

 

Edit 14.03.05

Heute kam eine Antwort von Strato. Ich möchte die Mail jetzt hier nicht komplett zitieren (Postgeheimnis), Strato bedankte sich für unsere Bemühungen und teilte mit, daß diese Information dem technischen Support mitgeteilt wurden sowie dem Dokumentationsteam und das es evt. einen Eintrag in die FAQ von Strato gibt.

----------

## Grille

Hi, 

lebt das Projekt noch immer?

Würde mich auch beteiligen, wüsste ich bloß wie... ich hab keine ahnung wie ich meinen server als mirror einrichten soll, und wie viel freien platz benötige ich dafür?

Hoffe mal auf Lebenszeichen *gg*

Also bis dahin, Grille

--------------------------------------------

Zu finden bin in auch im freenode.net

imChannel #gentoo-anfaenger

--------------------------------------------

Also einfach mal dort vorbeischauen, da ist meistens mehr los als im Forum ....

Gruß Christian

----------

## dakjo

Apropro Mirror.

Der Rsync-Mirror rsync8.de.gentoo.org ist auch bei Strato. 

IP: 81.169.182.53

HOSTNAME: h53098.serverkompetenz.net

Also um immer von im zu syncen

SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"

[edit]

BTW. ihr duerft auch gerne mehr als einmal an Tag syncen.

[/edit]

----------

## slick

Super Sache das!  :Smile:  Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?

Weiß eigentlich jemand über folgendes Bescheid: Strato hat ja zwei Rechnenzentren. Eins in Berlin und eins in Karlsruhe. Wie sieht es mit Traffic zwischen diesen beiden Rechenzentren aus, kostet der und wenn nein hat jemand die IP-Bereiche aus dem Karlsruher RZ? siehe dazu http://www.strato.de/server/rechenzentrum_c.html (Vorsicht kommerzieller Link  :Wink:  )

----------

## ts77

Super, hab ich den doch glatt einfach mal bei mir auch eingetragen (ich synce trotzdem vorbildlich nur einmal täglich ... nur in Ausnahmefällen nicht  :Wink: ).

Das wäre ja noch eine Idee für den DNS-Server für die Einträge ... der könnte doch den der anfragenden IP am nächsten liegenden Mirror (so nach C-Block oder anderen Kriterien) zurück geben. Ok, so gehts aber auch.

@Grille, hängt ja im Prinzip davon ab, was genau Du zur Verfügung stellst. Wir haben hier meist nur die bereits selbst heruntergeladenen Distfiles angeboten. Das heisst Du brauchst nicht mehr Platz als vorher  :Wink: . Außer natürlich Du willst einen kompletten Distfile-Mirror anbieten. 

Im Prinzip brauchst Du nur einen einfachen Webserver aufsetzen, mit ein paar kleinen Regeln, wie z.B. der Einschränkung auf den IP-Bereich.

gruß,

thomas

----------

## dakjo

 *slick wrote:*   

> Super Sache das!  Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?
> 
> 

 

Ja, ist meiner.

----------

## slick

@ Grille

Ups, hatte Dein Posting fast übersehen  :Wink: 

Ein voller Mirror kostet Dich ca. 40 GB, wobei man bei einem Strato-internen von viel weniger ausgehen sollte, da es keinen Sinn macht hier z.B. KDE- oder sonstige X-Pakete zu spiegeln. Details hierzu kann bestimmt McPringle hinzufügen.

Ein eigener inoffizieller Rsync-Mirror macht meines Erachtens aus Sicherheitsgründen hier keinen Sinn.

Im einfachsten Fall reicht jedoch das Bereitstellen der /usr/portage/distfiles vollkommen aus und/oder Du spiegelst die o.g. Liste um da Redundanzen zu schaffen.

Das Projekt lebt übrigens, auch wenn es selten Lebenszeichen zeigt  :Wink: 

----------

## Ragin

Mal ne ganz blöde Frage:

Ihr greift über externe IPs/Domains auf die Server zu?

Dann seid ihr euch auch bewusst, dass die Pakete durch die Router gehen und der Traffic gezählt wird. Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.

Demnach würde das ganze recht wenig Sinn machen (außer, dass evtl. die Geschwindigkeit immer recht gut ist (insofern Strato nicht grad generell lahmt), was aber durch mirrorselect auszugeleichen ist.

Oder hab ich da was übersehen?

----------

## ts77

ähm, warum sollten sie über den Router gehen?

Jeder normale Switch kann über die IP direkt routen und muß nicht alles über den externen Router schicken.

Interne IPs gibts bei Strato IMO nicht.

----------

## slick

 *Quote:*   

> Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.

 

Falsch. Soweit ich das weiß hat zwar Strato offizielle IPs, jedoch wir der Traffic erst am "Ausgang" des RZs gemessen. D.h. wenn ich von Strato-Server A zu Strato-Server B (über die DNS-Auflösung des Strato-DNS-Servers C) eine Verbindung aufbaue wird kein Traffic nach extern gemessen. d.h. es handelt sich um internen Traffic welcher gemäß FAQ von Strato kostenlos ist.

----------

## slick

Hier mal kurz ein Vorstellung wie ich mein distfiles-Verzeichnis (auch für andere) aktuell halte und dennoch nicht mit älteren Paketen die Platte zumülle.

In der Nacht läuft ein cron-job der folgendes macht 

```
emerge sync ; emerge -fuD world ; ACCEPT_KEYWORDS="~x86" emerge -fuD world
```

Dadurch liegen immer alle meine Pakete für mein x86 sowie für andere ~x86 Systeme als "Mirror" bereit. Allerdings hat das zur Folge das damit mein distfiles-Verzeichnis zugemüllt würde. Eine der Lösungen aus diesem Thread kommt auch nicht in Frage, da ja sonst auch alle x86 Pakete gelöscht würden wenn ich die ~x86 Pakete in den distfiles habe (Aussonderung über die Versionsnummern) oder alle ~x86 Pakete gelöscht würden da ich diese nicht installiert habe (Aussonderung über nicht installierte Pakete)

Also habe ich mir ein Script geschrieben welches meine distfiles mit den distfiles eines offiziellen Mirrors vergleicht. Und ist z.B. eine Paket nicht mehr auf dem Mirror vorhanden, wird es auch aus meinen Distfiles geworfen. Hierfür wird der ftp-client aus ncftp genötigt. Dieses Script läuft als cron-job, aber nicht täglich.

```
#!/bin/bash

mirror=ftp://ftp6.uni-muenster.de/pub/linux/distributions/gentoo/distfiles/

distdir=/usr/portage/distfiles

ftplist=/tmp/list_${RANDOM}${RANDOM}${RANDOM}

ncftpls -1 $mirror > $ftplist && \

for file in ${distdir}/* ; do

    cat $ftplist | grep "`basename ${file}`" &> /dev/null || rm ${file}

done

rm $ftplist
```

Problem sind momentan hierbei noch Pakete die nicht auf den Mirrors liegen, weil sie direkt von der Ursprungsseite gezogen werden (z.B. mysql). Was sich aber durch einfach rausfiltern noch realisieren liese, das ist aber noch nicht implementiert.

----------

## jannis

Hallo, ich meld' mich ma hier. ^^

Ich habe seit heute, 20:00 Uhr nen rooty bei strato und habe' eure Server mal bei mir in die make.conf:

```
GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"

SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"

```

Danke für den Service *gg*

----------

## wmark

Zitat aus dem Kundenservicebereich, TrafficControl, Datentransfer:

 *Quote:*   

> Der interne Traffic zu Servern der STRATO Infrastruktur wird separat erfasst und hiervon abgezogen. Hierzu gehören im Wesentlichen der Traffic zu den FTP-Servern für Backups und Updates, zu Nameservern und den Installationssystemen. Der Traffic zu anderen Kundenservern innerhalb des Rechenzentrums zählt nicht zum kostenfreien internen Traffic.

 

----------

## slick

Uii... das muß ganz frisch sein. Die hatten ja in den letzten Monaten die Trafficmessung auch irgendwie umgebaut.

Habe die Änderung auch an der Stelle gefunden, wo früher stand das der Traffic zwischen zwei Servern kostenlos ist. 

Nicht sehr erfreulich... aber solange der Traffic in einem für mich tragbaren Rahmen bleibt werde ich auch erstmal weiterhin meinen teilweisen Mirror laufen lassen.

----------

