Globale Dateisysteme

Es gibt  zwei globale Dateisystemen, die von allen Knoten sichbar sind und in denen Nutzerinnen und Nutzer Daten ablegen können: /home und /scratch.

/home (35 TB insgesamt)

Ein Verzeichnis /home/<username> wird für jede/n Nutzer/in angelegt. Alle wichtigen Ergebnisse, Skripte und andere Dokumente sollten hier abgelegt werden. Ein inkrementelles Backup auf Band von diesem Dateisystem wird jeden Abend nach 19 Uhr gemacht.

Zusätlich zum Backup befinden sich im Verzeichnis /home/<username>/.snapshots Kopien von Ihren Daten, die zu verschieden Zeitpunkten in der Vergangenheit angelegt wurden.  Daten aus den Snapshots können regulär mit cp zurück in das eigentlich home-Verzeichnis kopiert werden.  Achtung: Das Verzeichnis .snapshots ist nicht mit ls -a zu sehen! Auch die Tab-Ergänzung im Shell funktioniert mit dem Verzeichnis nicht! Das Verzeichnis kann aber ganz normal im Pfad angeben werden, etwa   ls -l ~/.snapshots .

Das schnelle Schreiben großer Datenmengen in dieses Dateisystem kann zu einer Verlangsamung des Systems und sogar zum Ausfall des gesamten Systems führen. Bitte setzen Sie sich mit uns in Verbindung, bevor Sie so etwas versuchen.

/scratch (1,8 PB insgesamt)

Ein Verzeichnis /scratch/<username> wird für jede/n Nutzer/in angelegt. Hier sollten die temporäre Dateh, insbesondere sehr große Dateien, geschrieben werden. Dieses Dateisystem ist besonders groß und hat den höchsten I/O-Durchsatz. Schlecht geeignet ist dieses Dateisystem für die Ablage großer Mengen sehr kleiner Dateien - diese sollten ausnahmsweise doch in Ihrem Home-Verzeichnis in einem (Unter-)Verzeichnis mit dem Namen tmp gespeichert werden, möglichst nach Absprache mit uns.

Dateien im Dateisystem /scratch werden nicht im Backup gesichert. Falls es durch eine Störung zu Datenverlusten kömmen, ist es nicht möglich betroffene Dateien wiederherzustellen.

Zu den Dateien, die nicht auf /scratch liegen sollen, gehören folgende:

•  Jobskripten
• .out- und .err-Dateien von Jobs
• (Mini-, Ana-)Conda-Umgebungen
• Git-Repositories

VSCode-Sessions müssen verhindern, dass Verzeichnisse auf /scratch vom FileWatcher erfasst werden.

Belegung anzeigen

Die Ausgabe des Befehls df -h /home /scratch zeigt Ihnen in der vierten Spalte, 'Avail' an, wie viel Platz noch frei ist. Beachten Sie jedoch, dass der freie Platz eine Ressource ist, die vielen Nutzern zur Verfügung steht.  Es existieren außerdem Quoten, die den maximalen Platz, den eine Person belegen kann, begrenzen.

Lokales Dateisystem

Jeder Rechnenknoten hat ein schnelles aber kleines lokales Datesystem und zwar /localscratch. Alle Jobs von einem gebeben Nutzer bzw. einer gebenen Nutzerin auf einem gegebenen Knoten können in folgendes Verzeichnis schreiben bzw. daraus lesen

/localscratch/${USER}/tmp

Achtung; Dieses Dateisystem ist lediglich 167 GB groß, es kann aber von allen Nutzerinnen und Nutznern mit Jobs auf dem jeweilgen Knoten verwendet werden.