Systemaufbau

Node Types

Es gibt drei Sorten von Compute Nodes, die sich nur durch den Hauptspeicher unterscheiden:

  1. Normale Compute Nodes: 64 GB Main Memory - node[073-564]
  2. FAT Compute Nodes: 128 GB Main Memory - node[001-072]
  3. SUPERFAT Compute Nodes: 256 GB Main Memory - node[565-624]

Die Nodes-Typ 2. und 3. stehen in allen Partitionen gleichwertig zur Verfügung, sie werden lediglich zurückgehalten, bis keine 'normale' Resource mehr verfügbar ist. Die Nodes-Typen werden durch ein Flag im slurm script angefordert:

#SBATCH  --constraint="FAT"
bzw.
#SBATCH  --constraint="SUPERFAT"

Aktuell ist für das Anfordern der Nodes-Typen 2. und 3. kein erhöhtes Accounting angesetzt. Sollte das Flag sich in Zukunft jedoch in zu vielen batchscripten als 'default Einstellung' finden, kann ein erhöhtes Accounting eingestellt werden.

Interconnect

Als Interconnect wird OmniPath (OPA) eingesetzt. Jeder der OPA Switche besitzt 48 Ports. Auf der magnitUDE ist hiermit ein zweistufiges Netzwerk realisiert, bestehend aus:

16 Edge Switches

5 Spine Switches

An jedem der Edge Switche sind 36 Compute Nodes Angeschlossen. Die übrigen Ports realisieren die Verbindung zu den Spine Switches. Die 36 Compute Nodes eines Switches können als Netzwerkinsel von slurm angefordert werden. Auszug aus den man pages:

#SBATCH --switches=<count>[@<max-time>]

When a tree topology is used, this defines the maximum count
of switches desired for the job allocation and optionally the maximum time
to wait for that number of switches. If Slurm finds an allocation containing
more switches than the count specified, the job remains pending
until it either finds an allocation with desired switch count or the time
limit expires.  It there is no switch count limit, there is no delay in
starting the job.  Acceptable time formats include "minutes",
"minutes:seconds", "hours:minutes:seconds", "days-hours",
"days-hours:minutes" and "days-hours:minutes:seconds". 

Beispiel:

#SBATCH -N 36

#SBATCH --switches=1@1-12

Plaziert den job nur zusammenhängend auf einer Netzwerkinsel. Es wird 1.5 Tage gewartet bis dieses möglich ist, danach wird der Job ohne die switch Einschränkung gestartet.

Mittles des folgenden Komandos kann man sich auch die Topologie der Switche/Nodes anzeigen lassen:

scontrol show topology