Objektspeicher
Objektspeichersysteme für die Speicherung von Forschungsdaten
Die UDE bietet zur Speicherung von Forschungsdaten maßgeschneiderte Systeme an, die von hochperformanten Fileservern bis hin zu hochvolumigen Objektspeichersystemen reichen.
Insbesondere bei sehr großen Datenmengen geraten klassische Speichersysteme an ihre Grenzen, da sie nicht ausreichend skalierbar sind. Um auch derartige Anforderungen erfüllen zu können, setzen wir geoverteilte Objektspeichersysteme ein, die ein hohes Maß an Sicherheit und gleichzeitig große Mengen Speicherplatz bieten.
Aktuell befinden sich zwei Technologien im Einsatz, die in den folgenden Abschnitten näher erläutert werden.
Im Verbund mit den UAR-Universitäten in Bochum und Dortmund betreiben wir seit dem Jahr 2018 ein Speichersystem auf Basis von RedHat Storage Server (Ceph). Dieses wurde im Jahr 2020 durch ein größeres System auf Basis von Dell-EMC ECS-Technologie ergänzt.
Beide Systeme können über eine Vielzahl von Schnittstellen und Protokollen genutzt werden.
Um die passende Lösung für Sie zu finden, kontaktieren Sie uns gerne über das Kontaktformular.
Technologie
Zugriff auf den Objektspeicher
Der Zugriff auf den Objektspeicher kann über mehrere Schnittstellen erfolgen.
- Einfach:
Am einfachsten geht es mit vorgeschalteten Sync & Share Systemen, die ähnlich arbeiten wie Sciebo. Hier setzen wir aktuell Lösungen von Ctera und Nextcloud ein. Die Lösung mit Nextcloud befindet sich im Testbetrieb (Stand 10/2022).
- Klassisch:
Wer es lieber "klassisch" mag, kann über vorgeschaltete Systeme die bekannten Protokolle SMB/CIFS und NFS im Windows-, Linux- und Mac-Umfeld nutzen.
- Experten:
Experten greifen per Linux Block Devices, nativ über S3, RESTful APIs oder Posix-kompatibles CephFS auf die Systeme zu.
Warum Objektspeicher?
Objektspeichersysteme bestehen aus verschiedenen Servern mit vielen Festplatten, die an unterschiedlichen Standorten stehen.
Über das Netzwerk werden diese einzelnen Server zu einem großen sog. Cluster zusammengefasst, der zentral administriert wird. Dabei zerlegt der Cluster die Daten in sog. Objekte und verteilt diese mit Hilfe eines speziellen Algorithmus auf verschiedene Server und Festplatten im Cluster und sorgt somit für die gewünschte Redundanz.
Da es innerhalb des Clusters keine Hierarchien gibt, lässt sich ein Cluster durch einfaches Hinzufügen weiterer Knoten nahezu beliebig erweitern. Über Cluster-Regeln lässt sich dann einstellen, wie viele Kopien von einem Objekt vorgehalten werden und wo diese liegen sollen.
Welche Systeme können Sie nutzen?
Aktuell stehen drei Objektspeichersysteme zur Verfügung:
- FDS.UAR:
Der Ceph-Cluster der UA-Ruhr basiert auf OpenSource-Software und wird an den Standorten Duisburg, Essen, Bochum und Dortmund betrieben. Die Daten verbleiben an den jeweiligen Heimat-Universitäten.
Dieser Cluster ist einfach erweiterbar und eignet sich für Anwendungen mit niedrigen Anforderungen an die Performance.
- FDS.UDE:
Hierbei handelt es sich um eine lokale Implementierung der UDE der o. g. ECS-Technologie von Dell-EMC. Die Daten werden redundant an den Standorten Duisburg und Essen vorgehalten.
Das System eignet sich durch vorgeschaltete Lastverteilung auch für Anwendungen mit höheren Performance-Anforderungen.
- FDS.NRW:
Im Verbund mit den UA-Ruhr-Universitäten, der RWTH Aachen und der Universität zu Köln betreibt die UDE ein ebenfalls auf ECS-Technologie basierendes Cluster, das insbesondere für die Nutzung durch die Kunst- und Musikhochschulen sowie die HAWs in NRW vorgesehen ist. Die Nutzung von Teilen dieses Speichers für die o. g. Universitäten ist ebenfalls möglich.