Elements Bolt: Neuer Leistungshöchstwert dank BeeGFS

Testaufbau

Bei einem Test, bei dem es nur um bestmögliche Leistung geht, verwendet man üblicherweise einfach mehr Hardware, um eine neue Bestmarke zu erzielen. Elements hat sich jedoch zu einem Test-Setup entschieden, das in puncto Hardware vergleichbar ist mit den Test-Setups der drei bisherigen Spitzenreiter. Dies ermöglicht einen aussagekräftigeren und faireren Vergleich der Testergebnisse.

Zwölf Einheiten des reinen NVMe-Elements Bolt sind jeweils nur zur Hälfte mit NVMe-Geräten bestückt — 12 Micron 9300-Geräte pro Elements Bolt (statt 24) mit einer Gesamtzahl von 144 NVMe-Geräten in der gesamten Umgebung. Auf jedem Elements Bolt läuft das BeeGFS-Dateisystem.

Jeder Speicherknoten ist über eine 100-Gbit-Verbindung mit einem 100-Gbit-Mellanox-Switch verbunden. Am selben Switch sind 20 lastgenerierende Clients (Elements Gateway) über eine 50-Gbit-Verbindung angeschlossen. Ebenfalls über eine 50-Gbit-Verbindung angeschlossen ist ein Prime-Client-Node (Elements Worker), auf dem die Benchmark-Anwendung läuft. Für den Verwaltungs- und Managementzugriff sind alle Speicher- und Client-Knoten an ein 1-Gbit-Hausnetz angeschlossen.

Wer sind die drei leistungsstärksten Wettbewerber?

WekaIO, ein privates Unternehmen mit Sitz in den USA, das sich auf Hochleistungsspeicher spezialisiert hat, nutzt den SPEC SFS-Benchmark, um sein paralleles und verteiltes Flash-Scale-Out-Dateisystem WekaIO Matrix vorzustellen. Das Dateisystem läuft auf sechs Supermicro BigTwin-Gehäusen, die jeweils aus vier Knoten bestehen und mit 138 Micron 9200 NVMe-Geräten bestückt sind.

Quantum Corporation, ein börsennotiertes Unternehmen für Datenspeicherung und -management, ist in der Medien- und Unterhaltungsbranche für viele Innovationen bekannt, insbesondere für das StorNext-Dateisystem. Quantum ist auch ein langjähriger und hoch geschätzter Technologiepartner von Elements. Für den Test wurden zehn F1000 Storage Nodes mit insgesamt 100 Micron 9300 NVMe-Geräten auf der Xcellis-basierten StorNext7 (v7.01)-Plattform eingesetzt.

CeresData ist ein Unternehmen mit Sitz in Peking, das sich auf Speichertechnologie spezialisiert hat. Deren Testumgebung wurde auf dem Zehn-Knoten-Speichercluster D-Fusion 5000 SOC aufgebaut, auf dem das CeresData Prodigy OS läuft.

Benchmark Ergebnisse

Bei Verwendung einer vergleichbaren Menge an Hardware, ähnlich wie die drei leistungsstärksten Konkurrenten, erreichten Elements und BeeGFS eine höhere Anzahl von Streams und damit einen höheren Durchsatz als jede andere Umgebung, die im SPEC SFS‘ VDA Benchmark getestet wurde. Die neue Höchstpunktzahl ist 14,58 % höher als die vorherige, was 6,25 Gigabyte pro Sekunde entspricht. Vergleicht man das Verhältnis zwischen der maximalen Streamanzahl und der Anzahl der verwendeten Speichergeräte, so ergeben sich ähnliche Ergebnisse. Die Elements-Umgebung zeigt die effizienteste Nutzung mit durchschnittlich 76,39 Streams pro NVMe-Gerät.

Während die einfache Metrik der maximalen Stream-Anzahl interessant und leicht verdaulich ist, lassen sich bei genauerer Betrachtung der Details wertvollere Erkenntnisse gewinnen.

CPU-Auslastung

Die Verwendung einer vergleichbaren Menge an Hardware wie bei den anderen Lösungen ermöglicht es uns, zu untersuchen, wie effizient der Elements Bolt mit BeeGFS bei der Bereitstellung von Leistung wirklich ist. Ein interessanter Aspekt bei der Analyse ist natürlich die CPU-Auslastung.

Auf das Wesentliche heruntergebrochen, besteht die Rolle der CPU in einem Speichersystem in erster Linie in der Datenverarbeitung, die sicherstellt, dass Informationen interpretiert und die Anweisungen in der kürzest möglichen Zeit ausgeführt werden. Sie ist eine Schlüsselkomponente, und ihre effiziente Nutzung kann einen großen Einfluss auf die Gesamtleistung haben. Moderne CPUs können eine unterschiedliche Anzahl von Kernen haben. Aus diesem Grund haben wir in »Streams per Client« die maximale Anzahl der Streams in Relation zur Gesamtzahl der CPU-Kerne gesetzt, die die Umgebung eingesetzt hat. Die Elements-Bolt-Umgebung mit BeeGFS hat die höchste Anzahl von Streams (Durchsatz) pro Speicher-CPU-Kern erreicht. Dies ist keine große Überraschung, wenn man bedenkt, dass BeeGFS ursprünglich für High-Performance-Computing-Anwendungsfälle entwickelt wurde.

Ein ebenso wichtiger Faktor für das Erreichen höchstmöglicher Benchmark-Ergebnisse ist die Leistung der Clients, auf denen die Testanwendung läuft. Diagramm »Streams per Server« zeigt, dass Elements die höchste Anzahl von Streams (Durchsatz) pro Client-CPU-Kern erreicht hat. Mit anderen Worten: Die beeindruckenden Benchmark-Ergebnisse werden keineswegs durch den Einsatz von zu leistungsstarken Clients verfälscht.

Messungen der Latenzzeit

Eine weitere wichtige Kennzahl für Medien-Workflows ist die Latenzzeit. Die Latenz bezieht sich auf die Zeitverzögerung, die in der Regel in Millisekunden gemessen wird, zwischen der ersten Datenanforderung und der letztendlichen Lieferung. In Medien-Workflows ist es wichtig, dass die Latenzzeit sowohl niedrig als auch stabil ist. Mit anderen Worten, die Videowiedergabe sollte nach dem Drücken der Play-Taste so schnell wie möglich und immer mit ungefähr der gleichen Geschwindigkeit beginnen. Und beim VDA-Workload findet der Ingest statt, ohne dass beim Capturing der Videoquelle Bilder fehlen.

Das obige Diagramm zeigt die gemessene Latenz während der Testläufe aller vier Umgebungen. Es ist zu erwarten, dass mit steigender Anzahl der Streams auch die Latenz steigt. Dies ist das Ergebnis einer erhöhten Belastung aller Komponenten innerhalb der Umgebung. Das wünschenswerteste Ergebnis des Tests sollte eine stetig wachsende Linie sein, wenn die Anzahl der Streams steigt, wobei die Gesamtveränderung auf der Y-Achse so gering wie möglich sein sollte.

Man kann mit Fug und Recht behaupten, dass die Latenzkurve der Elements Bolt-Umgebung mit BeeGFS im Durchschnitt die besten Ergebnisse aller vier Teilnehmer zeigt. Dies liegt daran, dass die Latenz während des gesamten Tests sowohl niedrig als auch stabil bleibt. Die insgesamt deutlich höhere Latenz von WekaIO und CeresData lässt sich möglicherweise durch die unterschiedlichen Anwendungsfälle erklären, auf die sich diese Unternehmen konzentrieren, während der drastische Anstieg der Latenz bei Quantums letzten Testläufen höchstwahrscheinlich darauf zurückzuführen ist, dass die Umgebung an ihrer Leistungsgrenze läuft. Abgesehen davon unterstreicht die sehr niedrige Latenz bei den niedrigeren Stream-Zahlen die Stärke des iSer / RDMA-basierten Block-Level-Zugriffs der StorNext SAN-Clients.

Effizienz des Arbeitsspeichers (RAM)

Im Laufe der Jahre hat sich der Arbeitsspeicher zu einer der wichtigsten Komponenten zur Unterstützung der Speicherleistung entwickelt.

Der Arbeitsspeicher ist der schnellste Speicher, der einem Computer zur Verfügung steht, und wird verwendet, um die von den Speichergeräten des Systems (HDD, SSD, NVMe) gesammelten Daten für den unmittelbaren Zugriff der CPUs zu speichern. Neben der Zwischenspeicherung von Prozessen des Betriebssystems und laufenden Anwendungen wird der Speicher auch für die Zwischenspeicherung von Dateisystem-Metadaten und Datenbankabfragen verwendet. Indem ein Teil der Metadaten-Lesevorgänge durch Lesevorgänge aus dem Cache ersetzt wird, können Anwendungen Latenzzeiten beseitigen, die bei häufigen Zugriffen entstehen. Dies bedeutet, dass eine Erhöhung des Speichers eine einfache Möglichkeit ist, die Gesamtleistung einer Speicherlösung zu steigern.

Interessant ist die Tatsache, dass Elements und BeeGFS die beste Leistung bei gleichzeitig geringstem Gesamtspeicherverbrauch erzielt haben.

• WekaIO: 11.712 GB
• CeresData: 10.624 GB
• Quantum: 3.392 GB
• Elements: 2.976 GB

Obwohl die Verwendung exorbitanter Speichermengen keineswegs gegen die Regeln des Benchmarks verstößt, könnte man sich fragen, wie effizient es ist, 11 Terabyte RAM für ein 342,73 Terabyte großes Dateisystem zu verwenden.

Das Diagramm rechts veranschaulicht, wie speichereffizient diese verschiedenen Umgebungen wirklich sind, indem es die maximale Anzahl der Datenströme pro verwendetem Gigabyte Arbeitsspeicher anzeigt. Dies ist eine weitere Kennzahl, bei der Elements Bolt und BeeGFS vorne liegen.

Seite 1: Hintergrundinfos BeeGFS und SPEC SFS-Leistungsbenchmarking
Seite 2: Testaufbau und Ergebnisse
Seite 3: Fazit