Gauß-Allianz newsletter - Issue 23

Am RRZN der Leibniz Universität Hannover ist die erste Stufe der dritten Generation des HLRN-Hochleistungsrechners aufgebaut und befindet sich derzeit im Testbetrieb zur Abnahme. Wie in Berlin stehen in Hannover nun vier Cray XC30 Cabinets, die über das Cray-eigene Aries-Netzwerk miteinander verbunden sind, dem HLRN-Verbund zur Verfügung. Das MPP-System mit einer Peak Performance von 329 TeraFlop/s besteht aus 17.856 Kernen in 744 Knoten mit je 2 x 12 Kern-Intel-Ivy-Bridge-Prozessoren und 64 GByte RAM. Das Arbeitsverzeichnis unter Lustre ist 1,4 PiB groß. Zusätzlich wurde am Standort Hannover ein SMP-System aus 32 Knoten Intel Sandy Bridge Prozessoren mit je 32 Kernen, 256 GByte RAM und 12 TB lokalem Festplattenspeicher installiert, welches besonders für speicherhungrige Anwendungen, z.B. aus der Chemie geeignet ist. Für den HLRN-III wurde in Hannover ein modernes Kühlsystem installiert, das nahezu ganzjährig mit freier Kühlung und somit sehr sparsam betrieben werden kann. Eine dynamische, unterbrechungsfreie Stromversorgung sichert das System gegen Stromausfälle bis zu einer Dauer von 20 Stunden ab. Verglichen mit seinem Vorgänger ist der HLRN-III in der ersten Ausbaustufe mehr als doppelt so schnell bei etwa halbem Energiebedarf. Bis Ende Dezember findet ein Parallelbetrieb von HLRN-II und HLRN-III statt, der den Nutzern einen nahtlosen Übergang zwischen beiden Systemen ermöglicht. Für Ende 2014 ist die zweite Ausbaustufe mit einer Vervierfachung der Anwendungsleistung geplant. Beide HLRN-III Systeme der ersten Ausbaustufe sind bereits in der Top500 vom November 2013 auf den Plätzen 120 und 121 gelistet. Die Namen der Systeme, Gottfried und Konrad, wurden zu Ehren der Wissenschaftler Leibniz und Zuse gewählt. Die offizielle Einweihung des HLRN-III für beide Standorte findet am 16. Januar 2014 in Hannover statt.

Kontakt: Steffen Schulze-Kremer, RRZN

Der neue IBM-Hochleistungsrechner der Max-PlanckGesellschaft (MPG) startete im September 2012 am RZG mit einem Interimssystem auf Basis von Intel-Sandy-Bridge-Prozessoren mit einer Peak-Leistung von ca. 200 TeraFlop/s. Für eine reibungslose Nutzung wurden die Vorgängersysteme IBM Power6 und BlueGene/P zunächst parallel weiter betrieben. Das Interimssystem wurde nun mit aktueller Technologie erweitert. Der Nutzerbetrieb des integrierten Systems, das vor allem für Simulationen aus den Bereichen Material- und Lebenswissenschaften sowie Astro- und Plasmaphysik eingesetzt wird, wurde im Oktober aufgenommen. Mehr als 20 Institute nutzen das System inzwischen, die Auslastung lag im November bei 90 %. Die Erweiterung basiert auf Intel-Ivy-Bridge-Prozessoren und Infiniband FDR14 Interconnect von Mellanox. Die Rechenknoten enthalten je zwei CPUs mit je 10 Cores bei einer Taktrate von 2,8 GHz. Ein Teilsystem von 336 Rechenknoten enthält 676 NVIDIA Kepler K20X GPUs, bei einer Peakleistung von 1 PetaFlop/s. Weitere 12 Rechenknoten sind mit 24 Xeon-Phi-Karten bestückt. Der Großteil der Erweiterung besteht jedoch aus rein CPU-basierten Rechenknoten mit ca. 1,5 PetaFlop/s Peakleistung. Alle Teile wurden in ein einziges System integriert. In der aktuellen Top500-Liste ist der Rechner mit drei Einträgen vertreten: Der Sandy Bridge basierte Teil belegt Rang 226, das GPU-Teilsystem Rang 49 und der rein Ivy Bridge basierte Teil Rang 31 und damit Platz 3 in Deutschland, nach den Rechnern in Jülich und am LRZ. Das GPU-Teilsystem erreicht unter den Green Top500 weltweit Platz 8 und in Deutschland Platz 1. Der besonders geringe Energieaufwand für die Kühlung des Systems wird durch den Einsatz von Grundwasser erzielt.

Kontakt: Hermann Lederer, RZG

Die Simulation von Fragestellungen mit mehr als den klassischen vier Raum-Zeit-Dimensionen stellt extreme Anforderungen selbst an die zukünftige Generation von Höchstleistungsrechnern. Grund ist der sogenannte „Fluch der Dimensionalität“: Der benötigte Aufwand steigt exponentiell mit der Zahl der Dimensionen. Ein prominentes Anwendungsbeispiel ist die numerische Simulation des Fusionsreaktors ITER. Um Turbulenzen des heißen Plasmas zu verstehen, müssen neben Raum und Zeit auch Geschwindigkeitskomponenten berücksichtigt werden. Vollaufgelöste Simulationen warten deshalb auf das Exa-scale-Zeitalter. Das Projekt „EXAHD – An Exa-Scalable Two-Level Sparse Grid Approach for Higher-Dimensional Problems in Plasma Physics and Beyond“ im DFG-Schwerpunktprogramm SPPEXA erforscht am Beispiel der Plasmafusion die Grundlagen für solche Simulationen. Neue hierarchische numerische Verfahren sollen es ermöglichen, globale Abhängigkeiten und Kommunikation auf ein Minimum zu reduzieren. Gleichzeitig eröffnet dies neue Ansätze für den Umgang mit Hardware-Fehlern und die gleichmäßige Verteilung der Rechenlast. EXAHD wird gemeinsam durchgeführt von Forschungsteams der Universitäten Bonn und Stuttgart, der TU München und des Max-Planck-Instituts für Plasmaphysik Garching. Weitere Informationen: http://ipvs.informatik.uni-stuttgart.de/SGS/EXAHD

Kontakt: Dirk Pflüger, Uni Stuttgart

Das vom BMBF im Rahmen des 3. HPC Calls geförderte Projekt „Modular Operating System for Massively Parallel Applications“ (MyThOS) adressiert die Entwicklung eines Betriebssystems, das vor allem auch hochskalierbare Prozesse mit vielen, potenziell kurzen und dynamischen Threads effizient unterstützt. Traditionelle, monolithisch aufgebaute Betriebssysteme sind insbesondere für moderne Mehrkernprozessoren ungeeignet, da sie ein enormes Ressourcenmanagement nach sich ziehen. Dies wirkt sich v.a. bei der Erstellung von Threads aus, die in derzeitigen Betriebssystemen mehrere 10.000 Rechen-zyklen in Anspruch nimmt. Dazu kommen Beeinträchtigungen der Skalierbarkeit hochparalleler Anwendungen durch Jitter und gelockte Datenzugriffe. Eine neue Betriebssystem-Struktur, die sich den Anforderungen moderner Höchstleistungsrechner und deren Anwendungen stellt, ist deshalb unverzichtbar. Die Projektergebnisse sollen unmittelbar anhand von Anwendungsszenarien aus den Bereichen Molulardynamik, Strömungssimulation und Elektrodynamik sowie der verteilten Verarbeitung von Multimediadaten validiert werden. Der Anwendungsbereich wird jedoch darüber hinausgehen und ist insbesondere für die Analyse sehr großer Datenmengen und den Umgang mit hoch-dynamischen Szenarien geeignet. Das Verbundprojekt wird von der Universität Ulm koordiniert und bringt mit Wissenschaftlern des HLRS, der BTU Cottbus und der Universität Siegen sowie dem Alcatel-Lucent Bell Labs die Bereiche Höchstleistungsrechnen und Betriebssysteme mit der Industrie zusammen.

Kontakt: Stefan Wesner, Uni Ulm

Im Oktober wurde der Erdsystem-Grid-Verbund (Earth System Grid Federation, ESGF) mit dem „Partnership Award“ für exzellente Zusammenarbeit des Federal Laboratory Consortium for Technology Transfer – Far West Region ausgezeichnet. Unter Leitung des Lawrence Livermore National Laboratory in den USA kooperieren in der Föderation elf weitere Wissenschaftsinstitute – darunter das DKRZ –, um den datenbezogenen Bedürfnissen der Klimaforschungsgemeinschaft zu begegnen. Das DKRZ bietet innerhalb der ESGF als einziges Institut eine Langzeitarchivierung von Klimadaten für zehn Jahre und mehr an. Die Föderation unterstützt unter anderem das CMIP5-Projekt, das entscheidend zum fünften Weltklimabericht beigetragen hat. Dafür stellt sie mehr als 60 CMIP5-Modellläufe mit mehr als 1,8 PetaByte Daten von weltweit 27 Klimaforschungsinstituten aus 21 Ländern zur Verfügung. Die ESGF-Portale dienen dabei als Zugang für die wissenschaftlichen Ergebnisdaten, die in verschiedenen Archiven weltweit gespeichert sind.

Kontakt: Michael Lautenschlager, DKRZ

Auf der SC13 in Denver traten in der von Intel organi-sierten „Parallel Universe Computing Challenge“ acht Teams aus den USA, Korea, China und Deutschland an, um ihr Wissen und ihre Fähigkeiten rund um das parallele Rechnen unter Beweis zu stellen. Der Wettbewerb bestanden aus zwei Teilen: Die „Trivia Challenge“ hielt 15 Multiple-Choice-Fragen zum Thema paralleles Rechnen,Computergeschichte und SC-Konferenz bereit. In der „Coding Challenge“ mussten die Teams innerhalb von zehn Minuten ein Stück unbekannten Code paralleli-sieren und optimieren. Die Zahl der Punkte entschied sich nach der erreichten Beschleunigung auf einem Intel Xeon sowie auf dem Intel Xeon Phi. Das deutsche „Gaussian Elimination Squad“ hatte sich aus Mitarbeitern verschiedener Institutionen der Gauß-Allianz formiert. Am Ende setzte sich die Mannschaft in Matches gegen das chinesische Team „Milky Way“, die „Seoul National University“ und die „Coding Illini“ von der University of Illinois und dem National Center for Supercomputing Applications (NCSA) souverän durch und gewann. Das Preisgeld von 25.000 Dollar wurde dem Philippinischen Roten Kreuz gespendet. Der Sieg des „Gaussian Elimination Squad“ setzte ein Signal für die HPC-Kompetenz deutscher Zentren. Weitere Informationen: http://go.fau.de/7d5.ecj

Kontakt: Georg Hager, RRZE

Das HLRS wurde auf der SC13 mit dem „HPCwire Readership Award for the best Use of HPC Application in Manufacturing“ ausgezeichnet. Die Leser des amerikanischen online-News- und Informationsdienstes HPCwirestimmen jährlich ab, welche HPC-Anbieter und -Anwender für ihre „außergewöhnlichen Leistungen in Wissenschaft und Technologie“ ausgezeichnet werden sollen. Dieses Jahr fiel die Wahl der Leser auf das HLRS. Es erhielt den Publikumspreis für die beste Anwendung beim Einsatz von DataDirect Networks’s (DDN) ASCS for Large Scale Problem Resolution. Das HLRS teilt sich diese Auszeichnung mit dem Diensteanbieter DDN. Weitere Informationen: www.hlrs.de

Kontakt: Michael Resch, HLRS