Gauß-Allianz newsletter - Issue 21

Im September wurde die erste Ausbaustufe des neuen Berliner HLRN-Komplexes (HLRN-III), dessen Speicherkomponenten bereits ab Juli für die Nutzer zur Datenmi-gration zugänglich waren, in Betrieb genommen. Das Vorgängersystem (HLRN-II) wurde am Standort Berlin nach 5-jähriger Betriebszeit zum 31. August 2013 abgeschaltet. Der neue Komplex besteht aus einem Cray-XC30-Supercomputer als massiv-parallele Rechenkomponente, von der ein schneller Zugriff auf Daten im zunächst 1,4 Petabyte großen parallelen Lustre-Dateisystem möglich ist. Dieses System wird durch Service-Knoten für das Datenmanagement und speicherintensive Pre-/Post-Processing-Anwendungen ergänzt. In der ersten Ausbaustufe umfasst das Cray-XC30-System 744 Rechenknoten mit je 24 Intel IvyBridge-Rechenkernen und 64 GB Hauptspeicher, die über das Cray-Aries-Netzwerk verbunden werden. Mit dem HLRN-III steht den Wissenschaftlern eine Systemarchitektur zur Verfügung, die es erlaubt, Problemlösungen umzusetzen, die hoch-skalierende Programme erfordern. Das Aries-Netzwerk der XC30 mit Dragonfly-Topologie und niedriger globaler Latenz gewinnt in der zweiten Ausbaustufe weiter an Bedeutung, wenn der Berliner Komplex auf insgesamt 1.872 Rechenknoten mit ca. 45.000 Rechenkernen ausgebaut wird. Dann wird auch entschieden, inwieweit eine heterogene Rechnerkonfiguration mit Beschleunigern die Nutzeranforderungen noch besser befriedigen kann. Für eine systemseitige Integration von Many-Core-Prozessoren bietet die XC30-Architektur die passende Infrastruktur. Am Standort Hannover wird der HLRN-III in gleicher Konfiguration jedoch mit einem zusätzlichen SMP-System im November 2013 installiert und voraussichtlich Anfang 2014 in den Produktionsbetrieb gehen. Für einen nahtlosen Übergang wird in Hannover das HLRN-II-System noch bis Ende 2013 betrieben. Mit der Installation des HLRN-III in Berlin und Hannover wird den Wissenschaftlern in Norddeutschland eine technologisch attraktive Supercomputing-Plattform angeboten, um herausfordernde wissenschaftliche Fragestellungen zu lösen.

Kontakt: Thomas Steinke, ZIB

Der Ausbau der Cray-Systeme am HLRS geht mit großen Schritten voran. Die zweite Ausbauphase (Hornet) bringt den Umstieg auf die neue Cray-XC30-Technologie. Die erste Installation erfolgte bereits im Januar, sodass Nutzer sehr früh Zugriff auf das neue System hatten. Die Leistungssteigerung gegenüber dem bestehenden System liegt bei etwa dem Faktor drei, was in erster Linie dem neuen Netz der Cray-XC30 geschuldet ist. Im Endausbau wird auf der Basis des intel Haswell-Prozessors das System 2014 eine Leistung von rund 4 Petaflop/s erreichen bei einem Hauptspeicher von rund 500 Terabyte. Beim Ausbau wurde auf die Nutzung von Beschleunigertechnologie verzichtet. Benchmarks ergaben, dass für das Anwendungsspektrum des HLRS die derzeitige Technologie nicht die Vorteile bringt, die man zunächst erwartet hatte. In einer weiteren Phase soll das System bis Ende 2015 noch einmal ausgebaut werden. Die Frage, ob Beschleunigerprozessoren zum Einsatz kommen, wird also 2014 wieder auf der Agenda stehen.

Kontakt: Michael Resch, HLRS

Reduzierung des Energieverbrauchs und Wiederverwendung von Abwärme sind wichtige Themen für Konzeption und Betrieb großer Rechenzentren. Das Hauptziel des vom BMBF geförderten Projekts „SIMOPEK – Simulation und Optimierung des Energiekreislaufs von Rechenzentrums-Klimatisierungsnetzen unter Berücksichtigung von Supercomputer-Betriebsszenarien“ ist die ganzheitliche Optimierung der Energieeffizienz von Höchstleistungsrechenzentren. Erstmals sollen Methoden und Softwarekomponenten zur Modellierung und Simulation aller Energiekreisläufe eines Rechenzentrums entwickelt werden, die sowohl ein hochdynamisches Lastverhalten der Verbraucher als auch technische Komponenten und Konzepte zur Wiederverwertung der Abwärme berücksichtigen. Konkret wird das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ), genauer die beiden Systeme SuperMUC und CooLMUC, die mit „High Temperature Liquid Cooling“ (HTLC) betrieben werden, betrachtet. Der Energiekreislauf wird im Detail untersucht und optimiert. Einsparungen in Höhe mehrerer Millionen Euro über die Rechnerlebenszeit scheinen in der Praxis möglich. So sollen Konzepte zur Übertragbarkeit der Projektergebnisse auf andere Rechenzentren sowie Weiterentwicklungen von SIMOPEK für die Planung neuer Rechenzentren erarbeitet werden, wobei insbesondere das variable Lastverhalten der Hochleistungsrechner, verschiedene Kühlungstechnologien sowie innovative Konzepte zur Abwärmenutzung berücksichtigt werden sollen. Für eine Reihe der im Projekt entwickelten Module soll der Quelltext öffentlich zugänglich gemacht werden. Das Konsortium besteht aus dem LRZ, dem Fraunhofer SCAI (Institut für Algorithmen und Wissenschaftliches Rechnen), der IBM Deutschland GmbH und der SorTech AG. Assoziierte Partner sind die Johnson Controls System & Service GmbH, die E.W. Gohl GmbH und das Gauss Centre for Supercomputing (GCS).

Kontakt: Torsten Wilde, LRZ

Zunehmende Genauigkeitsanforderungen an Simulationen erfordern häufig die Lösung von Mehrphysik-Gleichungssystemen, die verschiedene Effekte wie Fluidströmung, Strukturmechanik und Schallausbreitung umfassen. Zur Minimierung des Entwicklungsaufwands und im Sinne einer maximalen Flexibilität möchte man dazu oft bestehende, etablierte Software für die einzelnen physikalischen Effekte und die Visualisierung verwenden. Um die geforderte Genauigkeit zu erreichen, müssen die aus diesen Softwarekomponenten und zusätzlichen verbindenden Elementen bestehenden Simulationswerkzeuge effizient und skalierbar auf Hochleistungsrechnern laufen. In einem Konsortium von Wissenschaftlern der TU München, der TU Delft, der TU Darmstadt und der Universitäten Stuttgart und Siegen erforscht das DFG-Projekt „ExaFSA – Exascale Simulation von Fluid-Struktur-Akustik-Interaktionen“ Lösungsmöglichkeiten für die resultierenden Schwierigkeiten in den Bereichen der dynamischen Lastbalancierung, der Kommunikations- und Synchronisationsminimierung, der in situ-Visualisierung sowie logisch paralleler numerischer Kopplungsalgorithmen.

Kontakt: Miriam Mehl, TU München

Um der stetig zunehmenden Bedeutung von Computational Science and Engineering in Forschung und Wissenschaft Rechnung zu tragen, wurde in Baden-Württemberg für das Hoch- und Höchstleistungsrechnen ein geschlossenes Landeskonzept entwickelt, das bis 2016 zu einem durchlässigen HPC-Ökosystem mit unterschiedlichen Leistungsklassen und Kompetenzzentren führen soll. Dieses bw-HPC-Konzept umfasst die Förderung des High Performance Computing auf allen Ebenen. Das vom Steinbuch Centre for Computing (SCC) des KIT koordinierte Begleitprojekt „bwHPC-C5“ (Coordinated Compute Cluster Competence Centers), das am 1. Juli 2013 offiziell gestartet ist und von den Universitäten und Hochschulen des Landes getragen wird, fungiert dabei als Bindeglied zwischen den Wissenschaftlern und HPC-Systemen der Einstiegsebene in Baden-Württemberg. Es beinhaltet eine föderierte, fachspezifische Benutzerbetreuung für die Ebene 3 und unterstützt den Übergang auf höhere HPC-Leistungsebenen.

Kontakt: Tobias König, SCC

Zum 16. Mal trafen sich am 30. September und 1. Oktober beim HLRS Results & Review Workshop 40 Benutzergruppen des Höchstleistungsrechenzentrum Stuttgart (HLRS), um gemeinsam mit dem wissenschaftlichen Lenkungsausschuss über Ergebnisse und neue Herausforderungen zu diskutieren. In etwa 30 Vorträgen und zehn Postern wurden die Arbeiten der Wissenschaftler auf den Gebieten der Strömungsmechanik, der Physik, der Chemie, der Klimaforschung und weiterer Felder vorgestellt und diskutiert. Im Mittelpunkt standen dabei sowohl fachliche Fragen aus den einzelnen Disziplinen als auch Fragen der Skalierbarkeit auf Höchstleistungsrechnern. Aus den Arbeiten wählte der Lenkungsausschuss die drei besten aus und prämierte sie mit dem „Golden Spike Award“ des HLRS. Die Arbeiten der Benutzer werden in einem Springer-Band einer breiten wissenschaftlichen Öffentlichkeit zugänglich gemacht. Die Arbeiten der „Golden Spike“-Gewinner werden in der Frühjahrsausgabe der InSiDE veröffentlicht.

Kontakt: Heinz Pöhlmann, HLRS

Seit zwei Jahren veranstaltet das Deutsche Klimarechenzentrum (DKRZ) in Zusammenarbeit mit dem Jülich Supercomputing Centre und der TU Dresden einen „Program Analysis and Tuning Workshop“. Neben der Präsentation aktueller Methoden zur Leistungsanalyse paralleler Programme erhalten interessierte Nutzer die Möglichkeit, ihre Anwendungen zu analysieren, um ihr Modell für Berechnungen auf dem DKRZ-Parallelrechner blizzard zu optimieren. Auf der diesjährigen Veranstaltung im August wurden die mithilfe des Workshops erzielten Fortschritte für das gekoppelte Modell COSTRICEvorgestellt. Während des Workshops 2012 wurde für das Modell ein Ungleichgewicht der Lastverteilung visualisiert, wodurch der Fehler eines Partitionierers in einer Modellkomponente identifiziert und behoben werden konnte. Der visuelle Zugang zur Analyse der Performance-Eigenschaften von Anwendungen hat sich auch als geeignet erwiesen, um z.B. den Einsatz von MPI-Datentypen, Annahmen zur Rechenlast bei der Dekomposition sowie die Verwendung mehrphasiger Kommunikation zu erfassen. Für einige Anwendungen wurde darüber hinaus die Skalierungsproblematik von seriellen Anteilen (z.B. im I/O) herausgestellt. Zur weiteren Skalierbarkeit auf hoch parallelen Systemen wurde die Möglichkeit zur Aggregation von Kommunikation in ausgewählten Klimamodellen diskutiert. Für 2014 ist eine Wiederauflage des Workshops im gleichen Format geplant. Informationen zum letzten Workshop: https://www.dkrz.de/p/programm-analysis/

Kontakt: Jörg Behrens, DKRZ