9. HPC-Status-Konferenz der Gauß-Allianz
Paderborn Center for Parallel Computing, Paderborn, 17. und 18. Okt. 2019

The project "Enabling Performance Engineering in Hesse and Rhineland-Palatinate" or, short, EPE, has as a main objective to expand and deepen HPC support in areas where existing scientific expertise coincides with critical user needs. Our approach is to bundle the distributed expertise for HPC support and performance engineering within the HKHLR and the AHRP under a new umbrella to support scientists to efficiently use the HPC resources in Hesse and Rhineland-Palatinate. The presentation will focus on the main accomplishment of the project.

Statusbericht des DFG Projects PeCoH (Performance Concious HPC).

Profiling Toolkit for HPC Applications

Large HPC systems are expensive, and so is their operation, which makes their efficient use a crucial goal. However, those systems are complex with regard to hardware architectures, network topologies, tool chains and software environments. Particularly in academic computing centers there is a vast variety of applications with very different hard- and software demands. Furthermore, small- to medium-sized HPC sites tend to have only limited resources for user support and application performance tuning. For them it is a challenge to ensure an efficient use of the systems on their own. The DFG ProPE project is an effort to address critical components for a service infrastructure for Performance Engineering (PE)in cooperating scientific computing centers. This involves a process that describes how to systematically handle and, if necessary, delegate a PE project within a network of HPC centers, but it also covers tools for job-specific application performance monitoring that assist the staff in detecting pathological jobs or jobs that expose a significant optimization potential. Another focus is on giving central access to HPC related knowledge. This talk will give the status of the project and present initial results, work products and general recommendations.

Services for Experienced and Starting HPC Tier 3 Users (SES-HPC)

While support and training is widely available for users of Tier-1 and Tier-0 computing centers, this is less so for lower-tier centers. The project SES-HPC aims to improve support, both technical and administrative, and training for users of Tier-3 high-performance computing resources, both those who intend to eventually run their applications on higher-tier hardware and those who do not.
The project includes the development of a training course program, the support of scientists in developing and optimizing their software as well as running off-the-shelf computing software, administrative help for users who want to switch to higher-tier centers, and the organization of knowledge transfer and documentation. In this talk, the project focus and current status of SES-HPC are outlined.

Während Support und Training für Tier-1- und Tier-0-Rechenzentren gut verfügbar sind, ist dies bei Rechenzentren auf niedrigen Tiers weniger der Fall. Das Projekt SES-HPC soll dazu dienen, die Unterstützung für Nutzern von Tier-3-Ressourcen zu verbessern, sowohl auf technischer als auch auf administrativer Ebene. Dabei sollen sowohl Nutzer erreicht werden, die später auf höheren Tiers rechnen wollen, als auch solche die dies nicht planen. Das Projekt beinhaltet die Entwicklung eines Schulungsprogramms, die Unterstützung von Wissenschaftlern bei der Entwicklung und Optimierung ihrer Software sowie bei Rechnungen mit kommerzieller oder frei erhältlicher Software. Weiterhin wird administrative Unterstützung für Nutzer, die auf höhere Tiers wechseln wollen, angeboten. Es werden außerdem Wissenstransfer und Dokumentation verbessert.
In diesem Vortrag werden die Schwerpunkte sowie der aktuelle Stand des Projekts dargestellt.

Das PerficienCC Projekt zielt darauf ab, die Verwendung von FPGAs zur Beschleunigung von HPC Anwendungen zu erforschen und gemeinsam mit den Methoden- und Code-Entwicklern die performance-kritischen Anwendungsteile für FPGAs anzupassen und zu portieren. In meinem Vortrag werde ich über unsere Zwischenresultate aus den ersten beiden Projektjahren berichten, in dem wir uns auf Anwendungen aus dem Bereich der Elektrodynamik und aus dem Bereich der Ab-Initio Molekulardynamik konzentriert haben. Weiter werde ich über unsere Aktivitäten zur Vereinfachung der Nutzbarkeit von FPGAs für HPC und die Schulung von Nutzern berichten.

The complexity of numerical simulations makes the use of software framework inevitable in order to benefit from code reuse. At the same time the challenges of modern hardware require platform specific changes to the numerical kernels to achieve a significant performance. The goal of the HPC²SE project was to assist users by automatically generating computational kernels from a domain specific input.

We present recent advances in the project and show how the developed code generation pipeline can be used to generate kernels for very different software frameworks. Different strategies are available for low-order and high-order methods. In a multi-stage process we apply different optimizations.

We present the current status of the ORKA-HPC projects with the goal of lowering the barrier to using reconfigurable processors by supporting the OpenMP programming model.

Task-basierte Anwendungen im HPC Bereich haben normalerweise zur Folge, dass die individuellen Teilaufgaben (Tasks) grob-granular definiert werden müssen, um den Verwaltungsaufwand zu kompensieren. Mit ProThOS bieten wir eine Programmier-Methode und eine Ausführungsumgebung, die so aufeinander abgestimmt sind, dass der Verwaltungsaufwand auf ein Minimum reduziert wird und auch fein-granulare Aufgaben effizient verarbeitet werden können.

Im Projekt HighPerMeshes wird ein in der Praxis einsetzbares domänenspezifisches Framework zur effizienten, parallelen und skalierenden Implementierung iterativer Algorithmen auf unstrukturierten Gittern entwickelt.
Der Vortrag gibt einen Überblick über den Stand des Projektes und beschreibt dessen zentrale Komponenten, wie die zur Verfügung gestellten domänenspezifischen Sprachkonstrukte, das Task-basierte verteilte Laufzeitsystem (ACE/Gaspi) und die Transformations-Infrastruktur samt deren Zusammenspiel. Nach einer kurzen Einführung des Konzeptes wird gezeigt, wie domänenspezifzisches Wissen dazu benutzt wird, konkrete durch die DSL beschriebene Probleme zu partitionieren, Datenabhängigkeiten zu extrahieren und letztendlich den Task-Graphen aufzubauen, der dann durch das Laufzeitsystem auf der jeweiligen (heterogenen) Zielplattform ausgeführt wird. Dies geschieht völlig transparent für den Anwender.

Der Nutzen der bisherigen Projektergebnisse wird anhand eines Beispiels demonstriert.

Im Projekt TaLPas werden innovative, Auto-Tuning-basierte Softwarelösungen für Node-Level optimierte Partikelsimulationen und hochskalierbare, taskbasierte Samplingverfahren entwickelt. Dies inkludiert insbesondere (1) die Bibliothek AutoPas für Node-Level optimierte, Auto-Tuning-basierte Partikelsimulation, (2) einen um Performancevorhersage erweiterten, Python-basierten Workflow-Manager sowie (3) Erweiterungen um Visualisierung und Resilienz.
Für (1) wurden verschiedene Optimierungsansätze sowie deren Zusammenspiel für den Linked Cells-Algorithmus beleuchtet. Für Verlet Listen-basierte Algorithmen wurden neue Parallelisierungsstrategien implementiert wie z.B. Gebietsfärbungen unter Nutzung der Linked Cells-Struktur, welche zum Aufbauen der Listen verwendet wurde, oder eine Strategie für Verlet Cluster Lists, welche die Größen der Listen zur Verteilung der Arbeit nutzt. Durch die implementierten Optimierungen bzgl. der Node-Level-Performance und auf Grund der Integration von AutoPas in die MD-Software ls1 können nun produktiv Verdampfungsszenarien aus der Verfahrenstechnik simuliert werden, bei denen das Gasvolumen so groß gewählt werden kann, dass dessen Rand bis zum Euler-Regime reicht, in dem Kontinuumsbedingungen gelten. Die Ergebnisse solcher Simulationen können daher direkt mit denen von Kontinuumsmethoden (z.B. CFD) verglichen werden und ggf. als Benchmark dafür dienen.
Jedoch vergrößert sich durch die Vielzahl an Simulationsvarianten stetig der Suchraum nach optimalen Konfigurationen. Daher ist die derzeitig implementierte Auto-Tuning-Methodik, welche alle Kombinationen testet, ineffizient—neuartige Tuningstrategien basierend auf Maschinellem Lernen und Bayesscher Statistik sind notwendig und in Untersuchung.
Der (2) Workflow Manager wurde im letzten Jahr um verschiedene Funktionalitäten erweitert, und es wurden Verbesserungen an den Schnittstellen zu Performance-Modellen vorgenommen. Zwei Modelle basierend auf Extra-P und Dünngitter-Regression sind derzeit in Arbeit. Hinsichtlich Extra-P wurde ein Reinforcement-Learning-basiertes Verfahren untersucht, welches die derzeit in der Parameteranzahl exponentiell anwachsende Zahl an Messwerten, die Extra-P benötigt, auf eine quasi linear anwachsende Anzahl reduzieren soll.
Zur Integration von In-Situ-Visualisierung (3) wurden Entwicklungen an der Schnittstelle der Visualisierungssoftware MegaMol und der MD-Software ls1, welche AutoPas nutzt, vorgenommen. Eine erste Version läuft stabil und wurde auf bis zu 128 Knoten / 5888 Threads auf dem Supercomputer Stampede2 getestet. Die Kopplung erfolgt lose über Shared Memory, wodurch die Stabilität eines Simulationslaufes nicht durch Fehler in der Visualisierung beeinträchtigt werden kann.
Künftig ist die Integration aller Komponenten (1)-(3) geplant. Eines der dabei zu untersuchenden Szenarios soll Adsorptionsprozesse auf der molekularen Skala beleuchten. In ersten Studien wurden 350 Simulationen über einen weiten Parameterraum (Temperatur, Fluid-Wand Interaktion, Wanddichten) untersucht und erste Arbeiten hinsichtlich der Nutzung des Workflow-Managers für dieses Szenario durchgeführt.

Die Rechnerlandschaft wird heutzutage immer heterogener und derzeit ist keine Trendwende in Sicht. Insbesondere wird die Hardware immer spezialisierter und weist verschiedene Formen der Parallelität auf. Für performante Programme ist es unabdingbar, hardwarespezifische Eigenheiten zu adressieren. Wegen des Halteproblems ist es allerdings unrealistisch anzunehmen, dass ein Programm, das in einer universell einsetzbaren Programmiersprache implementiert ist, vollautomatisch auf solche spezialisierte Hardware übersetzt werden kann und dabei noch Spitzenleistung erzielt. Aus diesem Grund nutzen HPC-Programmierer viele Techniken, die den Quellcode unleserlich, schwer zu verstehen und vor allem in der Regel unportierbar machen. Insbesondere ist diese Anpassung enorm zeitaufwendig und kann für verschiedene Hardwareplattformen komplett unterschiedlich aussehen.

Im Rahmen des METACCA-Projektes beschäftigen wir uns damit, Algorithmen so zu implementieren, dass sie einer Lehrbuchimplementierung ähneln. Durch verschiedene Abstraktionen können wir mithilfe eines partiellen Auswerters, hardwarespezifische Anpassungen im Nachhinein in die Implementierung hineinweben. Der Programmierer muss diese Anpassungen nicht mehr händisch erledigen. Wir verwenden unser Rahmenwerk in drei Anwendungen: Bildverarbeitung, Ray-Tracing und Genomsequenzausrichtung. Dort können wir hochperformante Implementierungen für CPUs und GPUs aus einer Sprache und einer Codebasis auf generische Weise erhalten. Die Performance unserer Codes ist vergleichbar mit industrietauglichen Codes, die über Jahre hinweg von Experten optimiert worden sind. Desweiteren beschäftigen wir uns mit Performance-Modellierung, um a priori abzuschätzen, ob bestimmte Optimierungen überhaupt lohnenswert sind.

The aim of the project is to achieve the performance of modern HPC systems easily for the application programmer and to achieve high performance on all current high-performance computers without changing the source code. We show advances when using the C++ STL algorithms with the combination of C++ executor policies, introduces in C++17. Furthermore we show results from a performance portable N-Body simulation on Power9+V100 hardware.

Many HPC applications are designed based on underlying performance and execution models. These models could successfully be employed in the past for balancing load within and between compute nodes. However, the increasing complexity of modern software and hardware makes performance predictability and load balancing much more difficult. Tackling these challenges in search for a generic solution, we present a novel library for fine-granular task-based reactive load balancing in distributed memory based on MPI and OpenMP. Our concept allows creating individual migratable tasks that can be executed on any MPI rank. Migration decisions are performed at run time based on online performance or load data in order to overlap migration communication with useful computation. Further, we show performance improvements when dealing with hardware-induced imbalances and demonstrate robustness against work-induced imbalances for an AMR application.