Über uns

Mit Hilfe eines globalen, hochauflösenden Modells des Erdsystems untersucht TOPIO die Lese- und Schreibgeschwindigkeiten für große Datenmengen auf Höchstleistungsdateisystemen sowie Ansätze, die die Datenmenge durch Komprimierung reduzieren, ohne dass dabei ein erheblicher Informationsverlust entsteht.

Partner

Das HLRS betreibt einen der schnellsten Supercomputer Europas und verfügt über ein großes Team aus HPC-Expert:innen. Es bietet wichtige Werkzeuge und Lösungen für die akademische und industrielle Spitzenforschung, insbesondere in den Naturwissenschaften und der Ingenieurwissenschaft.

Das übergreifende Forschungsziel des IPM ist die Untersuchung des Erdsystems durch die Integration von Modellen und Beobachtungen. Insbesondere befassen sie sich mit der Charakterisierung von Rückkopplungsprozessen im System Land-Atmosphäre (L-A) und mit turbulenten Transportprozessen in der stabilen und konvektiven atmosphärischen Grenzschicht. 

Über das Projekt

Im Detail werden zwei Aspekte der I/O-Operationen optimiert: Die Menge der Daten, die geschrieben wird, und die Effizienz, mit der diese Daten geschrieben werden. Ersteres wird über Kompressionsmethoden verbessert, letzteres wird über einen Auto-Tuning-Ansatz verfolgt, der die Komplexität mehrerer I/O-Schichten vor den Benutzern verbirgt und die I/O-Leistung verbessern soll.

Anhand eines globalen Modells des Erdsystems untersucht TOPIO die Lese- und Schreibgeschwindigkeiten für große Datenmengen auf Hochleistungsdateisystemen, die der Projektpartner Universität Hohenheim einbringt. Zudem ermittelt das Projekt, wie eine deutliche Reduzierung der Datenmenge ohne signifikanten Informationsverlust erreicht werden kann.

Als Anwendung für die Datenoptimierung wird in diesem Projekt das Model for Prediction Across Scales (MPAS) verwendet. MPAS ist ein vom US National Center for Atmospheric Research (NCAR) entwickeltes Open Source Erdsystemmodell. Es ist ein globales Vorhersagemodell, das mit einer hohen globalen Auflösung von wenigen Kilometern auf verschiedenen Zeitskalen bis hin zu einer Simulationsdauer von ca. 2-drei Monaten genutzt werden kann. Im Gegensatz zu traditionellen regionalen Vorhersagemodellen nutzt MPAS ein unstrukturiertes Voronoi-Gitter zur Darstellung der Erdoberfläche.

In diesem Projekt soll MPAS mit konvektionserlaubender Auflösung von wenigen Kilometern für sub-saisonale Simulationen angewandt werden. Die dabei entstehenden Datenmengen erreichen leicht Größenordnungen von mehr als 100 TB. Dabei wird die benötigte Zeit zum Schreiben der Daten ein zunehmend wichtiger Faktor und auch das Speichern der Daten ist mit nicht unerheblichen Ressourcen verbunden. Das Ziel des Projekts ist eine deutliche Verringerung der Datenmenge bei gleichzeitig optimierter Schreibleistung dieser Simulationen mit Hilfe von bereits existierenden und neu entwickelten Kompressionsmethoden sowie automatischer I/O-Optimierung. Der absolute Fehler der relevanten Messwerte soll hierbei nicht 1% überschreiten.