DACH-12

Tools zum wissenschaftlichen Arbeiten/Tools for scientific work

DACH-12

Tools zum wissenschaftlichen Arbeiten/Tools for scientific work

Conveners: Carola Detring, Johannes Röttenbacher | Co-convener: Theresa Kiszler

Oral programme

| Wed, 23 Mar, 11:30–13:00|Hörsaal 2

Poster programme

| Attendance Wed, 23 Mar, 14:00–16:00|Foyer

Oral programme: Wed, 23 Mar | Hörsaal 2

Chairpersons: Carola Detring, Theresa Kiszler

11:30–12:00

DACH2022-280

Interactive visualization of climate model data via Python or GUI with psyplot

Philipp S. Sommer

psyplot (https://psyplot.github.io) is an open-source data visualization framework that integrates rich computational and mathematical software packages (such as xarray and matplotlib) into a flexible framework for visualization. It differs from most of the visual analytic software such that it focuses on extensibility in order to flexibly tackle the different types of analysis questions that arise in pioneering research. The design of the high-level API of the framework enables a simple and standardized usage from the command-line, python scripts or Jupyter notebooks. A modular plugin framework enables a flexible development of the framework that can potentially go into many different directions. The additional enhancement with a graphical user interface (GUI) makes it the only visualization framework that can be handled from the convenient command-line or scripts, as well as via point-click handling. It additionally allows to build further desktop applications on top of the existing framework.

In this presentation, I will show the main functionalities of psyplot, with a special focus on the visualization of unstructured grids (such as the ICON model by the German Weather Service (DWD)), and the usage of psyplot on the HPC facilities of the DKRZ (mistral, jupyterhub, remote desktop, etc.). My demonstration will cover the basic structure of the psyplot framework and how to use psyplot in python scripts (and Jupyter notebooks). I will demonstrate a quick demo of to the psyplot GUI and psy-view, a ncview-like interface built upon psyplot, and talk about different features such as reusing plot configurations and exporting figures.

How to cite: Sommer, P. S.: Interactive visualization of climate model data via Python or GUI with psyplot, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-280, https://doi.org/10.5194/dach2022-280, 2022.

12:00–12:30

DACH2022-89

Executable books make campaign data tangible

Theresa Mieslinger, Jule Radtke, and Tobias Kölling

Large field campaigns dedicated to study the earth system are run by large groups of people from many research institutions that are scattered around the globe. That way, it is possible to create a great wealth of original datasets, thoroughly quantifying the state of a specific region in space and time on our planet. All collected data is potentially very useful for model validation, process studies, teaching and more. But while researchers way beyond those participating at the field campaign might be interested in the data, even those participating are often faced by difficulties to discover, access and use the data.

To tackle these challenges in the context of the EUREC4A field campaign, we started the „How to EUREC4A“ executable book project. It is an openly accessible online book, written collaboratively by participants from the field campaign and the broader community around. The book contains explanations about the available instruments, data and typical usage patterns. The book is also an executable book, which means that each of the chapters contain explanatory text, code and figures that can be modified by readers, either on their own computer or without any prior setup using an online service called „binder“. Thus, the book also forms a collection of data quicklooks and is an interactive plotting software at the same time.

On first sight, the book might seem to be just yet another shiny user interface, similar to other data catalogs. But due to the way it is made, it really becomes the hub of a larger ecosystem. In order to make the book executable by everyone, data must be openly accessible and understandable to everyone, thus the book fosters the creation and maintenance of a comprehensive data catalog and the publication of datasets in an analysis friendly way. Every time the book is executed, we can test if the data is still accessible and still compatible. Furthermore, making beautiful and understandable usage examples for your dataset makes your data visible to a broader community, feels rewarding and motivates others to do the same. As the book lives due to motivated contributors, this creates a positive feedback loop to enlarge the collection of accessible and understandable data.

How to cite: Mieslinger, T., Radtke, J., and Kölling, T.: Executable books make campaign data tangible, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-89, https://doi.org/10.5194/dach2022-89, 2022.

12:30–12:45

DACH2022-223

Die CM SAF R Toolbox – Ein Werkzeug zur einfachen Analyse und Visualisierung von Klimadaten im NetCDF-Format

Steffen Kothe, Uwe Pfeifroth, and Rainer Hollmann

Das Mandat der ‚Satellite Application Facility on Climate Monitoring‘ (CM SAF) besteht darin, hochwertige satellitengestützte Klimadatensätze von Variablen des Energie- und Wasserkreislaufs zu entwickeln, zu generieren, zu archivieren und zu verteilen, um die Überwachung, das Verständnis und die Anpassung an Klimavariabilität und Klimawandel zu unterstützen (www.cmsaf.eu). Ergänzend hat das CM SAF die CM SAF R Toolbox entwickelt, mit der sich CM SAF NetCDF-Daten aufbereiten, analysieren und visualisieren lassen. Das Ziel ist es, eine kostenfreie Open-Source-Software anzubieten, die einfach zu bedienenden ist und Nutzern hilft mit Klimadaten im NetCDF-Format zu arbeiten.
Die CM SAF R Toolbox basiert auf der Programmiersprache R, kann aufgrund der shiny-basierten Benutzeroberfläche aber auch von R-unerfahrenen Nutzern mühelos angewandt werden. Die Datenaufbereitung der Toolbox umfasst das Entpacken und Zusammenführen der Daten sowie eine optionale zeitliche und räumliche Auswahl. Für die Analyse und Manipulation von NetCDF-Daten stehen mehr als 100 Operatoren zur Verfügung. Diese umfassen einfache mathematische Operationen, diverse statistische Operatoren oder auch komplexe Klimaanalysen. Zur Visualisierung der Ergebnisse bietet die CM SAF R Toolbox eine Vielzahl von Möglichkeiten zur individuellen Anpassung von 2D-Karten oder 1D-Zeitserien. So stehen u.a. mehr als 75 Farbskalen zur Auswahl, es können eigene Orte markiert werden und die Verwendung von Shapedaten erlaubt es ausgewählte Länder oder Regionen abzubilden.
Mehr als 50.000 Downloads weltweit, als auch die Verwendung für Peer-Reviewed Publikationen, zeigen, dass die CM SAF R Toolbox vielseitig einsetzbar ist. So ist die Toolbox zum Beispiel eine wichtige Komponente bei EUMETSAT Trainingsworkshops oder Onlinekursen.

How to cite: Kothe, S., Pfeifroth, U., and Hollmann, R.: Die CM SAF R Toolbox – Ein Werkzeug zur einfachen Analyse und Visualisierung von Klimadaten im NetCDF-Format, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-223, https://doi.org/10.5194/dach2022-223, 2022.

12:45–13:00

DACH2022-263

Freva and ClimXtreme: a software framework for the evaluation of climate extremes

Etor E. Lucio-Eceiza, Christopher Kadow, Martin Bergemann, Mahesh Ramadoss, Brian Lewis, Andrej Fast, Jens Grieger, Andy Richling, Ingo Kirchner, Uwe Ulbrich, Hannes Thiemann, and Thomas Ludwig

The number of damaging events caused by natural disasters are increasing because of climate change. Projects of public interest such as ClimXtreme (Climate Change and Extreme Events [1, 2]), aim to improve our knowledge of extreme events, the influence of environmental changes and their societal impacts.

ClimXtreme takes a holistic approach this problem through different knowledge areas. For that, projects like this need a coordinate effort from many interdisciplinary groups. On the other hand, the continuous improvement of numerical models and increase on observational data availability provides researchers with a growing amount of data to analyze, and the need for greater resources to host, access, and evaluate them efficiently through High Performance Computing (HPC) infrastructures is growing more than ever. Finally, the emphasis these last years on FAIR data principles [3] and the easy reproducibility of evaluation workflows also requires a framework that facilitates these tasks. Freva (Free Evaluation System Framework [4, 5]) is an efficient solution to handle customizable evaluation systems of large research projects, institutes or universities in the Earth system community [6-8] over the HPC environment and in a centralized manner.

Freva is a scientific software infrastructure for standardized data and analysis tools (plugins) that provides all its available features both in a shell and web environment. Written in python, is equipped with a standardized model database, an application-programming interface (API) and a history of evaluations, among others:

An implemented metadata system in SOLR with its own search tool allows scientists and their plugins to retrieve the required information from a centralized database. The databrowser interface satisfies the international standards provided by the Earth System Grid Federation (ESGF, e.g. [9]).
An API allows scientific developers to connect their plugins with the evaluation system independently of the programming language. The connected plugins are able to access from and integrate their results back to the database, allowing for a concatenation of plugins as well. This ecosystem increases the number of scientists involved in the studies, boosting the interchange of results and ideas. It also fosters an active collaboration between plugin developers.
The history and configuration sub-system stores every analysis performed with Freva in a MySQL database. Analysis configurations and results can be searched and shared among the scientists, offering transparency and reproducibility, and saving CPU hours, I/O, disk space and time.

The usage of Freva in the context of ongoing large projects like ClimXtreme will be discussed. Additionally, major updates of the software, system deployment, and core functionalities will be presented.

References:

[1] https://www.fona.de/de/massnahmen/foerdermassnahmen/climxtreme.php

[2] https://www.climxtreme.net/index.php/en/

[3] https://www.go-fair.org/fair-principles/

[4] Kadow, C. et al. , 2021. Introduction to Freva – A Free Evaluation System Framework for Earth System Modeling. JORS. http://doi.org/10.5334/jors.253

[5] gitlab.dkrz.de/freva

[6] freva.met.fu-berlin.de

[7] https://www.xces.dkrz.de/

[8] www-regiklim.dkrz.de

[9] https://esgf-data.dkrz.de/projects/esgf-dkrz/

How to cite: Lucio-Eceiza, E. E., Kadow, C., Bergemann, M., Ramadoss, M., Lewis, B., Fast, A., Grieger, J., Richling, A., Kirchner, I., Ulbrich, U., Thiemann, H., and Ludwig, T.: Freva and ClimXtreme: a software framework for the evaluation of climate extremes, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-263, https://doi.org/10.5194/dach2022-263, 2022.

Poster programme: Wed, 23 Mar, 14:00–16:00 | Foyer

Chairpersons: Carola Detring, Theresa Kiszler

P48

DACH2022-44

Öffentlichkeitswirksame Visualisierung hessischer Klimadaten aus Vergangenheit, Gegenwart und Zukunft

Andreas Hoy and Stefan Müller

Das Hessische Landesamt für Naturschutz, Umwelt und Geologie (HLNUG) stellt eigene und externe Daten und Informationen zum Zustand und zu Veränderungen umweltrelevanter Parameter bereit. In diesem Zusammenhang wird Anfang des Jahres 2022 ein erweitertes Klimaportal veröffentlicht, das in Vergangenheit und Gegenwart beobachtete, sowie für die Zukunft projizierte Klimaveränderungen für die breite Öffentlichkeit zugänglich macht. Dieser Beitrag soll das Design und die technische Basis des Portals vorstellen.

Die zuerst im Jahr 2017 veröffentlichte und seitdem stetig weiterentwickelte Komponente „Wetterextreme in Hessen“ visualisiert Klimainformationen für Hessen und Umgebung. Die enthaltenen Analysen basieren auf Tages- und z.T. auch Stundendaten von mittlerweile 73 langjährig verfügbaren Klimastationen des Deutschen Wetterdienstes (DWD) und mehr als 300 Niederschlagsstationen von DWD und HLNUG. Zusätzlich werden in der Komponente „Witterungsbericht Hessen“ landesweit gemittelte Zeitreihen, sowie neu auch Karten hessischer Flächenmitteldaten gezeigt und ausgewertet. Beide Anwendungen zielen darauf ab, aktuell gemessene meteorologische Daten in einen historischen Zeitrahmen zu integrieren, um eine schnelle und einfache Bewertung ihrer Extremität und der langfristigen Veränderungen von Mittel- und Extremwerten zu ermöglichen. Alle Abbildungen werden von erklärenden Texten begleitet, die aus dynamischen, sich automatisch (täglich oder periodisch) an neue Daten anpassenden Textelementen bestehen. Anwender profitieren somit von einer aktuellen und stetig wachsenden Datenbasis.

In einer weiteren Komponente „Klimazukunft Hessen“ werden – basierend auf dem „2-Grad-Szenario“ RCP 2.6 und dem „weiter-wie-bisher-Szenario“ RCP 8.5 – Projektionen der zukünftigen Klimaentwicklung bis ins Jahr 2100 für verschiedene 30-jährige Zeitscheiben visualisiert. Den Auswertungen liegen auf einem 5x5km-Raster basierende Naturraumdaten für Hessen sowie Ensembledaten von rund zehn verschiedenen Klimamodellen zugrunde. Dargestellt werden Flächeninformationen von Temperatur und Niederschlag (Mittelwerte und Kenntage) für verschiedene Perioden (Jahre, Jahreszeiten, Monate) sowie Jahresgänge als Vergleich beider Szenarien.

Technischer Hintergrund: Ein lokaler Webserver ruft täglich die vergangenen Klimadaten aus dem Klimadatenzentrum des DWD ab, importiert diese in eine eigene Datenbank und leitet relevante Klimaindikatoren ab. Bei einem Seitenzugriff werden dynamisch die entsprechenden Diagramme und die zugehörigen Texte über JavaScript-Bibliotheken und HTML5 im Browser des Nutzers generiert. Damit ist im Gegensatz zu klassischen Bilddateien eine große Bandbreite an interaktiven Funktionen möglich. Nutzer erhalten per Mouse-Over detaillierte Informationen zu den Daten. Alle in den Abbildungen enthaltenen Zeitreihen können durch einen Klick in die Legende ein- oder ausgeschaltet werden. Bestimmte Zeiträume können in allen Grafiken per Mauszoom ausgewählt werden – z.B. in einer Serie ab 1901 nur der Zeitraum 1961–1990 oder 1988–2006. Darüber hinaus wird eine hohe Benutzerfreundlichkeit durch zusätzliche Funktionen mit Schiebereglern und Knöpfen gewährleistet: Alle Grafiken lassen sich in einen Vollbildmodus schalten (mit allen zuvor beschriebenen interaktiven Funktionen), sie können gedruckt und in verschiedenen Formaten gespeichert werden, und die zugrundeliegenden Daten können als Excel- oder GIS-taugliche Rasterdatendateien (Flächendaten) heruntergeladen werden.

How to cite: Hoy, A. and Müller, S.: Öffentlichkeitswirksame Visualisierung hessischer Klimadaten aus Vergangenheit, Gegenwart und Zukunft, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-44, https://doi.org/10.5194/dach2022-44, 2022.

P49

DACH2022-160

Visualisierung meteorologischer Daten mit Python und Matplotlib

Felix Dietzsch

Die Programmiersprache Python hat mittlerweile Einzug gefunden in den wissenschaftlichen Programmieralltag. Ihre Vorzüge sind ihre leichte Erlernbarkeit und gleichzeitige Komplexität, die es erlaubt, eine Vielzahl verschiedener Problemstellungen zu lösen. Insbesondere ermöglicht Python neben der Verarbeitung wissenschaftlicher Daten die Darstellung selbiger, sodass sich in sich geschlossene Pakete zur Datenverarbeitung und -präsentation zusammenstellen lassen, für die man sonst mehrere Prozessierungsschritte mit verschiedener Software benötigen würde. Grundlage der Datenvisualisierung stellt dabei das Matplotlib-Paket dar. Dabei handelt es sich um ein umfangreiche Python-Erweiterung zur Visualisierung verschiedenster Arten von Daten.

In dieser Präsentation sollen die verschiedenen Möglichkeiten und Features des Matplotlib-Paketes aufgezeigt werden. Dabei kommen Beispieldatensätze zum Einsatz, deren Formate im Bereich der Meteorologie oft Verwendung finden, wie zum Beispiel Modell- und Fernerkundungsdaten. Neben der grundlegenden Methodik zur Darstellung der Daten als solches soll auch auf Aspekte des Layouts eingegangen um aufzuzeigen, wie sich mit Matplotlib erzeugte Plots für wissenschaftliche Publikationen und Präsentationen auf geeignete Art und Weise verwenden lassen.

Neben Matplotlib existieren noch weitere Python-Module, die für die Visualisierung meteorologischer Daten geeignet sind. An erster Stelle steht dabei das Modul Cartopy, welches insbesondere für die Darstellung von Geodaten auf entsprechenden Karten essentiell ist. Daneben sind auch weitere Pakete wie zum Beispiel MetPy verfügbar, die eine unkomplizierte Darstellung auch speziellerer und komplexerer Formate wie zum Beispiel von Soundings im Skew-T-Format ermöglichen.

How to cite: Dietzsch, F.: Visualisierung meteorologischer Daten mit Python und Matplotlib, DACH2022, Leipzig, Deutschland, 21–25 Mar 2022, DACH2022-160, https://doi.org/10.5194/dach2022-160, 2022.