Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03451.jsonl.gz/1182

Kurzbeschreibung:
Für das Reporting der Gasspeicherkapazitäten nutzt ein global tätiger Energieerzeuger Snowflake on Azure als Datenbank. Um Daten aus zusätzlichen Datenquellen für das Reporting einzubeziehen, wurde zusätzliche Businesslogik implementiert.
Ergänzung:
Einige Datenquellen speichern in regelmäßigen Abständen XML-Dateien auf einem Azure Blob Storage ab. Azure Function Apps (in C# geschrieben) lösen aus, wenn eine neue Datei auf den Blob Storage gespeichert wird und verarbeiten die Daten in den XML-Dateien, sodass diese in Snowflake gespeichert werden können. Für die weitere Verarbeitung werden Python-Skripte auf einem Azure Batch Account genutzt. Das ETL-Tool Talend wird dabei benutzt, um den Azure Batch Account zu starten, der wiederum die Python-Skripte aufruft. Ebenso wird Talend genutzt, um einige Datenquellen abzufragen, die einen API Endpoint bereitstellen. Diese Daten können ebenso direkt in Snowflake gespeichert werden und mit Python-Skripten verarbeitet werden. Die Python-Skripte führen vor allem SQL-Befehle auf Snowflake zur Datentransformation aus und speichern die transformierten Daten auch in Snowflake wieder ab. Snowflake kann mit den aufbereiteten Daten für bestehende Reports in Tableau und Power BI als Datenquelle verwendet werden.
Fachbeschreibung:
Der Kunde verwendet eine zentrale Anwendung für das Kapazitätsmanagement seiner Gasspeicher. In der Anwendung werden technische und kaufmännische Daten aus externen Systemen importiert. Es werden dann die verfügbaren und belegten Kapazitäten der Gasspeicher berechnet und für die mittel- und langfristige Kapazitätsvermietung verwendet. Zusätzlich werden für den Intradayhandel freie Kapazitäten berechnet.