Verlässliche und genaue Wetterprognosen sind sowohl für die Planung der persönlichen Freizeitaktivitäten als auch für zahlreiche Firmen und Organisationen von zentraler Bedeutung. Die Mobile World Information Systems GmbH (MOWIS) bietet Wetterdaten-Dienstleistungen an, unter anderem werden die Webseiten wetter.at und wetter-deutschland.com betrieben.
Das zentrale Datenhaltungssystem für diese Dienste hat die RISC Software GmbH im Auftrag von MOWIS entwickelt. Das System wird seit 2011 laufend betreut und bei Bedarf weiterentwickelt. Zentraler Bestandteil ist die NoSQL Datenbank HBase, die auf einem Hadoop-Cluster aufsetzt. In diese werden laufend aktuelle Wetterdaten aus verschiedenen Quellen eingebracht, wie beispielsweise die Ergebnisse von verschiedenen Wetterprognosemodellen sowie Messwerte von Wetterstationen. Damit wird es ermöglicht, weltweit Wetterprognosen bis zu vierzehn Tage im Voraus interaktiv abzurufen. Das System wählt hierbei dynamisch pro Prognose die am besten geeignete Datenbasis und führt Daten aus verschiedenen Quellen zusammen. Zusätzlich werden bereits abgerufene Daten zwischengespeichert, um die Abfragen weiter zu beschleunigen. Eine xml-basierte Schnittstelle ermöglicht den Abruf von Daten durch webbasierte Dienste. Weiters wurde unter Einsatz von Apache Hive ein SQL-Zugang zu den Daten ermöglicht, der flexible Abfragen zu den gespeicherten Standortdaten ermöglicht. Diese Abfragen werden allerdings nicht für den Export von Daten herangezogen, sondern dienen der interaktiven Kontrolle der Datenqualität durch die Firma MOWIS.
Der Datenbestand in HBase wird durch den laufenden Import von Prognosemodellergebnissen sowie Messdaten von Wetterstationen auf dem aktuellen Stand gehalten. Hierbei werden die gesamten gelieferten Wetterdaten eines Modells in eine strukturierte Textdarstellung überführt, was in weiterer Folge den Einsatz von Hadoop MapReduce sowie von HBase Bulk-Imports ermöglicht. Damit kann ein hochaufgelöstes Wetterprognosemodell für Österreich über mehrere Stunden innerhalb von fünf Minuten importiert und so zeitnahe für Prognosen zur Verfügung gestellt werden. Analog dazu kann ein weltweites Wetterdatenmodell mit Prognosewerten für einen Tag in fünfzehn Minuten importiert werden. Ein vergleichbarer Datenimport benötigte unter Einsatz der abgelösten Legacy SQL-Datenbank mehrere Stunden.
Um die Abfragen interaktiv durchführen zu können, wurde das Datenmodell auf die Anfragen angepasst, was zum Beispiel eine schnelle Abfrage nach einem Ort ermöglicht. Um eine NoSQL-Datenbank effektiv nutzbar zu machen, ist der Entwurf eines auf die geplanten Abfragen optimierten Datenmodells zentral. Daher wurden zu Beginn des Projekts gemeinsam mit den Domänenexpert*innen der Firma MOWIS die geplanten Abfragen definiert. Auf dieser Basis wurde das Datenmodell für HBase definiert, das im speziellen schnelle Abfragen auf einzelne Orte erlaubt und andererseits ein automatisiertes Entfernen nicht mehr benötigter Daten ermöglicht. Um einen effizienten Zugriff über andere Attribute zu ermöglichen, wurden zusätzlich zahlreiche Lookup-Tabellen implementiert. Der Einsatz eines Big-Data Systems ermöglicht die flexible Anpassung beziehungsweise Erweiterung des Datenmodells, falls neue Abfragen benötigt werden.
Durch die Umstellung auf eine Hadoop-basierte NoSQL Lösung konnte ein zusätzliches Prognosemodell für weltweite Wetterdaten eingeführt werden sowie die Datenimporte sowie Exporte um den Faktor sieben beschleunigt werden. Damit wird es möglich weltweite Wetterprognosen interaktiv abzurufen oder aktuelle Wetterprognosen für ganz Österreich und Deutschland für die obengenannten Webseiten zu exportieren. Hierfür nutzen sowohl die Importe der unterschiedlichen Wettermodelle sowie die Exporte der Datenupdates für wetter.at Hadoop Map-Reduce Jobs, um die Erstellung der aktuellen Wetterprognosen für ganz Österreich und Deutschland am Hadoop-Cluster parallel auszuführen.
Der Einsatz von Hadoop bringt hierbei folgende Vorteile:
Senior Data Engineer
