Ein evolutionärer Graph zum lokalen, nationalen und internationalen Nachrichtengeschehen.
Im von der FFG geförderten Forschungsprojekt NEEED (“News-Extracted Evolving European Datasphere”) arbeiteten Forscher*innen und Entwickler*innen der RISC Software GmbH, SCCH GmbH und Newsadoo GmbH eng zusammen. Ziel war die Weiterentwicklung der Plattform Newsadoo. Diese sammelt, analysiert und sortiert Nachrichten aus lokalen, nationalen und internationalen Quellen vollautomatisch. Außerdem ermöglicht sie das personalisierte, themenspezifische und dezentrale Ausspielen relevanter News.
Bereits im Vorprojekt TIDE konnten die Partner Optimierungen bei der automatischen Verarbeitung von Newsartikeln sowie beim Empfehlungsalgorithmus erzielen. Mit NEEED wurde die Newsadoo-Technologie auf die nächste Stufe gehoben. Nun lassen sich die gesammelten Daten in Form eines Tag-Graphen (News Datasphere) weiter strukturieren und nutzen. Auf täglicher Basis fusioniert das System Informationen aus Newsartikeln zu einem dynamischen Netzwerk zusammenhängender Tags (Schlagworte). Deren zeitliche Entwicklung wird kontinuierlich verfolgt. Dadurch lassen sich sowohl langfristige Zusammenhänge (z. B. Rom und Vatikan) als auch kurzfristige Trends (z. B. ChatGPT und Natural Language Processing, Queen Elizabeth II und Begräbnis) anhand des täglichen News-Contents ableiten und analysieren.
Mit über 30.000 produzierten Artikeln aus deutschen und englischen Quellen pro Tag wächst die Data Sphere laufend. So entstehen Millionen von Artikeln, aus denen wiederum über eine Million Tags hervorgehen. Herkömmliche Methoden stoßen hier schnell an ihre Grenzen. Durch den Einsatz von Big-Data-Technologien wird die Analyse des Bestands erst möglich. Gleichzeitig sorgt der Fokus auf Skalierbarkeit dafür, dass das System auch bei wachsenden Datenmengen leistungsfähig bleibt.
Zur Berechnung der Relationen zwischen Tags wurden unterschiedliche Ansätze evaluiert und kombiniert. Dazu zählen Methoden aus den Bereichen Künstliche Intelligenz (KI), quantitative Statistik sowie Assoziationsanalyse. Das resultierende Beziehungsnetzwerk wird in einer Graphdatenbank gespeichert. Mit einer speziellen Abfragesprache können in wenigen Sekunden nicht nur die Beziehungen zwischen zwei Tags angezeigt, sondern auch relevante Nachbar-Tags dargestellt werden. Auf diese Weise soll die Data Sphere langfristig als Basis für vielfältige Anwendungen dienen – beispielsweise für die Definition von Themengebieten oder die Exploration neuer Tags.
generated with DALL-E
Bild: Vereinfachte Darstellung der News Datasphere – ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Bild: Vereinfachte Darstellung der News Datasphere zu “Wien”- ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Die neu entwickelte News Datasphere bildet die Basis für vielfältige Nachrichtenanalysen, ermöglicht das Explorieren von Themengebieten sowie die spielerische Visualisierung von Zusammenhängen im täglich produzierten News Content. Die Zusammenarbeit mit den Forscher*innen der RISC Software GmbH war, wie bereits im Vorgängerprojekt, sehr bereichernd für uns.
Dieses Projekt wurde aus Mitteln der Österreichischen Forschungsförderungsgesellschaft (FFG) gefördert.
Data Scientist
