Ein evolutionärer Graph zum lokalen, nationalen und internationalen Nachrichtengeschehen.
Im von der FFG geförderten Forschungsprojekt NEEED („News-Extracted Evolving European Datasphere“) arbeiteten Forscherinnen und Entwicklerinnen der RISC Software GmbH, SCCH GmbH und Newsadoo GmbH eng zusammen. Ziel war es, die Plattform Newsadoo weiterzuentwickeln. Newsadoo sammelt, analysiert und sortiert Nachrichten aus lokalen, nationalen und internationalen Quellen vollautomatisch. Dadurch können Nutzer*innen personalisierte, themenspezifische und dezentrale News erhalten.
Bereits im Vorprojekt TIDE verbesserten die Partner die automatische Verarbeitung von Newsartikeln sowie den Empfehlungsalgorithmus. Mit NEEED erreichte die Newsadoo-Technologie die nächste Stufe. Nun lassen sich die gesammelten Daten in Form eines Tag-Graphen („News Datasphere“) strukturieren und nutzen. Auf täglicher Basis fusionieren Informationen aus Newsartikeln zu einem dynamischen Netzwerk an zusammenhängenden Schlagworten. Außerdem wird deren zeitliche Entwicklung sichtbar. So lassen sich sowohl langfristige Zusammenhänge (z. B. „Rom“ und „Vatikan“) als auch kurzfristige Trends (z. B. „ChatGPT“ und „Natural Language Processing“ oder „Queen Elizabeth II“ und „Begräbnis“) ableiten und analysieren.
Täglich kommen über 30.000 Newsartikel aus deutschen und englischen Quellen hinzu. Damit wächst die Data Sphere kontinuierlich um topaktuelle Themen. Mit mehreren Millionen Artikeln und über einer Million Schlagworten stoßen klassische Methoden schnell an ihre Grenzen. Deshalb setzt das Projekt auf Big Data-Technologien. Diese ermöglichen nicht nur die Analyse der aktuellen Daten, sondern sichern auch die Skalierbarkeit für die Zukunft.
Zur Berechnung der Relationen zwischen Schlagworten nutzten die Forscher*innen verschiedene Ansätze aus Künstlicher Intelligenz (KI), Statistik und Assoziationsanalyse. Aus dieser Kombination entstand ein Beziehungsnetzwerk, das in einer Graphdatenbank gespeichert ist. Eine spezielle Abfragesprache liefert in wenigen Sekunden die Verbindung zwischen zwei Schlagworten und zeigt zusätzlich die relevantesten Nachbarn an. Dadurch entsteht eine vielseitige Grundlage, die langfristig für unterschiedliche Anwendungen genutzt werden kann – zum Beispiel für die Definition von Themengebieten oder die Entdeckung neuer Tags.
generated with DALL-E
Bild: Vereinfachte Darstellung der News Datasphere – ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Bild: Vereinfachte Darstellung der News Datasphere zu „Wien“- ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Die neu entwickelte News Datasphere bildet die Basis für vielfältige Nachrichtenanalysen, ermöglicht das Explorieren von Themengebieten sowie die spielerische Visualisierung von Zusammenhängen im täglich produzierten News Content. Die Zusammenarbeit mit den Forscher*innen der RISC Software GmbH war, wie bereits im Vorgängerprojekt, sehr bereichernd für uns.
Dieses Projekt wurde aus Mitteln der Österreichischen Forschungsförderungsgesellschaft (FFG) gefördert.
Data Scientist
