Ein evolutionärer Graph zum lokalen, nationalen und internationalen Nachrichtengeschehen.
Im von der FFG geförderten Forschungsprojekt NEEED („News-Extracted Evolving European Datasphere“) arbeiteten Forscher*innen und Entwickler*innen der RISC Software GmbH, SCCH GmbH und Newsadoo GmbH gemeinsam an der Weiterentwicklung der Plattform Newsadoo. Newsadoo sammelt, analysiert und sortiert Nachrichten aus lokalen, nationalen und internationalen Quellen vollautomatisch und ermöglicht das personalisierte, themenspezifische und dezentrale Ausspielen von relevanten News.
Bereits im Vorprojekt TIDE gelang es den Kooperationspartner*innen, Optimierungen an der automatischen Verarbeitung der Newsartikel sowie dem dahinterliegenden Empfehlungsalgorithmus zu erzielen. Mit NEEED konnte die Newsadoo-Technologie in die nächste Ausbaustufe gehoben werden, in der es nun möglich ist, die gesammelten Daten in Form eines Tag-Graphen (News Datasphere) weiter zu strukturieren und zu nutzen. Auf tagesaktueller Basis können Informationen aus Newsartikel zu einem dynamischen Netzwerk an zusammenhängenden Tags (Schlagworte) fusioniert und deren zeitliche Entwicklung weiterverfolgt werden. Damit können sowohl langfristige Zusammenhänge (z.B. „Rom“ und „Vatikan“) als auch kurzfristige Trends (z.B. „ChatGPT“ und „Natural Language Processing“, „Queen Elizabeth II“ und „Begräbnis“) anhand des täglich produzierten, qualitativen News Contents abgeleitet und analysiert werden.
Mit über 30.000 produzierten Newsartikeln aus deutschen und englischen Newsquellen pro Tag wird die Data Sphere täglich um topaktuelle Themen erweitert. Mit mehreren Mio. Newsartikeln, aus denen über eine Million Tags hervorgehen, stoßen herkömmliche Methoden zur Datenverarbeitung schnell an ihre Grenzen. Durch den Einsatz von Big Data-Technologien wird die Analyse des aktuellen Datenbestandes überhaupt erst möglich und kann durch den besonderen Fokus auf die Skalierbarkeit des Systems auch langfristig auf den kontinuierlich wachsenden Datenmengen angewandt werden.
Zur Berechnung der Relationen zwischen Tags wurden unterschiedliche Ansätze aus den Bereichen Künstliche Intelligenz (KI), quantitative Statistik sowie Assoziationsanalyse evaluiert und kombiniert. Das dadurch entstandene Beziehungsnetzwerk der Tags wird in Form einer Graphdatenbank zugänglich gemacht und kann mittels einer speziellen Abfragesprache in wenigen Sekunden nicht nur den Zusammenhang zwischen zwei Tags anzeigen, sondern auch die relevantesten Nachbar-Tags darstellen. Die Data Sphere soll damit langfristig als Basis für weitere unterschiedliche Anwendungen genutzt werden, wie bspw. bei der Definition von Themengebieten oder der Exploration neuer Tags.
generated with DALL-E
Bild: Vereinfachte Darstellung der News Datasphere – ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Bild: Vereinfachte Darstellung der News Datasphere zu „Wien“- ein dynamisches Netzwerk aus Nachrichten-Tags, (C) Newsadoo
Die neu entwickelte News Datasphere bildet die Basis für vielfältige Nachrichtenanalysen, ermöglicht das Explorieren von Themengebieten sowie die spielerische Visualisierung von Zusammenhängen im täglich produzierten News Content. Die Zusammenarbeit mit den Forscher*innen der RISC Software GmbH war, wie bereits im Vorgängerprojekt, sehr bereichernd für uns.
Dieses Projekt wurde aus Mitteln der Österreichischen Forschungsförderungsgesellschaft (FFG) gefördert.
Data Scientist
