Zum Inhalt springen

FLOWgoesS2T

Automatisierte, KI-basierte Einbindung von Sprachnachrichten im redaktionellen Workflow einer Verkehrsredaktion

Im von der FFG geförderten Forschungsprojekt FLOWgoesS2T arbeiteten Forscher*innen und Entwickler*innen der XEBRIS Solutions GmbH, aiconix GmbH und der RISC Software GmbH eng zusammen. Ihr Ziel war es, telefonische Sprachmeldungen zum österreichischen Verkehrsgeschehen systematisch zu analysieren. Dadurch entstand eine Grundlage für die Kategorisierung der Anrufe und die teil-automatisierte Erstellung von Verkehrsmeldungen. Denn bisher bedeutete dieser Prozess erheblichen manuellen Aufwand für Redakteur*innen.

Das Projekt verfolgt außerdem das Ziel, die Interaktion zwischen Redakteur*innen und externen Quellen – beispielsweise Anrufen von Verkehrsteilnehmer*innen – zu vereinfachen. Dazu kommen innovative KI-Systeme zum Einsatz, die besonders sendungsrelevante Meldungen wie Geisterfahrer rasch identifizieren. Somit lässt sich der Verarbeitungsprozess besser skalieren.

Für Verkehrsteilnehmende schafft FLOWgoesS2T zusätzlich die Möglichkeit, Sprachnachrichten intuitiv aus dem Auto heraus zu übermitteln. Auf diese Weise entfällt eine zeitaufwändige oder ablenkende manuelle Eingabe wie das Tippen einer SMS. Grundlegende Werkzeuge existieren zwar bereits, allerdings berücksichtigen sie österreichische Dialekte kaum und sind daher nur eingeschränkt nutzbar.

Vom Audio zum annotierten Text-Transkript

Um Informationen aus einem Sprachanruf zu gewinnen, wandelt das System diesen zunächst mittels Speech-to-Text in geschriebenen Text um. Forscher*innen der aiconix GmbH entwickelten dafür ein eigenes Modell, das speziell an die österreichische Sprache und den Verkehrskontext angepasst wurde. Eine große Herausforderung war dabei die Vielzahl an Dialekten und deren Überführung ins Standarddeutsch – ein Problem, das bisher keine verfügbare Technologie zufriedenstellend löste.

Im zweiten Schritt nutzt das Projektteam den transkribierten Text für die Extraktion relevanter Informationen (siehe Fachbeitrag NLP). Dabei kombiniert die RISC Software GmbH regelbasierte Mechanismen mit modernen Transformer-Modellen (siehe auch Fachbeitrag Transformer-Modelle). Diese spezielle Architektur neuronaler Netze eignet sich hervorragend für die Analyse von Textdaten. Dadurch erkennt das System automatisch verkehrsrelevante Textbausteine wie Straßennummern, Ortsangaben, Fahrtrichtungen sowie komplexere Inhalte wie Ereignisse (z. B. Staus, Sperren, Geisterfahrer) und Ursachen (z. B. Auffahrunfälle, Wildunfälle oder Bauarbeiten).

Damit ein KI-Modell zuverlässig arbeitet, benötigt es große Datenmengen. Deshalb nutzte das Projektteam zwei öffentliche Datensätze mit tausenden standarddeutschen Verkehrstexten und zugehörigen Annotationen. Diese Daten wurden aufbereitet, vereinheitlicht und an die Projektziele angepasst. Anschließend trainierte, evaluierte und testete das Team eigene KI-Modelle auf den Transkripten der Anrufe. Darüber hinaus erweiterte es die Modelle gezielt, um auch mit österreichischen Dialekten umgehen zu können.

Innovative Kombination unterschiedlicher Lösungsansätze

Beim Kombinieren unterschiedlicher Systeme, welche sich in ihren Aufgabenbereichen überschneiden, läuft nicht immer alles reibungslos ab. So ergab die Verbindung aus regelbasierten Systemen und den Transformer-Modellen auch hier neue Herausforderungen. Regelbasierte Systeme bieten zwar für einfache Fälle stabile und einfach nachvollziehbare Resultate, allerdings sind die Strukturen der Regeln oftmals zu rigide, um komplexe Inhalte oder Sonderfälle richtig zu behandeln. Künstliche neuronale Netzwerke bieten hier weitaus mehr Flexibilität und oftmals erstaunlich gute Resultate, allerdings können Sie auch Fehler machen und ihr Verhalten ist schwieriger nachzuvollziehen (siehe auch Fachbeitrag Explainable AI). Durch die Kombination der beiden Ansätze sollen die jeweiligen Vorteile optimal ausgenutzt werden, um zum bestmöglichen Resultat zu gelangen. Der Erfolg des entwickelten Prototyps zeigt sich in der Genauigkeit von etwa 90 % (F1-Score) auf hochdeutschen Texten, und etwa 85 % bei transkribierten Texten aus Anrufen mit österreichischen Dialekten.

Wie bereits in den vergangenen Kooperationen hat RISC Software GmbH auch in diesem Projekt mit seinem anwendungs- und lösungsorientierten KI-Know-how einen entscheidenden Puzzle-Stein zum Erfolg beigetragen.

Anton Fitzthum, Geschäftsführung, Produkt & Operation, XEBRIS Solutions GmbH
Anton Fitzthum, Geschäftsführung, Produkt & Operation, XEBRIS Solutions GmbH

Das Forschungsprojekt wurde von der Forschungsförderungsgesellschaft im Rahmen des Basisprogramms Kleinprojekte unter der Projekt-Nr. 42190322 gefördert.

Logo FFG

Projektpartner

Logo Xebris solutions

Details zum Projekt

  • Projekt-Kurztitel: FLOWgoesS2T
  • Projekt-Langtitel: KI-basierte Unterstützung eines vertrauenswürdigen Whistleblowing-Systems
  • Fördercall: Basisprogramm Kleinprojekt, FFG
  • Projektpartner*innen:
    • Xebris Solutions GmbH (Konsortialführugn)
    • aiconix GmbH
  • Budgetvolumen (gesamt): EUR 149.830
  • davon Förderung (gesamt): EUR 89.897
  • Laufzeit: 14 Monate (März 2022 – April 2023)

Kontakt









    Projektleitung

    DI Dr. Markus Steindl

    Senior Data Scientist

    Weiterlesen