Sprache ist omnipräsent und begegnet uns sowohl in unserem Alltag als auch in unserem beruflichen Umfeld in vielen unterschiedlichen Facetten – von Menschen geschrieben, gesprochen und in unterschiedlichen Sprachen kommuniziert, aber auch analysiert, bearbeitet und synthetisiert durch Maschinen. Mit Natural Language Processing (NLP) sind Computer in der Lage, natürliche Sprache automatisiert zu verarbeiten, zu erzeugen und als Schnittstelle zwischen Mensch und Maschine zu fungieren (für mehr Details zum Thema NLP siehe [1]). Als Anwendungsbereich der Künstlichen Intelligenz (KI) kommt NLP immer dann zum Einsatz, wenn monotone Prozesse bzw. häufig wiederkehrende Aufgaben in der Textverarbeitung automatisiert, anschließend optimiert und in ein übergeordnetes Framework eingegliedert werden sollen. Dadurch können in verschiedenen Bereichen Fehler minimiert, Prozesse (teil)automatisiert und Einsparungen (durch verringerten Personalaufwand) erzielt werden.

Die RISC Software GmbH unterstützt ihre Kund*innen mit ihrer langjährigen, praktischen Erfahrung, wenn es um die Entwicklung von individuell zugeschnittenen, KI-gestützten Lösungen geht, u.a. auch im Bereich Natural Language Understanding (NLU), einem Teilbereich des Natural Language Processing.

Natural Language Understanding (NLU) konzentriert sich auf die Extraktion von Informationen aus geschriebenem Text und damit auf das Erwerben von Textverständnis hinsichtlich eines bestimmten Teilaspekts. Dabei spielen v.a. Syntax (grammatikalische Struktur) und Semantik (Bedeutung von Wörtern) eine wesentliche Rolle. Beispiele hierfür sind:

• Informationsextraktion, z.B. das Erkennen von Personen, Orten oder anderen Schlüsselwörtern in Texten (z.B. Named Entity Recognition (NER)),
  • Use-Case “Newsadoo”: „Newsadoo – Alle News zu deinen Interessen“ – ermöglicht Benutzer*innen den Zugriff auf Newsartikel zahlreicher Quellen und bietet relevante sowie nach Interessen personalisierte Nachrichten. Im Hintergrund findet mittels NLP eine Transformation von unstrukturierten Textdaten in strukturierte, auswertbare Inhalte statt.
  • Use-Case “FLOWgoesS2T“: Sprachnachrichten zum aktuellen Verkehrsgeschehen werden in geschriebene Texte überführt, in denen anschließend mittels NLP wichtige Informationen wie Straßen, Ortsangaben, Fahrtrichtungen und Ereignisse automatisch erkannt und strukturiert gespeichert werden. Dies dient zur Unterstützung der Redakteur*innen bei der Bearbeitung von übermittelten Sprachnachrichten, um verkehrsrelevante Ereignisse rasch identifizieren zu können.
• Klassifizierung von Text in vordefinierte Kategorien
  • Use-Case “ACT4”: In einer Ausbaustufe der bestehenden Plattform-Lösung ACT4 der Compliance 2b GmbH entwickelt die RISC Software GmbH gemeinsam mit dem Unternehmen eine vertrauenswürdige KI-Komponente, welche einerseits Hinweisgebende bei der Abgabe der Meldung unterstützt und andererseits den zuständigen Sachbearbeiter*innen eine effizientere und weniger fehleranfällige Abwicklung der Meldungen ermöglichen soll. Das System soll dabei automatisiert Informationen (z.B. Hinweiskategorie oder Rollen der beteiligten Personen) aus den textuellen Hinweisen ableiten und diese mit bereits strukturell erfassten Daten in Form einer Plausibilitätsprüfung abgleichen.
• Stimmungs- und Meinungsanalyse (Sentimentanalyse)
  • Use-Case “Intelligente Twitter Analyse”: Stehen positive Emotionen in Tweets über aktiennotierte Unternehmen mit deren Aktienkursentwicklung in Zusammenhang? Mittels Sentimentanalyse kann ein Text hinsichtlich Stimmung (positiv, negativ etc.) analysiert und dahingehend evaluiert werden, wie viel Information tatsächlich zwischen den Zeilen steckt.

Die ersten Schritte sind fast immer die schwersten. Nachfolgende (bestimmt nicht vollständige) Checkliste bietet einen Überblick über die relevantesten Fragestellungen, die jedes Projektteam vor der konkreten Planung bzw. Umsetzung von NLU- bzw. KI-Systemen im Allgemeinen klären sollte.

Um von den Rohdaten zu einer erfolgreich umgesetzten NLU-Komponente zu kommen, sind einige Schritte notwendig. Die konkreten Maßnahmen unterscheiden sich zwar von einem Projekt zum nächsten, die grundlegende Vorgehensweise folgt allerdings dem in Abbildung 1 dargestellten Schema.

In den letzten Jahren dreht sich im NLU-Bereich fast alles um die sogenannten Transformer-Modelle. Dabei handelt es sich um eine spezielle Architektur von künstlichen neuronalen Netzen, die besonders geeignet für den Umgang mit Textdaten ist (siehe auch [7]). Besondere Aufmerksamkeit erregte in den letzten Monaten beispielsweise Google’s Language Model for Dialogue Applications – kurz: LaMDA (siehe [8]). Dieses Modell ist darauf trainiert, sich im Dialog möglichst menschlich zu verhalten, und diese Fähigkeit konnte das Modell bereits in mehreren “Interviews” beweisen (siehe [9]). Auch die von OpenAI entwickelten DALL·E Modelle (siehe [10]) können (unter anderem) zu einem Eingabetext passende Bilder erzeugen. Das Modell basiert auf der GPT-3 Architektur (siehe [11]), welche zuvor bereits durch ihre Fähigkeit, neue Texte in bisher unerreichter Qualität zu generieren, überzeugen konnte. Ein vereinfachtes, DALL·E nachempfundenes Modell ist unter craiyon.com öffentlich verfügbar: Was für durchschnittliche Internetuser*innen eine lustige Spielerei ist, kann auch zahlreiche produktive Anwendungen finden.

Die größte Herausforderung bei der Verwendung dieser neuen Modelle in innovativen Forschungsprojekten sind die für die jeweilige Aufgabe verfügbaren Daten. Für erfolgreiches Finetuning eines vortrainierten Modells auf eine neue Aufgabe sind entsprechende Daten notwendig, die dem Modell vorzeigen, was es zu tun hat. Diese Daten müssen auch in ausreichender Menge vorhanden sein und den festgelegten Datenqualitätskriterien entsprechen. Im Weiteren stellt auch die Auswahl des vortrainierten Modells eine Herausforderung dar. Um die besten Ergebnisse zu erzielen, ist eine Literaturrecherche und das Testen und Evaluieren unterschiedlicher Modelle unumgänglich.

Bei all diesen spannenden, neuen Innovationen den Überblick zu behalten, ist nicht immer einfach. Allerdings sollten hier auch nicht immer nur die neuesten Trends beachtet werden. Manche Aufgaben können auch mit älteren Methoden oder (in Kombination) mit ausgeklügelten regelbasierten Systemen gelöst werden, die teilweise effizienter in der Verwendung sind und auch die Nachvollziehbarkeit von Modellentscheidungen ad-hoc ermöglichen. Es lohnt sich daher definitiv, für einen ersten Prototyp auch bereits langfristig etablierte Methoden auszutesten.

Menschliche Sprache ist erstaunlich komplex und vielseitig. NLU-Lösungen verstehen und interpretieren sprachlich vermittelte Inhalte immer besser und der rasante Fortschritt wird immer beeindruckender. Fast täglich erhöht sich die Anzahl der öffentlich verfügbaren Modelle, und gleichzeitig zeigt sich, wie vielfältig diese bereits eingesetzt werden können. Mit der zunehmenden Digitalisierung sowie der Menge an routinemäßigen Abläufen steckt noch immer viel ungenutztes Potenzial in den unstrukturierten Textdaten der Unternehmen, um deren Prozesse und Produkte mit NLP-Lösungen auf das nächste Level zu heben. Wenn auch Sie am Einsatz solcher Technologien in Ihrem Unternehmen interessiert sind, unterstützen wir Sie gerne bei der Planung und Umsetzung von NLP-Projekten (https://www.risc-software.at/annalyze-nlp/).

[1] Wartner, Sandra (2021): „OK Google: Was ist Natural Language Processing?” – Wie Maschinen die menschliche Sprache lesen, entschlüsseln und verstehen (https://www.risc-software.at/fachbeitraege-natural-language-processing-1/)

[2] Wartner, Sandra und Hess, Christina (2021): Vom Informationsfluss zum Informationsgehalt – warum sich sauberes Daten(qualitäts)management auszahlt (https://www.risc-software.at/en/fachbeitraege-datenqualitaet/)

[3] Hochleitner, Christina (2021): Förderungen mit laufender Einreichmöglichkeit (https://www.risc-software.at/foerderungen-mit-laufender-einreichmoeglichkeit/)

[4] Wartner, Sandra und Hess, Christina (2021): Warum auch eine gute Idee eine Machbarkeitsstudie braucht (https://www.risc-software.at/warum-auch-eine-gute-idee-eine-machbarkeitsstudie-braucht/)

[5] Hess, Christina (2021): Wie wir vertrauenswürdige KI-Systeme schaffen und nutzen (https://www.risc-software.at/fachbeitraege-vertrauen-in-die-kuenstliche-intelligenz/)

[6] Jaeger, Anna-Sophie (2022): Explainable Artificial Intelligence (XAI) – Wie Machine Learning Vorhersagen interpretierbar(er) werden (Explainability Methods)

[7] Jetzinger, Fabian (2022): Transformer-Modelle erobern Natural Language Processing (https://www.risc-software.at/fachbeitraegetransformer-modelle-erobern-natural-language-processing/)

[8] Thoppilan, Romal, et al. “Lamda: Language models for dialog applications.” arXiv preprint arXiv:2201.08239 (2022).

[9] Lemoine, Blake (2022): “Is LaMDA Sentient? – an Interview” (https://cajundiscordian.medium.com/is-lamda-sentient-an-interview-ea64d916d917)

[10] OpenAI (2022): https://openai.com/dall-e-2/

[11] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.

Sandra Wartner, MSc und Fabian Jetzinger, BSc sind als Data Scientists in der Abteilung Logistics Informatics in diversen Forschungs- und Kundenprojekten tätig. Ihr Fokus liegt dabei auf unterschiedlichsten Aufgabenstellungen aus Data Analytics (insbesondere Knowledge Engineering und Natural Language Processing) sowie auf dem Einsatz von KI-Lösungen in der Praxis.

Die RISC Software GmbH unterstützt Sie gerne bei der Einreichung und Durchführung von (Forschungs-) Projekten im Bereich Natural Language Processing.