Medical Image Processing, Modeling and Simulation based on Artificial Intelligence

Deep Learning gestützte Extraktion anatomischer Strukturen für Patient*innen-Kohorten am Beispiel von abdominalen Aortenaneurysmen.

Gelernte visuelle Repräsentationen des BRATS Datensatzes für ein Diffusionsmodell (links) und daraus abgeleitete Segmentierungen eines Gehirntumors für nur zehn Trainingsbilder (rechts).
Learned Visual Representations of the BRATS dataset from Diffusion (left) and derived segmentations for only ten training slices (right).

Deep Learning basierte Segmentierung von Unterkiefer, Gesichtsschädel, Zähnen, Kieferkanal und Metallstrukturen als Grundlage für patient*innenspezifisches Implantatdesign.

Medizinische Modellierung und Simulation

Unter Modellierung versteht man die vereinfachte Abbildung der Realität. Im medizinischen Kontext sind Modelle stark an klinischer Relevanz, Anwendbarkeit und Datenlage orientiert. Sie reichen von 3D-Körperoberflächenmodellen bis zu Blutflussmodellen.

In Bereichen wie Verbrennungsmedizin, chronischem Wundmanagement oder Forensik spielt die Körperoberfläche eine zentrale Rolle. Deshalb erstellt das Forschungsteam virtuelle 3D-Avatare von Patient*innen, die reale Körper möglichst exakt abbilden. Damit lassen sich Wunden präzise lokalisieren, dokumentieren und im Zeitverlauf objektiv bewerten.

Mit der biomechanischen Simulation bildet das Team Abläufe im menschlichen Organismus nach – beispielsweise den Blutfluss. Dafür nutzt es segmentierte Bilddaten, erstellt Rechengitter (Meshes) und berechnet Materialeigenschaften wie Elastizität oder Viskosität. Auf dieser Basis können Ärzt*innen sowohl geometrische als auch simulationsbasierte Merkmale bestimmen. Dazu zählen etwa Gefäßdurchmesser oder mechanische Spannungen in Gefäßwänden.

Diese Ergebnisse erleichtern Diagnosen und Behandlungsentscheidungen. Zum Beispiel lässt sich das Rupturrisiko eines Aneurysmas berechnen oder die Wirksamkeit von Eingriffen im Blutgefäßsystem beurteilen. Außerdem finden die Modelle in medizinischen Simulatoren Anwendung, um Eingriffe realitätsnah zu trainieren.

Deformierter Balken als Beispiel für ein ML-basiertes Surrogat-Modell (Perceiver-IO) zur Lösung von Elastizitätsgleichungen. Die Punkte entsprechen den Surrogat-Vorhersagen, während die durchgezogenen Linien aus der exakten numerischen Simulation (FEM) stammen.

Übertragung einer Brandwunde von einem 2D Bild auf ein 3D Patient*innen-Modell. Die automatische Wundlokalisation und Anpassung des 3D Modells an die Körperform desder Patient*in ermöglicht eine objektivere Bestimmung der Wundgröße und Dokumentation des Heilungsverlaufs.

Medizinische Datenanalyse und Vorhersage

Ein wesentlicher Erfolgsfaktor für die Anwendung von Machine Learning in der Medizin ist das Vertrauen von Ärzt*innen und Patient*innen in die Datenbasis und die davon abgeleiteten Vorhersagemodelle. Grundlage für dieses Vertrauen sind Methoden zur Validierung der Daten, zur Interpretation der Modellvorhersagen und zur Analyse von Abweichungen. Durch die Bereitstellung und Nutzbarmachung dieser Methoden in einem Datenaufbereitungs- und Analyseframework, welches die vollständige Datenverarbeitungspipeline umfasst, unterstützt die Forschungsabteilung Medizin-Informatik die Mediziner*innen in der klinischen Praxis.

Die Erarbeitung der erforderlichen Strukturen zur Datenverarbeitung erfolgt im Rahmen von ausgewählten Beispielszenarien. Anwendungsbereiche sind etwa das Verlegungsmanagement auf der Intensivstation, die Optimierung des Manchester-Triage-Systems in der Notaufnahme, die optimale Applikation von Blutkonserven oder die Vorhersage kardialer Instabilität.

Im Fokus steht die Erforschung einer generischen und einfach konfigurierbaren Datenverarbeitungskette für bewährte und neueste Methoden, um auch zukünftigen Anforderungen gerecht zu werden. Neben strukturierten Daten dienen auch Bild-, Video- und Signaldaten sowie Kombinationen unterschiedlicher Datenmodalitäten und eine spezialisierte Merkmalsextraktion als Informations- und Datengrundlage.

Der Forschungsfokus liegt auf der interaktiven Datenanalyse unterschiedlicher Modalitäten mit Fokus auf Interpretierbarkeit und Rückverfolgbarkeit von Einzeldaten oder Datengruppen im Sinne von „Explainable AI“. Gerade in der Medizin ist die Transparenz für die Akzeptanz KI-basierter Software von besonders hoher Bedeutung.

CaTabRa ist ein Python-Package zur weitgehend automatisierten Analyse von tabellarischen Daten. Dies umfasst die Erstellung von deskriptiven Statistiken, die Erstellung von Out-of-Distribution-Detektoren, das Training von Vorhersagemodellen für Klassifizierungs- und Regressionsaufgaben und die Auswertung/Erklärung/Anwendung dieser Modelle auf ungesehene Daten.

Zusammenspiel dieser Forschungsfelder

Die Forschungsfelder der Abteilung Medizin-Informatik stehen in einem sehr engen Zusammenhang. Medizinische Bilddaten bilden oftmals die Grundlage für die Modellierung, Modelle bilden wiederum die Grundlage für die medizinische Bildverarbeitung und Informationsextraktion sowie für die Simulation von Abläufen im menschlichen Körper. Auch die verwendeten Basistechnologien und -methoden der Forschungsfelder zeigen vielfältige Überlappungen. GPU-basierte (Graphics Processing Unit) parallele Berechnungen haben in den letzten Jahren den Siegeszug von Deep Learning in der Bildverarbeitung ermöglicht und stellen gleichzeitig die Basis für die Simulation von Abläufen im menschlichen Körper dar. 

Physiologische Interaktionen bedürfen jedoch entsprechender Modelle von anatomischen Strukturen, welche mittels Segmentierungsmethoden aus medizinischen Bilddaten extrahiert werden. Die Registrierung – also die Errechnung einer Transformation, welche mehrere Datensätze (Modell, Bild, Volumen) in geometrische Übereinstimmung bringt – ermöglicht die Nutzung mehrerer Datenquellen sowie den Transfer von Informationen zwischen verschiedenen Datendomänen. Die Informationsextraktion erfolgt in allen Forschungsfeldern in unterschiedlicher Weise. Die folgenden medizinischen Anwendungsbeispiele verdeutlichen den Zusammenhang dieser Forschungsfelder:

Projektpartner

Ansprechpartner