Der Forschungsbereich „Medical Image Processing, Modeling and Simulation based on Artificial Intelligence“ (MIMAS.ai) umfasst einen Querschnitt hochdynamischer Forschungsthemen, welche nicht zuletzt aufgrund aktueller technologischer Fortschritte in medizinischen Anwendungsfeldern stark an Bedeutung gewinnen.
Medizinische Bilddaten werden in vielfältiger Form zur Diagnose, Behandlungsplanung, Begleitung von Eingriffen, Beobachtung von Zustandsveränderungen und Dokumentation eingesetzt. Übliche Bildmodalitäten erstrecken sich von 2D-Bildern (Röntgen, Wundfotos …) über 3D-Scans (Computertomographie, Magnetresonanztomographie, digitale Subtraktionsangiographie …) bis hin zu Videos (2D+t, 3D+t), welche auch den zeitlichen Verlauf erfassen.
Um diese multimodalen Bilddaten für medizinische Diagnose-, Behandlungs- und Dokumentationszwecke zu verarbeiten, entwickelt die Forschungsabteilung Medizin-Informatik verschiedene Methoden zur Bildanalyse und Bildsegmentierung. Mittels auf Künstlicher Intelligenz basierender Methoden werden diese Bilddaten registriert (überlagert), um im Anschluss patient*innenspezifische anatomische Strukturen, wie beispielsweise Blutgefäße, Gewebe oder Haut, zu segmentieren (extrahieren). Diese segmentierten anatomischen Strukturen bilden die Grundlage für medizinische Modelle und darauf aufbauende Simulationen.
Der Erfolg von Machine-Learning-Methoden zur Registrierung und Segmentierung hängt wesentlich von der Anzahl und der Qualität der verfügbaren Trainingsdaten ab. Insbesondere in medizinischen Anwendungsfeldern fehlen oftmals Daten mit entsprechendem Ground Truth oder sie sind aus Datenschutzgründen nicht verfügbar. Deshalb wird in diesem Forschungsschwerpunkt auch an Methoden geforscht, die eine einfache und interaktive Erstellung eines Ground Truth ermöglichen. Diese Methoden umfassen beispielsweise CycleGANs zum Generieren synthetischer Trainingsdaten, One Shot Learning, um aus einem Datensatz mittels Augmentierung eine Vielzahl von Trainingsdaten zu generieren, Transfer Learning, wodurch bereits erlernte Wissensmodelle für ähnliche Probleme genutzt werden, oder Domain Adaptation zur Anpassung gelernter Modelle an neue Datenverteilungen.
Deep Learning gestützte Extraktion anatomischer Strukturen für Patient*innen-Kohorten am Beispiel von abdominalen Aortenaneurysmen.
Gelernte visuelle Repräsentationen des BRATS Datensatzes für ein Diffusionsmodell (links) und daraus abgeleitete Segmentierungen eines Gehirntumors für nur zehn Trainingsbilder (rechts).
Learned Visual Representations of the BRATS dataset from Diffusion (left) and derived segmentations for only ten training slices (right).
Deep Learning basierte Segmentierung von Unterkiefer, Gesichtsschädel, Zähnen, Kieferkanal und Metallstrukturen als Grundlage für patient*innenspezifisches Implantatdesign.
Unter Modellierung versteht man im Allgemeinen eine vereinfachte Abbildung der Realität. Im medizinischen Kontext sind Modelle stark an der klinischen Relevanz, der Anwendbarkeit und den verfügbaren Daten orientiert. Modelle reichen dabei von 3D-Körperoberflächenmodellen bis hin zu Blutflussmodellen.
In vielen medizinischen Bereichen, wie zum Beispiel in der Verbrennungsmedizin, im chronischen Wundmanagement oder in der Forensik, ist die betroffene Körperoberfläche von Patient*innen eine wesentliche diagnostische Grundlage. Im Forschungsschwerpunkt werden virtuelle 3D-Patient*innen-Avatare erstellt, welche möglichst exakt mit den realen Patient*innen übereinstimmen und somit eine objektive Diagnostik und medizinische (Verlaufs-)Dokumentation ermöglichen. So können beispielsweise die Größe und Position von chronischen Wunden genau festgestellt und der Erfolg des Therapieansatzes über den zeitlichen Verlauf beurteilt werden.
Mit der biomechanischen Simulation können Abläufe im menschlichen Organismus (z.B. Blutfluss) nachgebildet werden. Ausgehend von registrierten und segmentierten medizinischen Bilddaten werden Methoden zur Modellierung anatomischer Strukturen (Blutgefäße, Gewebe, Haut …) eingesetzt, Rechengitter (Meshes) erstellt und Materialeigenschaften (Elastizität, Viskosität …) ermittelt. Auf Basis des Modells können sowohl geometrische Merkmale (z.B. maximaler Durchmesser eines Blutgefäßes) als auch simulationsbasierte Merkmale (z.B. mechanische Spannung einer Gefäßwand) berechnet werden.
Diese Simulationen erlauben es den medizinischen Expert*innen, Diagnosen und Behandlungsentscheidungen mit Hilfe quantitativer Maßzahlen zu treffen oder zu evaluieren. Beispielsweise kann anhand der Blutflusssimulation das Rupturrisiko eines Aneurysmas ermittelt und die Effektivität von Eingriffen im Blutgefäßsystem (z.B. Clipping von Aneurysmen, Einsetzen eines Stent-Grafts) beurteilt werden. Anwendung finden diese Modelle und Simulationen z.B. in Simulatoren zur Ausbildung von Mediziner*innen und zum realitätsgetreuen Training von medizinischen Eingriffen.
Deformierter Balken als Beispiel für ein ML-basiertes Surrogat-Modell (Perceiver-IO) zur Lösung von Elastizitätsgleichungen. Die Punkte entsprechen den Surrogat-Vorhersagen, während die durchgezogenen Linien aus der exakten numerischen Simulation (FEM) stammen.
Übertragung einer Brandwunde von einem 2D Bild auf ein 3D Patient*innen-Modell. Die automatische Wundlokalisation und Anpassung des 3D Modells an die Körperform desder Patient*in ermöglicht eine objektivere Bestimmung der Wundgröße und Dokumentation des Heilungsverlaufs.
Ein wesentlicher Erfolgsfaktor für die Anwendung von Machine Learning in der Medizin ist das Vertrauen von Ärzt*innen und Patient*innen in die Datenbasis und die davon abgeleiteten Vorhersagemodelle. Grundlage für dieses Vertrauen sind Methoden zur Validierung der Daten, zur Interpretation der Modellvorhersagen und zur Analyse von Abweichungen. Durch die Bereitstellung und Nutzbarmachung dieser Methoden in einem Datenaufbereitungs- und Analyseframework, welches die vollständige Datenverarbeitungspipeline umfasst, unterstützt die Forschungsabteilung Medizin-Informatik die Mediziner*innen in der klinischen Praxis.
Die Erarbeitung der erforderlichen Strukturen zur Datenverarbeitung erfolgt im Rahmen von ausgewählten Beispielszenarien. Anwendungsbereiche sind etwa das Verlegungsmanagement auf der Intensivstation, die Optimierung des Manchester-Triage-Systems in der Notaufnahme, die optimale Applikation von Blutkonserven oder die Vorhersage kardialer Instabilität.
Im Fokus steht die Erforschung einer generischen und einfach konfigurierbaren Datenverarbeitungskette für bewährte und neueste Methoden, um auch zukünftigen Anforderungen gerecht zu werden. Neben strukturierten Daten dienen auch Bild-, Video- und Signaldaten sowie Kombinationen unterschiedlicher Datenmodalitäten und eine spezialisierte Merkmalsextraktion als Informations- und Datengrundlage.
Der Forschungsfokus liegt auf der interaktiven Datenanalyse unterschiedlicher Modalitäten mit Fokus auf Interpretierbarkeit und Rückverfolgbarkeit von Einzeldaten oder Datengruppen im Sinne von „Explainable AI“. Gerade in der Medizin ist die Transparenz für die Akzeptanz KI-basierter Software von besonders hoher Bedeutung.
CaTabRa ist ein Python-Package zur weitgehend automatisierten Analyse von tabellarischen Daten. Dies umfasst die Erstellung von deskriptiven Statistiken, die Erstellung von Out-of-Distribution-Detektoren, das Training von Vorhersagemodellen für Klassifizierungs- und Regressionsaufgaben und die Auswertung/Erklärung/Anwendung dieser Modelle auf ungesehene Daten.
Die Forschungsfelder der Abteilung Medizin-Informatik stehen in einem sehr engen Zusammenhang. Medizinische Bilddaten bilden oftmals die Grundlage für die Modellierung, Modelle bilden wiederum die Grundlage für die medizinische Bildverarbeitung und Informationsextraktion sowie für die Simulation von Abläufen im menschlichen Körper. Auch die verwendeten Basistechnologien und -methoden der Forschungsfelder zeigen vielfältige Überlappungen. GPU-basierte (Graphics Processing Unit) parallele Berechnungen haben in den letzten Jahren den Siegeszug von Deep Learning in der Bildverarbeitung ermöglicht und stellen gleichzeitig die Basis für die Simulation von Abläufen im menschlichen Körper dar.
Physiologische Interaktionen bedürfen jedoch entsprechender Modelle von anatomischen Strukturen, welche mittels Segmentierungsmethoden aus medizinischen Bilddaten extrahiert werden. Die Registrierung – also die Errechnung einer Transformation, welche mehrere Datensätze (Modell, Bild, Volumen) in geometrische Übereinstimmung bringt – ermöglicht die Nutzung mehrerer Datenquellen sowie den Transfer von Informationen zwischen verschiedenen Datendomänen. Die Informationsextraktion erfolgt in allen Forschungsfeldern in unterschiedlicher Weise. Die folgenden medizinischen Anwendungsbeispiele verdeutlichen den Zusammenhang dieser Forschungsfelder:
Aneurysmen werden in CTA-Scans (Computertomographie-Angiographie) diagnostiziert. Die Segmentierung von Aneurysmen und Blutgefäßen wird für die Erstellung eines Volumenmodells (Mesh) zur Blutflusssimulation verwendet. Die Simulation ermöglicht die Berechnung von Druck und Gefäßspannung. Für eine Patient*innen-Kohorte (z.B. Aneurysmenpatient*innen der letzten zehn Jahre) können diese Merkmale genutzt werden, um anhand von Machine Learning basierter Datenanalyse das Rupturrisiko zu ermitteln und darauf aufbauend eine geeignete Behandlungsstrategie zu wählen.
Patient*innen mit Verbrennungswunden werden in der Notaufnahme initial behandelt. Mittels medizinischer Modellierungsmethoden wird ein virtuelles 3D-Körperoberflächenmodell anhand eines RGB-D-Scans an die Patient*innen angepasst. Die Verbrennungstiefe wird anhand von Bildanalysemethoden klassifiziert. Die Wunden (Ausdehnung und Tiefe) werden am Körperoberflächenmodell dokumentiert. Der zeitliche Verlauf der Wunde aufgrund der späteren Behandlung wird am Körperoberflächenmodell dokumentiert und kann so für die Verbesserung der Behandlung zukünftiger Patient*innen genutzt werden.
Das gemeinsame Ziel aller Arbeiten ist die weitere Verbreitung von individualisierter und evidenzbasierter Medizin. Dazu müssen aktuelle Methoden aus der Forschung frühzeitig mit medizinischen Fachexpert*innen weiterentwickelt werden. Nur so kann sichergestellt werden, dass mittelfristig aktuelle Methoden zum Wohle der Patient*innen auch in der klinischen Praxis eingesetzt werden.
Dieses Projekt wird aus Forschungsförderungsmitteln des Landes Oberösterreich finanziert. Die RISC Software GmbH ist Teil des Netzwerkes der UAR (Upper Austrian Research).
Head of Research Unit Medical Informatics
