Direkt zum Inhalt wechseln

vizARd – Visual Augmented Reality Assistant for Spatial Mapping

Augmented Reality zur Unterstützung bei der präoperativen Planung

Vor bestimmten Operationen werden dreidimensionale Schnittbilder, wie Computertomografie (CT) oder Magnetresonanztomografie (MRT), angefertigt, um den medizinischen Eingriff exakt zu planen. Chirurg*innen sollen künftig durch eine im Projekt VizARd entwickelte Augmented-Reality-Lösung unterstützt werden. Mit dieser Software ist es möglich, diese Bilddaten intuitiv und benutzer*innenfreundlich direkt auf der Haut der Patient*innen am Ort des Einschnittes zu visualisieren.

Weichteilgewebe und Lageerkennung als Herausforderungen

Es gibt zwar viele und valide Daten vom Menschen und seinem „Innenleben“, allerdings ist der Mensch alles andere als ein starres „Objekt“, denn die Lage von der Hautoberfläche, vom Weichteilgewebe und von den Organen verändert sich je nach Körperposition. Basis für die Forschungsarbeiten sind Methoden aus den Bereichen Augmented Reality (AR) und Deep Learning, die bisher speziell für den Bereich der Assistenzsysteme entwickelt wurden. Was bislang der Digitalisierung des Menschen, seines Werkzeugs und seiner Werkstücke in der Montagehalle gedient hat, wird nun auf den Menschen im Operationssaal übertragen.

Eine weitere zentrale Herausforderung ist die Verformung von Weichteilgewebe, die bei der Visualisierung von Bilddaten berücksichtigt werden muss. Die Forschungsabteilung Medizin-Informatik der RISC Software GmbH hat bereits durch vorangegangene Projekte wertvolle Erfahrungen in der biomechanischen Modellierung gesammelt. Die Visualisierung von medizinischen Bildern direkt auf 3D-Patient*innen – anstatt auf einem 2D-Bildschirm – bildet die Grundlage für richtungsweisende Forschungsprojekte und für die Verbesserung bestehender Anwendungen im medizinischen Bereich.

Einzigartige Unterstützung in der präoperativen Planung

Auf Basis einer AR-Technologie schließt VizARd die Lücke zwischen der Ausgabe eines digitalen Workflows und einem realen Objekt, indem es statische und mobile AR-Geräte auf einzigartige Weise kombiniert. Dabei wird die Umgebung durch 3D-Sensoren in Echtzeit wahrgenommen. Neuartige, nicht-rigide Registrierverfahren erlauben hierbei eine hochpräzise Abbildung auf verformbaren Oberflächen. Durch die exakte Positionsermittlung von Geräten bzw. Objekten werden qualitativ hochwertige AR-Präsentationen ermöglicht. Insgesamt erleichtert die VizARd-Technologie die präoperative Markierung auf Basis von Daten aus CT-/MRT-Geräten in den Krankenhäusern.

Zusammenarbeit mit der MedUni Graz

Die medizinischen Projektpartner*innen der klinischen Abteilung für Plastische, Ästhetische und Rekonstruktive Chirurgie und der Universitätsklinik für Radiologie der MedUni Graz brachten ihre Expertise ein, indem sie insbesondere bei der praktischen Implementierung mitwirkten und die medizinischen Anwendungsszenarien bereitstellten.

Benutzer*innen-Freundlichkeit als wichtiges Ziel

Um bei den Anwender*innen eine hohe Akzeptanz der VizARd-Technologie sicherzustellen, wurden die Chirurg*innen bereits von Beginn an in die Entwicklung miteinbezogen. Für die Gestaltung der Benutzer*innen-Oberfläche der Software war die Digitalagentur Netural GmbH hauptverantwortlich. Das Unternehmen forscht seit Jahren intensiv in den Bereichen E-Health und medizinische Technik.

Augmented Reality Interaktion mit vizARd Daten durch einen Chirurgen

Augmented Reality Interaktion mit vizARd Daten durch einen Chirurgen.

Screenshot 3D-Segmentierung

Mediziner*innen werden von einer Software-Anwendung Schritt für Schritt durch die
Datenaufbereitung geführt (3D MR Segmentierung, 3D Oberflächenaufnahme des*der
Patient*in).

Patient

Nach der Anpassung (nicht-lineare Deformation) an die aktuelle Patient*innenoberfläche
werden abdominale Gefäße aus dem MR dargestellt, um den*die Chirurg*in beim Markieren
relevanter Strukturen (vor dem Eingriff) zu unterstützen.

Patient

Ein AR Interface ermöglicht es den*der medizinischen Expert*in, verschiedene
Datenrepräsentationen mit dem*der aktuellen Patient*in zu überlagern.

https://youtu.be/OelQkfsOn3c?si=pSwlNiuelBP3i5uq

Projektpartner

Details zum Projekt

  • Projekt-Kurztitel: vizARd
  • Projekt-Langtitel: Visual Augmented Reality Assistant for Spatial Mapping
  • Fördercall: IKT der Zukunft – 6. Ausschreibung 2017 (FFG)
  • Projektpartner*innen:
    • PROFACTOR GmbH (Konsortialführung)
    • Netural GmbH
    • RISC Software GmbH, Forschungsabteilung Medizin-Informatik
    • Medizinische Universität Graz, Klinische Abteilung für Plastische, Ästhetische und Rekonstruktive Chirurgie
    • DANOBAT
  • Budgetvolumen (gesamt): 972 TEUR
  • davon Förderung (gesamt): 733 TEUR
  • Laufzeit: 11/2018 – 04/2021

Kontakt









    Projektleitung

    DI Dr. Stefan Thumfart

    Project Manager & Senior Researcher