Sie unterst\u00fctzt uns bei der Wahl unserer Kleidung, erleichtert uns die Kommunikation \u00fcber Sprachbarrieren hinweg, assistiert uns beim Fahren und vereinfacht die Navigation. All diese Bereiche durchdringt K\u00fcnstliche Intelligenz (KI) und ist damit aus unserem Alltag nicht mehr wegzudenken. K\u00fcnstliche Intelligenz ist gro\u00dfteils auf tiefe, k\u00fcnstliche neuronale Netzwerke zur\u00fcckzuf\u00fchren, die dem menschlichen Gehirn nachempfunden sind. Welche Faktoren f\u00fcr die Vorhersagen entscheidend sind, bleibt dabei meist im Dunkeln. Modelle aus dem Bereich Deep-Learning sind aufgrund ihrer Architektur zwar oft einsehbar, aber nicht interpretierbar (sog.\u00a0Black Boxes<\/em>).\u00a0Das bedeutet, dass Modellvorhersagen und daraus abgeleitete Entscheidungen von Menschen ohne zus\u00e4tzliche Software nicht nachvollzogen werden k\u00f6nnen.\u00a0In bestimmten Situationen ist es jedoch notwendig, die Entscheidungsgrundlage der Vorhersage erkl\u00e4ren zu k\u00f6nnen.<\/p>\n\n\n\n Wird beispielsweise \u00fcber ein Machine-Learning- (ML-) Modell die Bewilligung eines Kredits entschieden, sind die Beweggr\u00fcnde, die f\u00fcr bzw. gegen die Bewilligung sprechen, durchaus wichtig.\u00a0Ein weiterer Bereich, in dem die Transparenz von KI-Systemen gefordert wird, ist die Medizin. Fachexpert*innen sollten sich keinesfalls blind auf die Vorhersagen eines ML-Modells verlassen, denn diese sind nicht immer korrekt. Das Vertrauen in das Modell kann jedoch gest\u00e4rkt werden, wenn die Faktoren, die f\u00fcr die Entscheidung des Modells signifikant waren, offengelegt werden k\u00f6nnen und damit Nachvollziehbarkeit bzw. Transparenz gegeben ist (siehe auch\u00a0Fachbeitrag \u201cVertrauen in die K\u00fcnstliche Intelligenz\u201d<\/a>).\u00a0Welche technischen Methoden zur besseren Interpretation der Modellentscheidungen zum Einsatz kommen k\u00f6nnen, wird in diesem Fachartikel am Beispiel eines Textklassifikators im medizinischen Bereich gezeigt. Inhalt<\/strong><\/p>\n\n\n\n Im medizinischen Bereich ist die Diagnose einer Krankheit ein wichtiger Teil des t\u00e4glichen Arbeitsablaufs. Die \u201cInternational Statistical Classification of Diseases and Related Health Problems\u201d (ICD) wird weltweit verwendet, um Diagnosen eindeutig zu kategorisieren.\u00a0ICD-Codes sind hierarchisch organisiert und werden in 19 Krankheitskapitel eingeteilt. Jedes Kapitel besteht aus mehreren Kategorien, welche sich wiederum in Subkategorien unterteilen. Wird ein Bericht \u00fcber eine Diagnose erstellt, muss diesem ein ICD-Code zugeordnet werden. Die Zuordnung der ICD-Codes erfordert aufgrund der Komplexit\u00e4t und Vielf\u00e4ltigkeit umfangreiches Dom\u00e4nen-Wissen und wird daher von Personen mit medizinischer Expertise vorgenommen. Dieser Prozess ist zeitaufw\u00e4ndig und teuer, kann aber mithilfe von Techniken des maschinellen Lernens effizienter gestaltet werden. Dazu wird ein Modell speziell darauf trainiert, einen ICD-Code basierend auf einer textuellen Beschreibung (z.B. Anamnese oder Entlassungsbericht) vorherzusagen.\u00a0In einem weiteren Schritt sollen die treibenden Faktoren f\u00fcr die Modellentscheidung identifiziert werden, bspw. indem die aussagekr\u00e4ftigsten Teile des Textes markiert werden. Um eine solche Erkl\u00e4rung zu generieren, gibt es verschiedene M\u00f6glichkeiten.\u00a0Nicht immer ist klar, welche Technik am besten f\u00fcr den konkreten Anwendungsfall geeignet ist. Auch das\u00a0verwendete Modell spielt hier eine entscheidende Rolle.\u00a0Erkl\u00e4rmethoden\u00a0lassen sich dazu in zwei Kategorien einteilen:\u00a0modell-agnostische<\/em>\u00a0Erkl\u00e4rmethoden k\u00f6nnen die Vorhersage eines beliebigen Modells erkl\u00e4ren,\u00a0modell-spezifische<\/em>\u00a0sind auf die Erkl\u00e4rung der Vorhersage von bestimmten Modellen spezialisiert.<\/p>\n<\/div>\n<\/div> Eine Erkl\u00e4rung kann unterschiedliche Formen annehmen und ist abh\u00e4ngig von den verwendeten Daten. Soll beispielsweise die Vorhersage zu einem Bild erkl\u00e4rt werden, werden die relevanten Bildbereiche markiert. Bei tabellarischen Daten wird die St\u00e4rke des Beitrags durch die Wichtigkeit der Spalten (sog. \u201cFeatures\u201d) bewertet. Im konkreten Anwendungsfall zur Interpretation der Diagnosevorhersagen basierend auf Textdaten liegt die Erkl\u00e4rung in der Gewichtung einzelner Textteile oder W\u00f6rter\u00a0\u2013\u00a0je ausschlaggebender ein Wort f\u00fcr die Vorhersage des Modells war, desto h\u00f6her ist das Gewicht.<\/p>\n\n\n\n Zwei der am h\u00e4ufigsten eingesetzten modell-agnostischen Erkl\u00e4rmethoden sind LIME und SHAP.\u00a0Die Vorgehensweise, wie die Gewichtung der Eingabedaten erfolgt, ist bei LIME und SHAP unterschiedlich und wird im nachfolgenden exemplarisch vorgestellt.<\/p>\n<\/div>\n\n\n\n LIME steht f\u00fcr\u00a0L<\/strong>ocal\u00a0I<\/strong>nterpretable\u00a0M<\/strong>odel-Agnostic\u00a0E<\/strong>xplanations [1]. \u201cLocal\u201d bedeutet in diesem Kontext, dass LIME nicht das gesamte Modell erkl\u00e4rt, sondern nur eine Vorhersage des Modells. Die von LIME generierte Erkl\u00e4rung ist damit nicht f\u00fcr jeden beliebigen Eingabewert g\u00fcltig, sondern muss f\u00fcr jeden Eingabewert explizit erzeugt werden. \u201cInterpretable\u201d bedeutet, dass die von LIME erzeugte Erkl\u00e4rung\u00a0\u2013\u00a0im Vergleich zu den internen Zust\u00e4nden des zugrundeliegenden Modells\u00a0\u2013\u00a0besser interpretierbar f\u00fcr den Menschen ist. \u201cModel-Agnostic\u201d bezeichnet eine Erkl\u00e4rmethode, die unabh\u00e4ngig von der Architektur f\u00fcr jedes beliebige Vorhersagemodell eine Erkl\u00e4rung generieren kann. \u201cExplanations\u201d steht f\u00fcr die von LIME gelieferte Erkl\u00e4rung.<\/p>\n\n\n\n LIME erstellt auf Basis der gegebenen Eingabedaten neue, leicht ver\u00e4nderte Instanzen der Eingabedaten. Die urspr\u00fcnglichen Eingabedaten werden dabei pertubiert (d.h. modifiziert, indem gewisse W\u00f6rter bzw. Wortteile zuf\u00e4llig oder nach einem vorgegebenen Schema entfernt werden). Ist der Eingabetext beispielsweise \u201cthe patient suffers from severe headaches\u201d, w\u00e4re ein pertubiertes Sample \u201cthe patient suffers from headaches\u201d oder \u201cpatient suffers headaches\u201d. Diese pertubierten Eingabedaten werden dann verwendet, um ein einfacheres Modell zu erstellen, welches als sog.\u00a0White-Box<\/em>-Modell dient und die Vorhersage des\u00a0Black-Box<\/em>-Modells erkl\u00e4ren kann. In Abbildung 1 wird die Funktionsweise von LIME vereinfacht dargestellt.<\/p>\n\n\n\n Abbildung 1: F\u00fcr jeden pertubierten Eingabewert wird mittels des zu interpretierenden ML-Modells (Black-Box-Modell) eine Vorhersage erstellt. Das ML-Modell berechnet dabei f\u00fcr ein Beispiel einen Wahrscheinlichkeitswert pro Klasse (p0 und p1). Diese Wahrscheinlichkeitswerte verwendet LIME, um das White-Box-Modell zu erstellen. Ziel ist, dass das White Box Modell m\u00f6glichst gut die Wahrscheinlichkeitswerte der pertubierten Eingabewerte \u201cerlernt\u201d.\u00a0 Das White-Box-Modell enth\u00e4lt vereinfacht gesagt f\u00fcr jeden m\u00f6glichen Eingabewert ein Gewicht. Diese Gewichte und die dazugeh\u00f6rigen Eingabewerte bilden die Erkl\u00e4rung.<\/em><\/p>\n\n\n\n Abbildung 2: Visualisierungsbeispiel der Erkl\u00e4rung von LIME zu einem medizinischen Diagnosetext.<\/em><\/p>\n\n\n\n Auf der linken Seite des Diagramms in Abbildung 2 sind die Vorhersagewahrscheinlichkeiten (prediction probabilities) des\u00a0Black-Box-Modells\u00a0f\u00fcr die Kapitel mit den h\u00f6chsten Werten dargestellt. Das wahrscheinlichste Kapitel ist Kapitel 3, \u201cEndokrine, Ern\u00e4hrungs- und Stoffwechselkrankheiten und St\u00f6rungen des Immunsystems\u201d mit einem Wert von 0,95.<\/p>\n\n\n\n Auf der rechten Seite der Klassenwahrscheinlichkeiten befindet sich eine Legende f\u00fcr die hervorgehobenen W\u00f6rter im Text im unteren Bereich der Darstellung, welche durch das White-Box-Modell identifiziert wurden. Ein orange (blau) hervorgehobenes Wort symbolisiert, dass dieses Wort die Klassifizierung als Kapitel 3 erh\u00f6ht (verringert). Je dunkler das Wort hervorgehoben ist, desto mehr spricht es f\u00fcr bzw. gegen die Einstufung als Kapitel 3. Das Wort mit dem h\u00f6chsten positiven Beitrag ist in diesem Beispiel \u201cKetoazidose\u201d, eine schwere Stoffwechselentgleisung mit Insulinmangel, die stark ausschlaggebend f\u00fcr die Kategorisierung als Kapitel 3 ist.<\/p>\n<\/div>\n<\/div> SHAP verwendet einen anderen Ansatz, um eine Vorhersage zu erkl\u00e4ren. Die Basis hierf\u00fcr bilden die sog.\u00a0Shapleywerte<\/em>\u00a0von Lloyd S. Shapley [2]\u00a0aus der Spieltheorie. Ziel ist es, Spieler*innen in einem Spiel einen Anteil zuordnen zu k\u00f6nnen, gemessen an dem Beitrag des*der jeweiligen Spieler*in zum Spiel. Es ist beispielsweise m\u00f6glich, dass zwei Spieler*innen A und B gemeinsam einen sehr guten Profit erreichen k\u00f6nnen. Spielen jedoch Spieler*in A und C zusammen, ist der Profit geringer. Um den individuellen Beitrag der Spieler*innen berechnen zu k\u00f6nnen, wird jede m\u00f6gliche Kombination getestet. Diese Vorgehensweise kann auch f\u00fcr die Vorhersage eines ML-Modells verwendet werden. Ein*e Spieler*in ist ein Teil der Eingabewerte, der generierte Profit ist die Ver\u00e4nderung der Vorhersagewahrscheinlichkeit. Die Berechnung f\u00fcr jede m\u00f6gliche Kombination an Teilen der Eingabewerte ist innerhalb einer angemessenen Laufzeit jedoch nicht m\u00f6glich. Wie diese Problematik gel\u00f6st wurde, kann im originalen Paper \u201eA Unified Approach to Interpreting Model Predictions\u201c von Lundberg und Lee [3]\u00a0nachgelesen werden.<\/p>\n\n\n\n Die folgenden zwei Diagramme repr\u00e4sentieren die Vorhersage von SHAP f\u00fcr das bereits im Abschnitt LIME vorgestellte Textbeispiel.<\/p>\n\n\n\n Abbildung 3: Darstellung positiver (rot) und negativer (blau) Shapleywerte<\/em><\/p>\n\n\n\n F\u00fcr die Erkl\u00e4rung, die SHAP generiert, wird der Eingabetext in Textteile unterteilt. Abbildung 3 zeigt einen Zahlenstrahl, auf dem die Textteile des Eingabetextes angeordnet sind. F\u00fcr jeden Textteil wird ein Shapleywert berechnet. Gestartet wird mit dem \u201cBasiswert\u201d (base value). Der \u201cBasiswert\u201d ist der Shapleywert, wenn kein Input vorhanden ist. Die roten Abschnitte des Zahlenstrahls markieren Textteile mit einem positiven Shapleywert. Ein positiver Shapleywert erh\u00f6ht die Vorhersagewahrscheinlichkeit f\u00fcr die jeweilige Klasse. Auf der rechten Seite des Zahlenstrahls befinden sich blau markierte Textteile. Diese Textteile haben einen negativen Shapleywert und verringern die Wahrscheinlichkeit der Vorhersage der gegebenen Klasse.<\/p>\n\n\n\n Abbildung 4: Detailliertere Darstellung der Shapleywerte nach Einflussst\u00e4rke<\/em><\/p>\n\n\n\n In Abbildung 4 wird der Eingabetext angezeigt. Der Eingabetext ist in dieselben Textteile unterteilt wie in Abbildung 3, zeigt \u00fcber die Intensit\u00e4t der Farbe jedoch zus\u00e4tzlich die St\u00e4rke des Einflusses. Textteile mit den h\u00f6chsten bzw. niedrigsten Shapleywerte werden in einer dunkleren Farbe hervorgehoben. Jener Textteil mit dem h\u00f6chsten Shapleywert ist \u201cketoacidosis most recently in INCOMPLETE\u201d.<\/p>\n<\/div>\n<\/div> Eine Bewertung, welche Erkl\u00e4rmethode \u201cbesser\u201d ist, kann immer nur im Kontext eines spezifischen Anwendungsfalls evaluiert werden. Erkl\u00e4rmethoden k\u00f6nnen miteinander verglichen werden, indem Personen mit Expertise f\u00fcr die jeweilige Dom\u00e4ne zurate gezogen werden, welche die generierten Erkl\u00e4rungen bewerten. Es gibt allerdings auch Ans\u00e4tze, um Erkl\u00e4rmethoden miteinander vergleichen zu k\u00f6nnen, ohne Fachpersonal zu ben\u00f6tigen [4], da dieses nicht immer zur Verf\u00fcgung steht. Dazu werden unterschiedliche Eigenschaften bewertet, u. a. folgende:<\/p>\n\n\n\n Unsere Erfahrung am Anwendungsfall des ICD-Klassifikators hat gezeigt, dass im Vergleich auf Effizienz, Stabilit\u00e4t und Effektivit\u00e4t SHAP verglichen mit LIME effizienter, stabiler und effektiver ist. LIME ist gut geeignet, um das \u201cwichtigste\u201d Wort in einem Text zu finden. Nachteilig ist, dass die von LIME generierte Erkl\u00e4rung durch die Pertubation des Inputtextes stark variiert und damit nicht immer verl\u00e4sslich ist. Zus\u00e4tzlich ist die Laufzeit von SHAP im Vergleich zu LIME geringer.<\/p>\n<\/div>\n<\/div> Eine Erkl\u00e4rung f\u00fcr die Vorg\u00e4nge in ML-Modellen kann in bestimmten Bereichen n\u00fctzlich, in anderen notwendig sein. LIME und SHAP bieten die M\u00f6glichkeit, einen Einblick in die Funktionsweise von ML-Modellen zu erhalten.\u00a0Obwohl auch die Erkl\u00e4rmethoden nicht immer vollst\u00e4ndig und genau sind, k\u00f6nnen sie Endanwender*innen in vielen F\u00e4llen durch einfache Hervorhebungen in Texten oder Bildern bei der \u00dcberpr\u00fcfung der ML-Vorhersagen unterst\u00fctzen.<\/p>\n<\/div>\n<\/div> [1]\u00a0Paper LIME:\u00a0https:\/\/arxiv.org\/pdf\/1602.04938.pdf<\/a><\/p>\n\n\n\n [2]\u00a0Paper Shapleywerte:\u00a0https:\/\/www.rand.org\/content\/dam\/rand\/pubs\/research_memoranda\/2008\/RM670.pdf<\/a><\/p>\n\n\n\n [3]\u00a0Paper SHAP:\u00a0https:\/\/arxiv.org\/pdf\/1705.07874.pdf<\/a><\/p>\n\n\n\n [4]\u00a0Vergleich Erkl\u00e4rmethoden:\u00a0https:\/\/www.researchgate.net\/publication\/344041308_A_comparison_of_instance-level_counterfactual_explanation_algorithms_for_behavioral_and_textual_data_SEDC_LIME-C_and_SHAP-C<\/a><\/p>\n\n\n\n
<\/p>\n\n\n\n\n
\n
![\"AI\"](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/iStock-904420042-1024x683.jpg\")
<\/figure><\/div>\n<\/div>\n<\/div>Use-Case: KI als Unterst\u00fctzung bei der Diagnosefindung<\/h3>\n\n\n\n
Wie sieht die Erkl\u00e4rung einer Vorhersage aus?<\/h3>\n\n\n\n
![\"brain](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/2022-10-20-Explainability-Methods_RISC-Software-GmbH.jpg\")
<\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>LIME<\/strong><\/h4>\n\n\n\n
![\"LIME\"](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/2022-10-20-Explainability_ethods_Abbildung1.png\")
<\/figure>\n\n\n\n![\"Visualisation](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/2022-10-20-Explainability_ethods_Abbildung2.png\")
<\/figure>\n\n\n\nSHAP<\/strong><\/h4>\n\n\n\n
![\"Representation](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/2022-10-20-Explainability_ethods_Abbildung3-1024x85.png\")
<\/figure>\n\n\n\n![\"More](\"https:\/\/www.risc-software.at\/app\/uploads\/2023\/06\/2022-10-20-Explainability_ethods_Abbildung4-1024x147.png\")
<\/figure>\n\n\n\nWelche Erkl\u00e4rmethode ist besser?<\/h3>\n\n\n\n
\n
Fazit<\/h3>\n\n\n\n
Referenzen<\/h3>\n\n\n\n