Hinter die Kulissen der "Blackbox" KI schaute Bettina Finzel, die sich am Lehrstuhl für Kongnitive Systeme an der Universität Bamberg mit dem Thema beschäftigt, wie Künstliche Intelligenzen, insbesondere bildbasierte Klassifikationssysteme, erklärbar, also transparent gemacht werden können. Diese Transparenz sorgt dafür, dass sich - speziell auch mit Blick auf eine gendersensible KI - nachvollziehen lässt, was ein System gelernt hat und wie es zu seinen Ergebnissen kommt.

Finzel stellte als konkretes Beispiel ein einfaches Experiment mit sogenannten Stichproben-Verzerrungen im überwachten maschinellen Lernen vor. An den Gesichtern von Männern und Frauen sollte die KI mit Hilfe von Mustererkennung Emotionen ("glücklich", "traurig") ablesen. Ziel war es, sogenannte "Action Units" - also isolierte mimische Ausdrücke - mit Hilfe von bildbasierter KI zu klassifizieren und dann zu prüfen, "wenn ich an der Stellschraube Gender etwas verändere, wie wirkt sich das auf die Klassifikations-Perfomance aus", so Finzel.

Die (absichtliche) Verzerrung bestand bei diesem Experiment darin, dass die KI einmal nur auf Männer- und ein anderes Mal nur auf Frauen-Gesichter trainiert wurde. Dabei zeigte sich, dass die auf weibliche Gesichter trainierte KI sowohl bei Männern als auch bei Frauen etwa gleich gute Ergebnisse lieferte; umgekehrt erkannte die männlich trainierte KI die Emotionen von Frauen-Gesichtern viel schlechter. Allerdings schnitt das Modell, in einem weiteren Experiment auf einen gemischten Datensatz trainiert, bei den Frauen-Gesichtern immer noch etwas schlechter ab.

Wie kommt das? Mit Hilfe eines Verfahrens namens Layer-wise Relevance Propagation werden solche Ergebnisse nachvollziehbar: Anhand von Wärmebildern (Heatmaps) lässt sich kontrollieren, welche Pixel die Mustererkennung herangezogen hat, um eine Entscheidung zu treffen. In diesem Fall zeigte sich unter anderem, dass die KI für eine Action Unit, die eigentlich nur das Anheben der inneren Augenpartie umfasste, auch Merkmale außerhalb dieses Bereiches - zum Beispiel ein Haaransatz an der Stirn - heranzog.

"Hier brauche wir die erklärbare KI, um auch wirklich reinschauen zu können, welche Merkmale gelernt wurden. Das ist auch wichtig für Modelle, die eine hohe Performance zeigen, weil diese durch irgendwelche gelernten Rand-Artefakte erzeugt werden kann, wenn der Datensatz an sich schon einseitig und unausgeglichen ist", so Finzel. Um KI gendersensibel zu machen, gilt es nicht nur, bei der Diversität der Datenbasis anzusetzen, sondern auch nachwirkend durch menschliches Feedback Korrekturen der Ergebnisse vorzunehmen.