Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme ISIA mit Sitz in Sankt Augustin bei Bonn entwickelt Prüfwerkzeuge, die KI-Anwendungen in Bezug auf ihre Verlässlichkeit, Fairness, Robustheit, Transparenz oder Datenschutz hin untersuchen und bewerten. Die jetzt auf der HANNOVER MESSE 2023 vorgestellten Tools sind modular miteinander kombinierbar und in ein Software-Framework eingebettet. Das Werkzeug „ScrutinAI“ befähigt Prüfinstitute, systematisch nach Schwachstellen von neuronalen Netzen zu suchen und somit die Qualität der KI-Anwendungen zu testen. Ein konkretes Beispiel ist eine KI-Anwendung, die Anomalien und Krankheiten auf CT-Bildern erkennt. Hier stellt sich die Frage, ob alle Arten von Anomalien gleichermaßen gut erkannt werden oder einige besser und andere schlechter. Diese Analyse hilft zu beurteilen, ob eine KI-Anwendung für ihren vorgesehenen Einsatzkontext geeignet ist.

Die ihre eigenen Entscheidungen hinterfragende KI

Die in das Framework integrierte Methode „uncertAInty“ stattet neuronale Netze mit einer situationsabhängigen Güteeinschätzung aus, mit der diese ihre eigene Sicherheit bezüglich der gemachten Vorhersage bewerten. Gerade bei hochautomatisierten KI-Entscheidungen ist es wichtig, beurteilen zu können, wie sicher sich eine KI mit ihrem Ergebnis ist. Konkret muss ein autonomes Fahrzeug Objekte und Menschen in seiner Umgebung zuverlässig erkennen können, damit es angemessen darauf reagieren kann. Die Unsicherheitsbewertung hilft zu bemessen, ob die Entscheidung des Systems vertrauenswürdig ist oder ob bestimmte Fallback-Mechanismen aktiviert werden müssen.

„Vorurteile“ vermeiden

Das „Benchmarking“-Werkzeug unterstützt Unternehmen bei der geeigneten Auswahl der richtigen KI-Anwendung für eine bestimmte Aufgabe. Es umfasst eine Funktionalität, um die Fairness von Trainingsdatensätzen messen zu können. Dies ist in der HR-Branche entscheidend, wenn es um KI-Anwendungen geht, die bei der Auswahl von neuen Mitarbeitenden unterstützen. Hier muss die KI-Anwendung mit ausgewogenen und statistisch repräsentativen Datensätzen trainiert werden, um eine Benachteiligung von Personengruppen zu vermeiden.

Video