Vertrauenswürdige KI: Blick in die Black Box mit den richtigen Prüftools

Die mediale Omnipräsenz der neuen KI-Anwendung Chat-GPT von Open-AI zeigt: Künstliche Intelligenz hat eine beeindruckende Reife erreicht. Der Chatbot, der mit Daten und Texten aus dem ganzen Internet trainiert wurde, reagiert auf Fragen mit Antworten, die sich von von Menschen erstellten Texten nur schwer bis gar nicht unterscheiden lassen. Das macht das KI-System interessant für den vielfältigen Einsatz in Unternehmen – vom Marketing über die Automatisierung der Bearbeitung von Kundenanfragen bis hin zur Generierung von Medieninhalten.

In der öffentlichen Diskussion wird allerdings auch Vorsicht angemahnt. Die Kritik richtet sich unter anderem gegen die fehlende Transparenz, etwa aus welchen Quellen der Chatbot seine Antworten generiert. Insbesondere basieren die Vorhersagen auf der Qualität der Input-Daten. „Dies zeigt, wie wichtig es ist, die Güte von KI-Anwendungen systematisch prüfen zu können. Dies gilt vor allem in sensiblen Anwendungsfeldern wie etwa der medizinischen Diagnostik, dem HR-Management, dem Finanzwesen, der Justiz oder in sicherheitskritischen Bereichen, wo KI-Systeme absolut zuverlässige Ergebnisse liefern müssen“, sagt Dr. Maximilian Poretschkin, Leiter KI-Absicherung und -Zertifizierung am Fraunhofer IAIS in Sankt Augustin. „Der AI Act – der Europäische Entwurf zur Regulierung von KI-Systemen – stuft diese Beispiele in die Hochrisiko-Kategorie ein und sieht für sie Prüfungen sogar verpflichtend vor. Unternehmen, die Hochrisiko-KI-Anwendungen entwickeln oder einsetzen, müssen sich spätestens jetzt dringend mit der Qualitätssicherung ihrer Anwendungen auseinandersetzen.“

Poretschkins Team entwickelt Prüfwerkzeuge und Verfahren, die KI-Anwendungen in Bezug auf ihre Verlässlichkeit, Fairness, Robustheit, Transparenz oder Datenschutz hin untersuchen und bewerten. Die Tools sind modular kombinierbar und in ein Software-Framework eingebettet. Sie unterstützen Entwickler und Prüfinstitute dabei, die Qualität von KI-Systemen systematisch zu evaluieren und so ihre Vertrauenswürdigkeit sicherzustellen. Die Entwicklung von prototypischen Prüfwerkzeugen wird unter anderem durch das Ministerium für Wirtschaft, Innovation, Digitalisierung und Energie des Landes Nordrhein-Westfalen im Rahmen des Projekts „Zertifizierte KI“ gefördert. Die zugrunde liegenden Prüfkriterien basieren auf dem KI-Prüfkatalog (siehe Infobox).

Neuronale Netze werden auf Schwachstellen untersucht

Der Bedarf solcher Prüfwerkzeuge ergibt sich daraus, dass sich KI-Anwendungen oft deutlich von herkömmlicher Software unterscheiden. Letztere ist regelbasiert programmiert, was ein systematisches Durchtesten ihrer Funktionalität erlaubt – also ob die Antworten beziehungsweise Ausgaben in Abhängigkeit der Eingaben korrekt sind. Dies funktioniert bei KI-Anwendungen nicht ohne Weiteres, insbesondere wenn sie auf neuronalen Netzen basieren. Das Werkzeug „Scrutinai“ des Fraunhofer IAIS befähigt Prüfer, systematisch nach Schwachstellen von neuronalen Netzen zu suchen und somit die Qualität der KI-Anwendungen zu testen. Mithilfe von Scrutinai lassen sich interaktive und schrittweise detailliertere Untersuchungen, sogenannte Deep-Dive-Analysen, durchführen. Das Framework gibt dabei keinen starren Analyse-Workflow vor und bewahrt den Anwendern Flexibilität. Ein konkretes Beispiel ist eine KI-Anwendung, die Anomalien und Krankheiten auf CT-Bildern erkennt. Hier stellt sich die Frage, ob alle Arten von Anomalien gleichermaßen gut erkannt werden oder einige besser und andere schlechter. Diese Analyse hilft Prüfern zu beurteilen, ob eine KI-Anwendung für ihren vorgesehenen Einsatzkontext geeignet ist. Gleichzeitig können auch Entwickler davon profitieren, indem sie Unzulänglichkeiten ihrer KI-Systeme frühzeitig erkennen und entsprechende Verbesserungsmaßnahmen ergreifen können, wie etwa die Anreicherung der Trainingsdaten um spezifische Beispiele.

Der Einsatz des Werkzeugs ist dabei für viele Use Cases denkbar. Das Beispiel kann genauso gut durch eine KI-Anwendung ersetzt werden, die Schwachstellen und Materialfehler in sicherheitskritischen Bauteilen detektiert. Auch hier gilt es herauszufinden, ob alle Schwachstellen gleichermaßen gut erkannt werden oder ob es Bereiche in der vorgesehenen Einsatzdomäne gibt, für welche die Leistungsfähigkeit der KI-Anwendung unzureichend ist. „Es geht immer darum, Unzulänglichkeiten im neuronalen Netz zu erkennen, wenn auch in unterschiedlichen Kontexten“, so Poretschkin.

Methode hilft dabei,
Unsicherheiten einschätzen

Die in das Framework integrierte und vom Fraunhofer IAIS entwickelte Methode Uncertainty stattet neuronale Netze mit einer situationsabhängigen Güteeinschätzung aus, mit der diese ihre eigene Sicherheit bezüglich der gemachten Vorhersage bewerten. „Bei hochautomatisierten KI-Entscheidungen ist es wichtig beurteilen zu können, wie sicher sich eine KI mit ihrem Ergebnis ist. Konkret muss etwa ein autonomes Fahrzeug Objekte und Menschen in seiner Umgebung zuverlässig erkennen können, damit es angemessen darauf reagieren kann. Die Unsicherheitsbewertung hilft hierbei zu messen, wie stark man der Entscheidung des Systems vertrauen kann oder ob bestimmte Fallback-Mechanismen aktiviert werden müssen beziehungsweise ein Mensch die finale Entscheidung treffen muss“, betont Poretschkin.

Die Uncertainty-Methode stellt somit einen wichtigen Baustein zur Absicherung von KI-Anwendungen dar, um sie für sensible Einsatzkontexte nutzbar zu machen. Bei der Unsicherheitsschätzung werden Kamerabilder analysiert. Den gefundenen Objekten etwa beim autonomen Fahren wird eine Unsicherheit zugeordnet, die über die Dicke und Farbe des Rahmens um das Objekt dargestellt wird. Auch abseits vom Schutz menschlichen Lebens kann Unsicherheit einen relevanten Beitrag leisten. In einer Fertigungsstraße beispielsweise kann eine Automated Optical Inspection (AOI) zur Qualitätssicherung eines in Serie gefertigten Produktes eingesetzt werden. Eine fehlerhafte Vorhersage kann hier bestenfalls zu unnötigem Ausschuss führen, da eigentlich hochwertige Produkte aussortiert werden, oder schlimmstenfalls zur Weiterverarbeitung oder zum Verkauf eines fehlerbehafteten Produktes. Auf Basis einer gut kalibrierten Unsicherheit ließe sich zwar nicht die Performanz der KI-Anwendung direkt erhöhen, sie würde aber einen Ausschlag dafür geben, bei welchen Produkten eine weitere Nachprüfung – etwa durch einen Menschen – sinnvoll erscheint. Hierdurch würde unter der Annahme, dass Mensch und KI unabhängig prüfen, Ausschuss verringert und Qualitätseinbrüche reduziert.

Mit dem sogenannten Benchmarking-Werkzeug lässt sich schließlich untersuchen, welches KI-Modell sich am besten für eine bestimmte Aufgabe eignet. „Es gibt eine Flut neuer KI-Anwendungen, die Unternehmen in ihre Prozesse integrieren können. Benchmarking hilft bei der geeigneten Auswahl“, sagt der Forscher. Das Tool umfasst auch eine Funktionalität, um die Fairness von Trainingsdatensätzen messen zu können. Dies ist etwa in der HR-Branche entscheidend bei KI-Anwendungen, die bei der Auswahl neuer Mitarbeiter helfen. Hier muss die KI-Anwendung mit ausgewogenen und statistisch repräsentativen Datensätzen trainiert werden, um eine Benachteiligung von Personengruppen zu vermeiden und die Chancengleichheit zu gewährleisten.

Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS
Schloss Birlinghoven 1
53757 Sankt Augustin

Bild: Fraunhofer IAIS

Webhinweis

Der KI-Prüfkatalog des Fraunhofer IAIS bietet einen strukturierten Leitfaden, der Anwender befähigt, ihre KI-Systeme vertrauenswürdig zu gestalten. Damit können abstrakte Qualitätsmaßstäbe zu anwendungsspezifischen Prüfkriterien konkretisiert werden. Auf rund 160 Seiten beschreibt der Prüfkatalog, wie KI-Anwendungen systematisch hinsichtlich Risiken evaluiert werden können, formuliert Vorschläge für Prüfkriterien zur Messung der Qualität der Systeme und schlägt Maßnahmen vor, die KI-Risiken mindern können. Er steht kostenlos zum Download zur Verfügung: