Qualitäter vermissen Messunsicherheiten bei KI in der Bildverarbeitung

QS-Experten fehlen die Erklärbarkeit sowie Kennzahlen zur Zuverlässigkeit von Künstlicher Intelligenz in der Bildverarbeitung, wie ein VDI-Report zeigt.

„Bei vielen Aufgaben tut sich die klassische, regelbasierte Bildverarbeitung schwer. Manche Anwendungen, die früher selbst mit ausgeprägten Bildverarbeitungskenntnissen nicht oder nur mit erheblichem Implementierungsaufwand zu lösen waren, sind mit Machine-Learning-Verfahren sehr viel einfacher und/oder besser zu lösen. Machine-Learning-Verfahren sind industrietauglich geworden“, sagen Professor Michael Heizmann, Vorsitzender des Fachbereichs Optische Technologien der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA), und Erik Marquardt, beim VDI Ansprechpartner für den Bereich optische Technologien. Beide gehören zu den Autoren des aktuellen VDI-Statusreports „Maschinelles Lernen. Künstliche Intelligenz mit neuronalen Netzen in optischen Mess- und Prüfsystemen“.

Laut dem Report werden vor allem für Aufgaben der Mustererkennung zunehmend KI und maschinelles Lernen auf Basis künstlicher neuronaler Netze eingesetzt. „Diese KI-Systeme simulieren die Verknüpfungen der Neuronen im menschlichen Gehirn und versuchen, sich dadurch der Fähigkeit des Menschen zur Mustererkennung unter sich verändernden Umgebungsbedingungen anzunähern“, so Heizmann.

Die Autoren erklären das Dilemma der klassischen Bildverarbeitung anhand eines Beispiels aus der Qualitätssicherung: Geprüft werden soll eine Ambientebeleuchtung, bei der das Licht einer LED in einen Kunststoffstab eingekoppelt ist, sodass er als Lichtleiter wirkt. Damit der Großteil des Lichts nicht am Ende des Stabs wieder austritt, sondern seitlich in eine Richtung abgestrahlt wird, weist der Lichtleiter auf der Fläche, die Licht abstrahlen soll, eine Riffelung auf, die das Licht gezielt auskoppelt. Der Stab ist in der Regel nicht gerade und kann eine 3-D-Kurvenform beschreiben. Mit der Überprüfung der Qualität der Ambientebeleuchtung hat die klassische Bildverarbeitung allerdings ein Problem: Das Licht soll gleichmäßig hell sein und die Farben müssen stabil leuchten. Die Aufgabe ist also ein Test der Homogenität der Ausleuchtung, sowohl bezüglich der Helligkeit als auch der Farbe.

Die aus der Optikentwicklung bekannten Normen – zum Beispiel die Normenreihe DIN ISO 10110 – seien für die Prüfung von Kunststoffspritzgussoptiken häufig nicht geeignet, so der VDI-Statusreport. Bei der Aufgabenstellung gehe es auch nicht um die Messung radiometrischer Größen (siehe VDI/VDE 5596 Blatt 1) wie die Strahlungsleistung in Watt, sondern um die vom Menschen wahrgenommene Homogenität. Diese durch einen physikalischen Ansatz mit einer Kennzahl zu beschreiben, sei wesentlich schwieriger. In VDI/VDE 5595 Blatt 1 wurde ein erster Ansatz dazu veröffentlicht. Dieser wurde jedoch mit Blick auf unstrukturierte, zweidimensional leuchtende oder beleuchtete Flächen entwickelt.

Die Übertragung des mathematisch-analytischen Konzepts von VDI/VDE 5595 Blatt 1 auf Kunststofflichtleiter für den genannten Einsatzzweck sei aus mehreren Gründen nicht trivial:

Senkrecht zur Lichtleiterachse ist ein Helligkeitsabfall zum Rand hin normal.
Die Lichtleiter sind gebogen. Damit ist eine unterschiedliche algorithmische Behandlung in der Lichtleiterachse und senkrecht dazu schwierig.
Die Lichtleiteroberfläche ist zur Auskopplung des Lichts regelmäßig strukturiert. Diese Struktur ist ein beabsichtigtes Designelement und darf in eine mathematische Homogenitätsbewertung nicht einfließen.

Die Fehler auf solchen Lichtleitern haben eine große Vielfalt und eine nicht vorhersagbare räumliche Ausprägung. Die Grenze von gerade noch akzeptablen Ungleichmäßigkeiten hin zu echten Fehlern ist laut VDI-Staturreport in der Praxis mit in der klassischen Bildverarbeitung üblichen mathematischen Regeln, die die Größe, Form und Helligkeit mit Schwellwerten bewerten, nicht zufriedenstellend möglich.

Weitaus bessere Ergebnisse lassen sich mit dem Einsatz eines künstlichen neuronales Netze in der Form eines Convolutional Neural Networks (CNN) erzielen. Bei CNN handelt es sich um eine Deep-Learning-Architektur, die speziell für das Verarbeiten von Bildern entwickelt wurde. Der Prüfling wird in einer Prüfanlage mit einer definierten Geometrie eingesetzt, die Ausleuchtung wird von einer Industriekamera aufgenommen und diese Bilder werden dem Prüfsystem vorgelegt.

Beim „überwachten Lernen“ werden Trainingsbilder erst von Menschen begutachtet und klassifiziert

Während die klassische Bildverarbeitung nun die Begrenzung des beleuchteten Bereichs mittels Kantensuche starten und dann im Arbeitsbereich besonders helle und dunkle Bildpunkte suchen würde, um Fehlstellen zu erkennen und all diese Schritte konfiguriert oder programmiert würden, geht man bei CNNs anders vor: Hier sei der entscheidende Schritt das so genannte „überwachte Lernen“, bei dem die Trainingsbilder im Vorfeld von Menschen klassifiziert werden. Die menschlichen Prüfer ordnen die Bilder des ausgeleuchteten Bereichs gemäß ihrer Ausprägung in eine gewisse Anzahl von Kategorien, im einfachsten Fall nur in IO oder NIO, manchmal auch differenzierter nach Art des Fehlers.

Während der Trainingsphase des Systems werden nun dem CNN Bilder von normalen und fehlerbehafteten Ausleuchtungen gezeigt. In dieser Phase „lerne“ das System die räumlichen und radiometrischen Merkmale der IO- und NIO-Lichtleiter. Dabei werde die Stärke der Verknüpfung zwischen den Neuronen im Netzwerk gewichtet. Dies erfolge implizit, ohne dass eine gezielte Programmierung des Netzes erforderlich sei.

Zur Prüfung der Lichtleiter in der Produktion werden diese Gewichte des Netzes gespeichert und Bilder der Prüflinge dem Prüfsystem vorgelegt. Zu diesem Zeitpunkt sei das Netz algorithmisch gesehen einfach nur eine Ansammlung von vielen Matrizen-Multiplikationen, bei dem aus dem Eingabebild eine Ausgabe berechnet werde. Je nach Struktur des Netzes stehe im einfachsten Fall am Ende dieser Berechnung eine binäre Entscheidung auf IO/NIO.

Der große Vorteil von CNNs liegt nach Meinung der VDI-Experten an der Robustheit der Systeme gegenüber Veränderungen des Gesamtbilds, zum Beispiel einer Lageänderung des Prüflings während der Aufnahme oder einer unterschiedlichen Gesamthelligkeit durch schwankende Umgebungsbeleuchtung. Dies setze allerdings voraus, dass solche Variationen bereits beim Einlernen berücksichtigt wurden und entsprechende Bilder zum Lernen verwendet wurden. Ein weiterer Vorteil bestehe darin, dass die Bildverarbeitungsalgorithmen nicht explizit programmiert oder parametriert werden müsse.

„Die Anwendung von Machine Learning ist aufgrund vorhandener und gut verfügbarer Methoden und Werkzeuge nicht sehr schwierig. Bereits kleine Teams können entsprechend geschult ohne eigene Programmierkenntnisse sinnvoll anwendbare Lösungen entwickeln. Es ist kein analytisches Verständnis des zu lösenden Problems erforderlich“, heißt es im Report.

KI oder maschinelles Lernen? Die Autoren wissen, dass die Begriffe zum Teil Synonym für verschiedenen Ansätze genutzt werden, „die jedoch streng genommen nichts miteinander zu tun haben“. Sie haben daher im Report Begriffe rund um das Machine Learning für die Belange der optischen Mess- und Prüfsysteme strukturiert – und geben zu, „dass unser Verständnis dieser Begriffe nicht dem Sprachgebrauch der gesamten Community entspricht“. Dennoch appellieren sie an die Leser, sich ihrer Terminologie im Zusammenhang mit optischen Mess- und Prüfsystemen anzuschließen: „Die Nutzung des maschinellen Lernens soll nicht an Verständigungsproblemen scheitern.“

Künstliche Intelligenz ist demnach der Oberbegriff für Algorithmen, die das menschliche Denken zum Vorbild haben und insbesondere Entscheidungen treffen können, die Intelligenz erfordern. Da keine einheitliche Definition von Intelligenz vorliege, seien die darunter verstandenen Algorithmen entsprechend unterschiedlich.

KI-Systeme orientieren sich an Theorie und Modell, Machine-Learning-Systeme an Daten und Performance

KI-Systeme sind theorie- und modellorientiert. Das bedeutet zum einen, dass KI-Systeme stets ein Modell zur Grundlage haben, wie die entsprechenden Denkprozesse zu verstehen und formal zu erfassen sind. Ein solches Modell könne analytisch oder datenbasiert erstellt sein, betonen die Experten im VDI-Statusreport. Zum anderen sei es häufig so, dass die Modelle auf kognitionstheoretischen Annahmen basieren, das heißt auf der Auseinandersetzung mit (bewussten und unbewussten) Denkprozessen, Informationsverarbeitung, Wahrnehmung und so weiter.

Machine-Learning-Systeme hingegen sind laut Report „daten- und performanzorientiert“. Das bedeute, dass das Wissen eines Systems aus den zur Verfügung gestellten Lerndaten generiert und die Leistungsfähigkeit des Systems anhand der erzielten Ergebnisse bewertet werde. Entsprechend seien große und aussagekräftige Datenmengen erforderlich und eine Hauptherausforderung bestehe in der Bestimmung optimaler Parameter.

Der Erfolg des Trainings von Machine-Learning-Systemen und insbesondere von CNNs als auch für die objektive Beurteilung ihrer Leistungsfähigkeit hängen hochgradig von der Qualität und Verfügbarkeit von Bilddatensätzen ab. Eine ausreichende Menge an repräsentativen Trainingsdaten sei Voraussetzung. „Der Aufwand, diese Trainingsdaten bereitzustellen, kann in der Praxis sehr groß sein“, so die Autoren. Die Daten müssten aber vor allem für die jeweilige Anwendung aussagefähig sein. Auch wenn es inzwischen vermehrt Bilddatensätze für einzelne Spezialgebiete wie zum Beispiel für Oberflächendefekte gebe, seien sie für den Einsatz von Machine-Learning-Verfahren in der industriellen Bildverarbeitung noch eher selten.

Geforderte Fehlerraten sind heute mit Machine-Learning-Systemen oft nicht zu erreichen

Der VDI-Statusreport identifiziert noch weitere Herausforderungen für den praktischen Einsatz von maschinellem Lernen in der Mess- und Prüftechnik. Da sind zum einen die hohen Anforderungen an die Fehlerfreiheit von Produkten, die bei einigen Anwendungen gestellt werden. So werden zum Beispiel bei Inspektionsaufgaben in der Automobilindustrie oft Fehlerraten von 1 ppm bis 10 ppm gefordert. „Verfahren, die auf maschinellem Lernen basieren, sind von solchen Fehlerraten aktuell noch weit entfernt“, stellen die Autoren des Reports klar.

Eine weitere Herausforderung ist, dass es für messende Systeme, die maschinelles Lernen einsetzen, noch keine anerkannte Methoden zur Bestimmung der Mess-unsicherheit gibt. Die Experten betonen daher:„Bei Anwendungen, die eine hohe Anforderung an die geometrische Genauigkeit des Ergebnisses stellen, sind klassische Bildverarbeitungsverfahren daher den Machine-Learning-Verfahren oft noch überlegen.“ ■

VDI Verein Deutscher Ingenieure e.V.
VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik

Fachbereich Optische Technologien
Dimbacher Str. 6–8
74182 Obersulm
Tel. +497134961960

www.vdi.de