Man kann der Bildverarbeitung wirklich nicht vorwerfen, dass sie langweilig sei. Die technologische Entwicklung in diesem Bereich ist spannend und schreitet schnell voran. Neue Technologien finden oft hier erste Anwendungsfelder.
Eine Art Hype-Thema ist derzeit die hyperspektrale Bildverarbeitung oder Hyperspectral Imaging (HSI). Das Besondere an der Technologie: Mit ihr lassen sich chemische Materialeigenschaften oder Inhaltsstoffe eines Objekts messen. Immer dann, wenn die Verschiedenartigkeit von Objekten von außen nur schwer zu erkennen ist, kann die Hyperspektral-Technologie ihre Stärken gegenüber der herkömmlichen Bildverarbeitung ausspielen.
Das Verfahren eignet sich besonders gut für organische Verbindungen. Somit ist die Inspektion von Lebensmitteln das Hauptanwendungsgebiet von HSI. Dabei geht es entweder um qualitative Fragestellungen – also dass die Technologie genutzt wird, um zum Beispiel in einer Menge von Kartoffeln Fremdkörper zu entdecken. Oder es stehen quantitative Fragen im Fokus. Dann geht es zum Beispiel darum, Inhaltsstoffe zu messen – wie etwa den Zuckergehalt von Äpfeln.
„Besonders Prozesse, die kontinuierlich am Band laufen, lassen sich sehr gut mit HSI analysieren“, erklärt Robin Gruna, Themenfeldleiter Multivariate Bildverarbeitung am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB). So wird HSI laut Gruna zu 80 % im Schüttgutbereich eingesetzt. Dort wird dann die herkömmliche Zeilenkamera durch eine hyperspektral zeilenscannende Kamera ersetzt, um noch mehr Informationen aus der Bilderfassung zu erhalten.
Hyperspektral braucht mehr Wettbewerb
HSI bietet zwar mehr Informationen. Dafür muss ein Anwenderunternehmen aber auch tiefer in die Tasche greifen. Die Sensoren und Kameras seien zwar schon preiswerter geworden, so Gruna. „Aber sie bewegen sich immer noch in einem Preisegment, bei dem man genau prüfen muss, ob die Technologie für die jeweilige Applikation rentabel ist.“
Das Problem sei, dass es zu wenige Hersteller von Sensoren gebe, sagte Michael Beising, Geschäftsführer von EVT, auf einem Roundtable von Quality Egnineering zu dem Thema. „Wir brauchen mehr Wettbewerb, damit die Preise für Hyperspektralkameras runter gehen. Dann hätte die Bildverarbeitung Möglichkeiten ohne Ende.“
Daher ist es seiner Meinung nach essenziell, zu Beginn die Anforderungen der jeweiligen Anwendung klar zu definieren. Dabei könnte das Ergebnis auch lauten, dass der Einsatz einer Hyperspektralkamera überdimensioniert ist. Denn um beispielsweise Steine in Obst oder Gemüse zu erkennen, braucht es nicht zwangsläufig Hyperspektraltechnik. Das kann sich auch mit einer Infrarot- oder einer Prismenkamera mit zwei Sensoren umsetzen lassen.
Auf der anderen Seite: Wenn ein Anwender mit einer Hyperspektralkamera arbeitet, muss er sich nicht überlegen, ob das Merkmal, um das es geht, noch in das Spektrum der eingesetzten Technologie fällt. „Dann hat er eine Technologie, die alles kann“, sagt Beising.
HSI ist aber nicht nur mit hohen Investitionen verbunden. Es ist auch Expertenwissen gefragt, um die Technologie anzuwenden. „Der Hauptnutzen liegt ja in der spektralen Information“, sagt Gruna. Das bedeutet: Es bedarf auch chemischer Kenntnisse, um mit HSI zu arbeiten. „Man bewegt sich da im Bereich der Chemometrie – also von Verfahren, die man in der analytischen Chemie anwendet, um spektroskopische Daten auszuwerten“, so Gruna. „Wir reden hier also von Spezialwissen.“
Viele Anwendungsversuche scheitern zudem daran, dass die Farbbildverarbeitungssysteme bestehender Maschinen in der Regel nicht in der Lage sind, hyperspektrale Kameras sinnvoll zu integrieren. Jede einzelne Anwendung basierend auf hyperspektraler Kameratechnologie muss von Grund auf neu entwickelt und umgesetzt werden.
Software-Anbieter Perception Park hat daher eine Technologie mit dem Namen Chemical Colour Imaging (CCI) entwickelt, um die Nutzung von Hyperspektral-Technologie zu vereinfachen. Kernelement von CCI ist die Extraktion von zweidimensionalen Feature-Bildern – den Chemical Colour Images – aus komplexen, multidimensionalen Hyperspektral-Daten. In diesen Feature-Bildern werden dem Anwender die gesammelten, ortsaufgelösten, spektroskopischen Informationen in Farbe kodiert dargestellt. Durch den Einsatz von CCI erscheint die hyperspektrale Kamera im System des Anwenders also wie eine Farbkamera.
Laut Gruna sind Lösungen wie die von Perception Park ein großer Fortschritt und bei klassischen Anwendungen wie der Fremdkörper-Detektion sehr hilfreich. Wenn es allerdings um quantitative Fragestellungen gehe – etwa bei der Bestimmung des Zuckergehalts von Äpfeln – sei zusätzliches Knowhow notwendig. Dieses brauche der Anwender zum Beispiel, um die Referenzdaten für die Kalibrierung zu bestimmen.
So bleibt der Einsatz von HSI mit Aufwand verbunden. Bis sich die vielversprechende Technologie auf breiter Basis durchsetzt, wird somit noch Zeit vergehen.
Künstliche Intelligenz erkennt feine Kratzer
Der Einsatz von Künstlicher Intelligenz (KI) ist dagegen in der Bildverarbeitung schon weit vorangekommen. Zumindest arbeitet die deutliche Mehrheit der Anbieter daran, Machine Learning in ihre Lösungen zu integrieren.
Damit lassen sich unter anderem neue Anwendungsfelder erschließen – zum Beispiel das Erkennen von feinen Kratzern auf einer reflektierenden Oberfläche. Kratzer lassen sich nicht beschreiben, denn jeder sieht anders aus. Systeme auf Basis von Machine Learning werden daher mit einer Vielzahl von entsprechenden Bildern gefüttert und lernen daraus, Kratzer selbstständig zu erkennen.
Mit Machine Learning arbeitet auch das Fraunhofer Institut für Lasertechnik (ILT). Das Institut hat ein anlagenintegriertes System zur kamerabasierten Fugenfolge und Prozessüberwachung für das Laserstrahl- beziehungsweise das MSG-Hybrid-Schweißen entwickelt.
Aus den Bilddaten werden dabei unter anderem Eigenschaften extrahiert, die den Prozess charakterisieren. In Kombination mit den Textureigenschaften der Schweißnaht ergibt sich daraus ein so genannter Prozessfingerabdruck, mit dem sich der aktuelle Prozesszustand in eine definierte Qualitätskategorie oder Fehlerklasse einteilen lässt. Diese Einteilung erfolgt mit Methoden des maschinellen Lernens anhand zuvor antrainierter Beispiele.
Training mit weniger Bildern
Eine Hürde für den Einsatz von Machine Learning in der Bildverarbeitung ist allerdings, dass ein entsprechendes System häufig relativ viele Bilder braucht, um ausreichend trainiert werden zu können. Stemmer Imaging will dieses Problem mit seinem maschinellen Lernwerkzeug CVB Polimago lösen.
CVB Polimago gehört zum hauseigenen Bildverarbeitungs-Toolkit Common Vision Blox und liefert laut Anbieter eine ähnliche Genauigkeit wie Ansätze mit neuronale Netzwerken. Dabei wird die Ridge-Regression eingesetzt – eine Supervised-Learning-Methode zur Suche und Klassifizierung in industriellen Bildverarbeitungsanwendungen. Überwachtes Lernen heißt in diesem Zusammenhang, dass der Anwender in den Trainingsbildern typische Klassifizierungsmerkmale mittels einer ROI markiert hat.
Dadurch sei der Polimago-Algorithmus in der Lage, eine Funktion zu erzeugen, die das gewünschte Ergebnis liefert, heißt es bei Stemmer Imaging. CVB Polimago benötige in der Regel nur 20 bis 100 Trainingsbilder, während neuronale Netzwerke 500 Bilder pro Klasse zum Antrainieren erfordern sowie 500 zulässige Referenzbilder.
Während KI in der Öffentlichkeit breit diskutiert wird, hat das Thema Polarisation noch nicht so viel Aufmerksamkeit erregt. Doch die Technologie spielt bereits in einigen Anwendungen eine wichtige Rolle.
Eine Polarisationskamera ist in der Lage, physikalische Materialeigenschaften sichtbar zu machen, die sich mit klassischen Bildverarbeitungstechnologien nicht nachweisen lassen. Der Bildsensor nutzt dazu die Eigenschaft des Lichts, dass dessen elektromagnetische Wellen polarisiert sein können: nämlich linear, zirkular oder elliptisch.
Grundsätzlich können Polarisationskameras überall dort eingesetzt werden, wo bisher Reflexionen, Glanz und Spiegelungen eine wiederholbare gute Bilderfassung verhindert oder zumindest erschwert haben. So kann die Technologie etwa in der Metallindustrie genutzt werden, um hochglänzende Oberflächen einer effizienten und verlässlichen 3D-Prüfung zu unterziehen.
Hauptanwendungsgebiet ist aber die Getränkeindustrie. So werden Polarisationskameras dort verwendet, um in der Getränkeabfüllung Glasspannung oder Einschlüsse im Glas durch Luftblasen zu erkennen.
Die Anbieter setzen offenbar darauf, dass sich der Einsatz der Technologie weiter ausbreitet. Auf der Vision im vergangenen Jahr wurden mehrere neue Polarisationskameras vorgestellt. ■
Der Autor
Markus Strehlitz
Redaktion
Quality Engineering
Leitfaden
Im Oktober erscheint der 19. Band der Fraunhofer-Vision-Leitfaden-Reihe zum Thema Hyperspektrale Bildverarbeitung. Der Leitfaden stellt Grundlagen der Spektroskopie und Methoden der hyperspektralen Bildverarbeitung beziehungsweise der hyperspektralen Bildaufnahme vor – ebenso Aspekte wie Aufbereitung der Hyperspektraldaten, Datenreduktion und Chemometrie sowie Klassifikation. Zusätzlich werden aktuelle Anwendungsbeispiele für typische Einsatzbereiche von Hyperspektral-Systemen wie Lebensmittel, Rohstoffe (Mineralien, Glas oder Holz), Recycling oder Medizin beschrieben. Der Leitfaden ist ab Ende Oktober im Fraunhofer-Vision-Webshop erhältlich:
Hier finden Sie mehr über:
