Mit Deep Learning gegen Defekte bei Verpackungen

Firmen im Artikel

Eine Inspektionslösung von Inndeo erkennt vollautomatisiert Defekte an Lebensmittelverpackungen dank Bildverarbeitung und Deep-Learning-Technologien.

Inndeo mit Hauptsitz im spanischen Saragossa bietet mit seiner Marke Inspectra Bildverarbeitungslösungen für die Automatisierung von Qualitätsprüfungen an. Das 2016 gegründete Unternehmen ist mit seinen Lösungen bislang hauptsächlich im Lebensmittelsektor tätig und möchte in Zukunft auch in der Logistik Fuß fassen. Dazu hat das Unternehmen die Inspektionslösung Thermoseal & Label Inspector entwickelt. Diese analysiert alle Arten von verpackten Produkten in der Lebensmittelindustrie: Im Fokus stehen die Etikettierung, die Unversehrtheit des Heißsiegelbereichs oder andere Qualitätsaspekte der Verpackung. Je nach Konfiguration ist sie auch in der Lage, Abweichungen von der Produktqualität innerhalb der Verpackung zu analysieren oder das Vorhandensein von Fremdkörpern zu erkennen. Das Gerät vereint verschiedenste anspruchsvolle Technologien wie Hochgeschwindigkeits- und Verarbeitungserfassung mit der HSP-Technologie, hyperspektrale Bildverarbeitung, Deep Learning und leistungsstarken RGB.

Inspectra hat sich zum Ziel gesetzt, für die Verpackungsbranche eine durchgängig automatisierte Lösung zu entwickeln. Die Vorteile, die eine solche Lösung auf Basis von Machine Vision bietet, sind höhere Erkennungsraten von Defekten der Verpackungen, Kostenersparnis sowie die umfassende Digitalisierung der Produktionsprozesse, um diese überwachen und verbessern zu können. In der Praxis ist es meist nach wie vor so, dass in vielen Unternehmen Mitarbeiterinnen und Mitarbeiter den Prüfprozess manuell durchführen. Dabei kommt es immer wieder vor, dass Defekte dem menschlichen Auge entgehen. Dadurch gelangen fehlerhafte Produkte in die Lieferkette und erreichen den Endkunden. Ziel einer automatisierten Lösung muss es also sein, alle erdenklichen Defekte an Verpackungen zuverlässig zu erkennen. Dazu gehören zum Beispiel Anomalien im versiegelten oder heiß versiegelten Bereich, in der Schale, im inneren Produkt, an der Folie oder an der Etikettierung.

Durch eine 100-prozentige Automatisierung der Qualitätskontrolle sinken darüber hinaus zum einen die Kosten, zum anderen werden objektive Kriterien bei der Sortierung der zu prüfenden Objekte eingeführt. Außerdem können die Qualitäts- und Produktionsdaten durchgängig digitalisiert und die entsprechenden Indikatoren in Echtzeit angezeigt werden.

Zwar bietet der Markt auch andere Geräte und Lösungen für Inspektionen durch maschinelles Sehen an. Diese erweisen sich für Inspectra aber häufig als nicht robust genug, haben zu geringe Erkennungsraten und lassen sich nur schwer an Änderungen in den Produktionslinien anpassen. Aufgrund einer mangelhaften Präzision und Zuverlässigkeit bei der Fehlererkennung nehmen viele Anwender von derartigen Lösungen Abstand und führen die Fehlerinspektion lieber manuell durch.

„Um schnellere Inspektionsprozesse und robustere Erkennungsergebnisse als der Wettbewerb zu gewährleisten, hatten wir ein klares Ziel definiert. So sollten beispielsweise Qualitätsmängel bei Lebensmittelverpackungen mit einer hohen Produktionsrate von bis zu zwei Packungen pro Sekunde identifiziert werden. Dies sollte eine Inline-Ausmusterung ermöglichen, was Verarbeitungszeiten von nur wenigen Millisekunden pro Bild erfordert“, erklärt Emilio de la Red Bellvis, Chief Innovation Officer bei Inndeo. Für die Umsetzung dieser Ziele war es notwendig, die Anwendung mittels Machine Vision durchgängig zu automatisieren.

Fehlererkennung erfolgt
mittels Machine Vision

Wie sieht nun das Setup des Thermoseal & Label Inspector konkret aus? An verschiedenen Stellen innerhalb der Inspektionsumgebung positionierte Kameras nehmen Bilder der zu prüfenden Objekte auf. Diese werden von der integrierten Machine-Vision-Software Halcon von MVtec verarbeitet. Für die verschiedenen Anwendungsfälle gibt es dabei unterschiedliche Vorgehensweisen.

Beispielsweise ermittelt Halcon für die versiegelten Bereiche auf Grundlage verschiedener Parameter den relevanten Prüfbereich (Region of Interest/ROI) des Bildes. Dazu verwendet lnndeo hochauflösende RGB-Vision-Technologie, um einfache Fehler auf versiegelten Flächen – wie zum Beispiel Schinkenstücke, deren Farbe in einer transparenten Schale leicht zu erkennen ist – zu finden. Darüber hinaus setzt das Unternehmen hyperspektrale Bildverarbeitungstechnologie für komplexere Fehler ein. So können beispielsweise geschmolzenes Schinkenfett, das den gleichen Farbton wie der Kunststoff der Schale hat, oder Fehler in undurchsichtigen oder bedruckten Schalen erkannt werden.

Deep Learning, eine Methode der künstlichen Intelligenz (KI), wird ebenfalls zur Erkennung bestimmter Fehler eingesetzt. Mithilfe von Deep Learning imitiert die Software das Verhalten des menschlichen Gehirns und ist in der Lage, die Bilder mit einer höheren Erkennungsgeschwindigkeit und -effizienz als das menschliche Auge zu interpretieren.

Das System ist in der Lage, im Rahmen einer Trainingsphase zu lernen, ohne dass eine zusätzliche Programmierung durch den Benutzer erforderlich ist. Diese Technologie ermöglicht die Erkennung von Falten in Siegelfolien, von Fehlern in der Zusammensetzung des Produkts in der Schale und von Qualitätsmängeln, die von Standardalgorithmen der industriellen Bildverarbeitung nicht erkannt werden können.

Ein anderes Anwendungsszenario ist die Inspektion der Etikettierung und die Prüfung, ob sich Falten unterhalb des Etiketts gebildet haben. Um das Etikett zu erkennen, sucht ein entsprechend konfigurierbares Werkzeug nach einem bestimmten Muster. Sobald dieses lokalisiert ist, erfolgen die Prüfprozesse. Dabei nutzt die Applikation die in Halcon integrierten Technologien der optischen Zeichenerkennung wie OCR (Optical Character Recognition) oder Deep OCR, welche Texterkennungsfunktionen mit intelligenten Deep-Learning-Algorithmen kombiniert. So lassen sich verschiedene Arten der Etiketteninspektion komfortabel konfigurieren. Zur Erkennung von Anomalien der aufgebrachten Etikettierung – etwa von Falten, Knicken, Rissen oder Verunreinigungen wie Federn, Haaren oder Knochenspuren – kommen ebenfalls Deep-Learning-Technologien sowie ein Musterabgleich von Farbtönen zum Einsatz.

Flexibilität in der
Schnittstellen-Integration

Für den Endkunden ist es wichtig, dass die Inspektionslösung Thermoseal Inspector auch technisch nahtlos in die vorhandene Prozessumgebung eingebunden werden kann. Dadurch kann der Nutzer beispielsweise die Steuerung der Inspektionsanlage in der für ihn bekannten Umgebung durchführen. „Die Integration einer Schnittstelle war eine der größten Herausforderungen bei der Umsetzung. Das liegt daran, dass sich die verschiedenen Parameter der Inspektion von einer anderen Systemsteuerung aus konfigurieren lassen und alle Bilder der verschiedenen Kameras in sehr kurzer Zeit analysiert werden müssen“, erklärt de la Red Bellvis. „Man darf dabei auch nicht außer Acht lassen, dass die Bildeinzugsgeräte mit enorm hoher Geschwindigkeit arbeiten. So muss die Bildverarbeitungssoftware in sehr kurzer Zeit entscheiden, ob eine Verpackung fehlerhaft ist und ausgesondert werden muss.“

So war eine Menge Programmier- und Debugging-Arbeit nötig, um die gesamte Verarbeitungslast auf die verschiedenen Threads des Mikroprozessors zu verteilen. Darüber hinaus mussten Rechenoperationen mit hoher Last – vor allem solche, die Deep Learning nutzen – an den Grafikprozessor (GPU) des Rechners übertragen werden. Erleichtert wurde die Integration der Lösung durch die Möglichkeiten von Halcon: „Die Software bietet diverse Schnittstellen für viele Arten von Industriekameras und die Möglichkeit, Skripte mittels der H-Dev-Engine innerhalb einer realen Anwendung auszuführen und zu debuggen. Als weitere Stärken der MVTec-Produkte sehen wir die große Vielfalt an Bildverarbeitungsalgorithmen, die komfortable Programmierung sowie die nahtlose Integration in unsere Software“, bestätigt de la Red Bellvis.

Hardwareseitig umfasst das Anwendungs-Setup verschiedene Komponenten, wie etwa mehrere Industrie-PCs der neuesten Generation. Diese empfangen die Bilder von den einzelnen Kameras und kommunizieren mit Speicherprogrammierbaren Steuerungen (SPS). Dabei sah sich de la Red Bellvis mit einer weiteren Herausforderung konfrontiert: „Angesichts des derzeitigen Mangels an elektronischen Bauteilen mussten wir eine flexible Programmierung entwickeln. Dadurch konnten wir verschiedene Kameratypen, Verarbeitungsarchitekturen und GPUs berücksichtigen, sodass die Hardware je nach Verfügbarkeit variieren kann.“

Im Ergebnis hat Inspectra mit seiner Inspektionslösung Thermoseal Inspector und der integrierten Bildverarbeitungssoftware Halcon die Projektziele zu 100 % erreicht. So werden Qualitätsmängel sowohl an der Verpackung als auch am Produkt selbst vermieden. Daher entfallen Kosten für die Vernichtung, den Ersatz und den Transport von fehlerhaften Produkten. Zudem können Produzenten aufgrund der zuverlässigen und gleichbleibenden Qualität ihr Markenversprechen gegenüber den Verbrauchern jederzeit gewährleisten. Der größte Vorteil besteht jedoch darin, dass sich die Qualitätskontrolle entlang des gesamten Produktionsprozesses durchgängig automatisieren lässt. Dies reduziert die für die Qualitätssicherung anfallenden Arbeitskosten, verringert die Fehlerquote und beseitigt die Subjektivität bei den Prüfkriterien. Und nicht zuletzt lassen sich mit der Technologie Fehler entdecken, die dem menschlichen Auge verborgen blieben.

„Wir können mit unserer Arbeit sehr zufrieden sein, denn wir haben die Herausforderungen gemeistert. Wir stehen derzeit in Kontakt mit vielen Kunden aus der Lebensmittelbranche, die sich für unsere Produkte interessieren. Die Inspektionslösung war letztlich ein Resultat des Zusammenspiels von Halcon mit unserer Hardware und der optimierten Inspectra-Software-Architektur. So hat sich unsere jahrelange Forschungs- und Entwicklungsarbeit in vollem Umfang ausgezahlt“, resümiert de la Red Bellvis.