„Intelligente“ BV

Dipl.-Phys.-Ing. Martin Kersting, Bereichsleiter Entwicklung und Support, Stemmer Imaging, Puchheim

Die Stemmer Imaging GmbH stellt mit dem neuen Bildverarbeitungs-Werkzeug Manto eine äußerst vielseitige Software aus dem Baukasten von Common Vision Blox vor, die durch den Einsatz neuester Technologien und einer optimalen Implementierung in der Lage ist, bisher nicht realisierbare Aufgaben in der optischen Objektklassifizierung zu lösen.

Manto nutzt dabei Forschungsergebnisse der künstlichen Intelligenz, insbesondere der statistischen Lerntheorie, und ermöglicht so z.B. das Erkennen von organischen Formen und Texturen, selbst wenn diese einen hohen Grad an Deformation aufweisen oder schlecht reproduzierbar sind. Die Aufgabe des Anwenders reduziert sich auf die Bereitstellung von ausreichend vielen Lernbeispielen. Hierbei wird er von einem Teach-Programm unterstützt, mit dessen Hilfe das Trainieren von Gut- und Schlecht-Beispielen auf einfache Weise möglich ist. Manto sucht dabei während des Anlernens automatisch die charakteristischen Unterscheidungsmerkmale der Objekte und nutzt dabei im Bedarfsfall neben Textur und Geometrie auch das Merkmal Farbe als zusätzliches Unterscheidungskriterium.

Bereits vor der Entwicklung von Manto waren mit Minos, Shapefinder, Contour und Ramses vier Such-Werkzeuge in Common Vision Blox vorhanden. Auch Bildverarbeitungs-Bibliotheken anderer Hersteller verfügen heute über Such-Algorithmen für unterschiedliche Einsatzfälle. All diese Werkzeuge haben jedoch eines gemeinsam: Sie können keine Objekte erkennen, die prinzipbedingt Deformationen oder natürlichen Schwankungen unterliegen. Man denke dabei etwa an Handschriften, bei denen die Zeichen zwar stets die selben sind, sich aber je nach Schreiber und Schreibwerkzeug sehr unterschiedlich präsentieren können. Weitere Beispiele solcher Problemfälle der Bildverarbeitung: Heutige Bildverarbeitungs-Systeme sind nicht in der Lage, Hunde von Katzen, Äpfel von Birnen oder anhand des Gesichts zwischen Mann und Frau zu unterscheiden. Die Erkennung von Holzarten anhand der Oberflächenstruktur ist ebenfalls eine Aufgabe, an der moderne Bildverarbeitungs-Systeme in der Regel scheitern.

Die Entwicklung des Common Vision Blox-Tools Manto hatte daher das Ziel, diese Lücke zu schließen und auch die Erkennung von unscharf definierten Objekten mit variierenden Merkmalen sicherzustellen. Prüfobjekte dieser Art finden sich in vielen Branchen wie z.B. in der Nahrungsmittelindustrie oder in der holzverarbeitenden Industrie, um nur zwei mögliche Felder zu nennen. Die folgenden Beispiele sollen die speziellen Fähigkeiten und die enorme Flexibilität von Manto verdeutlichen.

Handschriften lesen: 1 ms pro handgeschriebenem Zeichen

Eine besondere Stärke von Manto ist die Erkennung von Handschriften, der sicher schwierigsten Form der Schrifterkennung (Bild 1). Die hohen Erkennungsraten des Tools auf diesem Gebiet bedeuten einen Vorstoß in neue Anwendungsfelder und ermöglichen z.B. ein automatisiertes Lesen von handschriftlich ausgefüllten Belegen oder Formularen.

Bei der Schrifterkennung „lernt“ Manto zunächst die zur sicheren Erkennung nötigen Merkmale der Objekte unter Anwendung des Teach-Programms. Das angelernte Wissen um die Unterscheidungsmerkmale wird in Form eines Klassifikators abgespeichert und steht später der Funktionsbibliothek für Klassifizierungen zur Verfügung.

Wie leistungsfähig Manto auf diesem Gebiet ist, belegt eindrucksvoll die öffentlich zugängliche MNIST-Datenbank handgeschriebener Ziffern, die von der Forschungsabteilung von AT & T in den USA gepflegt wird (siehe im Internet unter http://yann.lecun. com/exdb/mnist/index.html). Diese Datenbank umfasst zum einen eine Lernmenge von 60000 handgeschriebenen Ziffern, die als Trainingsdaten genutzt werden, und zum anderen eine Testmenge von 10000 Ziffern. Lern- und Testmenge stammen hierbei von verschiedenen Schreibern.

Entwickler auf dem Feld der Handschriftenerkennung nutzen die MNIST-Datenbank, um die Leistungsfähigkeit ihrer Algorithmen und Systeme gegeneinander zu messen. Bereits die erste Version von Manto landete mit einer Erkennungsrate von 99,20 Prozent auf Anhieb auf Rang 3 dieses internationalen Vergleichs. In der endgültigen Fassung des Software-Werkzeugs lag dieser Wert sogar bei 99,35 Prozent – Manto belegt in diesem Vergleich damit mittlerweile den ersten Rang. Besonders beachtlich ist dies vor allem deshalb, weil im Gegensatz zu den nächstplatzierten Mitbewerbern sogar auf eine künstliche Vergrößerung der Lernmenge, z.B. durch Rotation und Skalierung der Ziffern, verzichtet wurde. Beeindruckend an dieser Anwendung sind auch die erreichbaren Geschwindigkeiten: Manto benötigte lediglich elf Minuten zum Lernen aller 60000 Lernsamples. Die Verarbeitungsgeschwindigkeit beim anschließenden Klassifizieren der Ziffern liegt mit einem System auf Basis eines AMD Athlon-Prozessors mit 500 MHz bei 1 ms pro Zeichen.

Denkbare Anwendungen für ein Handschriften-Erkennungssystem sind zum Beispiel automatisierte Postsortier-Anlagen, die nur dann rentabel funktionieren, wenn das Lesesystem auch handgeschriebene Adressen mit einer hohen Trefferquote erkennt. Ebenso ließe sich die Erfassung von Formularen im behördlichen Bereich, bei Banken oder bei Versandhäusern damit rationalisieren.

Darüber hinaus erlaubt Manto natürlich auch die Erkennung von Schriften und Zeichen, die in der Industrie häufiger zu lesen sind als handschriftliche Zeichen, wie z.B. eingeschlagene oder aufgedruckte Kennzeichnungen auf Metall- oder Gussteilen, die meist mit unterschiedlicher Tiefe und Lesbarkeit auftreten. Bei geeigneter Ausleuchtung ist das Lesen von Zeichen auch bei schwierigen Oberflächen wie reflektierenden Metallen mit Manto realisierbar.

Gesichts-Erkennung und -Klassifikation

Ein anderes mögliches Anwendungsfeld von Manto ist das Thema Gesichtserkennung. Mit einer Verarbeitungszeit von wenigen Millisekunden pro Frame erlaubt die Software die Isolierung von Gesichtern unabhängig von der Hintergrund-Szene. Die gefundenen Gesichter können danach beliebig weiter ausgewertet werden. Realisierbar sind somit z.B. Systeme, die den Autofahrer durch eine permanente Augenlid-Überwachung bei zunehmendem Augenzwinkern vor dem drohenden Sekundenschlaf warnen. Auch eine mimische Steuerung von Maschinenfunktionen ist mit Hilfe von Manto möglich und könnte z.B. Behinderten den Umgang mit vielen Geräten und somit das Leben erleichtern. Erfolgreich getestet wurde hier beispielsweise die Steuerung des Cursors am PC durch die Bewegung der Nasenspitze.

Bereits auf mehreren Messen hat Stemmer Imaging Prototypen der Bildverarbeitungs-Software zur Gesichts-Klassifikation eingesetzt. Manto konnte dabei mit einer Erkennungsrate von ca. 95 Prozent allein am Graustufenbild des Gesichts unterscheiden, ob ein Mann oder eine Frau abgebildet ist (Bild 2). Aber auch eine Klassifizierung der aufgenommenen Gesichter nach dem „Gemütszustand“, beispielsweise nach Lächeln oder Stirnrunzeln, wurde erfolgreich gezeigt. Auch wenn eine echte Anwendung dieser Möglichkeiten bisher noch schwer zu erkennen ist, so zeigt sich an diesen beiden Beispielen doch sehr deutlich die Leistungsfähigkeit des in Manto implementierten Algorithmus.

Automatischer Assistent für den Autofahrer

Ein interessantes Forschungsprojekt, an dem derzeit praktisch jeder Autohersteller arbeitet, besteht im automatischen Erkennen und Lesen von Verkehrszeichen während der Fahrt (Bild 3). Eines der Hauptprobleme ist dabei das witterungsbedingt unterschiedliche Aussehen der Verkehrszeichen. Mit Manto ist dieses Problem mittlerweile gelöst: Testfahrten haben ergeben, dass ein Bildverarbeitungs-System auf der Basis von Manto die angelernten Verkehrszeichen sicher erkennt. Auf diese Weise könnte der Autofahrer z.B. in Zukunft gewarnt werden, wenn er die aktuelle zulässige Höchstgeschwindigkeit überschreitet oder eine Einbahnstraße in falscher Richtung befahren will.

Manto ermöglicht jedoch noch weit mehr, wie beispielsweise das Erkennen von Fußgängern oder Radfahrern, eine differentielle Abstandsmessung zum Vordermann oder das Tracking von Fahrbahnmarkierungen, einer Voraussetzung für die Entwicklung autonomer Fahrzeuge. Ideen wie diese werden derzeit von vielen Automobilherstellern angegangen – Manto kann den Untersuchungen hier einen großen Schritt weiterhelfen!

Oberflächeninspektion mit geringer Fehlerquote

Im Anwendungsfeld „Oberflächeninspektion“ wurde Manto bereits ebenfalls mit sehr guten Ergebnissen getestet. So lag die Fehlerrate bei der Erkennung verschiedener Holz- oder Papiersorten unter 0,05 Prozent. Als mögliche Anwendungen sind auf diesem Gebiet Systeme auf der Basis von Manto denkbar, die während der Herstellung von Bandmaterial wie Papier, Stahl oder Kunststoff eine Güte-Klassifikation der Produkte vornehmen. Der Hersteller hat somit die Möglichkeit, seine Ware in verschiedenen Güteklassen und somit preisgestaffelt anzubieten.

Die bisherigen Erfahrungen mit Manto zeigen, dass diese neue Bildverarbeitungs-Software eine enorme Flexibilität bezüglich der zu klassifizierenden Objekte aufweist und dabei gleichzeitig mit einer hervorragenden Erkennungsgenauigkeit und Robustheit aufwarten kann. Nach gegenwärtigem Kenntnisstand lässt sich das Anwendungsgebiet von Manto daher kaum einschränken, höchstens insofern, dass es für „einfache“ Aufgaben der Bildverarbeitung wie z.B. zur Erkennung von Kanten oder zur Vermessung immer gleicher Objekte eher überdimensioniert ist.

Die wesentlichen Einsatzfelder von Manto sind somit eher die klassischen Problemfälle bei Mustererkennungsaufgaben in der Bildverarbeitung, bei denen die Objekte nicht immer mit dem exakt gleichen Erscheinungsbild auftreten. Nur eine kleine Sammlung weiterer realisierbarer Applikationen sind z.B. der inhaltsgesteuerte Zugriff auf Bild- und Videodatenbanken und Archive, das Sortieren und die Qualitätskontrolle von Lebensmitteln oder die Analyse und Vorklassifikation von Röntgen- und NMR-Aufnahmen im medizinischen Bereich.

Die enorme Leistungsfähigkeit von Manto beruht auf einer relativ neuartigen Technik im Bereich der Bildverarbeitungs-Algorithmik, den sogenannten „Support Vector Machines“ (SVM). Manto ist das erste und bislang einzige Bildverarbeitungs-Paket am professionellen Markt, das dieses Prinzip implementiert und in der industriellen Bildverarbeitung verfügbar macht. Support Vector Machines sind im Grunde eine Weiterentwicklung der aus vielen Anwendungen bekannten Neuronalen Netze, und werden in der Wissenschaft bereits vereinzelt für Klassifikationsaufgaben und als Versuchsobjekt mit sehr vielversprechenden Ergebnissen getestet.

In Manto wurde die enorme Leistungsfähigkeit der Support Vector Machines gekapselt, in einfach handhabbare Funktionen umgesetzt und um ein in hohem Maße intuitives Teach-Programm ergänzt, um die sich daraus ergebenden Möglichkeiten einer breiten Anwenderschicht zu erschließen.

Trotz dieser Leistungsmerkmale vollbringt freilich auch Manto keine Wunder, und so sind sorgfältiges und ausdauerndes Trainieren der Schlüssel zum Erfolg. Belohnt wird diese Arbeit aber durch Ergebnisse, die den Horizont der Bildverarbeitung beträchtlich erweitern und so letztlich die Mühe wert sind.

Die neue Bildverarbeitungs-Software Manto für die Common Vision Blox-Plattform eröffnet eine neue Dimension in der Muster-erkennung, denn sie umfasst auch die Prüfung und Klassifikation organischer Formen und Texturen mit starken Variationen. Manto deckt eine enorme Variationsbreite der zu klassifizierenden Objekte bei gleichzeitig hervorragender Erkennungsgenauigkeit ab. Dies eröffnet völlig neue Anwendungsbereiche in einer Vielzahl von Branchen.