Startseite » Top-News » News & Produkte »

Bildsensor mit künstlicher Intelligenz

Bildverarbeitung
Bildsensor mit künstlicher Intelligenz

Bildsensor mit künstlicher Intelligenz
Die Daten müssen bei dem Chip erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden Bild: Johanna Symonowicz/TU Wien

Ein ultraschneller Bildsensor der TU Wien verfügt über künstliche Intelligenz. Er kann trainiert werden, bestimmte Objekte zu erkennen.

Künstliche Intelligenz auf dem Chip statt Bildverarbeitung auf dem Computer: Die industrielle Bildverarbeitung beruht auf der Auswertung von Bilddaten, die von Kameras geliefert werden – und das ist aufwändig. Insbesondere wenn die Zahl der aufgenommenen Bilder pro Sekunde hoch ist, entsteht rasch eine Datenmenge, die kaum bewältigt werden kann. Forscher an der TU Wien sind nun einen anderen Weg gegangen: Aus einem speziellen 2D-Material entwickelten sie einen Bildsensor, der darauf trainiert werden kann, bestimmte Objekte zu erkennen. Der Chip selbst stellt ein lernfähiges, künstliches neuronales Netz dar. Die Daten müssen also erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden.

„Typischerweise werden die Bilddaten zuerst Pixel für Pixel ausgelesen und dann am Computer verarbeitet“, sagt Professor Thomas Müller vom Institut für Photonik der TU Wien. „Wir hingegen integrieren das neuronale Netz mit künstlicher Intelligenz direkt in die Hardware des Bildsensors. Damit erfolgt die Objekterkennung um viele Größenordnungen schneller als bisher.“

Der Chip basiert auf Photodetektoren aus Wolframdiselenid – einem ultradünnen Material, das nur aus drei Atomschichten besteht. Die einzelnen Photodetektoren, die „Pixel“ des Kamerasystems, sind alle mit einer kleinen Zahl von Ausgangselementen verbunden, die das Ergebnis der Objekterkennung liefern.

Künstliche Intelligenz wird im Chip konfiguriert

„In unserem Chip können wir die Empfindlichkeit jedes einzelnen Detektorelements gezielt einstellen – also die Art, wie sich das Signal, das ein bestimmter Detektor aufnimmt, auf das Ausgangssignal auswirkt“, erklärt Lukas Mennel, Erstautor der Publikation im Fachjournal „Nature“. „Dafür müssen wir einfach nur ein lokales elektrisches Feld direkt am Photodetektor anpassen.“ Diese Anpassung erfolgt von außen mit Hilfe eines Computerprogramms. Man kann zum Beispiel mit dem Sensor verschiedene Buchstaben aufnehmen und die Empfindlichkeiten der einzelnen Pixel Schritt für Schritt verändern, bis ein bestimmter Buchstabe immer genau zu einem korrespondierendem Ausgangssignal führt. So wird das neuronale Netz im Chip konfiguriert – mit stärkeren und schwächeren Verbindungen.

Ist dieser Lernprozess abgeschlossen, wird der Computer nicht mehr benötigt. Das neuronale Netz kann nun alleine arbeiten. Wird dem Sensor ein bestimmter Buchstabe präsentiert, erzeugt er innerhalb von 50 ns das antrainierte Ausgangssignal – zum Beispiel ein Zahlencode, der für den Buchstaben steht, den der Chip gerade erkannt hat.

Objekterkennung, wenn es schnell gehen muss

„Unser Test-Chip ist momentan noch klein, aber man kann die Technologie problemlos hochskalieren, je nachdem, welche Aufgabe man lösen möchte“, sagt Müller. „Prinzipiell könnte man den Chip auch darauf trainieren, Äpfel von Bananen zu unterscheiden, wir sehen aber dessen Einsatz eher bei der Durchführung wissenschaftlicher Experimente oder anderen spezialisierten Anwendungen.“

Die Technologie ist überall dort sinnvoll einsetzbar, wo extrem hohe Geschwindigkeit gefragt ist: „Von der Bruchmechanik bis zur Teilchendetektion – in vielen Forschungsbereichen werden kurze Ereignisse untersucht“, so Müller. „Oft muss man nicht alle Daten über dieses Ereignis aufzubewahren, sondern eine ganz bestimmte Frage beantworten: Breitet sich ein Riss von links nach rechts aus? Welches von mehreren möglichen Teilchen ist gerade vorbeigeflogen?“

TU Wien
Institut für Photonik
Gußhausstraße 27–29
A-1040 Wien
Tel. +4315880138701
www.photonik.tuwien.ac.at

Newsletter

Jetzt unseren Newsletter abonnieren

Quality Engineering
Titelbild QUALITY ENGINEERING 1
Ausgabe
1.2024
LESEN
ABO
Webinare & Webcasts

Technisches Wissen aus erster Hand

Whitepaper

Whitepaper zum Thema QS


Industrie.de Infoservice
Vielen Dank für Ihre Bestellung!
Sie erhalten in Kürze eine Bestätigung per E-Mail.
Von Ihnen ausgesucht:
Weitere Informationen gewünscht?
Einfach neue Dokumente auswählen
und zuletzt Adresse eingeben.
Wie funktioniert der Industrie.de Infoservice?
Zur Hilfeseite »
Ihre Adresse:














Die Konradin Verlag Robert Kohlhammer GmbH erhebt, verarbeitet und nutzt die Daten, die der Nutzer bei der Registrierung zum Industrie.de Infoservice freiwillig zur Verfügung stellt, zum Zwecke der Erfüllung dieses Nutzungsverhältnisses. Der Nutzer erhält damit Zugang zu den Dokumenten des Industrie.de Infoservice.
AGB
datenschutz-online@konradin.de