Bildverarbeitung Stereo-3D-Kamera unterstützt Roboter beim Griff in die Kiste

Autor / Redakteur: Oliver Senghaas / Dipl.-Ing. (FH) Reinhold Schäfer

Der „Griff in die Kiste“ ist nach wie vor eine schwierige Aufgabe in der robotergestützten Fertigung. Um unsortierte Teile aus einer Gitterbox oder einer Schäferkiste heraus zu greifen, müssen zuerst Form, Größe, Position und Orientierung der Objekte erkannt werden: dank einer Stereo-3D-Kamera jetzt auch mühelos.

Bild 1: Zwei Ensenso N10 Stereo-3D-Kameras sind pro Kiste stationär installiert.
Bild 1: Zwei Ensenso N10 Stereo-3D-Kameras sind pro Kiste stationär installiert.
(Bild: IDS)

Erst nachdem Informationen zu Form, Größe oder Orientierung von Objekten vorliegen, lassen sich ad hoc eine kollisionsfreie Roboterbahn generieren.

Doch bereits bei der Erfassung der 3D-Daten beginnt das Problem, denn neben einer hinreichenden Genauigkeit und Vollständigkeit sind auch hohe Taktraten und Prozessstabilität gefordert. Die wenigen bisher angebotenen Lösungen sind entweder zu langsam oder sie erreichen nicht die nötige Prozessstabilität, um auch in der Serienfertigung eingesetzt werden zu können. Mit der Stereo-3D-Kamera Ensenso N10 von IDS lassen sich jetzt die Ansprüche an Taktrate, Verfügbarkeit und Wirtschaftlichkeit von Robot Vision-Applikationen unter den sprichwörtlichen Hut bringen.

Bildergalerie

CMOS-Sensoren, Software und Infrarot-Patternprojektor

Die industrietaugliche Kamera mit USB-Anschluss ist ein Novum auf dem Markt, denn sie integriert nicht nur zwei Global-Shutter-CMOS-Sensoren mit WVGA-Auflösung und eine leistungsfähige Software in einem sehr kompakten Gehäuse, sondern auch einen Infrarot-Patternprojektor. Dieser wirft ein zufälliges Punktmuster auf das aufzunehmende Objekt, womit auf dessen Oberfläche nicht oder schwach vorhandene Strukturen ergänzt beziehungsweise hervorgehoben werden.

Das Objekt wird dann von den beiden Bildsensoren entsprechend des Stereo-Vision-Prinzips erfasst und mittels der geometrischen Zusammenhänge der Triangulation werden schließlich für jeden Bildpunkt die 3D-Koordinaten rekonstruiert/berechnet. Selbst wenn relativ monotone Bauteile in der Kiste aufgenommen werden, lässt sich so ohne zusätzlichen technischen Aufwand ein praktisch lückenloses, vollflächiges und detailreiches 3D-Bild in wenigen Millisekunden generieren.

Ensenso wird in ihren Bin-Picking-Roboterzellen eingesetzt

Diese Schnelligkeit nutzt die bs Automatisierung und setzt die Ensenso in ihren Bin-Picking-Roboterzellen ein. Das Unternehmen ist auf die Entwicklung und den Bau von Anlagen für das schnelle und präzise Be- und Entladen von Produktionsmaschinen und das Teile-Handling spezialisiert. Mit den Bin-Picking-Zellen lassen sich in Kisten ungeordnet oder chaotisch liegende Teile automatisiert vereinzeln und nachfolgenden Fertigungsprozessen zuführen.

Sie erreichen Taktzeiten von unter 10 s, was mit herkömmlichen Lösungsansätzen, wie zum Beispiel dem Lichtschnittverfahren, nicht zu realisieren wäre. Je nach Anwendung und Kundenanforderung werden die Zellen mit klassischem Mehrachs-Industrieroboter oder einem Linearportalroboter angeboten. Sie sind modular aufgebaut, können an verschiedene Behältergrößen angepasst werden und sind für einen oder bis zu vier Kisten ausgelegt (Bild 1).

Dabei wird jede Kiste von zwei stationär montierten Ensenso-Kameras beäugt. Im Gegensatz zu einer direkt am Roboterarm installierten Kamera hat dieser Aufbau zwei wichtige Vorteile. Zum Einen kann eine höhere Taktrate des Systems realisiert werden. Während aus der einen Kiste gegriffen wird, kann in der anderen Kiste die Objekterkennung schon wieder gestartet werden.

Einsatz mehrerer Kameras reduziert Abschattungen

Zum Zweiten lassen sich die Bilder verschiedener Ensenso-Kameras sehr einfach zueinander kalibrieren, denn die Kamerasoftware ist von vorneherein für den Mehrkamerabetrieb ausgelegt. Durch den gleichzeitigen Einsatz von zwei oder mehr Kameras lässt sich eine Szene synchron von verschiedenen Seiten aufnehmen, wodurch Abschattungen reduziert und das Bildfeld erweitert werden.

Im Mehrkamerabetrieb liefert die N10-Software ebenfalls eine einzige 3D-Punktewolke, in der die Daten aller eingesetzten Kameras enthalten sind. Auch deren resultierende Genauigkeit kann durch die Anzahl der montierten Kameras nahezu beliebig skaliert werden. Außerdem ermöglicht die Ensenso-Software nicht nur die Kombination mehrerer Stereo-Kameras, sondern auch deren Einsatz in Verbindung mit herkömmlichen Industriekameras, beispielsweise um zusätzliche Farbinformationen oder Barcodes zu erfassen.

Außerdem übernimmt die Ensenso-Software die Steuerung der beiden CMOS-Sensoren und des Pattern-Projektors sowie die Erfassung und Vorverarbeitung der 3D-Daten. So wird ein Optimum aus Framerate und Bildqualität erreicht und der Auswerte-PC deutlich entlastet. Die Kamera ist für Arbeitsabstände von 260 mm bis 1400 mm und für variable Bildfelder konzipiert. Mit den angebotenen Brennweiten von 3,6 bis 16 mm lässt sich ein breites Entfernungs- und Größenspektrum abdecken.

Kamera erfasst stehende und bewegte Objekte mit einer Framerate von bis zu 30 Bildern/s

Im Gegensatz zu anderen 3D-Aufnahmeverfahren kann die Kamera sowohl stehende als auch bewegte Objekte mit einer Framerate von bis zu 30 Bildern/s erfassen. Trotz der beiden Sensoren und des eingebauten Projektors misst die sie nur etwa 150 mm × 45 mm × 45 mm und wiegt kaum 400 g. Mit dem robusten Aluminiumgehäuse und einem GPIO Connector für 12-24 V Hardware-Trigger, In- und Output ist sie für industrielle Einsätze gut gerüstet. Der 3-polige M8-Sensor/Actuator-Steckverbinder und der USB-Anschluss sind entsprechend verschraubbar ausgeführt.

Für OEMs und Systemintegratoren, wie die bs Automatisierung, ist aber ein weiterer Vorteil der Ensenso entscheidend. Sie ist sofort einsatzfähig und liefert metrische 3D-Daten bereits „out of the box“. Somit kann die Kamera sofort eingebaut werden. Lediglich der Roboter muss noch zur Kamera kalibriert werden, was sehr einfach mittels einer am Greifer montierten Kalibrierplatte erfolgt. Die Software errechnet daraus die Montageposition der Kamera und die 3D-Daten werden sofort im Koordinatensystem des Roboters repräsentiert.

Die erfassten Bilder werden mit Halcon 11 ausgewertet. Eine entsprechende Schnittstelle ist im Softwareumfang der Ensenso enthalten. Anschließend werden die Zielkoordinaten der gefundenen Teile sowie ein Abbild des restlichen Kisteninhalts als dynamisches Hindernis an ein Softwaremodul weitergeleitet, das daraus zusammen mit den CAD-Daten der Zelle, des Roboters und des Greifers eine kollisionsfreie Roboterbahn generiert. Diese wird in die Robotersteuerung übertragen und ausgeführt.

Misslingt der Greifversuch probiert der Roboter es an anderer Stelle

Aufgrund von Ungenauigkeiten, Fehlerkennungen und verrutschenden Teilen kann es dazu kommen, dass der Greifversuch fehlschlägt. Über verschiedene Sensoren im Greifer und über eine Kollisionsüberwachung zwischen Greifer und Flansch erkennt der Roboter dies, fährt selbstständig aus der Kiste und versucht es an anderer Stelle erneut. Ein menschlicher Eingriff ist nicht nötig.

Der ganze Vorgang wird von einer SPS kontrolliert und gesteuert. Sie ist es auch, die dem Bildverarbeitungssystem sagt, wann in welcher Kiste nach welcher Art von Teilen gesucht werden soll (Bild 2).

* Oliver Senghaas ist Marketingleiter bei IDS Imaging Development Systems GmbH in 74182 Obersulm.

(ID:42639014)