Robotik Bin Picking in einer neuen Dimension

Anbieter zum Thema

PFLITSCH GmbH & Co. KG

Micro-Epsilon Messtechnik GmbH & Co. KG

HOPPE Unternehmensberatung

Das automatisierte Handling von Objekten und insbesondere der Griff in die Kiste gehören zu den am stärksten nachgefragten Robotikaufgaben. Bin Picking mithilfe lichtfeldbasierter Sensoren eröffnet hierbei eine neue Dimension für bisher kaum lösbare Anwendungsfälle.

Auf einen Blick

• Ein zuverlässiger Griff für die automatisierte Produktion: Das Lichtfeld löst neben Standard- auch komplexe Aufgaben.

• Damit bietet die Technik einen lohnenswerten Ansatz für Unternehmen, die über den klassischen Weg bisher gescheitert sind oder nicht die gewünschten Ergebnisse erzielen konnten.

• So erweitert das Lichtfeld die Möglichkeiten der Machine Vision – und damit den Bereich des automatisierbaren Bin Pickings in Unternehmen.

Bin Picking mausert sich zum neuen Branchenstandard – längst kann der Inhalt von Kisten und Paletten automatisch von Robotern ausgeräumt und positioniert werden. Doch was, wenn Objekte aufgrund ihrer Eigenschaften nicht richtig erkannt werden können? Der Roboter erblindet, die Automation kommt zum Erliegen. So ärgerlich diese Situation ist, so bekannt ist sie vielen: Denn herkömmliche Vision-Systeme stoßen insbesondere bei glänzenden Werkstücken oder Faserverbundwerkstoffen an ihre Grenzen. Aufgrund der Reflektion können eingebundene Sensoren keine Oberfläche erkennen – und damit kein zu greifendes Objekt.

Bildergalerie

Bildergalerie mit 5 Bildern

Ende Gelände für Bin Picking? Keineswegs. Lichtfeldbasierte Bildverarbeitung schafft es, den unerwünschten Glanzeffekt herauszurechnen und ein zuverlässiges Sichtfeld für den Roboter zu erschaffen.

Wie die Bildverarbeitung vom Lichtfeld profitiert

Dank seiner besonderen Herangehensweise kann eine lichtfeldbasierte Sensorik auch mit schwierigen Bildsituationen umgehen. In der Vergangenheit fand das Lichtfeld jedoch keinen Einsatz in der Industrie, weil ein kompaktes und zugleich ausreichend präzises Lichtfeld-Array sich zu aufwendig gestaltete. „Dabei bietet sich das Lichtfeld für die industrielle Bildverarbeitung geradezu an“, weiß Prof. Bernd Jähne, Senior Professor und Gründer des Heidelberger Bildverarbeitungsforums. „Mit dem Lichtfeld erweitert sich das Spektrum der bisherigen Bildverarbeitung enorm. Daraus ergeben sich neue Einsatzbereiche und Funktionen für die Industrie. Wo Automation und Robotik vorher große Schwierigkeiten hatten, komplexe Materialien korrekt zu erfassen, erleichtert das Lichtfeld solche Aufnahmen. Auch seine hohe Flexibilität ist wie gemacht für Bildverarbeitungsaufgaben. Hier gibt es immer wieder neue Herausforderungen, bei denen klassische Sensoren an ihre Grenzen stoßen. Das Lichtfeld verschiebt diese Grenzen deutlich.“

Für den Einsatz in der produktiven Bildverarbeitung ist zunächst eine Unterscheidung zwischen Mikrolinsen-Array und Kamera-Array notwendig. Während ersteres aus einem Objektiv mit mehreren nachgelagerten Mikrolinsen besteht, funktioniert das Kamera-Array über einzelne diskrete Kameras. Die Bildgebung bleibt gleich – doch aus der unterschiedlichen Bauweise ergeben sich verschiedene Einsatzzwecke.

So sind Mikrolinsen zwar günstiger in der Herstellung und optimal geeignet für sehr kleine Aufnahmen. Doch bei entfernten Werkstücken kann die geringe Auflösung pro Mikrolinse zu Ungenauigkeiten führen. Hier punktet das Kamera-Array durch seine einzelnen Kameras. Da sie zusätzlich nahezu beliebig angeordnet werden können, sind auch große Objekte und hohe Messabstände kein Problem. Ein Kamera-Array mag zwar aufgrund seiner Bauweise nicht für mikroskopische Aufnahmen geeignet sein, doch insgesamt erweist es sich im Einsatz als flexibler.

Mit einer einzigen Aufnahme zum präzisen Abbild

Für beide Arrays gilt: Für ihren Einsatz ist zuvor eine Kalibrierung des Kamerasystems erforderlich, damit alle aufgenommenen Maße mit der Realität übereinstimmen und es zum Beispiel beim Bin Picking nicht zu Fehlgriffen kommt. Ist das abgeschlossen, spielt eine lichtfeldbasierte Bildverarbeitung ihre Vorteile aus. So kommt die Sensorik nicht nur mit metallischen und glänzenden Oberflächen sowie Faserverbundwerkstoffen zurecht; auch komplexe Formen stellen kein Problem dar. Zudem erweist sich das Lichtfeld robust gegenüber anderen Lichteinflüssen: Ein solches passives Vision-System arbeitet bereits bei normalem Umgebungslicht zuverlässig. Auch diffuse Beleuchtung oder der Einsatz im Innen- und Außenbereich handelt die Lichtfeldkamera.

Aufgrund seiner Anordnung als Array ist nur eine einzige Aufnahme notwendig, um alle Informationen einer vorliegenden Szene zu erfassen. Aus diesen Informationen kann ein Algorithmus sodann eine Punktwolke errechnen. Wichtig für eine vollständige Aufnahme ist, dass die zu erfassenden Objekte über eine Oberflächentextur verfügen. Ist dies nicht der Fall, generiert die Aufnahme möglicherweise zu wenig Tiefeninformationen für ein zuverlässiges Abbild. Die generierte Punktwolke beginnt zu rauschen. Ein Pattern-Projektor schafft in diesem Fall schnell und einfach Abhilfe.

Es gibt Grenzen

In der Theorie geht es, in der Realität ist es (noch) nicht möglich, ein Lichtfeld zu 100 % aufzunehmen. Das ist allerdings auch nicht notwendig. Bereits eine ausreichend präzise Näherung reicht für die industrielle Bildverarbeitung aus. Um das Lichtfeld auf diese Weise abbilden zu können, ist eine hohe Pixeldichte nötig. Mikrolinsen-Arrays sind daher nicht immer geeignet. Im Kamera-Array hingegen kann sich die Pixeldichte auf die einzelnen Sensoren verteilen. Das führt dazu, dass die einzelnen Kameras des Arrays nur eine überschaubare Auflösung von etwa 1 bis 1,5 Megapixel erreichen. Wäre sie höher, würden die Anforderungen an die Datenübertragung und -verarbeitung schnell die Kapazitätsgrenze gängiger Datenkabel für Roboter und industrieller PC übersteigen. Insbesondere zur Echtzeitdarstellung der aufgenommenen Szene sind leistungsstarke Grafikkarten nötig. Dafür kommen beispielsweise GPUs vom Typ Nvidia GTX1050 oder neuer zum Einsatz.

Bin Picking mittels Lichtfeld – ein sicherer Griff

Die Vorteile seiner Bilderkennung nutzt dem Lichtfeld auch bei verschiedenen Anwendungsfällen. Nicht selten lassen sich Zwischenprodukte auf dem Shopfloor nur schlecht automatisiert greifen – sei es, weil das Automobilheck glänzt, der Metallkolben gar nicht oder ein Bauteil aufgrund seiner komplexen Form nicht richtig erkannt wird. Die verbesserte Erkennung dieser Objekte mitsamt ihren Eigenschaften hilft dem eingesetzten Roboter, diese zuverlässig zu verorten und unfallfrei zu greifen. Eine komplexe Szene, an der herkömmliche Bildverarbeitungsansätze gescheitert sind? Für lichtfeldbasiertes Bin Picking meist kein Problem.

Davon hat sich auch die Hirschvogel Automotive Group überzeugen lassen. Andreas Beisch, Leiter Corporate Development Engineering, berichtet: „Für eines unserer Werke haben wir eine zuverlässige Bin-Picking-Lösung für den Griff aus der Kiste benötigt. Die zu greifenden Werkstücke haben uns dabei aufgrund ihrer Beschaffenheit aus Aluminium einiges Kopfzerbrechen bereitet. Dann sind wir auf den lichtfeldbasierten Ansatz von HD Vision Systems gestoßen. Deren Lichtfeld-basiertes Kamera-Array Lumi-Scan X schafft es, das reflektierende Material zu erfassen. Fehlgriffe finden nahezu nicht statt und die Kiste wird zuverlässig geleert. Das Prinzip hat uns überzeugt, sodass wir nun gemeinsam an einer Lösung für den Griff vom Band arbeiten. Die ersten Zwischenergebnisse sind auch hier vielversprechend.“

Im Gegensatz zu stereoskopischem Sehen und Time-of-Flight-Aufnahmen punktet das Lichtfeld beim Bin Picking mit seiner höheren Tiefengenauigkeit, Messstabilität und guten Datenqualität. Dadurch sind Picking-Roboter besser und zuverlässiger in der Lage, Objekte zu erkennen und einen erfolgreichen Griff durchzuführen.

Auch die Tatsache, dass Lichtfeld-basierte Aufnahmen rauscharm sind und im Normalfall nicht entrauscht werden müssen, gestaltet den Greifprozess zuverlässiger. Schließlich trumpft das Lichtfeld mit seiner Geschwindigkeit: Weil nur eine einzige Aufnahme vonnöten ist, überholt es Lasertriangulation und Stereoskopie problemlos.

Das Lichtfeld erklärt

„Ein Lichtfeld umfasst die Gesamtheit aller optischen Informationen einer Szene. Dazu gehören Farbe, Intensität und Richtung des vorhandenen Lichts. Bündelt man diese Informationen, erhält man die sog. plenoptische Funktion. Sie enthält alle Bestandteile einer Szene.“, erklärt PD Dr. Christoph Garbe. Als Leiter des Arbeitskreises für Bildverarbeitung und Modellierung an der Uni Heidelberg forscht er nach Möglichkeiten, das Lichtfeld mit einem Sensor abzubilden. Auf Grundlage der plenoptischen Funktion lassen sich verschiedene Berechnungen zum Einsatz der Lichtfeldtechnologie vornehmen: So lässt sich damit bestimmen, aus welcher Richtung das Licht einer fotografierten Szene kam. Aber auch Kameraposition und der dazugehörige Schärfepunkt können mit dieser Funktion herausgerechnet werden. Dafür reicht eine stereoskopische Bildaufnahme jedoch nicht aus. Stattdessen kommen ein Kamera-Array oder zahlreiche speziell angeordneten Mikrolinsen zum Einsatz. Durch die leichte Verschiebung der einzelnen Linsen treffen verschiedene Lichtstrahlen auf den Sensor – diese Unterschiede können per Algorithmus genutzt werden, um ein positionsunabhängiges Bild der Szene anzufertigen. Schärfe, Blickwinkel und Position in der Szene können so auch nachträglich noch verändert werden. Die daraus entstehenden präzisen Bildpunkte lassen sich zur exakten Verortung der aufgenommenen Szene oder Objekte nutzen – eine hochpräzise Punktwolke entsteht.

* Mareike Schindler-Kotscha ist Senior Communications & Marketing Manager der HD Vision Systems GmbH in 69124 Heidelberg, Tel. (0 62 21) 6 72 19-00, info@hdvisionsystems.com

(ID:46859981)