Gewisse Vorarbeiten werden das Projekt beschleunigen
Bei der Umsetzung kann das Team auf zahlreiche Vorarbeiten in Software und Hardware des Fraunhofer-IPA zur mobilen Manipulation zurückgreifen. Ein wichtiger Eckpfeiler ist die umfangreiche Software-Grundlage des Projekts „Kognitive Robotik”. Die Möglichkeiten sind funktional und können an die Spezifikationen des aktuellen Projekts angepasst werden. Hierzu gehört etwa die zentrale Fähigkeit, dass Roboter verschiedene Griffe von Türen, Schubladen oder Schränken erkennen und öffnen können. Diese Fähigkeit kann einfach an die neuen Griffe im aktuellen Projekt angepasst werden.
Eine weitere Errungenschaft ist die Entwicklung eines kraftgeregelten Ansatzes zum Drücken von Türgriffen, der einen reibungslosen Betrieb mit maßvollem Kraftaufwand sicherstellt und durch die IPA-eigene Software namens pitasc orchestriert wird. Pitasc ist eine von den Roboterherstellern unabhängige Software für die skill-basierte Programmierung. Darüber hinaus können Roboter mithilfe von pitasc weitere kraftgeregelte Aufgaben wie das Öffnen einer Tür bis zum Anschlag oder das sanfte Drücken von Tasten auf einem Touchscreen ausführen. Im Projekt konnte die Software erstmals in einen mobilen Manipulator statt wie bisher in statische industrielle Roboter integriert werden.
Auf der Hardware-Seite kommt der mobile Roboter aus dem Projekt „DeKonBot“ zum Einsatz, der bereits einen Roboterarm mit Sensoren auf einer mobilen Basis integriert hat und dessen Endeffektor für den vorliegenden Anwendungsfall angepasst wird. So kann aufgrund vorhandener, flexibel nutzbarer Hardware schnell eine neue Anwendung umgesetzt werden.
Der Hardware-Aufbau des mobilen Manipulators
Der für Intel angepasste mobile Manipulationsroboter setzt sich aus drei Baugruppen zusammen: einer mobilen Basis, einem Manipulator (Roboterarm) und dem Endeffektor-Werkzeug. Als mobile Basis wurde die Plattform Scitos X3 von Metralabs gewählt. Sie ist mit einer bordeigenen Navigationssoftware auf Basis von Laserscannern ausgestattet, die auch für Sicherheitszwecke nutzbar ist. Im Inneren der Plattform wurden zusätzlich zum verbauten Intel NUC ein Nvidia Jetson für die Berechnungen der Bildverarbeitung installiert. Für den Manipulator wurde der kollaborative Roboter „UR5e“ von Universal Robots ausgewählt. Aufgrund seiner Sicherheitsfunktionen wird er als geeignet betrachtet, um in Umgebungen mit Personen eingesetzt zu werden, denn bei Kontakt mit einem Hindernis stoppt er sofort. Am Flansch des Roboterarms kommt ein Schunk-Wechselsystem zum Einsatz. Das ermöglicht den einfachen und schnellen Wechsel des Endeffektor-Werkzeugs je nach Anwendungsfall. Am Werkzeugadapter des Wechselsystems wurde ein Robotiq-Backengreifer angebracht, der beispielsweise Türen öffnen oder Bauteile greifen kann. Um auch ältere Anlagen ohne Softwareschnittstelle bedienen zu können, ist ein Stift für die Bedienung von Touchscreens nutzbar. Die Halterung des Stifts wurde als Prototyp mittels 3D-Druck hergestellt. Sie ist auf die Backen des Greifers abgestimmt und kann fest gegriffen werden, sodass kein Werkzeug-Wechselsystem erforderlich ist. Für die Bildverarbeitung kommt am Arm eine RGB-D-Kamera zum Einsatz.
Bild 2: Die Kombination aus funktionalem Hardware-Aufbau und komplexen Software-Fähigkeiten ermöglicht dem Roboter des mobilen Manipulators beispielsweise Türen zu öffnen.
(Bild: Fraunhofer-IPA)
Die Software-Komponenten für den Manipulator
Auf Software-Seite gibt es verschiedene Module, die die Skills der robotischen Wahrnehmung und der Manipulation abbilden. Die Wahrnehmung basiert hauptsächlich auf internen Vorarbeiten, aber die Manipulation auf einer Kombination aus pitasc und dem Open-Source-Bewegungsplaner MoveIt. All diese Skills werden durch einen Behaviour Tree orchestriert, der als Ablaufsteuerung auf höchstem Level fungiert und auf das Anwendungsszenario abgestimmt ist. Ein Behaviour Tree ist ein hierarchisches Modell, das in künstlicher Intelligenz (KI) und Robotik verwendet wird, um komplexe Agentenverhalten zu definieren. Er kann als Alternative zu State Machines betrachtet werden. Das Modell strukturiert Aufgaben in einem baumähnlichen Format, wobei jeder Knoten eine bestimmte Aktion, Entscheidung oder Bedingung darstellt. Dieser Ansatz ermöglicht eine modulare, skalierbare und leicht verständliche Darstellung komplexer Verhaltensweisen.
Das soll sicherstellen, dass die Software auf verschiedenen Roboterplattformen eingesetzt werden kann und Programme zwischen verschiedenen Plattformen übertragbar sind. Mit pitasc können auch einfache kraftbasierte Skills erstellt werden. Die beliebige Kombination von positions-, geschwindigkeits- und kraftgesteuerten Achsen macht die Programmierung der Roboterskills sehr flexibel. Diese Skills stellen sicher, dass die Roboter viele komplexe Anwendungsfälle bewältigen können und ihre Bewegungen und Interaktionen an die jeweiligen Anforderungen anpassbar sind. Das Spektrum reicht dabei von einfachen „Pick & Place“-Aufgaben bis hin zu komplexen sensorgeführten Montageaufgaben. Für eine einfachere Zugänglichkeit wurde pitasc in den Behaviour Tree des Frameworks für mobile Roboter integriert. Das ermöglicht den direkten Aufruf einzelner pitasc-Skills oder Verkettungen aus Knoten des Behaviour Trees.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel Communications Group GmbH & Co. KG, Max-Planckstr. 7-9, 97082 Würzburg einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.
Auf der Perzeptionsseite werden Skills für die Posenschätzung von Markern, die Lokalisierung von Klinken und das Template Matching von Bildschirmelementen genutzt. Durch eine markerbasierte Positionierung des mobilen Roboters vor der betreffenden Maschine lässt sich zwar bereits rein funktional vieles lösen, jedoch trägt die zusätzliche visuelle Verifikation zur Robustheit bei und erlaubt ein angepasstes reaktives Verhalten. So kann beispielsweise kompensiert werden, falls sich die Tür oder das grafische Nutzerinterface auf dem Bildschirm nicht im erwarteten Standardzustand befinden.