Technische Universität München
Pflegeroboter GARMI wird zum universellen Assistenten
TECHNISCHE UNIVERSITÄT MÜNCHEN
PRESSEMITTEILUNG
Von Inselbegabungen zum Gesamtkonzept
Pflegeroboter GARMI wird zum universellen Assistenten
- Auf der Robotikmesse ICRA in Yokohama in Japan stellen die Geriatronik-Forscher der Technischen Universität München (TUM) vier neue Forschungsarbeiten vor – unter anderem über das Greifen von Gegenständen und neue Sicherheitsfunktionalitäten.
- Ein generatives KI-Modell bringt GARMI erstmals dazu, auf Zuruf telemedizinische Anwendungen, Physiotherapie oder pflegerische Aufgaben zu ermöglichen.
- Neuronale Netze unterstützen GARMI darin, Objekte präzise erkennen und greifen zu können.
Erstmals zeigt Assistenzroboter GARMI, dass er verschiedene Fähigkeiten direkt miteinander verbinden und Personen im Alltag über den ganzen Tag hinweg unterstützen kann. Dank digitalem Zwilling, künstlicher Intelligenz und ChatGPT übernimmt der Pflegeassistent der Technischen Universität München (TUM) pflegerische Aufgaben, bringt morgens Wasser und Frühstück ans Bett, vermittelt Gespräche mit Ärztinnen und Ärzten, ermöglicht telemedizinische Untersuchungen und hilft bei Reha-Übungen sowie beim Aufstehen.
Der Assistenzroboter GARMI wird immer vielfältiger und intelligenter. Wie die Forschenden aus dem Munich Institute of Robotics and Machine Intelligence (MIRMI) der TUM auf der Robotikmesse ICRA 2024 in Yokohama in Japan zeigen, versteht der Roboter nicht nur diverse Kommandos per ChatGPT, sondern setzt so unterschiedliche Aufgaben und Fertigkeiten wie das Greifen von Gegenständen, sicheres Manövrieren und die Kommunikation mit Patientinnen und Patienten autonom um. Zudem vermittelt er Live-Gespräche mit Ärztinnen und Ärzten, die telemedizinische Untersuchungen vornehmen. „GARMI ist nun in der Lage, diverse Einzelfähigkeiten, die wir ihm in den letzten Jahren beigebracht haben, sicher und auf Zuruf über ChatGPT auszuführen“, erläutert der Leiter des Geriatronik-Projekts Dr.-Ing. Abdeldjallil Naceri.
Mensch-Roboter-Interaktion: Tools müssen zuverlässig und sicher sein
Dafür verbinden die Forschenden diverse technologische Innovationen miteinander. Ein digitaler Zwilling kommt zum Einsatz, um die Bewegungen des Roboters vor der realen Interaktion mit dem Menschen in einer Simulation durchzuprobieren und so Zusammenstöße zu vermeiden. Künstliche Intelligenz (KI) trägt dazu bei, dass GARMI Tassen und Gläser greifen und herüberreichen kann, ohne Flüssigkeit zu verschütten. Und ChatGPT übernimmt als Bindeglied die Kommunikation zwischen Roboter, Patientinnen und Patienten, Physiotherapeutinnen und Physiotherapeuten sowie Ärztinnen und Ärzten.
Forscher Naceri vergleicht die Innovationen im GARMI mit Entwicklungen im autonomen Fahren: „Bis eine neue Funktion wie etwa die autonome Einparkhilfe in einem Fahrzeug zur Verfügung steht, sind viele Entwicklungsschritte nötig“, so der Forscher, „ähnlich wie in der Pflegerobotik muss die Technologie absolut zuverlässig und sicher sein, da sie im Umfeld mit Menschen eingesetzt wird.“
Pflegeassistent mit ChatGPT, Digital Twin und menschenähnlichen Händen
Besonders in drei Bereichen haben die Forschenden der TUM große Fortschritte erzielt:
1. Geschicklichkeit – Greifen und präzise aus der Ferne bewegen
Das Greifen: Damit GARMI ähnlich wie Menschen greifen kann, haben die Forschenden eine Kamera, einen Roboterarm mit sieben Gelenken und künstlicher Hand sowie künstliche Intelligenz zusammengebracht. Zunächst macht die Kamera ein Bild von dem Objekt, das GARMI greifen soll und identifiziert es über den Einsatz von neuronalen Netzen als Tasse, Flasche oder Ball. Da die Kamera nur von einer Seite das Objekt sieht, ergänzt das System nicht-sichtbare Bereiche etwa einer Tasse, indem es das Gesehene mit anderen Bildern vergleicht und rekonstruiert das vollständige 3-D-Objekt. Die Wahrscheinlichkeiten, mit denen das Objekt so dargestellt wird, wie es in Wirklichkeit aussieht, stellen die Forschenden in einer farblich abgestuften Grafik dar, einer „Heatmap“. So lässt sich die ideale Position für die Hand ermitteln, die etwa eine Tasse greifen soll. In neun von zehn Fällen ist das komplexe System nun dazu in der Lage. „Wenn es mit einer Tasse klappt, kann unser System das auf alle anderen Tassenformen übertragen“, sagt Naceri.
Aus der Ferne bewegen: Um erforschen zu können, ob Ärztinnen und Ärzte per Teleoperation mit Patientinnen und Patienten zusammenarbeiten können, dachten sich die Forschenden einen besonderen Versuchsaufbau aus. Dafür zeichneten sie auf einem digitalen Grafik-Tablet einfache Formen. GARMI wurde ebenfalls mit einem Stift in einer Hand und mit einer Kamera in der anderen ausgestattet. Einen Raum entfernt sollte GARMI auf eine Leinwand übertragen, was die Forschenden zuvor gezeichnet haben – also eine einfache Zeichnung in ein komplexes robotisches System projizieren. Es stellte sich heraus, dass die besten Kreise, Quadrate und Dreiecke dann entstanden, wenn GARMI die Kamera autonom einsetzte, eine Erkenntnis, die künftig in die Zusammenarbeit zwischen behandelnden Medizinerinnen und Mediziner und Patientinnen und Patienten einfließt. Denn beispielsweise bei einer Ultraschalluntersuchung geht es darum, den Ultraschallkopf möglichst präzise aufzusetzen oder bei einer Reha-Übung, Bewegungen richtig auszuführen.
Umgebung wahrnehmen und navigieren: In einer neuen Forschungsarbeit zeigen die Forschenden, wie Werkzeuge an einem Gegenstand vorbeimanövriert werden können. Die Herausforderung besteht darin, einerseits die Abstände im Auge zu behalten und andererseits die Beweglichkeit des Roboterarms mit allen seinen Gelenken richtig einzuschätzen. Gelingt das, kann der Roboter sogar entgegenfliegenden Bällen ausweichen.
2. Sicherheit: Ein taktiler Roboter reagiert innerhalb von einer Millisekunde
GARMI verarbeitet Informationen mit einer Taktung von einer Millisekunde. Das betrifft die Wahrnehmung, Interaktion und Navigation gleichermaßen. Die Kraftsensoren der Roboterarme registrieren geringste Berührungen und reagieren sofort. Stößt ein Mensch versehentlich gegen den Arm des Roboters, bleibt er aus Sicherheitsgründen innerhalb von einer Millisekunde stehen. Um Unfälle auszuschließen, treffen Mensch und Roboter zunächst als digitale Zwillinge in einem virtuellem Umfeld aufeinander. Das ist unerlässlich, denn der Assistenzroboter kann in der Wohnung eines Pflegeheims theoretisch bis zu 20 km/h schnell werden. In der Computersimulation registriert GARMI mithilfe der Safety Motion Unit über seine Sensoren, wenn ihm eine Person zu nah kommt und bewegt sich langsamer. Entfernt sich die Person, bewegt er sich wieder schneller.
3. Sprache: ChatGPT nutzt Liste an Kommandos
Das KI-Tool ChatGPT funktioniert als Übersetzer zwischen Technik und Mensch. Es hat diverse Kommandos wie „Starte die Reha“, „Zeig mir das Wetter von morgen“ oder „Ruf den Arzt an“ gelernt, und GARMI nutzt dieses Tool, um mit Patientinnen und Patienten zu kommunizieren. „Aktuell haben die Forschenden eine Liste von 15 bis 20 Kommandos, die bestimmte Aktionen triggern. „Potenziell können wir sie beliebig erweitern“, sagt Robotik-Forscher Naceri, „das MIRMI gehört damit zu den ersten Instituten, in denen Roboter und Menschen mithilfe von ChatGPT miteinander interagieren.“
GARMI lernt noch, mit menschlicher Umgebung umzugehen
Der neue universelle GARMI wird nun in einer Musterwohnung in Garmisch-Partenkirchen aktiv. Das Hauptforschungsfeld wird die Weiterentwicklung von Händen sein, die immer feinere Aufgaben übernehmen können. Bis GARMI letztlich in Pflegeheimen zum Einsatz kommt, werden noch einige Jahre vergehen. „Es ist wie mit dem autonomen Auto“, sagt Naceri, „es sind schon große Fortschritte gemacht worden, doch fehlen noch ein paar Details, um es im Umfeld des Menschen einsetzen zu können.“
Publikationen
- RETOM: Leveraging Maneuverability for Reactive Tool Manipulation using Wrench-Fields; Felix Eberle, Riddhiman Laha, Haowen Yao, Abdesdjallil Naceri, Luis F.C. Figueredo, Sami Haddadin; ICRA 2024
- Autonomous and Teleoperation Control of a Drawing Robot Avartar; Lingyun Chen, Abdeldjallil Naceri, Abdalla Swikir, Sandra Hirche, Sami Haddadin; ICRA 2024
- Anthropomorphic Grasping with Neural Object Shape Completion; Diego Hidalgo-Carvajal,l Hanzhi Chen, Gemma C. Bettelani, Jaesug Jung, Melissa Zavaglia, Laura Busse, Abdeldjallil Naceri, Stefan Leuttenegger, Sami Haddadin; ICRA 2024
- Safe-By-Design Digital Twins for Human-Robot Interaction: A Use Case for Humanoid Service Robots. Jon Škerlj*, Mazin Hamad*, Jean Elsner, Abdeldjallil Naceri, Sami Haddadin.
- Video: A Day with GARMI: Robot Home Assistence in the Lives of Senior Citizens; S. Bing, J. Skerlj, F. Eberle, A. Teimoorzadeh, X. Chen, M. Forouhar, H. Seghedian, A. Naceri, S. Haddadin; ICRA 2024; https://youtu.be/mL-50vtXHdo
Zusatzinformationen für Redaktionen
Fotos zum Download: https://mediatum.ub.tum.de/image/1742821.jpg
Wissenschaftlicher Kontakt
Prof. Sami Haddadin
Executive Director des Munich Institute of Robotics and Machine Intelligence (MIRMI)
Technische Universität München (TUM)
Dr. Abdeldjallil Naceri
Leitender Wissenschaftler im MIRMI
Leiter der Geriatronik-Forschung
Technische Universität München (TUM)
Djallil.naceri@tum.de
Kontakt im TUM Corporate Communications Center
Andreas Schmitz
Presse Robotik und maschinelle Intelligenz
0162-27 46 193
Die Technische Universität München (TUM) ist mit rund 650 Professuren, 52.000 Studierenden und 12.000 Mitarbeitenden eine der weltweit stärksten Universitäten in Forschung, Lehre und Innovation. Ihr Fächerspektrum umfasst Informatik, Ingenieur-, Natur- und Lebenswissenschaften, Medizin, Mathematik sowie Wirtschafts- und Sozialwissenschaften. Sie handelt als unternehmerische Universität und sieht sich als Tauschplatz des Wissens, offen für die Gesellschaft. An der TUM werden jährlich mehr als 70 Start-ups gegründet, im Hightech-Ökosystem München ist sie eine zentrale Akteurin. Weltweit ist sie mit dem Campus TUM Asia in Singapur sowie Büros in Brüssel, Mumbai, Peking, San Francisco und São Paulo vertreten. An der TUM haben Nobelpreisträger und Erfinder:innen wie Rudolf Diesel, Carl von Linde und Rudolf Mößbauer geforscht. 2006, 2012 und 2019 wurde sie als Exzellenzuniversität ausgezeichnet. In internationalen Rankings wird sie regelmäßig als beste Universität in der Europäischen Union genannt.