Virtual-Reality-Trainingsumgebung für chirurgische Operationen
Virtual-Reality-Trainingsumgebung für chirurgische Operationen
TH Köln entwickelt KI-basiertes Simulationssystem für Trainingseingriffe in menschlichem Weichgewebe
Die lange und aufwändige Ausbildung von Chirurg*innen soll sie bestmöglich auf die erfolgreiche Durchführung komplexer Eingriffe wie Knochenoperationen vorbereiten. Mithilfe von Virtual Reality (VR) besteht die Möglichkeit, OP-Situationen wirklichkeitsnah abzubilden und Trainings risikofrei mit virtuellen Patient*innen zu erproben. Aktuelle Verfahren stoßen in der Praxis jedoch noch an ihre Grenzen, da vor allem das haptische Feedback ausbleibt, also die spürbare Rückmeldung über Finger oder Hand. Ziel des Projekts VIRTOSHA, das ein Konsortium aus dem Universitätsklinikum Bonn (UKB), der Technischen Hochschule Köln (TH Köln), der MindPort GmbH als Konsortialführer und der Haption GmbH durchführt, ist die Entwicklung einer VR-Trainingsumgebung für ein realitätsgetreues Empfinden bei chirurgischen Operationen.
„Angehende Chirurg*innen müssen in ihrer Ausbildung erfahren, wie sich Operationen anfühlen und ihre Feinmotorik trainieren. Daher entwickeln wir ein neues VR-Ausbildungstool, das eine lebensechte Interaktion mit den Werkzeugen ermöglicht. Wir konzipieren dafür eine Bohr- und Schraubensimulation mit Haptik-Armen, einen Roboter mit Greifarmen, und werden die Merkmale verschiedener Gewebearten implementieren. So kann der Widerstand beim Bohren und Schrauben in den Knochen spürbar gemacht und Eingriffe realitätsgenau trainiert werden“, sagt PD Dr. Kristian Welle, Leitender Oberarzt am Universitätsklinikum Bonn (UKB), der das Projekt am UKB zusammen mit Prof. Björn Krüger verantwortet.
Unterschiedliche Patient*innen simulieren
Durch die Analyse von echten Operationen werden die Schritte und Optionen eines Eingriffs, das Verhalten von Gewebe, Implantaten und Operationswerkzeugen sowie das haptische Feedback, also die spürbare Rückmeldung über Finger oder Hand, erfasst. Verschiedene Prozesse und Avatare, also virtuelle Darstellungen von Personen, können miteinander verbunden werden, um neue Übungsabläufe zu erstellen und die Zusammenarbeit der interdisziplinären OP-Teilnehmenden zu schulen. „Mithilfe einer Software gestalten wir verschiedene Szenarien, wobei Gewebe- und Knocheneigenschaften anpassbar sind, um unterschiedliche Patient*innen zu simulieren. Eine realitätsgenaue Darstellung der Gewebe und Knochen sowie die präzise Integration der Handbewegungen sind entscheidend für das reale Empfinden in der VR-Umgebung“, so Prof. Björn Krüger, Leiter der Forschungsgruppe „Personalisierte digitale Gesundheit und Telemedizin“ an der Klinik für Epileptologie des UKB.
Das Team der TH Köln entwickelt das KI-basierte Simulationssystem, mit dem die Anwender*innen beim Training die Eingriffe in menschliches Weichgewebe wie Knochen, Knochenhaut und Muskelgewebe realistisch nachstellen können. Zudem berechnen die Forschenden, wann die Operationswerkzeuge auf das simulierte Gewebe treffen, um die Kraftrückkopplung der Haptik-Arme zu optimieren. „Wir bringen unsere langjährige Expertise und unser Know-how bei der Anwendung von haptischen Technologien sowie der Echtzeitsimulation von deformierbaren Materialien in das Projekt ein“, berichtet Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln.
Autorensystem für einen breiten Einsatz
„In der Vergangenheit wurde öfter versucht, mittels Virtual Reality chirurgische Abläufe zu trainieren“, weiß David Lähner, Gründer und Geschäftsführer von MindPort. „Wir haben einen neuen Ansatz für dieses Ziel entwickelt: Mittels eines integrierten Autorenwerkzeuges sollen die Chirurg*innen selbst neue Inhalte erstellen und bestehende Inhalte aktualisieren können. Dadurch können viel mehr verschiedene Fälle abgedeckt werden. Unsere langfristige Vision ist, dass an einem digitalen Zwilling des Patienten in der Virtualität geübt werden kann, bevor die echte Operation losgeht.“
„Dieser Ansatz ist nicht nur für die Ausbildung unserer neuen Kolleg*innen spannend, sondern wird auch die Einführung von neuen Implantaten stark vereinfachen“, ergänzt PD Dr. Kristian Welle.
Über das Projekt
An dem Forschungsvorhaben VIRTOSHA (Autorenwerkzeug für Virtual Reality Trainingssimulationen von Osteosynthese mit haptischem Feedback und Gewebesimulation) sind die MindPort GmbH als Konsortialführer, das Universitätsklinikum Bonn (UKB), die TH Köln und die Haption GmbH beteiligt. Das Projekt wird im Rahmen des Innovationswettbewerbs Gesünder.IN.NRW mit 1,5 Millionen Euro gefördert. Die Laufzeit beträgt drei Jahre.
Zu den Konsortialpartnern:
Die TH Köln zählt zu den innovativsten Hochschulen für Angewandte Wissenschaften. Sie bietet Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern aus dem In- und Ausland ein inspirierendes Lern-, Arbeits- und Forschungsumfeld in den Sozial-, Kultur-, Gesellschafts-, Ingenieur- und Naturwissenschaften. Zurzeit sind rund 23.500 Studierende in etwa 100 Bachelor- und Masterstudiengängen eingeschrieben. Die TH Köln gestaltet Soziale Innovation – mit diesem Anspruch begegnen wir den Herausforderungen der Gesellschaft. Unser interdisziplinäres Denken und Handeln, unsere regionalen, nationalen und internationalen Aktivitäten machen uns in vielen Bereichen zur geschätzten Kooperationspartnerin und Wegbereiterin.
Zum Universitätsklinikum Bonn: Im UKB finden pro Jahr etwa 500.000 Behandlungen von Patient*innen statt, es sind ca. 9.500 Mitarbeiter*innen beschäftigt und die Bilanzsumme beträgt 1,8 Mrd. Euro. Neben den 3.500 Medizin- und Zahnmedizin-Studierenden werden pro Jahr 550 Personen in zahlreichen Gesundheitsberufen ausgebildet. Das UKB steht in der Focus-Klinikliste auf Platz 1 unter den Universitätsklinika (UK) in NRW, hatte in 2023 in der Forschung über 100 Mio. Drittmittel und weist den zweithöchsten Case Mix Index (Fallschweregrad) in Deutschland auf. Das F.A.Z.-Institut hat das UKB mit Platz 1 unter den Uniklinika in der Kategorie „Deutschlands Ausbildungs-Champions 2024“ ausgezeichnet.
Die MindPort GmbH ist ein 2021 gegründetes Tech Startup. Mit ihrem Softwareprodukt VR Builder bietet sie Unternehmen die Möglichkeit, eigenständig hochqualitative VR Anwendungen zu erzeugen. Dank eines Open Source Software Kerns und keiner Cloud-Abhängigkeit ist sie besonders flexibel und sicher. Bereits jetzt hat MindPorts innovative Technologie international Anerkennung gefunden und wird weltweit und in diversen Industriezweigen erfolgreich eingesetzt.
Die Haption Gruppe entwickelt, produziert und vertreibt Hardware- und Softwarelösungen auf Basis von Force-Feedback. Das 2001 gegründete Unternehmen arbeitet mit den fortschrittlichsten Führungskräften zusammen, um professionelle Force-Feedback-Lösungen für medizinische, robotische, nukleare und industrielle Anwendungen bereitzustellen.
Kontakt für die Medien TH Köln Referat Kommunikation und Marketing Presse- und Öffentlichkeitsarbeit Daniel Schäfer 0221-8275-5465 pressestelle@th-koeln.de