Realistische 3D-Modelle für Mode, Film und Medizin


Meshcapade lizenziert Technologien zur Erstellung von Avataren

© Meshcapade

Das Start-up Unternehmen Meshcapade, eine Ausgründung des Max-Planck-Instituts (MPI) für Intelligente Systeme, automatisiert die Erstellung realistischer digitaler 3D-Körper von Menschen. Hierfür werden parametrische 3D-Modelle wie SMPL (Skinned Multi-Person Linear Model) verwendet. Mit ihrer Hilfe werden die 3D-Avatare auf Basis von Statistiken und maschinellem Lernen mit präziser Körperform und -bewegung erstellt. Neuere Versionen des SMPL-Modells umfassen SMPL-X (SMPL-eXpressive), mit dem sogar Handbewegungen und Gesichtsausdrücke erzeugt werden können. Mit Hilfe von SMIL (Skinned Multi-Infant Linear Model) können zudem realistische 3D-Avatare für Säuglinge erstellt werden. Eine neue Technologie namens SMPLify-X erlaubt es nun sogar Avatare von Menschen aus einem einzigen Bild zu erzeugen. Diese verfügen über Mimik, subtile Gesten sowie realistische Bewegungsmuster und haben ein großes Anwendungspotential in der Mode-, Gaming- und Filmindustrie. Das Verfahren kann mit dem SMIL-Modell kombiniert werden, um die 3D-Bewegungserkennung von Babys zu ermöglichen und somit die Früherkennung von Entwicklungsstörungen zu unterstützen. Die Grundlage dieser und weiterer Innovationen liefern schutzrechtlich gesicherte Forschungsarbeiten des MPI, die nun von Meshcapade über Max-Planck-Innovation lizenziert wurden.

Die Erzeugung realistischer und beweglicher 3D-Modelle des menschlichen Körpers erforderte bislang den Einsatz aufwendiger Methoden und Techniken. Die Bewegungsanalyse (Motion Capture) ist eine dieser Methoden. Hier nehmen mehrere Kameras die Bewegungen von 30 bis 40 reflektierenden Markern auf, die an einer Person befestigt werden. Die aufgezeichneten Daten der Marker werden in der Regel von mehreren Ingenieuren in tagelanger Arbeit in ein 3D-Skelett konvertiert. Schließlich wird dieses Skelett mit einem 3D-Modell verbunden, dessen Erstellung ebenfalls viele Tage dauert. Das SMPL-Modell sowie viele weitere von Meshcapade lizenzierte und weiterentwickelte Technologien zur automatisierten Körpererstellung ermöglichen nun bereits innerhalb von Minuten die Berechnung eines genauen 3D-Modells und der Bewegungen von Personen aus Bildern, Videos, Tiefenkameras und sogar Motion Capture.

Da für die menschliche Interaktion und Kommunikation oftmals subtile Gesten und Mimik wichtig sind, ermöglicht es SMPLify-X, ein Update des SMPL-Modells, ein komplexes, ausdrucksstarkes 3D-Modell des Körpers zu erstellen. Dieses Modell beinhaltet neben realistischen Körperposen auch detaillierte Handposen und Gesichtsausdrücke. Grundlage dafür ist eine umfassende Datenbank hochauflösender 3D-Scans von Tausenden von Menschen unterschiedlicher Körperformen in verschiedenen Körperhaltungen. SMPL-X ist ein statistisches Modell, das darauf programmiert ist, den Unterschied zwischen Körperformen realer Menschen zu erkennen und realistische Posen und Gesichtsausdrücke für verschiedene Körpertypen zu erstellen.

Die gerade lizenzierte Technologie mit dem Namen SMPLify-X ermöglicht es nun erstmals, diese realistischen 3D-Modelle anhand eines einzigen zweidimensionalen Bildes zu erstellen. SMPLify-X errechnet ausdrucksstarke 3D-Modelle, indem es Schlüsselmerkmale wie Gelenkpositionen oder Gesichtsmerkmale in einem Bild erkennt und die statistische Verteilung des SMPLify-X-Modells anwendet, um eine realistische Körperform, -haltung und -ausdruck zu erstellen, die am besten zu diesen erkannten Schlüsselmerkmalen passt. Diese Entwicklung stellt eine signifikante Vereinfachung für die Erfassung und Erstellung realistischer Körpermodelle dar und eröffnet völlig neue Möglichkeiten für den Einsatz von 3D-Avataren. So können mithilfe der Modelle überzeugend animierte Charaktere in Filmen und Computerspielen erschaffen werden. Onlinehändler von Bekleidung können ihren Kunden nach dem einfachen Upload eines Bildes eine virtuelle Anprobe ermöglichen. Darüber hinaus sind viele weitere Einsatzfelder für die Avatare in unserer zunehmend digitalisierten Welt denkbar.

Eine weitere Technologie, die gemeinsam mit dem MPI und der Fraunhofer Gesellschaft entwickelt wurde, beschreibt ein virtuelles Säuglingskörpermodell (SMIL, Skinned Multi-infant Linear-Modell). Auf Basis von Videosequenzen, die mithilfe einer Tiefenbild- oder Standardkamera von einem Säugling aufgenommen werden, erzeugt SMIL zusammen mit SMPLify-X einen 3D-Avatar des Säuglings mit realistischen Bewegungsparametern. Diese dreidimensionale Messung der Spontanaktivität von Säuglingen erlaubt auf Basis maschineller Lernalgorithmen die automatisierte Erkennung der pathologischen Spontanmotorik. Durch das automatisierte, kostengünstige und leicht anzuwendende Screening mithilfe von SMIL eröffnen sich völlig neue Möglichkeiten für die kinderärztliche Vorsorge.

Kunden können SMPL, SMPL-X, SMIL und SMPLify-X von Meshcapade lizenzieren und im Rahmen ihrer Anwendungen zum Einsatz bringen.


Mit unseren statistischen Modellen wollen wir die Welt der 3D-Modellierung, Berechnung und Animation des menschlichen Körpers verbessern. Unsere Modelle sind sehr vielfältig und können in vielen Bereichen von Mode und Entertainment bis hin zu Medizin und Fitness eingesetzt werden und sind aufgrund ihrer Genauigkeit äußerst nützlich. Die Basis unserer innovativen Lösungen stammt insbesondere vom MPI für intelligente Systeme und basiert auf den Prinzipien Wahrnehmung, Lernen und Handeln in maschinenlernen-basierten 3D Systemen.

Naureen Mahmood
Geschäftsführerin der Meshcapade GmbH


Meshcapade hat neben diesen Technologien in den vergangenen zwölf Monaten noch weitere Technologien des MPI lizenziert, die das Erstellen von 3D-Modellen erleichtern und in vielen Anwendungsbereichen großen Nutzen stiften.


Mit Meshcapade haben wir einen sehr erfolgreichen Partner, der sowohl die Kundenbedürfnisse als auch die lizenzierten Technologien versteht und diese ständig weiterentwickelt, um die besten Ergebnisse zu erzielen.

Dr. Bernd Ctortecka
Senior Patent- und Lizenzmanager bei Max-Planck-Innovation


Über Meshcapade

Meshcapade erstellt realistische menschliche Avatare, um detaillierte menschliche Attribute wie Körper, Gesichter, Hände und Weichteilbewegungen aus 3D- und 4D-Scans, RGB-D-Sequenzen, Bewegungserfassung und Bilddaten wiederherzustellen. Mithilfe von maschinellem Lernen und fortschrittlichen Grafiken modellieren wir die Nuancen, wie Menschen aussehen und sich bewegen. Meshcapade-Avatare werden bereits in einer Vielzahl von Bereichen eingesetzt, darunter Forschung, Bekleidung, Biomechanik, virtuelle Realität, Film und als Trainingsdaten für neuere AI-basierte Methoden. Wir verwenden modernste Methoden von weltweit führenden Forschungsinstituten und bemühen uns, realistische menschliche Modelle in alltäglichen Umgebungen zum Leben zu erwecken.
www.meshcapade.com

Über das Max-Planck-Institut für Intelligente Systeme

Intelligente Systeme sind in der Lage, ihre Struktur und Eigenschaften so zu optimieren, dass sie in einer komplexen, sich teilweise verändernden Umgebung erfolgreich agieren können. Drei Teilbereiche – Wahrnehmen, Lernen und Handeln – können dabei unterschieden werden. Die Wissenschaftler am Max-Planck-Institut für Intelligente Systeme widmen sich der grundlegenden Erforschung und Entwicklung von intelligenten Systemen in allen drei Teilbereichen. Forschungsexpertisen im Bereich der Computer – und Materialwissenschaften sowie der Biologie werden dazu in einem Institut an zwei Standorten gebündelt. Maschinelles Lernen, Bilderkennung, Robotik und biologische Systeme sollen in Tübingen; sogenannte Lernende Materialsysteme, Mikro- und Nanorobotik und Selbstorganisation in Stuttgart untersucht werden. Obgleich der Schwerpunkt auf der Grundlagenforschung liegt, besitzt das Institut ein hohes Potenzial für praktische Anwendungen, unter anderem in der Robotik, in der Medizintechnik sowie bei innovativen Technologien, die auf neuen Materialien basieren.
https://is.mpg.de/

Über Max-Planck-Innovation

Als Technologietransfer-Organisation der Max-Planck-Gesellschaft ist Max-Planck-Innovation das Bindeglied zwischen Industrie und Grundlagenforschung. Mit unserem interdisziplinären Team beraten und unterstützen wir die Wissenschaftlerinnen und Wissenschaftler der Max-Planck-Institute bei der Bewertung von Erfindungen, der Anmeldung von Patenten sowie der Gründung von Unternehmen. Der Industrie bieten wir einen zentralen Zugang zu den Innovationen der Max-Planck-Institute. Damit erfüllen wir eine wichtige Aufgabe: Den Transfer von Ergebnissen der Grundlagenforschung in wirtschaftlich und gesellschaftlich nützliche Produkte.

Weitere Informationen finden Sie unter www.max-planck-innovation.de

Pressekontakt

Marketing & Öffentlichkeitsarbeit

Markus Berninger

Diplom-Kaufmann, geprüfter Grafik-Designer

Telefon: 089 / 29 09 19-30
E-Mail:
berninger@max-planck-innovation.de